基于圖像處理和機器學習的PE管道缺陷檢測

摘 "要： 對于聚乙烯（PE）管道，在運行中經常有不同程度的泄漏等異常，通過對管道中不同異常的實驗模擬，收集數據并手動標記相應的數據集。為了提高管道缺陷圖像的質量，首先采用加權平均法對圖像進行灰度處理；然后，利用伽馬變換改進管道背景與缺陷的對比度；最后，使用雙重過濾來降低圖像中的噪聲。為了降低數據的復雜度，提高模型訓練速度，采用改進的Sobel算法對管道缺陷圖像進行邊緣檢測，采用自適應閾值分割算法分割缺陷圖像的邊緣，生成二值圖像，用二值圖像訓練模型，減少了模型對顏色特征的依賴，加快了模型的收斂速度。為了提高管道缺陷檢測的精度，引入CA注意力機制，提高目標檢測特征提取能力。改進的YOLOv5模型的mAP和召回率分別為97.18%和98.03%。與原算法相比，mAP增加了1.33%，召回率增加了3.83%。

關鍵詞： 缺陷檢測； 圖像處理； 機器學習； YOLOv5； 注意力機制； 二值圖像

中圖分類號： TN911.73?34； TP391.41 " " " " " " " " 文獻標識碼： A " " " " " " " " 文章編號： 1004?373X（2024）21?0059?08

PE pipeline defect detection based on image processing and machine learning

FU Qiankun1， LI Qiang2， 3， RAN Wenshen4， LIN Nan4， WANG Yang1

（1. School of Intelligent Manufacturing Modern Industry （School of Mechanical Engineering）， Xinjiang University， Urumqi 830046， China;

2. Xinjiang Yian Special Inspection Engineering Co.， Ltd.， Urumqi 830000， China;

3. Xinjiang Uygur Autonomous Region Special Equipment Inspection and Research Institute， Urumqi 830000， China;

4. Department of Pressure Pipe， China Special Equipment Inspection and Research Institute， Beijing 100013， China）

Abstract： Usually， anomalies such as different degrees of leakage may occur to the polyethylene （PE） pipes in operation. The data are collected and the corresponding data sets are labeled manually by experimental simulation of different anomalies of the pipelines. The weighted average method is used to process the image gray in order to improve the quality of defect images of the pipeline. The contrast ratio between the pipeline background and the defects is improved by applying gamma transform. Double filtering is used to reduce the noise in the image. In order to reduce the complexity of the data and improve the speed of model training， the improved Sobel algorithm is used to detect the edges of the defect image. The adaptive threshold segmentation algorithm is used to divide the edges of the defect image， so as to generate a binary image. The binary image is used to train the model， which reduces the model dependence on the color features and accelerates the model convergence. In order to improve the accuracy of pipeline defect detection， the coordinate attention （CA） mechanism is introduced and the feature extraction ability of object detection is improved. The mAP and recall rate of the improved YOLOv5 are 97.18% and 98.03%， respectively. In comparison with that of the original algorithm， its mAP is increased by 1.33% and its recall rate is increased by 3.83%.

Keywords： defect detection; image processing; machine learning; YOLOv5; attention mechanism; binary image

0 "引 "言

在過去的幾十年中，聚乙烯（PE）管道因其柔韌性和耐腐蝕性，被廣泛用于世界各地的天然氣網絡[1]。因此PE管材及其材料的長期性能至今備受關注[2]，根據國際天然氣管道事故統計數據顯示，人為破壞、施工失誤、腐蝕是天然氣管道泄漏的常見原因[3]。隨著使用管道運輸危險物質在全球范圍內變得越來越流行，由管道故障而發生重大事故的可能性正在逐步增加[4]。在實踐中燃氣管道有許多無損檢測方法（例如，基于激光的系統、基于超聲波的傳感器等），與其他常用于PE管道的檢測技術相比，視覺檢測技術因其直觀、準確和方便的獨特優勢，已廣泛應用于各個領域[5]。各類的視覺內檢測方法常搭載在管道機器人中，而配備有圖像處理技術的管道機器人可以直接收集、傳輸和處理圖像，減少了人工成本[6]。

傳統圖像的缺陷檢測是使用提取圖像特征完成的，用這些提取的特征來表示原始像素值中不清晰的信息。最近幾年，這種方法被卷積神經網絡（CNN）所取代[7]。文獻[8]提出一種基于CNN和改進的樣條局部均值分解（ISLMD）方法對圖像降噪，從而定位管道泄露位置。文獻[9]提出了一種基于視覺的軟件方法，通過圖像展開模塊、圖像鑲嵌模塊、缺陷辨識模塊更加直觀地顯示所獲取的數據，幫助人工操作。文獻[10]提出了一種基于StyleGAN?SDM圖像預處理和CNN的下水管道多缺陷檢測系統，所提出模型的平均準確率和宏觀[F1]分數分別達到了95.64%和0.955。

1 "圖像預處理

通過對管道圖像進行預處理，不僅成功地消除了其中的噪聲，還提高了管道背景與其缺陷的對比度，這使得缺陷的識別和分類變得更為高效。圖像預處理過程如圖1所示。

1.1 "圖像灰度處理

灰度是表征圖像亮度和黑暗的一個重要特征。近年來，它被應用于基于圖像灰度差異和間斷變化的圖像分割、目標識別和機器視覺技術中。與彩色圖像相比，灰度占用內存少、運算速度快[11]。

彩色圖像的灰度轉換有三種常用方法：均值法、最大值法、加權平均法。其中，最大值法直接取[R]、[G]、[B]三個分量中數值最大（見式（1））的分量的數值。

[R=G=B=max（R，G，B）] " （1）

均值法就是取[R]、[G]、[B]三個分量中數值的均值：

[R=G=B=（R+G+B）3] （2）

加權平均法就是根據人眼對于[R]、[G]、[B]三種顏色的敏感度，按照一定的權值進行加權平均（見式（3））得到。

[I（α， β）=0.3×IR（α， β）+0.59×IG（α， β）+0.11×IB（α， β）] （3）

式中：[I（α， β）]表示坐標[（α， β）]處的灰度值；[IR（α， β）]、[IG（α， β）]和[IB（α， β）]分別表示像素的三種顏色分量的亮度值。

采用最大值法（見圖2b））、均值法（見圖2c））、加權平均法（見圖2d）），分別對裂紋、孔洞、斷裂三種原始缺陷圖像（見圖2a））進行灰度處理。從圖2可以發現，加權平均法得到的灰度圖像效果最好（暗處更暗），灰度圖像亮度適中，未覆蓋管道缺陷的特征。因此，用加權平均法對圖像進行灰度化處理。

1.2 "管道缺陷的圖像增強

圖像增強是提高圖像顯示效果的一種方法，其目的是增強圖像的顯示質量，強調圖像的邊緣和關鍵紋理，并限制對不重要區域的展示，從而在某種程度上提升圖像的視覺體驗或強調圖像中的某些“實用”部分，同時減少其他“不必要”的信息[12]。圖像增強技術眾多，而本文采用全局直方圖均衡化（見圖3b））、自適應直方圖均衡化（見圖3c））和Gamma變換（見圖3d））對先前得到的灰度圖（見圖3a））進行圖像增強處理。

從圖3可以看出，通過直方圖均衡化處理后的圖像雖然提升了背景與缺陷之間的對比度，但是也導致噪聲在圖像中突出。與原始的缺陷圖像相比，經過均衡化處理后的圖像亮度表現出不均勻性；自適應直方圖均衡化技術在消除圖像中的均勻噪聲方面表現出一定的效果，但是也引起了圖像過度增強和噪聲放大的現象。在Gamma變換之后的缺陷圖像沒有失真，缺陷的邊緣更加突出，與背景的差異更大，變得更清晰。所以選擇采用Gamma變換算法提高管道背景與管道缺陷間的對比度。

1.3 "管道缺陷圖像濾波處理

噪點在圖像采集過程中的影響是不可避免的，因此對圖像進行相應的濾波處理很有必要。有兩個基本原則是在進行濾波操作時必須嚴格遵循的：首先，必須確保輪廓的邊緣信息得到完整的保存，以防止其變得模糊或特征丟失；其次，必須努力提升獲取圖像的品質，而不是削減其成像質量。圖像去噪是圖像修復中常見的技術，其目標是從繁雜的觀察數據中預測出較為清晰的圖像。通過圖像濾波處理，這不僅可以有效地去除圖像中的多余噪點，還能從圖像中提取出關鍵特征，為后續的特征提取工作打下堅實的基礎。本文使用雙邊濾波（見圖4b））、高斯濾波（見圖4c））、均值濾波（見圖4d））、自適應中值濾波（見圖4e））分別對得到的圖像（見圖4a））進行降噪。

不同的濾波器對各種噪聲的適應性各不相同。其中雙邊濾波所用的加權平均基于高斯分布，可以去除圖像上的高斯噪聲，但去除高斯噪聲時會忽略椒鹽噪聲，去除椒鹽噪聲的最佳算法是自適應中值濾波，但去除高斯噪聲的效果很差[13]。因此提出了雙重濾波組合（見圖4f）），通過中值濾波去除椒鹽噪聲，然后通過雙邊濾波進一步去除高斯噪聲。由圖4可以看到，雙重濾波的組合和其他主流的濾波算法相比，保留了邊緣細節并去除了噪聲點，達到了保持邊緣、降噪平滑的效果，因此，本文決定使用雙重過濾降噪。

1.4 "改進的Sobel算子邊緣檢測

傳統的Sobel算法首先使用卷積算子對每個像素點先完成加權平均處理，再對其進行微分處理，以獲得[X]方向和[Y]方向上的梯度值。然而，普通的Sobel算法只對[X]方向和[Y]方向敏感，只能評估[X]和[Y]兩個方向的邊緣，使得該算法難以獲得理想的檢測效果，定位精度也不是很高[14]。

PE燃氣管道的內部缺陷具有不同的形狀和深度，導致缺陷圖像的灰度等級出現不明顯的局部變化。同時，需要實時傳輸和采集的燃氣管道缺陷圖像內部可能含有干擾信息。單純依賴兩個方向算子對管道缺陷進行邊緣檢測效率低下且易造成邊緣缺失。為了更準確地檢測圖像中的邊緣像素，可以將Sobel運算符改進為8個方向。本文使用的改進的Sobel算法基于原Sobel算法又增加了6個方向（如圖5所示），既能更加高效地對圖像進行邊緣檢測，使得邊緣信息更加完整，又能提高邊緣檢測的準確性，顯著降低偽邊緣出現的幾率。

經過優化的算法引入了多個方向性的算子，由于算子所覆蓋的像素點與算子中心的像素距離存在差異，因此每個像素點在邊緣檢測上的表現也會有所不同。

假設算子中任意點[（m，n）]與算子中心點[（i，j）]的距離為[d（m，m）]，不同位置的權值[w（m，n）]基于下面給出的式（4）～式（6）得到。

[d（m，n）=（i-m）2+（i-n）2] （4）

[lng（m，n）=-[d2（m，n）-u]×ln 2] （5）

[w（m，n）=g（m，n）] （6）

式中：[d（m，n）]是坐標為[（m，n）]的算子元素到坐標為[（i， j）]的算子中心的歐氏距離；[u]為調整系數（與算子大小有關，本文取[u]=3）；[g（m，n）]為[（m，n）]處的實數權值；“[ ]”代表向上取整運算。為簡化計算，對[g（m，n）]向上取整作為算子中的元素。

針對上文得到的管道缺陷濾波圖像（見圖6a）），采用改進的Sobel算法（見圖6b））、經典的Sobel邊緣檢測算法（見圖6c））和Prewitt算法（見圖6d））分別對圖像進行邊緣檢測。三種缺陷的邊緣檢測效果如圖6所示。

對比研究發現，采用改進Sobel算法所提取出的缺陷邊緣更連續、更完整，能全面地展示缺陷形狀特征。因此使用改進的算法進行邊緣檢測。

1.5 "自適應閾值分割

在不均勻照明或者灰度值分布不均勻的情況下，如果使用全局閾值分割，得到的分割效果往往會很不理想，在這種情況下，自適應閾值分割（也稱局部分割）可以產生好的結果。自適應閾值分割不像全局閾值那樣，對整個矩陣采用一個閾值，而是針對輸入矩陣的每一個位置的值都有相對應的閾值[15]。

假設輸入圖像為[I]，圖像高度為[H]、寬為[W]，自適應閾值分割算法的步驟如下。

1） 對圖像進行平滑處理，平滑結果記為[fsmooth（I）]。

2） 自適應閾值矩陣如式（7）所示：

[Thresd=（1-ratio）*fsmooth（I）] （7）

一般令ratio=0.15。

3） 利用局部閾值分割規則得出結果，如式（8）所示：

[G（x，y）=225， " " " I（x，y）gt;Thresd（x，y）0， " " " I（x，y）≤Thresd（x，y）] （8）

本文分別用自適應閾值法（見圖7b））、全局閾值法（見圖7c））和Otsu閾值分割法（見圖7d））處理上文邊緣檢測后的圖像（見圖7a））。

從圖7可以發現，利用閾值可以將管道缺陷從管道背景中分離出來。在視覺上，自適應閾值分割方法效果最佳，PE燃氣管道缺陷的邊緣信息沒有丟失，也沒有冗余干擾信息。因此，本文使用自適應閾值算法對圖像進行分割。

2 "管道缺陷檢測系統

2.1 "缺陷檢測模型

YOLOv5分為5個不同的版本，YOLOv5s網絡是YOLOv5系列中深度相對較小的網絡。其他都是在此基礎上不斷加深、不斷加寬。每種網絡結構性能上來說各有優劣，為了保證實時檢測的速度和較高的準確率，采用YOLOv5s算法用于實時檢測。

2.2 "CA注意力機制

CA（Coordinate Attention）利用兩個一維全局池化操作，將垂直和水平方向的輸入特征分別生成兩個注意力圖，每個注意力圖都能夠捕捉到輸入特征圖中沿著一個空間方向的長距離相關性。不僅考慮到空間和通道之間的關系，還考慮到長距離相關性問題[16]，結構如圖8所示。改進后YOLOv5模型結構如圖9所示。

3 "實驗結果分析

3.1 "設置參數及實驗平臺

實驗通過對管道中不同異常進行實驗模擬，收集數據并手動標記相應的數據集。以7∶2∶1的比例分配訓練數據集、驗證數據集和測試數據集，共3 365張圖像。

訓練參數設置如表1所示，運行環境如表2所示。

3.2 "評價標準

本文從平均精度（mAP）、召回率（[R]）和準確率（[P]）等方面評價了改進算法的性能。mAP是衡量模型分類和檢測能力最直觀的指標，在很大程度上可以同時反映模型的定位和分類能力，mAP值越大，模型性能越好。

[Precision=TPTP+FP] （9）

[Recall=TPTP+FN] （10）

[AP=01PRdR] （11）

[mAP=1Ni=1NAPi] （12）

式中：TP、FP和FN分別代表真陽性、假陽性和假陰性。

3.3 "比較實驗和結果分析

添加注意力機制模塊的效果如表3所示，其中CA模塊更有效，mAP比原來的YOLOv5改進算法提高了1.33%，召回率提升了3.83%。

訓練后的mAP函數曲線和損失函數曲線如圖10所示。

混淆矩陣如圖11所示。

為了進一步驗證改進算法的性能，在數據集中使用了兩種具有代表性的目標檢測算法YOLOv7和YOLOv8進行了比較實驗，實驗結果如表4所示。本文提出的YOLO模型的mAP、召回率和準確率均高于其他兩種算法，其中mAP比YOLOv8高0.43%，比YOLOv7高0.89%。訓練后的mAP函數曲線和損失函數曲線如圖12所示，混淆矩陣如圖13所示，比較模型改進前后的效果如圖14所示。

使用訓練好的管道缺陷檢測模型檢測燃氣管道缺陷可以發現，改進后的算法能夠與原算法相比，具備出色的檢測能力，且沒有出現錯檢和漏檢的情況。由圖12可以看出，改進后的算法比原始算法具有更高的置信度。對于常見的三種缺陷裂紋、斷裂、孔洞都有較高的識別性，置信度最高提升0.2。

4 "結 "語

為了解決燃氣管道中的缺陷檢測問題，本文提出了一種改進的YOLOv5缺陷檢測算法。實驗結果表明，改進后的YOLOv5模型在進行管道缺陷實時檢測時具有較高的魯棒性，作為一種無損檢測方法，可以成為管道缺陷檢測的一種途徑。由于管道缺陷樣本相對較稀缺，而且標注樣本可能存在一定的誤差，因此測試結果與實際情況的對比可能會有一定的誤差。因此，為了達到更好的檢測效果并使模型更具實際應用價值，需要對數據集進行擴充，包含各種不同類型和分辨率的管道缺陷圖像，進一步提高管道缺陷實時監測的能力，優化檢測模型的結構，使其更具有普遍實用性是未來有待改進的工作。

注：本文通訊作者為王洋。

參考文獻

[1] 高振宇，張慧宇，高鵬.2022年中國油氣管道建設新進展[J].國際石油經濟，2023，31（3）：16?23.

[2] ZHA S， LAN H. Fracture behavior of pre?cracked polyethylene gas pipe under foundation settlement by extended finite element method [J]. International journal of pressure vessels and piping， 2021， 189： 104270.

[3] HOU Q， YANG D， LI X， et al. Modified leakage rate calculation models of natural gas pipelines [J]. Mathematical problems in engineering， 2020（44）： 6673107.

[4] WU J S， BAI Y P， FANG W P， et al. An integrated quantitative risk assessment method for urban underground utility tunnels [J]. Reliability engineering and system safety， 2021， 213： 107792.

[5] SUN X H， GU J N， TANG S X， et al. Research progress of visual inspection technology of steel products： A review [J]. Applied sciences， 2018， 8（11）： 2195.

[6] YIN X F， CHEN Y， BOUFERGUENE A， et al. A deep learning?based framework for an automated defect detection system for sewer pipes [J]. Automation in construction， 2020， 109： 102967.

[7] MEIJER D W J， SCHOLTEN L， CLEMENS F H L R， et al. A defect classification methodology for sewer image sets with convolutional neural networks [J]. Automation in construction， 2019， 104： 281?298.

[8] ZHOU M F， PAN Z， LIU Y W， et al. Leak detection and location based on ISLMD and CNN in a pipeline [J]. IEEE access， 2019， 7： 30457?30464.

[9] PICIARELLI C， AVOLA D， PANNONE D， et al. A vision?based system for internal pipeline inspection [J]. IEEE transaction on industrial informatics， 2019， 15（6）： 3289?3299.

[10] MA D， LIU J H， FANG H Y， et al. A multi?defect detection system for sewer pipelines based on StyleGAN?SDM and fusion CNN [J]. Construction and building materials， 2021， 312： 125385.

[11] LI C， LAN H Q， SUN Y N， et al. Detection algorithm of defects on polyethylene gas pipe using image recognition [J]. International journal of pressure vessels and piping， 2021， 191： 104381.

[12] ZHANG X， WU H， ZHOU Z. Partial color photo processing method for components based on image enhancement technology [EB/OL]. [2021?09?20]. https：//doi.org/10.1155/2021/4132016.

[13] 孫亞楠.基于圖像識別的聚乙烯燃氣管道缺陷檢測算法研究[D].北京：北京交通大學，2020.

[14] LIU W， WANG L. Quantum image edge detection based on eight?direction Sobel operator for NEQR [J]. Quantum information processing， 2022， 21（5）： 190.

[15] LIAO J， WANG Y， ZHU D Q， et al. Automatic segmentation of crop/background based on luminance partition correction and adaptive threshold [J]. IEEE access， 2020， 8： 202611?202622.

[16] 貝新林.基于改進YOLOv5的非限定條件下車牌檢測算法研究[J].數字通信世界，2022（6）：20?22.

作者簡介：符前坤（1993—），男，安徽人，碩士研究生，主要研究方向為基于深度學習的缺陷檢測技術。

李 "強（1981—），男，新疆人，碩士研究生，主要研究方向為材料成型、儀器儀表等。

冉文燊（1989—），男，四川人，碩士研究生，主要研究方向為油氣儲運。

林 "楠（1987—），男，遼寧人，博士研究生，主要研究方向為油氣儲運。

王 "洋（1985—），男，陜西人，博士研究生，副教授，碩士生導師，主要研究方向為油氣管道壽命預測、管道安全與防護、管道缺陷識別、管道檢測技術、電磁兼容技術等。