一種電熔焊接缺陷自動識別方法的研究與應(yīng)用

胡劍峰， 周家樂， 王慧鋒， 張 俊

（1. 華東理工大學信息科學與工程學院，上海 200237；2. 上海海驕機電有限公司，上海 201800）

聚乙烯（Polyethylene，PE）管道具有質(zhì)量輕、可回收、良好的密封性、使用壽命長和很好的耐腐蝕性等特點[1]，因此被廣泛應(yīng)用于城市燃氣輸送系統(tǒng)中。電熔焊接[2]是目前PE 管道常用的一種連接方式，若管道焊接接頭存在焊接缺陷，則易發(fā)生燃氣泄漏事故。PE 燃氣管道的電熔焊接狀況可通過相控陣系統(tǒng)拍攝的超聲波圖像獲得，在電熔焊接缺陷識別過程中，需要由專業(yè)人員通過超聲圖像判斷缺陷類別，并根據(jù)缺陷的嚴重程度判定缺陷等級。但是人工識別方法需要檢測人員具有豐富的識別經(jīng)驗和專業(yè)知識，且識別過程耗時耗力，易發(fā)生漏檢和錯檢現(xiàn)象。

利用圖像處理方法對各種場景下的缺陷進行自動識別是近年來缺陷識別的一個發(fā)展趨勢。Duan 等[3]采用人工提取焊接圖像中的灰度特征和幾何特征，并通過AdaBoost 算法實現(xiàn)金屬管道的焊接缺陷分類。楊志超等[4]通過卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)金屬管道的焊接缺陷分類，從而避免人工提取特征。Pan 等[5]通過TL-MobileNet 網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)對焊接缺陷的分類，且效果良好。He 等[6]提出了一種基于多層特征融合的端到端的深度學習網(wǎng)絡(luò)來識別缺陷并進行定位。Chen 等[7]提出了一種將卷積神經(jīng)網(wǎng)絡(luò)與貝葉斯數(shù)據(jù)融合的方法，能夠識別視頻類的缺陷。渠慧帆[8]采用改進的Faster-RCNN 識別并定位缺陷。針對基于超聲波圖像的PE 管道焊接缺陷識別問題，李禮彬等[9]提出了一種能夠識別超聲信號線的方法。黃躍鑫等[10]將圖像中的灰度值按列求和并進行歸一化，得到一組一維的灰度值信號，隨后通過小波分析實現(xiàn)PE 管道冷焊缺陷識別。Bohlouli 等[11]利用數(shù)字圖像處理技術(shù)對焊接圖像進行預處理，通過小波變換獲得缺陷特征向量，并采用神經(jīng)網(wǎng)絡(luò)算法判斷超聲圖像是否存在缺陷。盡管自動化的缺陷識別方法得到了快速發(fā)展，但針對PE 管道的焊接缺陷問題仍未得到妥善解決。由于PE 管道在實際使用中可以容忍一定程度的焊接缺陷，所以在識別PE 管道的焊接缺陷時，不僅要能夠準確識別缺陷的類別和位置，也同樣需要識別缺陷的嚴重程度來確定缺陷等級，然而上述方法都沒有有效解決如何識別缺陷等級的問題。

本文針對PE 管道的電熔焊接缺陷自動識別問題提出了一套完整的解決方法，可自動識別超聲圖像中是否存在焊接缺陷，以及焊接缺陷的類別與等級。首先通過數(shù)據(jù)增強技術(shù)擴充電熔焊接數(shù)據(jù)集；然后訓練電熔焊接圖像語義分割模型，并對焊接圖像進行語義分割；采用數(shù)學形態(tài)學方法消除分割圖中的噪聲，并通過連通域分析法得到特征線、電阻絲線以及底部回波線等缺陷相關(guān)信息；最后依據(jù)電熔焊接標準及缺陷相關(guān)信息識別缺陷類別及等級。實驗結(jié)果表明，本文提出的電熔焊接缺陷自動識別方法在準確率、召回率以及算法運行速度上都達到了工業(yè)應(yīng)用要求。本文方法的主要創(chuàng)新點：（1）能夠?qū)崿F(xiàn)PE 管道電熔焊接缺陷的分類分級；（2）通過焊接標準制定每種缺陷的識別準則；（3）針對U-Net 網(wǎng)絡(luò)深度較淺問題，采用殘差網(wǎng)絡(luò)對其進行了改進。

1 焊接缺陷自動識別方法

圖1 所示為PE 管道焊接接頭采用超聲相控陣系統(tǒng)獲得的超聲圖像。電熔焊接缺陷識別過程中需要專業(yè)人員人工識別每張圖片中的特征線、電阻絲、底面回波線等與缺陷相關(guān)的信息，進而確定缺陷類別，并根據(jù)缺陷嚴重程度判定缺陷等級。本文提出了一種能夠自動識別電熔焊接缺陷類別與等級的方法，該方法由4 步組成：（1）電熔焊接數(shù)據(jù)增強；（2）電熔焊接圖像語義分割；（3）數(shù)學形態(tài)學去噪，并對圖像進行連通域分析；（4）電熔焊接缺陷分類分級。

圖1 超聲圖像Fig. 1 Ultrasonic image

1.1 圖像數(shù)據(jù)增強

對數(shù)據(jù)集中的每張圖片分別采用水平翻轉(zhuǎn)、加噪聲、水平翻轉(zhuǎn)和加噪聲3 種方式擴充數(shù)據(jù)集。水平翻轉(zhuǎn)是以圖像左邊界為軸，將圖像從右向左翻轉(zhuǎn)180°。圖像中所加噪聲為椒鹽噪聲和高斯噪聲。椒鹽噪聲是一種隨機出現(xiàn)白點或者黑點的噪聲，常用參數(shù)是噪聲比例，該參數(shù)越大，圖像中的黑白點越多；高斯噪聲是指噪聲信息服從高斯分布的一類噪聲，高斯分布的概率密度函數(shù)如下：

其中： μ 為噪聲的均值； σ 為噪聲的方差。

1.2 圖像語義分割

圖像語義分割是近年來計算機圖像處理方向的重要研究領(lǐng)域，常用于對圖像內(nèi)容的識別和分類。其作用是為輸入圖像中的每個像素點分配一個類別標簽，使得屬于同一物體的像素具有相同的類別標簽，即這些像素擁有相同的語義。語義分割的網(wǎng)絡(luò)模型[12-14]眾多，其中的U-Net 網(wǎng)絡(luò)參數(shù)少且分割效果好，是目前最常用的圖像語義分割方法之一，被廣泛應(yīng)用于自動駕駛、醫(yī)學圖像分析等領(lǐng)域[15-17]。本文使用改進的U-Net 網(wǎng)絡(luò)對電熔焊接圖像進行語義分割。

U-Net 網(wǎng)絡(luò)主要分為下采樣和上采樣兩部分，下采樣通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像中的特征；上采樣通過對所提取的特征進行反卷積操作來還原圖像像素所屬類別。原始U-Net 網(wǎng)絡(luò)因其下采樣部分的卷積神經(jīng)網(wǎng)絡(luò)層數(shù)較少，無法提取足夠的特征信息。針對此問題，本文采用Res-block 結(jié)構(gòu)對其下采樣網(wǎng)絡(luò)進行改進。

Res-block 結(jié)構(gòu)是ResNet[18]網(wǎng)絡(luò)的核心，其采用跳躍連接的方式實現(xiàn)信息的融合并且能夠緩解梯度消失問題，結(jié)構(gòu)如圖2 所示。改進后的U-Net，即殘差U-Net 網(wǎng)絡(luò)在下采樣階段由卷積層和Res-block 以及池化層構(gòu)成，其中卷積層由原始U-Net 網(wǎng)絡(luò)的10 層增加到17 層，提取了更多的特征信息；上采樣階段由反卷積層和卷積層組成，改進后的結(jié)構(gòu)如圖3所示。殘差U-Net 網(wǎng)絡(luò)不僅增加網(wǎng)絡(luò)深度，而且緩解了網(wǎng)絡(luò)中梯度消失問題。

圖2 Res-block 結(jié)構(gòu)圖Fig. 2 Structure of Res-block

1.3 數(shù)學形態(tài)學去噪及連通域分析

數(shù)學形態(tài)學[19-21]是圖像處理領(lǐng)域常用的一種方法。腐蝕和膨脹是數(shù)學形態(tài)學中兩種最基本的運算，其數(shù)學公式分別見式(2)、式(3)。

其中：F(x,y) 表示圖像位置及像素值；S(x′,y′) 表示結(jié)構(gòu)元素，可根據(jù)具體應(yīng)用定義； ⊕ 表示腐蝕運算符號； ⊕ 表示膨脹運算符號；Fe(x,y)、Fd(x,y) 分別表示腐蝕運算和膨脹運算的結(jié)果。腐蝕運算能夠?qū)D像中目標物體變小，膨脹運算則相反。

首先對語義分割后的圖像進行數(shù)學形態(tài)學中的開運算。開運算是一種腐蝕運算與膨脹運算的組合運算，它能夠消除背景中的小物體，起到去噪的作用。開運算的運算公式見式(4)。

其中： ° 表示開運算符號；Fo(x,y) 表示開運算結(jié)果。

經(jīng)過去噪處理的圖像再進一步通過連通域分析來確定缺陷相關(guān)信息。連通域分析是常見的圖像處理操作, 其作用是將相同像素值且位置相鄰的像素找出并標記，Seed-Filling 算法[22]是連通域分析常用方法之一。假設(shè)原始圖像記為P，P(x,y) 表示圖像坐標 (x,y) 的像素值，連通域分析后的圖像為P′。Seed-Filling 算法具體步驟如下：

1.4 基于焊接標準的缺陷分類與分級

根據(jù)連通域分析的標記結(jié)果，并結(jié)合焊接標準對電熔焊接進行缺陷分類和分級。首先，經(jīng)過連通域分析后可以得到K個特征線類別的連通域、N個電阻絲類別的連通域、M個底部回波類別的連通域，并定義每種類別的連通域幾何參數(shù)，如表1 所示。

表1 標準相關(guān)的幾何參數(shù)Table 1 Geometric parameters related to the standard

圖3 殘差U-Net 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 Structure of residual U-Net network

DB31/T 1058-2017[23]是上海市的電熔焊接標準，也被國家標準[24]引用。該標準將焊接缺陷分為冷焊、過焊、孔洞、電阻絲錯位、熔合面夾雜（如夾物、油污、氧化皮未刮等）共5 類，每類缺陷根據(jù)其程度進一步分為Ⅰ、Ⅱ、Ⅲ級。依據(jù)表1 的幾何參數(shù)并結(jié)合焊接標準，定義焊接缺陷判別準則如下：

（1）冷/過焊。首先，若特征線類別的連通域個數(shù)為0，即K=0 ，則說明特征線未能通語義分割識別出，可直接判定為冷焊Ⅲ級缺陷。若K＞0 ，則根據(jù)式(5)計算特征線與電阻絲之間的距離：

隨后，根據(jù)式(6)計算冷/過焊缺陷表征程度Hcold/over，并對照表2 確定缺陷類別及等級。

其中：lnormal表示正常焊接時特征線到電阻絲之間的距離，由具體管材型號確定。

表2 冷/過焊缺陷表征程度與缺陷類型、等級對照Table 2 Comparison of cold/over-welding defect characterization degree, defect categories and levels

（2）孔洞。首先，通過底部回波類別的連通域個數(shù)M確定是否存在孔洞缺陷以及孔洞的類型：若M= 1，說明不存在孔洞缺陷；若M＞ 1，則存在孔洞缺陷。其次，根據(jù)式(7)計算孔洞缺陷的表征程度Hhole，并參照表3 確定孔洞類型及等級。

其中：L表示熔合區(qū)長度，由具體管材型號確定。

（3）熔合面夾物夾雜。若存在n∈[1,N] ，使得rxmax(n-1)＞rxmin(n)，則說明存在熔合面夾物夾雜；熔合面夾物夾雜一旦存在，直接定為Ⅲ級缺陷。

表3 孔洞缺陷表征程度與缺陷類型、等級對照Table 3 Comparison of hole defect characterization degree,defect categories and levels

（4）電阻絲錯位。首先，通過式(8)計算電阻絲連通域質(zhì)心x方向上間距的平均值作為電阻絲質(zhì)心x方向上的正常距離；通過式(9)計算電阻絲連通域質(zhì)心y坐標的平均值作為正常情況下電阻絲質(zhì)心的y坐標值。

其次，根據(jù)式(10)和式(11)計算電阻絲連通域中的最大偏離量dmax。最后，根據(jù)表4 確定電阻絲錯位等級。

表4 電阻絲連通域最大偏離量與缺陷等級對照Table 4 Comparison between the maximum deviation of the connected domain of the resistance wire and defect levels

2 實驗與結(jié)果分析

實驗采用圖形工作站作為實驗平臺驗證算法的有效性。硬件配置：運行內(nèi)存16 GB 的Intel i7-8750H CPU@2.20 GHz 處理器、顯存2 GB 的NVIDIA Quadro P600 顯 卡； 軟 件 環(huán) 境： Ubuntu16.04LTS、python3.6 和FastAI 等。

2.1 電熔焊接缺陷識別結(jié)果評價指標

采用準確率(Accuracy)和召回率(Recall)作為識別結(jié)果的主要評價指標[25]，如式(12)所示。準確率表示正確識別的樣本數(shù)量與樣本數(shù)量的比值，該比值越大說明缺陷識別的效果越好。召回率表示正確識別正樣本數(shù)量占所有正例樣本數(shù)量的比例，該指標越大說明正確被預測的正例樣本數(shù)越多。

其中：TP 表示被正確預測的正例樣本數(shù)量；FP 表示被錯誤預測的負例樣本數(shù)量；FN 表示被錯誤預測的正例樣本數(shù)量；TN 表示被正確預測的負例樣本數(shù)量。

2.2 實驗數(shù)據(jù)

實驗數(shù)據(jù)來源于上海某公司，所有數(shù)據(jù)被分為訓練集和測試集。訓練數(shù)據(jù)集包含焊接正常的圖片和帶有缺陷的圖片共200 張，其中正常數(shù)據(jù)80 張，冷焊數(shù)據(jù)40 張，過焊數(shù)據(jù)30 張，孔洞數(shù)據(jù)30 張，熔合面夾物夾雜數(shù)據(jù)10 張，錯位數(shù)據(jù)10 張。測試集包含152 張圖片，其中過焊缺陷30 張，冷焊缺陷30 張，夾雜缺陷17 張，錯位缺陷16 張，孔洞缺陷19 張以及正常焊接圖像40 張。

2.3 實驗過程

2.3.1 焊接數(shù)據(jù)增強 采用1.1 節(jié)中的數(shù)據(jù)增強方法進行數(shù)據(jù)增強。圖4(a)為原始圖片，圖4(b)為水平翻轉(zhuǎn)圖，圖4(c)為加入噪聲比例為0.000 5 的椒鹽噪聲的電熔焊接圖像，圖4(d)為加入均值為0、方差為0.000 01 的高斯噪聲的電熔焊接圖像。通過上述方法對訓練數(shù)據(jù)集進行數(shù)據(jù)增強，從原始的200 張圖片擴增到1 000 張。

圖4 電熔焊接數(shù)據(jù)增強Fig. 4 Data enhancement of electrofusion welding

2.3.2 圖像語義分割 通過Labelme 工具對焊接圖像中的3 個部分（特征線、電阻絲和底部回波）進行標注，圖5 為圖4(a)的標注圖。

圖5 焊接標注圖Fig. 5 Labeling image of welding

采用數(shù)據(jù)增強后的電熔焊接數(shù)據(jù)集訓練殘差UNet 分割網(wǎng)絡(luò)模型。batch size 設(shè)置為2，learning rate 設(shè)置為 1 ×10-3，采用Adam 優(yōu)化器，激活層函數(shù)使用Relu 函數(shù)，輸出層采用交叉熵損失函數(shù)。模型共訓練了30 個Epoch，且訓練準確率達到93.2%。訓練完成后，對得到的模型進行測試。圖6 為3 張測試圖的效果圖，可以看出預測圖與標注圖總體上十分接近，顯示了網(wǎng)絡(luò)模型較好的分割效果。

2.3.3 數(shù)學形態(tài)學去噪與連通域分析 電熔焊接圖像經(jīng)過圖像語義分割后其結(jié)果可能存在少量噪聲，如圖7 所示。數(shù)學形態(tài)學中的開運算能夠消除背景中的小物體，由于噪聲大小與目標物體大小相差甚遠，故采用 3 ×3 大小的結(jié)構(gòu)元素對分割圖實現(xiàn)開運算，結(jié)果如圖8 所示，可以看出電阻絲下方的噪聲已消除。

在完成焊接圖像分割和形態(tài)學去噪后，采用Seed-Filling 算法對焊接分割圖進行連通域分析，結(jié)果如圖9 所示。

通過圖像語義分割和連通域標記分析，使得圖像不僅有目標物體的標記還有同種類別的不同連通域的標記。這種方法不僅有利于焊接缺陷的分類，也有利于焊接缺陷的分級。

2.3.4 基于焊接標準的缺陷識別與分級 根據(jù)1.4 節(jié)描述的方法對測試集中的電熔焊接圖像進行分類分級。測試實驗共分為三部分，分別為二分類實驗、多分類實驗以及分級實驗。

圖6 分割模型效果對比Fig. 6 Effect comparison of segmentation model

圖7 噪聲圖Fig. 7 Image with noise

圖8 去噪圖Fig. 8 Denoising image

圖9 連通域標記Fig. 9 Connected domain marking

（1）二分類實驗。在二分類實驗中，正例指含缺陷的電熔焊接圖像，反例指正常的電熔焊接圖像，準確率代表正確識別的焊接缺陷圖像數(shù)量占所有焊接圖像數(shù)量的比值，召回率代表被正確識別的焊接缺陷圖像數(shù)量占所有含缺陷的電熔焊接圖像數(shù)量。實驗使用測試集中全部圖像進行實驗，實驗結(jié)果如表5 所示，準確率達到92.8%，召回率達到為95.5%。

表5 二分類結(jié)果Table 5 Results of binary classification

（2）多分類實驗。在多分類實驗中，正例指含某種特定缺陷的電熔焊接圖像，反例指其他類型缺陷的電熔焊接圖像，采用召回率作為衡量指標。召回率代表被正確識別的某種特定焊接缺陷圖像數(shù)量占該種缺陷所有的電熔焊接圖像數(shù)量的比值。實驗使用測試集中帶有缺陷的112 張圖像進行測試。識別結(jié)果如表6 所示，所有缺陷的召回率均達到90%以上，其中熔合面夾物夾雜缺陷和孔洞缺陷的召回率達到100%。

表6 多類別識別結(jié)果Table 6 Test results of multiple categories

（3）分級實驗。在分級實驗中，正例指含某種缺陷的特定等級的焊接圖像，反例指含某種缺陷的其他等級的焊接圖像，采用召回率作為衡量指標。召回率代表某缺陷類別中正確識別特定等級的焊接圖像數(shù)量占該種缺陷特定等級的所有電熔焊接圖像數(shù)量的比值。實驗對30 張冷焊缺陷數(shù)據(jù)和30 張過焊

缺陷數(shù)據(jù)分別進行等級評定，其中冷焊缺陷中Ⅰ級5 張，Ⅱ級10 張，Ⅲ級15 張；過焊缺陷Ⅰ級6 張，Ⅱ級5 張，Ⅲ級19 張。冷/過焊缺陷等級劃分需要采用公式(6)并參考表2 進行缺陷分級，最終評定結(jié)果如表7 所示。可以看出冷焊與過焊分級的準確率都達到80.0%以上，且召回率都高于80.0%。其他焊接缺陷根據(jù)相應(yīng)規(guī)則也能實現(xiàn)分級，但由于其他缺陷各等級數(shù)據(jù)量過少，故無法進行等級測試。

表7 冷/過焊缺陷等級劃分結(jié)果Table 7 Results of classification of cold/over welding defects

實驗還統(tǒng)計了整個算法運行的時間，除了加載語義分割模型的時間，一張電熔焊接缺陷的自動識別時間能達到60 ms 左右。

2.4 結(jié)果分析與討論

在實際工程中，一般首先判斷電熔焊接圖像是否存在焊接缺陷，即缺陷二分類；其次對二分類得到的焊接缺陷圖像進行具體缺陷細分，即缺陷的多分類；最后將細分后具體的缺陷類別進行等級劃分，即缺陷分級。根據(jù)工程要求，缺陷二分類的準確率要求達到90.0%，召回率達到95.0%；缺陷多分類的召回率達到80.0%；缺陷分級的召回率達到65.0%且算法運行速度達到每張333 ms 時，本文方法可以應(yīng)用到實際工程中。通過對實際指標要求與上述實驗指標數(shù)據(jù)對比，本文方法的各項指標均滿足實際要求。

但本文方法也存在如下風險：（1）在實驗過程中，learning rate 和batch size 等參數(shù)均根據(jù)經(jīng)驗與實驗平臺性能確定，可能存在更好的參數(shù)設(shè)置；（2）存在測試數(shù)據(jù)過小的風險；（3）采用其他型號的超聲相控陣系統(tǒng)得到的焊接圖像進行實驗時，各種缺陷識別評價指標可能會有所變化。因此，本文的識別算法還可以在以下方面進一步加以改進：

（1）使用參數(shù)自動搜索技術(shù)，進一步改善實驗結(jié)果；

（2）隨著系統(tǒng)的投入使用，可以得到更多的圖片來進一步測試和改善多分類和分級的效果；

（3）將該算法運用于更多類型的超聲圖像，使其更好的泛化能力；

（4）對PE 管道焊接缺陷中的油污夾雜、氧化皮未刮等未能識別的焊接缺陷進一步研究。

3 結(jié) 論

本文針對電熔焊接缺陷分類分級問題提出了一種將數(shù)據(jù)增強、圖像語義分割、數(shù)學形態(tài)學去噪以及連通域分析等技術(shù)相融合并結(jié)合電熔焊接標準的PE 管道電熔焊接缺陷自動識別方法。該方法的優(yōu)勢如下：（1）不用人為地提取圖像中的特征；（2）不僅能夠焊接缺陷分類，而且能夠?qū)θ毕葸M行分級；（3）結(jié)合電熔焊接標準對焊接缺陷進行分類與分級，能夠說明分類分級的合理性與可靠性；（4）能夠識別同一張焊接圖像中的多種缺陷。實驗證明各項指標滿足均實際工程要求，能夠滿足實際應(yīng)用。目前該方法已應(yīng)用于實際項目中，運行效果良好。