基于改進ResNet50的石油管道焊縫缺陷分類

張立，王衛華，王靖然，楊逸軒

（1.廣東白云學院，機電工程學院，廣州510450；2.廣東工業大學，機電工程學院，廣州510006）

0 引言

石油管道的焊接質量影響到焊接結構的使用性能和壽命。由于生產工藝和焊接環境的不同會產生各類焊接缺陷，依照焊縫位置的不同可分為外部缺陷（咬邊、焊瘤、塌陷、燒邊等）和內部缺陷（裂紋、未熔合、未焊透、圓形缺陷等）[1]。外部缺陷可以通過肉眼直接觀察辨別缺陷類型，而內部缺陷需要無損檢測技術來辨別。常用的無損檢測技術有：超聲波檢測[2]、紅外熱像儀[3]、渦流檢測、磁懸浮檢測[4]、X射線檢測[5]等。由于X射線檢測技術可以將缺陷的形狀、位置、大小準確地反映在灰度圖片上等優點得到了廣泛的應用[6]。X射線所得圖像，它需要檢驗員憑借經驗進行判斷，這種方法存在一定的弊端：檢驗員的專業水平等主觀因素會造成漏檢或者錯檢等情況，使不合格產品進入市場，從而造成不可估計的損失。近幾年機器視覺應用在工業檢測中越來越普遍，應用形態學濾波和分水嶺算法對數據缺陷輪廓的提取，實現對X射線圖片缺陷的檢測[7]。通過CCD相機與輔助光源對焊接圖像進行采集，使用GrabCut算法進行前景與背景的分割，以QT為平臺搭建基于機器視覺的焊縫表面實時監測系統[8]；在中值濾波算法的基礎上計算局部數據點的均值和方差作為閾值選擇的范圍，既可以去除圖像噪聲，又能保留圖像的邊緣信息，降低提取特征點的難度[9]。但是傳統的機器視覺算法受到光照、背景差異、形變等因素影響到算法的魯棒性。卷積神經網絡具有因為對光照不敏感、泛化能力強等優點，被廣泛應用于圖像識別領域。采用漸進式卷積神經網絡對焊縫識別，使用較少的數據和較簡單的網絡避免了過擬合，得到98%的識別率[10]。此次實驗改進ResNet50，結合可變形卷積、深度可分離等方法，提升了管道焊縫的識別率。

1 相關理論和研究方案

1.1 可變形卷積

標準卷積核幾何形狀大小固定，導致對未知形狀的權限檢測能力受到限制?？勺冃尉矸e對不同位置、不同尺度的特征具有自適應精確定位，對不同尺寸的缺陷具有良好的魯棒性。可變形卷積對輸入特征圖的采樣點學習兩個偏移量（x，y），而不局限于規則的卷積核形狀，使得提取的特征集中在感興趣區域。可變形卷積與標準卷積，操作過程都是在同一通道的二維結構上。標準卷積操作分為兩部分：①在輸入的特征圖上使用網格R進行采樣；②然后權值相乘運算。其中網格R定義了3×3的感受野。

每個特征層的每個位置p0的變化按依照公式（1）計算:

式中：p0為特征層中的元素；pn為枚舉R中的數值；w為各個位置的權重；

可變形卷積中，對標準的網格R增加了偏移量進行擴張，特征圖中p0計算公式如公式（2）：

式中：Δpn為偏移量，通常是浮點值。對Δpn進行取整，通過線性插值進行實現，如公式（3）：

式中：p為任意浮點的位置；q為枚舉特征圖x的所有積分空間位置；G(q,p)為雙線性插值核函數。

G(q,p)是二維數據，被分為兩個一維內核，如公式（4）示：

式中：g(a,b)=max(0,1-|a-b|)，取最大值；x,y為偏移方向。

對同一特征圖進行卷積獲得偏移量，卷積核具有與當前層相同的分辨率以及膨脹度。經過卷積通道數目擴充為2N，對應2維的偏移輸出，通過可變形卷積在訓練過程中學習缺陷特征偏移量的數值。學習出來的偏移量與特征層一起作為可變形卷積的輸入，對缺陷區域的訓練集中在感興趣區域?？勺冃跃矸e如圖1所示。

圖1 可變形卷積

1.2 Inception模塊

如圖4所示，金屬管道焊縫數據集中的缺陷區域大小不一，因此需要的感受野也不同。Inception網絡設置不同大小的卷積核對應不同尺寸的缺陷，連續堆疊卷積核，使相同的感受野條件下產生更少的計算量。

在卷積神經網絡中，尺寸大較大的卷積核有利于提取全局特征，尺寸小的卷積核有利于提取局部特征，并且堆疊較深的網絡容易產生梯度消失和梯度彌散等問題，浪費計算資源。如圖2所示，Inception模塊融合不同尺寸的卷積核[11]，大小各異的卷積核適應不同大小的目標的分類任務，最后疊加特征層的通道數目來進行特征提取。模塊中包含大量的1×1卷積層，以較少的計算量增加非線性映射函數，加強網絡的表達能力。Inception結構中的Block模塊以密集成分近似計算最優的局部稀疏解。

圖2 Block網絡結構

1.3 深度可分離卷積

實驗中為了適應形狀不同的缺陷特征，增加了可變形卷積，然而可變形卷積會產生額外的訓練參數，增加了模型的時間復雜度，為此引入深度可分離卷積來減少訓練的時間。深度可分離卷積把卷積核分成兩個單獨的卷積：深度卷積和逐點卷積。深度可分離卷積視通道和維度空間是可分的，分別進行3×3卷積和1×1卷積，最后在特征層上逐點相加，融合特征層的位置信息。

圖像大小為128×128，經過3×3大小的卷積核，filter為4，每個filter中包含3個卷積核，產生參數Nstd=4×3×3×3=108；深度可分離卷積產生的參數Ndepthwise=3×3×3×1=27；經 過 逐 點 卷 積 后 參 數Npointsize=1×1×3×4=12，整個深度可分離卷積產生的參數為39，是常規卷積產生參數的33.33%。通過深度可分離卷積，網絡的參數量和計算量大幅降低，深度可分離卷積如圖3所示。

圖3 深度可分離卷積

1.4 遷移學習

在機器學習領域中，效果表現表現好的模型通常需要大量的標注數據集進行訓練，學習識別的參數。遷移學習[12]作為機器學習的一個重要分支，由已知領域學習參數作為下一個任務需要的初始參數，從而節省網絡訓練的時間。實驗中的石油管道焊縫數據量遠不能滿足卷積神經網絡的需求，因此采用參數遷移學習，利用任務之間的相似性，減少過擬合的現象。

式中：D（s）為源領域，D（t）為目標域，x為域的特征空間，P（x）為特征空間對應的邊緣概率分布。

2 網絡結構設計與結果分析

2.1 實驗數據集

實驗數據中共有4類石油管道焊縫缺陷圖片，分別是：燒穿、裂紋、氣孔以及無缺陷圖片，如圖4所示。

圖4 管道焊縫缺陷

數據分為訓練集和測試集，如表1所示。訓練集用來訓練模型，模型對此提取重要的分類信息；測試集用來驗證當前模型學習語義信息的能力，實驗中根據訓練集和測試集的精度曲線進行調節超參數。

表1 數據集的分布

2.2 網絡結構設計

對實驗數據的分析，焊縫缺陷的特征主要是線、圓等形狀，特征比較明顯，形狀規則。借鑒ResNet50殘差網絡的結構[13]，搭建50層神經網絡網絡模型對焊縫缺陷數據集進行分類識別，模型結合了多尺度卷積核、深度可分離卷積和可變形卷積等算法，模型結構如圖5所示。

圖5 網絡結構

改進后的ResNet50第一個卷積層采用可變形卷積，后續卷積層為標準卷積，減少可變形卷積產生的額外參數，并且網絡的第一層表現出的特征最為明顯；結構中添加3個Block模塊，每個模塊包含兩種尺寸卷積核，對不同大小卷積核之間的通道進行融合；模型最后添加可分離卷積卷積核數量為1024。Block模塊的結構如圖6所示。

圖6 Block模塊

2.3 實驗結果與分析

實驗中使用NVIDIA GeForce GTX1650顯卡，Intel Core i5-10200H處理器。損失函數優化方法選擇Py-Torch中的隨機梯度下降算法，batch size為32，200個epoch，momentum為0.9。圖7中（a）所示模型訓練次數為2000時，驗證集的損失近乎水平，此后的損失函數保持水平，達到穩定的狀態；訓練集的損失函數小于0.2。（b）為精度曲線，訓練集和驗證集的訓練精度在1000次時，平均分類精度達到98%，其中訓練集的精度曲線偶爾出現跳動，驗證集的精度曲線保持不變。

圖7 訓練精度和損失函數

改進后的網絡通過參數遷移學習，使得模型以較快的速度達到最優。分析訓練集的損失函數和精度曲線發生跳動的原因，主要由各類型數據分布不一致從而導致模型參數學習發生變化，反向傳播過程中梯度幅值發生較大的變化。雖然網絡中添加了BN層緩解此現象，但是輸入輸出不一致的問題仍然無法完全避免。

保存訓練好的模型文件，然后加載此模型文件測試單張缺陷數據。如圖8所示，在數據集中任意選擇12張數據，包括無缺陷數據、燒穿、氣孔、裂紋，訓練好的模型對缺陷數據均能正確分類，達到良好的識別效果。

圖8 測試效果

3 結語

焊縫缺陷數據具有特征明顯、缺陷尺寸差異大的特點，針對此類數據集提出參數遷移學習與卷積神經網絡聯合的方式對焊縫缺陷數據進行識別。充分利用卷積神經網絡對特征的旋轉不變性以及對光照變化的適應能力，提升對缺陷分類的精度和魯棒性；融入參數遷移學習，減少訓練數據集的時間。根據任務需求，選擇性的添加深度可分離卷積和多分支結構，使模型的分類精度達到99%，函數損失值低于0.2。對比傳統圖像分類方法，卷積神經網絡模型對數據集的魯棒性及識別精度均高于同類型的識別方法，為后續焊縫等金屬缺陷分類識別提供有力的科學工具。