基于深度學習的小徑管環焊縫DR圖像缺陷智能識別

陳 樂

（上海市特種設備監督檢驗技術研究院）

0 引言

在承壓設備用小徑管的工業制造過程中，數字射線（DR）檢測是對其環焊縫進行質量控制的關鍵環節，隨著生產自動化水平提高，快速高效識別DR 圖像中的缺陷逐漸，成為目前研究的熱點。

DR 圖片缺陷自動識別的核心技術是圖像處理和計算機視覺技術，主要分為基于機器視覺特征提取算法和基于深度卷積神經網絡算法兩種。前者是對圖像進行各種處理后，利用人工設計特征規則如區域面積，區域重心和區域形狀來檢測缺陷，屬于半自動化識別方法[1]；后者是利用深度學習的方法對圖像進行抽象和復雜特征進行學習，并通過后續網絡對特征進行處理及缺陷檢測[2]。目前，大多數DR 圖像識別仍然采用基于傳統機器視覺算法。這類算法的計算過程繁瑣，檢測時間較長，且檢測精度不高，魯棒性較差。深度學習卷積神經網絡算法不需要手動設計和分類特征， 特征學習速度快，檢測精度高，通過數據增強算法可以有效提高其魯棒性,而且通過網絡結構設置能夠對像素面積較小的特征進行檢測，因此被廣泛應用于檢測各類工業產品缺陷檢測工作[3]。

本文將深度學習應用到小徑管對接環焊縫圖像檢測中，通過構建卷積神經網絡對焊縫區域DR 圖像進行識別，根據缺陷類別建立訓練集數據庫，達到對小徑管環焊縫缺陷高效智能檢測的目的。

1 小直徑管接接環焊縫DR檢測工藝及圖像特征

對接環焊縫數字射線照相的成像方法有雙壁雙影斜照法、橢圓成像法和擴展成像法。GB/T 35389—2017《X 射線數字成像檢測》標準中規定，外徑小于或等于100 mm，壁厚小于或等于8 mm 的管材稱為小直徑管。在滿足下列條件時應該采用傾斜透照方式進行橢圓成像。D（管外徑）≤100 mm；T（壁厚）≤8 mm；G（焊縫寬度）≤D/4；如果T/D＜0.12，則需要相間隔90°透照一次。

研究對象小徑管尺寸為：外徑D=50 mm，壁厚T=2 mm，焊縫寬度g=10.5 mm。為了滿足雙壁雙影傾斜透照橢圓成像要求，射線源距離工件500 mm,射線源距離平板探測器1 000 mm，采集20 幀平均圖像作為探測器輸出圖像，工件布置及實際圖像如圖1 所示。

圖1 小徑管透照工藝及檢測圖像

小徑管焊接缺陷一般包含裂紋、未熔合、未焊透、條形缺陷、圓形缺陷、根部內凹、根部咬邊等，部分缺陷及特征如圖2 所示。

圖2 對接小徑管常見缺陷

2 Faster RCNN模型下的環焊縫缺陷識別算法

焊縫中的缺陷識別過程屬于圖像中的目標檢測，快速區域性卷積神經網絡（Faster RCNN）是一種典型的深度學習算法。

2.1 Faster RCNN基本結構

Faster RCNN 算法是廣泛應用于目標檢測領域，使用區域建議網絡（RPN）代替選擇性搜索（SS）算法生成目標候選區域，具體結構如圖3 所示[4]。

圖3 Faster RCNN算法模型

從圖3 可以看出，Fastr RCNN 分為4 個主要部分:第一個部分是特征提取部分（Conv layers），使用VGG16 網絡中卷積層+激活函數+池化層提取圖像特征圖，提取到的特征圖將用于后續網絡中，對于任意一幅大小為X×Y的輸入圖像，進入網絡之前都會被重置為固定M×N，經過特征提取網絡后，圖片大小變為原來的1/16；第二個部分是區域建議網絡（RPN），RPN 主要用于生成錨框方案，先通過歸一化指數（softmax）函數判斷錨框正誤，然后利用邊界框回歸方法對第一步分類的錨框進行修正從而獲得精確預測值；第三個部分是池化（ROI），這一部分將特征圖和區域建議值作為網絡輸入，輸出一個區域建議特征圖到后續的全連接層中；第四個部分是分類（Classification），根據ROI 池化中輸出結果計算目標類別同時再次使用邊界回歸方法獲得檢測框最終位置。

2.2 特征提取網絡VGG16

VGG16 特征提取網絡構如圖4 所示。

圖4 VGG網絡結構圖

VGG 網絡將輸入圖像調整為532 像素×600 像素，特征提取過程如表1 所示。

表1 VGG16特征提取過程（Conv：向量卷積運算）

在圖像輸出后，在每一層卷積后都使用線性激活函數（ReLU）增加非線性因素，經過conv1-1+padding（填充零）+conv1-2 就生成了64+64=128個特征圖;第二層中生成128+128=256 個特征圖；第三層中生成256+256+256=768 個特征圖；在第四層中生成512+512+512=1 536 個特征圖；第五層中生成512+512+512=1 536 個特征圖。以圖1 b）的DR 圖像作為輸入，將五層卷積特征圖進行疊加，結果如圖5 所示。

圖5 各卷積層特征圖

對圖5 特征進行分解及疊加可以發現如下規律：

（1） 淺層特征更傾向于圖像邊緣檢測，檢測內容全面，同時也會提取關鍵信息（例如第一個卷積層中焊縫區域中的夾雜缺陷）。

（2） 隨著網絡加深，需要學習特征部分（焊縫缺陷）和其他部分（母材等）的差異越來越大。

（3） 層次越深，空白區域越多，目標區域越明顯。

3 算法改進模型評估過程

3.1 數據集增強

深度學習需要足夠的樣本供網絡學習，在含缺陷圖像不足的情況下，可以對圖像進行樣本增強操作[5]。主要以保留原圖像特征信息為基礎，將感興趣區域特征進行變換而不改變圖片大小和格式，由于實際透照含有缺陷的圖像樣本有限，本文運用平移法將560個樣本圖像數擴充到2 000 張，作為訓練樣本。

在DR 透照過程中，由于工件擺放位置有所差異，反映到平板探測器成像上表現焊縫區域的整體位移。為了模擬位置偏移，采用仿射變換方法平移焊縫區域，平移范圍受到圖像中焊縫區域限制，即焊縫區域必須完整處于圖像中，保證平移變換之后不會丟失任何缺陷信息。以夾雜缺陷為例，圖6 展示了某圖片旋轉后數據增強的過程。

圖6 旋轉法圖像增強

3.2 訓練樣本缺陷標定

訓練樣本缺陷標定是模型建立的基礎，目的是手動標出所有訓練樣本中的缺陷類型，采用labelimg 插件，相應界面如圖7 所示。

圖7 Labelimg缺陷標注界面

對每張圖片的缺陷用鼠標畫出選擇框，并注明缺陷類型，如氣孔、夾渣等，最終軟件會生成xml 文件，如圖8 所示。文件主要包含4 部分信息：圖像文件存放位置和圖像名稱，圖像的像素面積和位深度，標定目標名稱及其4 個坐標位置。這些信息將會在網絡訓練中被使用，圖8 對應的標定文件是24.jpg;圖像尺寸為531 像素×601 像素；標定缺陷的四個坐標分別為（87,191）、（87,215）、（112,191）、（112,215）。

圖8 缺陷xml文件

3.3 目標檢測的評價標準

對于所有訓練樣本來說，算法模型識別結果是否與設置的標定相符合，是評價算法模型的標準，常見的是準確率和召回率。在得到預測結果后，根據標定目標的真假和實際目標的正反相互組合，可以得到4種結果。分別為真正例（TP），假正例（FP），真反例（TN）和假反例（FN）四種結果，如表2 所示。

表2 目標檢測評價標準

根據以上四種定義，定義精準率P和召回率R，如式（1）和式（2）所示:

P和R都是反映預測正確的正類個數，為了綜合評價一個網絡的性能，一般進行P-R曲線繪制，其中R表示橫軸，P表示縱軸，并且該曲線與x軸和y軸的合圍面積為單一目標檢測時的平均精度，用mAP表示。

4 缺陷識別流程及結果分析

基于Faster RCNN 的小徑管環焊縫DR 圖像缺陷識別算法步驟如圖9 所示，可以分為以下幾個步驟：

（1）任意大小的圖片輸入VGG16 網絡，經過多層特征融合之后，得到特征圖；

（2）在RPN 中使用聚類方法重新定義生成的錨框大小；

（3）根據特征圖和原圖一一對應關系，在特征圖上找到每個區域建框對應特征框，輸入到ROI 池化層中進行歸一化處理；

（4）經過全連接層得到固定大小特征向量；

（5）利用softmax 分類器對目標分類判別。

根據圖9 所示的流程輸入2 000 張訓練集圖像，在模型訓練過程中，首先需要設定批處理參數（Batch-size），從而使模型訓練快速收斂并達到全局最優點。圖10 所示為不同批處理參數下的訓練效果圖，橫坐標Epoch是使用訓練集全部數據進行的完整訓練次數，縱坐標mAP是網絡平均精度，訓練由曲線分析得批處理參數設置為32 時，最先到達mAP最高點。

圖9 小徑管焊縫缺陷識別流程圖

圖10 不同批處理參數的mAP對比

除批處理參數（Batch-size）之外，還有些參數需要設定。

（1）學習率

學習率表示參數移動到最優值的速率。如果學習率過高容易發生梯度爆炸導致模型無法收斂；反之，如果學習率過低容易發生欠擬合導致優化的效率過低，也會使模型陷入局部最優。學習率設置對模型訓練非常重要，在 Faster RCNN 網絡模型訓練實驗過程中，最優初始學習率設定為 0.001。

（2）動量

模型在訓練過程中利用當前批處理的梯度確定最終更新方向，在一定程度上增加了模型穩定性，提高了模型學習效率，還具有一定擺脫局部最優能力。模型設計動量為 0.9。

（3）權重衰減

為了避免網絡過擬合，引入權重衰減系數，使得在訓練過程中權重權值收斂，權重衰減系數設定為0.000 1。

（4）伽馬校正參數

伽馬校正參數是對圖像各個像元進行修正的參數。當γ＜1 時，圖像低灰度區域對比度增強，整體灰度值變大；當γ＞1 時，圖像低灰度區域對比度降低，整體灰度值變小。最優的初始伽馬參數設定為0.1。

網絡訓練40 000 次，損失曲線如圖11 所示（橫坐標為網絡訓練次數，縱坐標為網絡總損失值），用mAP評價模型結果，RP曲線如圖12 所示，平均精度mAP為0.859 1，召回率R為0.96。

圖11 訓練40 000次后的總損失曲線

圖12 RP評價模型曲線

模型訓練完成后，輸入待檢測圖像得到缺陷識別情況，如圖13 所示，可以識別圖像中所含的缺陷類型。

圖13 實際檢出結果

5 結論

本文在獲取小徑管環焊縫DR 圖像基礎上，用圖形變換的方法進行數據增強和Labelimg 缺陷標定，創建了焊縫數據集，基于Faster RCNN 目標檢測算法，在特征提取網絡中對5 個卷積模塊分別進行可視化處理，得到每層網絡中的特征圖，將最后一層網絡的特征圖進行特征融合，形成最后的目標特征并建立學習分類模型，從而有效識別待測試圖像中的缺陷。