深度學習在焊接領域的應用研究現狀

(國家知識產權局 專利局專利審查協作江蘇中心,江蘇 蘇州 215163)

0 前言

深度學習是機器學習的一種方法，該方法大量借鑒了人腦、統計學和應用數學的知識[1-2]。近年來，隨著以深度神經網絡為代表的深度學習模型取得突破性快速發展，得益于更強大的計算機、更大的數據集和能夠訓練更深網絡的技術，深度學習在智能制造領域取得了大量應用[3-4]。

在焊接領域，由于深度學習高效的特征識別特點，國內外學者將AutoEncoder,Deep Belief Networks和Convolutional Neural Networks等深度學習模型應用到了焊接過程控制、焊接缺陷檢測等方面，取得了初步的研究成果。對深度學習技術在焊接過程控制、焊縫缺陷檢測等方面的研究進展進行概述。

1 深度學習在焊接過程控制中的應用

深度學習的概念源于人工神經網絡的研究，主要通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。深度學習在焊接研究中獲得了大量應用，主要包括：高能束焊熔透預測、熔池圖像識別、3D增材制造質量監測等。

山東大學劉新峰[5]基于熔池特征形貌，建立了5層卷積及3層全連接的卷積神經網絡模型，并對等離子焊穿孔及熔透狀態進行了預測。結果表明，利用等離子弧焊接正面熔池和穿孔圖像目標訓練集以及反向傳播對其進行繼續訓練。訓練后的模型可以自動獲取到良好的特征，從而進行正確的分類識別。測試結果表明，穿孔/熔透狀態的識別準確率達90%以上。

Günther等人[6-7]設計了卷積神經網絡模型(CNN)，該模型可從激光焊接過程中高速攝像系統采集的高維相機圖像中提取低維特征，如圖1所示。隨后結合機器學習及控制策略，該類低維特征被用于構成焊接過程的閉環循環。

覃科等人[8]提出了一種利用卷積神經網絡CNN-M對形態復雜的CO2焊接熔池形態進行識別的方法。研究結果表明，CNN-M在網絡的訓練過程和檢測過程中的識別率均要優于BP神經網絡(圖2)，在樣本集稀少的情況下仍能夠達到較高識別率和較快識別速度。

Kim等人[9]利用深度學習開發了GMA焊接接頭背部焊道監測算法。研究結果表明，采用焊接電壓與電流信號獲得的接頭背部熔池形貌經卷積神經網絡訓練后可很好的預測背部焊道的產生情況，準確度達到96.91%。

Tang等人[10]研究了深度學習在增材制造過程中缺陷監測方面的應用。建立的卷積神經網絡模型包含7層特征映射層，且提取了3個特征參數。訓練結果表明，識別準確度達到95.29%。

Shevchik S.A. 等人[11]結合聲發射傳感器及機器學習，研究了聲發射信號在增材制造過程中質量監測方面的應用。根據氣孔率的不同(1.42%±0.85%, 0.3%±0.18%和0.07%±0.02%)定義了3種質量等級，基于譜卷積神經網絡模型(SCNN)對增材制造過程中獲得的氣孔率進行了訓練。試驗結果表明，不同等級的氣孔識別率可達到83%～89%，說明該方法可適用于增材制造過程中的質量監測。

圖2 熔池形貌識別率

可以看出，近5年來深度學習技術在焊接以及基于焊接的增材制造方法的過程控制中均取得應用，相對于傳統的BP神經網絡，深度學習大幅提升了特征提取的準確度和過程控制的響應速度。

2 深度學習在焊接缺陷檢測中的應用

深度學習在圖像特征提取、目標識別等領域均取得大量應用，因此其在焊接特征缺陷提取與分類方面的應用同樣具有優勢。當前深度學習已經應用于焊縫氣孔、未焊透和裂紋等特征缺陷提取與分析中。

電子科技大學的張明星[12]以工業生產所拍攝的鋼管焊縫為試驗對象，首先提出了基于尺度乘積的X射線焊縫區域的提取算法，該算法首先對圖像按行取樣來獲得行灰度曲線，然后利用最小二乘直線擬合的方法將不同尺度下擬合直線的斜率乘積代替梯度算子，并進行非極大值抑制得到邊緣點。對圖像每一行進行同樣的操作，得到整個焊縫的邊緣，從而提取出焊縫區域。當焊縫區域被提取出來后，利用深度神經網絡強大的分類和識別能力，提出了一對互補的稀疏自編碼深度神經網絡進行缺陷識別，即使用4個稀疏自編碼網絡對焊縫圖像中不同大小不同位置的圖像子塊進行檢測，然后再使1個稀疏自編碼網絡對整個缺陷圖像進行檢測。采用該方法提取的焊縫區域，如圖3所示。由表1可以看出，與缺陷檢測常用的SVM分類算法，ANN分類算法以及更復雜的ANFIS算法相比，所提出的算法的正確率要高得多，且計算速度更快。

圖3 算法缺陷提取圖像

表1 不同算法的檢測結果對比

南昌航空大學的鄭志遠[13]以Q235碳素鋼板對接焊縫為試驗對象，將一種基于深度學習的目標自動定位識別方法——Faster R-CNN框架應用到超聲TOFD-D成像缺陷自動識別中，實現了缺陷的自動識別與分類。首先采用自主研發的超聲TOFD自動掃查系統獲取了231張含焊縫典型缺陷的超聲TOFD-D掃成像數據，并將其劃分為訓練集、驗證集和測試集，然后對樣本集進行了訓練，訓練時采用了對同一試塊進行多檢測參數下的超聲TOFD-D掃描，采用相向的掃描方向進行D掃描成像的數據擴充方法擴充訓練集，以避免欠擬合、增強識別系統的抗噪聲能力和魯棒性。對目標建議框進行了設定，結果顯示，該算法對未熔合和氣孔的識別率達0.97，對裂紋和夾渣的識別率也可達0.9，未焊透的識別率最低只有0.8。

華中科技大學的鄧星[14]開發了一套金屬電弧熔積過程表面缺陷檢測分類系統，包括使用工業CMOS相機獲取熔積層表面圖像、采用深度學習中的卷積神經網絡進行缺陷圖像特征的自動學習以及提取、將卷積神經網絡提取到的特征向量作為支持向量機(SVM)的輸入對其進行訓練，進而對缺陷進行分類識別。在CNN的訓練過程中使用了多種加速以及提高訓練精度的策略。通過人為變形處理的方式來增加訓練樣本的多樣性，提高CNN的泛化能力，同時為了加快收斂速度并減小收斂均方差，在訓練過程中采用了隨機化序列，二階導數變學習率以及特征圖譜組合連接等方法，通過對CNN的一系列優化，缺陷的識別率達到了95.29%。利用SVM對CNN提取的特征向量測試準確率可以達到166/170，對于不同的表面狀態都有很高的查全率以及查準率。

S.Ye等人[15]開發了一個基于神經網絡的視覺檢測系統，用于識別電子元器件中電阻點焊缺陷。首先采用彩色CCD相機獲得了焊點圖像，然后將所有的圖像分為兩組，分別為訓練樣本和測試樣本，每組有兩類圖像，分別為缺陷圖像和非缺陷圖像。為提高缺陷識別的準確性，對圖像進行位置修正和圖像增強預處理，經過增強的圖像如圖4所示。采用訓練的神經網絡從焊接圖像中提取15個特征，估計焊接質量。采用神經網絡分類器檢測缺陷的精確度達到了95.82%，而采用常規的圖像處理方法檢測缺陷的精確度只有91.15%。

W.Hou等人[16]以GDXray公共數據庫提供的焊接圖像為對象，提出了一種基于深度神經網絡的自動分類模型。這個模型使用幾個稀疏自動編碼器(SAE)以及額外的特征選擇來實現對內在特征表示的無監督學習，然后使用具有監督學習的SoftMax來微調深度網絡，并且通過X射線圖像補丁訓練和測試所提出的模型，最后基于滑動窗口方法利用訓練好的模型檢查整個圖像并找到缺陷區域。該模型的最大分類準確率為91.84%，并且能夠有效識別氣孔、孔隙、未焊透和裂紋等不同類型的缺陷。

圖4 圖像增強過程

Liu Bin等人[17]提出了一種基于VGG16的完全卷積結構對焊接缺陷圖像進行分類，通過相對較小的深度學習對數據實現了高精度分類的方法。焊縫缺陷X射線圖像來自GDXray的數據庫，將數據庫中的63個圖像進行剪裁、旋轉和翻轉，得到15 000個焊接圖像補丁，再將其分為訓練組、驗證組和測試組，對氣孔和裂紋兩類主要缺陷進行分類。采用神經網絡對數據集進行了訓練，圖5為訓練組和驗證組的精度曲線，在45 000步(10個時期)之后，訓練組的準確度趨于100%以及驗證集準確度。同時，通過基于VGG16的神經網絡在兩個主要缺陷上獲得了97.6%的測試精度和0.012 s的測試時間，優于其它缺陷檢測方法。

圖5 訓練過程中訓練集和驗證集的準確性

Agus Khumaidi等人[18]使用卷積神經網絡和高斯代數的方法對焊縫的氣孔和咬邊缺陷進行了識別和分類。試驗數據為包含30個良好圖像、30個過渡圖像、30個孔隙圖像以及30個咬邊圖像在內的120幅圖像，這些原始圖像不經過射線照相過程，直接從網絡攝像頭捕獲，使用卷積過程和梯度下降神經網絡進行圖像分類的特征提取，卷積由幾個不同的文件管理器組成，每個文件執行自己的卷積，然后將它們堆疊在一起，創建一個三維特征圖，其深度由過濾器數量決定。圖6為該試驗迭代次數與準確度間的關系。當迭代次數超過10時，訓練性能穩定且準確。梯度下降算法能夠訓練數據，訓練數據的準確度值接近100%，測試(驗證)準確度在95%～100%之間。測試精度的平均值為0.958 3，這意味著梯度下降算法可以將95.83%的未知焊接圖像數據進行準確分類。

圖6 迭代次數與準確度的關系

Nana Yang等人[19]提出了基于改進卷積神經網絡的X射線焊縫圖像分類。該方法中的CNN-Xray由7層組成，其中層1，3和5是卷積層，2和4是下采樣層，試驗數據集的圖像規模為60×60，為了不壓縮數據，輸入層設計為60×60。在1，3，5卷積層的激活函數之前添加批量歸一化，這加速了網絡的收斂并且增強了模型的容量。在批量歸一化操作之后，結果由函數LReLU+Softplus處理，從而將非線性因子添加到網絡中以增加網絡的表達能力。在第5層之后，添加卷積核的大小為1×1的卷積層，這一方面增加了網絡的深度，另一方面減少了特征圖的尺寸并避免了過多的參數。通過完全鏈接連接到最后一層，使用SoftMax函數和正則化項作為成本函數。通過這些改進，缺陷分類的準確性得到提高，表2為CNN-Xray與其他檢測方法準確度的對比，可知基于CNN-Xray的方法比LeNet-5，ANN和SVM更準確，準確度為99.5%。

表2 不同算法的檢測結果對比

綜上可以看出，基于卷積神經網絡等深度學習方法的焊接缺陷提取準確度顯著提高，可達到90%甚至95%以上，同時可識別裂紋的種類也得到擴展。

3 結論

(1) 深度學習在特征識別方面的優勢明顯，適合于焊接過程控制與焊接缺陷檢測中圖片識別相關的應用，當前已有的研究證明了深度學習方法的優勢。

(2) 深度學習在高能束焊熔透預測、熔池圖像識別、3D增材制造質量監測等焊接過程控制中的研究表明該技術可顯著提高熔池特征的識別精度。

(3) 深度學習在焊接缺陷識別領域的研究結果表明，該技術可以拓展缺陷識別的種類，同時可以將缺陷識別率提高到90%甚至95%以上。