基于生成對抗網(wǎng)絡的V形焊縫圖像修復算法

葉漢民，劉英志, 程小輝

(1.桂林理工大學 信息科學與工程學院， 廣西 桂林 541004，2.廣西嵌入式技術與智能系統(tǒng)重點實驗室，廣西 桂林 541004)

0 引言

焊接加工一直以來都是工業(yè)加工和智能制造的重要步驟。近年來，隨著人工智能技術的發(fā)展，在大多數(shù)加工情況下，自動化焊接取代了傳統(tǒng)人工焊接的方式，尤其是在一些無人工廠和超級工廠[1]。但在實際加工過程中，由于焊接的質量很大程度上由視覺的定位精度決定，存在由于飛濺和強弧光干擾出現(xiàn)的定位偏移問題[2]，因此提升視覺焊縫跟蹤系統(tǒng)的精度尤為重要。基于激光結構光視覺的焊縫跟蹤系統(tǒng)由于適應性強和穩(wěn)定性良好，通過處理圖像中的特征信息，可進行定位跟蹤，已廣泛應用于自動化焊接設備當中[3]。文獻[4]提出了一種快速的激光條紋中心提取算法，比傳統(tǒng)的中心算法提取速度快將近4.48倍，比Steger算法提取速度快將近70.37倍。

激光視覺焊縫跟蹤系統(tǒng)普遍依賴于所獲的圖像信息，因此，焊接過程中的圖像獲取尤為重要。在焊接過程中又存在著許多強烈的弧光和飛濺干擾，實際工作時，焊縫區(qū)域的原圖像不足以精確判斷焊縫位置，通常相機一次曝光下只能獲取60 dB左右的動態(tài)范圍[5]，所捕獲的信息量有限，造成圖像細節(jié)的丟失。文獻[6]提出了一種基于方向梯度直方圖(histogram of directional gradient,Hog)粒子濾波的V形焊縫跟蹤算法，通過提取焊縫工件坡口區(qū)域的Hog建立模板，進行相似度計算，得到最優(yōu)的焊縫位置信息，運用Hog良好的集合和光學形變不變性，實現(xiàn)了焊縫實時跟蹤。文獻[7]提出并設計了一款基于組合激光結構光的新型多功能單目視覺傳感器，同時通過十字線激光器和一字線激光器獲取位置信息，有效解決了常規(guī)單目視覺存在的圖像深度信息丟失問題。文獻[8]提出了一種無需更改參數(shù)，利用高斯混合模型(Gaussian mixture model,GMM)法分割來獲取圖像，通過對高亮區(qū)域進行面積過濾和形態(tài)學閉操作消除噪聲，強化了激光條紋的特征，使信息獲取更加有效。但在一些惡劣環(huán)境條件下，如強烈的弧光干擾，通過圖像的處理無法進行信息的獲取和特征提取。

針對以上問題，本文提出了一種基于生成對抗網(wǎng)絡的圖像修復算法。該算法由一種新的神經(jīng)網(wǎng)絡架構而成，提取多種條件下焊縫位置圖像的特征信息，對存在強弧光干擾時刻的焊縫圖像進行修復，能夠獲得更清晰、更可靠的焊縫數(shù)據(jù)。

1 激光視覺系統(tǒng)

激光視覺傳感器是一種光電傳感器，通過采集焊縫結構光信息，經(jīng)過處理轉化成圖像位置信息和形狀[9]。單條紋線激光結構光的視覺跟蹤系統(tǒng)，在現(xiàn)階段焊接相關制造業(yè)中針對V形坡口焊縫和定位跟蹤應用最為廣泛，有識別速度快、跟蹤速度快等優(yōu)點[10]。焊接開始前，先對傳感器、相機位置等進行標定，焊槍與零件坡口的檢測區(qū)域之間的三維空間位置，在焊接過程中始終處于相對靜止狀態(tài)，通過相機獲取圖像信息，計算機對圖像做出預處理，拐點位置定位，回傳位置信息。其中，激光視覺模塊與焊槍固定在一起，保證了檢測信息的準確性和有效性[11]。

焊縫跟蹤系統(tǒng)的激光視覺部分主要由工業(yè)相機、線激光發(fā)生器和濾光片構成[12]。根據(jù)一種半導體激光發(fā)生器衍射而出的激光線，照射在焊接工件上，形成的線性結構稱之為結構光，具有光線亮度均勻、直線精確度高、照射性能穩(wěn)定等優(yōu)點[13]。在V形焊縫的識別過程中，激光結構光主要成一種梯形或三角折線狀，中間的3到4個折點的位置信息是決定識別精準度的重要部分。測量過程中，通過圖像的二維像素坐標，運用三角測量方法計算出激光條紋的三維坐標。由標定的距離、相機的水平角度和圖像像素三者之間關系，分析計算出激光條紋的位置信息。

2 焊縫圖像修復

2.1 生成對抗網(wǎng)絡

生成對抗網(wǎng)絡(generative adversarial networks,GAN)由文獻[14]提出。GAN框架包含兩種模型：一個生成器G和一個判別器D，同時進行對抗訓練。生成器G對輸入數(shù)據(jù)進行捕獲，生成新數(shù)據(jù)；判別器D估測獲得的樣本屬于數(shù)據(jù)集或生成器G，通常為該樣本來自數(shù)據(jù)集的概率。整個對抗網(wǎng)絡訓練過程為G使D誤判概率最大化，D盡可能區(qū)分真假數(shù)據(jù)信息。兩個模型在對抗過程中進行訓練，最終達到最優(yōu)解，從而獲得一個經(jīng)過對抗訓練的圖像生成器，生成圖像的判別器判斷的概率接近于50%。

基于GAN原理，對V形焊接圖像進行修復，將惡劣環(huán)境下拍攝的焊接圖像作為輸入數(shù)據(jù)，同時輸入生成器和判別器，生成器根據(jù)噪聲圖像生成修復圖像。建立修復焊接圖像的神經(jīng)網(wǎng)絡，在網(wǎng)絡中植入空間變換網(wǎng)絡(spatial transformer networks,STN)[15]對特征信息區(qū)域增加不變性，提高網(wǎng)絡訓練時采樣過程對圖像做出的破壞和梯度損失，再由經(jīng)訓練優(yōu)化后的生成器合成對應的無干擾V形焊縫圖像。

2.2 空間變換網(wǎng)絡

空間變換網(wǎng)絡是一種空間轉換器模塊,可包含在任意神經(jīng)網(wǎng)絡結構中，提高網(wǎng)絡的旋轉、平移、尺度等不變性，進而在對抗網(wǎng)絡針對焊縫圖像合成的訓練過程中降低圖像的信息缺失和梯度損失，增強網(wǎng)絡的不變性。空間變換網(wǎng)絡的工作示意圖見圖1。

圖1 空間變換網(wǎng)絡的工作示意圖

將STN作為發(fā)生器,構建新的GAN+STN對抗網(wǎng)絡[16]，可以進一步提高相機前景物體的真實幾何校正能力，有效地提高在網(wǎng)絡訓練過程中對原圖像的信息保留。在STN中，要對輸入特征信息映射執(zhí)行扭曲，通過特定位置為中心的采樣來計算每個輸出像素，形成一個輸出特性映射V∈RH’×W’×C，其中，H’和W’分別為網(wǎng)格的高度和寬度，C為通道數(shù)量，模型的輸入和輸出通道數(shù)量相同。STN網(wǎng)絡是一個自包含模塊，可嵌入在神經(jīng)網(wǎng)絡架構中任意點和數(shù)量，具有計算速度快、不影響訓練速度等優(yōu)點，可以讓網(wǎng)絡學習積極地轉換特征圖像，幫助網(wǎng)絡在訓練過程中最小化網(wǎng)絡的總體函數(shù)容量。STN網(wǎng)絡由以下3部分模塊組合而成：

(Ⅰ)在定位網(wǎng)絡模塊中，取寬度為W、高度為H、通道數(shù)為C和輸出為θ的卷積層輸入特征映射U∈RH×W×C，將變換參數(shù)Tθ輸入輸出數(shù)據(jù)θ=floc(U)，參數(shù)的變換類型由θ的大小決定。

(Ⅱ)在網(wǎng)格發(fā)生器模塊中，假定Tθ為Aθ的一個二維映射變換，變換公式如下：

(1)

(Ⅲ)在采樣器模塊中，通過獲取采樣點Tθ(G)和輸入特征映射U，得到生成的采樣輸出特征映射來進行空間變換，輸入的空間位置由采樣點中的每個坐標定義，采樣應用于所獲取的輸出特征映射V中特定像素的值，如下：

(2)

2.3 網(wǎng)絡結構

由生成網(wǎng)絡和判別網(wǎng)絡分別構成生成器G和判別器D，生成器和判別器共同組成圖像修復網(wǎng)絡，生成器G由輸入的強干擾焊縫圖像學習生成對應的映射，生成修復的焊縫圖像。該生成網(wǎng)絡主要由U-Net體系網(wǎng)絡[17]改進而成，為避免計算的冗余，采用5個卷積層和5個反卷積層來構建生成網(wǎng)絡，在每個卷積層中間添加STN模塊，用來保留和加強圖像梯度并減少生成的修復焊縫圖像特征信息丟失，生成網(wǎng)絡結構見圖2。圖2中，5個卷積層每層均采用卷積加Batch_normalize進行歸一化操作，之后用稀疏度較小的LReLU進行非線性激活，在除第5次外的其他每次卷積后添加STN模塊進行參數(shù)校正。反卷積層由4個反卷積加Batch_normalize進行歸一化操作，使用稀疏度較大的ReLU進行激活，和1個反卷積加Tanh激活減少網(wǎng)絡中的壞死，并在除最后一個反卷積層外添加4個STN模塊。該生成網(wǎng)絡中，卷積核大小為3*3，步長均為2。

判別網(wǎng)絡主要由無噪聲圖像(xi|yi)和有噪聲或生成圖像(G(yi)|yi)連接而成，并產(chǎn)出它們的損失函數(shù)，是一個標準的卷積神經(jīng)網(wǎng)絡，由3個卷積層組成，如圖3所示。圖3中，判別器的網(wǎng)絡結構主要由3個卷積層分別加上LReLU激活函數(shù)、Batch_normalize+LReLU和Tanh構成，結果輸出損失函數(shù)LGAN。每層卷積核大小為3*3，前兩層步長為2，最后一層步長為1。判別器網(wǎng)絡只在對抗訓練過程中調(diào)用。其中，損失函數(shù)由均方誤差損失、梯度損失和對抗損失構建[18]。對結果進行L2正則化[19]，使用權重參數(shù)限制優(yōu)化參數(shù)，防止訓練過擬合。

焊縫圖像修復網(wǎng)絡框架如圖4所示。

圖3 判別網(wǎng)絡結構圖 圖4 焊縫圖像修復網(wǎng)絡框架圖

2.4 模型訓練

使生成器在生成圖像時盡可能不改變原始圖像中的特征信息，通過獲取的強噪聲圖像進行學習得到修復后的焊縫圖像的映射，具體訓練過程分為以下3步：

圖5 焊縫路徑示意圖

(Ⅰ)對焊接工件坡口使用激光視覺進行焊縫圖像采集，焊縫路徑示意圖如圖5所示。使用機器示教方式先采集無焊接圖像，然后采集焊接中圖像，圖像采樣過程中幀數(shù)和時間相同，再采集500組圖像，每組圖像包含1張無污染圖像和有焊接過程中強干擾圖像，如圖6所示。圖6分別為采集的兩種同類型焊縫的清晰圖像和污染圖像。圖像原始尺寸為2 592 pixels×1 944 pixels。

(Ⅱ)對采集的500組焊縫圖像進行隨機偏移，同組圖像偏移量相同，降低數(shù)據(jù)的擬合程度，使網(wǎng)絡訓練更加有效。最終獲得1 000組焊縫圖像。

(Ⅲ)對每組圖像進行裁剪，保留特征信息的區(qū)域。裁剪后圖像大小為500 pixels×500 pixels。

(a) 反射面工件清晰圖像 (b) 標準工件清晰圖像

(c) 反射面工件污染圖像 (d) 標準工件污染圖像

由于焊縫圖像均為灰度圖像，信息量不大，網(wǎng)絡收斂速度較快。設置訓練迭代次數(shù)為20次，初始學習率為0.000 2，mini-batch梯度下降尺寸為1組圖像，式(7)中參數(shù)設為100。將處理后的焊縫圖像數(shù)據(jù)集輸入修復網(wǎng)絡進行對抗訓練，使用Tensorflow中tf.train.AdamOptimizer函數(shù)進行參數(shù)優(yōu)化，減小梯度損失。

3 焊縫跟蹤方法

在焊接過程中，對焊接工件焊縫位置坡口進行測量定位，通過獲取圖像中特征節(jié)點坐標獲取焊機與焊縫三維坐標位置，采取如下三角測量的原理[20]，高度誤差判斷示意圖見圖7。

圖7 高度誤差判斷示意圖

相機、激光器、觀測點和工件位置存在以下關系：

A=Ytanβ；

(3)

(4)

其中：A為相機觀測位置與焊機焊接位置距離，mm；Y為工件與焊縫的垂直距離，mm；B為相機與觀測位置相對直線距離，mm；β為相機的垂線與觀測點的夾角，(°)。通過標定相機所獲取圖像中心位置，可獲得焊機垂直高度誤差。水平誤差關系如下式:

(5)

(6)

(7)

其中：Z為相機與觀測中心位置水平距離，mm；X為相機與激光器水平位置距離，mm；α為激光器與工件平面夾角，(°)；C為超出觀測中心位置距離，mm；D為相機觀測的中心點位置與標定的焊縫觀測位置距離，同時D也為焊槍的水平誤差，mm；M為所要求的誤差高度，mm。水平誤差由標定的激光成像預設角度與相機像素點的比例運算可得。

4 實驗與討論

4.1 實驗條件

使用1臺用于訓練圖像修復網(wǎng)絡的計算機。CPU：Intel(R)Core(TM) i7-4720HQ 2.60 GHz；GPU：NVIDIA GeForce GTX-980M；內(nèi)存：16 GB。軟件環(huán)境：MATLAB R2016b軟件，安川MOTOCALV-EG軟件,MotoSimEG-VRC校準和仿真軟件。相機使用大恒MER-503-20GM/C-P型相機，鏡頭為8 mm M0824-MPW2，2 592 pixels×1 944 pixels。

4.2 焊縫圖像修復效果測試

使用尺寸為500 pixels×500 pixels的強噪聲焊縫圖像進行焊縫圖像修復效果測試。將焊接過程中有強弧光和飛濺的焊縫圖像輸入進經(jīng)過對抗訓練的圖像修復網(wǎng)絡中，輸出對應修復后的焊縫圖像，所提出的圖像修復方法與其他4種圖像修復方法分別進行6組實驗對比。圖像修復效果對比見圖8。圖像修復算法參數(shù)見表1。

(a) 無噪聲圖像

表1 圖像修復算法參數(shù)

續(xù)表1

由圖8和表1可見：本文焊縫圖像修復方法可以很好地對污染的焊縫圖像進行修復，去除噪聲，對焊縫的特征信息做出了很好的保留，在平均梯度、空間頻率和人眼感知上均優(yōu)于其他算法指標，焊縫修復圖像在平均梯度上相較于GAN方法可提升60%以上，使焊接過程中的焊縫圖像更加清晰。對于圖像污染較小的情況，與其他算法處理相差很小,相較于單純的生成對抗網(wǎng)絡STN模塊，更好地保留了特征點的位置信息，此方法對焊縫圖像修復速度約為30幀/s，達到焊接視覺實時跟蹤的要求。

4.3 焊縫跟蹤模擬效果測試

采用所提出的GAN+STN圖像修復算法和三角測量法進行焊縫跟蹤實驗，實驗中模擬富氬混合氣體保護焊(metal active gas arc welding,MAG)焊接方式，常用80%(體積分數(shù)，下同)氬氣混合20%二氧化碳氣體作為保護氣，焊縫形狀為V形坡口焊縫，具體焊接參數(shù)見表2。為驗證圖像修復算法在實際應用中的準確性，對焊縫先進行未焊接路徑跟蹤,確定焊縫準確位置，使用三角測量法,根據(jù)特征點坐標進行三維位置獲取，進行定位跟蹤。使用安川校準仿真軟件進行實驗，通過25點法原點校正，校準計算結束后，再通過平均偏移量判斷校準是否合格，更改絕對原點數(shù)據(jù)、工具數(shù)據(jù)進行二次校準。之后，運行焊機按照示教的路徑運動，獲取3組不同焊接工件情況下，不同焊接電壓和電流的焊接過程中的焊縫圖像，實驗中為獲取更準確的橫向偏移誤差,工件水平高度不變，對相機獲取的焊縫圖像進行逐幀處理排序，圖像處理各步驟對比如圖9所示。

表2 焊接參數(shù)

(a) 標準工件清晰圖像 (b) 標準工件污染圖像 (c) 標準工件修復圖像

(d) 非標準工件清晰圖像 (e) 非標準工件污染圖像 (f) 非標準工件修復圖像

(g) 反射面工件清晰圖像 (h) 反射面工件污染圖像 (i) 反射面工件修復圖像

圖10 模擬跟蹤路徑

將修復后的焊縫圖像中的特征點進行keypoint提取，獲取特征點坐標。通過MATLAB軟件仿真模擬，對經(jīng)過算法修復的圖像進行特征提取，獲取三維位置信息，根據(jù)3組焊縫圖像，對焊縫跟蹤的誤差進行比較，模擬跟蹤路徑如圖10所示。

在實驗過程中，根據(jù)實際焊接工藝，分別對Q195、Q215和Q235這3種不同材質的焊接工件進行焊接跟蹤，分別對應不同的焊接電壓和電流，對比未在焊接過程中獲得的焊縫跟蹤數(shù)據(jù)，均有較為良好的跟蹤效果，在跟蹤過程中路徑的平均誤差可以控制在0.2 mm以內(nèi)。雖然實驗中由于第3組實驗焊接工件的結構較為復雜，導致誤差增大，但也滿足了焊接的跟蹤需求，優(yōu)化后的焊縫圖像修復網(wǎng)絡具有良好的圖像修復效果，魯棒性更好，修復得更準確。

5 結論

(1)討論了一種激光結構光視覺的焊縫跟蹤方法，能夠在自動化焊接領域針對V形焊縫特征進行特征點信息提取，與圖像處理相結合，提高了自動焊接效率和質量。

(2)針對焊接過程中的污染圖像無法定位糾偏問題，提出一種GAN與STN相結合的圖像修復方法，修復后的圖像在平均梯度參數(shù)上有顯著提高，整體焊縫圖像清晰干凈，對依靠像素判斷的視覺跟蹤系統(tǒng)提升明顯。

(3)將本文提出的方法結合三角測量法進行焊接模擬實驗，隨機取樣跟蹤誤差在0.2 mm以內(nèi)，達到二氧化碳保護焊等常見焊接工藝的焊縫跟蹤精度要求，跟蹤效果穩(wěn)定。