圖像自動增強與注意力機制深度學習的MIG焊縫跟蹤系統(tǒng)

MIG weld seam tracking system based on image automatic enhancement and attention mechanism deep learning

ZHU Ming1，2，LEI Runji1，WENG Jun¹ ，WANG Jincheng1， SHI Yu1， 2 （1.State KeyLaboratoryof Advanced Procesing and Recycling of Non-ferrous Metals，Lanzhou Universityof Technology， Lanzhou 73Oo5O，China;2. Key Laboratory of Non-ferous Metal Alloys and Processing of State Education Ministry， Lanzhou University of Technology，Lanzhou 730o5O，China）

Abstract：Aiming at the problem that conventional MIG welding is diffcult to adjust the welding position in real time according to the group deviation and thermal accumulation deformation，a weld seam tracking method based on passive vision is proposed. Through the image spatial domain filtering and automatic enhancement algorithm， the YOLO v7 deep learning model with attention mechanism is used to extract and analyze the groove alignment position andarc position in theregion of interest inreal time.The fuzzy control algorithm isused to control the MIG welding processin real time when the preset deviation occurs. The results show that，the image automatic enhancement algorithm is used to complete the preprocesing of the image，and the pixel gray value of the edge position is increased from 40 to about110，which significantly improves the accuracy of the edge position information extraction；Based on the YOLO v7 network structure，the attntion mechanism module is added to improve the eficiency of target detection，and the mAP index is as high as 99.27% .The preset deviation test shows thatthe pixel errorof the alignment deviation detection is within8 pixels，and thealignment deviation distance is controlled between ±0.5 mm.

Key words： weld tracking；passive vision； image enhancement； deep learning

0 前言

在工程實踐中，由于焊件的坡口加工、組對與熱積累變形等造成的偏差，會引起間隙、錯邊的不規(guī)則變化，并嚴重影響了焊接過程的穩(wěn)定性與焊縫質(zhì)量[1]。為了進一步提高焊接效率與智能化水平，亟需開發(fā)可以根據(jù)焊接工況變化、實時調(diào)整焊接位置的焊縫跟蹤算法及系統(tǒng)[2]

采用實時性更好的被動視覺算法是實現(xiàn)焊縫跟蹤的有效途徑之一。國內(nèi)外眾多學者針對這一領(lǐng)域開展了長期的研究，Xia等人[3提出了一種基于窗口信息融合的被動視覺焊縫跟蹤算法，實現(xiàn)了對焊道擺動電弧過程中焊槍中心偏差的實時識別；Xiao等人[4]提出一種基于改進Snake模型的特征提取算法，可以對多個焊縫具有較好的適應(yīng)性和魯棒性；張廣軍等人[5]實現(xiàn)了對S形曲線焊縫平穩(wěn)、精確的自主跟蹤；Wang等人[分析了圖像特征隨焊槍位置的變化規(guī)律，提出了焊槍的控制策略和實現(xiàn)焊縫跟蹤的圖像處理方法；Zhang等人研究了基于深度學習的機器人弧焊鋁合金在線缺陷檢測方法。上述研究為弧焊過程被動視覺傳感的光學系統(tǒng)構(gòu)建與信號特征處理提供了有效的途徑與模式，但在處理速度與跟蹤精度方面仍需進一步優(yōu)化。

文中提出了圖像自動增強算法，提高了復(fù)雜焊接環(huán)境中圖像特征位置對比度及圖像檢測的準確度.提出了基于邊緣檢測和卷積神經(jīng)網(wǎng)絡(luò)的方法，實現(xiàn)對坡口位置信息、電弧水平位置信息提取與表征，采用模糊控制算法進行了焊縫跟蹤試驗。

1 試驗系統(tǒng)

試驗系統(tǒng)如圖1所示，主要包含MOTOWELD-RD350 焊機、XIRISXVC510 焊接相機、NI-IC3171 工業(yè)控制器及Fanuc機器人等硬件。電弧電壓 18V 、焊接電流約為 200A， 焊接速度 5mm/s 、送絲速度140mm/s 、保護氣體為純氬氣，氣體流量 10L/min 。

2 試驗結(jié)果與分析

2.1 焊接圖像預(yù)增強處理

提出了一種自動增強的方法對圖像的灰度進行增強，從而提高整幅圖像的對比度。首先利用直方圖分析可得到整張圖像的各個像素點灰度值與整張圖像的灰度平均值A(chǔ)，經(jīng)過平均化處理后坡口外灰度值為0，坡口內(nèi)的灰度值遠大于0。為了進一步提高對比度，給圖像的所有灰度值再乘以一個增強系數(shù) K ，進一步增大坡口內(nèi)外區(qū)域的灰度差值。

MIG焊圖像自動增強對比結(jié)果如圖2所示。可以發(fā)現(xiàn)對于焊槍區(qū)域和坡口區(qū)域特征信息都得到了明顯的增強，提高了焊槍邊緣信息與坡口邊緣信息的對比度，使得特征信息的提取更為容易。增強圖像的坡口邊緣強度遠遠大于原圖像相同位置的邊緣強度，邊緣灰度值從40增大到110左右。

2.2特征位置信息提取與表征

采取卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測定位加邊緣檢測的辦法，通過對焊縫坡口感興區(qū)位置的定位預(yù)測，再使用邊緣檢測的方法獲得坡口邊緣信息。綜合考慮焊縫跟蹤的圖像處理實時性與精確度，選擇改進型的YOLOv7作為焊縫目標定位與識別檢測的模型

在對焊縫圖像進行訓練與檢測時，要求感興區(qū)域位于坡口區(qū)和焊絲區(qū)，從而更好的獲得坡口邊緣信息和焊絲邊緣信息。為此，在原有的YOLOv7網(wǎng)絡(luò)結(jié)構(gòu)上，添加了如圖3所示注意力機制模塊。

完成模型構(gòu)建后進行樣本訓練，選擇1000張焊接圖像制作模型訓練的數(shù)據(jù)集。選用Labelme對焊縫特征進行精確標注，標注信息為焊絲、熔池和和焊縫坡口。將1000張圖片劃分為訓練集、驗證集和測試集3個數(shù)據(jù)集，為了驗證集和測試集能夠客觀地評估訓練集上訓練的模型的泛化能力和其他性能，選擇訓練集、驗證集與測試集的比例為 2：8 。選用mAP指標評價MIG圖像目標識別模型的性能，圖4顯示了模型在不同焊接相關(guān)類別上的平均精度（averageprecision，AP）以及整體的平均精度值（mean average precision，mAP）。不同類別的AP值大于0.98，mAP值為 99.27% ，表明模型在這個特定數(shù)據(jù)集上具有非常高的檢測準確性。

焊接位置的特征信息如圖5所示。以圖像左上角建立坐標系，焊絲檢測框可由矩形框的4個坐標表示：（X_L1，Y_L1），（X_L2，Y_L2） 和點 （X_R1，Y_R1），（X_R2，Y_R2） 。由此可以獲得焊絲表征點的坐標為 （X₀，Y₀） ，其中 X₀，Y₀ 滿足

式中： X₀，Y₀ 表示焊絲位置點在整張圖片中的位置坐標； X_R2 ， X_R2 表示矩形框右下側(cè)端點的位置坐標； X₁₂ ，Y_L2 表示矩形框左下側(cè)端點的位置坐標。

坡口信息表征由邊緣檢測獲得，通過邊緣線檢測可以得到各個邊緣位于整張圖像中的坐標信息，可以獲得坡口左邊緣點和右邊緣點的特征表征，通過左右坡口信息可以得到坡口邊緣線的表征方程。由于視覺傳感的二維視場存在透視畸變，使原本平行的坡口邊緣在視場中呈現(xiàn)一定角度。根據(jù)角平分線的性質(zhì)，焊縫中心線正好位于這兩條坡口邊緣的角平分線上，因此，通過坡口邊緣線的交點和角平分線的斜率可以確定焊縫中心線的表征方程，即

式中： （x_c，y_c） 為坡口邊緣線的交點； k_L 和 k_R 分別為左右坡口邊緣線的斜率。

將焊絲表征點 （X₀，Y₀） 代入焊縫中心線方程可以得到偏差距離 D ，即

通過偏差距離 D 的大小可以判斷焊槍的對中位置。當 D= 0 時，焊槍位于焊縫中心線位置；當 Dgt;0 時，焊槍位于焊縫中心的右側(cè)；當 Dlt;0 時，焊槍位于焊縫中心的左側(cè)。

2.3對中偏差控制試驗與結(jié)果分析

試驗選用的焊接材料為Q345鋼，加工尺寸為300

mm×100mm×18mm ，坡口形式為 70^°V 形坡口，如圖6

所示。為了檢測焊縫跟蹤系統(tǒng)的實際控制效果，焊縫起始點到終點預(yù)設(shè)了 15mm 的偏差。

由于焊接過程的高耦合性、非線性和時變性，難以建立一個精確的數(shù)學模型實現(xiàn)對焊接偏差的控制。在焊縫跟蹤中采用了模糊控制策略，將焊工的圖像觀察經(jīng)驗轉(zhuǎn)化為模糊規(guī)則，利用模糊控制器根據(jù)焊接狀態(tài)和模糊規(guī)則生成控制信號，以實現(xiàn)焊縫的精確跟蹤。模糊規(guī)則見表1，其核心邏輯在于確定糾偏控制量與偏差 D 及偏差變化率 D_cr 之間的動態(tài)關(guān)系，并通過實時監(jiān)控和模糊控制原理對糾偏控制量進行動態(tài)調(diào)整。

按照預(yù)設(shè)焊縫偏差展開有無控制對比MIG焊接試驗，并對圖像信息進行處理得到如圖7所示的焊接偏差信息。圖7（a）為無控制情況下焊縫對中像素偏差，可以發(fā)現(xiàn)焊槍在焊縫中從一側(cè)向另一側(cè)偏移焊接時，提取到的焊縫中心線與焊絲位置表征點之間的偏差像素也隨之不斷變化。圖7（b）為加入焊縫跟蹤系統(tǒng)的對中偏差像素變化，可以發(fā)現(xiàn)在起弧初始階段焊槍遠遠偏離焊縫中心位置，此時上位機會持續(xù)給出調(diào)整控制信號，并在較短時間內(nèi)調(diào)整焊槍位置，使其快速移動到焊縫中心位置。

焊槍距離焊縫中心的位置信息如圖8所示，可以發(fā)現(xiàn)，通過焊縫跟蹤可以使焊槍始終可以保持在焊縫中心線附近 ±0.5mm 的范圍內(nèi)穩(wěn)定。

3結(jié)論

（1）通過設(shè)計的圖像自動增強算法使坡口邊緣位置的像素灰度值由40增大到110左右；通過添加注意力機制模塊提升了檢測效率，mAP指標高達99.27% 。

（2）預(yù)設(shè)偏差試驗焊縫跟蹤系統(tǒng)的檢測準確率在90% 以上，圖像的對中偏差檢測像素誤差在8個像素以內(nèi)，實際焊縫跟蹤偏差在 ±0.5mm 。

參考文獻

[1］韓慶璘，李大用，李鑫磊，等．基于分區(qū)減光的電弧增材制造熔敷道尺寸主被動聯(lián)合視覺檢測［J]．焊接學報，2020，41（9）：28-32.

[2] 陳華斌，陳善本．復(fù)雜場景下的焊接智能制造中的信息感知與控制方法[J]．金屬學報，2022，58（4）：541-550.

[3] XiaLei，Zhou Jianping，Xue Ruilei，etal.Real-time seamtracking during narrow gap GMAW process based on the widedynamic vision sensing method[J]. Journal of ManufacturingProcesses，2023，101：820-834.

[4] XiaoRunquan，Xu Yanling，Hou Zhen，etal.Afeature ex-traction algorithm based on improved Snake model for multi -pass seam tracking in robotic arc welding[J].Journal ofManufacturingProcesses，2021，72：48-60.

[5] 張廣軍，冷孝宇，吳林．弧焊機器人結(jié)構(gòu)光視覺傳感焊縫跟蹤[J].焊接學報，2008，29（9）：8-10.

[6] WangWeixi，Yamane Satoshi，WangQi，et al. Visual sens-ingand quality control inplasma MIG welding[J].JournalofManufacturing Processes，2023，86：163-176.

[7] Zhang Zhifen，Wen Guangrui，Chen Shanben.Weld imagedeeplearning-based on-linedefects detection using convo-lutional neural networks for Al alloy in robotic arc welding[J].Journal ofManufacturingProcesses，2O19，45：208-216.