基于深度殘差網絡的多層多道焊縫識別

摘" " 要： 為保證焊縫跟蹤的精度并將激光條紋從強弧光、飛濺中分離出來，提出了一種基于深度殘差（SRNU）網絡的激光條紋分割算法。該算法是將帶有弧光的圖像送入SRNU模型，對內嵌于Resunet網絡的編碼層部分進行改進，添加SE模塊和分組殘差模塊，對多層級特征信息進行提取和解析。結果表明：所提算法與Resunet算法相比，平均交并比、精確率、召回率與F1分數分別提升了0.79%、1.38%、0.50%和0.91%，說明該方法有較好的魯棒性且具有較強的抗干擾能力，在復雜工況下也能將激光條紋從強弧光、飛濺中分離出來。

關鍵詞： 結構光視覺傳感器；深度學習；多層多道焊縫；焊縫識別；深度殘差；激光條紋分割算法

中圖分類號： TP242.2；TG409" " " " " " "文獻標志碼： A" " " " " " " " 文章編號：" １６７１－０２４Ｘ（２０25）０1－００91－06

Recognition of multi-layer and multi-pass weld seam based on depth

residuals network

HE Junjie， WANG Chuanrui， WANG Tianqi

（Tianjin Key Laboratory of Modern Mechatronics Equipment Technology， Tinagong University， Tianjin 300387， China）

Abstract： In order to ensure the accuracy of weld seam tracking， a laser streak segmentation algorithm based on SRNU network is proposed to separate the laser streak from the strong arc light and spatter. The image with arc light is fed into the SRNU model， and the coding layer part embedded in the Resunet network is improved by adding SE module and grouping residual module to extract and resolve multi-level feature information， which not only focuses the target information but also improves the segmentation accuracy. The results show that the proposed algorithm improves the average cross-merge ratio， accuracy， recall and F1 score by 0.79%， 1.38%， 0.50% and 0.91%， respectively， compared with the Resunet algorithm. The method has good robustness and strong anti-interference capability， and can meet the requirements of welding applications under complex working conditions.

Key words： structured light vision sensors； deep learning； multi-layer and multi-pass weld seam； weld seam recognition； depth residuals； laser streak segmentation algorithm

中厚尺寸鋼板結構件普遍存在于船舶、建筑、橋梁的大型結構件的組裝工程中，為保證焊接工藝質量一般采用多層多道焊工藝完成[1]。利用焊接機器人完成中厚板的自動焊接，所獲得的坡口焊縫圖像被強反射、飛濺等噪聲嚴重污染，會導致跟蹤模型漂移，進而跟蹤失效[2]。因此，在自動焊接時使用結構光視覺傳感技術實時提取焊縫位置，進行路徑糾偏，對于提高焊接質量有著重要的意義。

圍繞激光視覺傳感器在焊縫跟蹤技術中的應用，Li等[3]提出了一種利用三線激光傳感器實時焊縫搜索定位策略，提取坡口的特征信息，修正工藝規劃參數偏差。鄒焱飚等[4]使用深層卷積神經網絡VGGNet提取包含焊縫信息的激光條紋，實現了焊接過程中焊縫特征點的跟蹤。杜榮強[5]提出基于專用視覺傳感系統，采用快速圖像分割、卷積神經網絡（CNN）的特征區域識別和特征搜索技術，準確地識別出焊縫特征，提高了焊縫跟蹤系統的穩定性[6]。劉宜鑫[7]對核相關濾波算法進行改進和優化，提高了焊縫跟蹤的魯棒性。Ma等[8]提出了一種高效、準確的曲線焊縫起始點引導和焊縫跟蹤方法——基于三次B樣條擬合的滑動數據隊列方法，克服了視覺超前問題，實現了曲線焊縫的精確跟蹤。

由于在惡劣焊接環境下存在電弧光、煙塵、飛濺等干擾，傳統算法無法準確提取焊縫中心線信息[9]，深層卷積神經網絡在提取精度上仍有提升空間[10]。針對中厚板的多層多道焊視覺控制技術，引入殘差學習的思想來彌補傳統算法的缺陷，本文在設計結構光視覺傳感器系統的基礎上提出一種基于深度殘差（SRNU）的網絡模型，將殘差模塊改為分組拓撲結構，增加網絡寬度，提高激光條紋的分割精度；殘差模塊后結合壓縮激活模塊，促進特征權重調整，并在焊縫圖像數據集上進行實驗，檢驗算法的有效性。

1 基于結構光視覺的圖像采集

利用結構光視覺采集焊縫圖像，具有穩定、速度快和精度高的優點。結構光視覺傳感器原理如圖1所示。

為了過濾大量的電弧噪聲，安裝了一個窄帶通濾波器。具有較低透鏡畸變的遠心透鏡對高精度測量非常關鍵。激光發生器投射到焊接工件，激光條紋具有隨焊縫輪廓變化的特征信息。由于晶體半導體（CCD）與激光平面之間角度的存在，激光條紋圖不僅表現出焊縫的平面位置，還反映了由于角度而產生的深度信息，本文采用三角測量法來計算激光到工件表面的距離[11]，如圖2所示。圖2中：Oc為成像坐標原點；Op為激光平面發光點；Og為在激光器主軸法平面投影；A、B為激光平面在物體上的輪廓點。

2 模型架構

焊縫識別是整個焊縫跟蹤系統的關鍵。特征提取的準確性直接影響焊縫跟蹤的魯棒性。本文提出了一種基于SRNU的網絡模型用于提取焊縫信息。SRNU框架結構如圖3所示。它結合了SE-Net、ResNeXT和UNet的優點。特征提取部分以SE-Net和ResNeXT為前端，利用UNet的上采樣和特征遷移拼接來還原圖像分辨率[12]，有效處理生物結構信息，且只需少量訓練數據[13]。

在特征提取部分，對焊縫圖像進行預處理后輸入網絡的特征提取模塊，特征提取部分以分組殘差模塊為主干網絡提取特征，有效解決特征信息缺失問題。在不增加參數量前提下加入SENet模塊，自適應調整個別通道的權重，增強網絡的表達力。參照UNet模型結構，解碼部分采用上采樣來恢復圖像，利用特征復制拼接操作將上采樣和對應特征提取部分層結合，保留損失的激光條紋信息[14]。最后通過卷積和上采樣操作得到激光條紋的分割結果。

2.1 分組殘差模塊

殘差神經[15]網絡由多個獨立卷積結構和卷積殘差結構組成，最初用于分類。采用獨立卷積結構對圖像進行卷積處理，不同的卷積殘差模塊組成卷積殘差結構，可以緩解深層卷積網絡普遍出現的特征退化現象，如圖4所示。由于深度網絡的計算成本高，需對殘差模塊進行改進。

分組殘差模塊將單路徑卷積的殘差結構改為相同拓撲結構的分組卷積[16]，如圖5所示。在不增加網絡參數的情況下提升網絡性能，利用分割-變換-合并結構融合不同尺度的信息，不明顯增加計算量又提高了精度。

特征經過分組殘差模塊轉換后與恒等映射后的初始特征拼接操作。ResNext網絡計算公式可簡化為：

式中：x為輸入映射矩陣；y為輸出映射矩陣；w為殘差單元相關的權重；Ti（x）為分組殘差函數；C為分組數；δ為ReLU函數。

2.2 SENet模塊

針對通道上的噪聲干擾問題，注意力機制通過壓縮、激勵以及權重的重新分配[17]，融合不同尺度的信息，增大特征通道的權重（如圖5所示）。SENet網絡能夠關注通道之間的關系，其模型可以自動學習到不同通道特征的重要程度。SENet模塊在參數量上的增加帶來的計算量增長極小，但可以提高激光條紋分割精度，提升模型性能。SENet網絡公式為：

F′ = [σ （W2（δ（W1（Avgpool（F）））））]（×）F（2）

式中：F和F′分別為輸入和輸出映射矩陣；AvgPool為全局平均池化函數；采用2個全連接函數W1和W2來實現激勵；δ為ReLU函數；σ為Sigmoid函數；（×）為哈達瑪積。

3 實驗驗證

本文搭建了基于結構光視覺的圖像采集系統實驗平臺，如圖6所示。整個系統包括自動化焊接機、六自由度工業機器人、工業個人計算機和視覺傳感器構成。該系統采用ABB IRB1410工業機器人和Fronius TPS 4000 CMT自動焊接機，對坡口角度為90°的對接V形坡口Q235碳鋼進行多層多道焊接實驗，尺寸為150 mm × 150 mm × 12 mm。用于焊縫提取的結構光視覺傳感器系統中CCD相機的分辨率選擇為656 × 492，為獲得高質量的結構光圖像，采用650 nm波長的紅色激光發生器，濾光片采用（660 ± 10） nm波段。

3.1 數據集

通過圖像采集系統在復雜環境下采集了1 500張原始焊接圖像，得到多種情況下的帶有弧光的激光條紋數據集，部分數據樣本如圖7所示。該數據集包括整個焊接過程中每個焊道中豐富的焊縫圖像。將數據集按照8 ∶ 1 ∶ 1的比例劃分為訓練集、驗證集和測試集[18]。

3.2 訓練方法

本文提供了一個基于PyTorch的Python語言編程的深度學習框架。實驗平臺環境如下：處理器為e5-1620 v4；GPU為Quadro P2000；32G DDR4內存；Ubuntu16.04操作系統。

本研究采用梯度下降速度最快的Adam一階優化算法優化器代替隨機梯度下降法[19]，能基于訓練數據迭代更新神經網絡權重；其初始學習率設為0.000 1，學習率衰減因子通過計算梯度的一階矩估計和二階矩估計自適應得到；綜合考慮模型的分割精度和顯卡性能，每次訓練的批大小（batch-size）為4，遍歷迭代次數為100。

損失函數是模型訓練中的偏差值，反應出模型學習能力的優劣狀態。模型結合Dice loss非線性損失函數與二進制交叉嫡損失函數的方法訓練網絡，改善弧光極度不平衡問題[20]，提高激光條紋的預測能力。

3.3 評價指標

本研究采用主觀和客觀的評價標準來評估模型的分割預測性能。主觀評價從視覺效果上比較圖像的整體分割及微弱邊緣的分割情況。客觀評價采用常用的平均交并比、F1分數、精確率、召回率4個指標共同評價[21]，計算公式如下：

式中：TP代表正確識別分類的激光條紋像素數；FP代表被誤分為激光條紋的像素數；FN代表激光條紋未被提取的像素數。

3.4 實驗結果分析

3.4.1 各模型對比實驗結果與分析

為了評估本文網絡的魯棒性，采用主流的網絡與本文網絡模型對激光條紋圖像數據集進行訓練并做對比分析，實驗條件均相同。圖8展示了不同網絡在測試集的部分預測分割結果。其中：image為焊縫激光條紋原圖；truth為實際激光條紋；其他分別為FCN、UNet、ResUnet和SRNU（本文模型）的預測分割結果。

由圖8（a）、圖8（b）區域的預測結果可知，當激光條紋附近存在強飛濺時，FCN、UNet和ResUnet模型錯誤的把部分強飛濺提取成激光條紋，僅SRNU模型能正確的提取；針對圖8（c）、圖8（e）區域的弧光與激光條紋特征相似，FCN和UNet模型存在一定程度上的斷連和漏提的現象，ResUnet和SRNU模型能夠實現較為準確的分割；針對圖8（d）區域的強弧光，FCN、UNet和ResUnet模型存在嚴重的誤提和漏提，SRNU模型基本消除了遮擋的強弧光，仍有較高的分割精度。

為更加客觀量化網絡的性能，采用上述評價指標來評估各模型的分割效果，各模型在激光條紋測試數據集的分割精度如表1所示。

由表1可以看出，SRNU模型各項評價指標最優，實現了較理想的評價指標，模型的平均交并比、召回率、精確率和F1分數均優于FCN、UNet和ResUnet模型，各精度指標較ResUnet模型分別提高了0.79%、1.38%、0.50%和0.91%。說明SRNU網絡性能得到了改進，對帶有弧光的激光條紋圖像更具有針對性的特征提取能力，可適應不同焊接環境。

3.4.2 各模塊對整體模型的影響

為了驗證SE模塊和分組殘差模塊對網絡的影響，采用消融實驗對比各個網絡并進行分析，實驗結果如表2所示。由表2可見，改進后的網絡其平均交并比為94.05%，精確率為99.41%，召回率為94.57%，F1分數為96.92%；當缺少分組殘差模塊時，各項評價指標分別降低了0.25%、0.07%、0.18%和0.16%；當缺少SE模塊時，雖然準確率略高于SRNU模型，但是總體評價低于SRNU模型，由此證明了每個模塊對總網絡的有效性。

4 結 論

為解決強弧光及飛濺的干擾導致焊縫跟蹤中特征點識別精度低的問題，本文設計了一種用于焊縫跟蹤實時提取激光條紋的算法。針對激光條紋邊緣模糊難以有效提取問題，采用UNet網絡的上采樣和特征遷移、拼接還原圖像分辨率，在不增加網絡參數的同時，提高模型的泛化能力。在訓練過程中選用Adam優化器代替隨機梯度下降算法，最后解碼網絡分割結果。實驗結果表明：

（1） SRNU模型可以較好的結合SE模塊和分組殘差模塊的優點，對激光條紋的檢測精度較FCN網絡、Unet網絡、Resunet網絡分別提高了7.83%、3.22%和1.38%。在不增加網絡計算量的情況下增強了模型的特征提取能力，自適應激活特征通道，全面提升了模型的性能。

（2） 改進后的網絡在激光條紋預測方面的平均交并比為94.05%，召回率為94.57%，F1分數為96.92%，平均交并比較其他3種網絡分別高出0.79%、0.32%、0.22%，總體評價高于3種網絡，說明SRNU網絡性能得到了改進，對帶有弧光的激光條紋圖像更具有針對性的特征提取能力，可適應不同焊接環境。

（3） 模型在一定程度上可以識別過程中的誤提、漏提和斷連現象，在降低弧光飛濺的干擾方面取得較好的效果。在本文數據集上進行測試，綜合各項測試結果，相比FCN、UNet、ResUnet算法，本文算法的性能指標有明顯提升，有較好的魯棒性且具有較強的抗干擾能力，在復雜工況下也能將激光條紋從強弧光、飛濺中分離出來。

參考文獻：

[1]" " 王強， 沈濤， 劉勇.海洋工程用中厚板高強鋼Q460E焊接工藝及性能[J]. 船舶工程， 2021， 43（5）：129-132， 139.

WANG Q， SHEN T， LIU Y. Welding process and properties of Q460E high strength plate steel for offshore engineering[J]. Ship Engineering， 2021， 43 （5）： 129-132， 139（in Chinese）.

[2]" " ZOU Y B， WEI X Z， CHEN J X. Conditional generative adversarial network-based training image inpainting for laser vision seams tracking[J]. Optics and Lasers in Engineering， 2020， 134（3）：106140.

[3]" " LI Y， LI Y F， WANG Q L， et al． Measurement and defect detection of the weld bead based on online vision inspection[J]．IEEE Transactions on Instrumentation and Measurement， 2010， 59（7）：1841-1849．

[4]" " 鄒焱飚， 周衛林， 陳向志. 基于深度分層特征的激光視覺焊縫檢測與跟蹤系統研究[J]. 中國激光， 2017， 44（4）：95-106.

ZOU Y B， ZHOU W L， CHEN X Z. Research" on laser vision weld detection and tracking system based on depth stratification feature[J]. China" Laser， 2017， 44 （4）： 95-106（in Chinese）.

[5]" " 杜榮強. 基于激光視覺的機器人焊接區噪聲圖像處理及快速尋位與焊縫跟蹤研究[D]. 上海：上海交通大學， 2019.

DU R Q. Research on laser vision based robot welding area noise image processing and rapid location finding and weld tracking[D]. Shanghai： Shanghai Jiao Tong University， 2019 （in Chinese）.

[6]" " DU R Q， XU Y L， HOU Z， et al． Strong noise image processing for vision-based seam tracking in robotic gas metal arc welding[J]． The International Journal of Advanced Manufacturing Technology， 2019， 101（5）：2135-2149．

[7]" " 劉宜鑫. 基于相關濾波的焊縫跟蹤算法研究[D]. 成都：電子科技大學， 2022.

LIU Y X. Research on weld seam tracking algorithm based on correlation filtering[D]. Chengdu：" University of Electronic Science and Technology， 2022（in Chinese）.

[8]" " MA Y K， FAN J F， DENG S， et al． Efficient and accurate start point guiding and seam tracking method for curve weld based on structure light[J]． IEEE Transactions on Instrumentation and Measurement， 2021， 70：3001310．

[9]" " SHAO W J， HUANG Y． A robust weld seam tracking method by using intensity-modulated structured light[J]． IEEE Sensors Journal， 2021， 21（4）：5368-5376．

[10]" ZOU Y B， ZHOU W L． Automatic seam detection and tracking system for robots based on laser vision[J]． Mechatronics， 2019， 63：102261．

[11]" ZOU Y B， LI J C， CHEN X Z． Seam tracking investigation via striped line laser sensor[J]． Industrial Robot， 2017， 44（5）：609-617．

[12]" 黃鴻， 呂容飛， 陶俊利， 等. 基于改進U-Net++的CT影像肺結節分割算法[J]. 光子學報， 2021， 50（2）：0210001.

HUANG H， LUY R F， TAO J L， et al. Segmentation algorithm of lung nodules in CT images based on improved U-Net++[J] Acta Photonica Sinica， 2021， 50 （2）： 0210001（in Chinese）.

[13]" 陳振， 陳蕓芝， 吳婷， 等. 面向高分遙感影像道路提取的輕量級雙注意力和特征補償殘差網絡模型[J]. 地球信息科學學報， 2022， 24（5）：949-961.

CHEN Z， CHEN Y Z， WU T， et al. A lightweight dual attention and feature compensation residual network model for road extraction from high resolution remote sensing images[J]. Journal of Earth Information Science， 2022， 24 （5）： 949-961（in Chinese）.

[14]" LIAN S， LI L， LIAN G R， et al． A global and local enhanced residual U-net for accurate retinal vessel segmentation[J]．IEEE/ACM Transactions on Computational Biology and Bioinformatics， 2021， 18（3）：852-862．

[15]" ZHANG Z X， LIU Q J， WANG Y H． Road extraction by deep residual U-net[J]． IEEE Geoscience and Remote Sensing Letters， 2018， 15（5）：749-753．

[16]" GAO J F， CHEN Y， WEI Y M， et al． Detection of specific building in remote sensing images using a novel YOLO-S-CIOU model． Case：Gas station identification[J]． Sensors， 2021， 21（4）：1375．

[17]" HU J， SHEN L， ALBANIE S， et al． Squeeze-and-excitation networks[J]． IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）：2011-2023．

[18]" WU K X， WANG T Q， HE J J， et al． Autonomous seam recognition and feature extraction for multi-pass welding based on laser stripe edge guidance network[J]． The International Journal of Advanced Manufacturing Technology， 2020， 111（9）：2719-2731．

[19]" 謝莒芃， 張華軍， 黃雙， 等. 基于殘差U型卷積網絡的海面風速多步時空預測[J]. 控制與決策， 2023，38（7）：1845-1853.

XIE J P， ZHANG H J， HUANG S， et al. Multistep spatio-temporal prediction of sea surface wind speed based on residual U-shaped convolution network[J]. Control and Decision， 2023，38（7）：1845-1853（in Chinese）.

[20]" 仝真， 徐愛俊.基于改進ResNet-UNet的立木圖像分割方法[J]. 中南林業科技大學學報， 2021， 41（1）：132-139.

TONG Z， XU A J. A tree image segmentation method based on improved ResNet-UNet[J]. Journal of Central South Forestry University， 2021， 41 （1）： 132-139（in Chinese）.

[21]" 羅松強， 李浩， 陳仁喜. 多尺度特征增強的ResUNet+遙感影像建筑物提取[J]. 激光與光電子學進展， 2022， 59（8）：540-549.

LUO S Q， LI H， CHEN R X. ResUNEt+remote sensing image building extraction with multi-scale feature enhancement[J]. Progress in Laser and Optoelectr， 2022， 59（8）：540-549（in Chinese）.

本文引文格式：

何俊杰，王傳睿，王天琪. 基于深度殘差網絡的多層多道焊縫識別[J]. 天津工業大學學報，2025， 44（1）： 91-96.

HE J J， WANG C R， WANG T Q. Recognition of multi-layer and multi-pass weld seam based on depth residuals network[J]. Journal of Tiangong University， 2025， 44（1）： 91-96（in Chinese）.

收稿日期： 2023-04-26

基金項目： 國家自然科學基金項目（51975410）；天津市教委科研計劃項目（2019KJ011）.

第一作者： 何俊杰（1973—），女，副教授，主要研究方向為機器人控制技術。E-mail：1547886762@qq.com

通信作者： 王天琪（1981—），男，副教授，主要研究方向為焊接自動化控制技術。E-mail：wtq0622@163.com