焊接機器人視覺感知及智能化焊接關鍵技術研究進展

Progress and trends towards visual perception technologies in intelligent robotic welding

CHEN Huabin，XIAO Runquan，CHEN Shanben （School of Materials Science and Engineering，Shanghai Jiao Tong University，Shanghai 2OO24O，China）

Abstract： Intellgent welding is important in promoting the \" industrial base strengthening\"project，supporting national construction and defense security. From major equipment to fine structures，welding is an indispensable key technology.Asan important carrier of intellgent welding，robots will play an important role in promoting \" replacing people with machinesand liberating people with machines.\" Starting from the key technical perspectives of scene modeling of the entire welding manufacturing process，in-situ perception of welding process shape， adaptive regulation，and process knowledge construction， this paper focuses on the research status of common technologies such as \" teaching-free\" programming environment perception，point cloud registration，weld trajectory planning，and weld adaptive arrangement of welding robots.Then，taking the multi-source information monitoring and control system of the intellgent welding manufacturing process as an example，a hierarchical structure model of a welding manufacturing system based on IOT-MAS is proposed，and common scientific problems such aswelding multimodal information perception，fusion，and processknowledge modeling are introduced.In addition，the paper introduces a typical case of online learning of on-site perception data of engineering machinery parts welding and a welding quality evaluation model driven by a model-data dual drive.In conclusion，we explore the current trends and obstacles in advancing intelligent robot welding.

Key words： welding robot； intelligent welding; visual sensor; weld seam tracking；welding quality

0 前言

美國、德國、日本等發達國家紛紛實施“再工業化”和“制造回歸戰略”，力圖搶占高端制造市場，國內制造業面臨創新升級和智能化轉型的迫切需求[1]。焊接作為先進制造領域的重要組成部分，必將與新一代信息技術融合，并在多物理場在線感知與重構、物理信息系統融合、焊接工藝自學習與進化、工藝知識圖譜構建以及質量性能自適應調控等方面進一步突破，逐步實現焊接制造裝備、系統與模式的變革[2-3]

近年來隨著數字化、智能化與焊接制造的深度融合，在路徑規劃、焊縫跟蹤、焊接過程多模態信息感知和建模，以及時變工況的自適應控制等方面取得了長足進步。鑒于焊接制造過程“不可視”、“難定量”、“強時變”和“非線性”等特點，實現以焊接制造過程復雜物理場景快速檢測與模型重構條件，以焊接過程中溫度場、電弧聲音、液態熔池、電弧一熔池等離子體、接頭性能（應變場）、成形形貌等關鍵狀態參數精確感知，以焊接過程物質、能量、信息的獲取與分析，以復雜時變工況動態補償和自適應調控等為特征的焊接智能制造新模式，是焊接制造科學與技術的重要發展方向[4-5] ○

焊接制造復雜場景重構、焊接動態過程的多模態信息感知、知識判斷與智能化控制等等，是本領域的關鍵核心技術[6-8]。針對高質量復雜構件焊接制造場景，依賴工業機器人作為載體，首先，焊接機器人需要快速且精確感知作業環境和識別待焊構件，然而，基于有限測量點信息的焊縫特征提取、軌跡規劃精度以及復雜焊縫（多層多道）規劃方法適應性等問題，限制了機器人焊接智能化的廣泛應用?，F階段基于二維、三維視覺規劃方法，一定程度上實現了“免示教”自動編程，減輕了繁瑣的機器人焊接示教過程，但應對復雜構件焊接過程狀況變化，如多層多道、空間軌跡焊槍姿態變化等場景，缺乏動態補償、自適應調節等智能行為和功能。其次，面向航天、核電等重大工程焊接制造需求，即使焊接裝備已知、工藝參數和流程預先確定情況下，現階段焊接機器人智能化程度嚴重不足，“瓶頸”難題具體表現在強時變工況下的高階次、非線性的焊接過程實時響應模型構建，焊接多模態數據驅動模型的在線學習和進化機制，焊接接頭形性自適應實時多參數調控方法等方面[9-10] O

文中圍繞實現使傳統手工的焊接操作從“技藝”走向“科學”以及“以機器代替人，以機器解放人”的智能化焊接制造的關鍵基礎科學問題與應用基礎理論進行探索。從焊接制造過程的在線檢測與控制、人工智能、大數據分析等現代信息技術和焊接技術學科交叉綜合發展的角度，提出了以焊接機器人智能化技術為核心的“智能化焊接制造工程”概念，并在該領域開展了科學基礎、關鍵技術與焊接智能制造技術工程實現的系統性研究工作[11-14] 。

1焊接機器人視覺感知與路徑規劃

焊接機器人因其質量穩定、效率高等優勢而廣泛應用于焊接制造領域，視覺感知是焊接機器人系統的重要組成部分，在復雜的焊接工況中利用視覺傳感器高精度地重建場景全局信息是實現智能化焊接的必備條件。智能化焊接機器人通過視覺等感知系統，通過對焊接場景、待焊工件的全局和局部特征學習，并進行統一空間基準、預處理、配準融合及結合待焊工件的數字模型等先驗信息，構建顧及跨尺度、誤差分析補償及高精度的焊接場景真實模型，提升焊接機器人在復雜焊接場景下的自適應作業能力，最終實現廣泛應用，是機器人焊接智能化領域的關鍵基礎技術之_[15-16]。

1.1基于激光視覺傳感的機器人自主焊接

激光視覺傳感技術因其非接觸、檢測精度高等優點，近年來已經成為實現機器人智能化焊接最具前景的傳感手段之一。Xiao 等人[17]對復雜焊接工況下，激光視覺系統的自動標定、初始焊接位置自主導引、焊縫特征點自適應跟蹤等關鍵技術進行了系統研究，如圖1所示。針對激光視覺器標定過程繁瑣，提出了機器人的運動規劃方程和運動范圍約束方程，實現了標定過程的自動化。將激光視覺系統中引入宏觀CCD相機，開發了激光復合視覺伺服的焊接導引算法，提升了焊接機器人在復雜焊接場景下的適應性和智能化程度。針對傳統特征點提取算法難以適用于不同類型焊縫以及成像噪聲抑制等問題，設計了LS-Snake（laser stripesnake）檢測器和LSFP-Tracker（laserstripefeaturepoint）跟蹤器，實現強焊接噪聲干擾下的平均跟蹤誤差均小于 0.23mm 。

在一些非結構場景下實施機器人焊接，特別是精密構件的高質量焊接，不僅需要保證軌跡準確性，也需要動態調整填充策略以實時響應焊接熱變形、焊道不均勻等因素引起的位置和姿態偏差。利用主被動視覺復合的方式預規劃焊接路徑，利用激光傳感器獲取工件三維點云信息，再結合二維熔池幾何特征實時獲取機器人焊接軌跡，實現焊接偏差的無時滯補償與焊接運動的自適應規劃，可以在精度和實時性上同時滿足復雜焊縫的機器人精準焊接需求。

多層多道焊接過程的自主規劃與在線修正也是機器人焊接智能化的一個重要場景，特別在船舶制造、能源重裝以及海工裝備等領域，多層多道焊接的應用十分廣泛，傳統的多層多道大多采用離線規劃的方式，但易存在誤差累計、側壁未熔合以及層道間未熔合等諸多問題，Hou等人[18]通過解析焊接熱輸入、焊接TCP位姿以及工件數字模型等耦合參數的定量關聯，提出了基于模型驅動（掃描—規劃一焊接—掃描—修正）的機器人焊接多層多道在線規劃和實時修正策略，融合焊縫坡口類型、焊接工件數字模型以及預填充模型等先驗信息，建立了焊接坡口截面輪廓解析模型，實現了中厚板機器人焊接多層多道在線規劃與半定量化實時修正。

1.2復雜構件機器人視覺感知及焊接路徑規劃

針對復雜空間大填充量焊縫軌跡的機器人自動化、智能化焊接方面的關鍵技術目前應用尚不成熟，Rao和Lu等人[19-20]以鍋爐集箱大管座機器人自動化和智能化焊接為對象，開展了集箱大管座自動化焊接的焊接路徑自主規劃、多層多道焊縫自適應編排的機器人智能化焊接系統。鍋爐集箱大管座機器人焊接主要存在以下問題：坡口形貌呈變截面、肩腹部填充量差異達一倍，坡口深、焊接填充量大，以及坡口加工及裝配誤差導致工件一致性差等。開發了基于激光視覺傳感技術的集箱大管座機器人智能化焊接工藝與系統，結合集箱大管座的數字模型，提出了逐層繞支管焊接的填充策略及馬鞍形焊縫特征點自適應生成算法，設計了點云三維重建模型精度評價的點云配準誤差分數算法，融合焊縫軌跡特征點精確定位及誤差補償策略，實現了集箱大管座機器人焊接路徑自主規劃和焊道自適應編排，解決了集箱管座接頭多規格、工件重復加工精度低等機器人焊接精準定位和智能化焊接工程難題，如圖2所示。

通過復合視覺傳感系統開展在非結構化環境下實現焊接工件識別、定位與特征提取，借助矩陣變換實現多視點三維點云的精配準，并融合焊縫二維圖像特征信息，抑制和彌補了由于強光照、工件反光等造成的點云損失，提高了配準和焊縫軌跡特征提取精度。機器人在空間復雜軌跡全位置焊接過程中，焊槍TCP點三維位姿估計精度是影響焊接質量的關鍵因素。Guo等人[21]針對空間曲面焊縫機器人精密磨削問題，通過定義局部點云描述來識別和分割焊縫，生成感興趣區域（regionofinterest，ROI），采用固有形狀特征關鍵點檢測方法提取代表ROI趨勢的點，通過非均勻有理B樣條曲線進行打磨路徑規劃，提出了機器人可操作性和軌跡姿態差異為目標的姿態估計和優化方法，實現焊縫打磨精度控制在 0.2mm 內。

2 基于多智能體的焊接監控系統

智能焊接制造系統（intelligentweldingmanufactur-ingsystem，IWMS）的設計難點在于系統內在結構上具有分布性和復雜性，如何統籌管理同一網絡環境下，焊接制造系統的多個復雜傳感單元、決策單元和執行單元，使其協調統一完成焊接任務，是智能焊接制造系統亟需解決的問題。陳超[22]構建了一套基于IIOT－MAS的智能化焊接制造過程多源信息監測及控制系統，包括“領導一跟隨”形式焊接制造系統分層結構模型、子系統智能體封裝、基于DockerSwarm集群管理的多智能體通訊、基于聯盟形成協作方法的MAS組織和協同。以IOT與MAS技術為基礎，將多源信息傳感監控技術與傳統的焊接機器人工作單元進行深度整合，以“傳感一決策一執行”為切入點，實現動態焊接過程的多源信息監測與焊縫成形的實時反饋控制，最后對智能體單元功能完備性與多智能體協同機制有效性的試驗驗證，如圖3所示。

智能體單元包括：焊縫識別與定位、焊縫跟蹤與糾偏、多源傳感監控、焊接質量預測及焊縫成形反饋控制等功能模塊，接下來就焊接過程傳感、知識建模及成形智能控制等方面，介紹團隊近年來的研究成果。

2.1焊接過程多模態視覺信息實時監測與感知

基于多傳感器數據融合的焊接質量在線監測在智能焊接過程中越來越受到重視，Chen等人[23]利用電弧光譜、聲音和電壓信號等多源信息進行典型焊接缺陷預測，用于表征和映射焊接成形質量；關于焊接動態過程多模態信息感知，陳華斌等人3進行了系統介紹。文中將聚焦焊接過程形一性演變及可視化測量表征等業界和學術界研究的熱點問題，系統介紹焊接多模態視覺感知建模和知識提取等方面研究內容。以經驗焊工為例，通常是通過焊接過程熔池演變規律進行工藝參數優化調整，其領域知識主要涉及：熔池形態演變（正鴨梨形、負鴨梨形和近圓形3類熔池形貌）、熔池紋理特征（焊波）、熔池幾何特征以及下塌量等。焊接智能制造環境狀態感知正朝著高精度、多模態和非結構環境的精細化等方向發展。焊接制造環境狀態的感知，難點在于焊接過程中的強弧光、煙塵、飛濺和高頻等因素極大限制了視覺傳感對場景狀態的準確感知和認知。傳統的被動視覺主要借助焊接電弧光，如脈沖TIG焊暗淡的基值電弧或熔化極氣保焊熔滴短路過渡期間，獲取清晰的熔池圖像。橡樹嶺國家實驗室團隊采用被動視覺傳感方式，如圖4所示，將液態熔池表面假設為一個球面鏡，通過鎢極尖端到其在熔池中的倒影建立相應的反射模型，結合熔池幾何尺寸、弧長等信息，計算焊接熔池表面高度[24] O

主動視覺傳感則借助連續激光或脈沖激光光源并輔以特定波長（近紅外）的濾光片，準確獲取電弧和熔池信息，劣勢是系統更加復雜的同時只關注熔池幾何特征，一定程度上忽略了其他視覺特征，優勢則是具有熔池三維測量及表征能力，肯塔基大學Zhang等人[25]利用激光點陣反射獲取熔池表面三維信息，北京工業大學Cheng等人[2利用結構光的形變感知熔池表面高度。隨著焊接制造工藝過程中測量參數不斷增加、測量指標不斷提高，簡單地采用多個獨立傳感器組合測量表征，已無法滿足智能化焊接的新需求。面向復雜焊接制造場景下電弧一熔池精細感知，麥格威推出了一款寬動態、多維度復合視覺傳感器，Mecaweld電弧熔池監控相機，可同時感知凝固焊道、坡口、電弧、焊絲/鎢極和焊接液態熔池。

焊接接頭可靠性降低是“發于內而形于外”，單依靠傳統意義上的電弧熔池表征和監測進行焊縫成形及質量評價與控制遠遠不夠，需進一步分析萃取表征接頭性能的應力一應變信息。焊接工件在高溫移動熱源局部加熱、快速冷卻，受周圍冷金屬約束產生焊接應力和變形，因此，準確掌握焊接接頭應力一應變演變規律對于前期工藝設計和提高構件焊接質量是至關重要。Chen等人[27]提出了一種基于二維數字圖像相關方法，如圖5所示，可視化表征焊接接頭熔合區、熱影響區高溫應變演化規律，進一步引入了增量法在熱彈塑性問題應用方法，并進行遞歸式焊接殘余應力增量計算和解析，將計算得到的焊接殘余應力與盲孔法測量結果進行對比，最大偏差 32MPa 。

2.2焊接動態過程工藝建模及自適應控制

通過對焊接過程中各類信息感知，結合焊接工藝裝備的實時響應模型，實現復雜時變工況下的動態補償與自適應控制，是焊接智能制造的持續目標。如何讓機器人或焊接專機像經驗焊工一樣在持續焊接作業中與工況、場景不斷交互學習，是解決任務型焊接生產方式自動化和智能化的重要技術途徑。Huang和Zhang等人[28-29]利用電弧光譜、聲音和電壓信號等多源信息進行典型焊接缺陷預測的研究，提取了焊接過程多源信息中用于表征焊接動態過程和焊縫質量4個特征參數，以此為基礎，提出了一種基于fisher濾波器和包裝器的混合特征選擇方法；建立了特征層融合的電壓一聲音一光譜交叉驗證支持向量機（supportvectormachine-crossvalidation，SVM-CV）的焊縫熔透狀態預測模型，確定了最佳特征子集，模型準確率達到 94.72% ，該方法為后續焊接多源異構多傳感器數據的特征提取、選擇和動態建模以及弧焊缺陷在線檢測提供技術實現途徑。

針對焊接過程多維多態信息的特征提取和維數約簡技術，全面準確描述焊接動態過程及精確控制焊縫質量問題[30]。針對變極性等離子弧焊穿孔熔池視覺及聲音多源信息混合組成的高維特征空間，引人了非線性流形學習技術對最優特征空間進行智能篩選，進一步構建了基于模糊推理及神經網絡的焊縫成形預測模型，基于無模型自適應控制方法（model-freeadaptivecontrol，MFAC）設計了單變量和雙變量鋁合金變極性等離子弧焊（variable polarityplasma arc welding，VP-PAW）無模型自適應熔透控制器，實現了在變散熱、變厚度等干擾條件下的焊縫穩定成形閉環控制，如圖6所示。

近年來，隨著深度學習、強化學習、遷移學習等新一代人工智能技術的迅速發展，結合特征提取和融合為一體的深度學習過程，逐漸應用于焊接動態過程知識建模以及焊縫成形質量控制，研究人員采用數據驅動的深度學習算法，探索多源異構信息與焊縫成形缺陷、精度和性能之間的內在關聯。

3焊接過程數據智能管控與質量評價

針對軌道交通、工程機械等領域的機器人焊接現場多源數據智能管控需求，構建了機器人MAG焊接智能管控系統本地端和服務器端，確保焊接過程中電弧電壓、焊接電流、焊接電弧聲音、電弧一熔池圖像、保護氣體流量等多源信息實時采集、感知和傳輸，實現了挖掘機關鍵部件機器人焊接全流程數據可追溯和循證?；跀底只c信息化的深度融合實現焊接制造過程中的缺陷實時預警，多維度、多視角下焊接熔透狀態（根部未焊透、層間未熔合、焊漏）、錯邊、卡絲、表面氣孔以及焊偏等缺陷開展在線預測及定量評估方法研究，如圖7所示，為解決復雜場景下焊接過程的全景式智能評判提供了有益的技術途徑。

基于核電建造特點和發展需要，近年來核電建造逐步提出了少人干預的智慧建造解決方案，Liu等人[31]針對核電現場管道內壁與外壁同時監測需求，建立了正面與背面兩種視覺系統，提取典型位置特征輪廓，計算得到相應的特征數據，以此作為模型構建的數據支撐，對圖像采集質量進行驗證分析。利用構建的圖像采集與處理系統，用于研究液態熔池在管道上的典型位置（平焊、立向下焊、仰焊、立向上焊）的形態特征，并進行大量的不同參數組合的焊接試驗，由此優化了管道全位置焊接工藝參數；根據不同參數組合及熔池圖像特征建立了焊接熔透狀態識別模型，實現焊接質量預測及焊接工藝協同優化。

4結束語

（1）文中梳理了近年來在復雜場景下的智能化焊接及關鍵技術等方面的工作，給出了焊接動態過程多源信息獲取、處理、融合及知識建模等方面的系統性算法，介紹了若干焊接多模態信息驅動的知識提取及焊縫質量智能控制新方法。

（2）面臨復雜焊接場景多工況交替、多信息耦合、模式不明且多變等復雜科學問題和技術難題，未來從焊接加工到焊接制造的提升，需進一步聚焦數字化與智能化焊接制造，以實現焊接結構件的幾何特征與宏微觀性能一體的精準優化與控制為目標，借助焊接工藝、機理的數理建模、數值模擬、人工智能與焊接大數據以及數字控制等技術手段，遵循焊接制造“虛擬一擬實一建模一控制”的理念，研究焊接制造全流程多尺度建模、高效高精度數值計算，復雜焊接場景與接頭形性參數的在線感知，焊接工藝、機理融合知識模型的自學習與進化以及面向復雜時變焊接工況的自適應調控等，進而發展現代信息技術與焊接制造深度結合的數字化與智能化理論方法及裝備。

參考文獻

[1] 國家自然科學基金委員會工程與材料科學部機械工程 學科發展戰略報告[M].北京：科學出版社，2021.

[2]Zhou Ji，Zhou Yanhong，Wang Baicun，etal.Human-cyber-physical systems（HCPSs）in thecontextofnew-gener624.

［3］陳華斌，陳善本．復雜場景下的焊接智能制造中的信息 感知與控制方法[J].金屬學報，2022，58（4）：541-550.

[4］國家制造強國建設戰略咨詢委員會．中國制造2025藍 皮書[M]．北京：電子工業出版社，2016.

［5］林尚揚，楊學勤，徐愛杰，等．機器人智能化焊接技術 發展綜述及其在運載火箭貯箱中的應用[J]．上海航天 （中英文），2021，38（3）：8-17.

[6］王克鴻，黃勇，孫勇，等．數字化焊接技術研究現狀與 趨勢[J]．機械制造與自動化，2015，44（5）：1-6.

［7］張廣軍，李永哲．工業4.0語義下智能焊接技術發展綜 述[J]．航空制造技術，2016（11）：28-33.

[8］馮吉才．中國焊接1994-2016[M]．北京：機械工業出 版社，2017.

[9]Liu TY， Zheng P，Bao JS，et al. A state-of-the-art survey of welding radiographic image analysis： Challenges， technologiesand applications[J].Measurement，2023，214： 112821.

［10］宋天虎，劉永華，陳樹君．關于機器人焊接技術的研發 與應用之探討[J]．焊接，2016（8）：1-10.

[11]Song S，Chen HB，Lin T，et al. Penetration state recognition based on the double-sound-sources characteristic of VPPAWand hidden markov model[J].Journal of Materials Processing Technology，2016，234：33-44.

[12]Wu D，Huang Y M，Chen HB，et al.VPPAW penetration monitoring based on fusion of visual and acoustic signals using t-SNE and DBN model[J]. Materials and Design， 2017，123： 1 -14.

[13]Huang HB，Hu M H， Xu A J，et al. In-situ strain measurement and error analysis of arc welding with 2D digital image correlation[J]. China Welding，2022， 31（3）：17-23 ：

[14]Zhu KH，Wang Q Z，Chen W G，et al. Robotic MAG welding defects and quality assessment with a defect threshold decision model-driven method[J].Mechanical Systems and Signal Processing，2025，224：112056.

[15］王耀南，江一鳴，姜嬌，等．機器人感知與控制關鍵技 術及其智能制造應用[J]．自動化學報，2023，49（3）： 494 -513.

［16］王浩，趙小輝，徐龍哲，等．結構光視覺輔助焊接的軌跡 識別與控制技術[J]．焊接學報，2023，44（6）：50-57.

[17]Xiao R Q， Xu YL， Xu F J，et al. LSFP-Tracker： An autonomous laser stripe feature point extraction algorithm based on siamese network for robotic welding seam tracking[J]. IEEE Transactions on Industrial Electronics，2O24，71： 1037 -1048 welding method based on laser visual sensing system in robotic GMAW[J]. International Journal of Advanced Manufacturing Technology，2020，128：2753-2762.

[19]Rao M Z，Liu K，Sheng Z X，et al. A novel flling strategy for robotic multi-layer and multi-pass welding based on point clouds for saddle-shaped weld seams[J]. Journal of Manufacturing Processes，2024，121：233-245.

[20]Lu Y，Chen HB，Rao M Z，et al. A fast point cloud reconstruction algorithm for saddle-shaped weld seams in boiler header joints[M]. Singapore：Springer，2022.

[21]Guo W X， Huang X K，Qi B W， Vision-guided path planning and joint configuration optimization for robot grinding of spatial surface weld beads via point cloud[J]. Advanced Engineering Informatics，2024，61：102465.

[22］陳超．基于IOT與 MAS 結構的智能化焊接制造過程監 控及系統研究[D]．上海：上海交通大學，2021.

[23]Chen S B，Lu N. Research evolution on intelligentized technologies for arc welding process[J]. Journal of manufacturing processes，2014，2014，16（1）：109-122.

[24]Chen ZY，Chen J，Feng Z.Welding penetration prediction with passive vision system[J]. Journal of Manufacturing Processes，2018，36：224-230.

[25]Zhang K， Zhang Y M，Chen JS，et al. Observation and analysis of Three-Dimensional weld pool oscillation dynamic behaviors a sensor was used to observe weld pool oscillation in three dimensions，and then the 3D data was used to analyze the oscillation behaviors[J]．Welding Journal，2017， 96：143s-153s.

[26]Cheng YC，Wang QY，Jiao W H，et al. Detecting dynamic development of weld pool using machine learning from innovative composite images for adaptive welding[J]. Journal of Manufacturing Processes，2020，56： 908 -915.

[27]Chen H B，Song Y L，Chen X Q，et al. In-situ studies of full-field residual stress mapping of SS304 stainless steel welds using DIC[J]. The International Journal of Advanced Manufacturing Technology，2020，109：45-55.

[28]Huang Y M，Zhao D J， Chen HB，et al. Porosity detection in pulsed GTA welding of 5AO6 Al alloy through spectral analysis［J].Journal of MaterialsProcessing Technology， 2018， 259： 332 -340.

[29]Zhang ZF，Chen HB，XuYL，et al. Multisensor-based real-time quality monitoring by means of feature extraction， selection and modeling for Al alloy inarc welding[J].Mechanical Systems and Signal Processing，2015，60：151 - 165.