視覺傳感技術在機器人智能化焊接中的研究現狀

陳華斌，孔 萌，呂 娜，許燕玲，陳善本

（1.上海交通大學材料科學與工程學院，上海 200240；2.上海發那科機器人有限公司，上海201206）

視覺傳感技術在機器人智能化焊接中的研究現狀

陳華斌1，孔 萌2，呂 娜1，許燕玲1，陳善本1

（1.上海交通大學材料科學與工程學院，上海 200240；2.上海發那科機器人有限公司，上海201206）

隨著我國《中國制造2025》戰略實施，焊接制造領域經過“兩化”融合的推動，正朝數字化、信息化、智能化制造轉型，進而使焊接制造過程的信息需求量顯著增加。圍繞上海交通大學智能化焊接與材料精密制造研究所近年來在智能化焊接領域所取得的成果和關鍵技術應用等展開討論，內容涉及基于視覺傳感的焊接路徑自主導引與規劃、焊接動態過程液態熔池的智能表征和基于視覺傳感的焊接全場高溫應變的在線測量及多尺度計算。上述研究成果的工程應用，一定程度上豐富和發展了焊接智能化技術領域的內涵。期望展示的焊接視覺智能化傳感研究成果為焊接智能制造的發展拋磚引玉。

視覺傳感；焊接智能化；機器人焊接；焊接自動化；機器視覺

0 前言

近年來，隨著我國勞動力成本的逐漸提升，以廉價勞動力為支撐的“中國制造”經濟模式難以為繼，越來越多的加工制造企業關注以焊接機器人為代表的焊接自動化技術。根據國際機器人聯合會（IFR）2015年的統計數據，截止2020年，工業機器人將達到26.8萬臺，大約有30%的工業機器人被應用到焊接領域，對應的將有超過240億左右的系統集成和焊接智能化市場[1]。隨著我國《中國制造2025》戰略實施，焊接制造領域經過“兩化”融合的推動，正朝數字化、網絡化、智能化制造轉型。焊接產品正經歷著“性能高端化”“結構大型化”“服役環境極限化”以及“長壽命、高可靠性”等發展變化，進而使焊接制造過程的信息需求量顯著增加[2]。以信息技術為牽引的智能化焊接技術，是一類融合人的感官信息（焊接過程視覺、聽覺、觸覺）、經驗知識（熔池行為、電弧聲音、焊縫外觀）、推理判斷（焊接先驗知識學習、推理與決策）、焊接過程控制以及工藝優化各方面專門知識的交叉學科。突破機器人焊接智能化關鍵技術，在未來不僅是發展方向，已成為一種現實、迫切的需要[3]。顯然，視覺傳感是現有焊接機器人從自動化設備轉變為智能化焊接機器人的關鍵因素之一，目前廣泛應用的焊接機器人和焊工不一樣，沒有智力、不能思維、尚不具備焊接工藝知識也不能自主地進行焊接過程優化，結合2016年IFWT國際焊接論壇宋天虎研究員提出的“熱市場、冷思考”問題[4]，引申出了機器人焊接智能化和視覺相關的系列“瓶頸”問題。

（1）焊接順序：針對非預期工況變化（變形、錯邊、間隙等），焊接機器人難以“自適應”動態調整焊接順序。

（2）初始焊位識別：焊接初始焊位識別，易受環境變化影響，可靠性不夠。

（3）焊接動態過程：焊接過程調整響應較慢、效果欠佳。

（4）焊縫跟蹤：視覺跟蹤易受弧光干擾，存在視覺“死角”和跟蹤“盲區”。

（5）焊縫多層多道規劃：對焊接坡口適應性較差，自適應規劃焊道及調整工藝參數尚顯不足。

（6）焊接缺陷預防：抑制和預防焊接缺陷的產生缺乏主動干預的手段。

（7）焊接質量一致性：缺乏可靠在線表征的傳感手段。

誠然，焊接過程中環境、條件的變化是不可避免的，上述提到的焊接工件加工、裝配誤差，焊縫間隙、錯邊等尺寸分散性、焊接過程的熱變形和夾具不穩定性等因素均會引起焊接質量的波動，并導致焊接缺陷的產生。如何克服焊接過程中各種不確定性因素對精密焊接質量的影響，迫切需要信息反饋、智能控制等技術提高現行焊接機器人的適應性或智能化水平，是實現“焊接智造”不可回避的現實問題和瓶頸難題[5]。

本研究結合上海交通大學機器人焊接智能化技術實驗室近年來在機器人焊接智能化視覺傳感領域所開展的研究，闡述機器視覺在焊接目標環境識別、精確跟蹤、動態過程監控及焊接質量控制等方面研究成果和應用現狀。

1 初始焊位識別與焊縫跟蹤[6-7]

視覺信息因其方便直觀、信息量大、易于處理等優點，是焊縫識別和跟蹤傳感技術中的研究熱點和重點，成為機器人焊接領域最有應用前景的傳感手段。作為機器人外圍輔助智能單元，視覺傳感器對提高機器人柔性和對工作環境的反饋發揮了重要的作用，隨著計算機技術、光電傳感器和圖像處理技術的快速發展，視覺傳感器將對實現機器人焊接過程決策、預判等功能，構建焊接機器人的智能系統起主導作用。

1.1 基于視覺傳感的初始焊位識別及路徑規劃

為了增強機器人自主焊接的能力并使具有一定自我感知學習和決策能力，基于FANUC弧焊機器人平臺，構建了一套具有視覺傳感和激光測量功能的弧焊機器人系統，如圖1所示。

圖1 基于視覺尋位和路徑規劃的弧焊機器人系統

該系統由機器人控制與執行模塊、視覺傳感反饋模塊及Interface通訊模塊等組成，借助數字圖像處理技術，進行待焊工件焊縫特征角點識別及焊縫信息三維重構，實現焊接起始點機器人自主尋位和焊縫特征智能識別。

為了實現機器人的初始焊接位置導引及焊縫識別工作，需要建立圖像像素坐標與目標點空間坐標系的轉換關系，即視覺系統標定，具體涉及攝像機內參數標定、線結構光參數標定及手眼標定三個環節。相機標定主要建立圖像平面二維像素點與空間三維立體特征點對應關系，確定攝像機內部成像參數：焦距、畸變參數、成像平面單位距離像素個數等；手眼標定的目的是確定攝像機坐標系與工具坐標系之間的相對位置關系H，用旋轉矩陣R和平移矩陣T來描述。線結構光標定是為了描述線結構光平面在攝像機坐標系下的位置關系，用光平面方程AX+BY+CZ+D=0描述，求解平面方程參數。

以平板對接為例，采用邊緣相交法定義初始焊接位置，具體算法步驟：采用兩步法對初始焊接位置進行定位，然后針對初始焊接位置局部區域進行濾波、圖像分割、像素點分離、直線擬合等獲取初始焊接位置點圖像坐標，如圖2所示。

圖2 初始焊位識別流程

接下來，通過對激光條紋圖像的處理獲得焊縫邊緣特征點坐標，以平板對接（折線、S形）焊縫識別為例，結合前文所述的視覺系統參數求解結果獲得焊縫特征點在TCS及WCS下的三維坐標。焊接機器人處于A點時，其位姿參數為[XA，YB，ZB，WB，PB，RB]T，處于B點時，其位姿參數為[XB，YB，ZB，WB，PB，RB]T，機器人移動速度為v0（單位：mm/s），相鄰圖像的采集時間間隔為Δt，機器人由A運動到B，期間相機共采集n幅圖像。設第i幅圖像（i=1～n）中某個焊縫特征點的坐標為[ui，vi]T，結合攝像機內參數K以及線激光結構光平面的方程AX+BY+CZ+D=1，求得特征點在CCS下的坐標[Xci，Yci，Zci]T，根據手眼標定及機器人位姿參數求得特征點在TCS下的三維信息[Xti，Yti，Zti]T及WCS下的三維信息[Xwi，Ywi，Zwi]T。

圖3是機器人TCP平移速度為20 mm/s、相鄰拍照時間間隔是40 ms的折線焊縫和S形焊縫激光掃描三維重構圖。

1.2 基于主動視覺的焊縫跟蹤

基于構建的機器人激光視覺平臺，需要對采集的激光條紋進行視覺處理，是激光跟蹤的關鍵環節。主要涉及到激光條紋圖像預處理（ROI選取、濾波處理、形態學處理及自適應閾值分割）、激光條紋中心線特征提取及典型焊縫試驗驗證。圖4給出了完整圖像或圖像受電弧光干擾很小的情況下圖像處理結果，可以看出針對弧焊常見的幾種焊接坡口和焊縫形式，通過研制的視覺傳感系統能夠較好地獲取焊縫中心特征點。

然而實際的焊接過程中由于強烈的電弧光和飛濺的影響，導致部分圖像噪聲很大，上述算法不能穩定、可靠的獲取焊縫特征信息，如圖5所示。

針對實際焊接過程中干擾圖像，為了保證焊縫跟蹤的連續性及可靠性，工程上通常采取兩種方式處理，一是增大激光傳感器的前視距離或加遮擋板，另外一種是從圖像處理軟件算法上進行改善，對這類圖像記性篩選過濾。具體算法設計流程為：

（1）計算圖像的平均灰度值，如果圖像灰度值大于正常圖像的一定比例（在此選取30%作為閾值）放棄該幅圖像處理，進行下一幅圖像處理。

（2）針對V型坡口的焊縫，設定焊縫寬度閾值，針對焊縫寬度特征尺寸小于設定閾值的情況下，舍棄當前處理圖像，進行下一幅處圖像處理。

（3）焊縫偏差具有連續性，相鄰圖像之間計算的偏差值比較接近，對于偏差值突變點（設定一定的閾值），舍棄當前處理圖像，進行下一幅圖像處理。

圖3 激光掃描焊縫三維重構

圖4 焊縫特征提取試驗驗證

圖5 受弧光及飛濺干擾的激光條紋

計算出的焊縫偏差，一方面可設計控制器進行焊縫糾偏，另一方面針對工業機器人，結合機器人廠家提供的通訊協議，交給機器人控制器進行插補、軌跡糾偏。另外，ROS（Robot Operating System，機器人操作系統）作為一種分布式處理框架，能接收和發布各種傳感信息，鑒于ROS制定了目前“四大家族”機器人開發的統一接口標準。

在上述研制的視覺傳感基礎上，進一步針對擺動、變間隙的對接焊縫，基于FANUC機器人可識別的通訊協議，進行詢問—回答的開發模式，詢問內容包括：偏移量（X、Y、Z）、焊縫寬度（如間隙、gap）、錯邊（Mismatch）和面積等，跟蹤結果如圖6所示。

圖6 變間隙自適應擺動跟蹤

2 焊接液態熔池特征視覺表征[8]

借助視覺傳感系統可獲取清晰焊接液態熔池圖像，液態熔池的幾何形狀參數如熔寬、面積等。熔池的幾何尺寸特征與焊縫成形密切相關，以變極性等離子弧焊（VPPAW）為例，焊接電流、電弧電壓對液態熔池特征尺寸存在一定關聯性，如圖7所示，隨著焊接電流的增加，背面小孔面積和寬度不斷增大。

圖7 VPPAW小孔圖像

采用部件樹模型的圖像識別算法完成對背面小孔特征的自適應提取，分別提取小孔左右邊緣的特征點，然后利用橢圓擬合法得到小孔完整邊緣，其完整步驟如圖8所示。將小孔左右邊緣特征點經過橢圓擬合變成完整的邊緣曲線，為了能夠通過背面小孔視覺特征信息來描述實際的熔透狀態，定義小孔圖像特征：寬度L和面積A，VPPAW背面的小孔與焊接熱輸入量有良好的對應關系。當焊接熱輸入量很小，背面不能形成小孔，隨著熱輸入量增加，背面形成穿孔并趨于穩定，當熱輸入量進一步增大，背面出現“切割”現象。

圖8 VPPAW小孔圖像處理及邊緣擬合

3 焊接熱影響區高溫應變視覺表征[9-10]

焊接應變測量方法可分為接觸式測量和非接觸式測量法，非接觸式測量主要有光干涉法測量，數字圖像相關法等。本研究介紹一種新型的焊接全場應變測量方法——數字圖像相關法（Digital Image Correlation，DIC）。DIC在焊接過程中應變、變形計算流程：在變形前圖像中劃分子區域（Subset），在變形后圖像中劃分一個較大的搜索區域，并用形函數描述變形后子區的形狀，利用搜索算法在區域中尋找變形后可能的子區域，使用相關性判別函數計算搜索到的每個子區域與其變形前的相關評價函數，相關系數最大的子區域即為所要尋找的變形后子區域，計算散斑圖各點的位移和應變值。不斷重復，劃分子區域、搜索、匹配的過程，最終獲得全場的應變值。

圖9是304不銹鋼TIG熱影響區的高溫應變圖像，相比傳統DIC表征焊接應變方法，本研究采用的方法一定程度上解決了近焊縫高溫散斑點圖像燒蝕和強電弧干擾問題。

采用一階形函數描述變形后的子區域形狀：

式中 α為x方向的位置變化情況；β為y方向的位置變化情況；ux，uy，vx，vy分別為橫向位移u和縱向位移v對x軸和y軸的偏導，形函數中引入了變形連續性假設，考慮了點之間的相對位置關系。

圖9 304不銹鋼焊接接頭全場高溫應變

根據Mises的彈塑性流動理論，總應變方程描述為：

εP為機械應變，εT為熱應變，εX為相變應變，通常較小，忽略相變應變，因此機械應變表示為：

圖10是304不銹鋼焊接近縫區全場高溫應變云圖，總應變、熱應變和機械應變視覺表征及計算結果，焊接過程中全場應變的測量對于研究焊接殘余應力模型具有非常重要意義。另外，使用DIC技術能夠記錄焊接過程應變隨時間分布情況的變化，揭示焊接過程中總應變的演化規律。從圖中可以看出，當液態熔池到達觀測區域時，εxx方向應變從0增加到最大，隨著焊接液態熔池遠離觀測區逐漸趨于穩定；εyy方向應變，在熔池到達時達到最大（負值），之后逐漸趨于穩定，總體表現為壓應變。

圖10 304不銹鋼焊接全場高溫應變及機械應變曲線

4 結論

現代焊接制造亟需轉型升級、創新發展，實現數字化乃至智能化焊接制造的跨越式轉變。隨著傳感技術、圖像處理技術和機器視覺理論的不斷發展和更新，視覺傳感在焊接裝配檢測、過程監控及接頭質量評價等方面發揮越來越重要的作用。以視覺信息為載體的智能化焊接關鍵技術——焊前路徑導引與規劃、自適應焊縫糾偏、液態焊接熔池智能表征及近縫區全場高溫應變在線測量及多尺度計算等，極大地豐富和發展了焊接智能化技術的內涵，也為焊接制造從控形到控性的一體化研究提供技術積累。

[1]中國機械工程學會焊接分會.焊接技術路線圖[M].北京：中國科學技術出版社，2016.

[2]Tzyh-Jong Tarn，Shanben Chen，Gu Fang.Robotic Welding，Intelligence and Automation[M].Springer，Lecture Notes in Electrical Engineering 88，2010.

[3]宋天虎.走向焊接制造的數字化[J].焊接技術，2016，45（5）：15-17.

[4]宋天虎，劉永華，陳樹君.關于機器人焊接技術的研發與應用之探討[J].焊接，2016，518（8）：1-10.

[5]陳善本，呂娜.焊接智能化與智能化焊接機器人技術研究進展[J].電焊機，2013，43（5）：28-36.

[6]黃色吉，許燕玲，楊雪君，等.實時跟蹤焊縫特征的感興趣區域特征提取算法[J].上海交通大學學報，2016，50（12）：54-57.

[7]楊雪君，許燕玲，黃色吉，等.一種基于結構光的V型坡口焊縫特征點識別算法[J].上海交通大學學報，2016（10）：1573-1577.

[8]Wu D，Chen H B，Chen S B.Monitoring of weld joint penetration during variable polarity plasma arc welding based on the keyhole characteristics and PSO-ANFIS[J].Journal of Materials Processing Tech.，2016（239）：113-124.

[9]周凱榮，陳建，陳玉喜，等.基于原位測量的鎢極惰性氣體保護焊焊接過程高溫應變表征與計算[J].上海交通大學學報，2016（10）：1588-1591+1596.

[10]Zhou X，Chen H B，Chen J，et al.High temperature fullfield strain measurement based on digital image correlation during arc welding[J].IEEE Workshop on Robotics and its Social Impacts，2016：203-207.

Status and development of vision sensors on intelligentized robotic welding techologies

CHEN Huabin1，KONG Meng2，LV Na1，XU Yanling1，CHEN Shanben1
（1.School of Material Science and Engineering，Shanghai Jiao Tong Univ.，Shanghai 200240，China；2.Shanghai-Fanuc Robotics Co.，Ltd.，Shanghai 201206，China）

With the implementation of China Manufacturing 2025，welding manufacturing has been developed towards the digitization，informatization and intelligentization.Thus，the demand for information in welding process is significantly increasing.In this paper，we introduce some new research works and key technologies on intelligent welding field in the Institute of Intelligent Welding&Materials Precise Processing.The main research include：the research on autonomous guidance and welding path planning based on visual sensor，intelligent characterization of dynamic liquid welding pool，in-situ the measurement and multiscale calculation of the high temperature strain during welding process.The application of the above research development，to a certain，enrich and develop the connotation of intelligent welding technologies.It is expected that the results of intelligent visual technologies will be the beginning of welding intelligent manufacturing development.

visual sensor；intelligentized welding；robotic welding；welding automation；machine vision

TG409

C

1001－2303（2017）03－0001-07

10.7512/j.issn.1001-2303.2017.03.01

獻

陳華斌，孔萌，呂娜，等.視覺傳感技術在機器人智能化焊接中的研究現狀[J].電焊機，2017，47（03）：1-7.

2017-03-10

國家自然科學基金項目（51575348，51275301）

陳華斌（1976—），男，安徽安慶人，副教授，博士，主要從事焊接智能化及機器人系統工程等方面的教學和科研工作。