基于線結(jié)構(gòu)光的型鋼自動焊接位置檢測技術(shù)

劉洪偉， 馬立東， 馬自勇， 張富泉， 杭嘉濠

(1.太原科技大學, 太原030024;2.太原重型機械裝備協(xié)同創(chuàng)新中心，太原 030024;3.海安太原科大高端裝備及軌道交通技術(shù)研發(fā)中心，江蘇 海安 226600)

0 前言

H型鋼是一種具有較高抗彎、抗扭、抗壓等力學性能的鋼材，因其重量輕、性能好、規(guī)格多、斷面經(jīng)濟合理、使用方便和節(jié)省金屬等特點，它在世界各國中正在逐步替代工字鋼，占比也愈來愈大。研究發(fā)現(xiàn)，在不改變壁厚的條件下，適當?shù)氖褂娩摻Y(jié)構(gòu)加強筋可以很大程度上增強鋼結(jié)構(gòu)建筑的強度和剛性，節(jié)約材料用量，減輕重量，降低成本。因此在H型鋼上焊接加強筋不失為一種可行的方法。但在型鋼加強筋的焊接過程中，型鋼截面尺寸的測量是其焊接工藝的一個重要步驟，其檢測精度關(guān)系著整個H型鋼的焊接質(zhì)量最終影響H型鋼的強度與剛度。對于型鋼的測量與檢測，目前大部分都是接觸式測量。接觸式測量具有抗干擾能力強，檢測精度高等優(yōu)點但檢測儀器精密且操作復雜，人工操作隨意性大，而且接觸式測量使用的工具會產(chǎn)生不可避免的磨損，對測量精度造成嚴重影響。非接觸式測量排除接觸式測量對柔性物體測量的人為等受力干擾，可以測量一些不可接觸的物體，如輻射體、高溫物體等。顯然，非接觸式測量相對于接觸式測量，非接觸式測量方式更符合發(fā)展趨勢。作為非接觸式測量方法中的典型方法，線結(jié)構(gòu)測量技術(shù)是目前工業(yè)上最實用的非接觸三維測量技術(shù)之一，具有原理簡單、高精度、光條圖像易于提取、易于實現(xiàn)、測試過程自動化等特點。因此，研究工業(yè)現(xiàn)場中的H型鋼截面非接觸式測量方法，對于型鋼的準確焊接有著重要的意義和實際應用價值。

針對型鋼的測量，劉燕[1]研究了一套H型鋼截面尺寸結(jié)構(gòu)光測量系統(tǒng)，采用九點標定法，標定方法簡單，測量精度高，但圖像處理算法較復雜，時間花費較多，實時性較差。劉慶綱等人[2]采用結(jié)構(gòu)光的測量方法實現(xiàn)H型鋼精密視覺檢測，具有較高的測量精度，建立的測量系統(tǒng)滿足大景深的測量需要，且具有較好的測量重復性和穩(wěn)定性，滿足測量需要。但所用標定方法忽略畸變的影響，標定的準確性需通過提高相機分辨率來保證。陳龍[3]采用激光位移傳感器為測距元件，由計算機控制步進電機轉(zhuǎn)動及發(fā)出數(shù)據(jù)采集命令。通過傳感器和試件的相對運動對試件表面進行自動連續(xù)的掃描測量，測量數(shù)據(jù)經(jīng)相關(guān)處理分析后導入軟件，繪制出被測試件的三維圖形，測量速度快且性能穩(wěn)定但需要高精度的直線導軌。王肅偉[4]所研究的H型鋼在線檢測系統(tǒng)設計，有良好的設計方案，但是未進行試驗驗證，所以無法確定其性能。劉亞姣[5]提出一種基于可變形卷積與多尺度-密集金字塔的型鋼表面缺陷檢測算法Steel-YOLOv3，將深度學習思想應用到型鋼表面缺陷檢測中，檢測精度與已有方法相比提高一些，滿足實時性要求。于龍龍等人[6]基于平面靶標方法，提取照射在平面靶標的直線，提取多組直線通過最小二乘法擬合出激光平面，結(jié)合基于二維平面靶標標定完成整個系統(tǒng)的標定，計算簡單，精度有了很大提高。但最終只得出一些標準量塊的尺寸誤差，對坐標誤差這方面沒有提及。王迪[7]提出了一種基于雙目線結(jié)構(gòu)光的傳感器測量模型，并巧妙地采用柱形紙筒作為標定靶，簡化結(jié)構(gòu)光參數(shù)的標定流程,最終恢復物體的三維點云數(shù)據(jù)。段發(fā)階等人[8]提出齒形靶標法,采用齒形靶標與一維運動相結(jié)合完成標定，但要求齒形靶標精度高。Liu等人[9-10]分別提出對球形目標的攝像機標定技術(shù)和線結(jié)構(gòu)光標定技術(shù)，同樣也是利用高精度靶標進行標定，簡化了靶標點提取方式，提高了檢測精度但靶標加工要求較高。張瑞峰等人[11]研究了一種新的線結(jié)構(gòu)光標定方法：利用平面靶標上的點與相機光心所構(gòu)成的關(guān)系,選取多組點求解2條及以上的光條中心點在相機坐標系下的坐標并基于最小二乘法,利用所有光條中心特征點計算光平面在相機坐標系下的方程。鑒于前人所研究的H型鋼檢測大都對尺寸精度行分析而對坐標精度研究較少，采用基于線結(jié)構(gòu)光的H型鋼測量系統(tǒng)與焊接機器人相結(jié)合的方法來評價坐標精度并對深度方向坐標存在誤差問題提出一種誤差補償方法，減小坐標誤差。

文中主要分為3個部分：系統(tǒng)的標定、圖像處理和試驗驗證。第1部分為系統(tǒng)的標定，這部分又分為2個部分：①相機標定，主要求出相機內(nèi)參和畸變參數(shù)，用于后續(xù)的計算與畸變矯正；②激光面與相機位置的標定，主要確定激光上的點相對于相機的位置關(guān)系，最終根據(jù)設立的世界坐標系及轉(zhuǎn)換關(guān)系求得三維坐標并利用ABB機器人來驗證準確性。第2部分為圖像處理部分，給出關(guān)鍵點數(shù)據(jù)，用于計算最終結(jié)果。第3部分為試驗驗證，驗證模型檢測的數(shù)據(jù)和實際測得的數(shù)據(jù)的近似程度。

1 H型鋼視覺標定原理

針對攝像機的標定方法已經(jīng)非常成熟，例如基于徑向約束的方法[12]、基于主動視覺的方法[13]、基于二維平面靶標的方法[14]等，基于數(shù)值擬合的線結(jié)構(gòu)光視覺傳感器的標定方法[15]。盡管那么多人提出標定方法，而關(guān)于結(jié)構(gòu)光面的現(xiàn)場標定方法仍在不斷研究之中。

1.1 相機成像原理

空間三維坐標到圖像像素坐標的線性變換關(guān)系可由以下步驟實現(xiàn)。

設某一點的世界坐標為(xw,yw,zw)，它在相機坐標系下的坐標為(xc,yc,zc)，在圖像物理坐標系下的坐標為(x,y)，在像素坐標系下的坐標為(u,v)。世界坐標系到攝像機坐標系變化：

[xcyczc1]=[RT0T1]·[xwywzw1]=M2·[xwywzw1]

(1)

式中：R為3×3單位正交矩陣；T為平移矩陣；R矩陣和T矩陣是世界坐標系向相機坐標系變換的旋轉(zhuǎn)矩陣和平移矩陣。以下為攝像機坐標系到圖像物理坐標系變換。

由經(jīng)典的成像原理知：

{x=f·xc/zcy=f·yc/zc

(2)

用歸一化坐標(x′,y′)表示為：

{x′=xc/zcy′=yc/zc

(3)

歸一化坐標與圖像像素坐標的變換為：

[uv1]=[>fx0u00fyv0001]·[x′y′1]

(4)

由式(3)和式(4)聯(lián)立得出像素坐標與相機坐標的關(guān)系：

zc·[uv1]=[>fx0u00fyv0001]·[xcyczc]

(5)

式中：fx，fy分別為u軸、v軸的有效焦距，且fx=f/dx，fy=f/dy；dx，dy分別為每個像素在x軸、y軸方向的物理尺寸；(u0,v0)為相機光軸與成像面的交點的像素坐標。進一步推導可得某一點的相機坐標之間的關(guān)系為：

{>xc=(u-u0)·zcfxyc=(v-v0)·zcfy

(6)

式中：u，v可以通過圖像處理提取到;u0，v0，fx，fy可由相機標定得到，如果知道zc那么一個點的相機坐標都可求得。最終由式(1)、式(5)可得空間點與圖像像素坐標點的對應關(guān)系：

zc·[uv1]=[fx0u00fyv0001]·[RT]·[xwywzw1]=M1·M2·[xwywzw1]

(7)

式中：M1為系統(tǒng)的內(nèi)參數(shù)；M2為系統(tǒng)的外參數(shù)；對于固定測量系統(tǒng)，攝像機的內(nèi)參數(shù)為常數(shù)。該模型為理想上的相機成像模型，用于工程上還是有一定的誤差和不足，在實際生產(chǎn)中相機成像不可能完全滿足中心投影關(guān)系，相機的中心線難免會產(chǎn)生彎曲現(xiàn)象出現(xiàn)光學畸變。除此之外，攝像機還可能由于成像過程的復雜性、圖像分辨率低等因素造成成像點與空間點之間的非線性關(guān)系。所以考慮到相機具有徑向畸變和切向畸變，切向畸變幾乎沒有，文中沒有考慮切向畸變的影響，只考慮徑向畸變的影響。由張正友標定法知：

{u′=u+(u-u0)[k1(x2+y2)+k2(x2+y2)]v′=v+(v-v0)[k1(x2+y2)+k2(x2+y2)]

(8)

式中：(u′,v′)為經(jīng)畸變矯正后的像素坐標；(u,v)為未經(jīng)畸變矯正的像素坐標。x與y為未考慮畸變情況下的歸一化坐標，k1，k2為2個徑向畸變系數(shù)。將式(8)代入理想的未考慮相機畸變的模型中，即代入式(5)，可得

zc·[u′v′1]=[>fx0u00fyv0001]·[xcyczc]

(9)

1.2 線結(jié)構(gòu)光測量原理

文中采用平面靶標進行相機的標定和激光平面的標定。單相機標定采用張正友標定法標定，技術(shù)已經(jīng)很成熟，這里不再一一贅述。激光平面標定的目的是為了拿到激光平面與相機的位置關(guān)系，通過結(jié)合求得的內(nèi)參得到激光平面在相機坐標系下的平面方程。

激光線照射在平面靶標，如圖1所示。圖1中所用棋盤格規(guī)格為23×22，一個方格是15 mm。

圖1 激光條紋位置

通過擬合激光線提取激光線的直線像素坐標方程為：

a·u+b·v+c=0

(10)

式中：a，b，c為激光線上的像素點在像素坐標系下的直線方程系數(shù)。根據(jù)像素坐標與圖像坐標的轉(zhuǎn)換關(guān)系可以將得到的直線像素坐標方程轉(zhuǎn)化為直線的圖像坐標方程：

A·x+B·y+C=0

(11)

式中：A，B，C為激光線上的像素點在圖像坐標系下的直線方程系數(shù)。根據(jù)像素坐標與圖像坐標的轉(zhuǎn)換關(guān)系可知：

(A,B,C)=(a,b,c)·[>1dx0u001dyv0001]

(12)

由這條激光線與相機光心所組成的平面方程為：

A·f·xc+B·f·yc+C·zc=0

(13)

將世界坐標系建在棋盤格上，即棋盤格平面在zw=0的平面上(在世界坐標系下)，由此可以得出棋盤格平面在相機坐標系下的方程如下：

(0010)·[RT0T1]·[xcyczc1]=0

(14)

式中：R為相機坐標系與世界坐標系之間的旋轉(zhuǎn)矩陣；T為相機坐標系與世界坐標系平移向量。聯(lián)立式(13)與式(14) 可得激光中心線在相機坐標系下的坐標方程為：

{A1·xc+B1·yc+C1·zc+Dl=0A·f·xc+B·f·yc+C·zc=0

(15)

式中：A1，B1，C1，D1為棋盤靶標平面在相機坐標系下的平面方程的各個系數(shù)。多次轉(zhuǎn)動棋盤格并使激光條紋射在棋盤靶標空白處，采用相同方法求得激光線上各點相應相機坐標，最后通過最小二乘擬合方法將這些點擬合成一個激光面，由此求得激光平面在相機坐標系下的平面方程為：

Ac·xc+Bc·yc+Cc·zc+Dc=0

(16)

式中：Ac，Bc，Cc，Dc為激光平面在在相機坐標系下的平面方程的各個系數(shù)。至此，可以得到激光平面相對于相機的位置關(guān)系，激光平面標定完成。最終與單相機標定得到的方程聯(lián)立，即與式(9)聯(lián)立實現(xiàn)整個系統(tǒng)的標定：

{f1(u,zc)=xcf2(v,zc)=ycAc·xc+Bc·yc+Cc·zc+Dc=0

(17)

式中：f1與f2分別代表u，v與xc，yc的關(guān)系3個方程，有xc，yc，zc3個未知量，其他參數(shù)和關(guān)系通過相機標定和激光平面標定獲得。

2 H型鋼視覺標定圖像處理

文中基于MFC編寫圖像顯示與處理界面程序，圖像處理方面基于OpenCV庫。除上面提到的標定方法比較核心，另外一個核心的就是圖像處理的算法。文中搭建試驗臺如圖2所示。

圖2 試驗臺

線結(jié)構(gòu)光增強特征，將復雜的三維輪廓轉(zhuǎn)化為二維圖像，因為激光線碰到不同的三維物體表面會被調(diào)制形成變形條，呈現(xiàn)在圖像中的是不一樣的折線，通過識別二維圖像中折線的關(guān)鍵點，利用標定方法轉(zhuǎn)化為機器人坐標系下的三維坐標從而實現(xiàn)三維輪廓的?？紤]到所獲取圖像中的激光線是有寬度的，它不是單像素的，擬對激光線進行細化，細化成以單像素為單位的輪廓線，以便接下來的關(guān)鍵點提取。

2.1 提取激光線條紋中心

如何精準、完整地提取投射到物體表面的線結(jié)構(gòu)光是結(jié)構(gòu)光視覺測量的關(guān)鍵問題，而結(jié)構(gòu)光的中心線提取是不得不面臨的問題。可將當前所發(fā)展的線結(jié)構(gòu)光中心線提取模型大致分為2類：采用傳統(tǒng)算法的提取模型和基于深度學習算法的提取模型。簡單地說前者算法簡單，后者適應復雜環(huán)境，算法復雜。Nguyen等人[16]提出了利用高斯峰值評判激光條紋中心線像素位置，簡單高效。鑒于型鋼的形狀輪廓較為單一，選用傳統(tǒng)算法的提取模型。

文中提取激光線的過程大體如下：對激光線圖像進行高斯濾波，并采用大津閾值法進行閾值分割，之后提取輪廓并畫出輪廓，將這些輪廓點都存到容量里去，基于幾何中心提取法，取輪廓點對的中心作為激光條紋中心，并在圖像中用相應顏色線畫出來，在通過幾個關(guān)鍵點的像素或位置關(guān)系準確求得它們的圖像坐標，并將需要的幾個點坐標存寫入文件，為接下來坐標轉(zhuǎn)換做準備。處理的圖片如下所示：圖3為提取到的激光線輪廓圖，圖4為找到的幾個關(guān)鍵點位置顯示圖，圖5為關(guān)鍵點位置示意圖。

圖3 提取的輪廓圖

圖4 關(guān)鍵點圖

圖5 點示意圖

2.2 擬合激光直線

對于關(guān)鍵點的檢測，思路是通過擬合細化之后的激光直線并根據(jù)擬合的直線與原圖像的交點作為關(guān)鍵點，作為2.1章節(jié)的檢驗與補充，比較兩者的找到的點的位置，對圖像處理結(jié)果的準確性作判斷。

圖6為擬合的激光線的直線，藍色線表示擬合的線，紅色為未經(jīng)處理的激光線。通過圖5中4個示意點的位置及圖6中右邊直線的位置，可對焊接軌跡進行規(guī)劃，即知道焊縫的位置，聯(lián)合焊接機器人完成焊接任務。根據(jù)相應關(guān)鍵點像素位置找到的幾個點坐標見表1。

圖6 擬合的直線

表1 關(guān)鍵點的圖像坐標

3 試驗與結(jié)果分析

3.1 線結(jié)構(gòu)光標定試驗

為更好提取激光線，應確保激光線不與棋盤格上角點所在直線相交叉，激光條紋位置最好是在平面靶標的空白部分，試驗過程大體如下：①將標定板調(diào)整任意位置，注意要讓激光線照射在棋盤平面空白部分并采集每個位置的照片，必須視野中的棋盤格完整無缺；②按步驟一采集10～20組照片，文中采集了18組照片，控制相機進行拍照，圖7和圖8為2個不同位置采集的照片；③根據(jù)前文線結(jié)構(gòu)光測量原理部分求得這18組激光線在相機坐標系下的直線方程；④18組直線方程根據(jù)最小二乘法原則擬合出一個激光光平面得到的平面方程為：

圖7 狀態(tài)A下的標定板

圖8 狀態(tài)B下的標定板

2.302xc-0.014 03yc-zc+1 219=0

(18)

圖9為用Matlab擬合得到的激光平面，RMSE為16.296 5?？梢钥闯鐾ㄟ^多組激光線上的點擬合的激光平面還是比較符合的。

圖9 擬合的激光平面

3.2 系統(tǒng)測量試驗

搭建試驗平臺如下：相機采用大恒公司的Mer-231-41-GC-P相機，激光器采用FU650AB100-GB16線激光器，單相機標定采用張正友標定法，采用Matlab APP中的標定工具箱標定相機內(nèi)外參數(shù)，用18組標定板求得其中內(nèi)部參數(shù)見表2。

表2 攝像機內(nèi)部參數(shù)標定結(jié)果

張氏標定法相對其他標定法來說操作簡單，標定精度高，適合快速標定，滿足一般精度的需求，針該系統(tǒng)的測量的任務，張氏標定法較為契合，故選用此法來標定單相機。將相機標定結(jié)果與要處理得到的圖像像素坐標代入式得各個點的相機坐標，并最終轉(zhuǎn)換成所設的一個世界坐標系下的世界坐標，轉(zhuǎn)換關(guān)系如式(19)所示，這將用于機器人的運動指導。

[xwywzw]=[RT0T1]-1·[xcyczc]

(19)

設的世界坐標系如圖10所示。其中，z坐標垂直于x軸與y軸構(gòu)成的平面且符合右手坐標系垂直向外，通過相機標定得到外參及擬合的激光平面方程和提取的像素點最終得到所測關(guān)鍵點的世界坐標。

圖10 世界坐標系

前面系統(tǒng)已經(jīng)搭建好了，接下來就是測量。針對坐標轉(zhuǎn)換后世界坐標深度方向存在偏差問題，提出一種誤差多項式擬合方法，能有效減小坐標誤差，實現(xiàn)準確點到點定位，為焊接機器人引導焊接提供可能。

方案步驟為：測量多種規(guī)格的標準量塊，通過上文提到的測量系統(tǒng)算出每個量塊的深度方向坐標z及測量結(jié)果與真值的偏差值dz，通過170組數(shù)據(jù)反映兩者的函數(shù)關(guān)系，采用多項式擬合得到不同高度下被測物體的偏差值，將偏差值補償?shù)接嬎愕谋粶y點深度方向的坐標上。表3為擬合多項式的指標參數(shù)。

表3 指標參數(shù)

將此方法應用到型鋼測量上，針對的是3種不同型號的型鋼，檢測的點選擇了3種型號H型鋼中1, 4示意點，結(jié)果見表4。

表4 測量結(jié)果

3.3 誤差分析

在機器人示教器中設立工件坐標系為前言所說的世界坐標系，通過機器人來起到一個三維測量儀的作用，手動控制機器人到每一個激光關(guān)鍵點上，讀取當時的工件坐標作為測量數(shù)據(jù)的依據(jù)，對比測量系統(tǒng)檢測求得的世界坐標數(shù)據(jù)做誤差分析。圖11是表4中的測量值與機器人測量之間的坐標誤差。由圖11可知誤差大致在3 mm以內(nèi)，坐標誤差是綜合了x,y,z方向的坐標誤差，其中y方向為主要誤差，考慮到用機器人測坐標時探針在沿著激光線法線方向也就是y方向上難以精確定位到激光線中心位置，存在1～2 mm的偏差實屬意料之內(nèi)。顯然如果不考慮y誤差,坐標誤差就顯著減小，當然，這是人為因素造成的誤差，可以避免，結(jié)果預計可以到1 mm以下。如果坐標誤差降到 1 mm以下，對于指導機器人焊接是可能的。

圖11 坐標誤差圖

4 結(jié)論

(1)提出一種基于線結(jié)構(gòu)光的型鋼焊接位置檢測方法與系統(tǒng)，該方法利用二維平面靶標與相機的相對位置關(guān)系及激光平面與相機的相對位置關(guān)系完成標定工作，提出了適用于H型鋼的圖像處理方法可以實時獲得關(guān)鍵點的三維坐標，并且與機器人坐標系連接起來實現(xiàn)指導機器人進行下一步的焊接動作，實現(xiàn)簡單操作性強，而且圖像處理算法簡單計算量小，適合實時處理。

(2)針對關(guān)鍵點坐標誤差較大的問題，提出一種誤差擬合方法，利用不同高度的標準量塊擬合不同高度的誤差曲線進而預測系統(tǒng)測量誤差，實現(xiàn)誤差補償，將坐標誤差降到1 mm以下，滿足焊接使用要求。