工業焊接機器人空間定位技術研究

朱加雷，金嘉怡，喬 溪，董俊杰，國季萱，車 飛，宋怡秋

(北京石油化工學院機械工程學院，北京 102600)

0 前言

工業焊接機器人在進行中厚板大型結構件焊接時，由于結構件一般具有尺寸大、板材厚、母材規格多、工件加工組對精度低、焊縫質量要求高和焊接工藝復雜等特點，并且焊縫的位置和寬窄一致性不高；在焊接過程中，先焊合的焊縫產生的變形會作用在工件上，使后焊合的焊縫偏離組對時的位置，為了保證焊接質量，要求機器人能夠在焊接時自動找準焊縫位置和焊接方向，焊接中厚板的機器人系統都會帶有焊縫跟蹤功能。同時，由于焊接工件尺寸龐大，焊接初始起弧點位置也很難通過操作人員目視確定，而目前工業機器人僅能在嚴格定義的結構化環境中執行預定指令動作，缺乏對環境的感知與應變能力，這極大限制了機器人的應用[1]。

視覺在人類認知世界的過程中扮演了很重要的角色，同時視覺也為人進行復雜作業提供了充分信息。基于機器視覺的研究是當前機器人領域的熱點之一[2]。利用機器人的視覺控制，不需要預先對工業機器人的運動軌跡進行示教或離線編程，可節約大量的編程時間，提高生產效率和加工質量。

目前立體視覺技術在外太空探測（火星車）、海洋工程（鉆井平臺切割）方面均得到廣泛應用[3-4]。其基本原理是根據目標物體的圖像獲取目標物體的輪廓形狀來計算其位置信息，并將這些信息規范化處理后送給機器人系統。機器人系統根據規范化的目標物體空間坐標對機械手進行運動軌跡規劃，控制機械手靠近目標物體并實施操作。在這個過程中，目標物體的位置信息自動化計算是最重要的環節，而立體視覺圖像匹配技術為解決這個難題提供了方法[5]。

本研究將立體視覺技術引入到工業焊接機器人遙操作領域，建立了工業焊接機器人遙操作實驗環境。利用立體視覺圖像匹配技術，獲取了目標的結構和屬性等信息，為在復雜的環境中進行工業機器人空間定位提供了依據，提高了遙操作的效率和可靠性。

1 試驗系統

為進行基于視覺的工業焊接機器人空間定期技術研究，建立了相關的試驗系統，包括視覺系統、控制系統、通信系統、焊接電源系統、離線編程系統、遙操作人機交互界面等。系統的運行主要通過遙示教來實現：引弧之前，在立體視覺系統協助之下，視覺系統通過觀測焊接目標，計算出目標與機械手坐標系的相互位姿關系，并通過網絡將此位姿關系傳送至監控計算機和圖形工作站。然后通過遙示教，首先生成機器人遙控焊接任務程序，隨后手動控制進行自由運動區高速宏觀引導、受限運動區的低速引導定位；焊接區定位之后開始引弧，弧光影響下視覺反饋受到限制，通過激光焊縫跟蹤系統實時糾偏自主控制進行焊接。同時可以通過視覺系統監視焊接過程的進行，當一切正常的時候，操作者不參與到焊接過程中；如果發生異常，如將要發生碰撞、焊接過程中斷等，操作者可以快速的參與到焊接過程中，采取必要的控制行為，如立即停止機器的運行等。

2 關鍵技術

2.1 攝像機標定

攝像機成像分為三個階段：第一個階段是空間點坐標從世界坐標系變換為攝像機坐標系。第二個階段是空間點坐標經過鏡頭的射影變換轉化為像點坐標，在這個過程中由于光學系統的畸變誤差，會使像點坐標產生一定的畸變，從而對最終的圖像造成一定的畸變。為了校正畸變，對應不同的校正方法，人們提出了許多不同的校正模型。第三個階段為圖像的形成，通過CCD完成。CCD每個像素在x和y方向上分別有著確定的物理尺寸dx和dy，表示一個像素為多少毫米，這兩個參數近似相等，但由于制造精度的問題，有一定差異。同樣的，CCD的坐標軸的夾角接近90°，但不是完全垂直。

攝像機定標的目的就是確定透視投影矩陣，共有11個獨立的參數需要確定。系統采用張正友的定標方法，利用單應性矩陣進行攝像機標定，公式如下

■

■

式中 單應性矩陣H=A[r1r2t]。

單應性映射H反映的是在模板平面上的點和它的像點之間的關系，如果模板點的尺寸已知，那么就已知m和M，可以求解單應性矩陣H。在求取單應性矩陣后，可進一步求得攝像機內參數。H可寫成

最后利用內參A和平面投影變換矩陣H，對每幅圖計算它的外參數。

下面來推導理想情況下的攝像機成像公式

式中 [xw，yw，zw，1]T為空間點的世界坐標系齊次坐標；[xc，yc，zc，1]T為空間點的攝像機坐標系齊次坐標；R和T分別為旋轉矩陣和平移向量。

結合內參數和外參數，像點坐標將轉化為像素坐標

式中 [u，v，1]T為像點的圖像像素坐標系齊次坐標；（u0，v0）為攝像機光學中心在CCD成像平面上的投影位置。

經上述方法，根據攝像機各參數，建立了空間點與像素點之間的聯系。因此可以根據檢測到的點坐標，進而求得攝像機的焦距f、物理尺寸dx和dy、主點位置（u0，v0）、縱橫坐標軸的夾角 θ。

總的來說，在理想前提下，用于世界坐標系向攝像機坐標系轉換的三個旋轉角和三個平移量參數為外參數，總共為六個未知量：攝像機的焦距f、物理尺寸 dx和 dx、主點位置（u0，v0）、縱橫坐標軸的夾角θ，加起來也是六個未知量。但是，將成像第二階段和第三階段的公式中的矩陣合并到一起，通過簡單的變量替換，可以將六個內參數化為五個內參數。

令α=f/dx，β=f/（dy·sinθ），γ=-fcotθ/dx，則最后的成像公式可變為

因此，理想情況下攝像機定標就是要求解這內外總共11個未知量。

2.2 圖像特征點提取

在圖像的特征點提取上，采用基于圖像灰度的Harris角點檢測方法。該方法提出了角點相應函數M，通過計算M中局部最大值得到角點。檢測時使用梯度自相關矩陣來尋找圖像灰度梯度在多于一個方向上有很高數值的像素。檢測算子為

式中 Ix為圖像沿x方向上的梯度；Iy為圖像沿y方向上的梯度；G′（s）為平滑算子。可以計算出區域內每個像素點的N矩陣。而角點響應函數M為

式中 det為矩陣的行列式；tr為矩陣的跡。M中每一點的元素值對應于原圖相應點的興趣值，則M的局部極大值所在點即為角點。

2.3 立體視覺匹配算法

設計了一種基于像素高度差的外極線約束快速匹配算法，結合模塊匹配和特征匹配技術，通過計算角點的互相關度，同時根據Harris角點檢測可以定量選擇角點數量的特點，計算出像素最大高度差，依據像素最大高度差和外極線約束進行匹配，在匹配效率和速度上均得到提高。

2.3.1 互相關度

在信號處理中經常要研究兩個信號的相似性，或一個信號經過一段延遲后自身的相似性，以實現信號的檢測、識別與提取等。相關函數是描述隨機信號的重要統計量。相對其他的匹配準則，歸一化互相關系數因為其對信號強度和等級不敏感而有更好的健壯性。

假設有待匹配角點圖像(M×M）與模板角點圖像(N×N，N通常為奇數），歸一化相關系數定義為s（u，v）=

式中 u，v=0，1，…M-1；F（u＋x，v+y）為待匹配角點圖像在（u＋x，v+y）位置上的像素灰度值；f（x，y）為模板角點圖像在（x，y）位置上的像素灰度值；Fu，v為F在（u，v）位置上與模板圖像同樣大小的區域內的平均灰度值；f為模板圖像的平均灰度值。s（u，v）構成了一個相關平面，在匹配位置將出現峰值，峰值一般接近1。

2.3.2 匹配算法

首先根據外極線約束進行圖像校正，然后利用校正好的圖像進行快速匹配。

極線約束是指對于空間任意點P，在攝像機C1中的像點P1，在攝像機C2中成像的對應點只可能位于一條特定的被稱為極線的直線上l2。由于是平行攝像機的設置，但設備在運行時不能保證圖像完全平行，圖像會有相應的像素高度差，通過上面計算，可以得到相應搜索區域。這樣，極線約束準則一方面將空間點P在攝像機C1中的成像點P1在另一幅圖像上可能匹配點的分布從二維降到了一維；另一方面利用極線幾何約束縮小匹配搜索區域，有利于提高匹配算法的速度和精度。

具體的配準步驟為:

（1）分別將參考圖與待配準圖進行平滑濾波去除噪聲，得到參考圖I1和待配準圖I2。

（2）將I1、I2利用Harris角點檢測算子進行檢測，并記錄各個角點坐標。

（3）分別以各角點為中心點，在I1、I2中選擇矩形區域。

（4）以參考圖I1中的角點為起始點，對于待配準圖I2中符合外極線約束的角點，計算歸一化相關系數S。

（5）選擇S的最大值所在的點為配準點，記錄配準點集。

（6）同理記錄I2配準I1的配準點集。

（7）對比兩組配準點集，選取兩組配準點集的交集，即為匹配角點。

2.4 數據通訊

系統通訊主要包括兩部分：（1）遠端部件（機器手、攝像頭）與后臺系統之間的數據通訊；（2）圖像匹配與預測子系統和主控系統的通訊。

2.4.1 遠端部件（機器手、攝像頭）與后臺系統之間的數據通訊

采用千兆網傳輸。由于千兆網是一種快速以太網，其數據傳輸速率達1 Gbps，仍采用CSMA/CD的訪問控制機制并與現有的以太網兼容，因此傳輸圖像等大量數據具有很大優勢。采用基于雙絞線802.3ab布線標準，使用四對五類UTP，最大傳輸距離100 m，因此方便在大型工件及特殊環境中傳輸數據。

2.4.2 圖像匹配與預測子系統與主控系統的通訊

圖像匹配與預測子系統和主控系統的通訊之間的通訊主要是將監控系統發出的動作命令、機械手的各關節值和探針兩端點的三維坐標值傳至視覺系統，并且視覺系統將計算出來的定位信息和位姿校正數據等信息傳至主控系統。視覺系統與主控系統之間的通訊采用客戶服務器方式，主控系統作為服務器端，視覺系統為客戶端，兩者借助于WinSock工具以TCP方式進行連接，通訊周期200 ms。

3 實驗設計及結果

以Visual studio2005為開發平臺實現算法，通過兩幅圖像之間的匹配結果對算法進行檢驗。實驗使用奧地利IGM六軸弧焊機器人RTI-330AC，該機器人最大承重15 kg，重復定位精度±0.1 mm，偏置式第6軸設計。立體視覺設備采用微視MVC360-GE60高清晰CCD數字攝像機。攝像機的數字接口是千兆以太網，相機具有連續采集和異步復位兩種方式；工作在連續采集方式時，最高幀率達到60 fps，實驗設備如圖1所示。

攝像機標定的結果如下：

根據外極線約束進行快速匹配和傳統平配的對比如表1所示。

圖1 實驗設備

表1 快速匹配與傳統平配對比

4 結論

設計了一套基于視覺反饋的工業焊接機器人定位系統，對遙焊接中的攝像機標定、圖像匹配、數據通訊等關鍵技術進行了研究，針對焊接目標二維圖像設計了實驗并進行了匹配，從實驗結果可以看出：能夠提取數量相對較多的特征點，保持了很高的匹配正確率和速度，圖像匹配的實時性可以根據實際情況選擇適當的閾值來實現。數據的傳輸能夠滿足遙操作的要求，為遙操作工業焊接機器人在復雜環境中的應用提供了保障。

：

[1]廖萬輝，李 琳.基于機器視覺的工業機器人定位系統[J].機器人技術，2009，25（3-2）:242-244.

[2]王 京，王紀東，李金義，等.基于視覺定位的機器人焊接系統[J].制造業自動化，2010，32（8）：159-162.

[3]Hosseini-Suny K，Momeni H，Janabi-Sharifi F.A modified adaptivecontrollerdesignforteleoperation systems[J].Robotics and Autonomous Systems，2010，58（5）：676-683.

[4]Carolina Passenberg，Angelika Peer，Martin Buss.A survey of environment，operaor，and task-adapted controllers for teleoperationsystems[J].Mechatronics，2010，20（7）：787-801.

[5]Mark Whitehorn，Tyrone Vincent，Christian H.，et al.Stereo vision in LHD automation[J].IEEE Transactions on Industry Applications，2003，39（1）：21-29.