基于雙目視覺的焊接零件位姿誤差檢測

胡國勇，彭小波HU Guo-yong，　PENG Xiao-bo（深圳大學 機電與控制工程學院，深圳 510006）

基于雙目視覺的焊接零件位姿誤差檢測

胡國勇，彭小波
HU Guo-yong，PENG Xiao-bo
（深圳大學 機電與控制工程學院，深圳 510006）

葉盤零件在焊接后，需要檢測出多余的余量進行精加工。為了檢測出多余的余量，需要對零件進行位姿測量。針對這一需要，設計了一種雙目視覺的方法。首先在葉片毛坯上精加工出凸臺用于位姿誤差檢測，并貼上標記點。再識別出標記點的圓心，并首先用灰度相關進行匹配，再用極線約束刪除錯誤的匹配。最后利用C++和Opencv開發出系統，設計了試驗并分析結果。

機器視覺；線性摩擦焊；位姿檢測；橢圓擬合

0　引言

近年來，線性摩擦焊在加工領域中發揮著越來越大的作用，具有傳統的焊接無法相比的優點。線性摩擦焊的焊縫強度能達到與焊件材料等強度，能實現不規則零件的焊接并且質量穩定［1］。在零件焊接后，需要對零件的位姿情況進行測量。根據位姿情況，與理想模型比較得到多余余量，生成數控機床精加工刀軌。雙目視覺測量是非接觸式測量，具有測量速度快和效率高等優點［2］。

1　位姿檢測問題的描述

1.1對焊接零件位姿描述

本文主要是針對焊接零件前后位姿變化的檢測。首先在葉片毛坯上精加工方形凸臺工藝結構如圖1所示，用于葉片的定位。

圖1　螺旋槳線性摩擦焊示意圖

在焊接前，先把葉盤用專門的夾具固定在和盤心理想情況下的位置。然后用雙目視覺位姿測量系統對凸臺位姿情況進行檢測；首先選取凸臺的一個頂點，三條豎直邊界做X，Y，Z軸的坐標系，獲取凸臺坐標系與相機坐標系的R矩陣和T矩陣。對凸臺工藝結構上的特征進行拍照獲取圖像。從而獲得葉盤在理想位姿情況上相對于凸臺坐標系的三維坐標。在焊接后，對焊接后的凸臺進行拍照獲取圖像，再進行三維坐標計算。最后已知前后獲得三維坐標，計算出焊接后與理想位置的情況，即在凸臺坐標系的三個平移參量X，Y，Z和繞凸臺坐標系Rx，Ry，Rz的角度情況。

本文中的位姿檢測系統就是首先通過雙目立體視覺檢測出葉片某些關鍵點的X、Y、Z的坐標值，根據坐標值進行位姿解算求解出三個坐標軸方向的位移和三個狀態的轉角，測得的數據同已有的CAD設計模型相比較后得出焊接后的葉盤與原本設計的模型的偏差值。最后通過數控編程，生成刀軌進行精加工。圖3紅色透明部分就是所多出來的余量。

圖2　雙目視覺系統對焊接后的零件位姿測量示意圖

圖3　焊接位姿情況確定后的零件與理想零件模型對比

圖4　位姿問題描述流程圖

1.2位姿求解

設標記點的在焊接前理想位置的三維坐標點集P1i=（xli，yli，zli），焊接后標記點的三維坐標點集為P2i=（x2i，y2i，z2i）。所以P點在焊接前的坐標值經過一個旋轉矩陣和一個平移矩陣，形成了焊接后的坐標值，如下式：

其中，向量T是一個三維向量。

平移向量T即是兩件焊接前后位置平移情況，R矩陣是3×3的矩陣，其中九個元素是由三個角度的三角（Rx，Ry，Rz）函數組成。Rx，Ry，Rz分別是繞凸臺坐標系X、Y、Z軸的三個旋轉角度，詳細的旋轉過程為：先繞Z軸旋轉，其次繞Y軸轉動，最后繞X軸轉動，以右手定則為正方向。所以分別繞X、Y、Z軸轉動的矩陣為R1，R2，R3，旋轉矩陣R=R1R2R3。

旋轉矩陣R有9個未知數，但是未知數不是孤立的，可以用3個參數表達，R矩陣中要滿足以下約束：

本文求得的參數位姿變化過程是：先按（Rx，Ry，Rz）旋轉，再按照。根據定義得，旋轉矩陣R的各元素的表達式為：

2　雙目原理與相機標定

2.1雙目視覺數學模型

雖然現在的相機鏡頭都是由一組鏡頭組成，但是其模型還是可以看作針孔模型，如圖5（a）所示，為了簡化模型，把成像平面往右移，如圖5（b）所示。圖6為平行光軸雙目立體視覺［3］。

圖5　針孔相機模型

圖6　雙目視覺模型

左相機和右相機的中心投影是Oc、Or，兩光軸平行，X軸的方向一致。Oc、Or之間的距離B稱為基線距。兩相機分別拍攝空間目標點P，則左相機成像平面獲得的像素點P1=（x1，y1），在右相機的成像平面獲得的像素點Pr=（xr，yr），以左相機坐標系為世界坐標系，則目標點P的三維坐標為（Xz，Yc，Zc）?；陔p目相機結構中的極線約束原理知y1=yr=y，所以由三角測量法得到如下關系式：

由上一節中的轉換公式可以計算出P點相對于左相機的三維坐標值為：

其中x1-xr為視差，是通過兩個像素點的像素坐標轉換成物理坐標的值，Xc，Yc，Zc為目標點相對于左相機坐標系的三維坐標值。以上就是基于平行光軸雙目視覺獲取空間目標點的三維坐標值的數學模型。

2.2相機標定

由于加工生產相機時，相機的CCD傳感器和透鏡都會產生誤差，這樣會造成上一節中每個坐標系變換中的內部參數的誤差［4］。比如在CCD傳感器固定在相機上時，中心位置可能無法對準傳感器中心，會造成相機兩個內參數和不準確。文章采用張正友相機標定法［5］。下面是相機標定的參數。

表1　內參數標定結果

3　標記圓識別與匹配

3.1標記圓識別

用于標記圓是采用橢圓，求取圓心為特征點的方法，本文設計了一種新的標記圓識別擬合方法。步驟如下：

1）首先用聚類分析的方法對圖像進行分割［6］。因為本文選取的標記圓與實際的背景環境對比度相差比較大的鮮艷顏色的圓，所以可以用標記圓的顏色信息進行分割，本節采用K均值聚類算法。

2）聚類后可能其他并不會完全地只分割出橢圓。所以接著用canny算子對聚類后的圖像邊進行邊緣提取，形成輪廓與點集。對輪廓和點集進行用最小二乘法進行擬合，方法如下：

（1）獲取每條輪廓的程度（每條輪廓所包含點的數量），舍棄程度小于20個像素點的輪廓。

（2）設置循環次數，每個輪廓隨機抽出六個點，用最小二乘法求橢圓5個參數。

（3）篩選每個輪廓的橢圓最佳參數，篩選方法：給定一組參數，獲得橢圓的任意一點，以這點為中心，取3×3的像素區域，在區域存在論點，計數器加1，最后求出計數器值與橢圓周長的比值，用于最佳參數的篩選。

（4）根據比值選出最優的橢圓參數。

（5）根據橢圓大小，刪除偽橢圓，選出真正的標記圓。

圖7為標記圓識別算法幾個步驟處理后的圖片。

3.2標記點匹配

在識別出左右相機成像圖片上的標記圓后，需要將兩幅圖中的標記圓圓心建立一一對應的關系，為后續的三維坐標值的計算做準備。因為本文考慮的目標物體存在平移和小角度旋轉關系的圖像匹配，所以本文采用的匹配算法的步驟是：

1）首先用灰度相關匹配進行首次匹配。

2）用極線約束［7］對首次匹配中有錯誤的點進行剔除。

在實驗驗證中，選用7個標記圓隨機擺放位置，驗證匹配算法的準確度。并且選用本文實驗模型，在凸臺上放置四個點的模型，對其在不同角度位姿進行實驗。圖8中有出現錯誤匹配的情況。

圖8　有錯誤匹配的灰度相關匹配

圖9　極限約束匹配刪除錯誤匹配

圖10　模型匹配

表2　匹配準確率

4　實驗與分析

4.1系統軟硬件介紹與實驗方案設計

圖11為本系統搭建的硬件結構，本系統為單相機雙目結構，即相機能在某一方向移動，形成雙目效果。選用佳能相機，像素為720×480。

圖11　單相機雙目硬件系統

軟件編程部分，主要分為界面設計與算法設計兩個方面，界面設計主要是考MFC進行編寫與設計，整個設計界面如圖12所示，整個界面的布局較為簡單，分為用戶交互部分和圖像效果顯示部分。主要有圖像顯示窗口、三維坐標顯示區、交互按鍵區、位姿結果顯示區和MATLAB標定參數輸入區五大部分。其中圖像顯示區分別是左右兩幅圖像的顯示窗口；三維坐標顯示區是顯示每個特征標記點的三維坐標；交互按鍵區有讀入圖像、特征檢測與匹配和位姿解算等操作；結果顯示區是顯示位姿的旋轉角和平移量；標定參數輸入區是輸入第二章中用MATLAB標定得到的數據。

圖12　系統操作界面

為了仿真焊接件上的凸臺結構，制作了一個凸臺模型如圖13（a）所示，凸臺長49.3mm，寬55.01mm，高2.0mm，頂面貼上標記圓。為了方便測量實際位置，在實驗平臺上顯示出坐標系，其中坐標系每個為2mm。下面為系統精度試驗步驟：

1）凸臺左上角頂點和兩條邊線分別與實驗平臺上的坐標系原點橫軸和縱軸重合。凸臺坐標系設定為以左上角頂點為圓心，橫向邊線為x軸，縱向邊線為y軸，z軸為向著圖像朝外。計算出凸臺坐標系與相機坐標系的R矩陣和T矩陣，由于凸臺厚度為2mm，所以實驗平臺上的坐標系相對于凸臺坐標系T矩陣中，原點相對于z軸減2mm。

2）在對x平移參量精度測量時，在實驗平臺在y軸不變的情況下，每測量一次位置向x軸移動一格，在測量x軸時，同時記錄z軸的數據。測量y軸的平移參量精度也是如此。

3）在測量旋轉變量時，在其他參數不變的時候，分布測量繞z軸、x軸和y軸的實驗數據。

圖13　實驗準備圖

【】【】

4.2實驗結果

隨機選取16組實驗結果，通過實驗得出：在位置情況檢測上，在x軸方向上，平均誤差為0.193mm，其中最大誤差為0.46mm；在y軸方向上，平均誤差0.197mm，其中最大誤差為0.41mm；在z軸方向上平均誤差為0.459mm，其中最大誤差為1.75mm。綜合以上測量結果說明x和y軸方向上精度較高，能達到0.5mm，在z軸方向上精度較差，達到2mm，這也是因為z軸坐標值與匹配精確度有關系。

在姿態檢測上，繞z軸旋轉角度上，平均誤差為0.386°，最大誤差為0.75°，精度在1°內；在繞x軸旋轉角度上，平均誤差為0.786°，最大誤差為1.38°，精度在1.5°內；在繞y軸旋轉角度上，其中測得平均誤差為0.535，最大誤差為1.38°，精度1.5°內。由于實驗系統的搭建會存在一定的系統誤差，導致測量精度也會受到一定的影響。

5　結論

研究了基于雙目視覺對焊接零件位姿誤差檢測系統，建立了雙目數學模型。針對準確快速識別多橢圓的難點，設計了準確提取橢圓的方法，并進行實驗驗證。還針對葉盤模型，設計了位姿檢測誤差系統，并進行仿真實驗。

［1］ 張悅.鈦合金整體葉盤盤銑加工刀具設計與分析研究［D］.哈爾濱理工大學，2015.

［2］ 吳哲岑.基于雙目立體視覺的特征點提取與定位方法研究［D］.吉林大學，2015.

［3］ 賴小波.機器人雙目立體視覺若干關鍵理論問題及其技術實現研究［D］.浙江大學，2010.

［4］ Zhang，Z.A flexible new technique for camera calibration［J］. Pattern Analysis and Machine Intelligence，IEEE Transactions on，2000，22（11）:1330-1334.

［5］ Blas F.Review of 20 years of range sensor development［J］. Electron Imaging，2004，13（1）:231240.

［6］ 孫吉貴，劉杰，趙連宇.聚類算法研究［J］.軟件學報，2008，19（1）:48-61.

［7］ 鄧志燕，陳熾坤.利用外極線約束的圖像匹配新算法［J］.工程圖學學報，2009，30（5）:104-107.

Position and pose error detection of welding parts based on binocular vision

TP39

B

1009-0134（2016）06-0077-05

2016-03-25

胡國勇（1991 -），男，廣東韶關人，碩士，研究方向為機器視覺。