木板抓取機器人手眼標定方法

徐呈藝 劉 英 賈民平 肖 軼 曹 健

(1.南京林業大學機械電子工程學院， 南京 210037； 2.南通職業大學機械工程學院， 南通 226007；3.東南大學機械工程學院， 南京 211189)

0 引言

目前，鋪地板的方式主要是人工鋪放，存在勞動力少、成本高等問題。隨著機器人技術高速發展，通過機器人視覺系統完成該項工作具有較好的實用意義，目前尚未發現有相關文獻或報道。手眼標定是機器人末端正確定位、完成木板抓取的關鍵。機器人視覺伺服控制系統中機器人和相機的關聯方式，即手眼關系，主要有兩種：眼在手外(Eye-to-Hand)和眼在手上(Eye-in-Hand)。Eye-to-Hand方式中相機固定，具有簡單、方便等優點，主要用于固定區域目標的定位或識別[1]。Eye-in-Hand方式是在機器人手臂末端安裝相機，相機隨著機器人手臂末端一起運動，賦予機器人主動視覺功能[2-3]。確定機器人執行末端與相機的相互位姿變換關系，需要手眼標定[4]，該技術直接影響到機器人視覺伺服控制功能的精確實現。

手眼標定方法主要分為需要標定參考物和不需要標定參考物兩大類。不需要標定參考物的方法標定復雜，受干擾因素多[5-7]。需要標定參考物的傳統方法是運行機器人使其末端帶動相機，以兩種位姿觀測同一標定參考物，整合兩組采集結果，獲得一個標定方程。手眼標定法求解的非線性和不穩定性問題一直是機器人視覺伺服領域的研究熱點之一。主要求解方法有：文獻[8-11]基于傳統標定方程推導了經典求解兩步法；文獻[12-16]對傳統標定方程進行了變換，同時求解了旋轉矩陣和平移向量；還有少部分研究[17-18]對標定方程進行了改進再求解。

本文以機器人帶動相機采集一次數據獲得一個標定方程，采用Kronecker product算法和最小二乘法對多個標定方程進行求解，并用Levenberg-Marquardt算法對其進行優化，通過仿真平臺的可視化模塊驗證該標定方法的有效性。在不同噪聲水平和采集圖像數量下運行機器人、觀測標定板，并對求解得到的標定方程與傳統標定法進行比較。最后進行木板視覺抓取試驗，驗證整體視覺系統精度。

1 傳統手眼標定方法

圖1 傳統手眼標定方法模型Fig.1 Hand-eye calibration model with traditional model

傳統標定方法是將兩種位姿構成一個閉環回路關系，有

(1)

即

CX=XD

(2)

其中

式中C——相機坐標系在機器人運動前后的位姿變換關系

D——機器人末端坐標系在機器人運動前后的位姿變換關系

X——相機坐標系到機器人末端坐標系的位姿變換關系

即所求手眼關系轉換成對CX=XD的問題進行求解。

2 基于標定方程的求解及優化

2.1 標定方程建立

(3)

即

AX=ZB

(4)

通過采集一系列數據(A，B),計算相機與機械手上的相對位置X，可直接求解AX=ZB。

圖2 手眼標定方法模型Fig.2 Hand-eye calibration method model

2.2 標定方程的求解

A、X、Z、B為4×4的齊次矩陣，式(4)則可寫成旋轉矩陣(姿態)和平移向量(位置)，即

(5)

展開式(5)，則第i次采集的數據滿足

RAiRX=RZRBi

(6)

RAiTX+TAi=RZTBi+TZ

(7)

(8)

可利用Kronecker product算法求解RX與RZ，根據Kronecker product性質，式(8)可變換為

(RBi?RAi)9×9vec(RX)=vec(RZ)

(9)

將式(9)變換為

(10)

如果有n組數據，利用最小二乘法計算，可得

(11)

其中

解得旋轉矩陣RX與RZ后，可解平移向量TX與TZ，由式(7)得

RAiTX-TZ=RZTBi-TAi

(12)

將式(12)變換為

(13)

同樣用最小二乘法求解得到平移向量TX、TZ，得到標定結果。

2.3 標定結果的優化

上述求解方法分開求解姿態和位置，姿態部分的誤差會傳遞到位置，從而可能造成標定精度下降。本文采用Levenberg-Marquardt算法對其進行優化。對標定的求解過程作為優化算法的一個初始化過程，結果作為優化算法的初始值。采用迭代方式降低誤差函數值。由式(4)得

B=YAX

(14)

其中

Y=Z-1

同樣式(14)可寫成旋轉矩陣(姿態)和平移向量(位置)表示形式，即

(15)

對式(15)展開可得

(16)

建立誤差函數為

(17)

其中

p=(nX1,nX2,nX3,nY1,nY2,nY3,TX1,TX2,TX3,TY1,TY2,TY3)

建立雅可比矩陣J和誤差向量ε為

(18)

(19)

其中

Jfi=

利用Levenberg-Marquardt算法在基于Kronecker product算法與最小二乘求解的初值基礎上進行迭代運算可得最優結果[21-22]。

3 試驗及分析

3.1 數據采集

在ROS仿真系統中，采用標準的棋盤格標定板并固定放置Motoman SDA10型雙臂機器人，即機器人基坐標系不動，編程控制機器人左臂末端帶著需要標定的相機從不同視角拍攝標定板進行數據采集，機器人不同動作下獲取的圖像和本身關節角自動保存，其中采集圖像如圖3所示。

采集狀態的機器人運動學正解結果如表1所示，x、y、z表示位置分量；ow、ox、oy、oz是四元數表示的姿態分量。

對應機器人運動的16組狀態，通過張正友相機標定法得到相機標定外參，即標定板世界坐標系到相機坐標系位姿變換關系矩陣A如表2所示。

3.2 標定結果驗證

利用Kronecker product算法與Levenberg-Marquardt迭代得到手眼標定最終結果為

圖3 采集的圖像Fig.3 Collected images

表1 16組機器人運動學正解(矩陣B)結果Tab.1 16 groups of forward solution (B matrix) results of robot kinematics

表2 16組標定板檢測(矩陣A)結果Tab.2 16 groups of calibration plate detection (A matrix) results

基于標定結果將深度相機得到的點云數據直接投影到ROS系統3D可視化工具Rviz中，如圖4所示，點云與機器人的模型完全匹配，無錯位現象。給定單塊木板在機器人基坐標系下的位姿，可知木板模型的點云相對于機器人基坐標系的位置向量p，另控制機器人帶動相機以不同位姿對單塊木板進行觀測并獲得一系列點云數據，由機器人正運動學與本文手眼標定算法求得該點云在機器人基坐標系下的位置向量q，并與對應p求得平均歐氏距離即點云匹配誤差為0.1 mm數量級，說明標定結果有效，符合要求。

圖4 標定結果可視化Fig.4 Visualization of calibration results

3.3 標定結果精度分析

手眼標定的誤差與機器人本體、相機標定和標定方程求解方法等都有直接關系。而機器人本體末端定位精度主要跟關節角相關，相機標定誤差跟標定模型及外部因素相關，相機標定模型采用張正友經典算法[19]，外部因素主要有拍攝標定板圖像數量與特征點提取精度[23]。因此用新標定方法和傳統標定方法對不同噪聲水平下的標定結果進行對比，用同樣的兩種方法對不同采集圖像幅數的標定結果進行對比。

考慮到MOTOMAN SDA10型機器人重復定位精度為±0.1 mm，給機器人各關節變量加入期望為0，均方差為σ1的高斯噪聲，其中σ1為[0.002，0.02]區域10等分的不同值。對機器人帶動相機采集的圖像加入期望為0，均方差為σ2的高斯噪聲，其中σ2為[0.02，0.2]區域10等分的不同值。對10組σ1和σ2依次配對組成噪聲水平試驗組進行標定，標定仿真過程及分析如下：

(1)給機器人7個關節角加入第a組噪聲水平，運行機器人帶動相機以多種位姿觀測標定板圖像，如圖5所示，得到12幅采集圖像。同時根據機器人正運動學方程可得12個變換矩陣Bi。

圖5 手眼標定數據采集試驗Fig.5 Hand-eye calibration data acquisition test

圖6 角點提取效果Fig.6 Corner point extraction effect

(2)對相機拍到的標定板圖像加入第a組噪聲水平，對圖像采用Harris角點提取，效果如圖6所示，由相機標定張正友法[19]求得12個變換矩陣Ai。

(3)使用本文方法得到12個標定方程并求解優化Xa，與給定的值X′建立位置向量絕對誤差，以上獨立進行600次試驗，平均位置誤差算式為

(20)

式中t(·)——取變換矩陣的位置向量部分

采用Tsai傳統標定法得到6個標定方程，求解并得到與給定值的位置絕對誤差，標定結果誤差如圖7所示。

圖7 標定結果誤差與噪聲水平關系Fig.7 Relationship between calibration error and noise level

(4)使用同一噪聲水平試驗組σ1～σ2，針對不同的圖像數量，利用上述流程進行試驗，標定結果誤差如圖8所示。

圖8 標定結果誤差與圖像數量關系Fig.8 Relationship between calibration error and image quantity

由步驟(3)數據可知，同樣數量的采集數據組，手眼標定方法所獲得標定方程比傳統方法多，本文手眼標定法平均精度為3.17 mm，傳統手眼標定法平均精度為4.45 mm，本文方法相對傳統法精度平均提高了30%，隨著噪聲水平的增加，本文算法優勢愈加明顯；由步驟(4)可知，同一噪聲水平下，標定精度隨著采集數據組數目增加而提高，本文手眼標定法平均精度為1.36 mm，傳統手眼標定法平均精度為2 mm，本文方法相對傳統法精度平均提高了31.1%，采集圖像數量越多，精度越高，但在12幅以后，標定結果趨于穩定。

3.4 木板抓取試驗

木板抓取流程為：

(21)

(4)由機器人逆運動學實現抓取木板。

將木板放置給定的不同位姿，進行抓取試驗，如圖9所示，利用本文算法求解機器人抓取木板時定位位置與給定位置求歐氏距離得到其定位精度，并與傳統方法相比較，設置木板放置的不同位姿數量分別為50、100、200、500等，定位精度如表3所示，傳統標定法平均視覺定位精度為2.864 mm，本文方法平均視覺定位精度為1.739 mm，應用本文方法的視覺定位比傳統方法精度平均提高了39.2%，抓取成功率為96.2%，部分失敗的原因是木板放置在機器人關節極限范圍以外。

圖9 木板抓取試驗Fig.9 Picking board test

表3 機器人視覺抓取定位精度Tab.3 Robot visual picking position accuracy

4 結論

(1)該標定方法以機器人帶動相機采集一次數據，即可獲得一個標定方程，利用Kronecker product算法和最小二乘法對標定方程進行求解，得到的解作為初始值，建立了雅可比矩陣和誤差函數，利用Levenberg-Marquardt算法對其進行優化，通過ROS系統中的3D可視化工具Rviz驗證了標定結果的有效性。

(2)本文方法在手眼標定本身求解精度和應用機器人整體視覺系統定位精度方面相對于傳統方法有一定的提高。相同采集圖像數量、不同噪聲水平下，本文標定方法位置解精度比傳統標定方法平均提高了30%；相同噪聲水平、不同采集圖像數量下，本文標定方法位置解精度比傳統標定方法平均提高了31.1%。機器人視覺系統抓取定位精度比傳統標定方法平均提高了39.2%，木板抓取成功率為96.2%。