新的單目視覺系統兩步手眼標定方法①

方 舟,李 磊,朱 峰,魯興河,李澤宇

(中國電子科技集團公司第二十八研究所,南京 210007)

機器視覺系統可以從工作環境中采集到的圖像分析處理提取信息,并且可以對空間尺寸進行精確測量和定位,進而反饋給機器人,引導機器人進行抓取、裝配等操作[1–3].為了將視覺系統中的位姿信息轉換到機器人系統中,手眼標定是其中的重要環節,標定精度對機器人最終定位精度有很大影響.

傳統的手眼標定方法都是通過求解AX=XB 方程的形式來標定[4].求解方法可以分為分步法[5–7]和整體法[8–10].除了傳統的方法之外,還有其他的手眼標定方法.Ma[11]提出一種基于主動視覺的手眼自標定方法,通過運動平臺的三次非共面平移運動求解相機與平臺間的旋轉關系,然后控制運動平臺進行一次非平移運動,通過前后兩次對同一標志點的重建獲得相機平移量,代入方程求解相機與平臺之間的平移關系.楊守瑞等[12]建立了同時包含機器人參數誤差和手眼關系誤差的模型,先得到手眼關系初解,隨后將初解代入誤差模型,通過球心約束同時求解機器人誤差和手眼誤差.張旭等[13]令機器人末端吸盤攜帶標定板,攝像機獲取平面鏡中標定板的圖像,并通過3 次改變平面鏡的姿態求解相機到末端靶標的位姿,然后通過輔助相機測量末端靶標到吸盤的距離,最終獲取相機到吸盤的手眼關系.

傳統的求解AX=XB 方程的方法比較復雜,常常需要機器人移動數十個位置,而一些新的方法需要其他的高精度的測量設備.針對以上問題,結合實際環境和需求,本文提出一種面向Eye-to-Hand 形式的新的兩步法手眼標定方法.該方法將求解手眼關系分為求解旋轉關系和平移關系兩步,首先令機器人末端進行兩次平移運動獲取旋轉關系,其次建立了機器人運動前后各個坐標系轉換關系的模型,通過機器人末端若干次旋轉運動求解平移關系,最后通過仿真實驗和實際實驗證明,該方法操作簡單、快速且具有一定精度.

1 新的兩步法手眼標定

在不同應用場景下的Eye-to-Hand 形式的手眼標定中,相機與機器人的相對位置關系是多變的,而機器人末端攜帶標定板運動的標定方法對相機與機器人的相對位置沒有較多要求,所以本文通過機器人末端夾持標定板運動,相機采集標定板圖像的形式進行標定.

本文提出的手眼標定方法涉及到的各個坐標系如圖1所示.其中,工具坐標系為Ot?XtYtZt,單目視覺系統坐標系為Oc?XcYcZc,機器人基座標系為Ob?XbYbZb.機器人每次夾持標定板到單目視覺系統上方固定點處拍照,由于有機器人的重復定位精度保證,可以認為每次拍照時建立在機器人末端夾爪上的工具坐標系相對于相機坐標系相對位置關系都是固定的,因此標定出在拍照點位時的工具坐標系和相機坐標系的相對位姿,工具坐標系與機器人基坐標系的轉換關系可通過示教器讀出,也就計算出了基坐標系與相機坐標系的關系.

圖1 手眼標定中的坐標系

在進行手眼標定前,工具坐標系已由之前描述的四點法標定好,相機也經過了單目標定獲得了內參和畸變系數.為了獲取相機和工具坐標系的關系,必須要讓相機對工具坐標系上的點坐標進行測量,由于末端夾爪上沒有合作目標,所以設計了如圖2所示的編碼點標定板供夾爪夾持.設計編碼點標定板坐標系為Of?Xf Yf Zf,原點建立在0 號編碼點圓心,X軸為0 號與1 號編碼點圓心連線,Y軸為0 號與2 號編碼點圓心連線,方向在圖中標出,Z軸按右手法則確定.編碼點之間的距離設置為40 mm.在標定過程中,單目視覺系統會對編碼點標定板拍照獲取編碼點圓心的圖像坐標,由于編碼點之間相對位置關系已知,且獲取了編碼點的圓心的圖像坐標,結合相機內參,通過求解P4P 問題獲取編碼點在相機坐標系下的坐標.

圖2 編碼點標定板設計圖

1.1 旋轉關系標定

轉換矩陣的第一列可以視為坐標系B的X軸上的單位矢量在坐標系A的X,Y,Z軸上單位矢量的投影,第二列和第三列以此類推,第四列為坐標系B的原點OB在 坐標系A中的坐標.所以所以的每一列可以看成工具坐標系主軸上的單位矢量在相機坐標系的各個軸上單位矢量的投影.

設旋轉矩陣初值為,標定步驟如下:

(1)控制機器人末端沿工具坐標系的X軸方向運動一段距離,運動距離無需記錄,在起始點和終點處分別對標定板拍照獲得標定板坐標系原點Of在相機坐標系下的坐標,記沿工具坐標系X軸正方向計算出的坐標分別為cP1和cP2,通過cP2?c P1之 后單位化獲得的第一列;

(2)控制機器人末端沿工具坐標系的Y軸方向運動一段距離,后續步驟同步驟(1),獲得的第二列;

(3)和叉乘獲得的第三列;

1.2 平移關系標定

記相機坐標系到工具坐標系的平移矩陣為平移關系可通過末端夾爪夾持標定板變換多個位姿求解出,涉及到的坐標系較多,轉換關系如圖3所示.

圖3 標定平移關系涉及到的各坐標系關系

在固定拍照位置,工具坐標系為Ot?XtYtZt,此時設置夾持在夾爪上的標定板坐標系為Od?XdYdZd,工具坐標系到相機坐標系的轉換關系為,工具坐標系變換位姿后,新的工具坐標系為Ot1?Xt1Yt1Zt1,相應的標定板坐標系為Od1?Xd1Yd1Zd1,工具坐標系到相機坐標系的轉換關系為.注意這里建立的標定板坐標系的原點為四個編碼點的重心,方向與工具坐標系的方向相同,因此標定板坐標系與工具坐標系僅有平移關系,而且由于在標定過程中夾爪與標定板并未相對移動,因此標定板到工具坐標系的轉換關系有:

即為標定板坐標系原點在工具坐標系下的坐標.設編碼點P在Of?Xf Yf Zf中的坐標為f Pi(i=0,1,2,3),在Oc?XcYcZc中坐標為cPi,在Ot?XtYtZt中坐標為tPi,Of?Xf Yf Zf到Oc?XcYcZc的旋轉和平移關系分別為和,均由單目視覺系統測出,Oc?XcYcZc到Ot?XtYtZt的旋轉和平移關系分別為>和,在這里先假設tct=0,f Pi到tPi的轉換有:

根據之前對Od?XdYdZd的定義,可知:

但是這里計算出的tOd與真實值相差了一個,如果能標定出真實的tOd也就是,就可以計算出,所以現在問題轉化為求.

設標定板上一點P在Od1?Xd1Yd1Zd1中坐標為d1P,根據圖3,該點在Oc?XcYcZc下的坐標cP可以表示為:

也可以表示為:

式(5)和式(6)的右邊相等,因此有:

結合式(2),將式(7)展開并化簡可得:

如果控制工具坐標系圍繞TCP 點只做姿態變換,沒有平移,則=,式(8)中下式可進一步簡化為:

可將式(9)視為Ax=b的形式,需要注意的是,>和都是旋轉矩陣,兩者作差得到的矩陣行列式為零,如工具坐標系僅旋轉一個新的位置,僅可獲得一個如式(9)的方程,無法解出.因此,需要將工具坐標系旋轉多個位置,求解的最小二乘解.

計算出后,根據之前的分析,有即標定出相機坐標系到工具坐標系的平移矩陣.

設平移矩陣為,標定步驟如下:

(1)機器人夾持標定板到單目視覺系統上方固定位置處;

(2)控制工具坐標系圍繞TCP 點做若干次旋轉運動,并對每次位置的標定板拍照;

(3)根據式(9)和式(10)求解;

2 實驗驗證

作為對比,本文首先對傳統的解AX=XB 方程形式的手眼標定方法進行了仿真,并且計算了標定誤差.在仿真中,對實驗數據分別設置了若干組高斯誤差(σ從0.1 至4.0),在通過傳統方法計算出手眼關系X后,設誤差error=‖AiX?XBi‖(i=1,2,···,n).誤差數據如表1所示,方法1～5 分別對應文獻[5–9].

表1 不同的傳統手眼標定方法誤差

本文實驗的硬件系統包括工業機器人、編碼點標定板、工業相機及鏡頭.其中,所使用的工業機器人型號為KUKA KR60HA,工業相機型號為德國映美精公司的DMK 33G274,使用的鏡頭為Computar 的M0814-MP2,焦距8 mm.實驗環境如圖4所示.

對于本文提出的新的兩步法標定,首先如2.1 節所述步驟標定相機與工具坐標系的旋轉關系.標定過程采集的編碼點標定板圖像如圖5所示.

圖4 實驗環境

圖5 編碼點檢測效果

可以看出,標定板背景環境較為復雜,由于采用編碼點,仍可以很好的提取圓心.最終計算出:

然后控制工具坐標系旋轉不同角度,采集各姿態下的標定板圖像并記錄工具坐標系在機器人基坐標系下的讀數,代入式(8)組成線性方程組,求得=(10.444,2.8617,?4.8581)T,與真實值相差一個>的tOd=(21.658,2.751,?267.633)T,最終計算=(?11.214,0.1112,262.78)T.將旋轉平移矩陣組合,獲得單目相機坐標系到工具坐標系的齊次變換矩陣,由示教器讀出相應參數可獲取.最終計算出手眼關系.

可以看出,整個標定過程只需機器人進行兩次平移運動和若干次旋轉運動,非常快速.令機器人夾爪夾持標定板運動到不同位姿,用單目相機采集標定板圖像,記錄并計算A和B,令作為X 代入AX=XB 方程,仍然取誤差error=‖AiX?XBi‖(i=1,2,···,n)作為精度驗證.誤差數值如圖6所示,平均誤差1.8148.分析標定結果和誤差可知,本文提出的標定方法快速,準確,其精度優于傳統方法.

圖6 兩步法標定誤差

3 結論

本文提出了一種新的單目視覺系統兩步手眼標定方法,該方法將標定過程分為求解旋轉關系和平移關系兩步,通過控制機器人進行兩次平移運動和若干次旋轉運動即可計算手眼關系.該方法與已有方法的主要區別在于其避免了對AX=XB 方程的求解,傳統的基于AX=XB 方程求解的方法不僅至少需要采集數十張標定板圖像,而且精度得不到保證,本文方法不僅可以減少在標定過程中對標定板圖像數量的要求,而且實驗驗證了本文方法具有較高精度,因此本文方法快速、精確,此外該方法使用的編碼點標定板非常簡單,不需要昂貴的外部設備.在實際應用中,機器人和環境噪聲會對標定精度造成影響.所以后續仍需要對其進行精度和標定結果優化進行大量的研究工作.