帶激光筆的機器人主動視覺手眼標定*

黃朝興，陳丹，唐旭晟（.福州大學電氣工程與自動化學院先進控制技術研究中心，福建福州35008；.福州大學機械工程及自動化學院，福建福州35008）

帶激光筆的機器人主動視覺手眼標定*

黃朝興1，陳丹1，唐旭晟2
（1.福州大學電氣工程與自動化學院先進控制技術研究中心，福建福州350108；2.福州大學機械工程及自動化學院，福建福州350108）

以固高GRB-400機器人和攝像機組成手眼系統，在手眼關系旋轉矩陣的標定方面，分析了基于主動視覺的標定方法。為實現手眼關系平移向量的標定，提出以固定于機械臂末端的激光筆來獲取工件平臺上特征點的基坐標，并結合已標定的旋轉矩陣來標定平移向量。最后，從圖像求取多個特征點之間的距離并與實際值進行誤差比較，平面特征點間的長度測量誤差在±0.8 mm之間，表明手眼標定精度較高，可滿足機器人進行工件定位與自動抓取的要求。

機器人；手眼系統；主動視覺；激光筆；標定

0 引言

當今，機器人視覺系統以其精度高、成本效率高、連續性、靈活性等特點被廣泛應用于電子原件裝配、焊接工程、零配件尺寸檢查等領域。手眼標定是機器視覺系統中的關鍵技術，手眼標定的精度將直接影響系統的定位精度。因此，為提高系統的定位精度，需要大量的實驗來實現手眼標定，以減小最終誤差。在手眼標定方面許多學者做了努力，并取得了一定的成果，如Ma[1]提出了主動視覺的方法，通過攝像機的正交平移運動，利用極點建立約束方程組，求解攝像機內參數及手眼關系；楊廣林[2]等給出一種手眼標定方法，僅需場景中的兩個特征點，通過控制攝像機做兩次平移運動和一次旋轉運動即可實現手眼標定。此外，針對一些機器人如SCARA機器人，其在做旋轉運動時僅能繞z軸旋轉，對于一些手眼標定方法該類機器人無法實現，如Shiu[3]和Tsai[4]的手眼標定方法均要求至少需要旋轉軸不平行的兩組運動，才能唯一確定手眼矩陣的各分量。本文以固高GRB-400機器人和攝像機組成的手眼系統為研究對象，采用基于主動視覺的手眼標定方法對手眼關系的旋轉矩陣進行標定，借助于激光筆來獲取工件平臺上特征點的世界坐標，然后根據特征點的世界坐標和已標定的旋轉矩陣來求取手眼關系的平移向量。

1 固高GRB-400機器人

四自由度GRB-400機器人是典型的SCARA機器人，具有3個旋轉關節和1個移動關節，采用D-H法建立坐標系，如圖1所示。從控制器中獲取關節變量θ1、θ2、θ4、d3，由圖1可求得各連桿的變換矩陣，從而得到機械臂末端的位姿參數：

圖1 機器人D-H坐標系

2 手眼關系的標定

2.1 手眼系統中的坐標變換

手眼關系示意圖如圖2所示，Qw-xyz、Qh-xyz和Qcxyz分別表示機器人基坐標系、機械臂末端坐標系和攝像機坐標系，分別表示基坐標系與機械臂末端坐標系之間的旋轉矩陣和平移向量，分別表示機械臂末端坐標系與攝像機坐標系之間的旋轉矩陣和平移向量。設P為空間中的一點，Pw、Ph和Pc分別為點P在坐標系Qw-xyz、Qh-xyz和Qc-xyz中的坐標，則P在手眼系統中各坐標系之間的關系如下：

2.2 手眼關系中旋轉矩陣的標定

在手眼系統中，當控制機械手做平移運動時，攝像機也隨著機械手做平移運動。參考文獻[1]給出了確定攝像機坐標系平移方向的方法。

圖2 手眼關系示意圖

整理上式得：

類似地，控制機械手沿不同方向做兩次平移運動，設其平移向量分別為k b→2、k b→3，相應的攝像機平移向量分別為k a→2、k a→3（a→i、b→i均為單位向量，i=2，3），同樣可推得：

將式（6）～（8）合成矩陣形式有：

由此可得手眼關系的旋轉矩陣：

在實際標定過程中，可以只通過控制機械手沿相互正交的兩個方向平移，然后采用施密特正交化方法對得到的兩個攝像機平移向量進行正交化，第三個平移向量由前兩項叉乘得出，即由此可求得正交的旋轉矩陣Rhc。

2.3 手眼關系中平移向量的標定

手眼關系的平移向量是通過以固定于機械臂末端的激光筆來獲取工件平臺上特征點的基坐標，并結合已標定的旋轉矩陣來標定的。

2.3.1 基于激光筆求工件平臺上特征點的基坐標

基于激光筆求特征點基坐標的示意圖如圖3所示，工件平臺與基坐標的z軸垂直（設工件平臺在z軸的坐標位置已知），P為工件平臺上位置固定的特征點，設其基坐標表示為，激光筆安裝于機械臂末端，即Qh-xyz坐標系的A處，且使激光射線平行于Qh-xyz的z軸。可通過控制機械手上下移動觀察激光射線是否打在工件平臺上的同一點來判斷激光射線是否平行于Qh-xyz的z軸，若不是則調整激光筆直到激光射線與Qh-xyz的z軸相平行。易知當激光射線與Qh-xyz的z軸相互平行時，激光射線上的點在Qh-xyz上具有相同的x、y軸坐標值且不隨機械手的移動而改變，設分別為hxp、hyp。

圖3 基于激光筆求特征點基坐標示意圖

首先，通過調整機器人的四個關節狀態使激光射線打在P點上（如圖3（a）所示），設此時P點在Qh-xyz中的坐標為（wxp，wyp，wzp）T，從控制器中獲取當前機器人的關節變量分別為θ11、θ21、d3、θ41，根據D-H法可求得機械臂末端的位姿參數易知旋轉矩陣具有如式（2）的形式，設為：

接著，保持機械臂末端與工件平臺的距離不變，即機器人的移動關節參數值仍為d3，改變機器人的其他三個旋轉關節，且仍使激光射線打在P點上（如圖3（b）所示），顯然此時的P點在Qh-xyz中的坐標仍為（wxp，wyp，從控制器中獲取當前機器人的關節變量分別為同理可求得且旋轉矩陣具有

式（2）的形式：

由式（12）、（13）可解得：

在基坐標系下，對于工件平臺上的特征點的z軸坐標值相等且為已知，因此只需求取x、y軸的坐標值。將求得的（hxp，hyp）T帶入式（12）即可求得P點在基坐標系下的x、y軸的坐標值。為減小（hxp，hyp）T的誤差，可采用對不同特征點重復多次實驗求平均的方法。

2.3.2 平移向量的標定

根據手眼系統中的坐標變換關系，由式（3）、（4）可得：

整理上式，得：

根據小孔成像的線性模型有：

將上式代入式（16）得：

標定過程：控制機械手使工件平臺上已知基坐標的特征點置于場景中，從控制器中獲取當前機器人的關節變量求得從圖像上獲取特征點的圖像像素坐標（u，v），zc可由參考文獻[2]給出的方法求得M均已標定求出，則由式（19）即可求得手眼關系的平移向量通過重復多次實驗求平均，可減少誤差。

3 實驗結果及分析

本文的手眼系統的硬件部分主要有：四自由度GRB-400機器人、機器人控制柜、控制計算機、CCD攝像頭、圖像采集卡及其他輔助設備。攝像機安置于機械臂手爪的旋轉關節上，其采集的圖像尺寸為2 048× 1 536。

3.1 手眼關系旋轉矩陣的標定實驗

控制機械手沿機械臂末端坐標系的Zh+（“+”表示坐標軸的正方向，“-”表示坐標軸的負方向）方向移動10 mm，根據移動前后圖像特征對應點求取攝像機的平移向量k a→1，再控制機械手沿機械臂末端坐標系的Yh+方向移動10 mm，同樣可求得攝像機的平移向量k a→2，利用Schmidt正交化，令同時利用機械手平移的方向向量由式（10）求得手眼關系的旋轉矩陣同理控制機械手沿機械臂末端坐標系的Zh-、Yh+、Zh+、Yh-、Zh-、Yh-方向移動10 mm，每兩次移動就可確定一個旋轉矩陣的多次實驗結果數據如表1所示，其中最大偏差為旋轉矩陣的計算值與平均值之間的偏差矩陣中的最大值。從表1可看出旋轉矩陣的偏差是穩定的，取平均值作為標定結果。即：

表1 手眼關系旋轉矩陣實驗結果

3.2 手眼關系平移向量的標定實驗

在求平移向量之前，需通過激光筆來獲取工件平臺上特征點的基坐標，因此先對激光筆在機械臂末端坐標系x、y軸的坐標位置進行標定。通過多次標定得到的數據結果如表2所示，其中偏差為的實驗計算值與平均值之間的差值。

表2 （hxp，hyp）T的標定結果

在求得hxp、hyp后，控制機器人使激光射線打在工件平臺上基坐標待求的特征點P上，從控制器中獲取當前機器人的關節變量求得機械臂末端的位姿參數，由式（12）即可求得P點的基坐標。

接著對手眼關系平移向量進行標定：控制機械手使工件平臺上基坐標已知的4個特征點置于場景中，從控制器中獲取當前機器人的關節變量求得從圖像上獲取這些特征點的圖像像素坐標，這些特征點的zc值按參考文獻[2]的方法另外求取，均已知，由式（19）即可求得手眼關系的平移向量平移向量的標定結果數據如表3所示，其中最大偏差為平移向量的計算值與平均值之間的偏差向量中的最大值。

表3 手眼關系平移向量的標定結果

由表3可看出，平移向量的最大偏差小于0.5 mm，取平均值為其標定結果。即：

3.3 標定結果測試

選取工件平臺上的4個點作為測試點，且將特征點置于不同的場景中，如圖4所示，通過求取特征點的基坐標以求得這4個特征點兩兩之間的距離，實驗結果數據如表4所示，其中實際值為由游標卡尺直接測量所得特征點之間的間距。

圖4 不同場景中的特征點圖像

由表4可得不同場景中特征點間距計算值與實際值的誤差曲線，如圖5所示。從圖5可以看出，特征點間距計算值與實際值的誤差在±0.8 mm之間，說明所標定的手眼關系的旋轉矩陣和平移向量精度較高，可滿足機器人的工件定位與自動抓取的要求。

表4 不同場景中特征點間距的計算值與實際值

表5列出了本文方法和其他文獻方法的手眼標定精度。從表5可以看出，參考文獻[5]的標定精度最高，達到了0.5 mm，但其標定過程要求機器人的外臂坐標系到機器人基坐標系的旋轉矩陣以及末端執行器的高度保持不變，具有一定的局限性。而參考文獻[1]和參考文獻[6]的手眼標定方法在求解平移向量時均需要機器人做旋轉運動，并且不能僅僅只繞某一軸旋轉，若僅繞某一軸旋轉將無法求出平移向量。在標定精度方面，參考文獻[6]的標定精度與本文方法相當，而參考文獻[1]和參考文獻[5]的標定精度均低于本文方法。

圖5 不同場景中特征點間距的誤差曲線圖

表5 幾種方法的手眼標定精度

4 結論

本文提出了通過固定在機械臂末端的激光筆來獲取工件平臺上特征點的基坐標，以此來標定手眼關系的平移向量；通過場景中的兩個特征點，通過精確控制機械臂做2次特定的平移運動即可標定出手眼關系的旋轉矩陣。實驗結果表明，本文方法的標定精度較高（±0.8 mm），可滿足一般機器人工件自動抓取、跟蹤控制等作業的使用要求。此外，本文提出的方法對于平移向量的標定，只需要求機器人末端手臂垂直于工件平臺，并使固定在該臂上的激光筆的射線平行于該臂坐標系的z軸，這對于大多數的機器人都是易于實現的，因此本文的方法精度高，適用范圍廣。

[1]MA S D．A self-calibration technique for active vision systems[J]．IEEE Transactionsons on Robotics and Automation，1996，12（1）：114-120．

[2]楊廣林，孔令富，王潔.一種新的機器人手眼關系標定方法[J].機器人，2006，28（4）：400-405.

[3]SHIU Y C，AHMAD S.Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX=XB[J].IEEEE Transactions on Robotics& Automation，1989，5（1）：16-29.

[4]TSAI R Y，LENZ R K.A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEEE Transactions on Robotics&Automation，1989，5（3）：345-358.

[5]戚芳，席鋒.簡便高精度的機器人手眼視覺標定方法[J].傳感器與微系統，2006，25（1）：27-29.

[6]張黎爍，趙志梅.基于主動視覺的結構光手眼系統自標定方法[J].科學技術與工程，2014，14（9）：202-206.

ARM攜手貴州大學共建大數據創新與人才培養基地培養明日大數據人才，打造可持續“云上貴州”

2015年8月21日，ARM?宣布與貴州大學合作建立“貴州大學—ARM創新與人才培養基地”，推動當地大數據教育發展，為打造長期可持續發展的“云上貴州”培養大數據人才。

通過該人才培養基地的建立，ARM將協同其大學計劃生態伙伴一起為貴州大學提供基于ARM的硬件及軟件系統套件，以及行業最新的專業級平臺和工具等服務，使得學生能夠掌握大數據領域的前沿技術。同時，ARM還將支持學校公共基礎課程教材改革，并持續提供多元化、高質量、更廣泛的公開課程資料，覆蓋ARM mbedTM嵌入式系統課程與實驗、移動互聯開發課程與實驗、微服務器實踐課題、智能硬件實踐課題及Linux操作系統實訓。并支持該創新與人才培養基地的各類學生競賽、創客、創業等活動。

ARM全球執行副總裁兼大中華區總裁吳雄昂表示：“ARM致力于在中國產學結合，打造開放社區式創新生態系統。2014年國內合作伙伴基于ARM架構的中國芯出貨量超過15億片。貴州目前以發展大數據產業為中心，從各個產業環節推動創新，而ARM低功耗、高性能且具備可擴展性的處理器及相關技術能有效支持大數據市場的運營需求。與貴州大學的合作以核心課程合作為入口，是ARM大學計劃在中國開展以來的示范項目，促進產學研相結合，為貴州大數據教育與產業的可持續發展做出貢獻。”

ARM憑借其在全球先進數字產品的技術核心地位，積極開展大學計劃，鼓勵將ARM處理器用作教育實驗和大學課程的基礎，并聯合行業合作伙伴為工程領域的高校學生提供基于各自專業技術領域的高質量教學內容。此次建立的“貴州大學—ARM創新與人才培養基地”作為ARM大學計劃在中國發展的重要實踐，不僅將有助于促進貴州大數據人才培養，還將幫助大學教育體系應對逐步升高的行業需求，加快優質教學資源的共享，推進教學改革，促進大數據教育發展。

（ARM供稿）

Robotic hand-eye calibration based on active vision w ith laser pointer

Huang Chaoxing1，Chen Dan1，Tang Xusheng2
（1.Research Center of Advanced Control Technology，College of Electrical Engineering and Automation，Fuzhou University，Fouzhou 350108，China；2.School of Mechanical Engineering and Automation，Fuzhou University，Fouzhou 350108，China）

In terms of the rotation matrix calibration of the hand-eye relation，the calibration method based on active vision for eye-in-hand system which is consisted of Googol GRB-400 robot and camera is analyzed.The world coordinates of the feature point on the workpiece platform are obtained by laser pointer mounted on the mechanical arm which is proposed for the calibration of translation vector of the hand-eye relation combined with the calibrated rotation matrix.Finally，the result can be get that the measurement error range of the lengths between the plane feature points is±0.8 mm，which indicates the hand-eye calibration precision is high，through calculating the distances between multiple feature points from the image and comparing the error with the actual values，and it can meet the requirements of workpiece positioning and automatic grabbing for robot.

robot；eye-in-hand system；active vision；laser pointer；calibration

TP24

A

1674-7720（2015）17-0070-05

黃朝興，陳丹，唐旭晟.帶激光筆的機器人主動視覺手眼標定[J].微型機與應用，2015，34（17）：70-74.

2015-04-05）

黃朝興（1990-），男，碩士研究生，主要研究方向：機器視覺。

陳丹（1977-），女，博士，副教授，主要研究方向：網絡機器人控制技術，預測控制，智能控制以及機器人視覺。

唐旭晟（1973-），男，博士，副研究員，主要研究方向：機器視覺，圖像處理等。

國家自然科學基金資助項目（61174051）；福建省自然科學基金項目（2013J01226）