基于OpenCV的碼垛機器人手眼標定方法*＊

吳安成 何衛鋒 歐陽祥波

(廣東工業大學，廣東 廣州510006)

碼垛機器人是集機械、電子、信息、智能技術、計算機科學等學科于一體的高新機電產品，它能集成于生產線上的任意段，實現工件或包裝件的獲取、搬運、碼垛、拆垛等任務［1］。碼垛機器人在工作過程中，對目標工件位姿信息的獲取至關重要［2］。傳統的碼垛機器人在自動化生產線上，只能執行固定的示教位置、抓取點固定、對定位工裝精度要求很高，同時需要精心設計手爪及特殊輔助機構［3－4］。在實際應用中，因工裝材料(如緩沖件等)、加工工藝、內裝物本身精度以及為碼垛機器人抓取內裝物預留的公差余量等原因，難以保證碼垛作業順利完成。視覺的引入可以使碼垛機器人根據內裝物的實際位置動態調整抓取點，實現碼垛機器人對內裝物的精確定位和智能抓取［5］。

碼垛機器人視覺系統對攝像機視場中的內裝物進行識別、定位，將其圖像坐標系下的坐標值轉換為機器人中機械手坐標系(自定義工作坐標系)下的坐標值反饋給碼垛機器人運動控制系統，實現對內裝物的抓取［6－7］。手眼標定是將圖像坐標系與機械手坐標系關聯起來的必要條件，標定的精度直接影響著碼垛的成敗。現有的手眼標定方法主要分為傳統的手眼標定法和基于商用視覺庫(如 Halcon、MatLab、VisionPro等)的標定法，前者是通過至少3次機器人的末端位姿變換，構建并求解AX=XB方程，對于方程AX=XB的求解，計算量特別大，最經典的是Tsai［8］提出的轉站求解方法，但作者指出，該方法需要機器人移動比較大的角度，否則誤差較大;后者雖集成了現成的標定算法(如“九點”標定法)，但使用商業視覺庫需要較高的開發成本，又因其不開源，故不利于產品的升級。OpenCV是一個基于BSD許可的開源視覺庫、包含了數百種計算機視覺算法，通過調用內部函數可以省去大量的計算，又因其開源，故便于產品升級、節約開源成本。本文提出了一種簡易的基于OpenCV的“兩步”標定法。首先采用張正友標定法，以棋盤圖像作為標定的參照物，實現了世界坐標系與圖像坐標系之間的轉換;然后在機械手坐標系上設定四個標記點(內裝物所在平面)進行位姿估計，實現了世界坐標系與機械手坐標系之間的轉換，從而推算出圖像坐標系與機械手坐標系之間的變換關系以完成手眼標定。實驗表明:該方法能滿足碼垛機器人對內裝物的精確定位與抓取，在包裝件內裝物整理排序和工業裝配線上具有一定的使用價值。

1 碼垛機器人視覺系統

碼垛機器人視覺系統主要由碼垛機器人、攝像機、光源、以及運動控制器等組成，如圖1所示。本文用于研究的包裝件內裝物是空調壓縮機。首先視覺系統對空調壓縮機進行粗定位與精定位，定位目的是為了使圖像中心與空調壓縮機大圓圓心(如圖1b所示)重合，然后機器人末端移動固定的距離(手與眼的相對距離)，使手爪中心與空調壓縮機大圓圓心重合，執行抓取動作，最后通過校正空調壓縮機的旋轉角，將空調壓縮機按規則地放置于托盤中。

在定位過程中，攝像機對視場中的空調壓縮機進行抓拍，通過識別定位算法可求得空調壓縮機大圓圓心的圖像坐標值，但要反饋給碼垛機器人運動控制系統的是機械手坐標系下的坐標值，而手眼標定可以實現圖像坐標值與機械手坐標值之間的轉換，故需要對碼垛機器人視覺系統進行手眼標定。

2 手眼標定原理

在碼垛機器人視覺系統中，機器人具有較大的工作范圍，為了避免圖像特征遮蓋問題、提高圖像精度，故將攝像機固聯于機械手的末端［9－10］。如圖2所示，攝像機標定能實現世界坐標系與圖像坐標系之間的轉換;“四點”位姿估計能實現世界坐標系與機械手坐標系之間的轉換，從而推算出空調壓縮機圖像坐標系下的坐標值對應的機械手坐標系下的坐標值，故經過以上兩步操作實現了碼垛機器人視覺系統的手眼標定。

2.1 攝像機標定

攝像機標定的方法大致可分為傳統攝像機標定法和攝像機自標定法［11－13］。OpenCV中采用的是一種介于傳統標定法與自標定法之間的非線性模型攝像機標定法［14－15］，該方法具有較高的靈活性與標定精度，適用于碼垛機器人視覺系統［16］。

圖3為攝像機成像模型，實現了世界坐標到圖像坐標的轉換。OwXwYwZw為世界坐標系，OcXcYcZc為攝像機坐標系，oxy為圖像坐標系，O0u0v0為像素坐標系。

其數學模型表示為:

其中:fx、fy、u0、v0為攝像機內參數;rx、tx為外參數;S 為尺度因子。

OpenCV使用了張正友的針孔攝像機模型，引入了透鏡的畸變［17］。引入透鏡的徑向畸變和切向畸變分別為:

其中:δx與 δy是非線性畸變值;k1、k2、k3為徑向畸變;p1、p2為切向畸變。

OpenCV標定具體流程［18］為:首先讀取采集到的棋盤圖像，對棋盤圖像提取角點，然后將能夠成功提取到角點的棋盤圖像進行亞像素化，獲得角點的亞像素坐標值，最后通過攝像機的標定得到攝像機的內參數、畸變參數、投影誤差以及各姿態下棋盤圖像的外參數。

若空間坐標(X，Y，Z)為空調壓縮機大圓圓心坐標，某姿態下的棋盤圖像與空調壓縮機所在平面共面，則該狀態下棋盤的外參數即為空調壓縮機世界坐標與圖像坐標轉換的外參數，通過式(1)可求得圖像坐標(x，y，z)對應的世界坐標(X，Y，Z)，從而完成了兩步標定中的第一步——攝像機標定。

2.2 位姿估計

在三維空間中，可通過設定標記點來實現世界坐標系與機械手坐標系間的轉換［18］。由于視覺定位是為了使空調壓縮機大圓圓心與圖像中心重合。當手爪沒有達到這個位置時，視覺系統必須知道圓心相對于圖像中心的位置，即機器人需要移動的距離［19］。

在機械手處于原點狀態下，將標記點依次地置于機械手坐標系中，則實現的將是世界坐標系與機械手坐標系之間的轉換。標記點擺放位置如圖4所示。

點P1～P4為機械手坐標系中的標記點，通過圖4a可獲得P1～P4投影到攝像機的圖像平面上的點p1～p4，如圖4b所示。標記點 P1～P4與 p1～p4的變換由旋轉向量(rvec)和平移向量(tvec)來定義，也稱為歐式變換或剛性變換［19］，具體形式為:

由于空調壓縮機都放置于同一平面上，故令圓心坐標Z=0，一個平面到另一個平面的投影映射，又稱兩幅圖像之間的單應性H，具體形式為:

其中:x、y為空調壓縮機圖像坐標值;X、Y為空調壓縮機機械手坐標值。也即:也即機器人要移動的坐標值，從而實現了“兩步”標定中的第二步——位姿估計。

3 實驗測試與分析

3.1 攝像機標定實驗

為了獲得精確的攝像機畸變參數，本文以25 mm×25 mm的棋盤圖像作為標定參照物。以不同角度隨機地放置標定板，采集20張能夠成功識別到角點的棋盤圖像［20］，以確保為完全求解這些圖像在整個坐標系(相對于攝像機)的位置和攝像機內參數提供足夠的信息，如圖5所示。

通過OpenCV中cv::calibrateCamera()對以上棋盤圖像進行標定，得到了攝像機的內參數與畸變數，如表1、2所示。

表1 攝像機內參數

表2 攝像機畸變參數

3.2 位姿估計實驗

機器人處于原點的狀態下，分別在機械手坐標系下設定標記點(0，0)、(150，0)、(150，150)、(0，150)，其對應的圖像坐標值分別為:(1 958，1 166)、(1 069，1 083)、(1 155，194)、(2 040，278)，標定點設定方式如圖4所示。將圖像坐標值、機械手坐標值、攝像機內參數與畸變參數傳遞給cv::solvePnP()算法中可以得到旋轉向量rvec和平移向量tvec，并通過羅德里格變換cv::Rodrigudes()可求得rvec與tvec所對應的旋轉矩陣rmat及平移矩陣tmat。將標記點的世界坐標值、rvec和tvec傳遞給cv::projectPoints()進行重投影，把投影得到的圖像標記點的二維坐標值與實際上的圖像標記點的坐標值傳遞給cv::norm()求取投影誤差，最后由std::sqrt()求得平均重投影誤差為:0.727(像素)，具體參數如表3所示。

表3 重投影誤差

3.3 手眼標定測試實驗

圖6a為定位前的空調壓縮機大圓圓心坐標x(1525.02，745.54)，將其代入公式(9)，求得機器人要移動坐標值為X(－32.24，33.54)。經過二次定位后空調壓縮機大圓圓心幾乎與圖像中心重合如圖6b所示，此時抓取誤差dev為(－0.11，0.82)，歐式誤差err為0.83。對手眼標定的結果進行8次試驗，具體參數如表4所示，都能成功地將空調壓縮機進行抓取，并且其歐式誤差都控制在±1 mm內。

表4 手眼標定實驗結果

4 結語

本文提出了一種適用于碼垛機器人的簡易的手眼標定法——“兩步”標定法，該方法充分利用了OpenCV中的視覺算法庫，與傳統的手眼標定法和基于商用視覺庫的標定法相比，省去了大量的計算、節約開發成本以及便于產品的升級，而且只要通過簡單的攝像機標定與標記點位姿估計，就能實現手眼標定。測試結果表明，該手眼標定法結合為空調壓縮機識別、定位設計的視覺算法，能夠達到±1 mm的碼垛精度，適用于空調壓縮機的碼垛作業，在包裝內裝物整理排序和工業裝配線上具有一定的使用價值。