基于末端開環視覺系統的機器人目標抓取研究

楊賀然，張莉彥

(北京化工大學機電工程學院，北京 100029)

基于末端開環視覺系統的機器人目標抓取研究

楊賀然，張莉彥

(北京化工大學機電工程學院，北京 100029)

以MOTOMAN-SV3X機器人、攝像機和傳動帶為基礎，構建了一個基于機器視覺的機器人目標抓取系統。本系統中攝像機和機器人分別布置在傳動帶兩端，其工作原理為:利用視覺定位和系統標定結果，經過坐標系轉換將位姿信息轉化到機器人基礎坐標系中，然后根據位姿信息進行運動學逆解得相應的控制文件，最終實現攝像機在一端拍攝，機器人在另外一端對目標進行抓取。抓取實驗結果驗證了此系統的可行性和實用性，為提高生產線的自動化程度提供了一種新的方法，對后續的相關研究做了鋪墊。

機器視覺;機器人;末端開環;單目定位;角點檢測;HALCON

0 引言

抓取操作是機器人工作時的最基本動作，其他任何復雜任務都可以看作是抓取動作的組合。為了增加抓取的準確性和實時性，通常的方法是給機器人添加視覺傳感器，利用視覺功能對目標進行定位，然后將定位信息構成反饋，控制機器人進行抓取。目前國內對基于視覺工業機器人抓取的已有研究有:(1)基于單目視覺的機器人智能抓取系統［1］。這類系統一般將攝像機安裝在工業機器人工作空間的上方，同時觀察目標和機器人末端執行器，利用攝像機作為中間媒介建立起目標與機器人手之間的關系。(2)基于立體視覺的機器人控制系統［2］。這類系統一般是使用兩臺攝像機對目標同時進行拍攝，利用視覺差和立體匹配技術獲取目標的空間位姿，從而對機器人抓取進行控制。這兩種方法都有其局限性:第一種方法要求攝像機能夠同時觀察到目標和機器人手，這對系統的配置要求較高，工作現場的條件時常不能滿足。另外由于攝像機的安裝位置原因，機器人手會對目標產生遮擋，導致抓取失敗;第二種方法由于使用到了兩臺攝像機，硬件成本提高，并且計算量大，視場角較小［3］。因此筆者在對自動化生產線上常見工作任務特點進行調查后，構建了單攝像機和工業機器人分別固定安裝在傳送帶兩端的智能抓取系統。這種配置的優點:系統安裝靈活，能夠充分發揮視覺系統的功能，算法簡單計算量少。由于目標和機器人手不能同時出現在攝像機視野中，因此也被稱作末端開環視覺系統。

1 末端開環系統抓取原理

為了得到參數化的位姿信息，要對系統進行標定。首先是對攝像機進行標定，得到攝像機的內外參數，結合PNP原理建立起空間中一點和圖像坐標系中一點之間的關系。然后是對機器人系統和攝像機之間的關系進行標定，建立起攝像機坐標系中一點與機器人基礎坐標系之間的關系。

1.1 攝像機的標定

攝像機標定的過程是確定三維場景映射到二維圖像的轉換中，三維空間位置和圖像坐標位置之間的相互關系的過程［4］。這一相互關系是由攝像機的成像幾何模型確定的，為了更清楚的說明成像系統幾何模型，首先要明確幾個坐標系之間的關系。從世界坐標系中一點到圖像上一點，共經歷了四個坐標系之間的轉換，它們分別為:世界坐標系{W};攝像機坐標系{C};成像平面坐標系{I}(以上坐標系單位為:mm);圖像坐標系{CI}單位:pixel。其中世界坐標系到攝像機坐標系之間的關系構成了攝像機的外參;攝像機坐標系到成像平面坐標系符合成像幾何原理，如圖1所示;從成像平面坐標系到圖像坐標系構成了攝像機內參。本文采用機器視覺軟件HALCON中自帶的標定程序和100mm*100mm的標定板對攝像機進行了標定，內參結果如表1所示。

表1 攝像機內參標定結果

圖1 線性攝像機成像幾何關系圖

1.2 抓取系統的標定

由于機械手和目標不會同時出現在攝像機的視野中，所以無法使用傳統的末端閉環手眼標定方法。為了建立起目標和機械人手之間的關系，在傳送帶上定義一個參考坐標系(ref)。如圖2所示，該坐標系的x軸與傳動帶的中線重合，y軸指向機器人一側，z軸垂直于傳送帶平面。

圖2 末端開環系統目標抓取原理圖

通過離線測量方法得到參考坐標系和機器人基礎坐標系之間的關系矩陣refHbase，并將此位置作為計時起點。左側方框區域代表攝像機的視野范圍，右側外圓區域為機器人的球工作空間，內圓區域為工作空間與傳送帶平面的相交圓，工件從左側進入。由攝像機標定結果可以得到參考坐標系相對于攝像機坐標系的位姿camHref，這樣就能計算出機器人基座坐標系相對于攝像機坐標系的位姿關系:

由圖像匹配得到的camHobj，目標相對于參考坐標系的位姿關系可通過(2)式計算出來:

再利用(3)式就能計算出目標相對于機器人基礎的位姿:

下面計算目標進出機器人工作空間的時間:由refHobj可得到目標中心點在參考坐標系x，y軸方向上的坐標(x0，y0)。由refHbase可知機器人基座坐標系原點在參考坐標系 x，y，z軸方向上坐標:dx，dy，dz。查詢機器人手冊可知，機器人工作空間球半徑 R=677mm，則參考坐標系下的工作空間球方程為:

經計算得到傳送帶平面方程Z=0與工作空間相交的投影圓半徑R=621mm，則機器人工作空間在參考坐標系平面上的投影圓方程為:

過目標中心點作一條平行于參考坐標系x軸的直線:

與投影圓相交于兩點:(x1，y1)，(x2，y2)。這兩點便是目標進出工作空間的坐標點，由(5)、(6)式可計算出這兩點x方向坐標值為:

目標速度v的計算，可在攝像機視野內，取間隔10張的兩幅圖像，計算目標中心在x軸方向的位移，除以拍攝這10張圖像所經歷的時間即可得到。有了進出工作空間點的x方向坐標和速度v，就能求出目標到達這兩點的時間t1和t2，則目標在工作范圍內運動的時間為t2-t1，可以選擇這一時間段中任一個時刻對目標進行抓取。

2 目標定位

在HALCON中，使用單目攝像機對已知目標進行位姿估計的方法有三種［5］:第一種是針對目標尺寸已知情況下的，首先確定模板目標上至少三個非共線點的三維空間坐標，和這些點在圖像中的對應像素坐標，然后利用算子vector_to_pose獲得二維像素點和三維空間點之間的關系，創建目標模板，對后續的目標進行定位;第二種是可變尺度的匹配方法，利用攝像機標定的方法，將標定板直接放置在目標的上面，利用算子find_caltab和find_marks_and_pose便能得到模板目標相對于攝像機的位姿關系，然后創建可變形模板，對后續圖像中的目標進行定位;第三種方法是基于描述符的匹配，這種方法與模板匹配類似，在創建模板之前，要對圖像進行測試，當大約有50至450個均勻分布的點時，即可進行模板的創建。本文采用第一種和第二種結合的方法對目標進行定位，該方法的流程如圖3所示。

圖3 目標定位流程圖

2.1 角點檢測

由PNP問題的結論，當N=4時，如果這四個點是共面非共線點，那么有唯一解［6］。本文研究的對象為剛性物體，可以通過角點檢測的方法獲得工件圖像中四個非共線點的坐標。角點檢測方法很多［7］，通過實驗對幾種常見方法進行了對比，如圖4所示。

為了從中選擇出最適合的算子，對得到的檢測結果進行幾項指標的對比，見表2。

表2 目標物體角點檢測結果比較

由表2結果可以看出，改進Harris對圖像噪點干擾的性能較Harris算法好，除了Foerstner和Susan算法丟失了一些角點外，其余四種方法對角點的檢測都比較完整。但Lepetit算法對曲率的變化更為敏感，于是錯將內孔邊緣當作角點位置導致了大量的錯判。綜合正確率和漏檢率兩項指標，Sojka算子具有綜合的優勢結果。

2.2 基于可變形模板的匹配

上一節利用Sojka算子提取到了目標上非共線的四個角點坐標，利用vector_to_pose算子，結合攝像機標定結果求解P4P問題，得到目標三維坐標點和像素點之間的對應關系。然后創建可變形模板，就可以對后續的圖像進行目標定位。目標定位實驗如圖5，結果如表3。

圖5 目標定位

表3 目標定位結果

2.3 轉化到機器人坐標系

上一節得到的定位結果，是目標相對于攝像機坐標系的位姿，根據第1節的原理可知，還需要進行一些矩陣變換，將其轉化到機器人基座坐標系中，才能給機器人提供正確的位置信息。該流程如圖6所示。

圖6 位姿轉化關系圖

3 機器人目標抓取

對目標抓取過程可用機械手中心的路徑點序列Pi(i=0，1，2，3，4，5)來表示。如圖7 所示，本文采用目標抓取方案為:機器人首先從初始位置向目標位置進行移動，當到達目標位置時進行抓取，然后沿z軸提升一段固定距離，再將目標物體放置到指定的位置，為了避免機械手與其他物體相撞，同樣把手臂末端沿z軸方向提升一段距離，然后回到初始位置，當下一個目標出現時，重復該過程。

MOTOMAN機器人有兩種控制方式。一種是利用目標定位和軌跡規劃的結果，實時生成機器人控制文件，然后通過Motocom32軟件將生成的文件下載到機器人控制柜，執行控制文件，這樣就能控制機器人完成期望的動作;另外一種是自己編制應用程序調用Motoman32庫函數，通過串口向控制柜發出指令，控制柜執行指令驅動機器人動作，對機器人進行實時控制，完成抓取任務［8］，本文采用第一種方法。

圖7 目標抓取過程的路徑軌跡規劃

3.1 JBI文件實時生成

從上述的描述可以看出，抓取過程中有5個路徑點，并且其中一些軌跡關鍵點可以是固定的空間點，例如提升、移動、放置和初始位置。每個路徑點對應一個相對位姿關系，已知該關系通過逆運動學求解可將其轉化成關節變量，然后通過關節角與脈沖值之間的轉化關系，求出各個角度對應的脈沖值［9］。然后將抓取位置對應的脈沖信息結合JBI文件的格式賦值到指定行，生成控制文件。然后下載到機器人控制柜，便能完成對目標的抓取。該方法的流程如圖8所示。

圖8 控制文件實時生成流程圖

3.2 目標抓取實驗

通過坐標系轉換得到目標在機器人基座坐標系下的坐標，將該坐標與抓取時從機器人控制軟件上得到的機器人末端相對于基座的坐標進行對比，結果顯示本系統所使用的方法具有較高的定位精度，能夠滿足實際生產中的要求。比較結果見表4，抓取實驗如圖9所示。

圖9 目標抓取實驗

表4 定位結果和實際位置的對比

4 結束語

本文構建的末端開環系統，是對已有系統結構的改進，擴展了視覺抓取系統的應用范圍，能夠更好的適應實際生產條件。工作原理的推導，為后續的研究打下了基礎。成功的目標抓取實驗，驗證了本文原理推導的正確性和系統工作的可行性。對降低勞動強度，提高生產線自動化水平具有重要意義。

［1］呂游.視覺引導技術在工業機器人智能抓取中的應用［D］.安徽:合肥工業大學，2009.

［2］劉鵬飛.基于立體視覺的機器人視覺伺服研究［D］.西安:西安理工大學，2008.

［3］徐德，譚民，李原.機器人視覺測量與控制［M］.北京:國防工業出版社，2011.

［4］王明昕，等.CCD攝像機內外參數標定技術研究［J］.機械與電子，2004(3):12-14.

［5］Solution Guide Ⅱ-Shape-Based Matching［CP/DK］MVTec HALCON9.0.

［6］胡占義.關于P4P問題的一點討論［J］.自動化學報，2001(27):770-776.

［7］趙文彬，張艷寧.角點檢測技術綜述［J］.計算機應用研究，2006(10):17-19.

［8］夏朝猛，錢新恩，劉白雁.動態UP6工業機器人運動軌跡的實時規劃［J］.湖北汽車工業學院學報，2005(19):42-45.

［9］胡中華.MOTOMAN-UP系列機器人離線編程系統的研究［D］.南昌:南昌航空大學，2007.

Research of Robot Grasp Based on End-point Open Loop Vision System

YANG He-ran，ZHANG Li-yan
(College of Mechanical and Electronic Engineering，Beijing University of Chemical Technology，Beijing 100029 China)

Based on MOTOMAN-SV3X robot，camera and conveyor belt，an object grasping system founded on robot vision is built.In this system，the camera and robot are installed separately in both ends of the belt.The operational principles are that using the vision orientation and camera calibration results，the objects’poses are transformed into robot base coordinate after coordinate system transformation.Then the robot control files are generated based on pose information through inverse kinematic solution，and finally control the robot grasping the objects on the other end of belt.The grasping experiment results prove the reliability and practicability of the system，providing a new method to improve the automation of production line，and paving the way for subsequent related research.

machine vision;robot;EOL;monocular camera positioning;corner detection;halcon

TH16;TG65

A

1001-2265(2012)12-0037-04

2012-02-03

楊賀然(1988—)，男，河南周口人，北京化工大學機電工程學院研究生，研究方向為機械電子工程，(E-mail)young_horizon@163.com

(編輯 李秀敏)