基于機器視覺的傳送帶分揀技術研究

方 雨，李大寨，林 闖

(北京航空航天大學 機械工程及自動化學院，北京 100191)

0 引言

工業機器人技術的發展和成熟，引領了制造業的新一輪革命,使得產品流水線更加靈活多變，生產效率逐步提高，因此對分揀系統提出了更高要求。傳統技術下的分揀系統，主要通過預先設定分揀動作，以繼電器控制或離線編程的方式實現分揀，過程繁瑣，效率較低[1]，且一旦產品或工作環境發生變化，就需要進行重新設計，故障率偏高，因此傳統分揀系統難以滿足現代制造業對信息化和自動化的要求。將機器視覺應用于分揀系統，利用其適應能力強，應用范圍廣，效率高，信息化程度高等特性，可以極大地提高分揀系統的工作能力[2]。

本文提出了一種將機器視覺和機器人應用于分揀系統，針對傳送帶上多類型工件進行識別定位和分揀的方法。

1 工件定位分揀系統

本文所用分揀系統主要由上料單元、輸送分揀平臺、攝像機平臺、機器人系統四部分組成。

攝像機平臺采用高分辨黑白攝像機，安裝于傳送帶上方，與傳送帶平行布置，采用連續觸發采集方式進行定時采集。輸送分揀平臺上安裝有增量型旋轉編碼器，可以采集傳送帶運動信息，用于進行工件跟蹤定位。機器人系統通過Ethernet接口與攝像機平臺通訊，獲取工件的定位識別信息，完成抓取和分揀。工件定位分揀流程如圖1所示。

2 坐標系的設定

在攝像機的成像過程中現實空間的點被投影到圖像平面上，并轉換成對應像素點位置上的顏色信息，找到現實空間的點與圖像上的點的正確對應關系，是攝像機標定的目的。如圖2所示，設在攝像機的圖像平面上有兩個平面坐標系，分別為以像素為單位的像素坐標系O0UV和以毫米為單位的圖像坐標系O1XY；此外，設攝像機坐標系Cam為o-xyz，規定攝像機光心點O點為原點，x軸和y軸與圖像平面上的X軸和Y軸平行，z軸為攝像機光軸，與圖像平面垂直；在現實空間中工件坐標系Wobj為Ow-XwYwZw，此坐標系位姿由傳送帶的位姿確定。設機器人坐標系Base為OB-XBYBZB。

圖1 工件定位分揀流程

3 攝像機的標定

3.1 攝像機坐標系

如圖2所示，設在工件坐標系Ow-XwYwZw中有一點P(Xw,Yw,Zw,1)T,點P在o-xyz坐標系中的坐標為(x,y,z,1)T,投影到圖像平面上為點p，其在O0UV坐標系與O1XY坐標系中的坐標分別為(u,v,1)T和(X,Y,1)T。

首先計算坐標系O0UV與O1XY的轉換關系。若O1在O0UV坐標系下的坐標為(u1,v1)，圖像中相鄰像素沿X向與Y向的距離分別為dX、dY，則p在O0UV與O1XY下的坐標轉換關系為：

(1)

根據攝像機針孔成像模型，點P(x,y,z,1)T與其投影點p(X,Y,1)T有如下比例關系：

(2)

其中：f為oxy平面與圖像平面的距離；s為比例因子。

最后用旋轉矩陣R和平移矢量t來描述工件坐標系Ow-XwYwZw與攝像機坐標系o-xyz的轉換關系，即：

(3)

將式(1)和式(2)代入式(3)得到工件坐標系與像素坐標系即Ow-XwYwZw坐標系與O0UV坐標系的轉換關系：

(4)

其中:ax為U軸上的尺度因子;ay為V軸上的尺度因子;M1為攝像機的內參矩陣；M2由攝像機相對于工件坐標系的方位決定，稱為攝像機的外參矩陣。

圖2 坐標系的設定

3.2 攝像機參數的標定

為了計算攝像機的參數矩陣,本文采用棋盤格標定法進行標定，選擇帶有基準標記的國際象棋盤。該標定板由14×24個黑白相間的正方形方格組成，每個方格的大小為10 mm×10 mm。規定以標定板所在平面為XwYw平面，Xw軸和Yw軸如圖3所示，Zw軸以右手定則確定。

4 機器人的標定

在分揀系統中，機器人與攝像機、傳送帶之間的坐標系相對關系如圖4所示。機器人的標定過程分為機器人與攝像機的位姿標定和機器人與傳送帶的位姿標定兩個部分。

圖3 標定板及對應坐標系

圖4 各個坐標系相對位置關系

4.1 機器人與攝像機位姿標定

由于相機視野范圍與機器人工作空間不重疊，因此傳統的機器人手眼標定方法并不適用于本系統，為了得到攝像機與機器人的位姿轉換關系，借助傳送帶在攝像機視野范圍和機器人工作空間建立兩個工件坐標系Wobj1和Wobj2來得到Cam坐標系與Base坐標系的轉換關系。Wobj1和Wobj2的關系在傳送帶標定中進行說明。

在傳送帶靜止狀態下，將標定板安裝在傳送帶上，保持標定板在攝像機的視野范圍內。調整標定板，使X方向與工件的運輸方向保持一致。規定此處標定的工件坐標系為Wobj1。Cam坐標系與工件坐標系Wobj1的位姿轉換矩陣為：

(5)

4.2 機器人與傳送帶位姿標定

機器人系統讀取的編碼器輸出的脈沖計數器的數值需要轉換成對應的傳送帶運動距離信息[4]。設D為單位脈沖下傳送帶運動距離，傳送帶上工件在運動前、后的兩個位置下計數器讀數分別為p1和p2，傳送帶運動距離為s1。則有：

D=s1/(p2-p1).

(6)

然后進行傳送帶運動方向與機器人位姿關系的標定。在攝像機下標定Wobj1后，啟動傳送帶，使標定板運動，直至其進入機器人工作空間內，規定此時標定板上坐標系為Wobj2。設運動前、后計數器讀數分別為p3、p4，則傳送帶運動距離s2為：

s2=D(p4-p3).

(7)

Wobj1與Wobj2坐標系間為平移關系，轉換矩陣為：

(8)

移動機器人在標定板上沿Wobj2坐標系Xw軸上測得點X1和X2，在Yw軸上測得點Y1。則兩坐標系間轉化矩陣為：

(9)

且

(10)

因此可以求得機器人坐標系Base與攝像機坐標系Cam的轉換矩陣為：

BaseHCam=BaseHWobj2·Wobj2HWobj1·(CamHWobj1)-1.

(11)

5 實驗結果

采用IRB 360型機器人搭建分揀平臺進行實驗，目標工件為正方形、圓形和三角形三種形狀的塑料薄片。

5.1 攝像機標定實驗

在圖3所示標定板上，共有277個特征點。實驗中識別出277個特征點位置，誤差平均值為0.087像素，達到了標定精度要求。

5.2 工件識別定位實驗

利用三種形狀的目標工件對系統的識別定位精度進行實驗。將三種工件放置于攝像機視野內并移動兩次進行識別定位訓練，得到3組數據，三種零件都被有效識別和定位，如圖5所示。

啟動傳送帶將工件輸送到機器人工作空間內，操作機器人對準工件，測得機器人坐標系下的工件坐標，并將攝像機識別定位結果根據轉換矩陣轉換到機器人坐標系下，得到的實驗結果如表1所示。

從表1可以看出：攝像機對工件識別的準確率達到100%，而定位精度的誤差小于1 mm。因此標定精度較高，能夠滿足識別分揀的要求。

6 結論

本文對機器視覺系統在分揀平臺上的應用進行了分析，提出了結合機器視覺系統、機器人系統和傳送帶單元的標定方法，最終實現了視覺系統識別定位工件，利用機器人在傳送帶上進行較高精度的定位抓取。實驗證明：本文方法定位精度達到1 mm，能夠滿足工業生產要求。說明機器視覺在傳送帶分揀平臺上得到了有效應用，能夠提高分揀系統效率、精度以及適應性。

圖5 工件識別結果

表1 工件識別定位實驗結果 mm