基于機器視覺的機械臂抓取系統設計

孫科，李亞，畢德學，谷林峰，鄭晨旭

天津科技大學機械工程學院 天津市輕工與食品工程機械裝備集成設計與在線監控重點實驗室（天津 300222）

工業機器人被廣泛用于包裝和食品加工等自動化生產線[1]，利用機器視覺技術引導工業機械臂可以增加機械臂柔性和靈活性[2]，使機械臂能適應復雜和變化的環境，極大提高食品生產線自動化水平，保證了食品生產和衛生安全[3]。以巧克力生產線的自動化改造項目為例，以工業相機代替人眼完成目標位姿識別，實現由機械臂代替人力完成巧克力木質手柄擺放，以傳送帶坐標系為中間橋梁，提出了一種高效簡單的手眼標定方法，由搭建的硬件和軟件控制系統驗證系統的穩定性。

1 系統軟硬件總體設計

應用視覺技術實時引導四軸SCARA機械臂，實現對傳送帶上動態目標的定位抓取，其硬件系統組成如圖1所示[4]，包括振動上料盤、工業相機、傳送帶、SCARA機械臂、光源、編碼器和工控機等。

圖1 硬件系統

系統實現流程：由振動上料盤向傳送帶上料，目標物經過安裝于傳送帶上游的相機視野，工控機運行系統程序完成目標物的采集識別及位姿提取，通過相機、傳送帶和機械臂的標定結果和編碼器讀數來得到目標物在機械臂坐標系下的實時位置，發送在機械臂工作空間的目標實時位姿信息至安裝于傳送帶下游的機械臂，機械臂實現抓取目標，最后擺放到固定示教點。

控制系統整體實現如圖2所示。系統通過Gige接口連接相機采集圖像，Arduino控制板完成編碼器數據的采集和傳輸及帶速的控制，控制處理系統由4個并行運行的線程組成，各線程處理結果存儲于相應的順序隊列中，線程間信息交流也通過隊列傳遞，其中編碼器采集線程完成對編碼器實時數據的不間斷采集并存儲于編碼器讀數隊列，機械臂需求線程完成機械臂對目標需求信息的采集，并將需求信息存入機械臂需求隊列中，以上兩線程主要實現信息的不間斷采集。

圖2 控制系統

圖像處理線程如圖3所示。它主要完成圖像的采集及處理，此線程需要用編碼器讀數隊列中的實時編碼器讀數以記錄拍照時刻和判斷拍照間隔。

圖3 圖像處理線程流程圖

圖像處理通過預先準備的標準目標模板圖像進行基于形狀特征的模板匹配，進而得到的目標位姿信息及采集時刻信息存于目標位姿信息隊列中，以備后續目標實時位置的計算。為了減輕判別目標重復算法的復雜性和可靠性對系統執行效率和準確性的影響，拍照間隔采用寧漏拍不重拍的原則，故利用編碼器讀數控制拍照間隔大于相機視野長度。

信息處理發送線程如圖4所示。它完成對目標實時位置的計算和發送目標位姿信息至機械臂。利用編碼器讀數隊列的編碼器實時數據和目標位姿信息隊列存儲的目標位姿和采集時刻信息以計算目標實時位置，判斷其是否在機械臂工作空間內，再根據機械臂需求隊列的需求信息判斷是否發送目標實時位姿信息至機械臂。

圖4 信息處理發送線程流程圖

控制處理系統綜合各種采集得到及各線程提取計算得到的信息，得到目標在機械臂坐標系下實時位姿信息，并由TCP/IP通訊方式發送至機械臂。

2 手眼標定

手眼標定旨在獲得像素坐標系與機械臂坐標系的映射關系，由視覺處理得到的目標位置信息可由標定結果轉換至機械臂坐標系下，常用的手眼系統相機視野與機械臂工作空間有交集，在交集內任一點均可知其在像素與機械臂坐標系下坐標值，故不難求得其手眼映射關系；對于手眼工作空間無交集的情況，常以一新坐標系為中間橋梁，間接求得手眼關系。由于項目目標物形狀規則，相機安裝使像素平面平行于傳送帶平面，機械臂安裝使機器人基坐標系Z軸垂直傳送帶平面，忽略由于坐標平面不平行引起的標定誤差，標定三者關系時只需求三個平面的映射關系，Z軸深度由機器人示教為固定值。

2.1 相機的標定

相機的標定旨在獲得像素平面坐標系（UOV）和世界平面坐標系（XwOwYw）的投影關系[5]。此次基于針孔攝像機模型的透視投影關系提出了一種高效的標定方法。

可以將像素平面（如圖5所示）等效到光軸中心上方。處于傳送帶平面的任意物點Pw發出的光線經過鏡頭光軸中心O，交于像素平面形成其對應的像點P。光軸中心與像素平面的距離為焦距f。將世界平面坐標系固定在傳送帶所在平面，其原點Ow在像素平面的投影點為像素坐標系原點O1，且其Xw軸和Yw軸分別與像素坐標系u軸和v軸方向重合，過光軸中心作垂直于像素平面與世界平面直線分別交于點O'和O''。

圖5 等效成像原理圖

由圖6可知，ΔOO'P與ΔOO''Pw相似，ΔOO1P與ΔOOwPw相似，由此可得式1：

設P點像素坐標為（u，v），其對應的物點Pw在世界平面坐標系的坐標為（x，y），圖像傳感器水平和垂直方向上相鄰像素之間的物理距離為（Sx，Sy）（一般認為Sx=Sy=S），將像素坐標轉化為實際物理距離（u×S，v×S)，由式（1）可得式（2）：

式中：焦距f與物距|OO''|的比值記為固定值k，則世界平面坐標系和像素平面坐標系的線性映射關系為式（3）：

式中：S/k為定值，其值可由世界平面上兩點的實際物理距離與其對應的像素點的像素距離的比值求得。

2.2 相機、傳送帶和機器人的標定

如圖6所示，世界平面坐標系（XwOwYw）在傳送帶平面，由2.1小節得到像素坐標系與世界平面坐標系映射關系，還需建立一中介坐標系以求手眼關系。傳送帶坐標系（XcOcYc）的建立：傳送帶坐標系原點Oc與世界平面坐標系原點Ow重合，X軸方向與傳送帶運行方向一致，機械臂坐標系為機械臂固定基坐標系（XbObYb）。

圖6 相機、傳送帶和機械臂坐標系

由于各坐標系的標定只是二維關系，不需要考慮Z軸方向變換，則其坐標旋轉平移矩陣如式（4）所示。

式中：θ為兩坐標系X軸間的夾角；tx、ty分別為沿X、Y軸方向平移量。

為了求得世界平面坐標系與傳送帶坐標系X軸間的夾角θ1，如圖7所示，可在傳送帶表面選取一標致點P1在相機視野內運行傳送帶行進到P2點，故P1P2與傳送帶坐標系X軸方向一致，P1、P2點在世界平面坐標系下的坐標為（xw1，yw1）和（xw2，yw2），故得式（5）：

圖7 相機與傳送帶坐標系

則傳送帶坐標系相對于世界平面坐標系的旋轉平移矩陣記為Tcw。

如圖6所示，機械臂基坐標系與傳送帶X軸間的夾角θ2，方法類似，在機械臂工作空間內選取一標致點P3運行傳送帶行進到P4點，P3P4與傳送帶坐標系X軸方向一致，示教機械臂到P3、P4點并分別可得機械臂基坐標系下的坐標（xb3，yb3）和（xb4，yb4），進而計算得θ2。

標定機械臂坐標系相對世界平面坐標系X、Y軸方向平移量，如圖6所示，通過Tcw獲得點P1在傳送帶坐標系下坐標（xc1，yc1），運行傳送帶至機械臂工作區間內P4點，并通過編碼器得到移動的距離d，故P4點在傳送帶坐標系下的坐標為（xc1+d，yc1），其在機械臂基坐標系下的坐標可由示教得到（xb4，yb4），故傳送帶坐標系相對于機械臂基坐標的平移量（tx1，ty1）可由待定系數法求得，如式（6）：

則傳送帶坐標系相對于機械臂基坐標系的旋轉平移矩陣為Tcb。

由上述可得世界平面坐標系相對于機械臂基坐標系的旋轉平移變換矩陣見式（7）：

至此，由傳送帶坐標系為橋梁間接求得手眼關系，如式（8）：

3 試驗分析

為了驗證系統的精度和實用性，利用機器視覺引導機械臂抓取位于傳送帶上動態位姿的巧克力木質手柄并擺放到巧克力模具固定位置如圖8所示。

圖8 巧克力模具

對標定結果進行試驗驗證。在相機視野中選取點由旋轉平移矩陣Tcw得其在傳送帶坐標系下的坐標（xc，yc），運行傳送帶至機械臂工作空間并由編碼器獲得移動距離d，得其傳送帶坐標系下坐標（xc+d，yc），由旋轉平移矩陣Tcb計算出其在機械臂坐標系下坐標（xb，yb），示教機械臂末端指點端移動到目標，得其在機械臂坐標系實際坐標（xr，yr）。

對比計算得到的（xb，yb）和實際的目標在機器人坐標系下的坐標值（xr，yr），由式（9）得到其距離誤差，共測量30組數據其誤差，如圖9所示。

圖9 標定誤差圖

經分析其標定誤差小于1.5 mm，誤差主要來源為坐標面并不完全平行、傳送帶平面不平整等因素。

通過目標擺放是否到位驗證系統精度和穩定性，共統計30盤擺放情況，如表1所示。其成功率大于94%。

表1 擺放情況統計表

4 結語

利用機器視覺技術實時引導四軸SCARA機械臂實現對傳送帶上動態目標的定位抓取，搭建的硬件系統和軟件控制系統運行穩定，提出的標定方法經試驗驗證精度滿足項目要求，系統的實現提高了生產效率和食品安全。但由于在標定過程中忽略了各坐標平面不平行的因素，故后續研究中精度有待提高。