基于雙目視覺的食品分揀Delta機器人定位抓取技術

米西峰 尚展壘 范媛媛 孟曉川

(1. 焦作師范高等專科學校，河南 焦作 454000；2. 鄭州輕工業大學，河南 鄭州 450002；3. 燕山大學，河北 秦皇島 066004)

近年來工業技術和互聯網技術的快速發展，促進了機器人技術的進步[1]。Delta機器人是一種自由度較少的工業機器人，由于速度快、精度高，被廣泛應用于食品、醫療等輕工業領域[2]。雙目立體視覺將工業機器人的運動范圍從二維平面擴展到了三維空間，使機器人柔性、靈活和高效更佳。

機器人分揀的前提是目標定位和抓取方式的選擇，目前，國內外許多學者對定位和抓取方式進行了研究。劉海龍等[3]提出了一種基于機器視覺的機器人定位技術，能夠更準確地引導機器人實現立體定位，誤差小于0.5 mm，可以滿足工業生產的一般性需求。曾勁松等[4]提出了一種基于雙目視覺引導的機器人定位與抓取技術，實現了對目標的精確定位和抓取，系統的距離定位誤差小于0.5 mm，而且該方法適應性強，可用于抓取各種工件。林義忠等[5]回顧了當前視覺機器人抓取系統關鍵技術的研究現狀，分析總結了相關的圖像識別技術，并探討了這些技術未來的發展方向。倪鶴鵬等[6]提出了一種基于機器視覺的Delta機器人分揀方法，該方法的最快分類速度為110次/min，誤抓取率小于2‰，漏抓率為0。上述方法在實際生產中，機器人定位與抓取存在實時性差、操作不穩定、效率低等問題，應用范圍受到限制。

研究擬提出一種基于雙目視覺的Delta機器人柔性抓取方法。采用張正友標定方法對相機進行標定，通過弦中點Hough變換對目標物進行識別和定位，根據PID跟蹤抓取控制Delta機器人抓取動態目標，并通過試驗驗證方法的可行性，以期為機器人智能化的發展提供一定的參考。

1 系統概述

機械手要抓住傳送帶上的物體，必須有性能良好的視覺控制系統[7]。整個系統不僅需要快速識別目標并獲取目標位置和形狀信息，還需要控制機械手快速抓取目標并將其放置在指定位置[8]。圖1為Delta機器人的系統結構。主要由視覺系統和運動控制系統組成，運動控制為核心部分，主要完成機器人本體的運動規劃和抓取。視覺系統完成信息的采集、分析和交互等功能。

圖1 系統結構

2 定位與抓取技術

系統總體流程如圖2所示，該系統的主要部分有：圖像采集、雙目相機內外參數標定、圖像識別與定位、控制抓取[9]。文章主要研究圖像識別與定位和抓取策略。

圖2 系統流程圖

2.1 相機標定

使用張正友標定方法對相機進行標定，棋盤格標定板可以自行打印[10]。獲取外參數R、t和內參數kx、ky、u0、v0。

在實現一臺相機標定的基礎上，對左右相機進行標定，即求解兩臺相機的內外矩陣參數。兩臺相機的關系矩陣如式(1)和式(2)所示[11]。

(1)

(2)

式中：

R——左、右相機之間的旋轉矩陣；

R1——左相機的旋轉矩陣；

R2——右相機的旋轉矩陣；

t——左、右相機之間的平移向量；

t1——左相機的平移向量；

t2——右相機的平移向量。

世界坐標系一點Qw在兩個相機中的坐標為Qc1和Qc2。雙目世界坐標和相機坐標之間的關系可以通過式(3) 和式(4)中所示的變換關系獲得[12]。

Qc1=t1+R1Qw，

(3)

Qc2=t2+R2Qw，

(4)

式中：

Qc1——世界坐標系一點Qw在左相機的坐標；

Qc2——世界坐標系一點Qw在右相機的坐標。

將式(3)和式(4)進行聯立可去掉Qw，得到兩個相機位置的矩陣關系如式(5)所示[13]。

(5)

2.2 圖像識別與定位

Hough變換是幾何圖形識別的基本方法之一，原理是連接邊緣形成平滑的邊緣。當X-Y平面上的圓轉換到a-b-r空間上，圓上點對應于參數空間中的所有圓錐面，這些圓錐面必須有一個點相交，如圖3所示。

圖3 圓的Hough參數變換

獲取二值圖像上的任何特征點(由特征點和背景點組成)，將該點A0連接到其他特征點An的線段，并將這些線段的中點組成的曲線為該點的中點曲線，如圖4所示[14]。

圖4 A0點的中點曲線

對于圓上的隨機點A0，將圓上的其他點A1～An連接到該點A0，在圓中形成一組弦，有一個共同的端點A0。弦中間的平滑線形成一個新的內切圓如圖5所示。

圖5 A0點的內切圓

基于弦中點Hough變換的檢測原理：在含有圓的二值圖像中，圓上點的內切圓與圓心相交，在圓的中心，必然有較多的內接圓，而在其他位置，中點曲線通過的次數要少得多，原圓的內接圓如圖6所示。

圖6 原圓的內切圓

圓的一般方程是：(x-a)2+(y-b)2=r2，包含3個自由參數。圓心坐標和對應的半徑如式(6)和式(7)所示[15]。

(6)

(7)

式中：

(x1,y1)、(x2,y2)——特征點的坐標；

(a,b)——圓心坐標；

r——圓半徑，mm。

因目標的半徑不同，設最大和最小半徑分別為rmax和rmin，通過式(8)對圖像是否滿足目標特征進行判斷[16]。

(8)

最后，顯示圖像。|(x-a)2+(y-2)2-r2|≤ε圓環存在，完成弦中點Hough變換圓檢測。

通過視差獲取目標的三維信息[17]。圖7所示目標的識別和定位過程。目標物體圖像庫為分揀食品圖像(包括55 g彩色果凍、70 g和210 g番茄罐頭)。

圖7 識別與定位流程

2.3 抓取策略

Delta機器人抓取時的運動軌跡大致為“門”型運動軌跡，曲線如圖8所示[18]。在每次抓取中，將執行機構分為3個階段：上升P1P2、平移P2P3和下降P3P4[19]。然而，兩個角點處“門形”軌跡的加速度會阻礙軌跡的平滑過渡，導致機器人振動，這是降低運動精度的主要因素之一。

圖8 門字型軌跡曲線

為了在伺服電機速度和扭矩不超過標定值的情況下保持Delta機器人連續平穩地移動，文中選擇五次多項式變換算法應用于機器人圓弧段的軌跡規劃。

Delta機器人的目標跟蹤和抓取過程需要在確定抓取位置后不斷調整和減小Delta機器人與目標之間的距離。

動態抓取過程只需在XY方向實時跟蹤，檢測到目標后獲取目標當前位置P和傳送帶的速度。機械手開始移動，傳送帶仍在運行。在動態抓取過程中，目標從一個點P移動到另一個點P′，通過迭代算法獲得Delta機器人與目標交點的Q點坐標。該系統采用PID算法對Delta機器人在X軸和Y軸上進行調節控制。詳細的調整過程如圖9所示。

圖9 Delta機器人PID跟蹤控制

在抓取過程中，傳送帶與Delta機器人不斷匹配，需要不斷減小兩者之間的誤差[20]。當Delta機器人的位置和速度與目標匹配時完成抓取。

3 結果與分析

3.1 試驗參數

為了驗證所提出控制方法的有效性，分別進行單目標和多目標抓取試驗，并與文獻[21]中的控制方法進行比較。為了確保準確，多次測試取平均值。測試設備為聯想PC，操作系統為windows 10 64位旗艦，英特爾i5 2450m CPU，2.5 GHz主頻，8 GB內存。相機采用Basler的acA2500-14gc，鏡頭采用Basler的c125-1218-5m，光源采用白色LED條形光源，伺服電機采用松下MSME202SGM，伺服電機控制采用雷賽smc64804四軸運動控制器。試驗參數見表1。

表1 試驗參數

3.2 試驗分析

3.2.1 單一目標抓取 選擇某食品廠生產的55 g彩色果凍進行分選試驗，并與文獻[21]的方法進行比較。在測試過程中，500個果凍被隨機放置在傳輸線上。Delta機器人通過視覺系統的引導完成分揀工作。表2為不同方法的單目標分揀試驗結果。

從表2可以看出，在不同的輸送速度下，試驗方法具有最優的抓取成功率。當輸送帶速度從120 mm/s增加到200 mm/s時，兩種方法的抓取成功率降低，文獻[21]的方法抓取成功率從99.0%減少到95.0%，試驗方法從100.0%減少到98.0%。兩種控制方法的對比分析表明，試驗方法提高了精度、穩定性和分揀效率，能夠滿足單一目標分揀要求。

表2 不同方法單一目標分揀試驗結果

3.2.2 對多目標進行抓取 將某食品廠生產的70 g和210 g小包裝番茄罐頭用于分選試驗，并與文獻[21]的方法進行比較。將500 個罐子隨機放置傳輸線上，包括380罐70 g番茄罐頭和120罐210 g番茄罐頭。Delta機器人在雙目視覺系統的引導下，將進入目標分揀區的番茄罐頭按照規格分揀到相應的鋁托盤上，完成分揀操作。表3為不同方法的多目標分揀試驗結果。

表3 不同方法多目標分揀試驗結果

從表3可以看出，在不同的輸送速度下，試驗方法具有最優的抓取成功率。當輸送帶速度從120 mm/s增加到200 mm/s時，兩種方法的分揀成功率降低，文獻[21]的方法從93.0%降低到84.0%，試驗方法從97.4%降低到94.0%。這是因為試驗方法在視覺系統的引導下，能夠準確地抓住目標物體的中心，從而滿足不同規格物體的分揀要求。在輸送帶速度為120 mm/s的試驗過程中，試驗方法完成了500次抓取操作，成功抓取70 g番茄罐頭375次和210 g番茄罐頭112次，在抓取210 g罐頭的過程中有3次掉落。在傳送帶速度為200 mm/s的試驗過程中，抓取了70 g番茄罐頭362次和210 g番茄罐頭108次。在抓取210 g罐頭的過程中有5次掉落。經分析是因為執行器的吸盤較小，在慣性的作用下掉落，通過更換吸盤該問題得到了解決。

4 結論

研究提出了一種基于雙目視覺的Delta機器人柔性抓取方法。采用張正友標定方法對相機進行標定，通過弦中點Hough變換對目標進行識別和定位，根據PID跟蹤抓取控制Delta機器人實現對動態目標的抓取。結果表明，該方法能夠準確、快速、穩定地實現單一目標和多目標動態抓取，系統的動態抓取成功率在94.0%以上，滿足機器人抓取的需要。試驗對基于雙目視覺的Delta機器人柔性抓取研究尚處于起步階段，目前僅進行圓形食品的分揀試驗，后續將進一步探索增加食品的種類以及復雜目標物的定位抓取。