并聯機器人串類水果抓取模型及抓取位姿計算

張 千，高國琴

并聯機器人串類水果抓取模型及抓取位姿計算

張 千，高國琴※

（江蘇大學電氣信息工程學院，鎮江 212013）

針對隨機放置串類水果圖像中主果梗和非主果梗間特征區別不明顯、平面輪廓法獲取的機器人抓取位姿信息較少的問題，該文構建了并聯機器人串類水果三維抓取模型，并提出一種基于主果梗骨架和三維抓取模型的4-R(2-SS)并聯機器人隨機放置串類水果抓取位姿計算方法，以獲取較高精度、包含較多信息的抓取位姿，進一步提高機器人對串類水果的抓取成功率。采用果粒和果梗區域的輪廓間距構建用于提取串類水果果梗輪廓的形態學圖像分割法，并基于多維特征向量和高斯混合模型聚類算法提取主果梗；根據主果梗三維位姿和機器人夾持機構特征構建4種基于主果梗骨架的隨機放置串類水果三維抓取模型，獲取夾持機構的空間位置、繞軸的旋轉角度以及手指開口寬度的抓取位姿信息。將提出的抓取位姿計算方法應用于課題組研制的4-R(2-SS)并聯機器人串類水果機器視覺自動分揀系統進行試驗驗證。試驗結果表明，相對于基于平面輪廓的抓取位姿獲取方法，基于該文方法的有分支主果梗和無分支主果梗串類水果的抓取成功率分別提高14和12個百分點，平均抓取成功率提高13個百分點。該文提出的抓取位姿計算方法可有效提高4-R(2-SS)并聯機器人機器視覺系統對隨機放置串類水果抓取位姿的獲取精度，有助于進一步實現串類水果的準確快速自動分揀。

機器人；機器視覺；水果；抓取模型；抓取位姿

0 引 言

利用機器人技術實現水果的自動分揀對農業生產和農產品加工的自動化、規模化、精確化發展具有重要意義[1]。在水果自動分揀過程中，高精度高效率的抓取位姿獲取是機器人實現準確、快速、無損抓取控制的前提條件[2]。目前，機器人的抓取位姿檢測方法主要有紅外傳感器法[3]、光譜分析法[4]、機器視覺法[5]等。其中機器視覺由于具有非接觸、強適用性、高性價比等優點，適合用于解決機器人自動分揀水果的抓取位姿獲取問題[6]。與蘋果、梨、菠蘿等獨立水果相比[7]，葡萄、桂圓、荔枝等串類水果由于其果串形態多樣、主果梗無形狀和位置約束，其抓取位姿的獲取仍是難點[8]。同時，基于精度高、速度快并聯機器人的串類水果自動分揀對抓取位姿獲取的準確性和快速性提出了更高的要求[9]。

在基于機器視覺和機器人的抓取位姿獲取研究中，現有方法可分為固定對象抓取、多類對象抓取以及未知對象抓取3類。固定對象抓取主要針對抓取對象的固有特征獲取其抓取位姿或位置。如對橙子、草莓等具有固定形態的獨立水果，基于輪廓分析和幾何模型計算水果質心、慣性主軸、曲率等參數，實現對象抓取位置的獲取[10-11]。針對自然懸掛生長狀態的串類水果，現有方法主要根據主果梗位于果串上方、外形近似直線、無分支等特征約束，采用邊緣檢測和直線檢測方法對主果梗進行檢測，得到準確的抓取點或采摘點[12-13]。多類對象抓取主要基于圖像匹配方法實現對象的檢測和定位。如通過改進圖像匹配方法提高目標旋轉或平移位姿的檢測精度[14]。未知對象抓取主要基于深度學習和強化學習對多種已知對象的抓取策略進行學習和訓練，實現對未知對象抓取位姿的檢測[15]。隨機放置串類水果由于主果梗無形狀和位置約束，難以計算主果梗輪廓幾何參數，且平面輪廓法獲取的機器人抓取位姿缺少軸坐標、抓取角度以及手指開口寬度等信息，使得現有固定對象抓取的位姿或位置獲取方法并不適用。同時，果串形態的多樣性給精確構建串類水果的三維匹配模型帶來了困難，基于圖像模板匹配的現有多類對象抓取方法難以獲取高精度的隨機放置串類水果抓取位姿。未知對象抓取需要在大型數據集中長時間、大規模地訓練模型，成本較高，耗時較長，仿真環境與真實環境之間的差異也易造成訓練模型的不準確。

在串類水果抓取位姿獲取中，可用于果梗輪廓提取的方法主要有閾值分割法、輪廓分割法、模糊均值聚類法、形態學法等[16-18]，其中形態學法由于其簡單高效，得到了廣泛的使用。現有的形態學方法需要根據試驗或經驗預先設定圖像卷積核大小，基于圖像卷積消除非目標區域[19]。但由于串類水果放置的隨機性，圖像中果梗、果粒、果蒂以及其他背景的輪廓間距隨機，難以找到一個最佳固定卷積核。主果梗區域提取的方法主要有區域選擇和區域分類，其中區域選擇法基于特征構建閾值，并用于篩選目標，該方法簡單有效但精度和魯棒性并不高[20-21]。區域分類法主要基于區域特征和圖像像素，其中基于圖像像素的區域分類法雖然將像素作為分類的輸入可以保留較多的圖像信息，但也伴隨著圖像信息的冗余[22]。基于特征的區域分類法具有速度快、精度高、適應性強等優勢[23]，但由于串類水果放置的隨機性，果梗區域中的主果梗和非主果梗的輪廓特征區別不明顯，難以直接計算區別特征并進一步實現主果梗骨架的準確提取和擬合。

基于此，本文針對4-R(2-SS)并聯機器人機器視覺系統，通過擬合串類水果主果梗骨架和構建三維抓取模型，提出一種并聯機器人隨機放置串類水果抓取位姿計算方法。采用果粒和果梗區域的輪廓間距構建提取串類水果果梗輪廓的形態學圖像分割法，基于多維特征向量和高斯混合模型（gaussian mixture model, GMM）聚類算法提取主果梗區域，以解決果串形態多樣、圖像中主果梗和非主果梗區域間特征區別不明顯導致的主果梗骨架難以準確提取和擬合的問題。根據主果梗三維位姿和機器人夾持機構特征構建4種基于主果梗骨架的隨機放置串類水果三維抓取模型，無需計算主果梗的輪廓參數，解決平面輪廓法獲取的機器人抓取位姿缺少軸坐標、抓取角度以及手指開口寬度等信息的問題。基于主果梗骨架和三維抓取模型解算不同抓取條件下夾持機構的空間位置、繞軸的旋轉角度以及手指開口寬度的抓取位姿信息，并基于坐標變換鏈的封閉性計算夾持機構在世界坐標系下從當前位姿轉換為抓取位姿的轉換矩陣，實現串類水果的自動抓取。

1 4-R(2-SS)并聯機器人串類水果機器視覺自動分揀系統

課題組研制的4-R(2-SS)并聯機器人串類水果機器視覺自動分揀系統如圖1所示，機器人主體包括由4個運動學結構相同的R(2-SS)支鏈構成的并聯機構和夾持機構，可實現空間三維平動和繞軸的一維轉動。根據串類水果分揀需求，采用Eye-to-Hand系統，將相機安裝在機器人外部，不隨夾持機構運動。為獲取隨機放置串類水果的三維坐標信息，采用基于TOF（time of flight）的Kinect立體相機獲取圖像，其中Kinect相機由彩色相機和紅外相機組成。抓取時，夾持機構電機驅動滑動絲杠，帶動手指相對運動，進而夾緊串類水果果梗，將水果送到接果位置后，電機反轉帶動手指張開，水果落入接果裝置，完成自動分揀。

1. 連接塊2. 滑動絲杠3. 滑塊4. 驅動電機5. 壓力傳感器6. 底部連板7. 左手指8. 右手指9. 從動桿10. 滑座11. 彈簧12. 并聯機構13. 標定板14. 夾持機構15. Kinect相機16. 水果串

1. Connecting block 2. Sliding screw 3. Slider 4. Driving motor 5. Pressure sensor 6. Bottom connecting plate 7. Left finger 8. Right finger 9. Driven rod 10. Sliding base 11. Spring 12. Parallel mechanism 13. Calibration plate 14. Clamping mechanism 15. Kinect camera 16. Fruit cluster

注：O-XYZ為機器人基礎坐標系，也是世界坐標系，原點O位于并聯機構上部的中心，XY平面平行于水平面；O-XYZ為標定板坐標系，O位于標定板中心；O-XYZ為夾持機構坐標系，原點O位于左右手指間的中心，Y軸垂直于手指內側面，X軸平行于手指內側面；Z和Z共線，XY平面和XY平面均與水平面平行；O-XYZ為抓取對象坐標系，基于抓取位姿進行建立；O-XYZ為Kinect相機中的紅外相機坐標系，也是Kinect相機的基礎坐標系；O-XYZ為Kinect相機中的彩色相機坐標系，O和O為對應相機的中心，Z和Z與對應的相機光軸重合。

Note:O-XYZis the basic coordinate system of robot and the world coordinate system. OriginOis located in the center of upper part of parallel mechanism.XYplane is parallel to the horizontal plane.O-XYZis the calibration plate coordinate system. OriginOis located in the center of calibration plate.O-XYZis the clamping mechanism coordinate system. OriginOis located in the center between left and right fingers.Yis perpendicular to the inner side of finger andXis parallel to the inner side of finger.ZandZare collinear.XYplane andXYplane are parallel to the horizontal plane.O-XYZis grasping object coordinate system and is established based on grasping pose.O-XYZis infrared camera coordinate system of Kinect camera and the basic coordinate system of Kinect camera.O-XYZis color camera coordinate system of Kinect camera.OandOare the centers of infrared camera and color camera respectively.Zand the optical axis of infrared camera are collinear.Zand the optical axis of color camera are collinear.

圖1 4-R(2-SS)并聯機器人串類水果機器視覺自動分揀系統

Fig.1 Machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot

2 4-R(2-SS)并聯機器人串類水果抓取模型與解算

并聯機器人的抓取姿態即為夾持機構抓取串類水果時在O-XYZ下的位姿。因此，相對于二維抓取位姿(,)，三維抓取位姿可以表示為O-XYZ與O-XYZ之間的轉換參數(,,,,,)。由于4-R(2-SS)并聯機器人的自由度限制，夾持機構的抓取姿態包括O在O-XYZ下的空間位置(,,)和繞軸的旋轉角度，不包括繞軸和軸的旋轉角度和。同時，為提高抓取成功率，減少抓取時手指運動時間，本文將手指開口寬度也作為抓取位姿信息。因此本文以夾持機構抓取位姿參數(,,,,)對基于機器視覺的4-R(2-SS)并聯機器人串類水果抓取進行建模，其中旋轉方向以逆時針旋轉為正。

根據主果梗類型，將串類水果分為有分支主果梗和無分支主果梗2類。有分支主果梗骨架可以簡化為人字形線段、和，無分支主果梗骨架可以簡化為直線段。對于有分支主果梗，抓取時可分別基于2種主果梗元素：一種為線段，一種為2個相交線段和。對于無分支主果梗，抓取時僅采用。同時，由于主果梗長度不等，為使抓取時主果梗盡可能靠近夾持機構的手指中心O，不同的主果梗元素對應不同的三維抓取模型。本文根據主果梗元素特征，將三維抓取模型分為4類：A-AB三維抓取模型，B-AB三維抓取模型，B-CBD三維抓取模型和E-CBD三維抓取模型。

2.1 A-AB三維抓取模型

注：h、l和g分別為手指的高、長和寬，mm；A點為主果梗上遠離水果串的端點；無分支主果梗上的B點為r5與r2的交點；r2為線段AB所在的直線；r5為果串輪廓最外點的切線，無分支主果梗上的r5垂直于r2；F點為AB與靠近水果串一側手指邊緣的交點；r2￠為直線r2在XwYw平面內的投影直線；A￠、B￠、F￠和Og￠分別為點A、B、F和Og在XwYw平面內的投影點；k為手指的內平面；zd為檢測平面與XwYw平面的距離，mm。

式中1和1為2的空間直線方程參數。抓取時，交點=(x,y,z)應滿足：點位于主果梗直線2上；點在XY平面上的投影點￠在直線2￠上，且|￠￠|=。為使抓取時2盡可能位于平面的中部，保持抓取穩定性，夾持機構中心點g需位于的垂直分量上。同時，為使夾持機構抓取時不接觸檢測平面，避免夾持機構底部與檢測平面的摩擦，抓取時夾持機構底部與檢測平面最小距離為dmin，則抓取位姿參數由式（3）計算：

式中￠=(z+z)/2。抓取時，由于主果梗為單線段模型，抓取位姿參數由式（4）計算：

=dmax+dmin（4）

式中dmin為抓取時夾持機構內邊緣與抓取對象間的最小要求距離，mm；dmax為主果梗最大直徑，mm。由式（1）～（4）即可解算A-AB三維抓取模型的夾持機構抓取位姿參數(,,,,)。

2.2 B-AB三維抓取模型

2.3　B-CBD三維抓取模型

注：有分支主果梗上的B點為第一個果梗分支的交點；C點和D點分別為r5與主果梗分支直線的交點；E點為r5與r1的交點；有分支主果梗上的r5垂直于r1；r1為平面m內DDBC的角平分線；m為線段和所在的平面；r1￠為直線r1在XwYw平面內的投影直線；點G和H分別為CB和DB與平面n的交點；n為靠近水果串的手指平面；G￠和H￠分別為點G和H在XwYw平面內的投影點；dG和dH分別為G￠和H￠到直線r1￠的距離，mm；r3和r4分別為CB和DB所在的直線。

抓取時端點處于夾持機構邊緣，主果梗直線1位于平面上，因此，O在XY平面上的投影點O￠位于投影直線1￠上，且|O￠￠|=/2，抓取位姿參數(,)由式（7）計算。

=d+d+dmin（8）

由式（3）和式（6）～（8）即可求得B-CBD三維抓取模型的夾持機構抓取位姿參數(,,,,)。

2.4 E-CBD三維抓取模型

抓取時端點處于夾持機構邊緣，主果梗直線1位于平面，O￠位于投影直線1￠上，且|O￠￠|=/2，抓取位姿參數（,）可由式（10）計算。

3 基于主果梗骨架和三維抓取模型的隨機放置串類水果抓取位姿計算

本文基于主果梗骨架和三維抓取模型的隨機放置串類水果抓取位姿計算流程如圖4所示。在彩色圖像的色調通道（hue,）中采用形態學提取果梗輪廓，基于多特征和GMM提取隨機放置串類水果的主果梗骨架，根據4-R(2-SS)并聯機器人串類水果抓取模型計算抓取位姿。

注：x為隨機變量；Aj為區域集合；p為概率密度；W為參數集合；fi為權重系數；n為參數數量；s為標準差；m為均值；A1為主果梗區域集；A2為非主果梗區域集。

3.1 圖像采集與配準

為獲取隨機放置串類水果的主果梗三維坐標，采用由彩色相機和紅外相機組成的Kinect立體相機獲取圖像。為實現獲取的彩色圖像和深度圖像的配準，采用張正友相機標定法對深度相機和彩色相機進行標定。紅外相機標定時將Kinect上的紅外投射器遮擋住，采用額外的紅外光源照射標定板獲取圖像。標定之后，基于標定參數和圖像匹配點計算圖像轉換關系，并基于轉換關系對彩色圖像進行映射，得到與深度圖像匹配的配準彩色圖像。由于串類水果與背景間、串類水果中的果粒、果梗、果蒂間具有一定的顏色差異，因此為增加圖像前景與背景的對比度，對配準后的彩色圖像進行HSV（hue, saturation, value）通道分解，并基于式（12）提取圖像色彩信息具有明顯區分度的H（hue）通道用于果梗提取[24]。根據隨機放置串類水果果梗區域的紋理特征，采用式（13）和（14）[25]對提取的H通道圖像進行預處理，并采用中值濾波降低噪聲影響。

3.2 基于形態學和高斯混合模型的隨機放置串類水果主果梗骨架提取與擬合

3.2.1 基于形態學的果梗輪廓提取

基于局部閾值對預處理后的H通道圖像進行分割，并根據區域的面積、形狀特征進行區域篩選，得到串類水果中包含果粒、果梗、果蒂等部分的區域。通過統計水果果粒和果梗區域的輪廓間距閾值，構建大小為的圓形卷積核對串類水果區域進行形態學閉運算和開運算。形態學閉運算時，閉合輪廓距離較小的果梗區域，保持其他果粒區域的較大空隙。之后再進行形態學開運算時，將具有較大空隙、較小連接的區域斷開，保留連接在一起的較大區域，再通過基于面積和形狀特征的區域篩選，即可保留果梗區域。基于掩膜操作剔除果梗以外的圖像，并對提取的果梗圖像進行局部閾值分割，得到包含主果梗、次果梗以及果蒂的果梗區域輪廓。

3.2.2 基于高斯混合模型的主果梗骨架提取與擬合

由于串類水果放置的隨機性，使得獲取的果梗區域中的主果梗和非主果梗的輪廓特征區別不明顯，難以直接計算區別特征并進一步實現主果梗骨架的準確提取和擬合。因此本文采用可以自主學習對象特征的高斯混合模型聚類算法對果梗區域樣本數據進行學習并分類，實現基于GMM的主果梗區域提取。

GMM中隨機變量的概率密度為

對于提取的主果梗區域，根據待檢測像素為中心3×3像素鄰域內的特征，從區域外圍向區域中心不斷腐蝕細化，直至腐蝕到單層像素寬度得到圖像骨架。基于彩色圖像中主果梗骨架的圖像坐標位置，在深度圖像中搜索對應位置的深度信息，計算對應主果梗的三維位置坐標，并將不同種類的主果梗對應的不同主果梗元素分別進行直線擬合，得到三維直線段方程。由圖5得到的主果梗骨架三維擬合直線段可知，具有主分支的有分支主果梗擬合后的3條線段組成人字形結構，無主分支的有分支主果梗擬合后的2條線段組成八字形結構，無分支主果梗擬合線段為直線形結構。

3.3 4-R(2-SS)并聯機器人機器視覺抓取位姿計算模型選擇原則

為防止抓取時夾持機構與果串碰觸導致水果果粒脫落和損壞，本文以抓取時夾持機構盡可能遠離水果串、主果梗盡可能多地被手指夾持以保證抓取穩定為原則，基于主果梗骨架的擬合線段對三維抓取模型進行選擇。

對于有分支主果梗，其抓取模型的選擇原則為

對于無分支主果梗，其抓取模型的選擇原則為

圖5 主果梗骨架的直線擬合結果

4 夾持機構抓取位姿的轉換

5 驗證試驗

5.1 試驗平臺

1.顯示屏 2.控制柜 3.檢測柜 4.并聯機器人 5.光源 6.串類水果

5.2 試驗方法

為驗證本文并聯機器人隨機放置串類水果抓取位姿計算方法的有效性，分別對有分支主果梗和無分支主果梗的白羅莎葡萄串進行抓取位姿試驗。為驗證本文方法相對于基于平面輪廓的抓取位姿獲取方法[27]對隨機放置串類水果抓取性能的優越性，分別采用2種方法進行抓取試驗。

5.2.1 抓取位姿試驗

分別對有分支主果梗和無分支主果梗2類串類水果的6種抓取方式進行6組試驗。即無分支主果梗的-模型、無分支主果梗的-模型、有分支主果梗的-模型、有分支主果梗的-模型、有分支主果梗的-模型和有分支主果梗的-模型6組試驗。每組試驗分別采集對應主果梗類別的白羅莎葡萄串隨機放置狀態下的20幅彩色圖像和深度圖像，并基于本文抓取位姿計算方法求取對應葡萄串的抓取位姿。將計算的抓取位姿與實際抓取位姿進行對比分析。

5.2.2 抓取試驗

分別對有分支主果梗和無分支主果梗的葡萄串進行抓取試驗。并分別采用本文抓取位姿計算方法和基于平面輪廓的抓取位姿獲取方法求取對應葡萄串的抓取位姿，并基于抓取位姿抓取水果串，統計抓取成功率。

5.2.3 試驗指標

實際抓取位姿的測量以夾持機構盡可能遠離水果串、保證抓取穩定、優先抓取直線主果梗為準則，人工采用激光測距儀INR-Laser Scanner H和電子羅盤Honeywell-HMR3100測量夾持機構的抓取位姿。抓取成功率基于機器人的抓取過程計算，將機器人成功抓取并穩定運送水果到指定位置視為抓取成功，未抓取到水果、運送過程水果掉落、未抓取水果主果梗等均視為抓取失敗。

5.3 試驗結果與分析

抓取位姿試驗結果如表1所示，計算的抓取位姿與實際測量的抓取位姿誤差如圖7所示。

表1 抓取位姿試驗結果

注：(,,)為O在O-XYZ下的坐標，mm；為夾持機構繞Z軸的旋轉角度，(°)；為夾持機構手指開口寬度，mm。

Note: (,,) is coordinate ofOinO-XYZ, the unit is mm.is rotation angle of clamping mechanism aboutZ-axis, the unit is (°).is finger opening width of clamping mechanism, the unit is mm.

圖7 抓取位姿誤差曲線

由表1和圖7可知，無分支主果梗的A-AB抓取模型的抓取位姿平均誤差分別為（0.172 mm，0.151 mm，0.579 mm，2.075°，0.539 mm）；無分支主果梗的B-AB抓取模型的抓取位姿平均誤差分別為（0.463 mm，0.404 mm，0.938 mm，2.429°，0.507 mm）；有分支主果梗的A-AB抓取模型的抓取位姿平均誤差分別為（1.014 mm，0.885 mm，1.415 mm，2.932°，0.538 mm）；有分支主果梗的B-AB抓取模型的抓取位姿平均誤差分別為（1.347 mm，1.178 mm，1.781 mm, 3.267°，0.499 mm）；有分支主果梗的E-CBD抓取模型的抓取位姿平均誤差分別為（2.339 mm，2.020 mm，2.757 mm，4.252°，1.186 mm）；有分支主果梗的B-CBD抓取模型的抓取位姿平均誤差分別為（3.064 mm，2.665 mm，3.554 mm，5.033°，1.729 mm）。6組試驗的抓取位姿平均誤差分別為（1.400 mm，1.217 mm，1.837 mm，3.331°，0.833 mm）。

表2 白羅莎葡萄串抓取試驗結果對比

6 結 論

針對隨機放置串類水果圖像中主果梗和非主果梗間特征區別不明顯、平面輪廓法獲取的機器人抓取位姿信息較少的問題，該文構建并聯機器人串類水果三維抓取模型，并提出一種基于主果梗骨架和三維抓取模型的4-R(2-SS)并聯機器人隨機放置串類水果抓取位姿計算方法，以進一步提高機器人基于機器視覺對串類水果的抓取成功率，主要結論如下：

1）根據主果梗有無分支、主果梗中心線與夾持機構手指長度關系，將主果梗分為無分支長主果梗、無分支短主果梗、有分支長主果梗、有分支短主果梗4種類型，構建了4種基于主果梗骨架的隨機放置串類水果三維抓取模型，以主果梗骨架的形式簡化了模型，無需計算無形狀和位置約束主果梗的輪廓參數，解決了平面輪廓法獲取的機器人抓取位姿缺少軸坐標、抓取角度以及手指開口寬度等信息的問題。

2）提出在色調圖像中基于形態學和GMM的隨機放置串類水果主果梗骨架提取與擬合方法，解決了果串形態多樣、圖像中主果梗和非主果梗區域間特征區別不明顯導致的主果梗骨架難以準確提取和擬合的問題。

3）將擬合的主果梗骨架和構建的三維抓取模型用于解算不同抓取條件下夾持機構的空間位置、繞Z軸的旋轉角度以及手指開口寬度的抓取位姿信息，實現了串類水果的穩定抓取。

4）將提出的抓取位姿計算方法成功應用于課題組研制的4-R(2-SS)并聯機器人串類水果機器視覺自動分揀系統。試驗結果表明，相對于基于平面輪廓的抓取位姿獲取方法，基于本文方法的平均抓取成功率提高了13個百分點。提出的抓取位姿計算方法可有效提高4-R(2-SS)并聯機器人機器視覺系統對隨機放置串類水果抓取位姿的獲取精度，有助于進一步實現串類水果的準確快速自動分揀。

[1]黃辰，費繼友. 基于圖像特征融合的蘋果在線分級方法[J].農業工程學報，2017，33(1)：285－291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285－291. (in Chinese with English abstract)

[2]周俊，朱樹平. 農業機器人果蔬抓取中滑覺檢測研究[J].農業機械學報，2013，44(2)：171－176.

Zhou Jun, Zhu Shuping. Slippage detection in gripping fruits and vegetables for agricultural robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(2): 171－176. (in Chinese with English abstract)

[3]袁挺，李偉，譚豫之，等. 溫室環境下黃瓜采摘機器人信息獲取[J]. 農業機械學報，2009，40(10)：151－155.

Yuan Ting, Li Wei, Tan Yuzhi, et al. Information acquisition for cucumber harvesting robot in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(10): 151－155. (in Chinese with English abstract)

[4]袁挺，紀超，張震華，等. 基于近紅外圖像的溫室小型西瓜采摘信息獲取技術[J]. 農業機械學報，2012，43(7)：174－178，155.

Yuan Ting, Ji Chao, Zhang Zhenhua, et al. Information acquisition technique of mini-watermelon for harvesting based on near-infrared image in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(7): 174－178, 155. (in Chinese with English abstract)

[5]熊俊濤，鄒湘軍，陳麗娟，等. 采摘機械手對擾動荔枝的視覺定位[J]. 農業工程學報，2012，28(14)：36－41.

Xiong Juntao, Zou Xiangjun, Chen Lijuan, et al. Visual position of picking manipulator for disturbed litchi[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(14): 36－41. (in Chinese with English abstract)

[6]Seema, Kumar A, Gill GS. Automatic fruit grading and classification system using computer vision: A review[C]// International Conference on Advances in Computing and Communication Engineering. IEEE, 2015: 598－603.

[7]Lin G C, Tang Y C, Zou X J, et al. Fruit detection in natural environment using partial shape matching and probabilistic Hough transform[J/OL]. Precision Agriculture, 2019-04-24 [2019-12-08]. https://doi.org/10.1007/s11119-019-09662-w.

[8]Sofu M M, Er O, Kayacan M C, et al. Design of an automatic apple sorting system using machine vision[J]. Computers and Electronics in Agriculture, 2016, 127(C): 395－405.

[9]倪鶴鵬，劉亞男，張承瑞，等. 基于機器視覺的Delta機器人分揀系統算法[J]. 機器人，2016，38(1)：49－55.

Ni Hepeng, Liu Yanan, Zhang Chengrui, et al. Sorting system algorithms based on machine vision for Delta robot[J]. Robot, 2016, 38(1): 49－55. (in Chinese with English abstract)

[10]周俊，劉銳，張高陽. 基于立體視覺的水果采摘機器人系統設計[J]. 農業機械學報，2010，41(6)：158－162.

Zhou Jun, Liu Rui, Zhang Gaoyang. Design of fruit harvesting robot based on stereo vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(6): 158－162. (in Chinese with English abstract)

[11]Cubero S, Maria P D, Jose B, et al. A new method for pedicel/peduncle detection and size assessment of grapevine berries and other fruits by image analysis[J]. Biosystems Engineering, 2014, 117(1): 62－72.

[12]羅陸鋒，鄒湘軍，熊俊濤，等. 自然環境下葡萄采摘機器人采摘點的自動定位[J]. 農業工程學報，2015，31(2)：14－21.

Luo Lufeng, Zou Xiangjun, Xiong Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 14－21. (in Chinese with English abstract)

[13]Luo L, Tang Y, Zou X, et al. Vision-based extraction of spatial information in grape clusters for harvesting robots[J]. Biosystems Engineering, 2016, 151: 90－104.

[14]Zhang W, Mei J, Ding Y, et al. Angle recognition algorithm based on discrete series data of object-boundary in polar coordinate[J]. Optik-International Journal for Light and Electron Optics, 2013, 124(12): 1273－1277.

[15]閆哲，杜學丹，曹淼，等. 基于深度學習的機器人抓取位置檢測方法[J]. 高技術通訊，2018，28(1)：58－66.

Yan Zhe, Du Xuedan, Cao Miao, et al. A method for robotic grasping position detection based on deep learning[J]. Chinese High Technology Letters, 2018, 28(1): 58－66. (in Chinese with English abstract)

[16]Cubero S, Diago M P, Blasco J, et al. A new method for assessment of bunch compactness using automated image analysis[J]. Australian Journal of Grape and Wine Research, 2015, 21(1): 101－109.

[17]Yuan L M, Cai J R, Sun L, et al. A preliminary discrimination of cluster disqualified shape for table grape by mono-camera multi-perspective simultaneously imaging approach[J]. Food Analytical Methods, 2016, 9(3): 758－767.

[18]Hirvonen J, Kallio P. Automatic image-based detection and inspection of paper fibres for grasping[J]. Computer Vision Iet, 2015, 9(4): 588－594.

[19]Aquino-Martín A, Millan B, Diago M P, et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis[J]. Biosystems Engineering, 2017, 156: 80－95.

[20]Reis M J C S, Morais R, Pereira C, et al. A low-cost system to detect bunches of grapes in natural environment from color images[C]// Advances Concepts for Intelligent Vision Systems, International Conference. Ghent, Belgium, 2011: 92－102.

[21]Reis M J C S, Morais R, Peres E, et al. Automatic detection of bunches of grapes in natural environment from color images[J]. Journal of Applied Logic, 2012, 10(4): 285－290.

[22]Yu X, Liu K, Wu D, et al. Raisin quality classification using least squares support vector machine (lssvm) based on combined color and texture features[J]. Food and Bioprocess Technology, 2012, 5(5): 1552－1563.

[23]Tang S, Zhao D, Jia W, et al. Feature extraction and recognition based on machine vision application in lotus picking robot[C]// International Conference on Computer and Computing Technologies in Agriculture. Springer, Cham, 2015: 485－501.

[24]張凱兵，章愛群，李春生. 基于HSV空間顏色直方圖的油菜葉片缺素診斷[J]. 農業工程學報，2016，32(19)：179－187.

Zhang Kaibing, Zhang Aiqun, Li Chunsheng. Nutrient deficiency diagnosis method for rape leaves using color histogram on HSV space[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 179－187. (in Chinese with English abstract)

[25]Wang W, Liu Y, Shen Y, et al.Visualization enhancement of arthrosis tissues structure in ultrasound image based on improved diffusion[C]// International Conference on Biomedical Engineering & Informatics. IEEE, 2008: 290－294.

[26]Qin Y C, Priebe C E. Maximum Lq-likelihood estimation via the expectation-maximization algorithm: a robust estimation of mixture models[J]. Journal of the American Statistical Association, 2013, 108(503): 914－928.

[27]仲訓杲，徐敏，仲訓昱，等. 基于多模特征深度學習的機器人抓取判別方法[J]. 自動化學報，2016，42(7)：1022－1029.

Zhong Xungao, Xu Min, Zhong Xunyu, et al. Multimodal features deep learning for robotic potential grasp recognition[J]. Acta Automatica Sinica, 2016, 42(7): 1022－1029. (in Chinese with English abstract)

Grasping model and pose calculation of parallel robot for fruit cluster

Zhang Qian, Gao Guoqin※

(,,212013,)

Grasping pose calculation with high accuracy and efficiency is precondition to realize the accurate, fast and nondestructive automatic sorting based on machine vision for a robot. Due to the unconstraint shape and location of stalk, the variability of cluster morphology, and unobvious difference between the stalk region and non-stalk region in the image of randomly placed fruit cluster, it is difficult to acquire the grasping pose parameters of robot for fruit cluster sorting based on machine vision accurately. Therefore, in this paper, a grasping pose calculation method of parallel robot for fruit cluster based on 3D grasping model is proposed by fitting stalk skeleton of fruit cluster and constructing 3D grasping model for the machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot. Firstly, according to the stalk node, the relationship between the finger length of robot clamping mechanism and centerline of stalk, the stalk of fruit cluster is divided into four categories: the long stalk without node, the short stalk without node, the long stalk with node and the short stalk with node. Four 3D grasping models of randomly placed fruit cluster based on the stalk skeleton are constructed according to the 3D pose of stalk and the features of robot clamping mechanism. The models does not need to calculate the contour parameters of stalk without constraint shape and location, and solve the problem that it is difficult to grasp randomly placed fruit cluster stably and effectively adopting the 2D grasping pose based on plane contour parameters. Secondly, a morphological image segmentation method for extracting stem region of fruit cluster is designed based on the distance between the contours of stem region and berry region. Then a multi-dimensional feature vector is constructed based on the descriptors of region. The Gaussian mixture model that can learn the object features independently is adopted to extract the stalk region from the stem region. It can solve the problem that it is difficult to extract and fit the stalk skeleton accurately because of the variability of cluster morphology, unobvious difference between the stalk region and non-stalk region in the image of randomly placed fruit cluster. Thirdly, the grasping pose parameters including spatial position, rotation angle about-axis and finger opening width of clamping mechanism under different grasping conditions are calculated based on the stalk skeleton of fruit cluster and 3D grasping model. Then the transformation matrix of clamping mechanism from the current pose to the grasping pose in world coordinate system is calculated based on the closed loop of coordinate transformation chain, which can be directly used to realize the automatic and stable grasping of fruit cluster. Finally, the proposed grasping pose calculation method is verified by experiments with the self-developed machine vision automatic sorting system for fruit cluster based on 4-R(2-SS) parallel robot. The average errors of pose parameters,,,andcalculated by the proposed grasping pose calculation method are 1.400 mm, 1.217 mm, 1.837 mm, 3.331° and 0.833 mm respectively. Compared with the existing 2D grasping pose calculation method, the success rates of grasping for the fruit cluster with stalk node and the fruit cluster without stalk node, and the average success rate of grasping based on the proposed method increased by 14, 12 and 13 percentage points respectively. Experimental results demonstrate that the proposed grasping pose calculation method of parallel robot for fruit cluster based on 3D grasping model can effectively improve the grasping accuracy of 4-R(2-SS) parallel robot for randomly placed fruit cluster based on machine vision, and realize accurate and fast automatic sorting of fruit clusters.

robots; machine vision; fruit; grasping model; grasping pose

張 千，高國琴. 并聯機器人串類水果三維抓取模型及抓取位姿計算[J]. 農業工程學報，2019，35(23)：37－47.doi：10.11975/j.issn.1002-6819.2019.23.005 http://www.tcsae.org

Zhang Qian, Gao Guoqin. Grasping model and pose calculation of parallel robot for fruit cluster[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 37－47. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.005 http://www.tcsae.org

2019-07-04

2019-11-20

國家自然科學基金項目（51375210）；鎮江市重點研發計劃（GZ2018004）；江蘇高校優勢學科建設工程資助項目；江蘇省研究生科研與實踐創新計劃項目（KYCX17_1780）

張 千，博士生，主要從事基于機器視覺的并聯機器人抓取檢測研究。Email：stella_zq@foxmail.com

高國琴，教授，博士生導師，主要從事并/混聯機器人控制及機器視覺檢測等研究。Email：gqgao@ujs.edu.cn

10.11975/j.issn.1002-6819.2019.23.005

TP242; TP751

A

1002-6819(2019)-23-0037-11