基于機(jī)器視覺的多機(jī)械臂菠蘿采摘機(jī)器人設(shè)計與試驗*

林桂潮，吳志銘，嚴(yán)茂森，梁仁杰，吳遙禺，嚴(yán)富威，吳天駿，鄧廣坤，姚佳炎，張有柳

（仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣州 510631）

0 引言

菠蘿是我國第三大重要水果，全國種植面積和總產(chǎn)量分別占全球總量的7.2%和8.1%。隨著我國菠蘿產(chǎn)業(yè)的發(fā)展，我國菠蘿產(chǎn)量總體上呈逐年增長態(tài)勢，產(chǎn)量從2010 年的1 070 000 t 增長至2020 年的3 000 000 t[1-2]。菠蘿采摘勞動強(qiáng)度大，并且季節(jié)性強(qiáng)。據(jù)統(tǒng)計，菠蘿采摘高峰期僅有15 天[3]。現(xiàn)階段，我國菠蘿采摘機(jī)械化程度低，主要以人工采摘為主。受農(nóng)業(yè)青壯年勞動力短缺和新冠肺炎疫情影響，人工采摘費用不斷攀升，為降低菠蘿采摘成本，促進(jìn)菠蘿產(chǎn)業(yè)的協(xié)調(diào)發(fā)展，研發(fā)菠蘿采摘機(jī)器人十分有必要[4]。

目前國內(nèi)外菠蘿采摘機(jī)械主要分為兩種：半自動式菠蘿采摘機(jī)械和全自動式菠蘿采摘機(jī)械[5-6]。前者主要依靠人工手持采摘機(jī)械進(jìn)行采摘，能在地勢較為復(fù)雜的菠蘿種植區(qū)域中推廣，簡化人工采摘流程，在一定程度上能提高采摘效率。后者使用機(jī)電一體化和人工智能技術(shù)進(jìn)行菠蘿采摘。仁曉智等[7]研制一種立式夾持菠蘿采收裝置，通過連桿式夾持機(jī)構(gòu)實現(xiàn)對菠蘿的夾持與松放，再使用錐齒輪折斷機(jī)構(gòu)分離果實和莖稈，實現(xiàn)菠蘿的扭轉(zhuǎn)采摘。實驗表明，菠蘿采摘成功率為95%，單顆果實采摘時間為14 s。張日紅等[8]設(shè)計一種搭載在拖拉機(jī)上的菠蘿自動采摘機(jī)，使用一級傳送帶機(jī)構(gòu)將動力傳遞至前端采摘機(jī)處，后使用采摘機(jī)的圓盤式切刀對果實進(jìn)行分割采摘。鄧詳豐等[9]設(shè)計了一種集采摘、傳收一體的菠蘿采摘機(jī)，在設(shè)計上利用菠蘿根莖易折斷的物理特性，設(shè)計出旋轉(zhuǎn)采摘機(jī)構(gòu)，模仿人手的夾持動作從而實現(xiàn)對果實的緊固，然后利用旋轉(zhuǎn)采摘機(jī)構(gòu)旋轉(zhuǎn)所產(chǎn)生的位移將果實摘取。姜濤等[10]發(fā)明出一種可實現(xiàn)自動采摘、搬運、收集和轉(zhuǎn)移的菠蘿自動采摘收集機(jī)，使用三軸自由度機(jī)械臂，結(jié)合基于圖像檢測與定位的智能技術(shù)，使末端執(zhí)行器定位到果實正上方并切割。試驗結(jié)果表明，該機(jī)器切割效率可達(dá)1 636 株∕h。周巧鷗等[11]對菠蘿特性及種植規(guī)律進(jìn)行研究，設(shè)計了一種扭斷加輔助切斷采摘方式的菠蘿收割機(jī)，通過導(dǎo)向機(jī)構(gòu)引導(dǎo)菠蘿進(jìn)入切割區(qū)域，使用推進(jìn)切割機(jī)構(gòu)與輔助傳送機(jī)構(gòu)完成菠蘿的切割工作。何東健等[12]設(shè)計一種基于雙目機(jī)器視覺的菠蘿自動采收機(jī)，使用雙目視覺系統(tǒng)對菠蘿果實進(jìn)行識別與定位，進(jìn)而控制采摘裝置移動到合適的位置完成采摘作業(yè)，后續(xù)使用傳送帶將菠蘿果實輸送至收集裝置，完成菠蘿的收集作業(yè)。

針對菠蘿智能機(jī)械化采摘需求，結(jié)合上述提到的研究及目前國內(nèi)外菠蘿采摘機(jī)器的現(xiàn)狀，本文提出一種基于機(jī)器視覺的多機(jī)械臂菠蘿采摘機(jī)器人。首先，研究由多個兩自由度機(jī)械臂組成的機(jī)器人本體，克服采摘機(jī)器人作業(yè)效率低和成本高的問題；其次，設(shè)計一種由V形懸臂、切刀及擋板組成的推剪式末端執(zhí)行器，實現(xiàn)菠蘿果實與莖稈的分離；第三，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)YOLOv5 檢測菠蘿果實，使用基于隨機(jī)抽樣一致性的球體擬合算法以估計菠蘿果實位置；最后，在實驗室環(huán)境下對采摘機(jī)器人性能進(jìn)行驗證。

1 總體思路

目前，我國菠蘿普遍采用雙行種植方式，即兩溝之間種植雙行單株排列的菠蘿。基于此，提出使用輪式移動平臺橫跨兩行菠蘿植株的作業(yè)方式。為提高采摘效率，提出多機(jī)械臂協(xié)同作業(yè)，設(shè)計一種多機(jī)械臂菠蘿采摘機(jī)器人，如圖1所示。該機(jī)器人由多個兩自由度機(jī)械臂、多個末端執(zhí)行器、一套視覺檢測與定位系統(tǒng)組成，其工作原理：將輪式移動平臺推到菠蘿壟體上，使用視覺系統(tǒng)檢測和定位菠蘿果實，并將果實位置信息傳輸給機(jī)械臂；接著，機(jī)械臂通過橫向和縱向移動，結(jié)合小車的前進(jìn)運動，使末端執(zhí)行器接近果實進(jìn)行切割；切割完成后，末端執(zhí)行器水平移動至收集通道附近，實現(xiàn)對菠蘿果實的收集。

圖1 多機(jī)械臂菠蘿采摘機(jī)器人結(jié)構(gòu)

圖2 兩自由度機(jī)械臂結(jié)構(gòu)

2 機(jī)械結(jié)構(gòu)設(shè)計

2.1 兩自由度機(jī)械臂

為高效地采摘菠蘿，本文設(shè)計一種由兩個兩自由度機(jī)械臂構(gòu)成的機(jī)器人。每個機(jī)械臂均由同步帶平移機(jī)構(gòu)和滾珠絲桿平移機(jī)構(gòu)組成，如圖2 所示。同步帶平移機(jī)構(gòu)由步進(jìn)電機(jī)、同步帶、執(zhí)行導(dǎo)軌、承重板、壓板等組成，主要用于橫向移動末端執(zhí)行器位置，其中承重板主要用于連接同步帶及滾珠絲桿平移機(jī)構(gòu)，承受滾珠絲桿平移機(jī)構(gòu)和末端執(zhí)行器的質(zhì)量。滾珠絲桿平移機(jī)構(gòu)由滾珠絲桿、滑塊、步進(jìn)電機(jī)、聯(lián)軸器、線性導(dǎo)軌等組成，主要用于縱向升降移動末端執(zhí)行器，解決因田間菠蘿果實高度位置不一而導(dǎo)致末端執(zhí)行器無法準(zhǔn)確接近菠蘿桿莖的問題。

2.2 末端執(zhí)行器

末端執(zhí)行器是采摘機(jī)器人的關(guān)鍵部位。目前菠蘿采摘機(jī)器人的末端執(zhí)行器主要通過先抓取后切割的方式進(jìn)行分離。這類末端執(zhí)行器在檢測定位精度低、菠蘿果實抓取失誤或菠蘿切割位置無法調(diào)整等情況下，會影響采摘效果。本文設(shè)計一種結(jié)構(gòu)簡單、合理且成本較低的末端執(zhí)行器，解決上述問題。

如圖3 所示，該末端執(zhí)行器主要由V 形懸臂、切刀及擋板組成。該末端執(zhí)行器工作原理：通過機(jī)械臂調(diào)整V 形懸臂位置，使其開口正對行進(jìn)方向上的菠蘿果實；在車體行進(jìn)過程中，切割刀片與果實根莖處進(jìn)行接觸并切割，在側(cè)擋板與正擋板的斜面推力作用下，實現(xiàn)菠蘿果實與桿莖的分離；隨后經(jīng)兩自由度機(jī)械臂的移動，使末端執(zhí)行器靠近果實收集通道，舵機(jī)旋轉(zhuǎn)一定角度釋放果實，使果實掉落至收集通道內(nèi)。

圖3 推剪式末端執(zhí)行器結(jié)構(gòu)

2.3 輪式移動平臺

本文作者在仲愷農(nóng)業(yè)工程學(xué)院白云校區(qū)種植了一塊適宜機(jī)械化作業(yè)的菠蘿試驗田，菠蘿壟體寬度為1 000 mm，溝深100 mm，如圖4 所示。據(jù)此設(shè)計寬度為1 300 mm 的輪式移動平臺，如圖5所示。該輪式引導(dǎo)平臺的前輪使用無齒無刷輪轂直流電機(jī)驅(qū)動，后輪采用萬向輪實現(xiàn)轉(zhuǎn)向；整體框架利用50 mm×50 mm 鋁型材設(shè)計而成，四周使用傾斜式鋁型材使其更加牢固。另外，后方設(shè)有儲物籃，用于搭載蓄電池、筆記本電腦等配件；平臺兩側(cè)使用小型鋁型材和帆布構(gòu)建收集裝置，以便采摘后能有效地收集果實。

3 菠蘿檢測與定位方法

3.1 總體思路

圖4 菠蘿試驗田

圖5 輪式移動平臺結(jié)構(gòu)

在復(fù)雜環(huán)境的菠蘿生長地中，未成熟的菠蘿顏色與生長環(huán)境相近，同時因為受到非線性光照及枝葉遮擋等諸多自然因素影響，使得傳統(tǒng)的圖像處理并不能精準(zhǔn)地識別出菠蘿的位置。近幾年，深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)機(jī)器人領(lǐng)域得到了廣泛應(yīng)用，如運用深度學(xué)習(xí)的方法對蘋果檢測[13]，對馬鈴薯芽的檢測方法[14]等。為此，本文利用深度學(xué)習(xí)模型YOLOv5 檢測菠蘿果實；在此基礎(chǔ)上，利用深度相機(jī)內(nèi)參數(shù)將菠蘿果實轉(zhuǎn)換為三維點云，提出基于隨機(jī)抽樣一致性的球體擬合算法，精準(zhǔn)測量菠蘿果實中心點位置。

3.2 數(shù)據(jù)采集與處理

本文使用英特爾公司生產(chǎn)的深度相機(jī)D435i 采集圖像。該相機(jī)由2個近紅外相機(jī)、1個RGB 相機(jī)和1個激光發(fā)射器組成，使用雙目立體視覺技術(shù)生成深度圖像。深度圖像分辨率為848 像素×480 像素，幀率為30 幀∕s；RGB 相機(jī)的分辨率為640 像素×480 像素，幀率為30 幀∕s。由于深度圖的分辨率與彩色圖不一樣，使用相機(jī)的內(nèi)外參數(shù)進(jìn)行配準(zhǔn)，使深度圖與RGB圖一致。

圖像采集后，將數(shù)據(jù)集劃分為訓(xùn)練集、測試集與驗證集，劃分比例為6∶3∶1。另外，使用Labelme 軟件對每張圖像中的菠蘿果實進(jìn)行標(biāo)注，獲取目標(biāo)框位置坐標(biāo)和類別信息。圖6 所示為菠蘿果實標(biāo)注效果。

圖6 菠蘿果實標(biāo)注效果

3.3 菠蘿果實檢測方法

以農(nóng)田下的菠蘿作為研究對象，采用輕量級YOLOv5模型，該模型能夠更好地獲取菠蘿果實的特征信息，并且完成端對端的檢測。YOLOv5 模型以跨階段局部網(wǎng)絡(luò)CSPnet 作為主干網(wǎng)絡(luò)，有效提取田地里菠蘿果實的特征，并且通過FPN 的方式較好地融合了不同層次間的特征，本文采用LGIOU作為邊界框的損失函數(shù)，如式（1）～（2）所示。

式中：A為真實邊框的值；B為預(yù)測邊框的值；C為A與B的最小外接矩形面積值。

在模型上，使用了2張24 GB的Titan RTX，在Ubuntu 系統(tǒng)上一共訓(xùn)練150 輪次，每次輸入網(wǎng)絡(luò)的圖片為4張，圖片大小統(tǒng)一裁剪為640 pixel×640 pixel 的大小，同時使用SGD 作為優(yōu)化器。初始學(xué)習(xí)率為0.01，采取余弦退火對學(xué)習(xí)率進(jìn)行迭代。

3.4 菠蘿果實定位方法

由于菠蘿果實呈球狀，提出基于隨機(jī)抽樣一致性的球體擬合算法，對菠蘿果實進(jìn)行近似，并使用球體中心點作為菠蘿果實的三維位置。

菠蘿檢測完成后，結(jié)合深度圖像，運用公式（3）將矩形框內(nèi)的菠蘿圖像轉(zhuǎn)為三維點云。

式中：（fx，fy）為深度圖像的焦距；（u0，v0）為深度圖像的光心位置；zc為像素點（u，v）的深度值。再對點云下采樣、濾波，然后用RANSAC 算法將點云擬合成球體，具體步驟如下[15]。

（1）在初始點云中隨機(jī)抽取4個點，將4個點的坐標(biāo)帶入下述球面方程得到球心坐標(biāo)a、b、c和半徑r。

（2）計算所有點至該球面的距離di。

若di≤dthreshold，則該點認(rèn)為是模型內(nèi)點；若di＞dthreshold，則認(rèn)為是模型外點，記錄當(dāng)前的內(nèi)點數(shù)n。

（3）重復(fù)以上步驟k次，選取內(nèi)點n數(shù)量最多的球面對應(yīng)的模型參數(shù)為最佳擬合參數(shù)。

（4）輸出最佳擬合效果的球心坐標(biāo)a、b、c和半徑r作為菠蘿擬合的結(jié)果。

通過多次試驗，權(quán)衡機(jī)器運算量與采摘效率的比重，本文將參數(shù)計算的迭代次數(shù)設(shè)置為500，圖7 所示為菠蘿果實擬合效果。

圖7 菠蘿果實擬合效果

4 采摘作業(yè)流程

作業(yè)時，手動移動機(jī)器人到菠蘿壟體上，使用視覺檢測與定位系統(tǒng)感知菠蘿果實位置和大小；隨后，機(jī)器人根據(jù)反饋位置，控制同步帶移動機(jī)構(gòu)將末端執(zhí)行器運送至果實準(zhǔn)確方位上，并且控制滾珠絲杠機(jī)構(gòu)將末端執(zhí)行器抬升或下降至果實根莖部位；接著，輪式移動平臺向前助推，切割刀片將果實根莖切斷，與此同時，末端執(zhí)行器判斷切割是否完成，若已完成則停止運動，兩自由度機(jī)械臂分別向兩側(cè)移動至指定位置，壓力傳感器傳送指令至舵機(jī)，舵機(jī)旋轉(zhuǎn)打開擋板，果實落入收集槽；至此，機(jī)器人完成采摘作業(yè)。采摘作業(yè)流程如圖8所示。

圖8 采摘作業(yè)流程

5 試驗與結(jié)果

5.1 菠蘿檢測試驗

本文采用精度、召回率和平均準(zhǔn)確率來評價YOLOv5在測試集上的性能。精度指正確檢測數(shù)量與所有檢測數(shù)量之比PP，計算公式如式（5）所示；召回率指正確檢測數(shù)量與圖像中果實數(shù)量之比為PR，計算公式如式（6）所示。

式中：NTP為正確檢測的果實數(shù)量；NFP為錯誤檢測的果實數(shù)量；NFN為未被檢測的果實數(shù)量。

在菠蘿測試集上，YOLOv5 的精度和召回率如圖9 所示。由圖可知，該精度-召回率曲線走勢良好；YOLOv5算法的精度和召回率分別 為 達(dá) 到 97.0% 和95.75%。 因 此， YOLOv5 模型能精準(zhǔn)地檢測實際環(huán)境中的菠蘿，滿足農(nóng)業(yè)采摘菠蘿的應(yīng)用需求。YOLOv5 算法在試集上的檢測效果如圖10所示。

另外，YOLOv5 的平均推理時間為0.006 s，能夠滿足實時檢測的應(yīng)用需求。

5.2 菠蘿定位試驗

本文使用球體對菠蘿果實進(jìn)行擬合，以球體中心點作為果實三維位置。由于菠蘿果實三維位置的真實值難以測量，本文僅對菠蘿果實的直徑擬合誤差進(jìn)行測量。試驗方法：首先，應(yīng)用本文算法檢測和定位20 個菠蘿果實，獲得果實直徑計算值；接著，使用游標(biāo)卡尺測量果實真實直徑，并與計算值進(jìn)行對比得到測量誤差。經(jīng)統(tǒng)計可知，菠蘿直徑誤差均值為9 mm，誤差標(biāo)準(zhǔn)差約為30 mm。考慮到菠蘿體積較大，作業(yè)時較為容易采摘，擬合誤差值對采摘效果影響較小，故擬合誤差在接受范圍內(nèi)。

圖9 YOLOv5的精度-召回率曲線

圖10 菠蘿效果

5.3 采摘作業(yè)試驗

在實驗室環(huán)境下放置菠蘿果實道具，開展相關(guān)試驗。試驗方法：應(yīng)用視覺檢測與定位系統(tǒng)感知菠蘿三維位置；輪式移動平臺向前移動，兩自由度機(jī)械臂驅(qū)動末端執(zhí)行器接近果實莖稈；測量末端執(zhí)行器相對于菠蘿果實的位置誤差，根據(jù)誤差值判斷試驗是否成功，并記錄采收時間，結(jié)果如表1所示。由表可知，在實驗室環(huán)境下，試驗成功的末端執(zhí)行器離菠蘿果實位置的平均誤差為23.9 mm，采摘成功率為90%，平均成功采摘時間為5.4 s。雖然兩自由度機(jī)械臂有位置誤差，但由于末端執(zhí)行器懸臂有引導(dǎo)作用，故位置誤差及采摘成功率在接受范圍之內(nèi)。

表1 菠蘿采摘試驗結(jié)果

6 結(jié)束語

針對菠蘿智能機(jī)械化采摘需求，本文設(shè)計一種基于機(jī)器視覺的多機(jī)械臂菠蘿采摘機(jī)器人。該機(jī)器人由龍門式移動平臺、2 個兩自由度機(jī)械臂、2 個末端執(zhí)行器、1套視覺檢測與定位軟件系統(tǒng)和控制系統(tǒng)組成。其中，兩自由度機(jī)械臂采用平移關(guān)節(jié)，操控末端執(zhí)行器移動至菠蘿莖稈位置進(jìn)行推剪；視覺檢測與定位軟件系統(tǒng)應(yīng)用YOLOv5 實時檢測菠蘿，使用基于RANSAC 的球體擬合算法確立菠蘿三維位置和大小。田間試驗表明，菠蘿檢測精度和召回率分別為97.0%和95.75%，菠蘿果實大小誤差為9 mm±30 mm；實驗室環(huán)境下的采摘試驗表明，末端執(zhí)行器到菠蘿果實的平均誤差為23.9 mm，采摘成功率為90%，平均成功采摘時間為5.4 s。該機(jī)器人基本滿足菠蘿智能機(jī)械化采摘需求。未來將研究多機(jī)械臂協(xié)同作業(yè)技術(shù)，進(jìn)一步提高菠蘿采摘效率。