基于視覺技術(shù)貢柑采摘機(jī)器人設(shè)計(jì)

1. 項(xiàng)目研究背景

廣西壯族自治區(qū)賀州市鐘山縣貢柑產(chǎn)業(yè)發(fā)展迅猛，種植面積達(dá)到10萬畝，年產(chǎn)量高達(dá)10萬噸，是全國(guó)貢柑生產(chǎn)的大縣。在整個(gè)貢柑種植過程中，成熟貢柑的采摘耗時(shí)最長(zhǎng)，勞動(dòng)力需求最大;而隨著外出務(wù)工人員的增多，農(nóng)村勞動(dòng)力減少，導(dǎo)致請(qǐng)勞力成本上漲，果農(nóng)的生產(chǎn)成本增加，高用工成本嚴(yán)重制約著貢柑產(chǎn)業(yè)的發(fā)展。貢柑產(chǎn)業(yè)向更深層次發(fā)展，亟需控制生產(chǎn)成本、減少人工采摘; 而在農(nóng)業(yè)生產(chǎn)上廣泛應(yīng)用智能采摘機(jī)器人，對(duì)于節(jié)省成本、提高生產(chǎn)率具有重要意義。本文結(jié)合貢柑生產(chǎn)種植環(huán)境和實(shí)際采摘過程，基于越疆機(jī)械臂平臺(tái)結(jié)合視覺技術(shù)設(shè)計(jì)機(jī)器人對(duì)貢柑采摘過程的試驗(yàn)研究，實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)貢柑的智能采摘。

2.? 結(jié)構(gòu)設(shè)計(jì)

2.1 工作原理：

該采摘機(jī)器人由機(jī)械結(jié)構(gòu)部分和電氣智能控制系統(tǒng)兩部分構(gòu)成。機(jī)械結(jié)構(gòu)包括可移動(dòng)載體、越疆機(jī)械臂、采摘器和自動(dòng)控制裝置; 電氣智能控制系統(tǒng)主要包括工控計(jì)算機(jī)、伺服電機(jī)驅(qū)動(dòng)、單 PIXY 攝像機(jī)、傳感器控制模塊、數(shù)據(jù)采集卡、GPIB 卡、驅(qū)動(dòng)模板、鋰電池和控制系統(tǒng)，如圖 2 所示。

2.2 設(shè)計(jì)制作

2.2.1 機(jī)械結(jié)構(gòu)部分：該部分是智能采摘機(jī)器人的硬件平臺(tái)，為機(jī)器人進(jìn)行成熟果實(shí)識(shí)別與采摘奠定了堅(jiān)實(shí)的基礎(chǔ)，其各個(gè)部件的作用各不相同，結(jié)合起來實(shí)現(xiàn)采摘機(jī)器人的自動(dòng)控制。

機(jī)械手臂裝置采用多關(guān)節(jié)越疆機(jī)械臂，有4個(gè)主自由度，可以做左右轉(zhuǎn)動(dòng)和上下移動(dòng)的動(dòng)作; 再加上采摘器的X、Y 軸轉(zhuǎn)動(dòng)，可以使夾持采摘器到達(dá)臂長(zhǎng)范圍的任何三維坐標(biāo)點(diǎn)。該機(jī)器人的機(jī)械手臂裝置韌性強(qiáng)、承受負(fù)載大、自身輕薄、靈活性高、到達(dá)指定位置誤差小，在整個(gè)采摘作業(yè)過程中，運(yùn)行速度適中，慣性較小，平穩(wěn)度高。

2.2.2 貢柑采摘器：這部分是采摘過程中作用最大的部件，是采摘機(jī)器人的“手”，貢柑的抓取收獲依靠其完成，可以根據(jù)命令直接執(zhí)行采摘任務(wù)。該設(shè)計(jì)中采用“夾持器+弧形雙剪”結(jié)構(gòu)，夾持器最大工作角度為 180°，采摘過程中夾緊力未 270N（“未270N”是指末端夾緊力為270牛頓），質(zhì)量為 0.15kg，閉合時(shí)間為 0.2s; “雙剪”與夾持器同步運(yùn)行，一次性完成貢柑果采摘關(guān)鍵技術(shù)點(diǎn)“一果二剪”，裝置輕便，采摘角度大，耗時(shí)短，力度適中，不會(huì)給果實(shí)帶來機(jī)械損傷。

2.2.3 成熟貢柑果判斷

本作品采用“PIXY”智能攝像頭作為貢柑果采摘末端信號(hào)采集器。該攝像頭配置高級(jí)語言Python腳本，數(shù)據(jù)結(jié)構(gòu)可以快速運(yùn)算并把計(jì)算結(jié)果用來控制IO引腳。“PIXY”作為末端執(zhí)行器和普通的執(zhí)行器相比，不但可以減少電機(jī)的數(shù)量，并且提高采摘機(jī)器人的工作效率。其中的柔性抓取器不僅代替了普通的末端執(zhí)行器的手爪功能，從而減去了一個(gè)被驅(qū)動(dòng)元件，還能直接把采摘的果實(shí)直接輸送到指定點(diǎn)，進(jìn)而大大提高了收獲效率。

3.? 主要技術(shù)指標(biāo)

該機(jī)器人由機(jī)械結(jié)構(gòu)部分和電氣智能控制系統(tǒng)兩部分構(gòu)成。機(jī)械結(jié)構(gòu)包括可移動(dòng)載體、機(jī)械手臂、夾持器和橫向滑動(dòng)裝置;電氣智能控制系統(tǒng)主要包括工控計(jì)算機(jī)、伺服電機(jī)驅(qū)動(dòng)、PIXY攝像頭、傳感器控制模塊、數(shù)據(jù)采集卡、鋰電池供電箱和控制系統(tǒng)，構(gòu)成了完成這一項(xiàng)目的關(guān)鍵。

3.1 末端執(zhí)行器：深圳越疆科技有限公司生產(chǎn)的DOBOT魔術(shù)師機(jī)械臂為工業(yè)型機(jī)器人，其額度負(fù)載0.5kg，采摘半徑320mm，四軸旋轉(zhuǎn)為+90°到-90°，機(jī)械臂距離地面高度可根據(jù)采摘水果類型做更換移動(dòng)平臺(tái)即可。

3.2 機(jī)器視覺系統(tǒng)

3.2.1果實(shí)的定位與識(shí)別

定位系統(tǒng)和果實(shí)識(shí)別的硬件主要由1394轉(zhuǎn)換卡、單目攝像機(jī)和主控制器組成。先由攝像機(jī)采集果樹圖像，然后通轉(zhuǎn)換卡將采集到的果樹圖像傳輸?shù)街骺刂破鳎谥骺刂破髦胁捎酶鞣N圖像處理算法對(duì)果樹圖像進(jìn)行處理，從而識(shí)別出成熟的果實(shí)，解算出果實(shí)在機(jī)械臂基坐標(biāo)系下的三維坐標(biāo)。

3.2.2 果實(shí)的圖形采集

由于攝像機(jī)的視野有限，只采集一幅圖片是不能對(duì)整棵果樹進(jìn)行覆蓋的，所以采集圖像時(shí)機(jī)械臂需要在多個(gè)不同的位姿進(jìn)行采集。通過實(shí)驗(yàn)表明，大部分果樹需要采集3幅圖片方可覆蓋。系統(tǒng)每采集1幅圖，就會(huì)對(duì)果實(shí)進(jìn)行識(shí)別和定位處理，并且對(duì)該圖片中成熟果實(shí)的位姿信息進(jìn)行保存，然后由上位機(jī)根據(jù)成熟果實(shí)的位姿信息對(duì)機(jī)械臂采摘路徑作出規(guī)劃。當(dāng)一幅圖像中的成熟果實(shí)采集完畢后，機(jī)械臂自行運(yùn)動(dòng)到下一個(gè)圖像采集位姿，并重復(fù)以上圖片的采集過程，直至3幅圖片中所有被識(shí)別的成熟果實(shí)采集完畢。

3.2.3 軟件的系統(tǒng)

整個(gè)控制系統(tǒng)軟件是在Lua? VC++6.0中開發(fā)完成的，其程序設(shè)計(jì)流程如圖：

采摘機(jī)器人控制系統(tǒng)軟件設(shè)計(jì)簡(jiǎn)述如下：（1）系統(tǒng)設(shè)備初始化。（2）主控制器首先通過1394轉(zhuǎn)接卡采集單目攝像機(jī)所拍攝的路面圖像，通過RS232采集GPS航向信息及位置坐標(biāo)。然后主控制器對(duì)導(dǎo)航圖像進(jìn)行處理，并提取視覺導(dǎo)航參數(shù)。最后主控制器再根據(jù)GPS采集位置和航向信息以及坐標(biāo)導(dǎo)航圖像信息進(jìn)行決策分析，進(jìn)而實(shí)現(xiàn)移動(dòng)平臺(tái)的自主導(dǎo)航。（3）主控制器通過1394轉(zhuǎn)接卡采集單目攝像機(jī)拍攝的果樹圖像，對(duì)成熟果實(shí)進(jìn)行識(shí)別與定位。并將攝像機(jī)坐標(biāo)系下目標(biāo)果實(shí)的三維坐標(biāo)轉(zhuǎn)換到采摘機(jī)械臂的基坐標(biāo)系下。再由主控制器根據(jù)果實(shí)位置坐標(biāo)對(duì)機(jī)械臂采摘路徑進(jìn)行規(guī)劃。（4）當(dāng)機(jī)械臂運(yùn)動(dòng)到目標(biāo)姿位后，主控制器通過RS232向末端執(zhí)行控制器發(fā)出指令，于是末端執(zhí)行器抓取果實(shí)。（5）重復(fù)以上四個(gè)步驟直到機(jī)械臂采摘范圍內(nèi)的果實(shí)采摘完畢。（6）機(jī)械臂回到導(dǎo)航的初始位姿，并重復(fù)以上自主導(dǎo)航和自主采摘過程。

上圖所示，XYZ為機(jī)械臂的基坐標(biāo)系，O為坐標(biāo)原點(diǎn)，F(xiàn)為果實(shí)中心，F(xiàn)為果實(shí)中心在XOY面內(nèi)的投影。A、B、C、D分別為采摘機(jī)械臂處于不同位姿時(shí)其末端執(zhí)行器的對(duì)稱中心點(diǎn)。因?yàn)閳D像采集位姿在采摘之前就已經(jīng)給定了，所以B點(diǎn)的坐標(biāo)是已知的，D點(diǎn)的坐標(biāo)可由雙目視覺系統(tǒng)求得，故要完成整個(gè)路徑規(guī)劃，必須求出C點(diǎn)的坐標(biāo)，設(shè)C點(diǎn)與D點(diǎn)之間的距離為L(zhǎng)，試驗(yàn)中確定L的長(zhǎng)度為0.5m，由以上已知條件可求得C點(diǎn)的坐標(biāo)。

單目攝像機(jī)完成圖像采集后，機(jī)械臂腰關(guān)節(jié)旋轉(zhuǎn)至與Y軸夾角θ處。水果采摘時(shí)，機(jī)械臂在由點(diǎn)FOF構(gòu)成的平面內(nèi)運(yùn)動(dòng)，考慮到機(jī)械運(yùn)動(dòng)的平順性，A到B及B到C之間路徑采用的是PTP圓弧插補(bǔ)方式的運(yùn)動(dòng)。C到D之間軌跡采用的是PTP直線插補(bǔ)方式的運(yùn)動(dòng)，末端執(zhí)行器只在FOF平面上作直線平移，這樣對(duì)應(yīng)果實(shí)采摘所需空間變小，末端執(zhí)行器碰到樹枝等障礙物幾率變小，從而保證果實(shí)采摘的成果率。果實(shí)采摘成功后，先由D回到C，再有C回到果實(shí)收集箱的上方，然后末端執(zhí)行器夾持手指松開，果實(shí)下落到收集箱內(nèi)。

4.? 科學(xué)性、先進(jìn)性

對(duì)成熟貢柑果實(shí)的成功采摘，是衡量智能貢柑采摘機(jī)器人的性能優(yōu)良的重要條件。作品在樹齡為5年的貢柑果園進(jìn)行成熟果實(shí)的采摘，并對(duì)果園中遮擋嚴(yán)重的貢柑做了一些整理，在機(jī)器人自主運(yùn)行的情況下進(jìn)行了采摘試驗(yàn)。

智能貢柑采摘機(jī)器人均可自動(dòng)控制自身正常移動(dòng)，能準(zhǔn)確完成采摘作業(yè)，機(jī)械手臂及采摘器在智能控制系統(tǒng)的調(diào)節(jié)下能實(shí)現(xiàn)協(xié)調(diào)工作。從測(cè)試結(jié)果看，智能貢柑采摘機(jī)器人采摘目標(biāo)果實(shí)的成功率在可以達(dá)到85%以上，對(duì)單個(gè)目標(biāo)果實(shí)的采摘時(shí)間能控制在2s以內(nèi)，證明該智能采摘機(jī)器人的采摘效果非常好，適合貢柑采摘作業(yè)過程中應(yīng)用。

5.? 結(jié)果

根據(jù)果農(nóng)對(duì)成熟貢柑果的收獲作業(yè)要求，設(shè)計(jì)制造了基于越疆魔術(shù)師機(jī)械臂平臺(tái)，具有視覺技術(shù)的智能貢柑采摘機(jī)器人。該機(jī)器人將機(jī)器視覺技術(shù)與自動(dòng)化技術(shù)融合在一起，機(jī)械結(jié)構(gòu)簡(jiǎn)易、協(xié)調(diào)靈活、運(yùn)行速度快，識(shí)別目標(biāo)果實(shí)速度快，采摘果實(shí)的成功率高，實(shí)現(xiàn)了貢柑采摘過程的智能化、自動(dòng)化、無人化，具有十分寬廣的應(yīng)用前景。

參考文獻(xiàn)

[1]劉長(zhǎng)林，張鐵中，楊麗.果蔬采摘機(jī)器人研究進(jìn)展[J].安徽農(nóng)業(yè)科學(xué)，2008，36 （13）：5394-5397.

[2]劉銳.水果采摘機(jī)器人視覺控制及其軌跡規(guī)劃研究[D].南京農(nóng)業(yè)大學(xué)，2010.

[3]安秋.農(nóng)業(yè)機(jī)器人視覺導(dǎo)航系統(tǒng)及其光照問題的研究[D].南京農(nóng)業(yè)大學(xué)，2008.

[4]李建平。林妙玲.自動(dòng)導(dǎo)航技術(shù)在農(nóng)業(yè)工程中的應(yīng)用研究進(jìn)展[J].農(nóng)機(jī)工程學(xué)報(bào)，2006，22（9）：232-236.