基于視覺檢測的蘋果采摘機器人系統設計與實現

孫賢剛，伍錫如，黨選舉，劉金霞

(桂林電子科技大學 電子工程與自動化學院，廣西 桂林　541000)

?

基于視覺檢測的蘋果采摘機器人系統設計與實現

孫賢剛，伍錫如，黨選舉，劉金霞

(桂林電子科技大學 電子工程與自動化學院，廣西 桂林541000)

摘要：為提高蘋果采摘的自動化與智能化水平，降低重復繁瑣的人工勞動強度，減少對果實的損壞率，研制了一款用于蘋果成熟自動檢測并采摘的輪式機器人系統。系統由硬件平臺和軟件平臺兩部分組成。其中，硬件平臺由四輪驅動越野小車、IPC-610L工控機、圖像數據采集卡、四自由度機械臂和末端執行器組成；軟件平臺基于VisualC++6.0開發環境，使用雙目立體視覺技術和圖像處理技術實現對蘋果的識別與定位，再通過機械臂的路徑規劃實現對蘋果的采摘。通過仿真實驗和數據分析表明：機器人在無人值守的情況下，能實現自動導航、自動識別、自動采摘蘋果等功能，并且識別成功率大于94.00%，采摘成功率達到91.33%，平均采摘周期約為11s，具有較高的準確性及穩定性。

關鍵詞：輪式機器人；蘋果采摘；機械臂；雙目視覺；圖像處理

0引言

近年來, 農業果蔬采摘機器人的研究受到了科研工作者的青睞[1-7]。采摘機器人的研制能夠減輕果蔬采收的勞動強度,改善果蔬品質,實時自動采摘，將人類從繁重的勞動強度中解放出來。2014年，國家主席習近平在兩院院士講話中指出：希望把我國機器人水平提高上去，而且要盡可能多地占領市場。可見，未來采摘機器人將受到更加廣泛的關注。

早在20世紀60年代，日本、荷蘭等國家就已經開始研制果蔬自動采摘的技術與裝備，采摘對象有黃瓜、草莓、蘑菇及番茄等。例如：日本Kawamura等人研制了西紅柿采摘機器人；日本岡山大學研制了一種5自由度極坐標機械手，適宜采摘果園棚架栽培模式下的成熟葡萄[2]。1996年，荷蘭農業環境工程研究所(IMAG)設計了一種7自由度多功能黃瓜采摘機器人[3]。1983年，法國Cemagref研究所首次研制出蘋果采摘機器人。國內果實采摘機器人研究起步較晚，部分高校及科研院所對各種果蔬采摘機器人相繼開展了研究。南京農業大學的姬長英等人設計了一種智能水果采摘機器人[4]。蘇州大學趙德安等人研制了一種蘋果采摘機器人,可以快速跟蹤識別目標果實[5]。中國農業大學李偉等人研制了黃瓜采摘機器人，運用近紅外光譜特征提取技術，實現對黃瓜的準確識別和定位，采摘速度達到28.6s，機械手抓取成功率高85%[6-7]。

目前，由于農業果蔬采摘機器人的作業環境極其復雜、光線多變、動態搜尋中的干擾物及莖葉干涉末端執行器運動等諸多問題，使得目前采摘機器人系統復雜、結構龐大笨重、能耗高、采摘效率低，限制了采摘機器人的產業化和智能化。為此，研制了一款蘋果采摘輪式機器人，能夠自主導航、自動檢測成熟紅蘋果及準確定位并自動采摘。采摘過程中采用2R-G-B法處理圖像，通過OTSU算法對彩色蘋果圖像進行動態閾值分割，能夠快速精準地識別出成熟果實，配合輕巧靈活的機械手，為實現農業果實采摘自動化、智能化提供了寶貴經驗。

1硬件構成

蘋果采摘輪式機器人硬件結構主要由輪式移動平臺、4自由度采摘機械臂、雙目視覺系統、末端執行器和電氣系統5大模塊組成。

1.1　輪式移動平臺

由于果園的地面環境極其復雜，為了適應崎嶇的路面環境，該移動平臺選用了四輪驅動的自動導航越野車，如圖1所示。采用48V鋰電池供電，電能可供整體采摘作業之用，且鋰電池可以進行適時充電。在越野車的前部連接有矩形的果實收集裝置，雙目攝像機安裝在移動平臺上方，實時獲取圖像,機械臂位于雙目攝像機正前方。

圖1　蘋果采摘機器人硬件結構圖

1.2　末端執行器

目前，已有的末端執行器一般采用適當力量折斷果柄的方法，可能會導致采摘平臺搖晃，采摘定位不準，或造成果實損傷?；诖藛栴}，設計了輕巧實用的末端執行器。本末端執行器采用氣動剪刀手，由采摘刀片、緩沖墊片、紅外傳感器及氣泵控制系統組成，如圖2所示[8]。

圖2　末端執行器

首先在雙目視覺系統的識別定位下，4自由度的機械臂在三維空間中運動帶動機械手到達指定的坐標位置后，在氣泵的作用下采摘手打開；末端執行器上的紅外傳感器實時地檢測采摘手是否抓取到蘋果；若抓取不成功，經過不斷地調整采摘位置，根據機器人控制指令，將末端執行器送到準確的目標位置；最終在氣泵的作用下采摘手瞬間夾斷蘋果的果柄，實現對果實的采摘，最終將采摘的蘋果回收到果籃中。

1.3　機械臂

本設備采用4自由度柔性機械臂，如圖3所示。機械臂總高度138cm，底座距離地面高度為80cm，采摘精度范圍為2mm。該機械臂是一種典型的串聯式機器人，機械臂由末端執行器及4個關節組成[9]。機械手腰部、大臂、小臂的轉動均采用交流伺服電機作為驅動源，選用行星齒輪減速器對電機進行減速，同時提高最終的輸出扭矩。

從下至上順序串聯的傳動機構、光電機構、旋轉機構、氣動剪刀手和紅外傳感器，底座通過螺栓與移動平臺連接。旋轉機構由能水平、垂直四維度自由旋轉的關節轉動軸、與關節轉動軸連接的關節電機、光電機構和旋轉臂組成，每個電機都有相應的轉動范圍，其活動范圍由機械臂上裝有的限位光電開關來限定[10]。機械臂的采摘半徑為100cm，能夠滿足蘋果采摘在空間上的要求。

圖3　采摘機械臂

1.4　蘋果識別定位系統

機器人識別和定位的準確率嚴重影響蘋果采摘的成功率，因此蘋果視覺定位系統的選取很重要。本設備采用雙目視覺系統對蘋果進行準確識別和定位，應用C++程序編寫算法，采用2R-G-B法處理圖像，通過OTSU算法對彩色蘋果圖像進行動態閾值分割，采集對不同成熟度蘋果的視頻信息(見圖4)，對拍攝的照片進行處理和分析，判斷蘋果是否成熟并準確識別和定位[11-14]。

蘋果的識別與定位過程為：首先打開軟件主控界面，機器人視覺系統初始化之后，通過采集卡傳送至工控機處理端，攝像機獲取實時圖像，并傳至工控機處理端；對所獲取的兩幅圖像的亮度做直方圖均衡化處理，提高圖像對比度；對圖像進行二值化處理，去除非紅色區域，對二值圖像做腐蝕處理，腐蝕掉紅色細微小塊，去除干擾，膨脹處理；對大的紅色區適度還原，還原后的圖像如圖4所示；最終系統主控界面會彈出ROBOTCTRL對話框顯示蘋果的實時三維坐標并將數值傳送到機械手控制端。

圖4　蘋果的識別和定位

1.5　電氣系統

越野車的所有供電由48V鋰電池來提供，驅動小車運動的伺服電機為48V直流電源，雙目視覺攝像頭為直流12V,機器臂伺服電機需要24V直流電源。電機驅動電氣系統由直流電機、編碼器、減速器組成，如圖5所示。小車前方液晶顯示模塊用來顯示鋰電池電壓、電流及電量。

圖5　移動平臺電氣系統

2控制系統與軟件設計

2.1　控制系統

本文設計的蘋果采摘機器人控制系統硬件由便攜式工控機、數據采集卡、圖像采集卡、電機伺服控制和末端執行器等5個部分組成[15]。選用多軸運動控制卡作為蘋果采摘機器人控制系統硬件結構的核心組件。蘋果采摘機器人控制器采用 IPC-610L工控機，可以實現機械臂運動學計算、圖像處理、各關節編碼器反饋信息和傳感器信息的處理和顯示、機械臂關節的交流伺服驅動器的控制，以及蘋果采摘的路徑規劃等功能。其中，工控機集成了軟件和控制界面，對整個系統進行控制；圖像采集系統、數據采集系統通過處理視覺傳感器和外部傳感器收集的信號，完成蘋果采摘機器人外圍環境信息的采集，轉換成數字信號為工控機所用；工控機輸出控制信號，最終驅動交流伺服電機和末端執行器運動，完成對目標果實的定位和抓取。機器人控制系統的結構圖如圖6所示。

圖6　機器人控制系統結構圖

2.2　軟件設計

蘋果采摘機器人的軟件設計主要考慮控制的開放性和穩定性。工控機的操作系統選用Windows XP，使用CAN總線和RS232總線控制器實現人機之間的通信。由于控制系統的開放性，使得機器人的通用性大大提高，整個硬件和軟件系統可以滿足機器人對蘋果的成熟度檢測和采摘任務。

蘋果采摘機器人的控制界面如圖7所示。在軟件運行后，先點擊啟動CAN，然后打開串口?？刂平缑姘藱C械臂各關節的調整、復位、車輪運動控制、自主采摘等一些必要的按鈕。抓取果實演示按鈕就是讓機器人開始工作；停止運動按鈕是為了防止機器人發生誤操作而造成損壞的情況；實時顯示按鈕是雙目攝像機拍到的實時的動態圖片。

圖7　蘋果采摘機器人的控制界面

2.3　控制主程序流程圖

整個控制程序如圖8所示。首先獲取蘋果實時圖像，對圖像進行處理。通過位置傳感器將蘋果的空間坐標發送給機械臂控制系統，驅動機械臂采摘蘋果，完成對蘋果的采摘。果實采摘控制程序主要包括圖像的預處理、果實識別與定位、實時反饋等。

圖8　機器人控制程序流程圖

3試驗結果與分析

3.1　試驗目的

實驗室試驗主要目的：測試蘋果采摘輪式機器人的輪式移動平臺、4自由度采摘機械臂、雙目視覺、末端執行器能否高度協同完成智能化采摘；測試在理想情況下成熟果實的采摘效率、識別正確率和采摘成功率。

3.2　采摘效率

機器人自動導航到達最佳的采摘位置，發現采摘目標后，各個系統開始同步工作。機器人采摘過程如圖9所示。正常情況下，單個蘋果采摘平均時間為11s，各個環節所用時間如表1所示。其中，耗時較多的就是機械臂的運動，可以通過調節電機的速度改變這個環節的時間；但考慮到機械臂運行的穩定性，最終設置機械臂運動的時間為5s。

圖9　機器人采摘過程

序號各環節所用時間時長/s1雙目視覺識別定位12機械臂運動53末端執行器切割、抓取、釋放44延時1總計11

3.3　識別正確率和采摘成功率

試驗過程中會有蘋果定位失敗的現象，如表2所示。主要原因是光線問題、蘋果相互遮擋及機械手抓取時擾動蘋果等。試驗整體識別成功率大于94.00%，采摘成功率達到91.33%。試驗結果表明：蘋果采摘機器人在采摘過程中穩定性和準確性較高。

表2　機器人采摘結果統計

3.4　試驗結果分析

1)在實驗室模擬蘋果的采摘試驗，機器人對青蘋果不予識別，對距離靠近機械臂的紅蘋果優先采摘。模擬采摘的結果表明：機器人能夠準確地識別和采摘蘋果，單個蘋果采摘用時為11s。

2)機器人導航精確，各個模塊之間高度協調同步。采用2R-G-B法處理圖像，通過OTSU算法對彩色蘋果圖像進行動態閾值分割，使得采摘成功率達到91.33%。

3)為了減少采摘周期、保證整個系統的高穩定性，將小車的行駛速度限為35mm/s、機械臂運動時間為5s、雙目視覺識別時間為1s。

4結論

研制了一種蘋果成熟自動檢測及采摘的輪式機器人，闡述了機器人的機械結構，以及控制系統的硬件和軟件設計。系統將末端執行器、蘋果采摘機械臂、四輪移動平臺、雙目視覺等技術融合起來，利用多傳感器技術，對采摘對象進行信息獲取、成熟度判斷，并確定收獲目標的三維空間信息，引導機械手與末端執行器完成抓取、切割、回收任務的高度協同自動化系統。實驗室試驗表明：其可實現無人值守情況下，自動導航、自動識別、自動完成機械臂運動及機械手采摘，整體識別成功率達到94.00%，采摘成功率大于91.33%，單個蘋果采摘用時11s,實現了蘋果采摘的自動化、智能化，驗證了設計的有效性和合理性。

參考文獻：

[1]智能·機器·人——致首屆中國機器人峰會(RoboTop2014)[J]. 機器人技術與應用,2014(3)：1.

[2]Ogawa Y, Kondo N, Monta M, et al.Spraying robot for grape production [J].Computer and Computing Technologies in Agriculture,2006,24:539-548.

[3]Van Henten E J,Van Tuijl B A J,Hemming J.Field test of an autonomous cucumber picking robot [J].Biosystems Engineering, 2003, 86( 3): 305-313.

[4]顧寶興，姬長英，王海青，等.智能移動水果采摘機器人設計與試驗[J].農業機械學報，2012,43(6):153-160.

[5]呂繼東,趙德安,姬偉.蘋果采摘機器人目標果實快速跟蹤識別方法[J].農業機械學報,2014(1):65-72.

[6]徐銘辰,牛媛媛,余永昌. 果蔬采摘機器人研究綜述[J].安徽農業科學,2014(31):11024-11027,11057.

[7]紀超，馮青春，袁挺，等.溫室黃瓜采摘機器人系統研制及性能分析[J].機器人，2011，33(6)：726-730．

[8]楊唐文,高立寧,阮秋琦,等.移動雙臂機械手系統協調操作的視覺伺服技術[J].控制理論與應用,2015(1):69-74.

[9]婁軍強,魏燕定,楊依領,等.智能柔性機械臂的建模和振動主動控制研究[J].機器人,2014(5):552-559,575.

[10]李宇飛,高朝輝,申麟.基于視覺的機械臂空間目標抓取策略研究[J].中國科學:技術科學,2015(1):31-35.

[11]蔣煥煜,彭永石,申川,等.基于雙目立體視覺技術的成熟番茄識別與定位[J].農業工程學報,2008(8):279-283.

[12]Chi Y, Gejima Y,Kobayashi T,et al.Study on Cartesiantype straw-berry-harvesting robot[J].SensorLetters,2013(11):1223-1228.

[13]周俊,劉銳,張高陽.基于立體視覺的水果采摘機器人系統設計[J].農業機械學報,2010(6):158-162.

[14]Si Y S, Liu G, Feng J. Location of apples in t-rees using stereoscopic vision,Computers and Electronics in Agriculture[EB/OL].205-01-10.http://dx.doi.org/10.1016/j.compag.2015-01-10.

[15]趙慶波,趙德安,姬偉,等.采摘機器人視覺伺服控制系統設計[J].農業機械學報,2009(1):152-156.

Abstract ID:1003-188X(2016)09-0151-EA

Design and Implementation of Apple Picking Robot System Based on Visual Inspection

Sun Xiangang, Wu Xiru, Dang Xuanju, Liu Jinxia

(College of Electronic Engineering and Automation, Guilin University of Electronic Technology,Guilin 541000，China)

Abstract：In order to improve the automation and intelligence level of apple picking,reduce the labor intensity of human and the damage rate of the fruit, the paper developed a wheeled robot system for automatic detection and picking ripe apples. The system is made up of hardware platforms and software platform. The hardware platform includes four-wheel drive off-road car, IPC-610L, image data ac-quisition card, four degrees of freedom manipulator and end-effectors; The software platform includes Visual C ++ 6.0 development environment, based on binocular vision and image processing techniques to achieve the identification and location of apple, then through the manipulator path planning to achieve the apple picking. Through simulation and data analysis show that the robot can realize automatic n-avigation, automatic recognition, automatic picking apples and other functions in the case of unattended. The correct rate of apple recog-nition and the success rate of picking was 94.00% and 91.33%, respectively. The average period of picking is about 11s and the accuracy and stability of the system is excellent.

Key words：wheeled robot； apple picking； manipulator; binocular vision; image processing

中圖分類號：S225;TP242.6

文獻標識碼：A

文章編號：1003-188X(2016)09-0151-05

作者簡介：孫賢剛(1990-)，男，安徽安慶人，碩士研究生，(E-mail)2546442391@qq.com。通訊作者：伍錫如(1981-)，男，湖南婁底人，副教授，博士,(E-mail)xiruwu520@163.com。

基金項目：國家自然科學基金項目(51465011)；廣西自然科學基金項目(2014GXNSFBA118275; 2015GXNSFAA139297)；廣西高校科研項目(YB2014128)

收稿日期：2015-09-14