智能移動式水果采摘機器人設計——基于機器視覺技術

孫承庭，胡　平

( 1.連云港職業技術學院 信息工程學院，江蘇 連云港　222006；2.南京工業大學 計算機科學與技術學院，南京　211800)

?

智能移動式水果采摘機器人設計——基于機器視覺技術

孫承庭1，胡平2

( 1.連云港職業技術學院 信息工程學院，江蘇 連云港222006；2.南京工業大學 計算機科學與技術學院，南京211800)

摘要：自動化和計算機智能控制行業的不斷發展，使得智能機器人在各個領域的應用已經十分普遍。目前，我國絕大部分水果采摘工作依然靠人工完成，隨著工人工資不斷攀升，人工采摘水果增加了果農的經濟成本，機器人在農業領域方面的需求越來越迫切。為此，基于機器視覺技術設計了智能移動式水果采摘機器人，集可移動載體、機械手臂、夾持器、橫向移動機構及智能控制模塊于一身，采用雙目立體視覺技術，實現了水果采摘機器人移動行走路徑的規劃、果實成熟度自動判斷及對成熟果實定位識別的功能。試驗表明：所設計的采摘機器人采用視覺技術，機械結構簡易，能夠克服氣候環境影響因素，運行過程中性能穩定、效率高、可靠性高、適應能力強。

關鍵詞：采摘機器人；智能控制系統；機器視覺技術；識別定位

0引言

我國水果產業發展迅猛，種植面積和年產量雙居世界第一，是世界上水果生產的大國。在整個水果種植過程中，成熟水果的采摘耗時最長，勞動力需求最大；而隨著外出務工人員的增多，農村勞動力人口下降，導致勞力成本上漲，果農的生產成本增加，用工成本高嚴重制約著水果產業的發展。水果產業更深一步的發展，亟需控制生產成本、減少人工采摘；而在農業生產上廣泛應用智能采摘機器人，對于節省成本。提高生產率具有重要意義。在日、美、德等發達國家，由于勞動力人口的短缺，農業智能機器人的使用已經十分廣泛。我國作為水果生產大國，國家對采摘機械化的發展十分重視，采摘機器人對我國未來水果產業發展的作用十分重大。本文結合水果生產種植環境和實際采摘過程，基于機器視覺技術對水果采摘過程的試驗研究，設計了智能水果采摘機器人樣機，實現農業生產水果的智能采摘。采用雙目視覺技術的智能水果采摘機器人設計如圖1所示。

圖1　智能采摘機器人

1結構設計

該機器人由機械結構部分和電氣智能控制系統兩部分構成。機械結構包括可移動載體、機械手臂、夾持器和橫向滑動裝置；電氣智能控制系統主要包括工控計算機、伺服電機驅動、雙CCD攝像機、傳感器控制模塊、數據采集卡、GPIB卡、運動控制卡、鋰電池供電箱、GPIB卡和控制系統，如圖2所示。

機械結構部分是智能采摘機器人的硬件平臺，為機器人進行成熟果實識別與采摘奠定了堅實的基礎，其各個部件的作用各不相同，結合起來實現采摘機器人的自動控制。

可移動載體是智能機器人的基礎，是其他控制采集系統的平臺，智能采摘機器人的信號采集、電機驅動、傳感器模塊及智能控制系統都需要以可移動載體為載體。可移動載體采用履帶行走方式，履帶式移動載體與地面接觸面積大，受力面積大，給地面的壓力小，適合在松軟的果林路面上行進。機器人行走裝置根據智能控制系統的指令進行驅動，伺服電機采用直流供電。

機械手臂裝置采用采用多關節機械手臂，有3個主自由度，可以做轉動和移動的動作；再加上夾持器的X、Y軸轉動， 可以使夾持器到達臂長范圍的任何三維坐標點。該機器人的機械手臂裝置韌性強、承受負載大、自身輕薄、靈活性高、到達指定位置誤差小，在整個采摘作業過程中，運行速度適中，慣性較小，平穩度非常高。

夾持器是采摘過程中作用最大的部件，是采摘機器人的手，水果的抓取收獲依靠其完成，可以根據命令直接執行采摘任務。該設計中的夾持器最大工作角度為88°，采摘過程中夾緊力未270N，質量為0.6kg，閉合時間為0.2s；裝置輕便，采摘角度大，耗時短，力度適中，不會給果實帶來機械損傷。

圖2　智能采摘機器人結構二維圖

2目標果實的識別分割和定位

采摘機器人進行采摘作業的前提是先識別成熟果實及確定其三維位置，對果實成熟率的識別和定位極大程度地影響了采摘的成功率。采摘過程中，機器人的夾持器采用手環抱狀采摘的方式，夾持器的采摘位置主要依靠目標果實的三維位置確定。三維圖像的視覺技術是采用兩個攝像機從不同的角度去對目標果實拍攝成像，然后根據圖像采集卡將信息傳送至工控計算機，由其根據兩者的角度差異實現目標果實的三維圖像；根據形成的三維圖像，智能采摘機器人可知道目標果實的大小、三維形狀等，進而實施準確采摘。雙目視覺技術系統構造結構如圖3所示。

機器視覺系統主要包括工控計算機、LED燈源、專用光學鏡頭、CCD攝像機及數字圖像處理模塊等。工作時，系統由雙CCD攝像機將待測目標轉化為數字圖像的電信號，然后傳送給PC機；PC機采用專用的圖像處理軟件，根據色彩和顏色，采用多種算法提取果實的特點；最后，根據設定的量化值和其他條件進行準確判斷。采摘機器人識別分割與定位的核心技術包括目標果實分割識別與成熟度的判斷和目標果實空間坐標的計算兩個方面。

Fig.3　System structure of binocular vision technology

2.1　目標果實分割識別及其成熟度的判斷

對目標果實的正確采摘首先需要對目標果實進行正確的分割識別和判斷其成熟度，這樣采摘機器人才可以替代勞動人口進行采摘作業。識別的首要任務是進行果實圖像樣本的采集，需要依靠CCD攝像機拍攝完成，根據圖片信息建立完整的果實樣本；其次是建立顏色模型，采用分割技術將果實與其周圍生長環境分開，識別果實本體，并通過三原色RGB對比計算，判斷目標果實的成熟度。 三原色RGB顏色模型如圖4所示。

圖4　三原色顏色模型

本文以蘋果采摘為例，介紹機器人對目標果實利用自動閾值分割方法進行切割識別。成熟的蘋果一般呈紅色，與周邊環境最大的差別就是顏色。因此，利用三原色RGB可以成功將目標果實成功切割，而且圖像處理模塊可根據目標果實的顏色，對比PC機數據庫中的成熟果實顏色樣本判斷出目標果實的成熟度。

2.2　目標果實空間坐標的計算

人在拿物體的過程中，手朝著目標物體移動，通過眼睛反饋手與物體的相對距離，然后不斷調整，最終能準確地拿到目標物體。然而，采摘機器人沒有人類的思維與反饋能力，需要建立傳感器與控制系統，使其模仿人類收獲作業的方法。采摘過程中，通過雙CCD攝像機獲取整株果樹的信息，然后傳送給圖像處理系統，利用三原色RGB顏色切割識別出目標果實，并利用紅外光源和果實的外形，通過兩個攝像機同時獲取的圖像信息差別，準確定位目標果實相對于雙CCD攝像機的空間坐標位置。目標果實定位工作流程如圖5所示。

圖5　目標果實空間坐標定位流程圖

一個物體的空間坐標確立，實質是由視差值決定的。如圖6所示，物體是通過雙目視覺原理來定位的，在采摘過程中，根據攝像機的連線距離與物體和攝像機的角度確定目標果實的視覺深度。

獲取目標果實的視覺深度后，然后采用RBF網絡逼近算法，計算出質點空間坐標(X,Y,Z)，方便控制系統進行收獲作業。

3控制系統設計

3.1　硬件設計

智能水果采摘機器人控制系統硬件以工控計算機為核心，處理雙目攝像圖的高清照片，利用圖像處理模塊識別和定位目標果實，制定規劃可移動載體的路徑，并控制機械手臂進行采摘作業。智能水果采摘機器人控制結構如圖7所示。

圖6　雙目視覺識別圖

圖7　智能控制系統結構圖

3.2　軟件設計

控制系統的硬件部分是整個采摘機器人正常運作的平臺，而硬件部分準確協調運行依靠軟件部分的底層程序驅動。智能采摘機器人系統軟件運行流程如圖8所示。

圖8　智能采摘機器人系統軟件流程示意圖

4智能水果采摘機器人路徑識別規劃

智能采摘機器人在果園內作業時需要不斷移動。在移動過程中，需要有對障礙物檢測和避開的能力，要對機器人移動路徑進行識別規劃，使其在園林中作業時能成功避開障礙物前進，完成整個采摘收獲任務。智能水果采摘機器人行進路徑規劃如圖9所示。

圖9　智能水果采摘機器人行進路徑規劃圖

在整個收獲作業過程中，園林內的障礙物信息是時刻變化的，需要把全局軌跡規劃和部分軌跡規劃結合起來；同時考慮全局已知障礙物和隨機出現的障礙物，并隨時根據紅外傳感器檢測運動前方的障礙物，運用路徑規劃算法，制定一條從開始采摘到結束完整的路徑規劃。采摘機器人以規劃路徑前進，并不斷通過紅外傳感器接收運動前方其他的動態障礙物；結合機器人的前進速度判斷有碰撞的可能時，調用路徑規劃的算法再次進行路徑規劃，自動避開前進方向的障礙物，實現實時對前進道路進行軌道規劃。

5試驗與結果分析

對成熟果實的成功采摘，是衡量智能采摘機器人的性能優良的重要條件。本文在樹齡為5年的蘋果果園進行成熟果實的采摘，并對果園中遮擋嚴重的蘋果做了一些整理，在機器人自主運行的情況下進行了采摘試驗。智能采摘機器人采摘的試驗結果如表1所示。

由表1可知：無論是晴天、陰天還是夜晚，智能采摘機器人均可自動控制自身正常移動，能準確完成采摘作業并完成裝箱工作，可移動載體、機械手臂及夾持器在智能控制系統的調節下能實現協調工作。由表1可知：智能采摘機械人采摘目標果實的成功率在3種條件下均可以達到85%以上，對單個目標果實的采摘時間能控制在10s以內，證明該智能機器人的采摘效果非常好，適合采摘作業過程中應用。

表1　智能采摘機器人采摘試驗結果

6結論

根據果農對成熟水果的收獲作業要求，設計制造了基于機器視覺技術的智能移動式水果采摘機器人。該機器人將機器視覺技術與自動化技術融合在一起，機械結構簡易、協調靈活、運行速度快，可在作業前行過程中躲避障礙物強，識別目標果實速度快，摘過果實的成功率高，實現了農業采摘過程的機械智能化、自動化、無人化，具有十分寬廣的應用前景。

參考文獻：

[1]馮青春,鄭文剛,姜凱,等.高架栽培草莓采摘機器人系統設計[J].農機化研究,2012, 34(7):122-126.

[2]顧寶興,姬長英,王海青,等. 智能移動水果采摘機器人設計與試驗[J].農業機械學報,2012(6):153-160.

[3]呂繼東,趙德安,姬偉,等.蘋果采摘機器人對振蕩果實的快速定位采摘方法[J].農業工程學報,2012(13):48-53.

[4]王麗麗,郭艷玲,王迪, 等.果蔬采摘機器人研究綜述[J].林業機械與木工設備,2009(1): 10-11,14.

[5]宋健,孫學巖,張鐵中, 等.開放式茄子采摘機器人設計與試驗[J].農業機械學報,2009(1):143-147.

[6]陳進.機器人技術在農業中的應用—水果采摘機器人[J].四川農機,2009(6):32.

[7]王輝. 機器視覺技術在果園自動化中的應用研究[D].北京：中國農業機械化科學研究院,2011.

[8]戚利勇.黃瓜采摘機器人視覺關鍵技術及系統研究[D].杭州：浙江工業大學,2011.

[9]呂繼東.蘋果采摘機器人視覺測量與避障控制研究[D].鎮江：江蘇大學,2012.

[10]李占坤.果樹采摘機器人控制系統研究與設計[D]. 鎮江：江蘇大學,2010.

[11]李小亮.基于振動機理的山核桃采摘樣機設計[D].杭州：浙江農林大學,2012.

[12]王鴻,顧金梅,李飛,等.溫室采摘車的機電液一體化設計[J].科技傳播,2014(22):170-171.

[13]方建軍. 移動式采摘機器人研究現狀與進展[J]. 農業工程學報,2004(2):273-278.

[14]姬江濤,鄭治華,杜蒙蒙,等.農業機器人的發展現狀及趨勢[J]. 農機化研究,2014,36(2):1-4,9.

[15]畢昆,趙馨,侯瑞鋒,等.機器人技術在農業中的應用方向和發展趨勢[J].中國農學通報,2011,(4):469-473.

[16]姜麗萍,陳樹人.果實采摘機器人的研究綜述[J]. 農業裝備技術,2006(1):8-10.

[17]宋健,張鐵中,徐麗明,等.果蔬采摘機器人研究進展與展望[J].農業機械學報,2006(5): 158-162.

[18]趙慶波.果樹采摘機器人控制與避障技術研究[D]. 鎮江：江蘇大學,2008.

[19]崔玉潔,張祖立,白曉虎. 采摘機器人的研究進展與現狀分析[J].農機化研究,2007(2):4-7.

[20]宋健. 茄子采摘機器人結構參數的優化設計與仿真[J].機械設計與制造,2008(6):166-168.

[21]張水波.柑橘采摘機器人末端執行器研究[D].杭州：浙江工業大學,2011.

[22]張潔,李艷文.果蔬采摘機器人的研究現狀、問題及對策[J].機械設計,2010(6):1-5.

[23]藍峰,蘇子昊,黎子明,等.果園采摘機械的現狀及發展趨勢[J].農機化研究,2010，32(11):249- 252.

[24]湯修映,張鐵中.果蔬收獲機器人研究綜述[J]. 機器人,2005(1):90-96.

[25]趙勻,武傳宇,胡旭東,等.農業機器人的研究進展及存在的問題[J].農業工程學報,2003(1):20-24.

Design of Intelligent Mobile Fruit Picking Robot——Based on Machine Vision Technology

Sun Chengting1, Hu Ping2

(1.Information Engineering College, Lianyungang Technical College, Lianyungang 222006, China; 2.Computer Science and Technology, Nanjing University of Technology, Nanjing 211800，China)

Abstract：The deepening of industry automation and computer intelligent control makes the intelligent robot in various fields of application very widespread,the development of science and technology drives the development of society.China's vast most of the fruit picking work is still done manually.With the rapid development of China's social and economic, the wages of the workers continues to rise, manual picking fruit increased the fruit of economic cost and the demand of robot in the field of agriculture,so it is becoming more and more urgent. In this paper, based on machine vision technology design and research on the intelligent mobile fruit picking robot, and the mobile carrier, mechanical arm, clip holding device, it designed a horizontal moving mechanism and intelligent control module in a body, by using binocular stereo vision technology, the mobile robot's walking path planning, fruit maturity automatically judge and of mature fruit location recognition function for picking fruit. Experiments show that the design of the picking robot can overcome the impact of climate factors, by using visual technology with simple mechanical structure, operation process of stable performance, high efficiency, high reliability, adapt to ability.

Key words：picking robot; intelligent control system; machine vision technology; recognition and localization

中圖分類號：S225.93；TP391.41

文獻標識碼：A

文章編號：1003-188X(2016)08-0179-05

作者簡介：孫承庭(1969-)，男，江蘇連云港人，副教授，碩士。通訊作者：胡平(1962-)，男，南京人，教授，碩士，(E-mail)fiberhome@126.com。

基金項目：國家自然科學基金項目(612030702)；江蘇省現代教育技術研究所課題(2012-R-21331)；連云港市科技支撐計劃項目(SH1110)

收稿日期：2015-07-30