嵌入式采摘機器人視覺測量與避障控制系統研究

孫承庭，胡　平

(1.連云港職業技術學院 信息工程學院，江蘇 連云港　222006；2.南京工業大學 計算機科學與技術學院，南京　211800)

?

嵌入式采摘機器人視覺測量與避障控制系統研究

孫承庭1，胡平2

(1.連云港職業技術學院 信息工程學院，江蘇 連云港222006；2.南京工業大學 計算機科學與技術學院，南京211800)

摘要：采摘機器人擁有自主收集信息并進行有效判斷的能力，可以獨立完成對果實的采摘作業，對滿足水果種植需求、減小水果種植的勞動力投入及降低生產成本有著很重要的實際應用價值。為此，以嵌入式ARM智控系統為基礎平臺，設計了采摘機器人視覺測量與避障控制系統。該系統集機器視覺、視覺傳感感知、伺服電機驅動和ARM智控模塊于一體，建立了采摘機器人采摘運動學的數學模型，并通過BP網絡神經型迭代學習算法測量果實的距離和球心坐標，對成熟果實進行精準識別和定位采摘。試驗結果表明：采摘機器人能準確地進行自主采摘，成功率比較高，躲避障礙物的能力很強，更適合在復雜未知的果園中進行收獲作業。

關鍵詞：嵌入式ARM；智控系統；機器視覺；BP網絡神經；采摘機器人

0引言

作為水果出口大國，早在2009年，我國水果種植面積已經達到1 113.95萬hm2。近年來，我國水果種植規模增速較快，水果種植正朝著多樣化、高品質、智能化方向快速發展，而衍生出來的勞動力不足、工人用工成本高的問題也日益突出。因此，大力發展采摘機器人技術，加快我國現代化農業建設，將高新農業機械技術應用于水果種植產業是不可逆轉的趨勢。果蔬采摘周期一般比較短，在短時間對勞動力的投入較大，已是水果種植亟需解決的重大問題。西方等發達國家早已對采摘機器人進行了大量研究，但是采摘的成功率一直比較低。我國從事智能化采摘的研究人員很多，但是取得的進展也不大。本文基于嵌入式控制系統，采用最新機器視覺技術，利用圖像處理和視覺傳感器檢測技術，主要對成熟果實的識別定位及躲避作業中的障礙物等問題進行研究，極大地提高了采摘機器人的適用性和可靠性。

1采摘機器人控制系統的整體設計

采摘機器人是涉及機械設計、電子信息工程、傳感檢測，以及人工智能、自動控制和運籌學等三元論的綜合性學科，其涉獵范圍廣，技術要求高。采摘機器人一般可根據軟件編程，控制圖像處理系統對目標果實進行定位和識別，并且通過軟件驅動控制伺服電機的運轉，控制其各部分的正常工作，進而完成對果實的采摘作業。

1.1　采摘機器人機械部分的設計

要設計符合果農采摘流程要求的采摘機器人，首先需要建立完整的機械結構體系和電路控制體系。采摘機器人的機械結構如圖1所示。

1.移動平臺　2.收集箱　3.軟帶　4.采摘臂　5.水果入口處

該機器人以移動平臺為基礎，通過視覺傳感器識別目標果實，然后通過雙目視覺技術確定果實的三維坐標，通過伺服驅動系統驅動轉折臂電機和采摘臂電機及升降平臺的高度，調整采摘臂的位置進行精準采摘。

1.2　采摘機器人智能控制系統

擁有完整的機械結構體系，說明采摘機器人有了可以運作的硬件平臺；但采摘機器人各部分的運作還需要軟件的驅動，因此需要搭建智能電路控制系統。采摘機器人電路部分控制系統如圖2所示。

圖2　采摘機器人的電路控制框架圖

1.3　采摘機器人機器視覺系統

機器視覺是采摘機器人對成熟果實的判別和定位的重要技術手段。視覺傳感器根據圖像處理系統和雙目視覺技術可以獲取果園中復雜環境和作業對象的信息，其主要目標是：①判斷目標果實是否成熟；②對目標果實進行三維定位；③對機器人在果林中的運動軌跡進行有效優化。機器視覺是智能控制部分的核心系統，視覺傳感器主要由CCD攝像機及圖像處理系統兩部分組成。通過視覺傳感器捕捉圖像信息，圖像處理系統判斷目標對象的數量、位置關系、形狀等特點，將果實成熟和位置信息傳送給機器人智能控制系統。采摘機器人機器視覺系統構架如圖3所示。

圖3　采摘機器人機器視覺系統構架圖

該機器視覺系統搭配先進的視覺傳感器FZ3，凝聚了“逼真色彩合成技術”，是歐姆龍公司獨立開發的高新科技產品，可達到千萬分辨率的RGB圖像處理，比過去傳統的單色處理的識別能力提高了數萬倍，從而能更精準地檢測和識別目標的成熟度。本文研究的智能采摘機器人采用該視覺傳感器技術，大大地提高了對目標果實的正確判斷率。

2采摘機器人圖像采集和顏色分割的研究

2.1　采摘機器人的圖像采集系統

采摘機器人進行圖像采集是為了對視覺傳感器獲取的信息進行處理，其可以根據顏色空間和顏色特征對圖像信息實現有效分割，增加視覺系統的時效性。本文主要針對目標果實進行研究，先利用視覺傳感器采集果樹上的果實圖像，圖像處理系統可以根據此時的靜態圖像信息判別成熟度和定位，然后根據顏色特征對圖像進行有效分割，使目標果實和圖像背景完全分割出來，以便更好地確定果實與樹干之間的相對位置，從而判斷出目標果實的空間坐標位置。采摘機器人圖像采集流程圖，如圖4所示。

圖4　采摘機器人圖像采集流程圖

該采摘機器人配備維視圖像公司的MV-U2000圖像采集卡。該圖像采集卡可以通過標準數據總線與智能控制系統連接，器件采用10BIT A/D轉換芯片，使圖像更加清晰、色彩更豐富艷麗、實時性更強、采樣頻率更高，可以更好地實現對果實信息的采集和處理。

2.2　采摘機器人顏色分割的研究

采摘機器人系統進行圖像處理時，需要提前建立RGB顏色空間，即顏色坐標系。顏色空間是色彩在空間直角坐標系中的排列方式，本文采用LAB顏色模型進行圖形分割處理。LAB顏色空間分布比較均勻，主要包括顏色色彩和亮度兩方面的空間信息圖，其對任何關于色彩的計算都具有很強的實用性。LAB顏色坐標圖如圖5所示。

但是農作物種子的基因編輯革命已經實實在在地發生在農場里了。在Calyxt公司辦公樓以南1小時車程的地方，該公司基因編輯大豆已經在62歲的農場主鮑伯·布朗（Bob Braun）的小山坡上郁郁蔥蔥地生長起來，遠遠望去就像一塊綠色的地毯；靠近一些，還聞到淡淡的薰衣草花香。

圖5　LAB顏色坐標圖

如圖5所示：LAB顏色空間是基于一種顏色不能同時為藍和黃的理論基礎建立的。單獨一種色彩數值可用于描述紅、綠或者黃、藍。當一種顏色用CIE L*a*b*時，L* 表示明度值；a*表示紅/綠及b*表示黃/藍值。在進行色彩值計算時一般將LAB顏色坐標系轉化為LCH顏色模型。LCH顏色模型三維坐標如圖6所示。

圖6　LCH顏色模型三維坐標圖

如圖6所示，CIE LCH顏色模型采用了同LAB相同的顏色坐標，但它是利用L表示明度值；C表示飽和度值，H表示色調角度值的柱形坐標。

RGB轉化為LAB較為復雜，為實現采摘機器人控制系統成功將目標果實分割出來，計算公式為

(1)

將LAB顏色模型轉化為三維空間坐標系的空間位置的計算公式為

(2)

采摘機器人采用視覺機器技術對果實圖像進行采集，通過LAB顏色模型對果實成熟度進行判斷，并通過圖像分割方法測量出目標果實的空間直角坐標，最后通過正常成熟果實的顏色特征對所需測量的目標物體進行分割分析，根據BP網絡神經型迭代學習算法與果實與目標物的色彩差異性求出各個模型之間的轉化公式。

3采摘機器人避障控制系統的研究

采摘機器人在作業過程中常常會碰到果林中固定的障礙物或者穿插在果林中的工作人員，此時就需要采摘機器人有自主避開障礙物的功能。因此，建立良好的避障系統對減少采摘機器人可能因碰撞帶來的損壞有很大的必要性。為了提前對避障路徑進行規劃，采摘機器人需要通過紅外傳感器來獲知障礙物的大小、距離等詳細信息。采摘機器人通過紅外傳感器感知障礙物的存在，可以提前求出通過障礙物的最優路徑，一般在求最優路線時，可以斷定最短路線時直線與圓弧的結合。對采摘機器人的避障路徑采用數學建模的方法，有利于更好驗證路線優化的效果。采摘機器人避障運動過程數學建模如圖7所示。

圖7　采摘機器人避障運動建模圖

如圖7所示：設定A(x1,y1)為起點、B(x2,y2)為采摘機器人需要達到的終點、C(x3,y3)和D(x4,y4)為采摘機器人躲避障礙物圓心F所走的圓弧路徑,要使路徑最短，則需要∠DFC的角度最小。假設∠DFC=θ，∠AFB=α, ∠AFC=β, ∠BFD=γ。則有

(3)

(4)

在△AFC中，有

(5)

在△BFD中，有

(6)

根據θ=2π-α-β-γ，即可求出∠DFC的角度，就可以得到采摘機器人躲避障礙物的最短路徑。采摘機器人躲避障礙路徑優化流程圖如圖8所示。

圖8　采摘機器人躲避障礙路徑優化流程圖

4試驗與結果分析

為了檢驗采摘機器人采摘控制系統的可靠性，驗證采摘機器人是否能成功識別采摘成熟果實，能否在采摘作業過程中成功采摘目標果實，特將該系統應用到蘋果采摘機器人中，并在某蘋果果園中進行采摘試驗。采摘試驗結果如表1所示。

表1　采摘機器人采摘作業實驗結果

由表1可知：在采摘作業的3次試驗中，采摘機器人成功采摘蘋果的準確采摘率都在90%以上，說明該采摘機器人視覺測量與避障控制系統采摘效率高、可靠性強，具有很廣泛的應用前景。

5結論

本文根據水果采摘過程的各種要求，設計了基于嵌入式的采摘機器人視覺測量與避障智能控制系統。該系統采用高新視覺傳感器，利用圖像處理技術，結合嵌入式智能控制系統，果實的成功采摘率和正確識別率都比較高，達到了設計要求。試驗結果表明：該采摘機器人具有實時測量并避障的功能，為未來智能采摘果實創造了條件。

參考文獻：

[1]崔玉潔,張祖立,白曉虎.采摘機器人的研究進展與現狀分析[J].農機化研究,2007(2):4-7.

[2]鮑官軍,荀一,戚利勇,等.機器視覺在黃瓜采摘機器人中的應用研究[J].浙江工業大學學報,2010(1):114-118.

[3]張潔,李艷文.果蔬采摘機器人的研究現狀、問題及對策[J].機械設計,2010(6):1-5.

[4]付宗國,王麗.基于ATmega32的遙控采摘機器人設計[J].電子設計工程,2012(4):151-154.

[5]馮青春,鄭文剛,姜凱,等.高架栽培草莓采摘機器人系統設計[J].農機化研究,2012,34(7):122-126.

[6]呂繼東,趙德安,姬偉,等.蘋果采摘機器人對振蕩果實的快速定位采摘方法[J].農業工程學報,2012(13):48-53.

[7]宋健.茄子采摘機器人運動學分析與工作空間仿真[J].濰坊學院學報,2008(4):1-4.

[8]劉長林,張鐵中,楊麗. 果蔬采摘機器人研究進展[J]. 安徽農業科學,2008(13):5394-5397.

[9]宋健.茄子采摘機器人結構參數的優化設計與仿真[J].機械設計與制造,2008(6):166-168.

[10]方建軍.移動式采摘機器人研究現狀與進展[J].農業工程學報,2004(2):273-278.

[11]戚利勇.黃瓜采摘機器人視覺關鍵技術及系統研究[D].杭州：浙江工業大學,2011.

[12]呂繼東.蘋果采摘機器人視覺測量與避障控制研究[D].鎮江：江蘇大學,2012.

[13]王海青.黃瓜收獲機器人視覺系統的研究[D].南京：南京農業大學,2012.

[14]顧寶興.智能移動式水果采摘機器人系統的研究[D].南京：南京農業大學,2012.

[15]黃鋁文.蘋果采摘機器人視覺識別與路徑規劃方法研究[D].楊凌：西北農林科技大學,2013.

[16]項榮.開放環境中番茄的雙目立體視覺識別與定位[D].杭州：浙江大學,2013.

[17]姚立健.茄子收獲機器人視覺系統和機械臂避障規劃研究[D].南京：南京農業大學,2008.

[18]宋健,孫學巖,張鐵中,等.開放式茄子采摘機器人設計與試驗[J].農業機械學報,2009(1): 143-147.

[19]宋婷.傳感器在農業采摘機器人中的應用[J].農機化研究,2009,31(5):199-201,216.

[20]張健.歐姆龍將新一代通訊繼電器生產線引入上海新廠[J].世界電子元器件,2013(4):66.

[21]姬江濤,鄭治華,杜蒙蒙,等.農業機器人的發展現狀及趨勢[J].農機化研究,2014,36(2):1-4,9.

[22]陳利兵.草莓收獲機器人采摘系統研究[D].北京：中國農業大學,2005.

[23]姜麗萍,陳樹人.果實采摘機器人的研究綜述[J].農業裝備技術,2006(1):8-10.

[24]宋健,張鐵中,徐麗明,等.果蔬采摘機器人研究進展與展望[J].農業機械學報,2006(5):158-162.

[25]徐銘辰,牛媛媛,余永昌.果蔬采摘機器人研究綜述[J].安徽農業科學,2014,31:11024-11027,11057.

[26]趙慶波.果樹采摘機器人控制與避障技術研究[D].鎮江：江蘇大學,2008.

[27]任燁.基于機器視覺設施農業內移栽機器人的研究[D].鎮江：浙江大學,2007.

[28]戈志勇.番茄采摘機械手運動學仿真與避障算法研究[D].鎮江：江蘇大學,2007.

[29]寧志超.基于ATmega16的六自由度果實采摘機械手控制系統的設計[D].哈爾濱：東北農業大學,2010.

[30]王燕.黃瓜采摘機器人運動規劃與控制系統研究[D].杭州：浙江工業大學,2010.

[31]張水波.柑橘采摘機器人末端執行器研究[D].杭州：浙江工業大學,2011.

[32]付中軍.果蔬采摘機器人視覺技術研究及系統構建[D].沈陽：沈陽工業大學,2014.

[33]李占坤.果樹采摘機器人控制系統研究與設計[D].鎮江：江蘇大學,2010.

Research on Vision Measurement and Obstacle Avoidance Control System of Picking Robot Based on Embedded System

Sun Chengting1, Hu Ping2

(1.Information Engineering College, Lianyungang Technical College, Lianyungang 222006，China; 2.Computer Science and Technology,Nanjing University of Technology, Nanjing 211800，China)

Abstract：Harvesting robot has the ability to collect information and carry out effective judgment. It can be used to complete the picking of fruit. It is very important to have a very important practical application value for fruit growing demand, reducing the labor input and reducing production cost. This paper takes the embedded intelligence control system as the basic platform to design and research the picking robot vision measurement and obstacle avoidance control system, the system in machine vision, sensory perception, servo motor drive and arm intellectual control module in one, established picking picking robot kinematics mathematical model, and through BP neural network type iterative learning algorithm for measuring fruit distance and center coordinates, to mature fruits were accurate identification and localization of picking. The experimental results show that the picking robot can carry out self picking accurately, the success rate is relatively high, and the ability of avoiding obstacles is also very strong, and it is more suitable for harvesting operations in complex unknown orchard.

Key words：embedded ARM; intelligent control system; machine vision; BP neural network; picking robot

中圖分類號：S225；TP391.41

文獻標識碼：A

文章編號：1003-188X(2016)11-0219-05

作者簡介：孫承庭(1969-)，男，江蘇連云港人，副教授，碩士。通訊作者：胡平(1962-)，男，南京人，教授，碩士，(E-mail)Huping1962@qq.com。

基金項目：國家自然科學基金項目(612030702)；江蘇省教育科學院現代教育技術研究所課題(2015-R-43034)；連云港市科技支撐計劃項目(SH1110)

收稿日期：2015-09-10