草莓采摘機器人成熟果實識別及避障控制系統研究—基于ARM與FPGA

馬 瑛，楊 旭

(河南工業職業技術學院，河南 南陽 473000)

?

草莓采摘機器人成熟果實識別及避障控制系統研究
—基于ARM與FPGA

馬 瑛，楊 旭

(河南工業職業技術學院，河南 南陽 473000)

目前,草莓的采摘主要靠人工完成，任務繁重，效率較低，人為造成的損失也比較大，減少了果農的經濟收入，也影響了草莓種植的發展。因此，研制草莓采摘機器人是解決人工采摘問題的關鍵。為此，大量研究了草莓種植的特點及人工采摘技巧，基于ARM與FPGA智能控制模塊及雙目機器視覺技術，設計了草莓采摘機器人成熟果實及避障控制系統。實驗結果表明：所設計的草莓采摘機器人成熟果實識及避障控制系統可以準確識別成熟草莓果實，并能靈活避開采摘途徑中的障礙物，系統運行穩定，對我國開展草莓采摘機器人果實識別和避障技術的研究具有一定的參考價值。

草莓采摘機器人；機器視覺；果實定位；避障；ARM；FPGA

0 引言

隨著社會的進步和勞動力成本的快速增長，勞動力的缺乏嚴重制約著農業生產的發展，因此機器人技術應用于農業生產的可能性大大提高。進入21世紀，科學技術迅猛發展，農業機械的自動化程度越來越高，已成為當代農業必備的生產工具，直接影響著農民生產的方式和收益，農業機器人的研究和推廣成為了全球關注的焦點。本文針對草莓采摘機器人的核心部分—草莓成熟果實識別及避障控制系統，主要研究了圖像分割識別技術及避障控制的方法，為設計草莓采摘機器人進行前期的理論研究工作，對研制出具有實際應用價值的草莓采摘機器人具有十分重要的意義。

1 草莓采摘機器人控制系統整體設計

嵌入式系統憑借其體積小、集合度高、功能性強等優點已被廣泛應用于自動化控制中，其關鍵部件是微處理器。本文所研究的草莓采摘機器人成熟果實定位及避障控制系統，功能較多，需要同時控制多個運動電機、采集多路紅外和力學傳感器數據、處理采集視頻圖像信息，完成與上位機實時數據信息共享及人機交互等功能。整個系統外圍電路比較復雜，各類器件接口差別較大。因此，根據系統的整體功能需要，采用ARM與FPGA相結合的方式構建系統，具有結構簡單及系統靈活的特點，可大大縮短開發周期，提高了系統處理實時性和非實時性任務的能力。系統框架如圖1所示。

圖1 系統結構框架圖

本文研究的草莓采摘機器人成熟果實識別及避障控制系統包括兩個核心微處理器：主處理器是ARM9系列的S3C2410芯片，主要完成與副處理器的信息傳遞、人機交互以及處理圖像處理系統信息；副處理器是現場可編程門陣列FPGA，主要控制電機驅動系統和障礙物檢測系統。

2 控制系統硬件設計

草莓采摘機器人控制系統系統硬件設計包含的部分比較多，本文主要闡述ARM模塊、FPGA模塊和電源模塊。

2.1 ARM模塊

系統主處理器采用ARM9(S3C2410)模塊，外圍電路比較簡單，主要包括復位、電源、通信、振蕩、JTAG接口、flash及顯示等電路。S3C2410是32的微處理器，具有體積小、成本低、待機功耗小的特點，支持32位ARM和16位Thumb指令集，指令處理速度快，執行效率高，應用領域相當廣泛。ARM9信號處理原理圖如圖2所示。

圖2 ARM9信號處理原理圖

2.2 FPGA模塊

系統副處理器采用FPGA系列的EP1C6Q240，該可編程器件包含2萬多個邏輯單元，開發程度高，價格也比較低廉，為自動化設備提供了一種低成本的方案。FPGA模塊主要包含光電編碼器信號輸入、位置信號輸入、電機驅動系統、通信總線、開關量輸入輸出及脈沖和方向信號輸入等部分，需要處理和控制的信號與器件較多，采用FPGA可大大減少外圍電路的器件，減低系統成本，提高了系統可行性和穩定性。FPGA模塊功能方框圖如圖3所示。

2.3 電源模塊

電源模塊包括兩個部分：一部分是產生3.3V電壓的電路；另一部分是產生1.25V的電壓電路。ARM9微處理需要雙電源電路供電，其內核供電電壓是3.3V，外圍器件電壓是1.25V，本系統中FPGA采用3.3V供電。供電外部電源經過DC-DC轉換器可以實現5～3.3V和3.3～1.25V的轉換。因外圍電路對處理芯片干擾大，故 DC-DC模塊的輸入和輸出需加濾波電容； ARM嵌入式模塊需要長期供電，當外部斷電時需要采用電池來給其供電。系統電源電路如圖4所示。

圖3 FPGA功能方框圖

圖4 系統供電電源原理圖

嵌入式系統電源電路設計實現的方法有很多種，而電源的很多指標不可能同時兼顧，往往需要在效率、噪聲性能、紋波、成本等方面進行折中考慮。出于成本、效率的考慮，整個系統電源電路一路采用標準三端線性穩壓器進行DC-DC轉換，利用LM1117-33將5V降至3.3V，一路采用穩壓芯片MAX8860EUA18將3.3V降至1.25V。

3 草莓采摘機器人成熟果實識別研究

草莓采摘識別定位采用雙目機器視覺技術，進行視頻圖像識別定位。首先要選定適宜的目標特性，方便區分目標與背景圖像；其次是運用準確合適的分割技術，直到去背景及識別定位成熟草莓的目的。視頻圖像一般需要在自然光下采集，以便圖像處理系統準確識別處理。視頻圖像中除了成熟的草莓，其他圖像均視為背景圖像。本文目標果實識別定位系統根據顏色以及灰度特征分割，力求提高成熟果實識別定位的成功率。

3.1 機器視覺中的顏色表示

根據顏色色度學，人們可以準確地識別色彩不一的物體或物體的不同部位。自然界中可見光的波長一般在400～700mm之間，根據紅、綠、藍三色光原理可以對光譜帶的光能量進行采樣識別。色度學從20世紀30年代開始發展，已經出現了包括RGB、HIS、L*a*b等顏色模型。其中，RGB顏色模型以三基色為基準，通過改變三原色的數量，可以混合出不用的顏色。本文研究的草莓自動識別與定位技術采用技術比較成熟的RGB顏色模型。RGB顏色模型如圖5所示。

圖5 RGB顏色模型

3.2 圖像分割原理與目標果實的識別

雙目機器視覺系統最核心的部分就是圖像的分割與識別，其直接決定目標成熟草莓的精準識別與定位。圖像分割技術一直受到研究者的重視，到目前為止，圖像分割的方法已經有1000種多。由于電子技術和色彩的局限性，以前的絕大多數圖像分割技術是以灰度學為基礎的，近年來電子技術的高速發展及彩色攝像機的推廣，彩色分割技術開始推廣開來。本文研究的對象是根據生長階段而發生顏色演變的草莓個體，草莓生長的環境不同，具體位置也不一樣。光照的變化及背光的陰影都會對視頻圖像采集造成很大的影響，進而降低系統識別定位的準確率。采用圖像分割技術進行識別的結果如圖6所示。

圖6 圖像分割技術識別結果

草莓視頻圖像通過雙CCD工業攝像頭獲取，然后利用圖像分割技術，因采集到的果實圖像均為彩色，使得圖像分割更加準確無誤。RGB顏色模型與XYZ系統的對應關系為

(1)

將XYZ模型進行轉換，可以得到相應色度坐標為

(2)

本文主要根據圖像分割技術，區分出成熟草莓、枝葉及背景，然后與系統收集的成熟草莓顏色值進行對比分析，判斷出視頻圖像中的成熟草莓，完成目標果實識別。

4 草莓采摘機器人避障設計

草莓的莖一般低于葉或近相等，側生小葉基部偏斜。因草莓在枝葉上位置不一，在采摘被枝葉遮擋的草莓時，容易碰撞到草莓枝桿，而枝桿韌性比較強，容易折斷，也容易損壞采摘機械手。針對這一問題，進行了枝葉等障礙物檢測的研究，通過提取與采集障礙物，并與特定特征值匹配，定位障礙物三維空間位置。在檢測過程中，重點就是圖像的分割，根據實際研究分析的草莓枝葉特征，結合RGB顏色模型進行對比，利用迭代閾值分割法去除枝葉以外的區域，再采用灰度對比辦法分割出圖像的枝葉區域。樹枝區域提取結果如圖7所示。

獲得草莓枝桿區域提取結果后，然后基于C空間對障礙物建立數學模型，利用雙目機器視覺系統反算障礙物三維空間信息，結合采摘機械手運動學原理，求出機械手臂的運動范圍θ，就可以成功避開采摘路徑上的障礙物。機器手臂避障運動角度如圖8所示。

圖7 枝桿區域提取結果

圖8 機器手臂避障運動角度

枝桿障礙物一般為直線型，重點需要考慮其長度，采摘機械手需要在一定角度內避開枝桿障礙物，具體的C空間計算公式為

(3)

(4)

(5)

其中，l1、l2分別為機械長短手臂的長度；θta與θba分別為機械執行手臂的最大最小角度；d為機械手臂的連桿偏移量。

5 實驗與結果分析

針對大棚內草莓的不同生長情況，一共選取了圖6中的3幅圖片進行采摘與避障實驗，3幅圖片中一共有12顆成熟草莓。其中，有被草莓枝葉遮擋的草莓；但這些草莓的形狀還比較清晰，輪廓流失比重不大。因為草莓大小不一，為了準確計算草莓識別的相對誤差，需考慮草莓的圖像面積。偏差誤差的計算公式為

(6)

其中，s是識別草莓的圖像面積。對于測試中的12個成熟草莓，無論是獨立沒有遮擋，還是有枝葉遮擋或者草莓之間存在相互重疊，只要是目標果實的輪廓存在1/2以上時，該系統均可以很好地識別出成熟果實目標，并且相對誤差在2.5%以下。草莓的輪廓并不是呈圓形，系統在計算過程中一般用圓形對比計算。此外，成熟的目標果實一般顏色比較鮮艷，發光比較強烈。因此，識別定位的時候一般會存在一定的相對誤差。對于個別誤差比較大的個體，在計算過程中可以增加一定的人工補償，盡量減小計算誤差，提高系統識別能力。

表1 目標果實識別結果

6 結論

以大棚溫室種植的草莓為研究對象，以實現成熟目標果實識別及躲避機械臂采摘為目的，建立雙目機器視覺系統采集圖像信息。同時，利用RGB顏色模型對成熟草莓與背景的顏色架構進行分析，采用灰度閾值分割法進行分割，運用迭代閾值法解決草莓識別與避障問題，設計和實現了草莓采摘機器人智能控制系統。實驗表明：該草莓識別與避障控制系統計算方法較好，計算量小，靈活性高，處理速度快，具有較高的實時性和研究價值。

[1] 陳利兵.草莓收獲機器人采摘系統研究[D].北京：中國農業大學,2005.

[2] 申川.基于雙目立體視覺系統的設施農業作物位置信息獲取[D].杭州：浙江大學,2006.

[3] 付中軍.果蔬采摘機器人視覺技術研究及系統構建[D].沈陽：沈陽工業大學,2014.

[4] 曲金芳.果蔬采摘機器人立體視覺技術研究[D].長春：吉林大學,2008.

[5] 李占坤.果樹采摘機器人控制系統研究與設計[D].鎮江：江蘇大學,2010.

[6] 袁志英,陳進.果蔬采摘機器人的發展現狀、問題及對策分析[J].四川農業與農機,2014(6):16-18.

[7] 馬強.蘋果采摘機器人關鍵技術研究[D].北京:中國農業機械化科學研究院,2012.

[8] 占求香.成熟柑橘識別與樹干輪廓提取方法的研究與實現[D].長沙：湖南大學,2012.

[9] 崔玉潔,張祖立,白曉虎.采摘機器人的研究進展與現狀分析[J].農機化研究,2007(2):4-7.

[10] 戴劉江,張鐵中,楊麗.基于DSP的農業機器人關節控制器的研究[J].伺服控制,2007(5):56-57.

[11] 戴劉江,張鐵中,楊麗.基于DSP的草莓采摘機器人關節控制器的研究[J].中國科技論文在線,2007(3): 231-234.

[12] 張鐵中,陳利兵,宋健.草莓采摘機器人的研究:Ⅱ.基于圖像的草莓重心位置和采摘點的確定[J].中國農業大學學報,2005(1):48-51.

[13] 宋健,張鐵中,徐麗明,等. 果蔬采摘機器人研究進展與展望[J].農業機械學報,2006(5):158-162.

[14] 呂繼東,趙德安,姬偉,等.開放分布式蘋果采摘機器人控制系統研究及實現[J].小型微型計算機系統,2012(2):289-292.

[15] 馮青春,鄭文剛,姜凱,等.高架栽培草莓采摘機器人系統設計[J].農機化研究,2012,34(7):122-126.

[16] 呂繼東,趙德安,姬偉,等.蘋果采摘機器人對振蕩果實的快速定位采摘方法[J].農業工程學報,2012(13):48-53.

[17] 張凱良,楊麗,王糧局,等.高架草莓采摘機器人設計與試驗[J].農業機械學報,2012(9):165-172.

[18] 孟海斌,張紅雨.嵌入式系統電源芯片選型與應用[J]. 單片機與嵌入式系統應用,2010(12):7-10.

[19] 徐世亮.農業采摘機器人設計與研究[J].硅谷, 2014(12):21-22.

[20] 紀超,馮青春,袁挺,等.溫室黃瓜采摘機器人系統研制及性能分析[J].機器人,2011(6):726-730.

[21] 王麗麗,郭艷玲,王迪,等.果蔬采摘機器人研究綜述[J].林業機械與木工設備,2009(1):10-11,14.

[22] 張凱良,楊麗,張鐵中.草莓收獲機器人末端執行器的設計[J].農機化研究,2009，31(4):54-56,60.

[23] 高浩,王虎,陳軍.獼猴桃采摘機器人的研究與設計[J]. 農機化研究,2013,35(2):73-76.

Research on the Recognition of Ripe Fruit of Strawberry Picking Robot Based on ARM and FPGA

Ma Ying, Yang Xu

(Henan Polytechnic Institute, Nanyang 473000, China)

At present, strawberry picking mainly rely on manual tasks, low efficiency, loss of man-made is relatively large, reducing the fruit of economic income, also influences the development of strawberry cultivation. Therefore, the production of strawberry picking robot is the key to solve the problem of artificial picking. In this paper, the characteristics of strawberry cultivation and the techniques of artificial picking, based on ARM and FPGA intelligent control module and binocular machine vision technology, were designed and studied. The experimental results show that the mature fruit of strawberry picking robot and the obstacle avoidance control system can accurately identify the mature strawberry fruit, and can avoid the obstacles in the process of picking.

strawberry picking robot; machine vision; fruit localization; obstacle avoidance; ARM; FPGA

2015-12-16

河南省科技攻關項目(152102110161)

馬 瑛(1982-)，男，河南南陽人，講師，碩士。

楊 旭(1983-)，男，河北平山人，講師，(E-mail) myandyx@qq.com。

S225.93；TP391.41

A

1003-188X(2017)02-0181-05