采摘機器人運動目標逼近方法研究—基于分裂迭代和模糊算法

王　娜，湯金金

(1.河南工業職業技術學院 機電自動化學院，河南 南陽　473000；2.濟源職業技術學院 機電工程系，河南 濟源　459000)

0　引言

為了適應農業的發展，減少勞動成本，提高勞動生產率，在水果采摘領域引入采摘機器人是當前農業研究的焦點問題[1-2]。但是，由于采摘機器人的作業過程中受到風力因素和枝葉之間的擾動，作業環境變得異常復雜，要想采摘機器人得到長足的發展，還需要解決很多關鍵問題[3-5]。在果實采摘的過程中，無論采用何種機械采摘執行末端，都不可避免地會造成水果振蕩。采用的一般方法是等待果實靜止后再執行采摘，會大大地降低采摘效率[6-7]。為了適應擾動狀態下果實采摘的作業需求，需要設計果實運動目標下的采摘方法[8]。幀間差分方法是最常用的運動目標檢測方法，該方法采用時間間隔較短的兩幀圖像為依據，近似地認為其背景的灰度值是不變的，只要檢測相對位置即可[9-13]。在目標逼近時，進行差分計算便可以鎖定果實目標，特點是檢測速度快、計算效率高、對外界條件的適應性好，將其應用在采摘機器人的果實運動目標逼近算法上將會發揮巨大的效用[14-18]。

1　基于運動目標捕捉的采摘機器人設計

在視覺系統的設計上，同傳統的工業機器人相比較，農業機器人的視覺系統設計要求更高。這是由于工業機器人的工作地點一般是固定的，而光線和作業環境也可以人為設置[19-20]；而采摘機器人的作業環境相對復雜，需要從復雜多變的氣候條件和作業環境中識別作業目標，經常會遇到目標能見度差、目標非靜止等問題，且不同作物的特征形狀有所不同，其獲得空間信息的方法也有所不同。本次研究主要針對果實在采摘過程中遇到的振動性造成采摘機器人不能準確地識別目標空間信息的問題，采用虛擬仿真和試驗相結合的方法，對采摘機器人整機進行改進。改進后的采摘機器人設計基本框架如圖1所示。

圖1　整機設計總體框架

采摘機器人作業過程中會出現多種擾動現象，最常見的是在采摘過程中由于風力影響和枝葉之間的擾動出現的果實運動[21]。因此，在設計時除了建立靜止果實的特征數據庫之外，還要考慮針對果實振動過程的特征建立特征數據；在獲取空間坐標時，可以采用幀間差分的方法，捕捉運動果實的實時特征，從而待采摘果實目標的坐標。運動目標捕捉流程如圖2所示。

圖2　運動目標捕捉流程

果實運動目標的獲取主要采用高清攝像機攝取圖像的方法，通過圖像分析對果實目標的空間信息進行核算，從而獲取目標的具體空間位置坐標。對于運動圖像的檢測，最常用的是幀間差分方法。但這種方法在計算過程中會產生大量的子圖像，不利于圖像的捕捉和處理。因此，可以采用分裂迭代模糊聚類的方法將圖像進行分類處理，從而得到準確的目標信息。

2　運動果實目標捕捉和幀間差分迭代模糊控制算法

運動目標圖像的逼近和靜止圖像的逼近有所不同。由于圖像的運動性，需要不斷地對實時視頻的各幀圖像進行掃描分析[22-24]。假設圖像序列表示第k和k-1幀圖像的灰度值，分別為fk(x,y)、fk-1(x,y)，Dk(x,y)表示差分運算結果，其表達式為

Dk(x,y)=

(1)

采用圖像幀間差分算法對運動果實圖像進行處理時，經常會出現空洞的現象[25]。這是由于目標的運動性造成相鄰兩幀的運動果實相互重疊。因此，在實際進行識別時可以在目標周圍畫一個最小外接矩形，然后將處理后的圖像與第k幀圖像進行相減，最終得導完整的目標運動圖像區域。為了提高圖像的處理質量和運動果實目標逼近的精度，需要對圖像進行去噪處理。因此，在幀間差分運動之前可以進行迭代處理，其流程如圖3所示。

圖3　幀間差分和迭代處理

分裂迭代可以降低幀間差分運算，降低噪聲影響。假設運動果實目標的圖像M∈Rn×n，則稱MB|C(B,C∈Rn×n)為一個分裂，將其相應的記做(B,C)。假設Bk、Ck、Ek、Fk、Dk圖像數據為非負對角陣，且存在如下3個條件：

1)M=Bk+Ck，k=1,2,...,a.|Bk|=0;

2)Bk=Ek+Fk,k=1,2,...,a.|Ek|=0;

3)ak=1，Dk=I(n×n階單位陣)。

如果同時滿足以上3個條件，則稱Bk、Ck、Ek、Fk,Dk為圖像M的二次多分裂。

在進行幀間差分分裂迭代運算后，會產生較多的分裂迭代子圖像，可以采用模糊分類的方法，將圖像進行分類，最終逼近運動果實目標，如圖4所示。

圖4　幀間差分分裂迭代模糊聚類過程

本次將廣義鐘形函數引入到迭代分裂模糊聚類算法中，其隸屬度函數為

(2)

其中，mi為聚類中心；a、b為計算參數，其數值一般是正數。μ(x)為隸屬度函數；λ(x)為非隸屬度函數；π(x)為直覺指數π(x)，三者的關系式為

μ(x)+λ(x)+π(x)=1

(3)

通過模糊聚類后，圖像運動后的位置將被確定。由此可以使采摘機器人實時逼近運動目標，從而達到在外接擾動的條件下精確鎖定果實目標的目的。

3　采摘機器人運動果實目標逼近實驗測試

為了使分裂迭代和模糊控制方法在運動目標的逼近上發揮效果，需要采用幀間差分算法對模型進行驗證[26]。虛擬場景采用軟件建模的方法，主要包括采摘機器人、運動果實目標和果樹3部分，如圖5所示。

圖5　虛擬場景模型

虛擬場景的搭建有利于對算法的驗證。利用虛擬實驗場景，使用MatLab軟件可以方便地完成圖像處理和算法編程。通過對第2節中算法的編程，實現了基于分裂迭代和模糊算法的運動目標幀間差分算法。

為了進一步驗證算法在實際操作中的可行性，采用PC處理機的形式，將硬件程序植入采摘機器人的控制系統中。通過試驗測試(見圖6)，對采摘過程的成功率進行了統計，并分析了存在采摘誤差的主要原因，如表1所示。

試驗采摘了1 000個果實，采摘機器人總體采摘成功的概率為95.3%，成功率較高。采摘失敗的原因主要是由3點引起的，主要包括果實空間信息獲取失敗、果實分離失敗及果實目標逼近失敗，而目標逼近失敗的概率較低。

圖7表示采用虛擬軟件對果實運動圖像識別的結果。由識別結果可以看出：采用分裂迭代模糊聚類的幀間差分方法，可以有效地對運動目標進行識別。其識別誤差統計如表2所示。

圖6　試驗實際測試實物圖

失敗類型失敗數量比例失敗原因果實空間信息獲取失敗435．2枝葉遮擋，光線不均勻果實分離失敗544．6枝條為新生長枝條果實目標逼近失敗221．2目標空間計算錯誤

圖7　果實運動圖像識別

誤差/mm果實數量百分比/%0～327527．53～636236．26～936336．3

由誤差統計結果可以看出：采用分裂迭代模糊聚類的幀間差分方法，即便是外界存在擾動，使果實圖像運動，圖像識別的效果和坐標獲取的成功率都不會受到太大影響，因此相應的空間坐標獲取的誤差就會減小。

4　結論

待采摘果實的振蕩擾動問題是影響采摘機器人目標定位不準確的主要因素之一。如果等待果實靜止再采摘，將會大大影響水果采摘的效率。本設計采用的運動目標逼近方法可以有效地解決這一問題，從而提高了采摘機器人的作業質量和作業效率。為了驗證方法的可靠性，采用虛擬仿真和樣機試驗分別對幀間差分的分裂迭代模糊聚類算法進行了驗證，結果表明：利用該方法的果實成功采摘率較高，除了果實枝葉本身的影響因素之外，目標定位信息對采摘失敗的影響因素較小。對采摘目標定位誤差進行統計發現：采用該方法獲取的運動果實目標準確，誤差較小，可以滿足高效采摘機器人的設計需求，是現代采摘機器人定位算法的一種新的突破，為采摘機器人高精度定位方法的設計提供了一種新的方案。

參考文獻：

[1]呂繼東,趙德安,姬偉,等.采摘機器人振蕩果實動態識別[J].農業機械學報,2012,43(5)：174-178.

[2]熊俊濤,鄒湘軍,陳麗娟,等.采摘機械手對擾動荔枝的視覺定位[J].農業工程學報,2012,28(14):36-41.

[3]王天健,吳振升,王暉,等.基于快速傅里葉變換的電力系統頻率實時計算方法[J].鄭州大學學報:工學版,2011,32(3):81-84.

[4]寧志剛,程輝,龔學余,等.適用無線傳輸的圖像 ROI 提取及優先編碼研究[J].南華大學學報:自然科學版,2012,26(2):45-49.

[5]寧志剛, 楊恒, 楊玲,等.彩色序列車牌圖像超分辨率復原技術研究[J].自動化儀表, 2013, 34(11):6-8.

[6]陳軍, 王虎, 蔣浩然,等.獼猴桃采摘機器人末端執行器設計[J].農業機械學報,2012,43(10):151-154,199.

[7]崔永杰,蘇帥,呂志海,等.基于 Hough 變換的獼猴桃毗鄰果實的分離方法[J].農機化研究,2012,34(12): 166-169.

[8]崔永杰,蘇帥,王霞霞,等.基于機器視覺的自然環境中獼猴桃識別與特征提取[J].農業機械學報,2013，44(5): 247-252.

[9]王輝,毛文華,劉剛,等.基于視覺組合的蘋果作業機器人識別與定位[J].農業機械學報,2012,43(12):165-170.

[10]魏澤鼎,賈俊國,王占永.基于視覺傳感器的棉花果實定位方法[J].農機化研究,2012,34(6):66-68,112.

[11]高春城.我國農業發展的資源環境問題與展望[J].當代生態農業,2013,3(4):151-154.

[12]萬寶瑞.當前我國農業發展的趨勢與建議[J].農業經濟問題,2014,4(1):110-114.

[13]徐茂,鄧蓉.國內外設施農業發展比較[J].北京農學院學報,2014,29(2):75-79.

[14]趙其國.當前我國農業發展中存在的深層次問題及對策[J].生態環境學報,2013,22(6):911-915.

[15]趙其國,黃國勤,王禮獻.中國生態安全、農業安全及“三農”建設研究[J].農林經濟管理學報,2014,13(3): 237-243.

[16]袁挺,紀超,陳英,等.基于光譜成像技術的溫室黃瓜識別方法[J].農業機械學報,2011,42(S1):172-176.

[17]熊俊濤,鄒湘軍,陳麗娟,等.采摘機械手對擾動荔枝的視覺定位[J].農業工程學報,2012,28(14):36-41.

[18]郭杰鋒,陳桂林.結構元素選取對基于形態學紅外點目標檢測的影響[J].半導體光電,2009,30(3): 469- 472.

[19]陳曦,譚冠政,江斌.基于免疫遺傳算法的移動機器人實時最優路徑規劃[J].中南大學學報:自然科學版, 2008, 39(3):577-583.

[20]呂繼東,趙德安,姬偉,等.采摘機器人振蕩果實動態識別[J].農業機械學報,2012,43(5):173-196.

[21]傅隆生,張發年,槐島芳德.獼猴桃采摘機器人末端執行器設計與試驗[J].農業機械學報, 2015,46(3):1-8.

[22]高浩,王虎,陳軍.獼猴桃采摘機器人的研究與設計[J].農機化研究, 2013,35(2):73-76.

[23]紀超, 馮青春,袁挺,等.溫室黃瓜采摘機器人系統研制及性能分析[J].機器人,2011, 33(6):726-730.

[24]劉繼展,李萍萍,倪齊,等.番茄采摘機器人真空吸盤裝置設計與試驗[J].農業機械學報,2010,41(10):170- 173,184.

[25]陸化珠,蔡健榮,孫力,等.基于超聲測距的柑橘收獲機器人應急避障系統[J].農機化研究,2011,33(12): 151-153.

[26]呂繼東,趙德安,姬偉.蘋果采摘機器人目標果實快速跟蹤識別方法[J].農業機械學報, 2014,45(1):65-72.

ID:1003-188X(2018)04-0058-EA