果實摘取機械手的果實識別方法與摘取路徑規劃

，

(沈陽工學院，信息與控制學院軟件教研室，沈陽 113122)

0 引言

近年來，我國農業發生了翻天覆地的變化，科學技術在農業生產過程中占據著越來越重要的作用，有效的推動了現代農業的發展。在科技逐漸進步的過程中勞動力資源豐富不再是我國農業的優勢，逐漸的改變了社會經濟結構。應當通過對現代生產技術的應用以及農業機械設備的推廣來提升生產效率。作為農業大國，我國政府對于農業的發展非常重視，投入了大量的資金來進行農業技術科研，有效的推廣并使用了農業生產機械以及各項先進農業技術，對于先進技術和設備在我國的推廣有一定的推動作用。我國的農業生產在快速發展的過程中進一步加強了其在國民經濟中的基礎地位[1-2]。

目前采摘機器人在果蔬生產中得到了一定的應用，相比于人工采摘，機器人在單位時間內所采摘果實的質量以及數量有非常明顯的差距。同時機器人在采摘的過程中會損傷果實。應當通過高精度視覺系統技術的研發來解決這一問題，保證采摘果實的準確度和速度。因此需要對機器視覺技術進行深入的研究，該技術與很多學科方面的知識存在緊密的聯系，主要包括過程控制學、生物學、影響成型、計算機學以及光學原理等等[3-4]。

1 果實識別與摘取機械手

果實識別與摘取機械手總體結構如圖1所示，機械手采用履帶式行走底盤在果林間行走，通過視覺傳感器獲取果樹信息，通過圖形識別技術獲取目標果樹中的果實數量和位置信息，從而控制機械手完成摘取果實的任務。

圖1 果實識別與摘取機械手總體結構

主要技術問題：

(1)果實圖形識別技術。通過圖形分割處理技術從采集到的原始圖形中分割出目標果實圖形，再利用由遺傳算法優化后的神經網絡算法構建果實圖形識別模型，完成對果實圖形的識別，并保證了識別效率[5]。

(2)機械手的路徑規劃。

在使用機械手摘取果實的過程中應當保證機械手運行路徑的優化，這樣可以降低機械手運行成本。因此首先使用圖像識別技術識別出機械手當前視線中的果實數量和位置，利用遺傳算法對機械手的運行路徑進行優化，并將其結果與隨機路徑規劃和人工路徑規劃的結果進行對比。

2 圖像分割處理

在跟蹤和識別重疊果實的過程中的技術難點是分割重疊果實，后續匹配和識別圖像會受到分割效果的影響。盡管在實時性上固定閾值分割具有一定的優勢，但不具有足夠的適應性，特別是在圖像較為復雜的情況下，通過對動態閾值分割法的影響，充分利用果實顏色與蘋果圖像背景所存在的不同，以顏色為基礎對Otsu法進行了應用[6]。

σ2(t)=ω0(μ0-μ)2+ω1(μ1-μ)2=

ω0ω1(μ0-μ1)2

(1)

使得σ2(t)取得最大值的t就是分割目標與背景的最佳閾值T。

3 果實圖像識別模型構建

3.1 圖像識別算法

在分析處理后果實圖像的過程中采用了神經網絡算法，這樣可以對圖像中的果實進行識別。BP神經網絡是一種多層前饋型網絡，能夠實現逆向反饋誤差信號并前向輸入信號。輸出信號在進行前向運輸過程中途徑為輸入層-隱含層-輸出層，可以逐層處理。反饋可以通過輸出層輸出和期望輸出的對比來實現，通過兩個的差值可以對網絡結構中的權值進行調整。經過對此訓練以后就可以保證期望輸出與實際輸出比較接近，進而保證閾值和權值合適。

因此非線性是神經網絡函數比較明顯的特顯，其中輸出層輸出的變量為非線性函數的因變量，輸入層輸入的變量為自變量，這樣函數映射就能夠形成。以神經網絡相關特性為基礎，在對識別質量影響因素進行充分分析的基礎上，應用神經網絡函數分析這些因素和識別質量之間的關系，其中可以通過權值和閾值將這些關系體現出來。

然而在BP神經網絡應用的過程中存在以下問題：首先權值和閾值的生成是隨機的，局部最優的出現會使得訓練效果降低；然后學習率無法有效的確定，既無法保證過大的學習率，而且學習率太小會使得訓練過程放緩，降低了收斂速度。采用了兩種方法來解決該問題：首先根據遺傳算法來進行權值和閾值的尋找，這樣局部最優問題就能夠避免出現；然后對原有的固定學習率進行改進，這樣就可以有效的保證學習效率的提升。

最為一種自適應以及可以并行運算的算法，在組合優化、機器學習、自適應控制以及人工生命過程中遺傳算法應用比較廣泛，在現代智能計算中發揮著非常重要的作用，在對遺傳算法進行應用的過程中通過對二進制和多進制的采用來編碼所優化參數，然后產生n個隨機的初始種群，根據種群優化的目標反向可以對種群的適應度函數進行確定。其中交叉操作通過對兩個染色體的基因進行交換來實現新個體的產生，變異操作決定了GA的全局搜索能力。其中變異操作是指對染色體的相關基因進行變異，新個體可以通過變異操作來產生，通過變異才做還能夠確定GA的全局搜索能力。利用文獻[8]中的改進算法可以優化遺傳優化算法，進化速度可以通過常規交叉和變異操作的改動來提升。首先應用免疫算法中所存在的免疫記憶機制，對優秀個體進行保護，不進行變異和交叉操作，保證能夠快速的找到最優解；然后對變異過程中的變異概率進行改變，在培訓適應度的基礎上對后30%的個體進行標記，然后為了保證出現最優個體出現的概率更高，對變異操作進行優化，這對于進化速度的提升有非常積極的作用；最后，由于染色體的長度較長，因此采用多點交叉的方法來保證優秀個體的產生。

3.2 識別模型構建

由于BP神經網路的應用比較依賴于權值以及初始閾值，而隨機選取的方法會導致局部最優現象的出現。然而作為一種自適應概率搜索算法，全局優化是遺傳算法應用的主要目的，應當保證全局最優解的獲取，因此應用遺傳算法在優化和尋優神經網絡初始閾值和權值時能夠進行自適應學習，對于學習和訓練效率的提升有非常積極的影響，下圖所示為優化流程。

圖2 遺傳算法優化神經網絡流程

下面對遺傳算法優化神經網絡的步驟進行簡單的介紹。

步驟1：采用隨機的方法生成NL個染色體，使用實數方法對這些染色體進行編碼，染色體長度可以通過下式進行計算：

N=Ni×Nh+No×Nh+Nh+No

(2)

式中：Ni表示神經網絡輸入層節點數；Nh表示神經網絡隱含層節點數；No表示神經網絡輸出層節點數。

步驟2：均方差通過將染色體的權值和閾值帶回神經網絡進行計算；

步驟3：將均方差帶回公式(1)和(2)進行選擇操作；

步驟4：回到步驟2，進行多次均方差的運算保證均方差收斂，這樣就可以得到神經網絡的最終閾值和權值[8]。

4 摘取機械手運動控制

4.1 果實目標確定

通過圖像識別技術得到圖像中的果實位置后，需要控制位于圖像中心的機械手移動到果實位置，摘取機械手移動控制示意圖如圖3所示。

圖3 摘取機械手移動控制示意圖

圖像采集系統采集到的圖像具有600個垂直像素點和800個水平像素點，得到分辨率為800×600的圖像，其中左上頂點為圖像中像素坐標原點，就可以得到圖像中心坐標(400，300)。通過對步進電機控制機械手的運動進行控制摘取果實，進而得到對應的移動步數。

4.2 摘取機械手路徑規劃

在使用機械手摘取果實的過程中應當保證機械手運行路徑的優化，這樣可以降低機械手運行成本。在機械手由先前位置移動到當前位置過程中所耗費的成本就是機械手行進成本。其中兩個位置之間的距離設定為Dij, 單位長度的機械手行進成本設定為a, 則可以按照下面的公式計算完成N個果實摘取的機械手行進成本：

(3)

通過數學方法能夠得到典型TSP以及機械手路徑規劃問題的精確解，然而在節點數量較多的問題中這種精確解法并不適用。在對這種組合優化問題進行求解的過程中蟻群算法、神經網絡算法、人工免疫算法、遺傳優化算法以及粒子群優化算法能夠發揮比較好的作用。因此在研究機械手路徑優化的過程中應用遺傳優化算法。

作為一種模擬進化算法，自然選擇機理、自適應尋優以及自然遺傳機制是遺傳算法的基礎。在對新達爾文主義生物遺傳進化規律進行模仿的過程中衍生出了遺傳算法。

使用遺傳算法進行機械手路徑規劃優化的基本流程進行介紹[9-10]。

步驟 1：產生初始種群，采用隨機的方法產生一組初始個體，并利用這些個體產生初始群體，該群體表示一些可行解的集合；

步驟 2：對群體中每個個體的適應函數值進行計算，同時根據收斂條件進行判斷，當滿足條件是就將搜索結果輸出，如果不滿足就運行下一步；

步驟 3：根據優勝劣汰原則在個體適應度的基礎進行復制操作，保證所選擇的個體具有較高的適應度；

步驟 4：通過交叉操作來對交叉概率(Pc)的取值進行確定，根據Pc的大小來對交叉的個體數目進行確定，在交叉操作過程中獲得的新個體將其父輩個體的特性包含在內；

步驟 5：通過變異操作來對變異概率(Pm)的取值進行確定，進行變異的個體數目可以根據Pm的大小來選擇，種群多樣性通過變異能夠提升，進而避免算法局部最優的現象出現；

步驟 6：得到新種群，返回步驟 2。

圖4所示為使用遺傳算法進行機械手路徑規劃優化的操作流程圖。

圖4 基于遺傳算法的路徑優化操作流程圖

5 果實識別與摘取路徑規劃實例分析

5.1 果實圖像特征提取

下面通過對采集到的果樹圖像進行果實圖像特征提取實驗。果樹圖像處理過程如圖5所示。

圖5 蘋果果實圖像處理過程

5.2 果實圖像識別結果分析

下面通過實驗驗證研究的果實圖像識別模型的準確率。使用常規BP神經網絡算法建立基于Otsu 法圖像分割方法的果實圖像識別模型作為對比算法。實驗樣本見表1所示，樣本中的完整果實比例逐漸減少。

表1 蘋果果實識別測試樣本

圖7 機械手行進路徑優化實例2(40個果實)

實驗結果表明，隨著樣本中的完整果實比例逐漸減少，兩種模型的識別準確率均有所下降，在僅有60%完整果實比例的樣本中本文研究的識別模型仍保持較高的識別準確率，而常規BP神經網絡算法建立的識別模型誤差較大，嚴重影響識別模型的性能，不適用于實際生產中。

5.3 機械手路徑規劃

以最低成本摘取果實路徑規劃任務為實例，重點考慮最小化機械手行進成本，研究基于遺傳優化算法的機械手路徑規劃性能。設定種群規模為40，交叉概率0.6，變異概率0.05[11]。由采集的果樹圖像中隨機抽取多張圖片，識別圖片中果實數量及位置，如圖6(a)、7(a)、8(a)所示。使用遺傳算法對機械手運行路徑進行規劃，適應度函數變化如圖6(b)、7(b)、8(b)所示。進行規劃后得到的機械手路徑如圖6(c)、7(c)、8(c)所示。

圖8 機械手行進路徑優化實例3(60個果實)

機械手摘取20個果實的實例中，進行隨機路徑規劃得到的機械手行進路徑總長度為6 636.5 mm，由人工進行路徑規劃得到的機械手行進路徑總長為6 528.6 mm，由遺傳算法優化后得到的機械手行進路徑總長度為6 452.6 mm。

機械手摘取40個果實的實例中，進行隨機路徑規劃得到的機械手行進路徑總長度為12 062.7 mm，由人工進行路徑規劃得到的機械手行進路徑總長為11 652.2 mm，由遺傳算法優化后得到的機械手行進路徑總長度為10 475.4 mm。

機械手摘取60個果實的實例中，進行隨機路徑規劃得到的機械手行進路徑總長度為17 218.3 mm，由人工進行路徑規劃得到的機械手行進路徑總長為16 012.9 mm，由遺傳算法優化后得到的機械手行進路徑總長度為13 774.9 mm。

三個實例中使用遺傳優化算法得到的路徑相比隨機路徑規劃和人工路徑規劃得到的路徑長度降低2.77%和1.16%、13.2%和10.1%以及19.9%和13.9%。通過三個機械手行進路徑優化實例可以看出，使用遺傳優化算法得到的機械手行進路徑相比隨機路徑規劃和人工路徑規劃所消耗的成本更低。并且隨著果實量的增加，遺傳優化算法得到的機械手行進路徑消耗的成本低的優勢更加明顯。

6 結論

通過圖形分割處理技術從采集到的原始圖形中分割出目標果實圖形，再利用由遺傳算法優化后的神經網絡算法構建果實圖形識別模型，完成對果實圖形的識別。使用遺傳優化算法對機械手行進路徑的規劃過程進行優化。研究結果表明：

(1)隨著樣本中的完整果實比例逐漸減少，兩種模型的識別準確率均有所下降，在僅有60%完整果實比例的樣本中本文研究的識別模型仍保持較高的識別準確率，而常規BP神經網絡算法建立的識別模型誤差較大，嚴重影響識別模型的性能，不適用于實際生產中。

(2)使用遺傳優化算法得到的機械手行進路徑相比隨機路徑規劃和人工路徑規劃所消耗的成本更低。并且隨著果實數量的增加，遺傳優化算法得到的機械手行進路徑消耗的成本低的優勢更加突出。使用遺傳算法等優化算法進行機械手行進路徑規劃的優化，可提高機械手行進效率，降低能耗以及機械手摘取果實成本。