蘋果采摘機器人本體導航系統設計與研究—基于極限學習機與圖像處理

秦曉明,谷利芬

(焦作師范高等專科學校 計算機與信息工程學院,河南 焦作 454000)

0 引言

隨著自動化、微電子技術和人工智能的發展,機器人的應用也越來越普及,并成為推動工業4.0的重要力量。深度學習被引入機器學習領域與大數據的完美結合加快了人工智能實現的步伐,大大推動了機器人路徑規劃和導航技術的發展,近年來備受學術界和工業界的廣泛關注。為此,基于極限學習機與圖像處理技術,設計了一套蘋果采摘機器人本體導航系統,對采摘機器人的路徑導航具有一定的參考價值。

1 蘋果采摘機器人本體模型

本文采用具有偏航自由度的蘋果采摘機器人本體模型與輪胎模型相結合的方式描述其動力學,其力學模型如圖1所示。

圖1中,f、r分別為采摘機器人前、后輪;s為車體側方向;l為車體縱向;v是車體重心相對于車體框架的速度矢量;α和β分別表示輪胎和車輛的滑移角,定義為速度矢量與其縱軸之間的角度;δ是輪胎的轉向角;φ表示車輛相對于慣性框架的姿態;Lf和Lr表示從前軸到車輛重心的距離及從后軸到車輛重心的距離。

對于蘋果采摘機器人本體與輪胎動力學模型,其本體的運動可由Fx、Fy和動量Mz施加在采摘機器人本體的重心上的函數表示, 即

(1)

其中,m為采摘機器人的質量。

圖1 蘋果采摘機器人本體與輪胎動力學模型

根據采摘機器人本體與輪胎動力學模型,建立力與動量平衡公式,即

(2)

其中,Fsf、Fsr、Flf、Flr為施加在每個輪胎上的側向和縱向輪胎力。

根據前后輪的受力情況,可以得出

Fl=fl(α,s,μ,Fz),Fs=fs(α,s,μ,Fz)

(3)

其中,Fz為采摘機器人本體的總垂直載荷,s是定義為輪胎的滑移率,μ為道路摩擦因數。

采摘機器人本體的運動方程為

(4)

2 蘋果園區特征目標的圖像處理

2.1 圖像預處理

蘋果采摘機器人在實際的作業中,由于園區環境復雜和其他不確定因素,會使得視覺傳感器采集到的圖像質量較差,因此需要進行預處理,降低圖像噪音,增強有效的數據信息,便于系統進行分析和處理。圖像的預處理主要包括灰度化、濾波、二值化處理、形態學處理及邊緣檢測等流程,如圖2所示。

圖2 蘋果園區特征目標的圖像預處理

在圖像預處理中,首先進行灰度化處理,再采用濾波器增強圖像畫質,然后采用Ostu分割法進行二值化處理,并進行膨脹(Dilation)和腐蝕(Erosion)形態學處理,最后進行邊緣檢測處理。其中,濾波處理直接影響后續流程的處理效果,尤為重要。

本文采用線性濾波對視覺傳感器采集到的圖像進行處理,包括均值濾波及高斯濾波等,如圖3所示。

圖3 線性濾波流程圖

線性濾波的基本流程為:①建立圖像處理的掩模模板;②采用逐一像素移動掩模的方式進行濾波;③利用線性濾波公式計算每個像素點(x,y),則有

R=w(-1,-1)f(x-1,y-1)+
w(-1,0)f(x-1,y)+…+w(1,1)f(x+1,y+1)

(5)

1)均值濾波。均值濾波是典型的線性濾波算法,基本思路是遍歷所有像素點,并以遍歷點為中心,求出模板中像素平均值來代替原來像素值。假設某一數字圖像的原始圖像f(x,y)大小為N×N,濾波處理后為g(x,y),則均值濾波的求解表達式為

(6)

圖4 5×5均值濾波處理模板

2)高斯濾波。高斯濾波是一種線性平滑濾波,采用加權均值進行濾波處理,主要用于消除正態分布或高斯分布的噪聲。工作時,利用卷積或掩模模板掃描待處理圖像中的像素點,求出鄰域內像素的加權平均灰度值來代替原來像素值,以減少圖像的失真現象。高斯濾波器分布圖如圖5所示。

二維的高斯函數為

(7)

其中,σ為圖像中高斯系數,G(x,y,σ)為圖像中高斯圓對稱系數。

二維的高斯濾波處理表達式為

f2(x,y)=G(x,y,σ)·f1(x,y)

(8)

其中,f1(x,y)和f2(x,y)分別表示原始圖像和高斯濾波后的圖像。

圖5 高斯濾波器分布圖

2.2 蘋果園區路徑圖像的特征提取

經過前期的預處理后,蘋果園區路徑圖像中噪聲被大幅消除,大大增強了有效的特征信息。在處理后的圖像中,進行關聯信息的提取能夠獲取蘋果園區路徑,即蘋果采摘機器人正確導航的行走路徑。提取蘋果園區路徑的特征值,需要提取路徑輪廓,可以采用邊緣檢測提取蘋果園區導航圖像中行走路徑的特征。在圖像預處理的基礎上,本文采用Sobel邊緣檢測算子進行邊緣檢測。

Sobel算法采用一階微分,在多個方向檢測目標的邊緣,同時計算相鄰像素的梯度值,設置閾值進行處理,則有

fx′(x,y)=f(x-1,y+1)+2f(x,y+1)+
f(x+1,y+1)-f(x-1,y-1)- 2f(x,y-1)-f(x+1,y-1)

(9)

fy′(x,y)=f(x-1,y-1)+2f(x-1,y)+
f(x-1,y+1)-f(x+1,y-1)- 2f(x+1,y)-f(x+1,y+1)

(10)

G(f(x,y))=|fx′(x,y)|+|fy′(x,y)|

(11)

其中,fx′(x,y)和fy′(x,y)分別是輸入圖像f(x,y)在x、y方向的一階微分;G(f(x,y))為Sobel算法的梯度值。

求出梯度值G(f(x,y)),然后根據需求和經驗設置一個T值。當梯度值大于T時,可判斷該點為邊緣上的值,設定其灰度值為0,其他點灰度值為255,因此可以得到蘋果園區路徑的最佳特征值。

3 基于極限學習機的路徑導航決策

基于極限學習機的路徑導航主要包括樣本獲取和路徑導航決策兩個過程:前者主要包括對果園路徑信息的預處理、特征選擇等;后者包括學習訓練和分類識別決策等?；跇O限學習機的路徑導航模型如圖6所示。

圖6 基于極限學習機的路徑導航模型

3.1 極限學習機原理

極限學習機是一種單隱含層前饋神經網絡的學習算法,可以大大提高神經網絡的學習速度和泛化學習能力。相比于傳統的神經網絡,其最大的特點是利用單隱層前饋神經網絡,在保證學習精度的前提下比傳統的學習算法速度更快。單隱含層前饋神經網絡是圖像分割識別的重要算法,采用3層神經網絡模型:第1層有n個神經元,對應n個輸入變量;第2層隱含層設置L個神經單元;第3層輸出層的神經元數目共包含m個神經元。極限學習機算法的神經網絡結構如圖7所示。

圖7 極限學習機算法的神經網絡結構示意圖

圖7中,Wi,j為輸入層的權值陣列;On為隱含層的閾值陣列;βi,j為輸出層的權值陣列。

假設具有Q幅預處理后的圖像數據樣本,輸入和輸出矩陣分別為X和Y,則

Xi=[xi1,xi2,…,xiQ]T∈RQ
Yi=[yi1,yi2,…,yiQ]T∈RQ

(12)

設隱含層的激勵函數為g(x),則網絡輸出函數T為

T=[ti1,ti2,…,tim]T∈Rm

(13)

那么,標準單隱含層神經網絡可表示為

(14)

式(13)可以表示為

Hβ=T′

(15)

其中,H是該模型的隱含層輸出矩陣,β是輸出權值矩陣,T是輸出矩陣。

在進行隨機學習和訓練前,Wi,j和On可以隨機選擇,并且在學習訓練中不會發生變化。單隱含層神經網絡輸出層的輸出權值矩陣β可以根據以下最小二乘公式計算得出

minβ=‖Hβ-T′‖

(16)

其解為

(17)

其中,H+為輸出矩陣β的廣義逆矩陣。

3.2 基于極限學習機的路徑導航決策

在路徑導航決策模塊中,首先利用極限學習機算法對路徑信息樣本集特征值進行學習訓練,得到各項特征值的權值,構成路徑導航信息樣本識別器;然后,根據學習訓練得到的路徑導航信息樣本識別器,對采集到的新路徑信息進行識別,確定導航路徑。路徑導航決策流程如圖 8所示。

圖8 路徑導航決策模塊流程圖

4 試驗與結果分析

為了驗證基于極限學習機與圖像處理的蘋果采摘機器人本體導航系統的有效性和可行性,進行了測試試驗。試驗中,在正常天氣下采集50幅蘋果園區的圖像,視覺傳感器為維視的MMV-HS300U3M/C工業相機,像素為2 048×1 536。圖像處理在i7-7700HQ處理器、8G內存的Thinkpad S5服務器上完成,所有程序和測試仿真都在MatLab 2007中實現。MatLab仿真結果如圖9所示,其中黑色區域為障礙物,S為起點,E為終點。

圖9 MatLab仿真結果圖

測試結果表明:蘋果采摘機器人在面對復雜環境時,可以根據圖像處理和路徑導航決策模塊,規劃出合理的行駛路線,在有效避開障礙物的同時,尋求耗時最少、運動代價最小的路線,說明該系統具有很好的避障和路徑導航能力,證實了基于極限學習機與圖像處理的蘋果采摘機器人本體導航系統的有效性、可行性和高效性。

5 結論

描述了一種專用于蘋果采摘機器人路徑導航方法,旨在改進采摘機器人導航和避障能力。蘋果采摘機器人本體導航系統基于極限學習機與圖像處理技術,應用視覺傳感器、圖像處理、人機結合、PC機分析和模擬仿真實現對采摘機器人的路徑導航。試驗結果表明:該系統具有很好的避障和路徑導航能力,能夠有效規劃出路徑最短的避障路徑,從而達到智能導航的目的。