復雜環境下的農機視覺導航技術研究

王紅君，張翔淼，趙 輝,2，岳有軍

(1.天津理工大學 電氣工程與自動化學院天津市復雜系統控制理論與應用重點實驗室， 天津 300384；2.天津農學院工程技術學院， 天津 300392)

0 引言

當前，常見的農業機器人視覺導航技術方法有GPS定位技術、激光導航技術和機器視覺技術等。室外非結構化農田環境復雜多變，雜草、缺株等因素使得基于衛星定位技術的導航系統穩定性降低。對比激光導航和衛星導航技術，機器視覺技術由于開發成本低、抗擾能力強等優點，近年來成為農機導航技術研究的熱點之一。白云龍等[1]針對光照因素導致的圖像分割不準確問題采用灰度化處理、直方圖均衡化和中值濾波對圖像進行預處理，提出了一種基于標記分水嶺算法對圖像進行分割，最后采集導航路徑特征點，使用最小二乘法將特征點擬合成導航路徑。梁習卉子等[2]針對玉米田中的陰影和雜草問題通過增強G分量，弱化R分量與B分量來提高圖像分割的精度。陳繼清等[3]針對果園路面易受雜草和人為干擾的問題提出一種根據噪聲和園林道路的幾何差異快速檢測出道路邊緣的算法，然后根據邊緣點計算道路的均值擬合出邊界線。Sabeethan等[4]首先利用超綠因子對圖像進行分割，再通過基于微感知指數對水平帶沿垂直方向檢測候選特征點，通過最小二乘法擬合直線與曲線作物行。Wang等[5]采用閾值分割和形態學操作提取作物行，生成導航線。Sogaard等[6]根據農作物按列種植的特點，提出利用垂直投影法來提取特征點，特征點的數目可隨圖像高度變化而變化。張雄楚等[7]在處理區域內通過逐行掃描，將像素值為0的像素點坐標平均值作為候補點，然后利用過已知點的Hough變換擬合直線；彭順正等[8]提出了一種“行閾值分割”法提取導航基準線；針對農田圖像分割時數據量較大且易受環境影響的問題，陳曉倩等[10]提出了一種利用SLIC獲取農田圖像的超像素模塊對圖像進行分割的方法。Guijarro等[11]提出了離散小波變換法對綠色植物進行分割。Han等[12]提出了采用支持向量機方法對農田圖像進行分割研究。

主流的視覺導航系統多是針對單一農作物場景或是溫室大棚設計的，對環境復雜的非結構化農田或果園的適應性不強，環境多變造成算法失效或精確度降低；傳統的直線擬合算法對噪聲點比較敏感，奇點的存在容易造成導航路徑偏差。基于此，提出了一種基于YCrCb空間的圖像預處理方法，根據農田圖像的顏色特征進行了分割；利用垂直投影法獲取農作物列信息并采用隨機抽樣的方式擬合出最終的導航直線，進一步克服噪聲點的干擾，提升了導航系統的適應能力和實時性。

1 算法設計

農作物圖像采集過程中受環境因素影響較大，本文首先將采集得到RGB農作物圖像轉換為YCrCb顏色空間，對光照分量Y進行掃描檢測，獲取白點作為參照點，對其他像素點的亮度進行矯正，經過以上步驟可以得到質量較好的農作物圖像；然后采用OTSU閾值分割得到較為粗糙的農作物分割圖像，這時分割后的圖像可能存在一些雜草和土壤等像素的干擾，采用形態學操作進一步精細化處理，從而得到背景和農作物分離的二值圖。基于二值化圖像，采用垂直投影法提取農作物的列特征，再利用這些列特征擬合出導航路徑，圖1表示了本文算法流程。

圖1 本文算法流程框圖

1.1 農作物圖像預處理

對采集到的原始圖像進行預處理的目的是提高圖像質量并減少干擾信息，處理步驟主要分為亮度均衡化、灰度化處理3部分。

農作物圖像在拍攝過程中受光照影響較大，導致采集的農作物圖像亮度不夠均勻，這會導致后續對農作物和背景的分割出現偏差。本文首先對不同光照強度下圖像在YCrCb空間中的Y分量的直方圖進行分析，結果如表1所示，正常光照下圖像的灰度直方圖分布情況比強光或弱光環境分布更加均勻，而分布在50以下和200以上的像素數較少。可見造成圖像光照不均勻的主要原因為圖像亮度分量Y集中在較大區和較小區，因此需要重新對亮度進行量化處理。

表1 不同光照下圖像的Y分量均值

為消除亮度問題的影響，將RGB彩色圖像轉換到YCrCb色彩空間，并對光照分量Y進行掃描檢測，獲取白點作為參照點，從而對其他像素點的亮度進行矯正，具體過程為：

1) 將采集到的圖像從RGB空間轉化到YCrCb空間，再對Y分量進行直方圖均衡化處理，直方圖均衡化通過統計像素在不同區間出現的概率，將原始圖像的直方圖變為均衡分布的的形式，將非均勻灰度概率密度分布圖像，變成灰度級均勻分布的圖像，增強圖像的對比度，使圖像的細節清晰。

2) 將均衡化后的分量重新由大到小排列為Y0，由于無論在哪種光照強度下，一些天空或干擾點的亮度都較大，因此選取Y0的前10%的亮度作為圖像的亮點，將其設置為均衡化后圖像Y分量的最大值Vmax；將Y0的后10%的亮度作為圖像均衡化后圖像Y分量的最小值Vmin。

3) 對亮度過大或過小的像素點進行截斷處理，令所有Y分量大于Vmax的像素點Y=Vmax，對所有Y分量小于Vmin的像素點，Y=Vmin。

4) 重新將中間像素點的亮度進行量化，計算過程為：

(1)

式中：Y0為原圖像Y分量的亮度值；g0為經過重新量化后的亮度。

針對農田圖像，RGB顏色空間相較于YCrCb空間，可以更有效地區分農作物區域。因此將亮度均衡化后的圖像轉換到RGB空間中并用超綠灰度法表示，并進行歸一化進一步消除噪聲的干擾，表達式為：

f(x)=1.8G-0.9B-0.9R

(2)

(3)

式中：f(x)為超綠灰度表示下的圖像灰度值；f0(x)為歸一化后的像素灰度；fmin(x)和fman(x)為歸一化前像素灰度的最小值和最大值。

1.2 農作物圖像分割

傳統的OTSU算法通過遍歷計算以所有像素值為分割閾值的類間方差值大小，使得兩個類別之間的方差達到最大值的像素值就是OUST中的最佳分割閾值，經實驗測試，固定閾值法平均計算時間為6 ms，傳統OTSU平均計算時間為80 ms，難以滿足農機導航系統的實時性。為此，改進OTSU算法的閾值掃描范圍，具體步驟如下：

由于綠色具有較大的灰度值計算所有元素的平均灰度值ɑ，故將ɑ作為搜索閾值的下限。大部分綠色前景元素的灰度值在200～220，灰度值在220以上的灰度值點一般為白色的奇點或較亮的天空。因此，采用全部像素值從小到大排列后的95%分位數為β作為搜索閾值的下限。

中值濾波器、均值濾波器等線性濾波器對圖像的邊緣信息和細節信息保留不完整，去噪效果不理想且會造成圖像細節缺失，因此采用開運算的方式對二值化圖像進行去噪，修補了一些雜草造成的孔洞同時保留二值圖像的邊緣信息，同時確保農田輪廓大小不變。

1.3 垂直投影法獲取農作物列信息

設圖像的大小為W*H，則s(j)為第j列圖像的垂直投影，其計算式為：

(4)

農田圖像的垂直投影中的峰值區域反映了二值化圖像前景元素比較集中的區域，圖2為樣本圖像的垂直投影效果，如圖中虛線所示，壟溝處區域由于黑色像素突出，因此在垂直投影中出現了峰值結構。

圖2 二值化圖片的垂直投影效果

垂直投影的波峰代表了原二值化圖像處壟溝位置，但由于農作物存在一定傾斜，采用整張圖像垂直投影會降低結果的準確性。而農作物在較小的一段區間上傾斜度不高，同時為了降低數據的計算量，排除較遠處天空的干擾，本算法取原二值化圖像的靠近攝像機的前70%進行處理，并將它們水平分成15條圖像段，最后對分割后的水平圖像段做垂直投影圖，計算式為：

(5)

式中：W、H、S分別為每個圖像段寬度、高度、面積；f(i,j)為分割后的像素值；s(j)為每個水平像素條的高度。

根據圖像段垂直投影獲取特征點的步驟如下：

步驟1當含有雜草或植株不連續時，會導致投影中斷或雜草產生的投影段影響特征點提取的準確性。因此首先利用大小為5像素的方形高斯濾波模板對垂直投影曲線進行平滑處理。

步驟2為消除植株缺失對算法效果的影響，使得整個投影條更加連貫，選取閾值T1=0.05W,對長度小于T1的白色條帶予以忽略。對寬度小于T1的黑色條帶予以濾除。

經過步驟1和2的處理，根據二值化圖像得到農作物和壟溝的基本位置，如圖3所示，不同顏色的虛線代表農作物或壟溝在的位置。

圖3 獲取壟溝位置

步驟3隨著農田與相機距離拉長，農機中央的壟溝長度也會逐漸變窄，整個導航路徑呈現略微傾斜狀態，但當距離較短時，兩壟溝之間的差距不大，因此將距離農機最近處的投影條的中心點作為第一次特征搜索的起始點，由起始點依次向左右兩端搜索最近的黑色投影帶的邊緣點，然后獲取投影帶的中點作為該投影條特征點，再將該投影條對應的特征點的橫坐標記錄并作為下一次搜索的起始點，該步驟的示意圖如圖4所示。

圖4 根據垂直投影選取特征點

步驟4特征點出現誤差的主要原因是壟溝帶在計算時被過分擴大或縮小造成了特征點的橫向偏移過大。而正常情況下，一個特征點與中心線偏移量應保持在一個穩定的范圍內。為進一步矯正橫向偏離較大特征點，首先依次計算每個特征點與前一個特征點橫坐標之差，若小于最大允許偏差閾值θ，則認為特征點的偏移在正常范圍并將該偏差值記錄；否則，認為該特征點為噪音點，將其橫向偏差值設置為檢測該點之前的所有正常點橫向偏差值的平均值，該步驟的流程圖見圖5。

圖5 特征點矯正算法流程框圖

步驟4利用了農田成排種植，壟溝在一定范圍內傾斜角趨于穩定的特點，矯正前后如圖6所示。

圖6 特征點矯正前后

1.4 導航路徑擬合算法

采用一種基于隨機抽樣和投票機制的已知點檢測算法，該算法可以進一步克服干擾點的影響，快速計算直線參數，算法的具體步驟如下：

步驟1創建一個累加器i記錄迭代次數，然后在已有的15個特征點中隨機抽取兩個點將其連接成直線，設其直線方程為：

Y=kX+b

(6)

步驟2創建2個累加器True和False并置零，分別記錄除選出的2個特征點外，其他特征點對該直線的評價，True代表接受該直線，False代表拒絕該直線，投票方式為：首先分別計算其他特征點(XP,YP)到該直線的距離，計算式為：

(7)

式中：k、b分別直線的斜率和截距；dp為第p個特征點與該直線的距離。

步驟3令其他特征點對該直線進行投票，若dp≤0.02W，則認為該直線對特征點(XP,YP)滿足要求，累加器True+1；否則，該直線不滿足要求，False+1，待所有特征點計算完畢后，若所有點接受該條直線，即True=13，那么將該直線的參數作為最終導航路線擬合的結果；否則將累加器i+1，記錄迭代次數且重復步驟1。

步驟4因為每張圖像涉及15個特征點，因此迭代次數不宜過高。經過實驗測試，絕大部分圖像通過迭代10次左右就可以出現滿足條件的直線，而繼續搜索不但無法提升直線的精確度，反而增加了算法的耗時，所以本算法將迭代的最大值設置為20。當i=20時，即代表隨機抽取20次后仍沒有發現使得所有特征點都接受的直線，這時則采用投票數最高的一組直線參數作為最終的擬合結果。

本算法利用了隨機抽樣與投票選取的思想既克服了干擾點的影響，也避免了窮盡式搜索對算法實時性的降低，算法流程如圖7所示。

圖7 直線擬合算法流程框圖

2 實驗結果分析

2.1 實驗環境和數據

實驗測試環境：CPU為Intel Core i3-9100f @3.6GHZ，16GB內存，操作系統為64位Windows10。編程環境為Python3.6和opencv3。

選用彩色攝像機，在天津理工大學試驗田以及山西省運城市某小麥田中和蘋果園中拍攝，分別準備了綠色農田、田間、果園背景下不同時間段拍攝的圖像共600張。拍攝高度約1.5 m，拍攝傾角約15°～20°。

2.2 實驗結果分析

本文采用的圖像光照平衡算法處理結果如圖8所示。

圖8 圖像光照平衡結果

由圖8可見，本文算法不僅有效去除了光照因素對圖像的干擾，還保留了圖像的邊緣部分，增強了綠色特征，為導航特征的的選取提供了更有效的信息。

其他常見的光照平衡算法還有直方圖均衡化和伽馬矯正等。伽馬矯正需要進行歸一化和反歸一化的處理，一般處理時間都在100 ms以上，而直方圖均衡化只是將圖片整體的灰度進行了均衡化處理，并沒有考慮到實際農田環境下圖像亮度較大或較小的像素較為集中的情況，因此會造成圖像邊緣模糊和失真。本文引入圖像的邊緣保持指數EPI來衡量農田圖像的預處理效果,EPI值越接近1，證明算法的邊緣保持能力強。不同算法下的圖像的ERI值及平均處理時間見表2。

表2 不同算法的EPI值與耗時

圖9(a)和(b)為RGB彩色圖像的G分量和B分量的灰度圖像，圖9(c)為采用超綠特征因子下處理結果，引入歸一化算法后的圖像處理結果如圖9(d)。

圖9 圖像灰度化結果

由圖9可見，農作物中B分量較低，但G分量較高，超綠因子法中，農作物和背景對比度差別較高，具有明顯區別；使用歸一化后灰度趨于均衡，噪聲干擾也較小。

圖10(a)為超綠特征因子的分割結果，OTSU算法能夠自動尋找最佳分割閾值且受噪聲影響都很小；二值化分割后，采用大小為3個像素的模板對二值化圖像進行形態學處理操作，結果如圖10(b)所示。

圖10 圖像分割與形態學操作結果

引入誤分率ME值來衡量農田圖像分割的性能，該值反映了背景或前景像素被誤分到前景或背景區域的百分數，該值越小表明分割效果越好。計算式為：

(8)

式中：| |表示所有像素的的數量；B0和F0表示人工標記的圖像的背景和前景；BT和FT表示分割后的背景和前景。

為了證明本文圖像分割算法的有效性，將樣本圖像進行了不同算法的圖像分割實驗，ME值與平均耗時見表3。

表3 ME值與平均耗時

為驗證特征點選取算法對環境的適應能力，選用了邊緣檢測法、小波分解法、掃描濾波法以及文獻[6]中傳統垂直投影法引言中所提到的進行了對比實驗，實驗結果如圖11所示。

邊緣檢測法的誤差主要來源于邊緣信息不完整或植株缺失導致的邊緣扭曲或奇變，雖然計算速度相對較快，但在作物不連續、彎曲種植等環境下準確率較低，不適合復雜環境下的特征點提取；小波分解或基于灰度特征搜索圖像邊緣的消失點雖然克服了一些由于邊緣缺失或噪聲和雜草問題帶來的影響，但具有計算時間長的缺點；掃描濾波法在田埂路面下表現較好，但在帶狀農田和果園中缺乏適應性；傳統的垂直投影法干擾點偏離較大，會對路徑的提取帶來很大誤差。

經過上文介紹的步驟1—4對特征點的提取及矯正，相比文獻提出的垂直投影法更好的提升了算法實時性和抗干擾能力，可以較好的提取出農田的壟溝或田間路徑的特征點，樣本圖像的實驗結果如圖12所示。

圖12 特征點提取結果

表4為本文算法計算出的特征點與掃描濾波法[9]、邊緣檢測法、小波分解法和傳統垂直投影法所計算出的特征點坐標與人工提取的偏差值和算法耗時。

表4 特征點提取偏差與耗時

為驗證提出的直線擬合算法的準確性和實時性，選用傳統最小二乘法、Hough變換法、經過改進后基于概率的Hough變換法[14]進行對比實驗，實驗結果見圖13。

圖13 直線擬合對比實驗

最小二乘法的計算結果與實際壟間路徑的偏離較大，主要誤差來源為算法本身對干擾點較為敏感，導致一些與直線有一定偏差的數據點會對最終參數的結果造成很大干擾。另外，邊緣處的一些缺失點也會造成直線的一定偏移，盡管算法耗時短，但經多次測試發現，擬合直線的準確率不高。相比最小二乘法，Hough變換法擬合的直線效果有明顯改進，直線更接近人工提取的結果；雖然改進后的Hough變換對算法耗長的缺點有了一定改善，但仍沒有克服傳統方法大范圍掃描特征點和計算過程較復雜的缺點。對于計算機的內存處理能力要求較高，難以搭載到農業機械中實際滿足農機實時性的要求。

本文算法具有一定隨機性，但計算相對簡便，對奇點干擾點的處理更加靈活，對比最小二乘法和Hough變換法都有較好的精準度和實時性。圖14為本文算法實驗結果，表5為不同算法下的直線偏差率和算法時間。

圖14 直線擬合實驗結果

表5 直線擬合偏差與耗時

為進一步驗證本文所提出路徑提取算法的準確性和實時性，分別與：① 邊緣檢測+改進Hough變換法[14]；②K-meas+最小二乘法[15]；③ SVM+最小二乘法[16]；④ 傳統垂直投影法+Hough變換法[6]進行對比。導航系統性能見表6。

表6 導航系統性能

由表6可知，基于K-means或SVM對壟溝兩端邊緣特征點進行聚類對傳統算法效率低下的缺點有一定改進，但算法總體耗時較長，且最小二乘法抗擾能力差；雜草或石塊產生的小投影段對傳統的垂直投影法干擾較大，且窮盡式搜索降低了系統的實時性。本文改進后算法與其他方法相比，在保持穩定性和準確度的前提下，大幅提高了導航系統的實時性。

3 結論

研究了自然環境下光照不均時的農田圖像導航線檢測算法，提出了一套基于機器視覺的導航算法，并進行了對比驗證和性能檢測。實驗檢測結果表明，本文所采用的算法可適應傳統帶狀農田、田園、果園等環境。基于垂直投影法獲取農機行走路徑的特征點，不僅壓縮了數據的處理量，還矯正了偏離量較大的特征點，通過隨機抽樣及投票機制克服了傳統方法易受干擾點影響和窮盡式搜索的弊端。將實驗結果與傳統Hough變換、LSM 等算法比較發現，新算法具有精度高、耗時少的優點，在雜草和株數稀疏的情況下均能正確地提取導航線。