農業機械視覺導航研究現狀及分析

張 豪， 郭 輝,2*， 韓長杰,2， 趙曉偉

(1.新疆農業大學機械交通學院，新疆烏魯木齊 830052；2.新疆農業工程裝備創新設計重點實驗室，新疆烏魯木齊 830052)

農業機械視覺導航研究現狀及分析

張 豪1， 郭 輝1,2*， 韓長杰1,2， 趙曉偉1

(1.新疆農業大學機械交通學院，新疆烏魯木齊 830052；2.新疆農業工程裝備創新設計重點實驗室，新疆烏魯木齊 830052)

由于農業機械的自主導航技術越來越成熟，因此可以代替人員進行高溫、高濕及有毒的工作。為了深入研究自主導航方法，對自主導航技術進行了綜述，并分析了視覺導航系統的基本組成模塊及其優勢。根據視覺信息的基本處理過程，重點對圖像處理、定位與跟蹤等方面進行了介紹，又從節約資源的角度介紹了動力輸出的控制，并討論了一些國內外的研究現狀。最后，闡述了未來自主導航技術的難點及發展趨勢。

自主導航；圖像處理；定位；跟蹤；動力輸出

近30年來，由于電子信息技術的快速發展，使視覺導航的研究成為自主導航領域研究的熱點。隨著農業機械智能化的要求越來越高，自主導航在現代智能農業機械中占據重要地位。農業機械自主導航有著廣泛的應用前景，在自動農藥噴灑、中耕除草、收割作業、插秧種植等方面都有廣泛的用途[1-3]。農業機械自主導航在經歷沿田壟和農作物行的機械觸桿導航、預埋電纜導航、電磁導航、無線電導航、激光導航和慣性導航等多種方式的發展后，目前對農業機械的導航主要集中在視覺導航，視覺導航具有靈活性、快速性和準確性的特點。20世紀80年代，美國開始對基于視覺的自主導航的研究，我國在自主導航的研究起步較晚，規模也較小，但在短期的時間內也取得了許多碩果。

目前，農業機械自主導航的研究主要集中在導航路徑的規劃、導航控制方法和導航硬件系統的選擇。導航路徑的規劃主要研究如何從攝像機采集的圖像信息中快速準確地提取出路徑參數并規劃導航路徑，在很大程度上是對圖像處理算法的研究；導航控制方法是實時調整當前位置，保證行駛路徑與規劃路徑重合；導航硬件系統是對組成結構的研究，加大對信息獲取的能力。由于田間的環境比較復雜，往往存在路面的凹凸不平、導航路徑上存在較大且無法避免的障礙物，自主導航機械要通過這樣的復雜環境需要較大的動力。實時控制動力輸出的大小可以達到最大化節約能源的目的，對于能源短缺的今天具有重要的意義。

1 視覺導航的主要關鍵技術

與GPS導航相比，機器視覺導航具有以下優點：①信息收集得比較豐富，目標信息完整，范圍廣；②機器視覺導航比GPS更加靈活；③實時性和精確度也有較大提高。視覺導航技術的基礎是機器視覺，但是與機器視覺又有所不同，主要表現在機器視覺的基礎上增加了實時定位跟蹤技術。一般視覺導航有信息獲取、信息處理和定位跟蹤3個部分構成，具體工作原理如圖1所示。在構成視覺導航的4個部分中，視覺圖像處理和定位跟蹤是視覺導航工作的核心部分。

1.1 圖像處理在拍攝自然環境下的圖像時由于光照、陰影、拍攝的角度及道路兩旁的雜草等都會使采集的圖像信息比較復雜，要將有用的信息提取出來難度很大。因此，應對復雜的圖像進行圖像預處理、圖像的特征提取等特殊化處理，將導航路徑凸顯出來。

1.1.1視覺圖像的預處理。由CCD攝像機采集的圖像背景復雜，不易分辨出導航路徑且未經過處理的圖像含有大量的噪聲，需要進行平滑濾波消除或減少這種強噪聲的干擾。目前常用的圖像平滑濾波有均值濾波、中值濾波、順序統計濾波和自適應濾波等。2000年，James S·Walker等[4]提出自適應樹小波萎縮法將1種小波收縮與小波變換的統計特性結合起來的圖像去噪新方法，去噪效果良好；2006年，A.L.Cunha等[5]提出了具備平移不變性的、非抽取的輪廓變換，通過對金字塔分解和方向濾波器均不采取下采樣來實現。

1.1.2視覺圖像特征的提取。視覺圖像特征提取是對圖像信息分類的重要方法，也是進行決策的基礎。在農田中進行路徑提取主要是邊緣檢測和閾值分割。邊緣是劃分目標物與背景的重要標志，圖像的邊緣檢測就是利用1幅圖像的不同區域像素點的灰度值不同，將目標區域和背景區域分割開。目前，常用的邊緣檢測有微分邊緣檢測和模板匹配邊緣等。1998年，德國博士Steger利用Hessian矩陣確定圖像中線條邊緣的法線方向，然后通過求解法線方向的極值點得到線條邊緣的子像素級位置。閾值分割是根據圖像中不同區域像素點的灰度值不同，通過選取合適的閾值可以將圖像分成目標和背景2個部分。圖像的閾值分割方法有很多，主要有整體閾值法、雙閾二值化、動態閾值化和局部二值化等。無論視覺圖像的預處理還是圖像的閾值分割和邊緣檢測，其處理結果將關系到后期的視覺定位和跟蹤。因此，在進行圖像處理時一定要選取最優的算法，為保證后期的視覺定位和跟蹤的順利進行奠定基礎。

1.2 視覺定位和跟蹤視覺定位和跟蹤主要是完成對圖像中的目標區域和導航路徑中的障礙物進行定位，使移動平臺能夠自主地按照目標路徑移動，工作流程如圖2所示。在農田中常用的定位和跟蹤識別方法有基于作物特征的導航方法、基于田壟特征的道路識別方法和基于Hough變換的識別方法等。基于特征的視覺導航方法是通過跟蹤圖像中的特征區域(像素值、形狀特征等)獲取輪廓信息。倫冠德[6]通過Hough變換和圖像增強技術，完成了田間路徑的定位和跟蹤。周俊等[7]提出了1種以強化學習為基礎使機器人不斷適應動態變化的導航環境，構建離散的環境狀態，并制定了自主導航學習Q值，取得了較好的效果。

2 農業車輛視覺導航的研究現狀

2.1 國內研究現狀目前，國內研究較少，主要集中在理論研究和方法探索的基礎上，主要采用Hough變換測出圖像中的位置和方向角誤差對車輛進行姿態估計[8]。張衛等[9]根據農田作物行的特征信息，采用定位基準線的圖像處理方法，用Hough提取定位基準線和導航參數，研究表明該方法可以有效提取農業車輛的導航路徑。王豐元等[10]提出采用梯度算法提取目標物的邊界，然后利用Hough提取導航路徑，并在復雜的農田中進行了試驗驗證。袁佐云等[11]對于目前導航路徑的難以定位的困難問題，提出了垂直投影投影法路徑定位思想。

2.2 國外研究現狀國外研究的起步較早，現在已經取得了很大的成就，主要采用Hough變換、模型匹配、虛交點分析和統計分析等方法，然后通過相機的標定參數和幾何關系得到車輛的位置。Will等[12]用2臺CASE拖拉機視覺導航平臺，在試驗中完成了17 km/h的直線行走和10 km/h的曲線跟蹤。韓國Cho[13]依靠視覺導航和超聲波傳感器研制了自動農藥噴灑機，在實際的應用中完成了自主導航和避障。日本Kubota等[14]研制了噴藥、除草和移栽等農業機器人，其導航理論是激光測距和視覺導航。

3 存在問題及發展趨勢

3.1 多傳感器相結合在農業機械視覺導航中，存在受光照不均勻、作物缺失和雜草等外界干擾的影響較大，單一的視覺信號越來越難以滿足精確自主導航的要求，因受環境變化的影響較大，檢測導航信息的穩定性也受到較大影響。近年來，隨著電子技術的快速發展，多傳感器信息融合技術被廣泛應用到自主平臺的導航研究中，利用多傳感器探測到的環境信息具有互補性和實時性等特點。通過GPS及其他傳感器得到的多種導航信息融合，可以有效提高導航的精度和可靠性，解決田間地頭轉彎和大面積缺苗等無有效導航特征情景下的導航問題，實現完全意義的自主導航。

3.2 數學理論的應用Hough變換作為一種直線檢測算法，具有魯棒性、受噪聲和缺苗影響較小等特點，適合農田這種非結構化的路徑規劃，但是Hough是一種全局檢測算法，計算量較大，不能滿足實時性的需求[15]。基于動態窗口和Hough變換相結合的處理算法可以解決計算速度較慢的問題。今后應當繼續尋找圖像處理的新方法，將數學中的多尺度理論、小波變換和現代時間序列與農業工程中的隨機現象相結合，提高農田中對路徑的提取的效率和精度。

3.3 動力輸出控制電子和信息技術的發展，為快速獲取和處理地面上物體的三維圖、地面的坡度和凹凸程度等信息提供了技術基礎。國內外眾多學者研究農業機械的自主導航都是將動力輸出控制在某一固定的值，具有以下缺點：①當前進阻力較小時，造成燃油消耗較高，浪費資源；②當前進阻力較大時，導致機器打滑或熄火。農田中基于圖像處理快速的獲取規劃路徑中障礙物的模型信息和在進行自主導航深耕作業時準確獲取土壤阻力信息對實時改變動力的輸出具有重要的意義。對障礙物的模糊信息獲取，只需要獲得其長、寬、高信息建立模型，分析需要多大的動力才能越過障礙物。機器視覺是從攝像機獲取的圖像信息出發，通過攝像機參數和機器語言，推算導航路徑上物體的大小和形狀等特征信息，并估算需要多大的動力可以使平臺順利越過障礙物。因此，機器視覺的主要任務就是利用計算機實現對空間物體的描述和識別，也就是解決三維點與二維圖像點的對應關系問題。目前，基于機器視覺原理獲取三維信息已經成為三維信息獲取領域的技術主流。為了定量獲取物體三維信息提出了多種技術：接觸法、雷達法、逐層切片恢復形體方法、幾何光學聚焦法、莫爾條紋法、從運動恢復形狀、從輪廓恢復形狀、單目視覺法和立體視差法[16-17]。三維重建流程如圖3所示。

3.4 圖像處理算法的改進為了進一步提高圖像處理的精確性和快速性，一些人工智能的算法被運用到視覺導航的圖像處理的研究中。具有代表性的就是最優解策略和遺傳算法，前者將能量函數作為目標函數，經過能量的進化過程產生能量函數的最小值，典型的有神經網絡、模擬退火算法；后者是模擬生物學的自然選擇和遺傳機理的隨機搜索優化方法，從1組初始值(即1個群體)出發進行繁衍優化，包括3個基本步驟：選擇、交叉和變異。相對于遍歷搜索策略，人工智能算法可以改變搜索的空間，提高算法的運行速度。

4 小結

以CCD攝像機作為傳感器的視覺導航是一種體積小、能耗低、便于控制、廉價和可靠的導航方案，在多個領域得到了廣泛應用，尤其在進入21世紀后，隨著傳感器的微型化和計算機處理能力的提高,導航技術在各個領域的應用也在不斷提升和完善。同時，視覺導航也將與其他導航方式一起，融合發展出集各種導航方式優點為一體并能克服單一導航缺點的導航方式。我國是一個能源匱乏的國家，自主導航動力輸出實時控制的研究具有重要的意義。

[1] 管敘軍,王新龍.視覺導航技術發展綜述[J].航空兵器,2014(5):3-8，14.

[2] 王先敏,曾慶化,熊智,等.視覺導航技術的發展及其研究分析[J].信息與控制,2010(5):607-613.

[3] 姜國權,何曉蘭,杜尚豐,等.機器視覺在農業機器人自主導航系統中的研究進展[J].農機化研究,2008(3):9-11.

[4] WALKER J S，CHEN Y J.Image denoising using tree base wavelet subband correlation and shrinking [J].Optical Engineering, 2000, 39(11): 2900-2908.

[5] DA CUNHA A L，ZHOU J，DO M N.The nonsubsampled contourlet transform theory, design, and application [J].IEEE Transactions on Image Processing, 2006,15(10): 3089-3101.

[6] 倫冠德.農業機械視覺導航系統技術研究[J].農機化研究,2007(9):235-237.

[7] 周俊,陳欽,梁泉.基于強化學習的農業移動機器人視覺導航[J].農業機械學報,2014(2):53-58.

[8] 楊為民,李天石,賈鴻社.農業機械機器視覺導航研究[J].農業工程學報,2004(1):160-165.

[9] 張衛,杜尚豐.機器視覺對農田中定位基準線的識別[J].中國農業大學學報,2006(4):75-77，88.

[10] 王豐元,周一鳴,孫壯志.車輛引導路線檢測的計算機視覺技術初探[J].農業機械學報,1998(1):2-6.

[11] 袁佐云,毛志懷,魏青.基于計算機視覺的作物行定位技術[J].中國農業大學學報,2005(3):69-72.

[12] WILL J，STOMBAUGH T，BENSO E.Development of a flexible platform for agricultural automatic guidance research [J].ASAE, 1998,32(2):156-164.

[13] CHO S I，KI N H.Autonomous speed sprayer guidance using machine vision and fuzzy logic [J].ASAE, 1999,42(4):1137-1143.

[14] HATA S，TAKAI M，KOBAYASI T.Crop-row detection by color line sensor [C]//Proceedings International Conference for Agricultural Machinery and Process Engineering, 1993：19-22.

[15] 張衛,杜尚豐.Hough變換在農田機械視覺導航中的應用[J].儀器儀表學報,2005(S1):706-707.

[16] 羅桂娥.雙目立體視覺深度感知與三維重建若干問題研究[D].長沙：中南大學,2012.

[17] 劉剛,司永勝,馮娟.農林作物三維重建方法研究進展[J].農業機械學報,2014(6):38-46，19.

Analysis on Visual Navigation and Dynamic Control of Agricultural Machinery

ZHANG Hao1, GUO Hui1,2*, HAN Chang-jie1,2et al

(1.Mechanical College of Transportation, Xinjiang Agricultural University, Urumqi, Xinjiang 830052; 2.Xinjiang Key Laboratory of Agricultural Engineering Equipment Innovation Design, Urumqi, Xinjiang 830052)

Because agricultural machinery autonomous navigation technology becomes more and more mature, so, it can be replaced the man to be used in high temperature, high humidity and toxic work.In order to study the autonomous navigation method, the autonomous navigationtechnology was reviewed.The basic building blocks of visual navigation system and its advantages were studied.According to the basic processing of visual information, image processing, positioning and tracking and other aspects were made a detailed description, and from the perspective of resource conservation, control of power output was introduced, andsome researches at home and abroad were discussed.Finally, the difficulties and development trend of the future autonomous navigation technology were described briefly.

Autonomous navigation; Image processing; Positioning; Tracking; Power output

張豪(1989- )，男，河南駐馬店人，碩士研究生，研究方向：農業自動化設備研究。*通訊作者，副教授，博士，碩士生導師，從事機械設計與試驗工作。

2015-03-20

S 126

A

0517-6611(2015)13-354-03