基于視覺圖像處理的農業機械自主導航方案

牟麗莎++彭莉娟

摘要：針對農田中農業機械的自主導航問題，提出一種基于視覺圖像處理的導航方案。首先，通過安裝在機械頂端的攝像機獲取農田圖像，基于圖像水平線檢測來校正圖像，并將其轉換成俯視圖。然后，在俯視圖中，通過對圖像強度函數的積分來估計機械前進方向相對于農作物行的偏轉角。最后，通過模板匹配來估計機械的橫向偏移，根據偏轉角和橫向偏移來導航農業機械。另外，融入了非農田區域的檢測，避免機械走出農田范圍。結果表明，該方案能夠精確地引導農業機械跟蹤農作物行前進。

關鍵詞：農業機械；自主導航；視覺圖像處理；偏轉角；橫向偏移

中圖分類號： S126；TP391.4文獻標志碼： A

文章編號：1002-1302（2017）04-0159-04

機械自動化能夠有效提高農業機械的生產力。對于一些農業機械作業，例如噴灑、播種和收割等，若能使其自動精確地沿農作物行（或壟溝）前進，則將顯著提高其自動化程度[1]。目前，最常見的解決方案是使用精密的全球導航衛星系統（global navigation satellite system，GNSS）[2]。然而，該方案無法獲得農田的實際情況，在行進開始和到達農田末端時還須要人工進行調整。

在一些廣袤的農場中，農作物通常以近似直線的方式種植，這就為基于圖像技術來導航農業機械提供了依據[3]。隨著圖像處理技術的發展，可以通過識別農作物行來引導農業機械行進。現有大多數基于圖像處理的農作物行跟蹤技術，都依賴于深色土壤中的綠色植物行[4]。該技術利用顏色信息從土壤中分割出農作物，然后轉換成二進制圖像并擬合農作物行曲線[5]。然而，許多農田作業場景中沒有顏色對比鮮明的農作物，比如在僅有農作物秸稈的田地中進行耕地作業[6]。在這些農田場景中，基于分割的農作物行跟蹤算法將變得不可行。

[JP2]因此，本研究提出了1種基于單目視覺的導航方法，通過圖像處理技術來檢測農田俯視圖中的并行平面紋理，從而實現對農作物行的實時跟蹤并估計橫向偏移。提出的方法不需要執行植物與土壤的二進制分割，也不需要對植物外觀（如行距、周期性、顏色等條件）進行明確假設，適用于外觀不同的大片農田。[JP]

1提出的方法框架

本研究將農作物田地建模為平面并行紋理模型，使其能夠提取出特定農作物的細節，例如顏色、間距和周期性，并提出1種新穎的方法，從俯視角度的平行紋理圖中提取方向，用來跟蹤車輛的橫向偏移；還估計了攝像機的姿態，以確保正確且穩定的俯視角度，從而使所拍攝的圖像相對水平較寬，避免出現“模糊”行。

提出的跟蹤農作物行方法的總體結構見圖1，具體步驟如下：（1）對圖像進行預處理，基于圖像地平線檢測來估計車輛的側傾和俯仰；（2）基于估計的側傾和俯仰來校正圖像使其水平，并將其轉換為俯視圖；（3）對俯視圖像中主導并行紋理方向進行估計，從而獲得車輛相對于農作物行的前進方向；（4）根據估計的前進方向來傾斜圖像，以此校正俯視圖中的前進方向；（5）對傾斜圖像的列求和生成幀模板；（6）將幀模板與農作物模板進行比較，以此估計機械相對于農作物行的橫向偏移量。最終，根據估計的偏轉角和橫向偏移量來控制機械調整路線，使其沿著農作物行前進。

2方法步驟

將農業機械的作業面構建成1個局部坐標系，坐標系以作業開始時機械的位置為中心，并以農作物行為y軸方向。坐標系內攝像機姿態Pc定義為

[JZ（]Pc=[xc，yc，hc，θc，c，γc]。[JZ）][JY]（1）

式中：xc和yc為攝像機坐標系，hc為攝像機高度（常量），θc、c為攝像機側傾、俯仰度，γc表示攝像機相對于農作物行的偏轉角，即機械前進方向的偏轉角。本研究不需要農作物行方向（yc）上的行進距離，但須要估計其余的攝像機姿態變量（xc、θc、c和γc）。因此，采用一維卡爾曼濾波來跟蹤狀態θc、c和γc，以提高抵御噪聲和丟失數據的能力。

2.1地平線檢測

假設農田廣闊且平坦，則可基于地平線的檢測來估計車輛的側傾和俯仰[7]。通過RGB空間的擬合平面（即與圖像的頂部和底部RGB中位數等距離的30%圖像），將圖像中的像素歸類為“天空”或“大地”，并轉換成二進制圖像，再利用RANSAC算法[8]擬合分界線形成地平線。

2.2生成俯視圖

接下來構建農田的模擬俯視圖，使農作物行平行。對未失真的灰度圖像進行旋轉和裁剪，使圖像的頂部為地平線。然后使用逆投影變換將感興趣的矩形區域變形為俯視圖[9]。因為水平線位置現已固定，定義逆投影變換的單應矩陣也固定，所以該俯視圖變形過程實際上為一個像素映射過程。

2.3估計機械前進方向的偏轉角

提出的方法是基于尋找俯視圖像中農作物行方向來測量農業機械前進方向相對于農作物行的偏轉角γc。首先，以不同的變換角度來傾斜俯視圖像，然后沿著列匯總傾斜的圖像，并計算所得向量的方差。導致最大方差的傾斜角就是本研究所要估計的偏轉角γc。具體步驟如下描述。

近似農田為一個水平平面，農作物行由一維農作物模板函數S（x）表示，S（x）是攝像機圖像沿農作物行方向到平面的投影。由圖2可知，一個攝像機以姿態Pc觀察由強度函數I（x，y）表示的平面，平面上任意點的強度定義為

[JZ（]I（x，y）=S（x）+ε（x，y）。[JZ）][JY]（2）

式中：ε（x，y）項為未知噪聲函數，表示農作物外觀不符合線性并行模型（例如缺少部分農作物、存在雜草等），將ε（x，y）建模為零均值的隨機變量。沿著行方向對強度函數I（x，y）求積分可獲得農作物模板S（x），表達式為

[JZ（]S（x）=lim[DD（]y0→∞[DD）][JB（[][SX（]1y0[SX）]∫y00I（x，y）dy[JB）]]。[JZ）][JY]（3）

為對俯視圖像執行積分從中恢復農作物模板函數S（x），須先估計出相對于農作物行的機械前進方向。定義1個n列m行的灰度俯視圖像O（i，j），用來表示機械前進方向與農作物行成γc角度時，強度函數I（x，y）平面的旋轉和縮放俯視圖像。因此，可以通過在農作物行方向上對俯視圖像求積分，來恢復農作物模板S（x）的一個“縮放版本”（i）：

[JZ（]（i）≈[SX（]1m[SX）]∫m[KG-1*2]0O[i-jtan（γc），j]dj。[JZ）][JY]（4）

然而γc是未知的，若此時將前進方向偏差Δγ帶入式（4），將得到一個偏差的農作物模板：

差方向來積分圖像。這意味著，農作物模板e（i）是真實農作物模板（i）的“平滑”版本，見圖3。由圖3-a可知，在農作物行方向（偏轉角為γc）上積分俯視圖O（i，j）獲得農作物模板（i）；由圖3-b可知，在偏差Δγ方向（偏轉角為γc+Δγ）上積分O（i，j）獲得偏差模板e（i），由此得出e（i）是（i）的平滑版本并具有較低的方差。

式（5）可描述為一個具有寬度k和高度1/k的矩形窗的卷積過程，即箱式低通濾波器。當前進方向偏差Δγ接近于0時，該濾波器將通過所有的頻率。因此，可以通過最大化偏差模板e（i）的方差來估計γc值。這是因為當真實模板（i）的所有頻率衰減時，e（i）的方差將最大化，即

[JZ（]γc=arg max[DD（]γ[DD）]（var（e））。[JZ）][JY]（7）

2.4估計機械的橫向偏移

“2.3”節估計了機械的前進方向，并從俯視圖像中恢復出農作物模板函數（i）。這里，直接跟蹤（i），以估計機械中心在農作物行的垂直方向上的橫向偏移，即機械位置離農作物行的距離。

這里將第1幀圖像中恢復的向量（i）作為農作物模板，后續幀中的模板作為幀模板。使用零均值歸一化互相關（zero-mean normalized cross correlation，ZNCC）[10]技術將幀模板與農作物模板進行匹配。當匹配的ZNCC系數低于閾值時，則將當前幀模板作為農作物模板，并繼續執行檢測。在攝像機前方地面某一點的像素上執行偏移估計，若機械（攝像機）的高度和感興趣區域的坐標已知，則這個點的位置和估計的偏移可轉換成距離度量，從而獲得機械的橫向偏移，使其能夠控制機械調整位置。

2.5非農田區域檢測

在農業機械作業過程中，會遇到一些沒有農作物行的地面，例如農田的末端或沒有農作物的地塊。本研究根據前進方向的輸出值，通過式（7）來檢測這些情況。以1°為增量，對于在±30°之間的各種γ值，計算幀模板的方差v（γ）。如果在俯視圖像中沒有明顯的方向性紋理，則所有v（γ）值都相似。如果在俯視圖像中存在強方向性紋理（即明顯存在農作物行），則對于特定的γ值，v（γ）存在峰值。所以，可通過最大v（γ）值與平均v（γ）值的比例來檢測是否存在有效的農作物行。當該比值大于閾值時，則將該圖像視為具有有效行紋理的圖像。通過試驗驗證，當閾值thresh設定為2時效果最佳。

[HS3][JZ（]valid=[JB（{]1，thresh<[SX（]max[v（γ）]mean[v（γ）][SX）]0，otherwise[JB）]。[JZ）][JY]（8）

如果在某一圖像幀中沒有檢測到有效農作物行，則前進方向測量值將不會傳遞到卡爾曼濾波器中。如果多個連續圖像幀中都檢測失敗，則表示進入了無農田地塊，此時控制車輛停止。

3試驗及分析

3.1試驗場景

試驗中所使用的農機平臺是1臺噴藥除草機。使用了2種不同的攝像機——Microsoft的LifeCam網絡攝像機和IDS uEye工業相機來拍攝農田，其中LifeCam攝像機視角較廣，而IDS uEye攝像機視角較窄。另外，農作物行導航算法由OpenCV的C++語言編譯實現，同時利用精確的GPS/INS測量系統[11]來驗證結果，試驗平臺見圖4。在本地的一個廣袤農場中的3種不同農作物田地上進行試驗，分別為場景a：小麥地；場景b：收割后的高粱地；場景c：馬鈴薯地（圖5）。其中場景a和b由IDS uEye攝像機拍攝，場景c由LifeCam攝像機拍攝。

3.2試驗結果

在上述3種不同農作物的田地中進行試驗。試驗中，噴藥除草機在250 m長的田間沿農作物行方向進行，通過攝像機采集圖像，然后對圖像數據進行處理，并輸出機械前進方向的偏轉角和橫向偏移，以此導航機械前進。圖6給出3種不同農作物田地上的試驗結果。其中，第1列為各種田地場景圖像轉變后的俯視圖舉例，圖中的紅線表示農作物模板曲線，白線表示當前幀模板曲線。第2列為機械行進過程中的不同位置點處，本研究方法所估計的橫向偏移與GPS系統測量的偏移的對比。由圖6可知，每種場景有著顯著不同的外觀，但提出的方法能夠很好地追蹤農作物行，且所估計的偏移與實際測量值都非常接近。為了更好地描述方法性能，計算整個行進過程中的偏移估計值與實際測量值之間的均方根誤差（root mean square error，RMSE）。

4結論

農田中經常存在農作物和土地之間無顯著對比的情況，使基于圖像分割技術檢測農作物行的導航方法無法使用。因此，本研究提出了1種新穎的導航方法。通過水平線檢測來穩定圖像并將其轉換為俯視圖，在俯視圖上估計機械相對于農作物行的偏轉角，并通過幀模板與農作物模板的比較來估計機械的橫向偏移量。在不同場景的田地中進行試驗，結果表明提出的方法能夠精確地估計所需參數，且對機械的傾斜和俯仰具有一定魯棒性。

在未來的工作中，將研究更加高效的農作物行跟蹤算法，并與其他導航信息源（例如GPS和光學測距）相融合，進一步提高機械的自主導航能力。

參考文獻：

[1]姬長英，周俊. 農業機械導航技術發展分析[J]. 農業機械學報，2014，45（9）：102-103.[HJ1.73mm]

[2]Rovira-Ms F，Chatterjee I，Siz-Rubio V. The role of GNSS in the navigation strategies of cost-effective agricultural robots[J]. Computers and Electronics in Agriculture，2015，112：172-183.

[3]楊青. 基于農業視覺圖像的高效濾波處理方法[J]. 江蘇農業科學，2014，42（4）：361-363.

[4]Hiremath S，van Evert F K，ter Braak C，et al. Image-based particle filtering for navigation in a semi-structured agricultural environment[J]. Biosystems Engineering，2014，121（2）：85-95.

[5]劉陽，高國琴. 農業機械視覺導航基準線識別研究進展[J]. 農機化研究，2015，37（5）：7-13.

[6]Hu J T，Li T C. Cascaded navigation control for agricultural vehicles tracking straight paths[J]. International Journal of Agricultural and Biological Engineering，2014，7（1）：36-44.

[7]付丙島，王廣彪，丁文銳，等. 用于飛行器視覺導航的地平線檢測算法[J]. 北京航空航天大學學報，2011，37（7）：849-854.

[8]楊海燕，羅文超，劉國棟. 基于SURF算法和SC-RANSAC算法的圖像配準[J]. 計算機應用研究，2013，30（5）：1586-1588.

[9]常嘉義，秦瑞，李慶，等. 基于全景鳥瞰視圖的障礙物檢測方法研究[J]. 計算機科學，2014，41（2）：78-82.

[10]Qadir A，Neubert J，Semke W，et al. On-board visual tracking with unmanned aircraft system[J]. Computer Science，2012，25（6）：142-149.

[11]熊劍，郭杭，熊智，等. GPS/INS組合導航系統中的高斯粒子濾波混和算法[J].