基于機器視覺的玉米行導航線提取方法

王祥祥，宮金良，張彥斐

(1. 山東理工大學 機械工程學院, 山東 淄博 255049；2. 山東理工大學 農(nóng)業(yè)工程與食品科學學院，山東 淄博 255049)

農(nóng)業(yè)機械自主導航技術是精準農(nóng)業(yè)的一個重要組成部分，能夠有效提高大田作業(yè)的精準度，同時減少人工的使用數(shù)量、降低作業(yè)成本。農(nóng)業(yè)機械自主導航技術最早在20世紀20年代被提出，從最早的預埋電纜導航發(fā)展到現(xiàn)在的機器視覺導航、GPS導航、慣性導航和激光雷達導航等[1]。其中，機器視覺導航主要利用作物行呈直線或曲線規(guī)律性分布的特性，結合機器視覺技術檢測出局部分段直線，最終擬合成導航基準線。機器視覺導航相比于其他幾種導航方式具有實時性好、成本低、適用范圍廣的優(yōu)點，已經(jīng)成為精準農(nóng)業(yè)的一項重要技術[2]。

目前，條播作物檢測提取導航線的方法主要有垂直投影法[3]、逆透視映射法[4](inverse perspective mapping, IPM)和Hough變換法[5]。其中，垂直投影法是將圖像按行分割為多個掃描區(qū)域，對每個掃描區(qū)域按列累加獲得累加曲線，根據(jù)作物行分布規(guī)律，從累加曲線提取目標點。垂直投影法將從圖像中提取目標點轉(zhuǎn)為從累加曲線中提取目標點，具有計算量小和實時性好的優(yōu)點；但是，目標點提取和分類需要設置固定距離閾值，根據(jù)‘小孔成像’原理，設定固定距離閾值不能同時滿足距離相機遠和距離相機近的作物，難以提取準確的目標點。IPM法是在已知俯仰角、偏航角和相機高度等參數(shù)的前提下，將具有透視形變的圖像映射為無透視形變的鳥瞰視圖[6]。IPM法能夠去除圖像的透視效果影響，消除圖像幾何失真；但是，農(nóng)業(yè)機械在凹凸不平的地面上行駛時會產(chǎn)生振動，俯仰角和偏航角會隨之產(chǎn)生擺動，相機高度也發(fā)生變化，這會導致映射后的作物行與真實作物行不匹配，并且在映射過程中，某些數(shù)值需要利用插值算法估計給出，因此會影響目標點檢測的準確率[7]。Hough變換法是將平面坐標系映射到參數(shù)坐標系，在參數(shù)坐標系中根據(jù)累加計數(shù)器的值來提取直線；但由于圖像的數(shù)據(jù)量龐大，坐標系映射過程中計算量大，導致Hough變換耗時較長，實時性較差。

針對以上問題，為了解決垂直投影法提取和分類目標點需要設置距離閾值的不足，提出一種自動提取導航線的方法，用來提高導航線提取的魯棒性和準確性。

1 導航線提取算法

1.1 圖像預處理

圖1 原始圖像Fig.1 Original image

以四輪獨立驅(qū)動的移動機器人作為采集平臺，相機安裝在移動機器人正前方，地面高度1 100 mm，俯仰角30°～50°，采集的圖像分辨率為640×480，原始圖像如圖1所示，通過圖像分割可以將綠色植物與土壤、干草、石塊等背景分離開。孟慶寬等[8]提出的YCgCr顏色空間適合處理存在光照變化的圖像，其中Y表示明亮度，Cr表示R分量與光照強度的差異，Cg表示G分量與光照強度的差異。綠色植物含有的G分量比重較高，利用Cg分量可以排除光照強度的干擾進而灰度化圖像，圖2為對應的Cg灰度圖像。RGB顏色空間轉(zhuǎn)為YCgCr顏色空間的轉(zhuǎn)換公式[9]為

(1)

圖2 Cg灰度圖像Fig.2 Cg grayscale image

利用Otsu法自動計算圖像閾值，將綠色植物劃分為一類，背景劃分為一類，使得綠色植物與背景兩類之間的灰度方差最大化。將Cg灰度圖像中灰度值高于閾值的像素點置為0，灰度值低于閾值的灰度置為255，得到二值化圖像如圖3所示。

圖3 二值化處理圖像Fig.3 Binarization of the image

二值化圖像中含有噪聲以及小面積像素區(qū)域，對二值化圖像進行形態(tài)學處理，能夠消除圖像的椒鹽噪聲和一些小面積像素，同時可以平滑較大物體的邊界。利用半徑為5像素的圓形結構元素先對圖像進行膨脹處理，然后對圖像進行腐蝕處理。圖4為形態(tài)學處理圖像，圖像中的部分小面積像素被消除，玉米莖的邊緣變得更加平滑。

圖4 形態(tài)學處理后的圖像Fig.4 Morphologically processed image

形態(tài)學處理后的圖像中還存在一些小面積不規(guī)則區(qū)域，利用八鄰域算子跟蹤圖像中各個區(qū)域的邊緣，記錄每個區(qū)域的像素面積，將面積小于150的區(qū)域刪除。圖5是利用該方法處理后的圖像，圖像中的不規(guī)則噪聲區(qū)域明顯被剔除。

圖5 八鄰域去噪圖像Fig.5 Eight neighborhood denoised image

1.2 導航線提取

垂直投影法是提取導航線常用的圖像處理方法，具有計算量小、運行速度快的優(yōu)點。本文首先利用垂直投影法提取目標點，然后將目標點歸類，最后擬合同一類的目標點得到導航線。

以圖像左上角點為原點，數(shù)組An[]用來保存第n個掃描區(qū)域中目標點的橫坐標值和縱坐標值，記為An[xk，yk]，數(shù)組中的坐標值按照橫坐標從小到大的順序排列。圖像尺寸為M(寬)×N(高)，單位為像素。具體步驟如下：

1)對八鄰域去噪圖像從下到上用高度為40、寬度為M的條形框框選得到目標區(qū)域，對目標區(qū)域進行垂直投影，垂直投影曲線為Sn(i)，其中i∈[1，M]。

2)構造邊長為20像素的方形高斯濾波模板對垂直投影曲線Sn(i)進行平滑處理，得到平滑曲線Kn(i)，其中i∈[1，M]。

3)從左到右搜索每個掃描區(qū)域的曲線Kn(i)，如果Kn(i)=0,且Kn(i+1)>0，繼續(xù)向右搜索，尋找第一個滿足Kn(k)>0且Kn(k+1)=0的點，其中k∈[i，M]；如果同時存在i點和k點，則i點為左邊緣點，k點為右邊緣點，將點i和點k對應的橫縱坐標存入數(shù)組An[]中。

4)如果是第一個目標區(qū)域，那么獲得的左右邊緣點歸屬為不同的類；如果不是第一個目標區(qū)域，判斷目標區(qū)域的每一組左右目標點與前一個掃描區(qū)域中的左右目標點。設點P(xj，yj)和點P′(xj+1，yj+1)是當前目標區(qū)域上相鄰的一組目標點，點Q(xl，yl)和點Q′(xl+1，yl+1)是前一掃描區(qū)域相鄰的左右目標點，如果max{xj，xl}≤min{xj+1，xl+1}，則兩組目標點歸為同一類；否則，表示出現(xiàn)了新的一類，將目標點放入新的一類中。

5)將所有目標點類按目標點數(shù)量排序，以數(shù)量最多的前兩位目標點類作為最佳作物行，將同一類目標點中的左、右邊緣點取中點作為特征點，利用穩(wěn)健回歸法線性擬合特征點，得到導航線。

圖6為檢測目標點的過程。其中，圖6(a)是第一個目標區(qū)域，圖6(b)和圖6(c) 分別是對應于圖6(a)的垂直投影曲線Sn(i)和平滑曲線Kn(i)。圖7是特征點和導航線檢測結果，圖中的點表示提取到的特征點，紅色點和藍色點是數(shù)量最多的前兩位的目標點類， 蘭色線是線性擬合得到的導航線。

圖6 目標點檢測過程Fig.6 Target point detection process

圖7 特征點和導航線檢測結果Fig.7 Detection results of feature points and navigation lines

2 試驗結果與分析

試驗圖像采集于山東省淄博市臨淄區(qū)試驗田，采集時間為2018年7月，采集到不同雜草密度的150張圖像。圖像處理軟件為MathWorks公司的Matlab2018b，運行在英特爾Xeon E5-2643 @ 3.30 GHz(×2)、32 GB內(nèi)存，Windows7(64位)操作系統(tǒng)的計算機上。

為了分析算法提取導航線的準確性，采用人工標記的方法給定最佳導航線，獲取最佳導航線在圖像上的角度，以此為基準，分析算法提取到的導航線與最佳導航線的角度差，角度差在±5°時認為結果準確。為了驗證算法的可行性和實時性，對采集到的150幅樣本圖像利用本文算法提取導航線。統(tǒng)計結果表明，本文算法處理一副640×480像素的圖像耗時約108 ms，導航線提取準確率為92%，可以滿足農(nóng)業(yè)機械實時性導航的要求。

為了分析算法提取導航線的穩(wěn)定性，分別對雜草較多和雜草較少的圖像進行處理，試驗結果見表1。由表1可知，本算法針對雜草較多的情況具有較強的適應能力，圖像處理平均耗時為103 ms，準確率為90%。

部分試驗結果如圖8所示。圖8中，圖8(a)和圖8(b)表示少量雜草的環(huán)境，圖8(c)和圖8(d)表示雜草較多的環(huán)境。可以看出，本文算法提取到的特征點能準確反映玉米植株位置，且能準確劃分為不同的類。試驗表明，在雜草較多和雜草較少的田間環(huán)境下，本文算法都能夠準確地提取導航線，具有良好的適應能力和較強的魯棒性。

表1 不同環(huán)境的處理結果Tab.1 Results in different environments

(a)少量雜草，地表干燥 (b)少量雜草，地表濕潤

(c)雜草較多，地表濕潤 (d)雜草較多，地表干燥圖8 不同環(huán)境條件的導航線提取結果Fig.8 Navigation line extraction results for different environmental conditions

3 結束語

提出一種基于機器視覺的導航線提取方法，針對垂直投影法提取和分類目標點需要設置距離閾值的不足，提出對垂直投影曲線進行高斯平滑處理，并自動提取和分類目標。試驗結果表明，本算法處理一幅640×480像素的圖像耗時約108 ms，特征點擬合準確率為92%。與傳統(tǒng)方法相比，該算法具有精度高、實時性好的特點，算法在雜草較多的情況仍具有較強的魯棒性，可滿足農(nóng)業(yè)機械實時性導航的需求。