基于輔助線的農(nóng)機視覺導(dǎo)航路徑提取算法研究*

馮凱，王茂勵，何曉寧，王東偉，岳丹松，初香港

(1. 青島農(nóng)業(yè)大學(xué)機電工程學(xué)院，山東青島，266000； 2. 曲阜師范大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，山東曲阜，276800)

0 引言

基于機器視覺導(dǎo)航的農(nóng)業(yè)機械裝備在生產(chǎn)作業(yè)中具有較強的靈活性和適應(yīng)性，且視覺導(dǎo)航常與其他類型的導(dǎo)航方式進行組合來提高導(dǎo)航定位的精度和穩(wěn)定性[1-3]，使其具有了廣泛的研究前景，已經(jīng)成為智慧農(nóng)業(yè)中的一項重要技術(shù)。農(nóng)機具視覺導(dǎo)航的核心在于對圖像的處理，其中最為關(guān)鍵一步的則是對作業(yè)導(dǎo)航路徑的實時、準(zhǔn)確地提取，其精度和準(zhǔn)確性也常受圖像處理效果、檢測方法等多方面因素的影響。針對導(dǎo)航路徑提取問題的相關(guān)研究已經(jīng)取得較多的研究成果。

目前，此類研究中，通常采用不同的圖像處理算法或與最小二乘法、Hough變換及其改進算法結(jié)合來進行導(dǎo)航路徑提取[4-7]。王毅等[8]提出了一種基于邊緣檢測的導(dǎo)航線提取方法，對處理后的圖像計算中點、斜率，進而計算出農(nóng)業(yè)機器人的偏離角并實時調(diào)整以實現(xiàn)，試驗表明該算法處理速度較快且抑制了噪聲，但是中點的選取對精度影響較大。關(guān)卓懷等[9]針對目前算法在非綠色環(huán)境下的導(dǎo)航適應(yīng)性差的問題，提出了一種基于暗原色原理的灰度化方法來分離農(nóng)作物和土壤，采用基于垂直投影法的中心導(dǎo)航線提取算法提取土壤感興趣區(qū)域，再利用最小二乘擬合提取導(dǎo)航線。Bkp等[10]提出一種基于預(yù)測點Hough變換的擬合算法，用新灰度化因子進行圖像處理且利用回歸方程確定預(yù)測點，最后通過提出的算法對導(dǎo)航路徑進行擬合，試驗表明該文導(dǎo)航路徑擬合算法的平均誤差小，計算時間低。此類研究方法均能對導(dǎo)航線進行有效提取，在一定程度上提高了運算速度，保證了導(dǎo)航的精度和準(zhǔn)確性，但是在大噪聲環(huán)境中的抗干擾能力較差，因此需要在此基礎(chǔ)上進行更深入的研究。

另外一種研究思路在于部分學(xué)者將智能優(yōu)化算法及其他類算法應(yīng)用到視覺導(dǎo)航研究中，以進一步提高算法的抗干擾能力和檢測精度[11-13]。較為典型的Qian等[14]提出了一種基于SUSAN(最小單值段同化核)角點和改進序列聚類算法的稻田除草機器人導(dǎo)航線檢測方法，提取角點為特征點并利用改進的順序聚類算法和霍夫變換對幼苗導(dǎo)航線進行提取，試驗結(jié)果表明該方法在復(fù)雜環(huán)境下具有良好的性能。李勇等[15]針對導(dǎo)航線檢測速度慢、抗干擾能力不足的問題，提出一種基于改進遺傳算法的導(dǎo)航線檢測方法，通過隨機選取頂邊像素坐標(biāo)進行染色體編碼，將適應(yīng)度最高的個體作為作物行直線編碼得到導(dǎo)航線。何潔等[16]針對農(nóng)業(yè)機器人導(dǎo)航基準(zhǔn)線提取方法時效性低及對光照變化敏感等問題，提出一種自然光照環(huán)境下基于人工蜂群算法的視覺導(dǎo)航路徑提取方法，通過灰度垂直投影獲取作物行區(qū)域并提取作物行特征點，將其作為人工蜂群算法目標(biāo)函數(shù)，進而得到導(dǎo)航路徑。此類研究可以準(zhǔn)確地對導(dǎo)航線進行提取，效果明顯較好，適應(yīng)性強；但是通常需要考慮隨機性影響，且算法收斂速度、搜索能力等因素對導(dǎo)航線提取的影響較大，需要對算法進行改進，工作量較大。

其他方法的研究[17-18]中較典型的有趙博等[19]提出適用于壟溝作物的立體視覺導(dǎo)航線檢測方法，將圖像分為脊線和犁溝兩個區(qū)域，然后檢測每個區(qū)域的邊界點，采用線性回歸方法從檢測到的邊界點中提取一條引導(dǎo)線，并將該算法檢測到的導(dǎo)航線與人工標(biāo)注引導(dǎo)線進行對比，在側(cè)向偏差和航向角上的誤差均較小。王新忠等[20]提出的基于深度學(xué)習(xí)果園道路導(dǎo)航線提取方法，采用YOLOV3卷積神經(jīng)網(wǎng)絡(luò)提取果園道路圖像上的特征點，并通過最小二乘法擬合生成導(dǎo)航線，試驗結(jié)果表明該方法適應(yīng)性強，誤差小。

綜上所述，針對導(dǎo)航路徑提取算法的研究均能達(dá)到預(yù)期效果，但是大部分只在特定場景下(農(nóng)田、果園等)具有較強的適用性，在非綠色環(huán)境下(水泥路、土壤、林地)的導(dǎo)航提取算法應(yīng)用受到限制，為了提高導(dǎo)航路徑提取的準(zhǔn)確性以及在不同場景下的適用性，本文提出了一種基于輔助線的農(nóng)機視覺導(dǎo)航路徑提取算法，以期能夠解決上述問題，為今后研究提供一種新思路。

1 農(nóng)田圖像處理原理

1.1 均衡化處理

由于作業(yè)時間的不確定性，所獲取的圖像會因光照、震動等造成較大噪聲，因此需對待處理的農(nóng)田圖像進行直方圖均衡化處理，以增強圖像的對比度，降低噪聲的影響。以采集的花生田地相關(guān)圖像為例，直方圖法均衡化處理的結(jié)果如圖1所示。其中，所采用的直方圖則是圖像中對應(yīng)某個灰度級的像素的數(shù)量值[21]。

圖1(a)經(jīng)過均衡化處理后為圖1(b)，整體畫面顏色的對比度加深，變得更為清晰；對應(yīng)圖1(a)的直方圖(c)峰頂部分的對比度得到增強，而兩側(cè)峰谷部分的對比度降低了，最終得到一個較為平滑的分段直方圖，如圖1(d)所示。其灰度值也均勻分布在0～255之間，更加有利于后續(xù)處理。

(a) 原圖 (b) 均衡化

(c) 原圖直方圖 (d) 直方圖均衡化

1.2 灰度化處理

通過灰度化處理可降低處理復(fù)雜度，避免圖像失真，常用的圖像灰度化特征因子主要有ExR、ExG及ExG-ExR因子等[22-23]。假設(shè)農(nóng)田圖像像素點的顏色為(R,G,B)，R、G、B分別表示其紅色分量、綠色分量和藍(lán)色分量，ExG因子為2G-R-B。本文對綠色作業(yè)環(huán)境下的圖像采用的灰度化公式是對ExG因子進行改進后得到；同時，在實際農(nóng)業(yè)生產(chǎn)環(huán)境中，也存在一些非綠色環(huán)境的農(nóng)業(yè)場景，因此也應(yīng)該考慮算法對非綠色農(nóng)田圖像的適用性，所以本文對綠色及非綠色農(nóng)田作業(yè)環(huán)境下的圖像的灰度化處理分別為

E_green=1.8G-R-0.8B

E_nongreen=1.7G-R-0.3B

(1)

如圖2所示，圖2(a)和圖2(b)表示對圖1(b)圖像分別采用2G-R-B和1.8G-R-0.8B顏色模型灰度化后得到的圖像；圖2(c)和圖2(d)則表示為對應(yīng)于圖2(a)和(b)的灰度直方圖。相對于圖2(c)而言，圖2(d) 的直方圖分布更加均勻，且縱坐標(biāo)數(shù)值小，說明各個灰度值的像素在圖像中出現(xiàn)的次數(shù)或概率小，因此灰度層次相對比較明顯，使得地物之間的辨別更高，更易于進行圖像分割。

圖3所示為非綠色農(nóng)田環(huán)境圖像灰度轉(zhuǎn)換結(jié)果，相對于圖3(c)而言，圖3(e)的直方圖中存在較明顯的波峰及波谷，更容易進行閾值分割。同時，明顯看出暗處的土壤部分可以與壟溝間進行明顯的區(qū)分。因此，本文方法能夠更好地滿足農(nóng)機具視覺導(dǎo)航在不同場景環(huán)境的下適用性，且具有較高效的實時性、準(zhǔn)確性。

(a) ExG灰度化

(b) 1.8G-R-B灰度化

（c）ExG灰度直方圖

（d）1.8G-R-0.8B灰度直方圖

(a) 原圖

(b) 均衡化

(c)ExG灰度直方圖

（d）1.7G-R-0.3B灰度直方圖

1.3 降噪及形態(tài)學(xué)處理

假設(shè)待處理農(nóng)田圖像I(x,y)的像素大小為W×H，W表示寬度，H表示高度，二維中值濾波處理公式如式(2)所示。

g(x,y)=med{I(x-k,y-l),(k,l∈W)}

(2)

式中：g(x,y)——處理后的圖像；

(k,l)——輸入二維模板，尺寸設(shè)為9×9。

首先，對圖2(b)及圖3(e)圖像均進行9×9模板的中值濾波，然后再通過Otsu法對濾波后的不同圖像進行閾值分割處理，因篇幅原因具體原理不再贅述。

由于閾值分割后的圖像中存在顆粒狀噪聲、缺株或多株連結(jié)造成的噪聲等干擾，需要通過形態(tài)學(xué)方法對閾值分割后的圖像進行再次濾波。形態(tài)學(xué)處理具體操作過程如下。

1) 通過半徑為5 pixel的圓盤狀結(jié)構(gòu)進行形態(tài)學(xué)開運算，用以消除細(xì)小毛刺，平滑較大物體邊界。

2) 再用5 pixel×10 pixel的線性結(jié)構(gòu)對開運算后的圖像進行形態(tài)學(xué)閉運算處理，用以彌合狹窄的間斷，填充背景中小的孔洞，最后得到二值圖像IBW。最終的綜合處理結(jié)果如圖4和圖5所示。

(a) 濾波 (b) OTSU分割

(c) 開運算 (d) 先開后閉運算

上述中，圖4(a)、圖4(b)、圖4(c)和圖4(d)分別為針對綠色農(nóng)田圖像進行的濾波、閾值分割、形態(tài)學(xué)開運算及先開后閉的運算處理；同理，圖5所示為非綠色農(nóng)田圖像的處理結(jié)果。由此可知，經(jīng)過濾波處理后消除了雜散噪聲點且能夠以較小程度地造成邊緣模糊，形態(tài)學(xué)處理后的圖像作物區(qū)間與土壤區(qū)間分明，細(xì)小毛刺消失，孔洞也被填充，為后續(xù)處理奠定了基礎(chǔ)。

(a) 濾波 (b) OTSU分割

(c) 開運算 (d) 先開后閉運算

2 路徑檢測與提取

在不同農(nóng)業(yè)環(huán)境下進行視覺導(dǎo)航時，要提取土壤部分或者感興趣區(qū)域，則需將上述形態(tài)學(xué)處理得到的二值圖像，進行取反處理，即Gbw=～IBW，Gbw為取反后的圖像。此時，綠色農(nóng)田圖像中作物行表現(xiàn)為黑色，壟間土壤區(qū)域為白色；非綠色農(nóng)田左右兩邊為黑色，中間壟溝為白色，得到取反圖像后在此基礎(chǔ)上進行后續(xù)操作。

2.1 基于垂直投影法的輔助檢測方法

已知圖像像素為W×H，通過size( )函數(shù)獲取取反圖像寬度W、高度H的數(shù)值大小，如式(3)所示。

[W,H]=size(Gbw)

(3)

在上述基礎(chǔ)上采用垂直投影法求取農(nóng)田二值圖像的投影曲線并計算出曲線中心位置，計算公式如式(4)所示。

(4)

式中：Gbw(i,j)——點(i,j)處的像素灰度值；

s(j)——第j列的灰度值之和；

s(i)——第i行的灰度值之和。

此時，將坐標(biāo)O(0.5H, 1)作為中心導(dǎo)航定位點，并在此基礎(chǔ)上進行輔助線處理，得到輔助線的坐標(biāo)(X,Y)，公式如式(5)所示。

(5)

(6)

利用垂直投影的相關(guān)原理，以圖像大小的方式按照式(5)選擇為綠色農(nóng)田環(huán)境下的圖像自動添加輔助線；同理，按照式(6)選擇為非綠色農(nóng)田環(huán)境下的圖像自動添加輔助線，輔助線添加后自動獲取像素水平輔助線及垂直輔助線交點的坐標(biāo)并自動保存坐標(biāo)記錄，以進行后續(xù)操作。如圖6所示，根據(jù)進行輔助線選取添加操作，可清楚標(biāo)記出區(qū)域，提高算法整體的精確度。

(a) 綠色圖像取反 (b) 綠色圖像垂直投影 (c) 綠色圖像輔助處理

(d) 非綠色圖像取反 (e) 非綠色圖像垂直投影 (f) 非綠色圖像輔助處理

2.2 導(dǎo)航路徑提取

本研究在上述操作基礎(chǔ)上，根據(jù)輔助線提取感興趣區(qū)域，然后進行導(dǎo)航定位點的提取計算，最后基于最小二乘法擬合導(dǎo)航線得到最終的導(dǎo)航路徑。

1) 感興趣區(qū)域提取。當(dāng)農(nóng)機在作業(yè)時對當(dāng)前前進的方向及位置已確定，則可利用輔助線對該前進區(qū)域白色像素進行篩選，從而確定感興趣區(qū)域，具體步驟如下。

Step1：確定農(nóng)田圖像的作物行區(qū)域或待處理圖像左右兩部分黑色區(qū)域的上、下頂邊界部分，以此為感興趣區(qū)域的劃分依據(jù)。

Step2：將上述部分與輔助線的交點(共選擇4個點的信息)作為感興趣區(qū)域的起點、經(jīng)過點及終點位置。

Step3：當(dāng)終點與起點重合時，連成封閉區(qū)域(藍(lán)色梯形區(qū)域)后得到導(dǎo)航感興趣區(qū)域(Region of Interest，ROI)，其選擇順序為左上、左下、右下、右上、左上。

2) 導(dǎo)航點選擇及導(dǎo)航路徑提取。為了減少算法的工作量及算法的復(fù)雜性，提高準(zhǔn)確度，本研究選擇三個坐標(biāo)點作為導(dǎo)航定位點。具體實現(xiàn)步驟如下。

Step1：設(shè)已處理農(nóng)田圖像的感興趣區(qū)域左上、左下、右下及右上角像素點分別為I1(x1,y1)、I2(x2,y2)、I3(x3,y3)和I4(x4,y4)，在上述ROI處理時自動將坐標(biāo)進行保存。

Step2：分別取梯形ROI的上底線中點I1,4和梯形ROI下底線中點I2,3兩個像素位置點作為導(dǎo)航點，兩個點的像素坐標(biāo)分別表示為

再加上導(dǎo)航定位校正點O(0.5H, 1)，共3個導(dǎo)航點。

Step3：在導(dǎo)航點確定后，考慮到導(dǎo)航實時性、有效性要求，采用最小二乘擬合的方法對導(dǎo)航點擬合，從而得到導(dǎo)航路徑，直線方程為f(x)=kx+b。

如圖7(c)、圖7(f)所示，能夠清楚地看出導(dǎo)航路徑的提取效果，說明算法達(dá)到了預(yù)期的效果，但是需要對算法的靈活性及普適性進一步的試驗，在下文中有詳細(xì)的分析。

圖7 導(dǎo)航路徑提取過程

Fig. 7 Navigation path extraction process

3 仿真試驗與分析

3.1 性能測試

為了驗證本文算法對不同場景環(huán)境的適用性、抗干擾性以及靈活性，分別選取了在室外、室內(nèi)等不同場景環(huán)境的圖像，包括有綠色農(nóng)作物的圖像、非綠色農(nóng)田的圖像以及在干擾情況下的圖像等，采用Matlab2019(a)軟件對導(dǎo)航路徑提取效果進行分析對比，并采用歐式距離(Euclidean distance)作為路徑提取的精度評價因子，如式(7)所示，歐氏距離越大，結(jié)果越不相似，即提取的精度越高，所有試驗結(jié)果如圖8～圖10所示。

(7)

(a) 小麥 (b) 蕓豆 (c) 花生

(d) 水稻 (e) 玉米 (f) 胡蘿卜

圖8所示為不同場景環(huán)境下對部分綠色農(nóng)田圖像導(dǎo)航路徑提取的結(jié)果，其中圖8(a)為小麥圖像，圖像分辨率為4 100×2 845；圖8(b)為蕓豆圖像，圖像分辨率為1 080×1 440；圖8(c)為花生圖像，圖像分辨率為695×531；圖8(d)為水稻圖像，圖像分辨率為354×431；圖8(e)為玉米圖像，圖像分辨率為659×849；圖8(f)為胡蘿卜圖像，圖像分辨率為1 080×1 440。圖9所示為不同環(huán)境下非綠色農(nóng)田圖像導(dǎo)航路徑提取結(jié)果，其中，圖9(a)為壟地、圖9(b)為農(nóng)田塊、圖9(c)為未耕農(nóng)田；圖9(d)為荒地；圖9(a)～圖9(d)的像素分辨率均為4 224×5 632；圖9(e)為壟行，像素分辨率為640×707；圖9(f)為收獲后的麥田，像素分辨率為525×560。

(a) 壟地 (b) 農(nóng)田塊 (c) 農(nóng)田

(d) 荒地 (e) 壟行 (f) 麥田

圖8及圖9所示試驗結(jié)果對應(yīng)的數(shù)據(jù)如表1所示(保留1位小數(shù))，結(jié)合設(shè)置的對比試驗及相關(guān)數(shù)據(jù)可知，本文算法對不同場景環(huán)境下的農(nóng)田圖像進行處理時，歐氏距離均比較大，說明了路徑提取在一定范圍內(nèi)表現(xiàn)出了較高的精度，同時在不同環(huán)境下表現(xiàn)出了較強的可用性及靈活性。

同時，為了驗證本文算法在不同干擾條件的對導(dǎo)航路徑提取的適用能力及抗干擾性，在強光、陰影、夜晚及雜草的干擾情況下進行試驗，如圖10所示，像素分辨率均為4 224×5 632。干擾條件下的試驗驗證了在不同程度干擾下路徑提取的準(zhǔn)確性和抗干擾能力，特別是對不同類型、不同環(huán)境的圖像都能較準(zhǔn)確地提取出導(dǎo)航路徑，通過對比說明其具有廣泛的普適性和良好的抗干擾性。

表1 農(nóng)田導(dǎo)航路徑提取數(shù)據(jù)Tab. 1 Farmland navigation path extraction data

(a) 強光 (b) 陰影

(c) 夜晚 (d) 雜草

3.2 效率及精度測試

為了驗證本文算法效率，對包括上述所有圖像在內(nèi)的共35幅圖像，其中像素小于2 000×2 000的有15張，像素大于2 000×2 000有20張，使用本文算法和傳統(tǒng)Hough變換算法對不同分辨率的視覺導(dǎo)航圖像進行導(dǎo)航路徑提取，運行時間對比結(jié)果如表2所示。

由表2可知，本文算法在對分辨率大于2 000×2 000 的不同場景及環(huán)境下的圖像進行處理時平均損耗時間約為傳統(tǒng)Hough變換的1/5倍，縮短了79.6%，圖像處理的平均效率為Hough變換的7倍多，提升了86.4%；分辨率小于2 000×2 000的圖像平均損耗時間也小于傳統(tǒng)Hough變換，同時平均效率高于Hough變換，效率提升了50%，說明了本文算法的速度較快，滿足實時性的基本要求。

表2 導(dǎo)航路徑提取時間統(tǒng)計Tab. 2 Navigation path extraction time statistics

為了對所提方法的精確度進行評價，在將本文所提方法與Hough變換算法進行對比，對比結(jié)果如圖 11所示，紅色直線為本文算法導(dǎo)航路徑，藍(lán)色直線為Hough變換導(dǎo)航路徑。從對比試驗結(jié)果中可知，兩種方法均可以正確的提取農(nóng)田圖像的導(dǎo)航線。其相應(yīng)的數(shù)據(jù)結(jié)果統(tǒng)計如表3及表4所示。

(a) 本文算法 (b) Hough變換

(c) 對比

通過對表3數(shù)據(jù)分析可知，本文算法所得到的定位點像素坐標(biāo)參數(shù)與Hough變換參數(shù)相差范圍在一定范圍內(nèi)且變化相對較小，證明了本文算法的有效性，且能夠保證視覺導(dǎo)航時所要求的精度范圍。由表4可知，本文算法提取的路徑斜率為0.27，截距為132.2，Hough變換提取的路徑斜率為-59.06，截距為29 530.5，二者斜率差的絕對值為58.79，截距差為29 398.3，對比可知，本文算法所得到的斜率、截距與Hough變換算法相對比相差較大，結(jié)合圖11(c)對比結(jié)果可知本文方法路徑提取效果顯示其更加接近中心區(qū)域，準(zhǔn)確性和魯棒性更好。同時，本算法的歐式距離為1 001.9，Hough變換的歐式距離為522.3，相差較大，說明了本文算法的二維信號(像素)相似程度低，不容易互相干擾，從而精度更高，即精度提高了47.9%。再由視覺感官結(jié)合實際需求可知，說明本文方法不僅能夠滿足視覺導(dǎo)航所需要的精度要求，而且具有更好的適用性。

表3 不同算法定位點坐標(biāo)及參數(shù)Tab. 3 Location point coordinates and parameters of different algorithms

表4 不同算法直線參數(shù)對比Tab. 4 Comparison of straight-line parameters of different algorithms

4 結(jié)論

為了保證農(nóng)機具視覺導(dǎo)航路徑提取的準(zhǔn)確性，提高在綠色農(nóng)田、非綠色農(nóng)田等不同場景下的適用性和抗干擾能力，提出了一種基于輔助線的農(nóng)機具視覺導(dǎo)航路徑提取算法。

1) 對圖像進行直方圖均衡化處理后，運用1.8G-R-0.8B顏色模型對綠色農(nóng)田圖像灰度化處理(非綠色農(nóng)田圖像使用1.7G-R-0.3B顏色模型)，得到目標(biāo)與背景明顯區(qū)分的灰度圖像。本文所用的灰度化方法可較為準(zhǔn)確地對不同場景環(huán)境的農(nóng)田圖像的目標(biāo)進行分離，表現(xiàn)出了對復(fù)雜環(huán)境較強的適應(yīng)性和靈活性，為后續(xù)的相關(guān)處理提供了模板。

2) 采用OTSU法對農(nóng)田圖像二值化處理，再進行先開后閉的形態(tài)學(xué)處理；最后根據(jù)圖像場景采用垂直投影法獲取輔助線標(biāo)準(zhǔn)點，從而進行相應(yīng)的輔助處理，并結(jié)合改進的ROI方法提取感興趣區(qū)域，進而確定導(dǎo)航定位點，最終通過最小二乘法將定位點擬合得到導(dǎo)航路徑，減少了計算量同時也提高了處理效率。

3) 本研究在不同環(huán)境下進行的導(dǎo)航路徑擬合試驗均具取得了理想的效果，且運算復(fù)雜度低，抗干擾能力強，相對于Hough變換，效率提高50%～86.7%，精度提高了47.9%，說明了研究具有較強的普適性，為視覺導(dǎo)航路徑的提取提供了一種可行的研究思路；但是在對大量圖像進行批量處理時該算法具有一定的局限性，且在對比試驗中只與Hough變換進行了比較，缺少進一步的比對試驗，后續(xù)需繼續(xù)進行優(yōu)化以提高該算法的魯棒性。