基于特征融合的果園非結構化道路識別方法

張彥斐 封子晗 張嘉恒 宮金良 蘭玉彬

(1.山東理工大學農業工程與食品科學學院, 淄博 255000; 2.山東理工大學機械工程學院, 淄博 255000)

0 引言

隨著農業現代化的推進[1],我國農業快速發展,智慧農業加速了農業機器人代替傳統農業機械的步伐,促進了農業機械生產過程中自動化、智能化水平的提升[2],在減輕人工勞動強度的同時,還能降低作業成本、提高作業效率與精度[3]。道路的精準識別作為農業機器人實現自主導航、路徑規劃以及實施精細化作業的基礎,對于農業機械在非結構化道路環境下是否能夠安全可靠的運行具有重要意義[4]。

非結構化道路由于沒有清晰的道路邊界且易受陰影和水跡等干擾因素影響[5],導致道路區域和非道路區域難以區分。目前常見的道路識別方法主要依靠視覺傳感器、激光雷達及多傳感器數據融合等,由于視覺傳感器獲取信息豐富,可從圖像中提取顏色、形狀和紋理等特征以識別道路,不受多傳感器協同作業時的干擾,且具備環境適應性強、誤差累積小、性價比高以及細節識別精度高等特點[6-10],已成為農業車輛自主導航系統的研究熱點。

在基于機器視覺識別道路研究中,文獻[11-12]通過提取多種道路特征并結合支持向量機、隨機森林等實現道路識別,該方法對結構化道路識別效果較好,但當面對道路環境相對復雜的非結構化道路時,識別效果并不理想。文獻[13-16]通過道路形狀特征、各顏色空間特征信息等進行道路特征的提取,從而限定路面的不可通行區域達到可通行區域檢測的目的,并結合各種曲線模型、擬合算法完成對道路的識別。以上方法雖對非結構化道路檢測效果較好,但對圖像顏色依賴性較大,當道路與背景差異不顯著以及陰影覆蓋面積較大時算法檢測失效。

針對果園環境中非結構化道路沒有明顯道路邊界且周圍環境復雜,單一使用顏色特征無法將道路和與其特征相似的干擾因素較好分離等問題,本文提出一種將顏色特征與紋理特征相結合的非結構化道路邊緣識別方法,將全局特征提取與局部特征提取相結合,保證邊界提取的精度與完整度,并使用基于距離和位置雙重約束的兩級偽特征點剔除方法對干擾點進行剔除,最后使用分段三次樣條插值函數對邊緣點進行擬合得到道路邊緣曲線。

1 圖像預處理

1.1 畸變矯正

使用RMONCAM林柏視-G600型相機采集分辨率為640像素×480像素的圖像,此時圖像位于像素坐標系中且存在一定畸變,為了得到畸變相對較小的圖像,需進行相機標定確定相機內部參數以得到像素坐標系與世界坐標系的映射關系,并獲取畸變參數以矯正由于鏡頭存在光學畸變造成的圖像徑向與切向畸變。

本文使用OpenCV中的相機標定方法[17]對20幅不同角度的11×8棋盤格圖像進行標定,標定過程如圖1所示,相機內部參數與畸變參數見表1,反向投影誤差為0.025像素,對圖像進行畸變矯正與變換縮放,效果如圖2所示。

圖1 相機標定過程

圖2 圖像畸變矯正

表1 相機標定結果

1.2 圖像灰度化

矯正后圖像位于RGB顏色空間中,對于非結構化道路而言,其周圍環境較為復雜,除道路兩側植被外,還有陰影、土壤以及沙石等因素的干擾,而RGB顏色空間3個分量與亮度高度相關,易受光照影響,使用單一顏色特征難以將道路與非道路區域進行區分,故將RGB圖像轉換到更適合進行圖像處理的HSV顏色空間[18]。

HSV顏色空間由色調(Hue,H)、飽和度(Saturation,S)和亮度(Value,V)3個分量構成,對圖2b在HSV空間各分量的特征分布進行分析,圖3為各分量的特征空間。

圖3 HSV顏色空間各分量空間特征圖

由圖3可知,以圖像左上角為原點,向右為x軸正方向,向下為y軸正方向,道路圖像HSV顏色空間中H、V分量道路區域與周圍植被區域灰度漸進,無明顯灰度分級。灰度等級計算公式為

(1)

式中GH、GM、GL——HSV空間中各分量灰度分級后的高、中、低灰度級

Gmax、Gmin——HSV空間中各分量的最大、最小灰度

[]——取整符號

若將圖像灰度等級分為高(GH)、中(GM)、低(GL)3級,H分量中道路與植被均處于GL灰度級(灰度范圍為[0,59)),V分量中道路與植被均處于GH灰度級(灰度范圍為[170,255]),不易區分道路與非道路區域。相較而言,S分量中道路區域主要位于GL灰度級(灰度范圍為[0,85)),鄰近區域主要位于GM與GH灰度級(灰度范圍分別為[85,170)和[170,255]),兩區域灰度分級較明顯,利于后續道路邊緣提取。對圖4中不同工況和季節下圖像中道路及其鄰近區域進行灰度分級,其分級結果見表2。由表2可知,不同環境下S分量較H、V分量而言,其道路及其鄰近區域均處于不同的灰度等級,且S分量受光照干擾程度較小,故本文選用HSV顏色空間中的S分量對圖像進行灰度化處理,圖2b灰度化效果如圖5所示。

圖4 不同環境下圖像

圖5 S分量灰度化效果

表2 不同環境下圖像灰度分級結果

1.3 感興趣區域選取

感興趣區域(Region of interest,ROI)的選取要在滿足減小計算量需求的同時,盡可能保留圖像中的有效信息,以便后續圖像處理。為能恰當選取ROI分割位置,本文提出一種基于濾波與梯度統計相結合的感興趣區域動態提取方法。

由圖3b可知,雖然道路與非道路區域灰度分級較明顯,但非道路區域灰度變換劇烈且道路區域存在細小噪聲。為方便后續梯度統計,使用雙邊濾波[19]對圖像進行平滑處理,得到濾波后輸出的像素值ID(i,j)為

(2)

式中 (i,j)、(u,v)——核內鄰域像素與中心像素坐標

f(i,j)、f(u,v)——核內鄰域像素與中心像素灰度

σs、σv——空間域核與值域核的標準差

D——以(u,v)為中心的濾波核窗口

雙邊濾波可保證在對圖像消除低頻分量噪聲的同時保留邊緣細節。濾波后,采用Sobel算子沿水平方向提取圖像梯度,圖6為濾波效果及圖像梯度空間分布特征。

圖6 雙邊濾波效果及Sobel水平梯度空間特征圖

由圖6b可知,因道路區域灰度變換均勻,該區域梯度基本為零,道路兩側及邊緣存在梯度變換,且單行像素中道路區域所占比例由近視野區至遠視野區逐漸變小,若對道路區域統計每行梯度非零的像素個數,道路盡頭所處位置梯度非零個數應為最大。由于道路盡頭位于圖像中間區域,為減小計算量,沿圖像水平方向選取中間1/3區域自上而下統計每行梯度非零的像素個數并存入數組N_zero[],計算數組最大值及其對應索引位置,若存在多處索引,則取最大索引并確定分割位置

(3)

式中L——ROI分割位置對應索引

h——輸入圖像高度

I——數組N_zero[]最大值對應索引位置

圖7為S分量ROI。

圖7 S分量ROI

2 圖像融合與道路邊緣提取

2.1 多特征圖像融合

2.1.1紋理特征提取

Gabor濾波器[20-21]可對局部特征進行提取并對光照變化具有較強的魯棒性,能夠根據特定紋理方向提取有效特征并去除顏色特征無法識別的陰影部分。由于道路本身同樣存在紋理特征,若設置的紋理提取方向過多易造成全圖像紋理特征提取,導致道路與非道路區域無法區分。為保證在突顯道路邊緣特征的同時盡量不提取路面紋理,根據道路與邊緣區域紋理角度信息,構建2個尺度為7、方向分別為0°和90°的Gabor濾波核并對S分量ROI進行濾波得到紋理圖像g(x,y)。

(4)

其中

(5)

(6)

式中 (x,y)——像素坐標位置

θ、σ、γ——濾波核的方向、標準差與長寬比

b、λ、ψ——濾波核的帶寬、正弦函數的波長與相位偏移

圖8a、8b為濾波后所得紋理圖像,由于θ=0°的原紋理圖像對比度較小,為使紋理特征更便于觀察,圖8a為θ=0°原紋理圖像做一次灰度正規化增強處理后效果,圖8c為θ=0°原紋理圖像與θ=90°紋理圖像相加所得的多方向紋理特征提取圖像。

圖8 紋理特征提取

2.1.2圖像融合及后處理

當路邊土壤、沙石等與道路飽和度相近的干擾因素覆蓋道路時,單一使用S分量無法將其與道路分離,易造成邊界的誤判或漏判。為保證邊界提取的精度與完整度,本文提出一種基于圖像顏色與多方向紋理特征相結合的圖像融合方法,該方法主要包括以下兩個關鍵步驟:

(1)紋理特征掩膜提取。采用Sobel算子計算紋理圖像水平方向梯度,依據梯度圖像中邊緣位置較其他位置而言其梯度絕對值更大的特點,將圖像梯度由最大值至最小值平均分為5份,提取梯度位于上2/5與下2/5區域的像素點,其余像素點值設為0,所提取到的特征掩膜如圖9a所示。

圖9 圖像融合及二值化

(2)最大值法圖像融合。將提取到的紋理特征掩膜各像素點值與S分量ROI最大類間方差法[22-24]分割閾值進行比較,根據比較結果對掩膜像素點值進行重置。

(7)

式中V′M(i,j)——重置后紋理特征掩膜像素點值

VM(i,j)——重置前紋理特征掩膜像素點值

VS(i,j)——S分量ROI的像素點值

TS——S分量ROI的最大類間方差法分割閾值

重置后的掩膜圖像與S分量ROI逐像素點比較,取兩者中較大像素點值生成融合圖像,如圖9b所示。

F(i,j)=max{V′M(i,j),VS(i,j)}

(8)

式中F(i,j)——融合后圖像像素點值

融合后圖像將全局特征提取與局部特征提取相結合,在顏色特征提取基礎邊界的前提下,使用紋理特征對精細化邊界進行填充,能夠有效提高邊緣檢測精度。

使用最大類間方差法將融合圖像二值化,對二值圖像采用3×3模板進行開運算,采用最大聯通區域法先將其面積小于100像素的白色孔洞像素值設為0(黑色),再將其面積小于200像素的黑色孔洞像素值設為255(白色),以此達到去除噪聲的目的,圖9c、9d為圖像二值化及其去噪后效果。

2.2 道路邊緣提取

2.2.1特征點尋找及剔除

若選取二值圖像中包含邊緣信息的某一列像素,可知道路邊緣點應位于像素值突變位置。將去噪后二值圖像沿水平方向平均分為40個子區域,取每個子區域中間列作為特征點提取列,將每列自上而下檢索到的像素值由0(黑色)至255(白色)的突變點作為候補特征點。

候補特征點中存在許多干擾點,如單列存在多個突變點、道路區域大面積噪聲未去除導致偽特征點被提取等情況,為精準剔除偽特征點保留邊緣點,本文提出一種基于距離與位置雙重約束的兩級偽特征點剔除方法。基于距離約束的一級偽特征點剔除具體步驟如下:

(1)查找x值最小候補特征點所在提取列(以下簡稱為“首點列”)上存在幾個特征點,若只有一個特征點,則保留該點(以下簡稱為“保留點”);若存在多個特征點,保留y值最大的特征點,其余點剔除。

(2)順序遍歷首點列后的每一提取列,若該列不存在特征點,繼續遍歷下一列;若該列存在一個特征點,則保留該點;若存在多個特征點,計算該列所有候補特征點與上一個保留點之間的距離(以下簡稱“點距”),并計算最小點距及其對應在該列候補點中的索引位置,若自上而下最小點距點為該列最后一個特征點,則保留該點,其余點剔除,否則計算其后所有候補特征點點距與最小點距之間的差值,若點距差值均大于給定閾值,則保留最小點距點,其余點剔除;若存在點距差值不大于設定閾值的候補特征點,則保留符合要求的候補特征點中y值最大的特征點,其余點剔除。

道路環境較簡單時,可實現一級偽特征點剔除后的保留點均為道路邊緣點,但當道路環境較為復雜時,一級偽特征點剔除后的保留點除道路真實邊緣點外還包含少量較當列其他候補特征點而言雖距離邊緣較近但非邊緣點的干擾點,針對這部分干擾點,使用基于位置約束的二級偽特征點剔除方法進行剔除,具體步驟如下:

(1)使用K-means[25-26]方法對一級偽特征點剔除后的保留點進行聚類,并計算左右聚類中心,根據2個聚類中心x值大小區分左右特征點。

(2)將左側保留點x值不大于其聚類中心x值的點集設為p1,保留點x值大于其聚類中心x值的點集設為p2;將右側保留點x值小于其聚類中心x值的點集設為p3,保留點x值不小于其聚類中心x值的點集設為p4。

(3)將點集p1、p4中y值最大的保留點y1max和y4max,以及點集p2、p3中y值最小的保留點y2min和y3min設為基準點,圖10為K-means聚類結果及基準點。

圖10 K-means聚類結果及基準點

(4)判斷基準點y1max和y3min是否為其所在類別中x值最小的特征點,若是,則保留點集p1、p3中所有特征點;若不是,剔除其所在類別中x值小于基準點y1max、y3min相應x值的保留點。

(5)判斷基準點y2min和y4max是否為其所在類別中x值最大的特征點,若是,則保留點集p2、p4中所有特征點;若不是,剔除其所在類別中x值大于基準點y2min、y4max相應x值的保留點。

(6)經過步驟(4)與步驟(5)剔除后所剩的特征點為最終提取到的道路邊緣點,特征點提取與剔除結果如圖11所示。

圖11 特征點提取與剔除

2.2.2道路邊緣擬合

由于非結構化道路邊緣無固有形狀,若使用線性擬合、邊緣模型等方法進行擬合,其擬合效果與實際道路邊緣誤差較大,故本文使用分段三次樣條插值法分別對道路左右邊緣進行擬合,在保證分段點間連接平滑的同時避免了高次函數導致的龍格現象,使擬合結果更貼合實際邊緣。

以左側邊緣點為例,設給定的節點(邊緣點)坐標為(xi,yi)(i=0,1,…,n),相鄰2個節點構成一個分段區間,n+1個節點共構成n個分段區間,每個分段區間的三次樣條函數表達式為

Si(x)=ai(x-xi)3+bi(x-xi)2+ci(x-xi)+di

(x∈[xi,xi+1],i=0,1,…,n-1)

(9)

式中ai、bi、ci、di——各分段區間三次樣條函數各項系數

則n個分段區間對應的三次樣條函數S(x)表達式為

(10)

同時,三次樣條插值函數S(x)需滿足以下4個插值條件:

(1)函數S(x)穿過所有節點,即Si(xi)=yi(i=0,1,…,n-1)且Sn-1(xn)=yn。

(2)函數S(x)在所有節點(除第1個節點和最后1個節點)處零階連續,即Si(xi+1)=Si+1(xi+1)(i=0,1,…,n-2)。

(3)函數S(x)在所有節點(除第1個節點和最后1個節點)處一階連續,即S′i(xi+1)=S′i+1(xi+1)(i=0,1,…,n-2)。

(4)函數S(x)在所有節點(除第1個節點和最后1個節點)處二階連續,即S″i(xi+1)=S″i+1(xi+1)(i=0,1,…,n-2)。

由式(9)可得各分段區間三次樣條函數Si(x)的一階導函數與二階導函數分別為

S′i(x)=3ai(x-xi)2+2bi(x-xi)+ci

(11)

S″i=6ai(x-xi)+2bi

(12)

根據條件(1)與式(9)可得

(13)

根據條件(2)與式(9)可得

(14)

根據條件(3)與式(11)可得

(15)

根據條件(4)與式(12)可得

6aihi+2bi-2bi+1=0

(16)

式(14)～(16)中,i=0,1,…,n-2;hi=xi+1-xi。

本文使用非節點邊界法給出插值函數的邊界條件。第1段函數S0(x)和第2段函數S1(x)在第2個節點(x1,y1)處三階導數連續,同時要求倒數第2段函數Sn-2(x)和最后一段函數Sn-1(x)在倒數第2個節點(xn-1,yn-1)處三階導數連續,由此可得S?0(x1)=S?1(x1)和S?n-2(xn-1)=S?n-1(xn-1),即

(17)

聯立式(13)～(17)即可求解分段三次樣條插值函數S(x),得到左側道路邊緣三次樣條插值曲線,同理,可得右側道路邊緣三次樣條插值曲線, 圖12 為道路邊緣擬合結果。

圖12 道路邊緣擬合結果

3 試驗及結果分析

試驗在位于山東省淄博市沂源縣山東理工大學與山東中以現代智慧農業有限公司共建的標準化蘋果園中進行,試驗設備采用Intel(R)Core(TM)i5-7200U CPU,主頻2.50 GHz,內存12 GB,Windows 64位操作系統的計算機,道路邊緣識別程序在Anaconda(Spyder)集成開發環境下使用Python 3.8編寫完成,圖13為圖像采集設備,圖像采集時相機光心離地1.3 m。

圖13 圖像采集設備

在晴天、陰天(存在車輛干擾)、順光、逆光、冬季晴天和雨雪天氣6種工況條件下對本文提出的基于圖像顏色與多方向紋理特征相結合的圖像融合方法進行試驗效果分析。在其他處理步驟一致的前提下,設置S分量與多方向紋理特征圖像為對照組,提取3種特征圖像中的邊緣點,檢測算法識別邊緣點與人工標識邊緣點之間的縱向偏差絕對值dv,并計算偏差率

(18)

式中Nv——ROI圖像縱向像素數

rd——偏差率

圖14為多工況條件下3種特征圖像邊緣點提取結果,表3為多工況條件下3種特征圖像邊緣點平均縱向偏差絕對值與平均偏差率。

圖14 多工況條件下3種特征圖像邊緣點提取結果

表3 多工況條件下3種特征圖像邊緣點提取誤差計算結果

由圖14可知,在晴天、陰天、順光、逆光4種工況下,基于S分量與融合圖像提取到的邊緣點較完整且誤差較小,基于紋理圖像提取的邊緣點缺失嚴重且誤差較大。在冬季晴天和雨雪天氣工況下,3種特征圖像提取的邊緣點均較完整,基于S分量與紋理圖像提取的邊緣點誤差略大于基于融合圖像提取的邊緣點誤差。表3數據表明,在多工況條件下,S分量平均縱向偏差為1.94～3.00像素,平均偏差率為0.72%～1.54%,紋理圖像平均縱向偏差為2.21～93.38像素,平均偏差率為0.74%～43.23%,融合圖像平均縱向偏差為0.92～1.80像素,平均偏差率為0.29%～0.71%。S分量、紋理圖像和融合圖像在6種工況下的平均縱向偏差均值分別為2.43、39.71、1.36像素,平均偏差率均值分別為0.99%、18.02%和0.54%,S分量的平均縱向偏差均值與平均偏差率均值均居中,紋理圖像的平均縱向偏差均值與平均偏差率均值均最大,融合圖像的平均縱向偏差均值與平均偏差率均值均最小。融合圖像在6種工況下的平均縱向偏差均值較S分量與紋理圖像的平均縱向偏差均值分別減小44.03%和96.58%,融合圖像的平均偏差率均值較S分量與紋理圖像的平均偏差率均值分別減小了45.45%和97.00%。由此可見,本文提出的基于圖像顏色與多方向紋理特征相結合的融合圖像較單一特征圖像的邊緣點提取誤差與偏差率更小、提取精度更高,且在陰天工況下,存在車輛干擾時,基于S分量與紋理圖像的提取方法無法對車輛所在區域進行識別,而基于融合圖像的提取方法可有效提取車輛所在區域邊緣點,實現障礙物的躲避。

圖15為常見擬合方法最小二乘法、隨機采樣一致性法(Random sample consensus,RANSAC)與本文分段三次樣條插值法對邊緣點的擬合效果。由圖15可知,本文采用的分段三次樣條插值法為曲線擬合,較最小二乘法與RANSAC法的直線擬合更貼合非結構化道路實際邊緣曲線。當陰天工況下,路面存在車輛時,最小二乘法與RANSAC法無法對車輛所在區域邊緣進行擬合,不利于農業車輛行駛過程中障礙物的躲避,而本文使用的三次樣條插值曲線可實現對車輛所在區域邊緣的準確擬合,有助于提高農業車輛行駛過程中的安全性。對6種工況各選取10幅圖像,獲取各邊緣點所在列的實際道路邊緣與算法識別道路邊緣之間的縱向偏差絕對值,使用平均偏差、平均偏差率、偏差率標準差作為評價指標,對3種擬合方法的擬合效果進行分析,具體數據見表4與圖16。

圖15 多工況下不同擬合方法道路邊緣擬合效果

圖16 多工況下不同擬合方法的偏差率標準差

表4 多工況下不同擬合方法道路邊緣擬合效果評價指標

由表4可知,3種擬合方法中,RANSAC法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均最大,其平均偏差范圍為2.05～4.37像素,平均偏差均值為3.16像素,平均偏差率范圍為1.03%～1.38%,平均偏差率均值為1.21%,雨雪天氣時平均偏差及平均偏差率均最大;最小二乘法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均居中,其平均偏差范圍為1.66～3.25像素,平均偏差均值為2.64像素,平均偏差率范圍為0.84%～1.16%,平均偏差率均值為1.02%,雨雪天氣時平均偏差最大,順光工況下平均偏差率最大;本文分段三次樣條插值法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均最小,其平均偏差范圍為0.53～0.90像素,平均偏差均值為0.66像素,較RANSAC法與最小二乘法分別減小79.11%與75.00%,平均偏差率范圍為0.17%～0.37%,平均偏差率均值為0.26%,較RANSAC法與最小二乘法分別降低78.51%與74.51%,晴天工況下平均偏差與平均偏差率均最大。

由圖16可知,在同種工況條件下,使用分段三次樣條插值法擬合的道路邊緣較最小二乘法與RANSAC法,其偏差率標準差最小。6種工況下,RANSAC法擬合道路邊緣的偏差率平均標準差最大,為0.31%,最小二乘法擬合道路邊緣的偏差率平均標準差居中,為0.23%,本文分段三次樣條插值法擬合道路邊緣的偏差率平均標準差最小,為0.09%,較RANSAC法與最小二乘法分別減小70.97%和60.87%,表明本文分段三次樣條插值法具有更好的穩定性。

由圖16可知,本文算法雨雪天氣時偏差率波動幅度最大,其標準差為0.15%,冬季晴天時偏差率波動幅度最小,其標準差為0.01%,順光、陰天、晴天、逆光工況下偏差率波動幅度居中,其標準差分別為0.12%、0.10%、0.09%、0.07%。由此可知,算法在冬季晴天時最穩定,在雨雪天氣下的標準差雖為6種工況中的最大值,但仍能滿足農業機械作業過程中的精度要求。6種工況條件下,算法平均單幅圖像處理耗時分別為93.4、90.0、83.5、93.2、88.9、90.3 ms,單幀圖像平均處理時間為89.9 ms,滿足農業機器人作業過程中的實時性要求。

4 結論

(1)針對果園中非結構化道路無明顯邊界且道路邊緣存在陰影、土壤和沙石干擾等問題,提出一種顏色與紋理特征相結合的非結構化道路識別方法。根據濾波與梯度統計相結合的動態提取方法對HSV顏色空間S分量進行ROI選取,并在此基礎上使用多方向紋理濾波器提取紋理特征,綜合利用最大值圖像融合法、基于距離與位置雙重約束的兩級偽特征點剔除方法、分段三次樣條插值法對道路邊緣進行擬合以實現非結構化道路識別。

(2)試驗結果表明,6種工況條件下,融合圖像提取的邊緣點平均縱向偏差均值為1.36像素,平均偏差率均值為0.54%,較單一特征圖像而言,其提取誤差與偏差率更小、提取精度更高。分段三次樣條插值法的平均偏差均值為0.66像素,平均偏差率均值為0.26%,偏差率平均標準差為0.09%,較最小二乘法與RANSAC法而言,擬合精度更高且具有更好的穩定性。當路面存在車輛時,基于融合圖像的特征點提取方法可有效提取車輛所在區域邊緣點,三次樣條插值法可實現對車輛所在區域邊緣的準確擬合,有利于農業機器人作業過程中障礙物的躲避,可提高其行駛的安全性。6種工況下,算法單幀圖像平均處理時間為89.9 ms,滿足農業機器人作業過程中的實時性要求。