基于位姿狀態(tài)的林區(qū)道路視覺導航

顏松，姚立健*，曾松偉，王露露，柴善鵬

(1.浙江農林大學工程學院，杭州 311300；2.浙江農林大學信息工程學院，杭州 311300)

林產品及營林物資在育林、護林、造林等工作中的運輸是林業(yè)生產的重要環(huán)節(jié)之一[1-2]。目前常采用履帶車[3]、輪式車[4]、軌道車[5]和架空索道[6]等載運工具，以減輕生產者的勞動強度并提高勞動效率，但是這些載運工具存在線路固化、靈活性低、智能化程度不高等不足。近年來，我國加強了森林撫育基礎設施的建設，如在林區(qū)修建便于撫育間伐、修枝、施肥等作業(yè)的水泥硬化營林道路[7-8]，這為無人駕駛林區(qū)運輸裝備的使用提供了保障。

無人駕駛的關鍵技術有定位方法和導航控制等。在定位方法研究中，機器視覺[9]能感知導航路徑中的道路細節(jié)，成為GNSS(global navigation satellite system)等精確林業(yè)領域全局導航的有益補充[10-11]，極大提高了導航的可靠性。Yuan等[12]在深度神經網絡(deep neural network，DNN)邊緣分割基礎上，提出了基于相關性逐層傳播(layer-wise relevance propagation，LRP)的空間注意力(spatial attention)框架，該方法將2個深度模型以當前道路分割數據集，實現更好的泛化性能。武歷穎等[13]研究了一種快速準確的非結構化道路檢測方法，該方法在基于模糊集的基礎上結合了圖像灰度特征和道路模型。段志剛等[14]提出了一種光照不變圖像的陰影圖像道路分割方法，依據陰影區(qū)域與非陰影區(qū)域的線性關系，選取正交分解法獲取彩色光照不變圖像，并通過構造的投票函數及道路判別準則提取道路區(qū)域。還有學者將卷積神經網絡[15]、模糊粗糙集[16]等算法應用于非結構化道路分割中，以提高圖像的分割質量。目前，非結構化道路分割主要是提取道路的邊緣、顏色、紋理、陰影等特征，將道路區(qū)域進行分割。這類方法只考慮當前像素點的灰度分布，像素之間互相獨立，分割質量受噪聲影響較大。李云伍等[17]研制出適合丘陵山區(qū)自主行駛的轉運車及其視覺導航控制，主要采用農機運動學模型的路徑跟蹤控制方法，該方法選取合適導航跟蹤點，獲得轉運車的位姿狀態(tài)。李天華等[18]提出了適合大拱棚運輸車的視覺導航方法，該方法使用道路盡頭橫向中心點作為導航信息的標定點，進而計算出運輸車的位姿信息。上述視覺導航的位姿獲取主要集中在道路盡頭處理和導航跟蹤點選取，但是未考慮在道路左右邊緣不完整下的位姿狀態(tài)獲取，研究成果也主要應用于田間道路自主導航，對于林區(qū)道路的自主導航研究較少。

筆者以林區(qū)中的營林道路為研究對象，搭建適合該環(huán)境的試驗平臺及其視覺導航控制系統。在分析林區(qū)道路與背景色差的基礎上，采用二維最大類間方差法實現圖像分割，從而獲得車輛虛擬的導航線，進而求出車體相對于導航線的橫向偏差和航向偏差，最后采用純追蹤導航方法驗證了本研究算法的有效性。本方法可為林區(qū)自動導航運輸車的研究提供新思路。

1 材料與方法

1.1 試驗材料與控制系統

試驗平臺以鋰電池(48 V、20 Ah)供電，采用前輪轉向后輪驅動的四輪結構，主要由電動推桿(BXTL150)、電機驅動器(AQMD6020BLS)、主控制器(STM32F767IGT6)、機器視覺模塊(OpenMV)和GPS接收模塊(Trimble BD982)等組成，如圖1所示。試驗平臺的位置和姿態(tài)信息由機器視覺模塊提供，視覺模塊攝像頭(OV7725)輸出圖像分辨率為320 pixel×240 pixel，導航時攝像頭離地高度和俯角分別為1 m和30°。GPS記錄平臺的軌跡(point_x，point_y)。機器視覺模塊對林區(qū)道路圖像處理后生成導航線，進而求出試驗平臺相對于導航線的橫向偏差(d)和航向偏差(θ)，并將位姿偏差信號輸入主控制器。主控制器根據誤差校正模型對位姿偏差信息進行校正，通過純追蹤算法計算出前輪所需轉角(α)，根據前輪轉向模型將α折算成電動推桿所需的PWM(pulse width modulation)信號，并通過驅動器輸出控制電壓Uf實現前輪轉向。主控制器還控制后輪驅動器輸出合適的控制電壓Ur使車速(v)達到試驗要求。前后輪均設有編碼器以檢測前輪實際轉角和后輪實際轉速，以實現對試驗平臺運動狀態(tài)的精準閉環(huán)控制。試驗平臺控制系統如圖2所示。

1. 電動推桿；2. 電源；3. 攝像頭；4. GPS天線；5. 差速器；6. 直流電機；7. 控制器；8. 后輪電機驅動器。圖1 試驗平臺與試驗環(huán)境Fig. 1 Test platform and test environment

圖2 試驗平臺控制系統Fig. 2 Control system of test platform

1.2 林區(qū)道路圖像分割

1.2.1 色差統計

從復雜的林區(qū)背景中準確識別出林區(qū)道路區(qū)域是實現視覺導航的前提。手工分割道路圖像如圖3所示，為更好地發(fā)現目標和背景的差異，將圖3a中的目標和背景手工分離，如圖3b和c所示。

圖3 手工分割道路圖像Fig. 3 Manually segment road image

對圖3b和c中各R、G和B分量進行代數運算以選擇合適的分割通道。因林區(qū)背景多為綠色，所以選用R、B、R-G、B-G、R+B-G、2R-G、2B-G等7個組合作為備選通道，分別對其目標和背景進行直方圖統計，如表1所示。

表1 目標和背景灰度范圍Table 1 Target and background gray scale range

由表1可知，B、R+B-G、2R-G和2B-G這4個通道的灰度范圍差異明顯，因此，選取這4個通道作為圖像分割備選通道，再采用合適的分割方法優(yōu)選出最佳通道。

1.2.2 二維Otsu閾值分割

Otsu法又稱最大類間方差法[19]，是通過分析圖像灰度直方圖獲得最佳閾值，將圖像分割成方差最大的兩類。為充分利用圖像鄰域像素的灰度分布和像素灰度級的數列分布信息，本研究采用二維Otsu閾值分割法，算法流程如下。

設圖像I1灰度等級為L，計算I1中每個像素點3×3鄰域的灰度平均值，生成鄰域均值圖像I2，I1和I2具有相同的分辨率和灰度等級。將I1和I2同一位置的灰度值分別存放于向量i和j中，形成二元組(i,j)。分別以圖像I1和I2的灰度等級為橫、縱坐標LI1和LI2，以此構建二維直方圖，如圖4所示。直方圖中任意一點的值(pij)定義為：

pij=fij/(W×H),i、j∈[0,L-1]

(1)

圖4 二維直方圖的平面坐標投影Fig. 4 Plane coordinate projection of two-dimensional histogram

任意給定一個閾值分割點(s,t)，將圖4分為A1～A4等4個部分，目標(A1)和背景(A3)出現的概率w0(s,t)和w1(s,t)分別為：

(2)

式中，Pr(·)表示對應部分發(fā)生的概率。由圖4可得，w0+w1≈1，可計算目標和背景的均值矢量μ0和μ1，則圖像總均值矢量μT=w0μ0+w1μ1，定義目標和背景的類間離散測度矩陣[20]為：

(3)

離散測度矩陣的秩為：

tr[Sb(s，t)]=[(w0μTi-μ0i)2+

(w1μTj-μ0j)2]/(w0w1)

(4)

則圖像的最優(yōu)分割閾值為tr[Sb(s,t)]取得最大值時的解集(s′,t′)。

采用上述方法分別對圖3a各通道圖像進行分割，并采用5×5均值濾波器進行去噪處理，得到的分割效果如圖5所示。

由圖5可知，4個通道分割后的圖像均能很好地顯示道路輪廓。以下將提出一種定量方法來評價圖像分割質量，以便選出最優(yōu)的色差通道。

圖5 不同色差通道下的分割效果Fig. 5 Segmentation effects under different color-difference channels

1.2.3 圖像分割質量定量評價

設P為采用手工方法分割后的道路二值圖像，該圖像為標準參照圖像；Q為采用二維Otsu法分割后得到的道路二值圖像。為檢驗Q圖像分割的質量，定義真陽率(TPR，式中表示為TPR)為Q中相對于參照圖像P分割正確部分的占比，定義假陽率(FPR，式中表示為FPR)為Q中相對于P分割錯誤部分的占比，則：

(5)

式中：num(P)為P圖中目標的像素數；num(P∩Q)為Q圖相對于P圖分割正確的目標像素數；num(Q-P∩Q)為Q圖相對于P圖分割錯誤的像素數。由式5可知，TPR越大且FPR越小，則圖像分割的質量越高。通過計算，圖5中4幅不同色差通道的TPR和FPR依次分別為88.9%，92.1%，89.2%，95.1%和11.6%，8.6%，11.3%，8.2%。由此可知，2B-G通道下的分割質量最好，因此本研究選取基于2B-G通道的二維Otsu法。

1.3 平臺位姿狀態(tài)獲取與校正

1.3.1 位姿狀態(tài)獲取

在機器視覺導航中，車體位姿狀態(tài)的估算是關鍵步驟之一，該位姿狀態(tài)主要表現為攝像頭實時采集到的橫向偏差和航向偏差。在位姿估算中，首先需要對圖像信息進行充分挖掘后提取正確的道路區(qū)域，選取動態(tài)導航圖像中道路左右側背景區(qū)域在圖像左右邊緣上的投影長度為檢測道路邊緣狀態(tài)的評判標準。根據樣本可得道路圖像主要分為如圖6所示的4種情況，其邊緣分析如表2所示。

圖6 模擬導航道路圖像Fig. 6 Simulated navigation road images

表2 道路圖像邊緣分析Table 2 Edge analysis of road images

圖6d中道路左右邊緣均未完整顯示，這是視覺導航中最常見的一種狀態(tài)。因此，以圖6d為例，建立位姿狀態(tài)獲取示意圖(圖7)，C1為圖像底端中心點，由于相機置于試驗平臺縱軸中心線最前端處，因此C1點為試驗平臺當前位置， 通過C1點豎直向上的向量C1C2即為試驗平臺當前航向。當Hl

圖7 車輛位姿狀態(tài)示意圖Fig. 7 Schematic diagram of vehicle pose state

在實際計算時，d像素值轉換是以圖像底端的實際距離為基準，進行像素與實際距離比例轉換成米制距離。圖7中直線C3C4的方程表達式關系到d和θ的準確性，為保證該方程獲取的可靠性，將第Hl行以上區(qū)域橫向劃分為多個區(qū)域并求各區(qū)域的中心點，結果如圖8所示。以相鄰點之間的斜率均值為直線C3C4的最終斜率(k)，求第Hl行以上道路區(qū)域中心點C0為直線C3C4的通過點。

圖8 林區(qū)道路區(qū)域位姿狀態(tài)示意圖Fig. 8 Schematic diagram of the pose state of the forest road area

1.3.2 位姿狀態(tài)校正模型

由于存在相機內參、鏡頭畸變、仿射變換等因素，推算出來的位姿與實際值必然存在誤差，因此建立一個誤差校正模型對位姿進一步校正。將試驗平臺以不同位姿置于林區(qū)道路上，以實際的橫向偏差和航向偏差為橫、縱坐標軸，以上述位姿狀態(tài)獲取模型推算值與實際值之間的偏差Δd和Δθ值為坐標值，分別構建θ-d-Δd和θ-d-Δθ2個位姿誤差高程圖(圖9)。根據試驗道路寬度及相機視角確定d和θ的范圍分別為(-25 cm,25 cm)和(-20°, 20°)。

圖9 位姿誤差高程圖Fig. 9 Pose error elevation map

采用Matlab R2014a對散點圖進行曲面擬合，得二元多項式方程(式6)，各項系數如表3所示。

Δd,θ(d,θ)=a3d3+a2d2+a1d+b3θ3+b2θ2+b1θ+c3d2θ+c2dθ2+c1dθ+c0

(6)

式中，(d,θ)為誤差位姿的測量值。

表3 多項式方程系數Table 3 Polynomial equation coefficients

本研究中2個擬合方程的決定系數分別為0.897 3 和0.882 9，擬合效果較好，則位姿推算值修正方程為：

(7)

式中，dcorrection和θcorrection分別為測量位姿修正后的橫、縱坐標。

為驗證偏差位姿方法的有效性，本研究將隨機選取該范圍中16個不同車體位姿的測量值，統計得θ方向和d方向相對于實際值的平均誤差分別為4.3°和10.8 cm。將測量值代入式7中，得到θ方向和d方向修正后的平均誤差為1.7°和1.6 cm，位姿精度分別提升了60.5%和85.2%。將修正后的位姿代入純追蹤控制模型中，以d、θ和前視距離為輸入量，前輪轉向角為輸出量實現導航控制，其中，前視距離是決定轉向角的關鍵因素[21]。考慮相機視角的限制和路面凹凸不平、寬度等因素，選取圖7中的F點為最近預瞄點，C4為最遠預瞄點，并通過Matlab R2014a多次仿真，選取最優(yōu)前視距離為3.5 m，該前視距離為預瞄點到試驗平臺后軸中心的距離。

2 結果與分析

2.1 試驗過程

為驗證本研究算法的有效性，在浙江農林大學林學實驗基地對試驗平臺進行視覺導航試驗。該基地為科研竹林，營林道路以2.1～3.1 m寬度的直線路段為主。攝像頭位于試驗平臺縱軸中心線最前端位置，且離地面高度1 m，俯角為30°，采樣幀率為5幀/s，試驗平臺前進速度為0.5 m/s，試驗環(huán)境如圖1所示。

設置3種不同的初始狀態(tài)，在機器視覺系統引導下完全自主行駛。采用平均偏差、標準差、穩(wěn)態(tài)偏差、調整時間等指標分析導航試驗效果。行駛距離是試驗平臺由起點行駛到終點的水平距離；偏差是試驗平臺的橫向偏差和航向偏差的總稱；穩(wěn)定狀態(tài)是試驗平臺收斂至橫向偏差為±2 cm且航向偏差為±2°時的狀態(tài)；調整時間是圖7中試驗平臺從C1C2調整到穩(wěn)定狀態(tài)所需的時間；平均偏差是試驗整個過程偏差的均值；標準差是各個偏差偏離平均偏差距離的均值；穩(wěn)態(tài)偏差是試驗平臺收斂至穩(wěn)定狀態(tài)后偏差的均值；穩(wěn)定距離是試驗平臺第1次到達穩(wěn)定狀態(tài)時的水平距離；最大偏差是試驗整個過程偏差極值中的最大值。試驗效果及試驗數據如圖10、表4和5所示。

圖10 不同初始狀態(tài)下試驗平臺的導航效果Fig. 10 The navigation effects of the test platform in different initial states

表4 不同初始狀態(tài)下的偏差信息Table 4 Deviation information in different initial states

表5 不同初始狀態(tài)下的控制指令與效率Table 5 Control commands and efficiency in different initial states

2.2 結果分析

1)在3種初始狀態(tài)下，試驗平臺的平均橫向偏差分別為5.8，5.9和4.6 cm，最大橫向偏差分別為20.6，23.9和25.3 cm，試驗平臺平均航向偏差分別3.5°，3.5°和4.0°，最大航向偏差分別為13.7°，16.1°和25.0°。這說明最大偏差與初始狀態(tài)有關，不同初始狀態(tài)下平均橫向偏差均值為5.4 cm，平均航向偏差均值為3.7°。當試驗平臺行駛到穩(wěn)定狀態(tài)后，穩(wěn)態(tài)橫向偏差分別為2.7，2.3和1.6 cm，均值為2.2 cm；穩(wěn)態(tài)航向偏差分別為1.9°，2.4°和2.1°，均值為2.1°。根據上述分析可得，試驗平臺沿林區(qū)期望導航線自主行駛的平均相對誤差均值為5.2%，當到達穩(wěn)定狀態(tài)后，其穩(wěn)態(tài)偏差均能保持在2 cm和2°左右，滿足林區(qū)導航精度的要求。

2)在數據統計中，標準差可反映數據的離散程度。因此，試驗平臺平均偏差和穩(wěn)態(tài)偏差的標準差可反映自主行駛的穩(wěn)定性。在3種初始狀態(tài)下橫向偏差的平均標準差分別為5.8，6.9和5.5 cm，航向偏差的平均標準差為3.1°，3.4°和5.1°，而穩(wěn)態(tài)橫向偏差的標準差分別為2.2，1.6和1.8 cm，穩(wěn)態(tài)航向偏差的標準差為1.7°，2.1°和2.1°。由上述數據可得，試驗平臺的平均標準差均值分別為6.1 cm和3.8°，而穩(wěn)態(tài)標準差均值為1.8 cm和2.0°，穩(wěn)態(tài)標準差均在2 cm和2°左右，具有較低的離散程度，說明試驗平臺在各初始狀態(tài)下行駛的穩(wěn)定性較好。

3)收斂性能是檢測系統好壞的重要參數之一。在圖7中，試驗平臺從C1C2到穩(wěn)定狀態(tài)所需的調整時間可反映試驗平臺的收斂性能，此時的穩(wěn)定狀態(tài)與C3C4有關。3種初始狀態(tài)下的調整時間分別為15.2，10.5和14.4 s，其對應的穩(wěn)定距離分別為5.6，4.0和4.5 m，圖10b中初始偏差相對較小，相對應的調整時間也較小，收斂速度也較快。圖10a和c中初始偏差較大，調整時間相對于圖10b分別增加了49.5%和41.9%。綜上所述，試驗平臺具有較好的收斂性能。

4)在實際的林區(qū)環(huán)境中，由于路面會出現凹凸不平等情況，所以控制系統輸出的期望轉角不宜過大，以防止車體的側翻。由表5可得，各初始狀態(tài)下期望轉角的總范圍為-9.7°～7.9°，全程期望轉角應控制在-10°～10°，從而提高車體的抗側翻性能。

3 結 論

根據林區(qū)道路的特點，選用基于2B-G通道的二維Otsu圖像分割方法。對動態(tài)道路圖像的邊緣狀態(tài)進行分析，建立基于邊緣不完整的位姿狀態(tài)獲取示意圖，并隨機選取位姿狀態(tài)校正模型內16個不同車體位姿，誤差修正后位姿與實際位姿平均誤差分別為1.7°和1.6 cm。通過試驗表明，自主行駛軌跡的橫向和航向平均偏差分別為4.6～5.9 cm和3.5°～4.0°，穩(wěn)態(tài)偏差均值為2.2 cm和2.1°，可滿足林區(qū)自主導航作業(yè)的要求。后續(xù)將考慮樹枝遮擋物、道路破損、崎嶇不平等林區(qū)真實環(huán)境對自主行駛軌跡的影響，同時引入最優(yōu)路徑規(guī)劃和避障等算法，進一步改善自主導航的質量。