基于機器視覺邊緣檢測的園林噴藥機器人導航線提取*

陳繼清，王志奎，強虎，吳家華，趙超陽，譚成志

(廣西大學機械工程學院，廣西制造系統與先進制造技術重點實驗室，南寧市，530007)

0 引言

隨著社會的發展和城市的建設，人們對城市綠化的要求越來越高，城市園林綠化建設已成為城市環境建設的重要組成部分[1-2]。但是在園林植株的維護上，要付出高昂的成本。

傳統上主要采取人工的方式維護園林，這種方式存在效率低下，成本高的缺點，甚至很難達到預期效果。在農業已經廣泛將小型移動機器人應用到實際工作中，包括果蔬采摘機器人、除草機器人、施肥機器人、噴藥機器人等，這些機器人結構緊湊，靈活方便極大提高工作效率[3]。類似的也可以將這些機器人應用在園林的維護上，例如對園林科學防治上，往往都要求噴灑藥物均勻且在規定的時間內完成，人工就很難滿足要求。郭亭亭等[4]開發了一套基于機器視覺的噴藥機器人，用于溫室內雜草的防治。丁天航等[5]研究了風送式果園噴霧機發展現狀及趨勢，指出風送式果園噴霧技術不僅能有效提高農藥利用率，還能降低對環境的污染。機械化噴霧是提高噴霧作業效率和噴霧質量的重要手段，也是現代規模化水果產業發展的必然趨勢[6]。隨著機器視覺技術的發展，將機器視覺技術應用在移動機器人提高機器的智能化程度。馬志艷等[7]對基于視覺除草關鍵技術做了研究。韓正笑等[8]利用圖像處理技術成功計算出稻田雜草蓋度。段宇飛等[9]基于機器視覺完成了油茶果殼與果籽的分選。徐雪峰等[10]開發了一套基于機器視覺的智能采摘平臺，實現對目標的采摘，準確率達到94.67%。將機器視覺應用于自動化的噴藥移動機器人是目前自動化導航的發展方向，而導航線的提取是視覺導航機器人的關鍵技術。

劉陽等[11]在獲取道路兩側樹干后，先進行邊緣提取，并以其內側角點作為特征點，擬合左右邊界線，然后求其中線作為導航基準線，實現果樹林間移動機器人的導航線提取。侯雨等[12]利用改進的Canny邊緣檢測算法實現對大豆雜草的識別。徐黎明等[13]利用SUSAN算子不需要梯度計算的特點，自適應選取閥值進行邊緣檢測，實現楊梅果實的邊緣提取。刁智華等在2015年提出一種通過提取作物行骨架，擬合作物行直線的導航線提取算法。張西亞等[14]利用粒子群算法優化Ostu算法二值化圖像，然后用位置聚類算法提取導航點，最后用最小二乘法擬合導航線。李西鋒等[15]采用最小二乘法擬合直線，解決了AGV小車的視覺引導。Keun HaChoi等[16]，基于莊稼的幾何形態計算導航點，然后采用加權最小二乘法擬合出導航線。將Hough變換技術應用于公路車道線提取、農田作物行提取也得到了廣泛的研究[17]。袁挺等[18]利用改進的Hough變換擬合導航路徑，導航線平均識別率93.9%。趙穎等[19]利用過已知點的Hough變換實現犁溝線的識別。胡波等[20]在連通區域中提取出圖像特征點，實現導航線的提取。姜漢榮等[21]在HIS空間中實現對AGV道路標線中心線提取。

上述方法對于導航線的提取都取得了一定的效果，但是局限性也比較大，難以在園林環境復雜的道路上取得良好效果。最小二乘法擬合導航點極易受到干擾點影響，而Hough變換存在計算量大，耗時等缺點。本文采取“化曲為直”的思想，截取相機拍攝圖像的部分區域作為感興趣區域，這樣不僅解決園林道路彎曲的問題，而且也減少圖像的計算量。利用道路和綠植的顏色差異，提出適合園林的灰度化因子二值化圖像。根據噪聲和道路在幾何上的差異，來提取道路邊界點擬合出道路邊界線。計算梯形道路的中軸線作為導航線，為園林移動機器人提供導航路徑。

1 試驗平臺的搭建及工作流程

本文主要研究園林移動機器人的導航，所以暫時不考慮噴灑模塊。試驗平臺如圖1，主要包括履帶車底座、主控計算機、攝像模塊、電機運動控制模塊；實驗數據主要在平臺MATLAB上處理；攝像機選用大恒圖像的工業相機MER-132-43U3C-L，采用USB3.0傳送數據；上位機采用PC電腦，主要負責處理攝像機傳來的圖像以及和下位機進行通信；下位機采用STM32F103型號的單片機，使用串口和上位機通信，主要負責履帶車的運動控制。圖像處理軟件在VisualStudio平臺下開發，通過Arm-linux-gcc完成程序的交叉編譯，然后移植至主控計算機。

圖1 試驗平臺

攝像機采集到圖像序列后發送給主控計算機，主控計算機利用本文算法對道路圖像進行分析處理提取出導航線，然后通過UART串口傳輸導航參數至小車運動控制模塊，最后驅動履帶車沿著導航線運動，實現小車的自主導航。硬件平臺整體框架如圖2所示。

圖2 硬件平臺總體框架圖

2 材料和方法

2.1 圖像采集

本文主要以園林結構化道路為研究對象，在廣西大學園林采集常見的道路圖像一共786幅，本文采集的道路圖像主要考慮道路周圍環境復雜，道路被人為干擾以及道路邊界被雜草干擾三種情況，其中復雜環境路況下采集235幅圖像，人為干擾路況下采集350幅圖像，雜草干擾路況下采集201幅圖像。其中70%幅圖像作為訓練集，剩下30%幅圖像作為測試集驗證本文算法性能。采用大恒的工業相機MER-132-43U3C-L采集圖像，攝像頭支架固定在履帶車正中間，攝像機距地面垂直高度為1.5 m，圖3(a)是相機圖片，采集的道路圖像如圖3(b)所示。

(a)攝像機

2.2 圖像截取

園林中多為人工修建的小路，道路兩旁規則，大都呈現直線型邊緣，但是也有道路復雜的彎曲小路，因此本文采用化曲為直的思想，只截取拍攝圖像的部分區域作為研究對象。經350組試驗驗證，截取拍攝圖像的最后200像素行作為感興趣區域取得的效果最好，不僅解決園林道路存在弧度的問題，而且簡化圖像處理的計算量、減少干擾，從而保證導航路徑的精度和實時性，截取圖像如圖4(a)所示。

(a)截取道路圖

2.3 圖像預處理

2.3.1圖像灰度化

相機拍攝的圖像以RGB格式保存，其他顏色空間需要從RGB顏色空間轉換得到，為了減少圖像預處理的時間，本文在圖像的RGB顏色空間進行分析。從拍攝的圖像可以看出，園林中植物種類較多，不僅有綠色植被，還有紅色以及黃色雜草等植物，道路環境的復雜性給圖像預處理增添了難度，因此需要選取合適的灰度化因子來減少環境中的干擾。在圖像中，可以明顯看出道路環境雖然復雜，但是道路的顏色和綠植有著明顯的差異，因此本文提取一種針對道路的灰度化因子，使道路與背景良好分割。

分析圖4中R，G，B三個通道的圖像可知，B分量中，路面和背景的差異較大，對比明顯。經過200組灰度試驗，提出式(1)灰度化因子，灰度化效果如圖4(f)所示。圖4(e)是采用超綠灰度化因子得到的，可以看出超綠灰度化因子能很好區分綠色植物和道路，但是對于圖中的紅色植物誤將分割為道路，不能適用于園林中復雜的環境。通過對比可以看出，本文提出的灰度化因子得到較好效果。

(1)

2.3.2 圖像二值化及形態學處理

二值化圖像是數字圖像處理的重要步驟，常用的全局圖像二值化算法有雙峰法、迭代法、Ostu法等。楊振宇等[22]利用Ostu方法成功將黃瓜從背景中分離出來。本文采用最大類間方差法(Ostu)進行二值化圖像。Ostu法是一種自適應閾值分割算法，針對園林復雜的環境，可以很好的將道路和背景區分，得到比較滿意的二值化效果。

得到的二值化圖像，常常會伴隨著噪聲和空洞的一些干擾，因此需要對圖像進行形態學的處理，消除干擾。為了減弱這些孔洞對導航線提取的影響，本文使用數學上的閉運算來填補孔洞，如式(2)所示。

A·g=(A⊕g)Θg

(2)

1)首先使用結構元素g對圖像A膨脹，如式(3)。

(A⊕g)={x|(g+x)∩x≠}

(3)

2)然后使用結構元素g對膨脹過的圖像進行腐蝕，如式(4)所示。

BΘg={x|(g+x)?A}

(4)

其次，繼續對圖像進行中值濾波處理，使圖像變得平滑，低噪。

2.4 導航線提取

2.4.1 邊緣檢測

基于相機的成像原理，拍攝的道路圖像近似于梯形。因此，要將道路的兩側邊緣檢測出來，進而分割出實際中的道路圖像。由于圖像中，邊緣方向的像素值不會發生改變，而垂直于邊緣的像素值發生變化，因此傳統圖像邊緣檢測都是采用微分算子，例如Roberts算子，Sobel算子，Prewitt算子，Canny算子。但微分算子會進行求導運算，這加大對計算機的要求，降低處理效率。馬志艷等[23]就利用Canny算子對二值圖像進行邊緣檢測，提取玉米的輪廓，但單張圖像處理時間達到721 ms，實時性得不到保證。

本文利用噪聲和道路在幾何形狀上的差異來檢測道路邊緣。噪聲在橫向上的寬度值遠遠小于道路的寬度值，設置合適的閾值T，即可判別出道路和噪聲。二值圖像對應的矩陣Vij代表每個像素值，其中圖像中白色像素對應1，黑色為0，M代表圖像矩陣的行數，N代表圖像矩陣的列數，檢測算法主要分三個部分。

1)逐行掃描，對連續白色像素值進行累加，求出白色區域的橫向寬度S，公式如式(5)。

(5)

2)連續白色區域累加值(幾何上表示白色區域寬度S)與設定閾值T進行比較，S>T判定白色區域為道路，反之為噪聲。

3)當滿足S>T，停止掃描，將記錄當前掃描的行i以及列j，根據式(6)計算出邊界點列坐標，并將邊界的坐標(i，St)加入到邊界集合C中。

St=j-S

(6)

以檢測左邊界為例，具體流程圖如圖5所示。

圖5 邊界檢測流程圖

2.4.2 感興趣區域截取

檢測出道路的邊界線以后，要進行道路的分割。實際園林中的道路，都是人工修建的矩形，道路兩側呈直線，但相機拍攝出的道路圖像形狀為梯形。準確確定梯形的四個頂點，即可提取出道路。

考慮到實際圖像中噪聲的干擾，為了能包含至少兩行道路的邊界信息，本文取圖像前五行道路邊界點的均值作為梯形上底的兩個頂點，取圖像的后五行邊界點的均值作為梯形下低的頂點。計算公式如式(7)所示。

(7)

式中：Sl1，Sr1，Sl2，Sr2——四個頂點列坐標；

Li——左邊界列坐標；

Ri——右邊界列坐標。

得到梯形道路四個頂點坐標分別為(1，Sl1)、(1，Sr1)、(M，Sl2)、(M，Sr2)，由式(8)、式(9)得到左右邊界方程。

(8)

(9)

2.4.3 提取導航線

傳統上采用最小二乘法或者Hough變換來提取導航線。其中最小二乘法受干擾點的影響比較大，而Hough變換的計算量大，不能滿足實時性的要求。本文在2.4.2計算出梯形道路四個頂點基礎上，提取導航線。

梯形道路的中軸線即為自動化車輛的導航線，由梯形的幾何性質可知，梯形的上底和下低中點連線，即為所要提取的導航線。

根據式(10)、式(11)計算出梯形上底和下低中點(1，Z1)、(M，Z2)，根據直線的一般式(12)，將上底和下低中點代入，得到導航線(13)。

(10)

(11)

Ax+By+C=0

(12)

其中：A=x1-x2;B=y1-y2;C=x2y1-x1y2

(M-1)x+(Z2-Z1)y+(M×Z1-Z2)=0

(13)

3 試驗與分析

3.1 算法流程

試驗在廣西大學公園進行，拍攝圖像大小為640像素×480像素；為了驗證本文算法的有效性，選取干擾較大，綠色植物豐富的圖像作為研究對象，拍攝圖像如圖3(b)所示，圖4(a)是截取的目標區域作為提取對象。圖4(b)、圖4(c)、圖4(d)是目標區域的RGB分量圖，圖4(f)是采取本文灰度化因子得到的灰度圖像。實驗流程和結果如圖6所示，其中圖6(a)是采用Ostu方法得到的二值圖像，由圖可知存在大量噪聲干擾，采用形態學處理以及中值濾波，可消除大部分噪聲，再經過孔洞填充后得到圖6(b)所示的圖像。利用本文邊界檢測算法得到道路的邊界，如圖6(c)，圖中三角符號是檢測出的邊界線，從圖中得到，檢測結果受噪聲干擾小。根據本文的邊界檢測算法檢測出道路邊界后，分別取出左右邊界線前5行和后5行，邊界坐標并根據式(7)計算均值后，得到梯形道路的四個邊界頂點坐標，如表1所示，其中均值A表示梯形左上角頂點坐標，均值B是左下角頂點坐標，均值C和D分別表示梯形右上角和右下角頂點坐標。

(a)二值化

表1 道路頂點坐標

計算出道路梯形的四個頂點后，擬合出道路邊界，如圖6(d)，并將道路區域分割出來，如圖6(e)。對截取的道路區域計算出梯形道路上邊和下邊的中點坐標，得到中軸線，提取出導航線，結果為圖6(f)所示。最后提取效果如圖6(g)～圖6(h)所示，虛線代表擬合出的道路邊界線，實線是提取的導航線，從圖中可以得到，提取的導航線分布在道路中間。

3.2 算法對比

為了驗證本文算法，隨機選取了不同的園林道路進行實驗驗證，圖7顯示了常見的路面干擾路況。圖7(b)是道路周圍環境復雜的路況，圖7(d)是在人為干擾下的路況，圖7(f)是道路邊界有雜草干擾下的路況，圖7(a)、圖7(c)、圖7(e)分別是對應二值化圖像，分別在這些路況應用本文算法和最小二乘法提取導航線。提取的邊界線和導航線如圖7所示，其中實線是最小二乘法擬合出的直線，虛線是本文算法擬合出的直線。

(a)復雜環境下路況

根據式(7)算出道路頂點后，根據式(8)擬合出道路兩側邊界線，然后算出道路上底和下低的中點坐標，如表2所示，表2中的實際中點坐標，是由人工在實際道路中測量得到，根據式(12)算出中軸線方程，用k，b表示，如表3。為了驗證本文算法的精度，分別計算本文算法、最小二乘法和人工計算的實際導航線與水平方向的夾角，如表4所示。由此算出不同算法擬合出的導航線誤差，如表5所示。

表2 不同算法法提取導航路徑中點坐標

表3 不同算法提取導航路徑方程

表4 不同算法提取導航線水平夾角

分析表5中實驗數據，圖7(a)是復雜環境下的路況，由于道路旁邊紅色植被的影響，二值化后并不能得到完整的邊界線，圖中道路左側邊界線有少量噪聲干擾。本文算法在左側邊界線有干擾的情況下準確擬合出了邊界線，最后提取出的導航線誤差在0.143°，而使用最小二乘法提取出的左側邊界線受干擾點影響，最終提取出的導航線誤差是0.72°，高出本文算法0.577°。

表5 不同算法提取導航路徑精度

圖7(c)是常見的人為干擾邊界路況，從二值圖像可以看出，道路的左邊界，有很多干擾點并且嚴重偏離道路真實邊界線。本文算法在這種路況下提取的導航線誤差為0.14°，而最小二乘法受干擾點影響嚴重，誤差高達2.01°，高出本文算法1.87°。圖7(e)也是常見的道路邊界被周圍雜草干擾的路況，自然生長下道路旁邊的雜草會連續分布在道路邊界，從二值圖像可以看出，干擾點存在道路邊界連續的一部分。最終本文算法提取的導航線誤差為0.56°，最小二乘法的誤差為2.83°，高出本文算法2.27°，得到的導航線已經失去應用意義。

經過三種路況的對比，本文算法提取的導航線誤差不超過0.6°，表明本文算法抗干擾性強，而最小二乘法在道路邊界受到輕微干擾情況下，還能準確擬合導航線，但是當干擾較大時，算法擬合出的導航線誤差超過2.8°，嚴重偏離了實際的導航線。

通過實驗對比，結果表明本文所提算法在精度上優于最小二乘法。由圖7不同環境下導航線擬合結果可知，本算法對不同干擾，都表現出良好的效果，抗干擾能力強，算法魯棒性好。

表6是不同導航線提取算法耗時對比，分析表中數據可知，本文所提算法用時為53 ms，比最小二乘法快22 ms，比Hough變換快55 ms，使得移動機器人更快的做出響應，更好的滿足實時性的要求。

表6 不同法提取導航路徑耗時

4 結論

本文針對園林的結構化道路環境復雜，干擾嚴重的問題，提出一種基于邊緣檢測的導航線提取算法，取得如下成果。

1)采取“化曲為直”的思想，從拍攝圖像中截取一部分圖像來提取導航線，能很好解決彎路情況，適用園林中道復雜的道路。這種處理方法減少計算量，實時性得到保證，提高算法的魯棒性。

2)采取改進的灰度化因子對圖像灰度化處理，能很好適應園林中顏色豐富的復雜環境，較好區分道路和背景，受光照影響較小。

3)利用噪聲和道路在幾何形態學上的差異，提出設置閾值T的道路邊界檢測算法，計算簡單，噪聲影響較小，算法效率高，魯棒性好。

4)本文將園林中道路近似為梯形，通過計算梯形中軸線提取導航線，算法簡單，執行速度快，可以滿足實時性要求。

通過試驗表明，該算法能適合大部分的園林場景，在不同的路面，干擾情況下都表現很好。在路面周圍環境復雜的路況下，本文算法提取的導航線誤差僅為0.143°，人為干擾和雜草干擾這樣存在嚴重干擾的路況，本文算法誤差小于0.6°，顯著優于傳統最小二乘法2.83°的誤差。本文算法平均處理一幅圖像僅耗時53 ms，相比于傳統最小二乘法和Hough變換法，本文算法的抗干擾性更強，精度更高，耗時更少。