基于ARM的視覺導航AGV圖像處理方法研究

文生平, 陳志鴻, 張施華

(華南理工大學 聚合物新型成型裝備國家工程研究中心 聚合物成型加工工程教育部重點實驗室，廣州 510640)

基于ARM的視覺導航AGV圖像處理方法研究

文生平, 陳志鴻, 張施華

(華南理工大學 聚合物新型成型裝備國家工程研究中心 聚合物成型加工工程教育部重點實驗室，廣州 510640)

為了實現更加簡單高效的標識線圖像的檢測與處理，提出了一種優化的基于ARM的視覺導航AGV標識線圖像處理方法;首先對采集到的圖像進行灰度化處理并使用Otsu算法對圖像進行閾值分割；然后采用優化的中值濾波算法進行圖像濾波并使用高效的邊緣提取策略獲取路徑邊緣特征；最后采用角度判斷的方法剔除錯誤點并使用最小二乘法擬合成路徑的中心線;實驗結果表明，該方法有較高的準確率和較好的實時性，可以滿足工業生產中的實際需求，適用于基于嵌入式系統開發的視覺導航AGV。

視覺導航；邊緣提取；最小二乘法；中值濾波

0 引言

AGV(automated guided vehicle)即自動導引小車，是一種通過裝備光學、電磁等導引裝置，實現在無人干預下沿著既定路徑自動行駛的智能化運輸設備[1]。近年來隨著計算機視覺與圖像處理技術的快速發展，使得視覺導航AGV成為一個發展熱點，其出色的靈活性與智能化使其廣泛應用于自動化生產線、倉儲物流、港口物流傳送等領域[2]。

目前視覺導航AGV主要是利用視覺傳感器實時采集路面的圖像信息，通過對采集到的圖像進行數字圖像處理，識別出車道標識線并獲取AGV相對于標識線中心線的位置偏移量與角度偏差，再由控制器發出指令對偏差進行修正，使AGV沿著標識線中心線運動[3]。

在圖像處理與視覺導引方面，通常采用以下幾種方法：

1)對圖像上的標識線進行邊緣特征提取，提取的結果直接作為控制的依據。

2)對圖像上的標識線進行邊緣特征提取后進行曲線擬合，擬合的結果作為控制的依據[4]。

3)對圖像上的標識線進行邊緣特征提取，通過在特征邊緣處找到導引點作為控制的依據。

針對基于嵌入式系統開發的視覺導航AGV[5]，由于其計算與存儲資源有限，對圖像處理算法的執行效率有很高的要求。在確保標識線有高識別準確率的前提下，需要盡可能降低系統資源的開銷，以提高系統的實時性。

本文提出一種高效的視覺導航AGV圖像處理方法，高效提取標識線邊緣并進行中心線快速擬合,該算法有較高的準確率和較好的實時性。

1 系統總體設計

AGV系統包括圖像采集單元、圖像處理單元、無線局域網模塊、控制模塊、I/O模塊、底層硬件等，如圖1所示。

圖1 AGV系統總體架構

地圖信息指包含標識線的場景，圖像處理的目的是實時地將地圖信息轉化為控制器可讀取的路徑參數，為視覺導引提供控制的依據。

圖像采集單元負責以一定頻率與分辨率采集帶有標識線的圖像，并將采集到的圖像傳輸到圖像處理單元。

圖像處理單元負責對采集到的每一幀圖像進行圖像預處理、特征提取、直線擬合等操作，最終獲得小車相對于標識線中心線的角度偏差與位置偏移量，并打包成下位機可讀取的路徑參數。

無線局域網模塊負責將獲得的路徑參數發送到控制模塊。

控制模塊根據接收到的路徑參數輸出控制指令糾正小車當前的位姿。同時，控制模塊讀取當前的電機狀態、電量水平、運行速度等相關參數并實時調整小車的運行狀態。

I/O模塊負責傳達控制指令到底層硬件模塊，同時讀取底層硬件當前的電機狀態、電量水平、運行速度等參數到控制模塊。

底層硬件接受控制指令，并按照控制指令進行動作。

AGV結構模型如圖2所示，驅動輪安裝在轉向裝置上。配有環形光源的圖像采集模塊垂直于地面安裝在小車的轉向裝置下方，通過測量圖像采集區域下的d與θ，得到小車相對于標識線的位置偏差與角度偏差。控制器實時輸出控制指令，控制轉向裝置轉動使小車能夠始終沿著車道線行駛。

圖2 AGV結構模型

2 標識線導引的具體實現

視覺導航AGV的標識線導引需要對采集回來的路徑圖像進行處理，獲得有用的路徑參數并傳遞到控制器，實現導航功能。具體包含以下步驟：

2.1 圖像預處理

圖像預處理[6]主要包括了幾何校正、灰度化、閾值分割、圖像濾波等處理。由于視覺傳感器垂直于地面安裝，其采集到的圖像因透視而產生的形變較少，故可以不進行幾何校正，而需要進行灰度化、閾值分割與圖像濾波。

2.1.1 圖像灰度化

將彩色圖像轉化為灰度圖像的過程稱為圖像的灰度化處理。圖像傳感器采集到的圖像是24位RBG彩色圖像，這樣的彩色圖像將占用大量的存儲資源與計算資源，因此我們需要對圖像進行灰度化處理以降低系統資源的消耗。灰度化的方法有分量法、最大值法、平均法與加權平均法。按照實驗與經驗的推薦，按下式對R、G、B三個分量進行加權平均能得到較理想的灰度圖像。

f(i,j)=0.299R(i,j)+0.587G(i,j)+0.114B(i,j)

(1)

盡管灰度化后的圖像相對彩色圖像丟失了一定的色彩等級，但其仍然能反映整幅圖像的整體和局部的色彩和亮度等級的分布和特征。對于僅含有路徑標識線的圖像而言，灰度化后對整體和局部的圖像描述產生的影響可以忽略不計。

2.1.2 閾值分割

閾值分割指把圖像分割為前景和背景。分割的方法可以分為全局閾值分割和局部閾值分割兩大類。全局閾值分割通過選取一個閾值T，使圖像g(x,y)像素灰度值大于此閾值T的設為255，小于此閾值的設為0。公式如下：

(2)

全局閾值有多種方法，其中Otsu算法[7]被認為是圖像分割中閾值選取的最佳算法。其算法計算簡單，不受圖像的亮度和對比度影響，降低了錯分的概率。本文利用Otsu法分割標識線與背景，效果明顯，如圖3(b)所示。

圖3 實驗結果

經Otsu法閾值分割后的圖像背景灰度值為255(白色)，標識線灰度值為0(黑色)，分割準確，對比度高，能夠最大限度地節約系統存儲空間與提高圖像的處理速度。

2.1.3 基于均值查找的中值濾波法

中值濾波[8]是基于排序統計理論的一種能去除噪聲的非線性信號處理技術。其原理是把圖像中某一像素點的值用該點的鄰域各點的值的中值代替，從而消除孤立的噪聲點，對于斑點噪聲與椒鹽噪聲的去除效果尤為突出。

中值濾波的執行效率依賴于排序的運算速度。排序需要遍歷像素點及其鄰域的像素值，再通過比較每個像素灰度值的大小進行排序。算法本身十分耗時，難以保證實時性。為此文中采用一種基于均值查找的中值濾波算法[9]。其算法的思想是：

以像素灰度值集合M的均值avg劃分M為相應的兩個子集合。通過計算，分別獲得子集合元素個數n與子集合累計舍棄元素個數m，并分別與初始集合元素個數q的一半進行比較，以確定中值所在的目標集合M′，并對此集合進行下一次迭代，直到目標集合只包含一個元素為止。該元素則為集合M的中值。算法示例如圖4所示。此方法通過集合的多次二分，實現縮小目標集合從而減少不必要的排序操作，大大提高了中值濾波算法的執行效率。

2.2 特征提取

要獲得車道標識線的中心線首先需要對路徑的邊緣特征進行提取。霍夫變換是圖像處理中一種經典的特征提取技術，用于檢測圖像中的特定形狀[10]。對于可近似看作直線的車道標識線，其邊緣可以通過霍夫變換檢測出來。雖然霍夫變換的應用很廣泛，但是其對圖像邊緣的細節要求較高，并且計算量大，難以達到高實時性的要求。故文中采取一種高效的邊界輪廓掃描法，方法如下：

Step1：對圖像自上而下逐像素行進行掃描，本方法中圖像共有380行像素。掃描同時從左右兩端開始，方向指向內部，如圖5所示，獲取各個像素點的灰度值。

圖4 基于均值查找的中值算法示例圖

圖5 行掃描示意圖

Step2：當掃描首次遇到像素灰度值為0的像素點則返回當前像素點的坐標值，并插入到向量中。理想情況下將返回標識線兩側邊緣的坐標值。如此自上往下逐行掃描最終得到分別表示標識線左右邊緣的兩個特征向量組veclj與vecrj,(j=0，2，3，…，379)。

Step3：對向量組veclj與vecrj分別進行元素數量檢查，當元素數量小于190(像素行總數的一半)時，認為沒有找到標識線的邊緣，跳出此步驟。當元素數量大于190時，認為找到標識線邊緣并進行下一步操作。

Step4：向量組veclj與vecrj分別記錄了標識線左右邊緣的坐標。對兩組向量中的坐標值進行數學運算可以得到標識線中線的坐標集合。記該坐標集合為Mid，對Mid進行直線擬合則得到標識線中心線。Mid可以表示為：

Mid={(xi,yi)|xi=(veclj+vecrj)/2,yi=

j;j=0,2,...,379}

2.3 直線擬合

當路徑為曲線時，取小段路徑進行分析，曲線路徑可以近似為直線處理。由于圖像采集單元安裝位置靠近地面，視野較小，其連續采集到的標識線圖像可近似為直線，于是路徑的擬合問題可看作是線性回歸的問題。線性方程為：

y=a+bx

(3)

根據最小二乘法，其偏差平方和為：

(4)

式中,分別對a與b求偏導數，有：

(5)

于是得到關于a，b的線性方程組：

(6)

解方程，得a，b:

(7)

其中：

最小二乘法是進行直線擬合最簡單有效的方法，但其缺點是容易受到錯誤點的影響從而影響直線的準確度，為此需要對算法的使用進行改進。為了能夠實現對錯誤點的判斷與剔除，文中采用最小二乘法分段擬合直線，通過比較各段線段的角度對錯誤點進行定位，并剔除錯誤點所在的小段路徑，最后對保留下來的路徑小段重新進行擬合，得到最終直線段。該方法如下：

Step1：將像素點坐標集合Mid在y方向上每十個像素點分成一段，得到如下38個坐標集合：

Mid0={(xi,yi)|xi=(veclj+vecrj)/2,yi=j;

j=0,2,...,9}

Mid1={(xi,yi)|xi=(veclj+vecrj)/2,yi=j;

j=10,12,...,19}

Mid37={(xi,yi)|xi=(veclj+vecrj)/2,yi=j;

j=370,372,...,379}

Step2：使用最小二乘法分別對Mid0到Mid37進行直線擬合，得到38段直線段L0，L1，…，L37。

Step3：設定一個角度閾值T來區分角度正常與角度異常的直線段，設定一個計數器f來統計錯誤線段的總數，計算各線段的斜率k，線段角度θi，并計算相鄰直線段的角度之差的△θi。公式如下：

θ=arctan(k)

(8)

(9)

Step4：對L0是否存在錯誤點進行判斷。當L0中包含錯誤點時，會導致后面線段的錯誤點的判斷失敗，對于這種情況，進行如下的處理：若△θ1>T且△θ2

Step5：比較閾值T與△θi的大小，若△θi大于閾值T，則認為線段Li中出現了錯誤點，導致線段的角度出現異常，剔除線段Li所對應的像素點集合Midi，同時計數器f加1。若△θi小于閾值，則將集合Midi保存到向量vec中。

Step6：檢查計數器f，當f<19，即當存在錯誤點的線段數量小于線段總數的一半時，認為錯誤點對路徑擬合沒有影響，并對vec中的坐標點集合進行最小二乘擬合，得到最終直線。當存在錯誤點的線段數量大于線段總數的一半時，認為錯誤點對路徑擬合產生影響，跳出程序，讀入下一幀進行下一循環。

算法流程如圖6所示，流程與上述步驟一一對應，算法在Linux操作系統下采用C++進行編寫。

圖6 直線擬合算法流程圖

3 實驗結果及分析

3.1 實驗平臺

為了驗證本文提出的算法效率以及正確性，使用樹莓派三代，樹莓派攝像頭以及Turtlebot輪式機器人進行實驗。樹莓派三代是基于ARM的微型電腦，其CPU為ARM Cortex-A53，并且配有1GB內存和無線網卡模塊，搭配樹莓派攝像頭，相當于智能相機，能夠完成圖像采集、圖像處理及無線通訊的功能。圖像處理后獲得的路徑數據通過無線局域網模塊發送至Turtlebot輪式機器人的控制模塊進行整車調試。

3.2 結果分析

利用上述的圖像處理方法，如圖3所示是對路徑標識線圖像處理的過程與結果。可以看到原始圖像是一段曲率較小的曲線，路面上存在大量干擾。使用Otsu法進行閾值化后可以看到路徑與背景已經很好地分割開來，路徑呈黑色，背景呈白色，但是圖像上仍存在大量的斑點噪聲與椒鹽噪聲。經過優化的中值濾波處理之后在中心線擬合的圖像中可以看到大部分干擾因素已經被很好地去除，余留下的少量干擾因素因為被直線擬合算法排除，沒有影響到中心線的擬合，使本算法的魯棒性得到保證。

對本圖像處理方法(優化的中值濾波、高效邊緣提取與最小二乘直線擬合)與傳統的圖像處理方法(傳統的中值濾波、Hough算法直線檢測與最小二乘直線擬合)進行對比實驗。計算分別用以上兩種方法連續處理1000幀圖像的合計用時與平均用時，以及統計最終直線擬合的成功率，結果如表1、表2與表3所示。

表1 中值濾波算法處理速度比較

表2 直線擬合方法處理速度比較

表3 中心線擬合成功率比較

從實驗結果可以看到本圖像處理方法在處理效率上明顯優于傳統圖像處理方法。就單幀圖像而言，優化的中值濾波較傳統中值濾波效率提升31.60%，而本直線擬合方法較Hough直線檢測加最小二乘直線擬合效率提升57.45%。中心線擬合依賴于圖像預處理效果以及標識線邊緣特征提取的完成度，由于本邊緣提取算法對邊緣細節要求較Hough算法低，導致最終中心線擬合的成功率較傳統方法高12%。在實際工作場景中連續處理的圖像數量遠大于1000幀，其效率的提升是相當可觀的，這對于計算與存儲資源有限的嵌入式系統顯得尤為重要。

4 結論

本文針對嵌入式系統計算與存儲資源有限以及視覺導航AGV實際工作環境所要求的高實時性的問題，提出了一種可行的視覺導航AGV圖像處理方法。該方法采用了Otsu算法對圖像進行閾值分割；使用優化的基于均值查找的中值濾波算法進行圖像濾波；使用高效的邊緣提取策略獲取路徑邊緣信息；采用分段角度判斷的方法剔除錯誤點并使用最小二乘法擬合成路徑的中心線，大大提高了系統的運行效率，保證了系統的魯棒性與實際工作中所要求的準確性與實時性，有利于在基于ARM的視覺導航AGV上的應用。

[1] 李西鋒, 魏生民, 閆小超. 視覺引導AGV的數字圖像處理方法研究[J]. 科學技術與工程, 2010, 10(10):2515-2519.

[2] Xing W, Lou P, Yu J, et al. Intersection Recognition and Guide-path Selection for a Vision-based AGV in a Bidirectional Flow Network[J]. International Journal of Advanced Robotic Systems, 2014, 11(1):1.

[3] Zhang H B, Yuan K, Shu Q M, et al. Visual navigation of an automated guided vehicle based on path recognition[A]. International Conference on Machine Learning and Cybernetics[C]. IEEE Xplore, 2004,6:3877-3881.

[4] 樸 磊, 李劍中, 馮 剛. 視覺導引AGV的數字圖像處理[J]. 儀器儀表學報, 2006, 27(s1):766-767.

[5] 王宜懷, 吳 瑾, 蔣銀珍. 嵌入式系統原理與實踐[M]. 北京:電子工業出版社, 2012.

[6] 王紅君,施 楠,趙 輝,等. 改進中值濾波方法的圖像預處理技術[J]. 計算機系統應用,2015(5):237-240.

[7] Otsu N. A Threshold Selection Method from Gray-Level Histograms[J]. IEEE Transactions on Systems Man & Cybernetics, 2007, 9(1):62-66.

[8] Hanji G, Latte M V. Novel Median filter for impulse noise suppression from digital images[J]. International Journal of Computer Applications, 2014, 4(3/4):1-12.

[9] 鮑 華,樊瑜波,饒長輝,等. 基于均值查找的快速中值濾波算法[J]. 四川大學學報(工程科學版),2011(2):76-79,86.

[10] Aggarwal N, Karl W C. Line detection in images through regularized Hough transform[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2006, 15(3):582-91.

Research on Image Processing Method of ARM-based Visual Navigation AGV

Wen Shengping, ChenZhihong,Zhang Shihua

(National Engineering Research Center of Novel Equipment for Polymer Processing, Ministerial Key Laboratory of Polymer Processing Engineering, South China University of Technology, Guangzhou 510640, China)

In order to achieve a more simple and efficient detection and processing of the navigation line image, an optimized navigation line image processing method for ARM-based visual navigation AGV is proposed.First, image collected by the camera is grayed and then segmented by Otsu algorithm. Second, the optimized median value filter algorithm is used to denoise and the efficient edge extraction strategy is used to obtain the path edge. Finally, the error points are eliminated by the method of angle judgment, and the central line of the path is synthesized by the least square method. The experimental results show that the method has high accuracy and good real-time performance, and can meet the needs of industry. It is suitable for visual navigation AGV based on embedded system.

visual navigation; edge extraction; least square method; median filtering

2017-05-12；

2017-05-31。

廣東省及廣州市科技計劃項目(2015B090901020；201508010058；201604010079)。

文生平(1966-)，男，湖北荊州人，教授，碩士研究生導師，主要從事工業裝備的智能控制與機器視覺方向的研究。

1671-4598(2017)12-0207-04

10.16526/j.cnki.11-4762/tp.2017.12.054

TP242.6

A