基于單目視覺的非結構化道路檢測與跟蹤

王燕清，陳德運，石朝俠

(1.哈爾濱理工大學 計算機科學與技術學院，黑龍江 哈爾濱 150080;2.南京理工大學 計算機科學與技術學院，江蘇南京 210094)

通常智能車輛系統由道路感知、道路規劃、車輛控制等功能模塊組成.道路感知的方法多種多樣，包括在道路中嵌入磁極、雷達、紅外、激光、超聲波、多傳感器信息融合以及視覺等方法.傳統的方法存在較大的缺陷，如:道路中嵌入磁極需要升級道路結構，這在短期內并不能實現;雷達雖然可以檢測路面，但存在路面反射率不一樣的問題，且這些方法不能利用道路路標的顯著特征;基于多傳感器信息融合的方法能夠適用于各種復雜的未知環境，不需要具備環境的先驗知識，然而造價較高，不適于在普通車輛上的普及.因此，基于視覺的道路檢測技術提供了廉價的解決方案，成為ITS的研究熱點之一.

盡管基于視覺的非結構化道路檢測方法取得了突破性的進展，然而仍然存在實時性、魯棒性、準確性等問題.為了解決上述難題，各國學者從不同的角度對道路視覺檢測問題進行了研究，主要方法有:基于道路特征的方法［1-2］，基于道路模型的方法［3-6］，基于神經網絡的方法［7］.

本文提出了一種基于視覺的非結構化道路檢測方法.該方法將自適應道路區域分割與邊緣檢測方法結合，將智能車輛的運動學模型考慮在內，提出一種新型的自適應蒙特卡羅方法對道路的邊界進行跟蹤.

1 基于二維Otsu法的區域分割

與結構化道路具有明顯的分道線標志、清晰的道路邊界以及均勻的特征分布的特點不同，非結構化道路具有形狀不規則、沒有分道線標志、路面容易存在破損和裂痕、顏色或紋理特征不均勻以及光影、水漬的影響嚴重等問題.

1.1 一維Otsu法

Otsu法是一種經典的動態閾值方法，它的基本思想是利用圖像的灰度直方圖，以目標和背景的方差最大動態地確定圖像的分割閾值.以往的研究將一維Otsu法引入非結構化道路的視覺檢測，該方法在道路檢測實驗中體現出良好的性能，能夠有效抑制路面缺損、灰度不均對檢測結果影響.但是Otsu法是基于一維直方圖的分割方法，它只考慮了圖像的灰度信息而沒有考慮像素的空間位置信息，當圖像直方圖沒有明顯的雙峰或者圖像信噪比較低時，其分割效果并不理想［8］.

智能車輛在道路上運動時，一個合理的假設是可以從圖像的特定位置獲取路面參考區域，用Otsu法對圖像進行多次劃分，然后借助于路面參考區域的信息合并屬于路面的區域，從而提高道路區域劃分的精度.

當采用Otsu法進行彩色圖像分割時，不同的顏色通道也會獲得不同的分割效果.使用一種自適應通道選擇方法:根據路面參考區域的信息確定道路上占統治地位的顏色分量，并以該分量為準進行圖像分割.顏色通道選擇原理:

式中:C表示顏色通道，R代表在參考區域里占統治地位的紅色通道的數量.利用式(1)確定的顏色通道進行Otsu劃分能夠獲得更佳的分割結果.

1.2 二維Otsu法

Otsu是利用圖像中的灰度直方圖，以目標與背景之間的方差最大而動態確定圖像分割門限值，是經典的非參數、無監督閾值選取方法.與一維Otsu法相比，二維Otsu法同時考慮了圖像的灰度信息和像素間的空間鄰域信息［9］，具有更高的抗噪性能，具體步驟如下:

1)對灰度級為L的M×N圖像f及其鄰域平滑圖像g求取二維灰度直方圖 hij.hij代表原圖像灰度為i而平滑圖像的灰度為j的像素點的個數.則Pij=hij/2×M×N為i和j的聯合概率.

2)假設閾值對(s，t)分別為原始圖像和平滑圖像的分割閾值，顯然由于目標和背景的特征自相似性，位于圖1對角線上的I區和III區(分別假設為背景與目標).則

分別代表背景與目標的概率.

分別代表背景和目標的灰度均值.

代表整體圖像的灰度均值.

3)將滿足類間方差最大的閾值對(s，t)確定為分割閾值:

由于智能車輛所在的環境中，可能存在與道路同質的物體存在(比如水泥道路和水泥墻壁).使用Otsu方法不可避免會產生錯誤的劃分，所以必須利用道路的邊界進行約束.

圖1 Ⅰ和Ⅲ代表背景和目標Fig.1 ⅠandⅢrepresent background and object

2 邊緣檢測與濾波

2.1 Canny邊緣檢測

盡管非結構化道路沒有規則的形狀，邊界的形狀也變化很大，在智能車輛附近的道路邊界仍可以用直線或曲線粗略近似.其中Canny算子［10］是一個具有濾波、增強和檢測的多階段的優化算子，提取的邊緣較完整，位置較準確，能夠檢測出圖像較細的邊緣部分.因此擬采用Canny算子實現邊緣提取的功能.

原圖像首先與高斯核

卷積，獲得高斯模糊圖像L(在實驗中采用了9×9模板).在過濾噪聲的同時保留環境的有用信息.用一階偏導的有限差分來計算梯度的幅值和方向，對梯度幅值進行非極大值抑制，用雙閾值算法檢測和連接邊緣.為了詳盡描述Canny邊緣的特征，將識別為邊緣像素的梯度幅值記錄并向下一環節傳遞，當采用霍夫變換檢測候選道路邊界時，用直線的長度、角度、距離和幅值強度來聯合表征附近的道路邊界.

2.2 Otsu邊緣濾波

在Canny邊緣的雙閾值選取階段，通常會面臨如下的抉擇:減小梯度幅值的閾值會增加邊緣檢出的數量，使部分屬于道路邊界的弱邊緣能夠保留，但是會帶來較高的計算成本;增加梯度幅值的閾值無疑會有效減少計算量，提高系統的實時性，但可能會導致屬于道路邊界的弱邊緣消失.為了解決這一問題，利用Otsu法分割的道路區域和非道路區域，然后用Canny邊緣進行濾波，在消除復雜邊緣干擾的同時，保留道路邊界附近的Canny邊緣.邊緣濾波公式為

式中:E(x，y)為邊緣圖像，在(x，y)取1時為邊緣像素，取0時為非邊緣像素;R(x，y)為Otsu圖像，取1時為目標，取0時為背景;“⊕”為異或操作符號.式(3)對半徑為r區域內對角線上的像素進行計算，當出現異于其他像素點的取值時該邊緣點將得以保留.

經過Otsu邊緣濾波之后，位于目標和背景內部的部分邊緣將會被消除，而位于目標和背景交界處的邊緣將保留.這樣一方面可以通過減小梯度幅值閾值增加可檢測邊緣的數量，另一方面利用邊緣濾波減小霍夫變換的計算量.盡管非結構化道路的邊界形狀不規則，在大部分情況下，近處的道路邊界仍可以用直線近似，因此采用霍夫變換［12］方法檢測可能的道路邊界.本文采用道路區域分割+邊緣檢測+霍夫變換作為道路檢測的預處理模式，在檢測出一條霍夫線之后，計算該霍夫線的有效線段的長度，同時計算有效線段的平均幅值閾值.這樣，圖像中的一條直線可以表示為一個四元組:

式中，d為線段的有效長度，a為有效線段的平均梯度幅值，ρ為車輛中心到直線的距離，θ為直線與x軸正方向所成的夾角.

3 蒙特卡羅道路邊界檢測方法

道路邊界檢測的任務是從紛雜的霍夫直線中選出可能性最大的道路邊界.為此，一方面采用長度、梯度幅值、距離以及角度等觀測信息，另一方面通過對不同幀間的直線進行關聯，以獲得更加準確的道路邊界，即采用蒙特卡羅算法提取出最佳道路邊界線.

智能車輛的運動模型如下:

式中:(Δxk，Δyk，Δθk)是車輛在k時刻的位姿(位置和方向)變化，(vk，)是由線速度和角速度2個參數組成的速度空間.

智能車輛在k－1時刻以速度(vk，ω～k－1)行駛后霍夫直線的狀態更新方法:

根據圖2，將式(4)代入式(5)，可以獲得直線L在k時刻的ρ、θ值更新:

式中，η為歸一化常量.觀測模型p(ot|Lt)取決于線段Lt的長度、平均梯度強度、距離及角度等視覺觀測信息.運動模型p(Lt|Lt－1，ut－1)由式(5)決定，不僅依靠前一幀檢測的直線Lt－1，而且取決于前一時刻的執行的動作ut－1.

圖2 直線L的計算模型Fig.2 Computational model for line L

蒙特卡羅方法［11］的主要思想是通過m個加權樣本分布集來表征置信度Bel(Lt):

1)采樣:從表征Bel(Lt－1)的加權樣本集中隨機選取樣本

3)為了補償建議分布值 qt和期望值 η× p(ot|Lt)×p(Lt|Lt－1，ut－1)×Bel(Lt－1)之間的差別，樣本通過加權因子w(i)加權:

加權因子w(i)表明樣本所具有的新重要度因子.

4)對步驟1)～3)的取樣過程重復m次，產生m個加權樣本集，并對加權因子L(i)歸一化.

在一般情況下，當m變得無窮大時，樣本集可以收斂到真實的后驗置信度Bel(Lt)，其中收斂速度為與建議分布有關.

4 道路檢測實驗

為了驗證本文算法的有效性，在不同的非結構化道路場景下做了道路檢測實驗.本文算法在320×240分辨率，USB2.0接口、主頻2.4 G、內存2 G環境下的的平均處理時間為45 ms左右，能夠滿足智能車輛視覺導航實時性的要求.

圖3給出了水漬路面的檢測結果，其中圖3(e)中的圓圈為通過蒙特卡羅方法濾波得到的道路左邊界線，方框為通過蒙特卡羅方法濾波得到的道路右邊界線.可以看出:盡管Otsu法無法把水漬從路面上分割，借助于邊緣檢測和蒙特卡羅方法能夠把道路的邊界正確的檢測出來.

圖4給出了光影和道路缺損條件下的道路檢測結果.根據圖4(b)所示的Otsu-Canny復合圖像可知: Otsu能夠克服道路缺損和光影的不利影響，獲得較為理想的圖像分割結果.盡管道路的形狀不是規則的直線，檢測出的候選直線能夠較為理想的分布在實際的道路邊界附近;從圖4(d)給出的最后結果可知，邊緣檢測與Otsu方法能夠很好地結合起來.

圖5給出了典型復雜道路環境下的道路檢測結果.圖中的道路環境具有低照度、低對比度、部分道路邊界被車輛遮擋、部分道路邊界位于交叉口等特點.圖5(b)對道路的右邊界進行了重建，將由不規則的汽車底部構成的邊緣設定為道路右邊線.由于道路兩側的部分區域顏色與道路顏色接近，而被Otsu法誤識別為道路區域，但是結合邊緣檢測能夠獲得穩定的道路邊界檢測結果.

圖3 水漬路面的道路檢測Fig.3 Detection for road surface with water

圖4 光影路面的道路檢測Fig.4 Detection for road surface with light and shadow

圖5 復雜環境的道路檢測Fig.5 Detection for complicated environments

5 結束語

除了道路檢測之外，本算法還具有一定的障礙物檢測功能:遠方位于道路上的行人和汽車都被表示為背景(非可通行區)，這對于該算法應用于智能車輛的視覺導航具有重要意義.本文需要進一步改進的地方是當環境背景與道路區域的特征相似時，無法獲得準確的道路檢測結果，這是下一步的研究重點.

［1］TSAI J F，HUANG S S，CHAN Y M.Road detection and classification in urban environments using conditional random field models［C］//Proceedings of the IEEE ITSC 2006.Toronto，Canada，2006:17-20.

［2］劉加海，白洪歡，黃微凹.基于彩色和邊緣信息融合的道路分割算法［J］.浙江大學學報:工學版，2006，40(1): 29-32.

LIU Jiahai，BAI Honghuan，HUANG Weiao.Lane segmentation based on fusion of color and edge information［J］.Journal of Zhejiang University:Engineering Science，2006，40 (1):29-32.

［3］LEE J W，CHOI S U，LEE Y J.A study on recognition of road and movement of vehicles using vision system［C］// Proc SICE.(s.l.).2001:38-41.

［4］張偉，黃席樾，楊尚罡.汽車導航系統中的道路檢測［J］.重慶大學學報:自然科學版，2006，29(8):87-90.

ZHANG Wei，HUANG Xiyue，YANG Shanggang.Lane detection in navigation system of vehicle［J］.Journal of Chongqing University:Natural Science Edition，2006，29 (8):87-90.

［5］陳清華，楊靜宇，陳建亭.基于自適應模板的非結構化道路檢測［J］.東南大學學報:自然科學版，2007，37 (6):1102-1107.

CHEN Qinghua，YANG Jingyu，CHEN Jianting.Lane and road detection based on adaptive deformable template［J］.Journal of Southeast University:Natural Science Edition，2007，37(6):1102-1107.

［6］管琰平，賀躍，劉培志，等.基于彩色圖像的非結構化道路檢測［J］.計算機應用，2005，25(12):2931-2934.

GUAN Yanping，HE Yue，LIU Peizhi，et al.Lane and road detection based on colorful image［J］.Journal of Computer Applications，2005，25(12):2931-2934.

［7］CONRAD P，FOEDISCH M.Performance evaluation of color based road detection using neural nets and support vector machines［C］//Proc Applied Imagery Pattern Recognition Workshop.Washington DC，2003:2483-2486.

［8］王磊，段會川.Otsu方法在多閾值圖像分割中的應用［J］.計算機工程與設計，2008，29(1):2844-2845.

WANG Lei，DUAN Huichuan.Application of Otsu＇method in multi-threshold image segmentation［J］.Computer Engineering and Design，2008，29(1):2844-2845.

［9］范九倫，趙鳳.灰度圖像的二維Otsu曲線閾值分割法［J］.電子學報，2007，35(4):751-755.

FAN Jiulun，ZHAO Feng.Two-dimensional otsu＇s curve thresholding segmentation method for gray-level images［J］.Acta Electronica Sinica，2007，35(4):751-755.

［10］陳杰，王振華，竇麗華.一種尺度自適應Canny邊緣檢測方法［J］.光電工程，2008，35(2):79-84.

CHEN Jie，WANG Zhenhua，DOU Lihua.Scale adaptive canny edge detection method［J］.Opto-Electronic Engineering，2008，35(2):79-84.

［11］石朝俠，王燕清，洪炳榮.基于混合蒙特卡羅箱方法的移動感知網節點定位方法［J］.高技術通訊，2007，17 (8):809-813.

SHI Chaoxia，WANG Yanqing，HONG Bingrong.Node localization based on mixture-MCB for mobile sensor networks［J］.Chinese High Technology Letters，2007，17 (8):809-813.

［12］KIRYATI N，ELDAR Y，BRUCKSTEIN A M.A probabilistic Hough transform［J］.Pattern Recognition，1991，19 (4):303-316.