面向復雜城市交通場景的一種實時車道線檢測方法

(湖南工程學院 電氣信息學院, 湖南 湘潭 411104)

0 引言

“互聯網+城市交通”提出構建智慧城市、推進智慧出行[1]，但我國城市交通面臨著諸多問題，例如汽車行駛的安全問題和擁堵問題等。為了應對交通安全問題，自動駕駛系統或輔助駕駛系統成為研究熱點。在自動駕駛系統和輔助駕駛系統中，車道線是重要的交通標識，針對復雜城市交通下的智能車道線檢測具有較好的應用前景[2]，車道線智能檢測是高級汽車輔助駕駛系統中的關鍵基礎技術，通過分析車輛道路環境信息，為駕駛員提供警示或提醒，因此車道線識別成為安全駕駛中需要解決的關鍵問題。

傳統單一的Hough變換在車道線檢測實時性和檢測精度方面很難達到平衡，Umar等人[3]采用單一Hough變換，通過估計車道標記位置，同時利用已知的方法變換坐標[4-6]來表示車道線方向，最后通過擬合拋物線來檢測車道線，雖然在正確率上達到94%，但是該算法實時性不夠。Felix等人[7]和Pradnya等人[8]提出一個實時的車道線檢測算法，采用單一Hough變換，同時估計中間車道、突出車道線的邊緣、檢測車道線標記特征[9-10]，處理速度上每幀圖像處理時間小于1s，但是車道線檢測識別正確率剛剛達到90%。

目前，Zhou等人[11]提出了一種基于幾何模型和Gabor濾波器[12-14]的魯棒車道檢測算法，可以克服由于邊緣檢測中的不準確性而導致的車道檢測問題。但這些方法在實際場景中實時性不夠，并且僅使用了車道的單個特征。Wei等人[15]提出了一種基于Harr和方向梯度直方圖(HOG)特征相結合的兩步檢測算法。該算法充分利用目標車輛的HOG特征優勢，即HOG特征的良好描述能力，利用Harr特征提取前景區域(ROI)，但在實際場景中算法實時性有限。

在本文中，我們針對復雜城市交通場景中車道線標記模糊且復雜多樣的情況，提出了一種實時車道平行線檢測算法，首先對車道線視頻序列進行圖像預處理，為提高算法的實時性，進行ROI區域提取，采用改進灰度化對黃色區域和白色區域進行重點突出；為了提高算法的魯棒性，在車道線預處理后進行圖像增強，獲得更強的車道線特征，采用改進Gabor濾波器用于過濾非車道標記，消除大量的噪聲，增強車道邊緣特征并抑制背景區域，Sobel邊緣檢測更好的提取車道線的邊緣信息；為了提高算法的檢測精度，使用多約束條件下的霍夫變換，基于幾何角度約束和消失點估計約束，獲得準確的車道線位置。通過在三種不同交通場景的實驗表明，本文提出的方法優于傳統的Hough變換方法，車道線檢測精確度高，具有較高的實時性，可應用于實時車道線檢測系統。

圖1 總體算法流程圖

1 圖像預處理

1.1 提取ROI區域

通過車載行車記錄儀采集的實驗視頻存在兩個主要的問題，圖像的尺寸大和行車記錄儀的水印遮擋。為了減少圖像預處理的計算量，提高算法的處理速度，將道路圖像劃分為兩部分，無關信息區域部分A和感興趣區域(ROI)部分B，并在車輛行駛的正前方視角內提取ROI區域。其次是通過定位將特定位置的水印顏色值進行降低，以免影響后續的閾值二值化，提高車道線檢測的魯棒性。

如圖2所示，提取ROI區域可以幫助去除大量與目標任務不相關的信息(如天空和周圍建筑)，剩下目標區域便于提高算法準確率和減少圖像處理的計算量。其中(a)是ROI區域提取圖，(b)是水印弱化處理效果圖。

圖2 道路圖像ROI區域提取

1.2 改進灰度化

為了提高圖像的處理速度和簡化圖像處理算法，需要對采集到的彩色圖像進行灰度化，原圖一般都以RGB色彩空間表示。B顏色通道的有無對車道線檢測影響不大[16]。本文主要針對城市多道路，采用改進的灰度化方法，讓車道線標志二值化的特征更加突出，從而為后續的邊緣提取和Hough變換提供方便，可提高車道線檢測的準確性。采用如下的灰度化方法：

Gray=α*R+β*G

(1)

式中：α、β表示權重系數，其中α+β=1.

通過實驗仿真取α=0.625，β=0.375。如圖3所示，通過改進灰度化處理，對白色和黃色區域重點突出，從而更有利于后續的濾波處理和車道線邊緣檢測，提高算法檢測的實時性。

圖3 不同灰度化結果

2 圖像增強

2.1 濾波處理

由于天氣條件、行車環境、實驗設備等條件的影響，圖像在采集、傳輸過程中會產生熱噪聲、光電子噪聲、信道傳輸噪聲及量化噪聲等，進而會對圖像最后的成像質量產生影響[16]。本文采取三種濾波算法對灰度圖像進行濾波處理。通過對比分析可以知道，Gabor濾波法不僅可以捕獲對應于空間位置、空間頻率和方向選擇性的局部結構信息，而且用于邊緣檢測可以在多方向和多尺度上提取邊緣信息。根據拍攝角度的先驗知識，使用Gabor濾波器在左側車道上進行45°采樣，在右側車道上進行135°采樣[17]。

圖4 不同濾波算法處理結果比較

通過對比分析可以知道，三種濾波去噪方法對于車道線處理效果差異不是特別大，但是由于高斯濾波的優勢在于消除椒鹽噪聲，使得圖像更加平滑；均值濾波對斜坡信號和階躍信號不敏感；Gabor濾波在進行車道線檢測時能較好保留圖像的邊緣信息，因此選擇Gabor濾波對車道線圖像進行去噪。

在圖像中，二維的Gabor濾波器是一個窄帶通濾波器[18]，其功能是由高斯函數調制的復雜正弦柵格，即：

(2)

式中，x0=xcosθ+ysinθ，y0=-xsinθ+ysinθ，其中的x，y是空間域中的像素位置，ω0是濾波器的中心頻率，θ是Gabor小波的方向，σ是高斯函數沿兩個軸的標準偏差，ω0和θ分別確定Gabor濾波器的頻率范圍和方向，他們之間的關系確定為：

(3)

其中：Wt是小波時域窗口，當確定參數σ時，其寬度與頻域的中心頻率成反比。

基于改進的Gabor濾波器的車道線圖像增強，主要是通過在改進的灰度化處理的車道圖像上使用兩個方向不同角度的Gabor濾波器來獲得車道增強圖像。

2.2 邊緣檢測

二值化效果將直接影響到車道線檢測的結果，合適的閾值則是保證二值化效果的關鍵。本文在Gabor濾波器增強過后提取ROI區域圖像，采用最大類間方差法(OTSU)進行計算閾值，將圖像進行二值化分割，最后采用掩膜運算將圖像的正下方車道線增強，去除護欄、污跡和路邊的干擾線。

在二值圖像進行邊緣檢測之前，先通過圖像的形態學閉運算，用來填充物體內細小空洞、連接鄰近物體、平滑其邊界的同時并不明顯改變其面積，從而提高邊緣檢測的精確度和輪廓的連續性。傳統的Sobel算子分別檢測出圖像在水平和垂直方向上的邊緣，但是存在偽邊緣的缺陷[19]。本文根據行車記錄儀采集的圖像中車道線的方向特征，主要呈現傾斜角度的直線，采用改進的Sobel算子檢測，利用45°方向的和135°方向的Sobel算子能夠檢測出圖像在斜向的邊緣特征。

G450和G1350分別表示45°方向的和135°方向的車道線邊緣檢測，Image表示輸入的待檢測的車道線圖像，其公式如下：

(4)

45°方向和135°方向上的一階差分平方和之后再進行開方得到Sobel邊緣檢測算子的定義如下公式：

(5)

如圖5所示，(a)和(c)是第10幀分別在45°和135°上的Sobel邊緣檢測，(b)和(d)則是第50幀兩個方向上的邊緣檢測，增強了車道線在傾斜方向上的特征。有利于提高檢測的魯棒性。如圖6所示，改進的Sobel邊緣檢測算子運算速度快，能夠有效抑制其他方向邊緣的干擾，并且車道線邊緣特征得到了較好地增強，在綜合性能上比傳統的Sobel算子有較大提高。

圖5 改進Sobel算子分別在45°和135°方向檢測結果示意圖

圖6 不同Sobel算子處理結果

3 多約束的霍夫變換

霍夫變換的基本原理是把圖像空間上的點對應到參數空間上，通過在參數空間里進行簡單的累加，尋找累加器峰值檢測直線，被廣泛用來進行車道線的檢測[20,21]。 傳統霍夫變換往往需要結合其他多種車道特征或機器學習分類算法提高檢測率，實時性受到限制。基于Hough變換消失點估計約束方法[22]在準確率和檢測速度上都有所提高，本文提出基于角度和消失點估計的多約束霍夫變換，具體如下。

3.1 基于角度θ的約束

通過行車記錄儀采集到的道路圖像往往具有強烈的透視效果，原本平行的車道線線條會出現相交的情況，車道線之間的間隔在圖像的遠端變得很小，不利于車道線的辨識和檢測。在前述圖像預處理、圖像增強的基礎上，已很大程度上消除了大量的干擾點。而霍夫變換檢測到的線段不一定是車道線，本文提出采用基于角度θ的霍夫變換約束，消除大量非車道線標記，提高車道線檢測精度。車道線標記一般位于車輛上安裝的行車記錄儀采集圖像的兩邊，與車道的中線呈現一定的夾角，所以左右斜率會約束在一個范圍內(θmin< θ < θmax)，在實驗中，對于左邊的線段進行檢測，選擇約束范圍：

(6)

如果所選的線段超出范圍，則視為干擾信號，同時對于右邊的線段選擇約束范圍：

θmax=-200

(7)

式中，Hroi表示ROI區域的高度，Wroi表示ROI區域的寬度。同時利用霍夫變換函數的特點，通過預先設定角度閾值，篩選除車道線以外的干擾直線，為下一步減少計算負擔，提高準確性。同時通過車道線在中心線兩側的概率分布，計算檢測線段的長度，通過長度閾值篩選出目標車道線，更有利于下一步基于消失點約束估計確定平行車道線，從而獲得最終的目標車道線。

3.2 基于消失點的約束

基于幾何角度θ的約束消除了大多數冗余線段。算法的下一步旨在選擇定義車道標記的線段。在這方面，我們使用以下假設：從車道標記中提取的線段在消失點處會聚，并且其延伸與消失點相交的線段可定義為車道和道路邊界的劃分，從而利用車道標記收斂于消失點的假設來估計消失點的位置。找到這一點的普通方法是窮盡地計算從每個像素到線段所屬的所有線的垂直距離，并選擇大多數線相交的像素，計算量大而不適用于實時系統；因此，采用本文基于消失點的約束來找到平行于車道的線段的消失點，消除非車道線標記，則可以提高車道線檢測的精度。

道路圖像一般具有相似的幾何結構，在針孔相機成像原理和圖像的透視效應下，三維場景中不平行于相機平面的平行線，在圖像采集后會在二維平面相較于一點，該點稱為消失點(Vanishing point)，另稱滅點[22]。消失點在檢測道路車道方面起著重要作用，因為車道在真實世界的3D空間中是平行的，但它們在二維相機圖像中車道最終會在消失點相遇。因此，對于自動駕駛消失點檢測是必要的。消失點檢測(Vanishing point detection)的算法有很多種，通過Ransac[22]、車道紋理方向[23]、harmony search[24]等算法都有應用。但本文采用基于消失點的性質作為約束條件，提高了對車道線的檢測精度，尤其是對干擾線段具有很好的濾除作用。

如圖7所示為消失點約束示意圖，首先建立坐標系XOY，O為提取ROI區域圖像寬的中點，在坐標系XOY中建立圖像中車道線和消失點的關系，當前幀的消失點坐標為V(vx,vy)。L是待檢測的車道線，過原點O作L的垂線，垂點為P(px,py)，長度為ρ，傾斜角為θ。根據消失點V和原點O的幾何性質可得：

△ρ=|pxcosθ+pysinθ-ρ|

(8)

當△ρ在一個預先設定的閾值內時，則檢測的線段為目標車道線，采用消失點約束估計，可以濾除非車道線部分，獲得準確的車道線位置。

(9)

式中，Er是右側近似誤差的總和，被定義是實際車道線減去近似檢測線；El在左側是相同的定義。如果Er和El為正，則表示設置消失點位于左側。

圖7 消失點估計約束示意圖

通過以上基于角度和消失點的多約束霍夫變換，則可最終獲得車道線檢測結果。

4 實驗結果及分析

為驗證本文算法的準確性和實時性，在實驗平臺上進行仿真實驗，實驗平臺包括硬件和軟件兩個部分：硬件環境為Intel(R) Core(TM) i5-4210U CPU @1.70 GHz 2.40 GHz，內存4 G，軟件環境為Windows7系統，編譯環境為MATLAB2017b。視頻數據是比亞迪電動汽車的車載行車記錄儀在湘潭市的城區多道路上行駛采集的，包括三種不同場景，正常光照，車輛遮擋，光照較弱，幀率為30 fps，分別截取視頻序列，進行實驗結果仿真分析。

為了驗證算法在復雜場景下車道線識別檢測的精確性和快速性，選取3段不同場景下的行車視頻，在正常光照、車輛遮擋、光照較弱的行車路段進行車道線檢測實驗。如表1所示，三種不同復雜城市交通場景下的識別率都高于90%，正常光照下識別率能達到96%以上，而且車道線的三種不同場景的平均識別速率能達到36 ms/frame，在正常交通場景下識別速率最快可達到30 ms/frame，完全可達到實時性要求。

表1 三種場景統計結果表

如圖8所示，(a)(b)(c)分別為三種不同復雜城市交通狀況原圖，(d)(e)(f)分別為正常光照下不同幀實驗結果圖，(g)(h)(i)分別為三種不同復雜城市交通狀況實驗結果圖。從圖中可見，實驗通過對不同幀、不同場景下的測試結果，根據檢測結果分為車道線檢測無誤、車道線檢測不完整漏檢、車道線誤檢三種情況。在正常光照下，車道線會出現較少的漏檢，但誤檢基本上不存在。因車輛遮擋車道線，會出現少量漏檢。在光照較弱，車道線會被檢測錯誤，可采用啟動車輛前照燈進行提高亮度。

圖9 傳統Hough變換[8]

如圖9所示，如采用傳統Hough變換算法進行對比實驗[8]，車道檢測的精度和魯棒性有明顯的下降，左右車道線檢測存在偏差，檢測精度較差。

同時實時性檢測對于駕駛輔助系統是不可或缺的，如果實時性達不到要求，那系統就不能在車輛發生危險之前發出警報，這樣的系統無疑是不符合交通場合的應用。我們統計了算法在三種不同復雜城市交通情況下正確率和平均每幀處理時間的實驗結果。下面以正常光照情況為例，從表2可知，在正常的城市交通下每幀處理時間只有30 ms，算法的簡易性符合實時性要求，同時記錄了算法各個步驟的處理時間。

表2 系統各步驟處理時間

圖10 兩種算法各步驟處理時間比較

在表3中，我們嘗試將本文的算法結果與文獻[8]單一傳統Hough變換的結果進行比較，所選的數據集仍是三種不同場景的復雜城市交通狀況，本文的方法在復雜城市交通狀況具有明顯優勢，可達到快速檢測的實時性要求。

表3 不同算法的處理速度與識別率

5 結論

本文針對復雜城市交通場景下的車道線檢測，為提高檢測的魯棒性和實時性，提出一種實時車道線快速檢測算法。

首先用ROI區域提取和改進灰度化提高算法的實時性；再采用圖像增強及改進的Gabor濾波進行圖像去噪，及通過Sobel算子進行邊緣檢測提取邊緣特征，最后提出多約束的霍夫變換，基于車道線中心線分布的不同角度，利用分段函數選取車道線斜率；并將車道線與其消失點之間的幾何關系用來檢測識別車道線，提高車道線檢測識別的準確率。實驗結果表明，該算法精度在不同場景中均可達到92%以上，平均識別速率可達到36ms/frame以下，達到實時性要求，可實現車道線的快速實時的準確檢測。

本文核心算法還可應用于其他場合的平行線檢測中，如室內移動導航的走廊邊界檢測或移動輸電線路系統的輸電線路的檢測，具有較大的應用前景。