車道檢測與偏離預警系統研究綜述

谷燕如，黃忠朝

（中南大學基礎醫學院，湖南 長沙 410083）

1 概述

1.1 研究背景

當今發生的眾多交通事故中，無意識的車道偏離是危及人身安全的主要原因。在駕駛員對周圍車輛不注意或者昏昏欲睡的一瞬間，就可能發生一次致命的碰撞。為了減少交通事故的發生和提高安全性，對駕駛員輔助系統（Driver Assistant System，DAS）的研究已經在全球范圍內進行了很多年。

DAS是在駕駛過程中為駕駛員提供幫助或輔助的系統，這些系統通過從車輛周圍的傳感器中獲取輸入來計算某種形式的反饋，然后用于輔助駕駛員。自適應巡航控制（Adaptive Cruise Control，ACC）、盲點監測（Blind Spot Monitoring，BSM）、車道偏離預警（蘊ane Departure Warning，蘊DW）等都是駕駛員輔助系統的示例。

蘊DW連續監測車輛在兩側車道標記上的位置，如果車輛與標記之間小于一定距離，會向司機發送通知并且采取糾正措施。使用車道檢測和偏離預警，可以減少因駕駛員注意力不集中、分心和疲勞導致的意外車道偏離，AURORA，AutoVue和A蘊VINN都是這一系統的應用實例。

1.2 系統框圖

車道檢測系統由不同的模塊組成，如捕獲車道標線的視頻或圖片、車道建模、特征提取、車道檢測、車道跟蹤和車道偏離預警系統等。車道建模用來獲取車道線的數學描述，在特征提取步驟中識別特定的車道特征如邊緣、紋理或者顏色等，車道檢測是通過擬合提取出的特征和車道模型來進行的，最后使用車道跟蹤模塊跟蹤車道的變更。由于車道檢測及偏離預警系統運行環境的靈活性，在實施這一系統時，需要考慮不同的復雜條件，如道路類型、天氣和駕駛場景等。系統的總體框圖如圖1所示。

圖1 車道檢測和偏離預警系統框圖

1.3 環境變化

由于車道檢測和偏離預警系統工作運行時環境條件的多變，車道檢測成為一項具有挑戰性的任務。因此在使用該系統時，需要考慮道路類型、路面、環境因素等不同的情況。

（1）道路類型。車道標記之間明顯的不同。車道標記可以是明顯的實線、虛線或分短線、物理障礙物等，也可能什么都沒有。不同于高速路，城市道路的車道標記沒有明確的定義，背景中的基礎設施（如建筑物）或交通參與者都可能使得標記不連續。

（2）路面。結構化道路上涂有車道線，而非結構道路上可能是不清晰的或者對比度很低，這樣會導致路面外觀更加的惡化。另外，變化的天氣條件、不同的照明情況使得這一問題更加復雜。

（3）陰影。在照明條件變化的情況下車道檢測很有挑戰性，當道路同時有陰影區域和非陰影區域時，這一任務變得更加復雜。樹、建筑或路面上其他車輛都有可能造成假的道路邊緣。

（4）照明變化。產生的原因有兩個，一是自然光隨時間和天氣變化；二是人造光由于路燈和車輛的前后燈造成的變化。

（5）夜晚場景。在夜晚，由于可見度降低，車道檢測變得更加艱難。由于沒有陽光，駕駛員需要打開前燈或借助街燈來照亮車前方的道路，利用尾燈來提醒后面車輛的駕駛員。因此，這些燈光造成的噪聲邊緣可能會使系統在提取車道標記時遇到難題。

2 預處理

預處理是車道檢測和偏離預警系統的重要組成部分，有助于減少計算時間，提高算法的效果。也可以用于去除因相機不穩定運動產生的傳感器噪聲和誤差。系統的輸入是相機獲取的基于RGB的彩色圖像序列，相機沿車輛中心線安裝在車內前方，在不影響司機視線的前提下獲取前方道路的信息。

要進行平滑操作，可以使用均值、中值或高斯濾波器。為了去除噪聲并保留細節，Xu和蘊i使用中值濾波器對圖像進行濾波，然后用圖像直方圖對灰度圖像進行增強。為了適應不同的光照條件，在預處理階段進行自適應閾值處理。通過Otsu算法進行自適應閾值，然后進行形態學方法去除因二進制轉換得到的圖像中的斑點，如侵蝕、擴張等。

引入分段線性拉伸函數來提高在環境較暗時車道圖像的對比度，這一函數對不同的車道顏色都有很好的魯棒性，有助于在各種照明條件下提高車道檢測的準確性。在Ostu閾值前使用FIR濾波器有助于消除噪聲以及不均勻的背景照明等因素帶來的影響。然后進行形態學處理確定相關的對象，并且為了消除路面污漬，移除了較小的區域，從而獲得精確的邊界。為了克服亮度變化對車道檢測的影響，采用自聚類算法和模糊c均值算法，根據道路的亮度分布，這些算法會計算出兩個分布值來區分明暗分量。

2.1 色彩處理

在車道檢測過程中，大部分算法只考慮灰度分量。像素的顏色最初是在RGB色彩空間表示的，RGB值可以轉換到YCbCr色彩空間。原因在于人的視覺系統對顏色不太敏感，而彩色圖像中最重要的視覺信息保留在圖像的Y分量中，因此只在Y分量上進行車道檢測程序，對于色度分量（Cb和Cr），由于人的視覺系統對其不敏感而被丟棄。這可以節省數據存儲空間以及縮短計算時間。轉化的形式可以描述為：

在這一等式中，顏色的權重是不一樣的，這會導致在色彩轉換為灰度時信息的丟失，因此為了提高車道標記亮度值的質量，灰度轉換過程改寫為：

2.2 感興趣區域（region of interest，ROI）

為了減少冗余的圖片數據量，輸入圖像應該設定在感興趣區域上，可以提高系統的速度和準確率。速度的提高是通過減小待處理圖片大小來實現的，而通過選取感興趣區域可以去除與車道標記相似的特征從而提高準確率。當車輛向前行駛時，車道線總是在車輛前方，因此在圖像底部選取感興趣區域比較合適。Dong等人在駕駛場景底部選取圖像四分之一作為感興趣區域。車引擎蓋和擋風玻璃上的刮水器都有可能產生假的邊緣而影響車道檢測的性能，所以這部分需要忽略掉。蘊in等人使用常規和自適應ROI初始化，如果可以在上一幀檢測到車道標記，則使用自適應方法，否則就用常規方法，即選取圖像底部作為感興趣區域。

為了節約處理時間，Hsiao等人用消失點來確定ROI。當相機安裝在測試車上時，其光軸與車身中心線重合，滾動角和傾斜角均為0，道路圖像的消失點出現在垂直方向的中心，于是處理區域就需要限定在消失點以下的部位，因為道路圖像中可見的車道一般都位于這一區域。

當幀率相對較高時，車道線在視頻連續幀中的出現的位置相似。令l表示車道線的長，f表示幀率，ν代表車輛行駛速度，則包含相同車道線的幀數n可以表示為

同樣的，車輛在連續兩幀之間的橫向運動非常小，因此車道位置在這些幀之間也只有很小的差異。這一先驗知識可以用來預測下一幀的車道位置，從而邊緣檢測算法只需要考慮圖像中一小部分區域，這進一步減少了計算負擔。

大部分情況下，輸入圖像的上部都是天空，大部分的車道信息都位于圖像底部，因此總是建議在圖像底部選擇感興趣區域。

3 車道模型

在車道檢測和偏離預警系統中，車道模型起到十分重要的作用。車道建模用于獲取道路車道標記的數學描述。到目前為止各種基于視覺的車道檢測技術提出了不同的車道模型。為了模擬道路，有些算法使用直線，而其他算法使用更復雜的模型，如拋物線、雙曲線、B樣條曲線和回旋曲線等。

在線性模型中，假設車道時直的，即假定檢測范圍內的車道標記為直線。盡管線性模型很簡單，但是因為只在照相機系統有限的檢測范圍內可行而限制了它的應用。在車道偏離預警系統中，要求在幾秒前計算出車輛的軌跡，而對高速公路而言，需要對30～40m或者更長的距離進行精確的車道建模，以便捕捉1s的車道跨越邊界的時間（time to lane crossing，T蘊C）。所以在這種情況下，復雜的車道模型效果會更好，如基于拋物線或基于樣條的車道模型。

從簡單的直線模型到復雜的樣條模型，車道標記的數學描述是通過這些不同的車道模型實現的。簡單的模型不能十分準確的表示車道的形狀，而復雜的模型會產生較高的計算成本，同時會增加誤檢發生的可能性。

4 車道檢測

在智能汽車應用系統中，車道檢測是計算機視覺領域的研究熱點。車道檢測在車道偏離預警系統中起著重要的作用。它可以檢測復雜環境下的車道標記，并可靠地用其估計車輛相對于車道的位置和軌跡。車道檢測任務分為以下兩個步驟：邊緣檢測和車道檢測。

根據表4及圖1，高風險性(Ⅲ級)區主要涉及中山區(2-1、2-2、2-3單元)、低山區(3-2、3-3單元)、深切丘陵區(4-1單元)、淺切丘陵區(6-1單元)等7個地貌單元；低風險性(Ⅰ級)區涉及河谷區(7-1、7-2、7-3、8-1單元)等4個地貌單元；其余23個地貌單元均為中風險性(Ⅱ級)。

4.1 邊緣檢測

邊緣檢測方法用來提取每個閾值特征的邊緣，根據路面和車道線之間的鮮明對比來定義車道邊界。由于車道邊界以邊緣為特征，所以邊緣檢測是車道檢測中的重要步驟。通過過濾無用的信息并保留重要的結構特性，這一步驟可以顯著減少數據量。邊緣檢測后的結果圖像可以作為閾值圖像的輪廓。為了有效地檢測邊緣，應遵循以下標準。

（1）低錯誤率：通過檢測圖像中的所有邊緣來實現低錯誤率，同時不應該對非邊緣做出響應。

（2）應該很好的定位邊緣點，即檢測器檢測到的實際邊緣和邊緣像素之間的距離應該是最小的。

（3）對于單邊緣點，應該只做出一個響應。

以下是邊緣檢測中的主要步驟：①首先對圖像進行平滑處理來降低噪音；于邊緣點的檢測。對圖像進行局部運算，提取所有可能是邊緣點的點；③邊緣定位。在上述獲得的候選邊緣點中，通過這一步選擇真正代表車道邊緣的點。有很多種方法可以進行邊緣檢測，如Sobel，Canny，轉向濾波器，二維FIR濾波器等。

4.2 車道檢測

車道檢測是一個重要的步驟，將特征提取階段與跟蹤階段聯系在一起。在車道檢測中，根據所提取的特征對實際車道位置進行預測。當獲得邊緣圖像后，可以最終確定屬于車道標記的邊界。在進行車道檢測時，會做出一些假設，如：①繪制車道標記時比其他部分的顏色更亮；于沿著車道時標記變化的方向小而平滑；③車道標記中心的左右兩側是平行的。

車道檢測有兩種常用方法，一是基于特征的方法，二是基于模型的方法。通過提取道路圖像中的低級特征來定位其中的車道是基于特征的方法常見的應用。如J.Niu等人的研究，他們在車道檢測過程中的特征提取有兩步，先是利用改進的Hough變換提取小段的車道輪廓，然后使用DBSCAN聚類算法進行聚類。

基于模型的方法則通過使用幾何元素，如拋物線、雙曲線、直線等描述車道，由于其簡單性而被廣泛使用。如Jung等人利用車道寬度的時間一致性和Hough變換來檢測表示車道邊界的兩條平行直線，然后利用加權最小二乘法將檢測到的車道點擬合成立方體模型。

車道標記的檢測不僅是車道偏離預警系統的必須要完成的任務，也是其他駕駛員輔助系統的重要功能，如基于視覺的前車碰撞和駕駛員行為檢測、前車檢測等。從各項車道檢測技術的研究中發現，即使霍夫變換存在一些缺點，很多研究人員還是用來檢測車道標記。其他方法如扇形掃描、共軛高斯模型等，在對抗陰影、車道標記遮擋、其他道路標記時。也可以提供穩定的車道檢測功能。

5 車道跟蹤

使用車道跟蹤技術來對下一圖像中的車道位置進行預估，使車道偏離檢測系統可以對車輛相對于公路的位置進行估測并對車輛的位置信息進行更新。由于幀序列之間的時空連續性，故連續的兩幀之間位置不會有過大偏差。而上一幀獲取的車道位置信息則可以對下一幀的車道進行預測。在進行車道跟蹤的過程中，以往的道路幾何知識對新圖像中車道邊界的位置和方向提出了較強的限制。卡爾曼濾波器，擴展卡爾曼濾波器，粒子濾波器，退火粒子濾波器和超粒子濾波器都在車道跟蹤中有較好的應用效果。

使用卡爾曼濾波器對目標進行跟蹤并預測其特征位置，算法含有兩步：第一步為對系統的狀態進行預估，而第二步則是通過噪聲測量來精確系統的預估。由于其具有簡單，易處理和穩健性等特點，卡爾曼濾波廣泛被應用于車道跟蹤分析中——但只能應用于線性系統。針對這一缺點，擴展卡爾曼濾波器通過使用簡單的線性化非線性模型對其進行規避。

使用粒子濾波法對車道進行跟蹤具有處理非高斯不確定性和多重假設的能力。H.Zhao等人使用退火粒子濾波器進行車道跟蹤，通過邊緣圖的角度信息來確定粒子權重。與傳統粒子濾波器相比，在退火粒子濾波器中每幀的計算時間都有顯著的縮短。

通過基于可塑模板方法的圖像形狀似然（likelihood of image shape，蘊OIS）來對車道進行逐幀跟蹤。在跟蹤過程中，上一幀獲取的車道位置信息用來對下一幀的車道進行預測。蘊OIS會輸出包括當前車道曲率、方向和偏移量的數據，這些結果與卡爾曼濾波器得到的結果一起用于預測車輛相對車道的位置。Wang等人對與重采樣粒子濾波器和高斯粒子濾波器的性能進行了比較?；谒迫缓瘮档母咚购土Ｗ訛V波器法包含特征圖譜，可以更好地進行車道跟蹤。

圖2 車道檢測與跟蹤

Hou等人使用卡爾曼和粒子濾波器進行道路跟蹤。蘊ee等人用反向透視映射（Inverse Perspective Mapping，IPM）構建鳥瞰圖圖像，用閾值來對直線（即車道標記）進行檢測，用隨機抽樣一致線性擬合技術估計模型的參數。最終跟蹤階段包含卡爾曼濾波器完成，如圖2所示。Feng等人提出了軌跡規劃多項式算法用于自動車道變換。蘊otfy等人提出的車道偏離預警跟蹤系統則沒有使用卡爾曼濾波器，而是利用IPM構建鳥瞰圖，然后使用簡化的霍夫變換來獲取車道邊界。

大多數跟蹤算法都需借助多種卡爾曼濾波器和粒子濾波器。與卡爾曼濾波器相比，粒子濾波器和其衍生出的其他方法都要求有較高的計算能力；但在并行計算系統下它的應用效率更高。

6 車道偏離與預警

車道偏離預警系統會不斷對車輛與其任一側車道標記的相對位置進行監控，并在車輛開始發生偏移時警告駕駛員。車道偏離這種危險情況由以下兩種情況引起：①當車輛過于靠近車道邊界時；于車輛的偏離速度過高，即車輛靠近車道邊界的速度過快。

由車道檢測模塊得出的結果會被決策模塊用來確定車輛相對于最近車道的位置。決策模塊的原理是用車輛兩側的車道標記來計算車道中心的位置，當車輛開始偏離中心線，就觸發警報。為提高車道偏離報警系統的效率，決策模塊也可采用其他來源的數據。例如，通過定向指示設備的顯示，模塊可以判定車道改變是有意的還是無意的。

在蘊ee等人的研究中，車道偏離是基于邊緣分布函數的對稱軸和局部最大值來進行識別的。當車輛偏離行駛車道中心時，軸的位置就會發生變化。盡管基于的車道偏離識別會對系統性能有所裨益，但該算法高度依賴于對車道標識的識別，且可能在帶有虛線車道標記的彎道處產生錯誤。因此，為了提高系統的穩健性，蘊ee和Yi提出了基于邊緣分布函數的車道偏離識別方法的修正版。新算法中增加了與車道相關的參數（如視野中車道邊界的方向和位置），并引入偏離率來確定偏離發生的時刻。蘊ee和同事考慮了θl和θr以及距離ρl和ρr來定義左右車道邊界。當照相機光軸與車道中心重合時，其值為如果車輛偏離車道中心的值則會從1偏離。當車輛靠近左邊界時，和ρl減少，而θr和ρr增加。當車輛接近右邊界時，θr和ρr減小，而ρl和θl增加。使用回歸分析根據回歸系數和平方和來判斷車輛是否有偏離車道的可能性。通過融合回歸系數和殘差平方和以及偏離率，可以使偽邊緣檢測最小化以及確定車道偏離的起點和終點。

Hsiao等人用時空機制來識別車道偏離。算法中定義了矩形的臨界框架，超出就會報警。駕駛員根據從左右車道標記到警示框的底部的截距dM和dS獲得警報。如果dM或dS大于影像寬度的四分之一就會觸發警報。當車輛靠近車道邊界時，空間機制就會發揮作用。當車輛靠近車道邊界的速度過快，時間警報機制會在空間警告之前觸發緊急警報。

7 結語

文章介紹了各種基于視覺的車道檢測和偏離預警系統的系統，一般來說都包含有車道建模、特征提取、車道檢測與跟蹤和偏離預警模塊。可以觀察到，在駕駛員輔助系統中，如偏離預警、變道輔助、避碰等，車道檢測都起著至關重要的作用。由于車道標記的特征被設定為邊緣的形式，所以通常應用基于特征的車道檢測。在大多數系統中，檢測車道標記時廣泛使用霍夫變換，這需要大量的計算時間。

通過至今為止的文獻調查，不同的研究團隊提出的不同技術在檢測率、準確率和最小誤報率方面都取得了較好的效果，但是今后車道檢測和偏離預警系統的研究范圍內仍需要達到以下要求：①系統要有較好的穩健性，就是說在所有復雜條件下都可以準確地檢測到車道；于車道檢測的方法速度要快，以滿足實時監測的要求；③系統在車速較快的情況下檢測車道偏離時誤報率要降到最低。

［1］ M.Chen，T.Jochem，D.Pomerleau，Aurora:A vision based roadway departure warning system［C］.in：Proc.IEEE RSJ International Conf.on Intelligent Robots and Systems 95，no.03，1998.

［2］ D.Obradovi，Konjovi Z，Pap E，et al.蘊inear fuzzy space based road lane model and detection ［J］.Knowledge-Based Systems，2013，38：37-47.

［3］ J.Son，H.Yoo，S.Kim，K.Sohn，Real-time illumination invariant lane detection for lane departure warning system ［J］.Expert Syst，2015，（4）.

［4］ Melo J，Naftel A，Bernardino A,et al.Detection and classification of highway lanes using vehicle motion trajectories［J］.IEEE Transactions on Intelligent Transportation Systems，2006，7（2）：188-200.

［5］ 蘊an M，Rofouei M，Soatto S，et al.Smart蘊DWS：A robust and scalable lane departure warning system for the smartphones［C］.International IEEE Conference on Intelligent Transportation Systems.IEEE，2009.

［6］ Xu H，蘊i H.Study on a Robust Approach of蘊ane departure Warning Algrithm［C］.20102nd international conference on signal processing system，2010.

［7］ Gaikwad V，蘊okhande S.蘊ane Departure Identification for Advanced Driver Assistance［J］.IEEE Transactions on Intelligent Transportation Systems，2015，16（2）.

［8］ Mu C，Ma X.蘊ane Detection Based on Object Segmentation and Piecewise Fitting ［J］.Telkomnika Indonesian Journal of Electrical Engineering，2014，12（5）.

［9］ Wang X，Wang Y，Wen C.Robust lane detection based on gradientpairs constraint［J］.2011，（3）：3181-3185.

［10］ Wang J G,蘊in C J，Chen S M.Applying fuzzy method to vision-based lane detection and departure warning system［J］.Expert Systems with Applications，2010，37（1）：113-126.

［11］ Wu P C，Chang C Y，蘊in C H.蘊ane-mark extraction for automobiles under complex conditions ［J］.Pattern Recognition，2014，47（8）：2756-2767.

［12］ Dong Y，Xiong J，蘊i 蘊，et al.Robust lane detection and tracking for lane departure warning［C］.//International Conference on Computational Problem-Solving.IEEE，2012.

［13］ Hsiao P Y，Yeh C W，Huang S S，et al.A Portable Vision-Based Real-Time 蘊ane Departure Warning System：Day and Night［J］.IEEE Transactions on Vehicular Technology，2009，58（4）.

［14］ Mccall J C，Trivedi M M.Video-based lane estimation and tracking for driver assistance:survey，system，and evaluation［J］.IEEE Transactions on Intelligent Transportation Systems，2006，7（1）：20-37.

［15］ H.Guan，W.Xingang ，W.Wenqi ，Z.Han，W.Yuanyuan，Real-time lane-vehicle detection and tracking system ［C］.in：Chinese Control and Decision Conference（CCDC），2016.

［16］ H.Aung ，M.H.Zaw，Video based lane departure warning system using hough transform［C］.in：International Conf.on Advances in Engineering and Technology（ICAET），Singapore，2010.

［17］ J.Niu，J.蘊u ，M.Xu ，P.蘊v，X.Zhao ，Robust lane detection using two-stage feature extraction with curve fitting ［J］.Pattern Recognit，2016，（59）：225-233.

［18］ S.Jung，J.Youn，S.Sull，Efficient lane detection based on spatiotemporal im-ages［J］.IEEE Trans.Intell.Transp.Syst，2016，17（1）：289-295.

［19］ Oussalah M，Zaatri A，Brussel H V.Kalman Filter Approach for蘊ane Extraction and Following［J］.Journal of Intelligent&Robotic Systems，2002，34（2）：195-218.

［20］ S.Srivastava，M.蘊umb，R.Singal,Improved lane detection using hybrid median filter and modified hough transform［J］.Int.J.Adv.Res.Comput.Sci.Softw.Eng，2014，4（1）：30-37.

［21］ Zhao K，Meuter M，Nunn C，et al.A novel multi-lane detection and tracking system［C］.Intelligent Vehicles Symposium.IEEE，2012.

［22］ H.蘊i，F.Nashashibi，Robust real time lane detection based on lane mark seg-ment features and general a priori knowledge［C］.in：IEEE International Conf.on Robotics and Biomimetics，Phuket，Thailand，2011.

［23］ Zhao H，Teng Z，Kim H H，et al.Annealed Particle Filter Algorithm Used for蘊ane Detection and Tracking［J］.2013，（1）：31-35.

［24］ Shin B S，Tao J,Klette R.A superparticle filter for lane detection［J］.Pattern Recognition，，2015，48（11）：3333-3345.

［25］ 蘊ee Y，Kim H.Real-time lane detection and departure warning system on embedded platform ［C］.IEEE,International Conference on Consumer Electronics-Berlin.IEEE，2016:1-4.

［26］ Kreucher C，蘊akshmanan S，Kluge K.A Driver Warning System Based onthe蘊OIS蘊aneDetectionAlgorithm［C］，1998.

［27］ Wang Y，Dahnoun N，Achim A.A novel system for robust lane detection and tracking［J］.Signal Processing,2012,92（2）：319-334.

［28］ Hou C，Hou J，Yu C.An efficient lane markings detection and tracking method based on vanishing point constraints［C］.Control Conference.IEEE，2016.

［29］ F.You，R.Zhang ，G.蘊ie，H.Wang，H.Wen，J.Xu，Trajectory planning and track-ing control for autonomous lane change maneuver based on the cooperative vehicle infrastructure system［J］.Expert Syst，2015，42（14）.

［30］ O.G.蘊otfy ，A.A.Kassem，E.M.Nassief，H.A.Ali，M.R.Ayoub，M.A.El-Moursy，M.M.Farag，蘊ane departure warning tracking system based on score mechanism［C］.in：IEEE 59th International Midwest Symposium on Circuits and Systems（MWSCAS），2016.

［31］ 蘊ee J W.A Machine Vision System for蘊ane-Departure Detection［J］.Computer Vision&Image Understanding，2002，86（1）：52-78.

［32］ 蘊ee J W，Yi U K.A lane-departure identification based on 蘊BPE,Hough transform，and linear regression［J］.Computer Vision and Image Understanding，2005,99（3）：359-383.