基于融合分割和LASSO回歸的實時車道偏離預警

許小偉，陳乾坤，蔡永祥，史延雷，曾佳輝

(1.武漢科技大學汽車與交通工程學院，湖北 武漢，430065；2.中國汽車技術研究中心汽車工程研究院，天津，300300)

先進汽車駕駛輔助系統(Advanced Driving Assistance System，ADAS)能有效提高汽車行駛安全性，而車道偏離預警(Lane Departure Warning，LDW)系統是ADAS的重要組成部分。目前，基于視覺的LDW系統因結構簡單、成本低、實現方便等優點占據應用主導地位，其主要由車道線檢測、車道偏離預警決策兩部分組成。車道線檢測算法可分為基于特征和基于模型兩類。前者通過提取道路圖像中的某些特征如顏色[1-2]、邊緣信息[3-4]、紋理信息[5]等來檢測車道線，但路面污染、標識干擾等會對此方法的檢測結果帶來不利影響；后者是根據道路形狀進行數學建模并獲得車道線幾何模型[6-9]，雖然它比基于特征的方法具有更強的抗噪能力，但存在直線模型無法擬合曲線、曲線模型魯棒性和適應性差等缺點[10]。車道偏離預警決策主要采用基于車輛當前位置(Car’s Current Position,CCP)[11]、車輛偏離時間(Time to Lane Crossing,TLC)[12]、將來偏離量(Future Offset Difference,FOD)[13]的判決算法，其中，CCP算法在汽車行駛方向與車道不平行時不能及時檢驗出車輛偏離，TLC算法與FOD算法均假設車輛行駛狀態在預瞄時間內保持不變，這與實際情況不完全相符。

針對以上問題，本文提出一種基于融合分割和LASSO(Least Absolute Shrinkage and Selection Operator)回歸模型的車道偏離預警系統。運用頂帽算法(TopHat)和最大類間方差法(OTSU)相融合的方法分割車道線，可以解決復雜道路環境下的車道線分割及提取問題。運用LASSO多項式回歸模型對道路進行參數估計，擬合出參數曲線，可以克服最小二乘法擬合曲線在數據量較小時容易產生過擬合的缺點。最后根據車輛靠近虛擬車道線時的真實車道線角度來判斷車輛是否偏離，從而改善預警不及時的問題。

1 車道偏離預警系統流程

本文提出的車道偏離預警系統流程如圖1所示，其中車道線檢測算法主要包括車道線分割、動態感興趣區域(Region of Interest, ROI)的確立、LASSO回歸模型擬合等關鍵步驟。首先，將TopHat算法和OTSU算法相融合，分割出車道線背景，并采用Hough變換檢測直線，對變換得出的直線斜率篩選后進行平均得到初步車道線位置；然后根據初步車道線位置確定動態ROI區域并進行跟蹤處理，在此區域中，利用基于LASSO的多項式回歸模型精確擬合出車道線；最后，根據角度偏離預警模型進行預警決策。如果未檢測出車道線，將保持上一幀圖像的車道線參數進行后續計算；若連續5幀未檢測出車道線，則不對此幀進行后續操作。

圖1 車道偏離預警系統流程

2 車道線檢測算法

2.1 融合TopHat和OTSU算法的車道線分割

由于道路檢測模型中常用的Sobel、Canny、LoG邊緣檢測器以及單一的二值化分割方法魯棒性較差，而OTSU算法的自適應性和穩定性較強，同時TopHat算法不依賴于光照強度，所以在進行常規的圖像灰度化、濾波等基礎性工作之外，本文提出一種融合OTSU和TopHat算法的分割車道線背景的方法，以解決單一方法對環境變化魯棒性差的問題。

如圖2所示，在采集的原始圖像中選取初步感興趣區域，使其包含車道和天空，以方便后續OTSU和TopHat算法處理時對前、后景進行分離，并減少后續計算量及其他干擾。同時，對圖像進行灰度化預處理以及高斯濾波處理，進一步減少計算量及圖像噪聲。

圖2 選取初步感興趣區域

OTSU是一種自適應全局閾值分割算法，它運用最大類間方差來分割圖像的前景與背景，運算速度較快，非常適用于實時性要求較高的場合[14]。設圖像有L個灰度級 [0,1,…,L-1]，采用分割閾值T將圖像分為前景C0[0，1,…,T](即目標)和背景C1[T+1，T+2，…,L-1]兩個部分，則其概率分布為：

(1)

這兩個區域的平均灰度為：

(2)

σ2=W0(μ0-μ)2+W1(μ1-μ)2

=W0W1(μ0-μ1)2

(3)

使方差最大的T值即為所求分割閾值。

TopHat算法由圖像形態學中的腐蝕和膨脹兩種基本方法組成。即使在道路存在陰影或其他干擾的情況下，車道線的亮度也會高于周圍亮度，運用TopHat算法可凸顯車道線在道路背景中的位置，增加目標與背景之間的亮度差，提高車道線與背景的辨識度[15]。TopHat算法的具體公式如下：

(4)

式中：src(x,y)代表輸入圖像；open(src)、erode(src)、dilate(src)分別代表對輸入圖像src的開運算、腐蝕運算、膨脹運算；∧、∨分別代表邏輯與、或運算；b(m,n)代表內核為(m，n)的卷積核。

對圖像分別進行OTSU算法及TopHat算法分割，并且將TopHat處理過的圖像進行Canny邊緣檢測，得到兩種算法分割完成的二值圖像，依次對兩個二值圖像中每一個相同位置的像素點進行與運算融合。也就是說，只有兩個二值圖像中相同位置的像素點均確定為二值白點，則融合后此點像素為二值白點，否則為二值黑點。

2.2 初步直線檢測及動態ROI區域確立

雖然融合OTSU與TopHat算法能夠改善車道線分割效果，但是此時的圖像中仍然包含有天空以及道路兩側的電線桿、防護欄等干擾。如圖3所示，對現有圖像再次確定梯形感興趣區域，以減小干擾及加快運行速度，因攝像頭位置中心偏右，為更好地包含右車道線，將車道線感興趣區域設置為相對車道中心線偏右。

圖3 車道線感興趣區域

在梯形感興趣區域中，不僅包含有左、右側車道線分割后的像素信息，同時也可能含有路標、減速帶等干擾，若直接進行車道線檢測擬合，效果差，魯棒性不強。為此，本文分兩次檢測車道線，第一次采用直線模型初步檢測車道線位置，然后據此進一步確定動態ROI區域，在該區域中進行第二次車道線精確擬合。

在車道線的初步直線檢測時，首先對梯形區域進行概率Hough變換(Probabilistic Hough Transform，PHT)。Hough變換是將圖像中的直線檢測轉化為參數空間的對點檢測，具體轉換公式為：

ρ=xcosθ+ysinθ

(5)

式中：(x，y)為直線上的點坐標；(ρ，θ)為參數空間極坐標。

PHT選擇性地對點進行Hough變換，而不是遍歷所有像素點，因此可以提高處理速度。由于檢測后獲得的直線較多，需要進行篩選，如圖4所示，具體步驟如下：

(1)通過所檢測直線n的兩端點(xn1，yn1)、(xn0，yn0)計算斜率kn：

(6)

(2)對檢測到的直線進行篩選。由于攝像頭前方的車道線不可能為平行線或斜率絕對值較小的直線，因此依據斜率來篩選所檢測的直線，分為左車道集合{kil|kn∈(-20,-0.2)}、右車道集合{kir|kn∈(0.2,20)}，剔除不可能為車道線的直線。

(3)分別對兩個集合中的所有車道線斜率進行平均，以獲得更為準確的車道線斜率。

圖4(a)為確定了梯形區域的待檢測圖像。從圖4(b)可以看出，經過PHT檢測后的直線包括道路中的減速帶、路邊障礙物、前方車輛等干擾，無法直接提取車道線。如圖4(c)所示，通過計算斜率并篩選后，大部分干擾直線被剔除，能夠對車道線進行初步檢測估計。如圖4(d)所示，左、右車道線集合中的直線斜率經過平均，可得到兩條直線，即為初步檢測出的車道大致方位。

(a)待檢測圖像

(b)PHT檢測直線

(c)直線篩選

(d)最終所獲直線

檢測出的直線旁邊往往有許多雜亂短線段干擾，為了后續車道線檢測時更加精準，在剔除部分直線的同時需要去除周圍的短線段干擾。以被剔除的直線為中心，進行一定范圍內d個單位像素的上、下刪減(這里取d=3)。如圖5(a)所示，PHT檢測后的直線AB為被剔除直線，以AB為中心，同時對含AB直線像素上、下3個單位進行消除，可將直線AB及周圍短線段干擾去除。如圖5(b)所示，經過篩選直線、消除短線段后，車道線兩旁已經去除絕大部分干擾，適合進行后續的車道線擬合。

(a)待消除線段圖像

(b)干擾消除后效果

為了進一步加強后續車道線擬合的魯棒性，在初步檢測出的兩條直線基礎上，以直線為中心，進行y個單位像素的上、下平移，從而確定動態感興趣區域(這里取y=40)，如圖6所示，這樣在后續擬合時可減少因車輛變動、其他道路物體進入待檢測區域所帶來的干擾，同時在動態感興趣區域內可獲得車道像素信息。

圖6 動態感興趣區域

2.3 車道線動態ROI跟蹤算法

在車道線檢測算法應用過程中，仍然可能存在車輛遮擋、車道線殘缺不全、道路標識干擾等多種道路干擾問題，會使某一幀或某幾幀檢測失效，無法檢測出車道線[16]，導致后續的車道偏離預警產生誤報、漏報等情形。而采用濾波算法對車道線進行追蹤，用濾波器輸出的最優估計值來代替當前計算觀測值，可以使得檢測結果更加穩定，大大提高檢測算法的穩定性和魯棒性[13]。因此，本文采用卡爾曼濾波算法對初步檢測的直線車道線進行跟蹤，即實現對車道線動態ROI區域的跟蹤。

卡爾曼濾波算法是根據上一時刻(k-1)檢測出的車道線位置信息預測當前時刻k的車道線位置坐標。可知初步檢測得到的車道直線的狀態參數：極徑ρk和極角θk，則k時刻的狀態向量Xk表示為：

Xk=[ρk,θk]

(7)

(8)

(9)

(10)

(11)

(12)

式中：H為測量矩陣；R為測量噪聲；Zk為k時刻的狀態向量觀測值；I為單位矩陣。

2.4 基于LASSO回歸模型的車道線擬合

利用線性回歸建立車道線模型是一種常用的車道線檢測方法。令：

(13)

式中：(xn，yn)為車道線像素坐標；a、b為線性回歸擬合參數。

上式可表示為：

D=SMT

(14)

根據最小二乘法原理，通過矩陣運算可得：

M=DT(SST)-1S

(15)

解出參數矩陣M，即可用來進行車道線的擬合。

線性回歸方法計算簡單，但是車道線并不都是直線，當遇到非線性的彎道時，線性回歸方法將難以滿足要求。為了進一步提高車道線擬合精度，本文采用基于LASSO的多項式回歸擬合方法。

對于非線性模型y=β1x2+β2x+β0，令

X1=x2,X2=x

(16)

則可以轉化為對參數β1、β2、β0的線性模型：

y=β1X1+β2X2+β0

(17)

令X=[X1X2]，參數β=[β1β2β0]，則有：

y=XβT

(18)

二次多項式在用最小二乘法擬合數據時會因存在噪聲、數據量較小等原因而產生過擬合的情況，擬合效果不理想。采用基于最小二乘法的LASSO回歸，在最小化殘差平方和的同時規劃參數項，可利用L1范數減小各項參數的絕對值之和，使參數值稀疏化，從而防止過擬合。

利用LASSO方法得到的回歸系數為：

(19)

式中：Xij、yi分別為車道線樣本點的數據變量；λ為L1正則項參數。

y=D=S′M′

(20)

根據上式，利用L1正則化的LASSO方法，有：

(21)

‖y-S′M′‖2+λ‖M′‖1

=yTy-2yTS′M′+M′TS′TS′M′+λM′TW-1M′

(22)

式中：W=diag(|β1|，|β2|，|β0|)。

為求得最小值點，對上式求關于M′的一階導數，令其為零，可得到最優參數矩陣：

M′=(S′TS′+λW-1)-1S′Ty

(23)

依據此參數矩陣可對車道線進行擬合。若因道路出現較多干擾、漏檢測等原因導致LASSO無法有效擬合時，考慮到兩幀之間時間間隔較短，相鄰幀之間變化差距小，仍采用上一幀的車道像素坐標信息擬合并進行后續計算，可較好地擬合車道線；當連續5幀無法有效擬合車道線時，則不對此幀進行后續操作。采用此策略可以避免因車道線無法檢測導致的程序中斷問題。

3 基于角度模型的車道偏離預警決策

車道偏離預警決策是在車道線檢測的基礎上，根據車輛和車道線的位置關系來判定車輛是否有偏離車道的危險，并適時發出報警[17]。針對CCP算法預警不及時的問題，本文提出一種基于車道線角度模型的偏離預警算法。

如圖7所示，根據擬合獲得的左、右車道線參數，可以得到兩條擬合車道線ab、cd的斜率，依據斜率可以將其轉化為車道線與水平方向在圖像上的角度θL、θR。當車輛向左或右車道線偏離時，θL和θR持續變化，當θL、θR超過所設閾值θ′L、θ′R時，可判斷車輛向左或向右偏離。在確定閾值θ′L、θ′R時，為避免車輛已經越過車道線才開始報警，設置分別平行于車道線ab、cd并且距離為d的虛擬車道線pq、mn，其中d=ap=cm。當車輛抵近虛擬左車道線時，將圖像中此時擬合得到的車道線ab與水平方向的角度θL設定為閾值θ′L；當車輛抵近虛擬右車道線時，同理可得到閾值θ′R。也就是說，車輛靠近虛擬車道線時，圖像中得到的θL、θR與閾值θ′L、θ′R很接近，當車輛越過虛擬車道線時，θL、θR將超過閾值θ′L、θ′R，可判斷車道偏離，起到提前預警的作用。在實際駕駛中，基于左、右車道線與水平方向夾角的偏離預警決策機制比較符合人類思維方式，同時因為省去了如FOD等偏離預警算法對橫向速度信息的需要，節約了此類速度傳感器的硬件成本。

圖7 基于角度模型的偏離預警示意圖

Fig.7 Schematic diagram of departure warning based on angle model

根據位置關系，將車輛的行駛狀態分為3種：

(1)當車輛向右偏離時，θL持續減小，θR持續增大。

(2)當車輛向左偏離時，θL持續增大，θR持續減小。

(3)當車輛穩定行駛時，θL和θR不會持續性增大或減小。

所以，當車輛持續向右移動時，如果θR大于設定閾值θ′R，則表明車輛有向右偏離趨勢，需要進行報警；當車輛持續向左移動時，如果θL大于設定閾值θ′L，則表明車輛有向左偏離趨勢，需要進行報警。本文設置d=0.2 m，得出閾值θ′L=39°、θ′R=49°。

4 實驗結果與分析

基于Python編譯環境完成本文車道偏離預警算法軟件設計。所用實驗平臺配置為CPU Intel i5-8500，內存8 GB。以某標致408車型在武漢市區拍攝的多段視頻對算法進行驗證，攝像頭位于車輛中心偏右，視頻分辨率為1980×1080，視頻幀率為30 fps。

圖8所示為經過OTSU算法、TopHat算法和融合算法分割后的檢測結果。從圖8(a)可以看出，只采用OTSU算法分割處理后，車道線邊緣處噪聲較多，影響后續車道線檢測效果，如圖8(b)所示，對右車道線進行后續初步檢測將產生偏差。從圖8(c)可以看出，經過TopHat算法處理與Canny邊緣檢測后，道路分割效果并不理想，道路干擾較多，如圖8(d)所示，車道線后續初步檢測偏離較大。從圖8(e)可以看出，經過OTSU與TopHat算法融合后，分割圖像中道路干擾與噪聲較少，如圖8(f)所示，后續的車道線初步檢測效果好，明顯優于采用單一方法的檢測結果。

圖9所示為車道線經過回歸擬合后的結果對比。圖9(a)為待檢測圖像，圖9(b)為經過分割及確定車道線區域后的圖像，可以看出，左側車道線的下方為無車道線標識的空白區域，用最小二乘法擬合時會出現因數據量小而導致過擬合的問題(見圖9(c))，而采用LASSO多項式回歸能較好地擬合車道線，有效解決上述問題，如圖9(d)所示。

(a)OTSU分割 (b)OTSU分割的后續車道線檢測

(c)TopHat分割 (d)TopHat分割的后續車道線檢測

(e)融合分割 (f)融合分割的后續車道線檢測

圖8 車道線分割和初步檢測結果對比

Fig.8 Comparison of segmentation and preliminary detecting results of lane lines

(a)待檢測圖像 (b)車道線分割圖像

(c)最小二乘法擬合 (d)LASSO多項式回歸擬合

圖9 車道線擬合結果對比

Fig.9 Comparison of lane line fitting results

圖10所示為采用本文方法對不同高速道路環境下的車道線檢測結果。圖10(a)為有虛線邊界車道線的道路，圖10(b)為有直線邊界車道線的道路，同時存在防護欄干擾，圖10(c)為有橫向污染干擾的道路，圖10(d)為有道路文字提示等標識干擾的道路，圖(e)為曲率較小的虛線邊界彎道，圖(f)為曲率較大的直線邊界彎道。從檢測結果來看，本文算法適應多種道路環境，能準確檢測出各種復雜道路環境下的車道線。

(a)虛線邊界道路 (b)直線邊界道路

(c)道路污染干擾 (d)道路標識干擾

(e)小曲率擬合 (f)大曲率擬合

圖10 多種道路環境下的車道線檢測結果

Fig.10 Detecting results of lane lines in multiple road conditions

由于現實路況場景中的車道線有一定的寬度，而算法檢測結果以單一的線條標出，為了更準確地評價本文算法性能，參照文獻[18]，當檢測結果標出位置在車道線所在范圍內，即認為檢測正確，并使用誤檢率(False Detection Rate，FDR)、漏檢率(Missing Detection Rate，MDR)和正檢率(Correct Detection Rate，CDR)作為評價指標，具體公式如下：

(24)

式中：TNF為待檢測圖像總幀數；NFD為車道線檢測錯誤的圖像幀數；NMD為未檢測出車道線的圖像幀數；NCD為車道線檢測正確的圖像幀數。

針對5種不同道路環境及車輛狀態下的視頻片段采用本文算法進行車道線檢測，算法評價結果如表1所示。從表1可以看出，5種情況下，所提出的算法均具有較低的誤檢率和漏檢率以及較高的正檢率。相比較而言，在穩定行駛的直線道路上正檢率較高；在穩定行駛的有干擾道路上會出現較多誤檢，但正檢率依然較高。彎道包括虛線邊界彎道及直線邊界彎道，在穩定行駛中，因擬合曲率大，誤檢率較直線道路有所上升。當車輛在直道和彎道上向右或向左偏離時，均有較高的正檢率。該算法總的正檢率為96.07%。

圖11顯示車輛在偏離車道時的預警系統決策結果，可以看出本文算法是有效的。當車輛接近設置的虛擬車道邊線時即可測得真實車道線與水平方向的夾角，然后與閾值相比較，就可以判斷出車輛是否向左或向右偏離。

表1 車道線檢測結果評價指標

(a)向左偏離 (b)向右偏離

圖11 車道偏離檢測與預警結果

Fig.11 Detecting and forewarning results of lane deviation

為了進一步驗證本文算法的優越性，將其與文獻[2]、文獻[4]、文獻[9]中的方法進行對比，結果如表2所示。

表2 不同算法的比較

由表2可見，本文算法在視頻分辨率為1980×1080的條件下檢測速率可達到32 ms/幀，小于每幀圖像采集時間(33.33 ms/幀)，并且每幀圖像處理時間遠低于表2中其他方法。這是因為，本文算法分兩步檢測車道線，大大減少了計算量，能夠快速準確地檢測出車道線。從正檢率來看，本文算法優于文獻[2]和文獻[4]中的算法，略遜于文獻[9]中的算法，但如果綜合考慮到分辨率，本文算法的性能更佳。根據32 ms/幀的檢測速率，若以駕駛速度60 km/h計算，車輛每行駛0.53 m可以更新一次車道線偏離決策信息，若以駕駛速度120 km/h計算，車輛每行駛1.07 m更新一次，這表明本文算法具有良好的實時性。

5 結語

本文提出了一種適用于城市結構化高速道路的車道偏離預警新方法，采用TopHat和OTSU算法融合來分割車道線，然后分兩步進行車道線檢測，在初步確定的車道線位置創建動態ROI區域并進行跟蹤處理，在此區域內利用LASSO回歸模型擬合車道線，最后通過基于角度模型的車道偏離預警決策機制進行預警，不僅提高了車道檢測精度，還提高了運算速度。該方法能夠準確、快速地檢測出車道線，在有道路干擾、彎道等復雜道路環境下的正檢率達到96%以上，滿足車道偏離預警系統的實時性和魯棒性的要求。然而，在研究中同時也發現，對于夜晚、雨天等光照強烈變化條件下的道路場景，該算法的車道線正檢率較低，下一步將針對這種情況擬采用深度學習方法進行深入研究。