基于混合貝塞爾曲線模型的車道檢測算法

韓 浩，王舜燕

(武漢理工大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢 430070)

0 引 言

關(guān)于LDR(車道檢測與重建)的研究主要面對如下問題：①如何避免路邊樹木和建筑物的陰影干擾；②如何降低圖像噪聲的影響；③如何在不同光照環(huán)境下保持魯棒性；④如何應(yīng)對不同的彎道輪廓和曲率；⑤如何實(shí)時(shí)檢測和重建車道。

車道檢測的一種思路是利用顏色、紋理、邊緣、寬度等道路特征來檢測車道[1]，如模板檢測法、自適應(yīng)隨機(jī)Hough變換法和區(qū)間生長法等，這種方法易受光照等環(huán)境影響，適用于車道線清晰、干擾少的場景。楊志杰等提到用RGB彩色通道特種來檢測結(jié)構(gòu)化道路[2]，而黨宏社等根據(jù)車道的紋理變化來區(qū)分車道線[3]，然而，這在大型或致密陰影的道路上卻不那么有效，圖像和一些有用的邊界信息將會(huì)丟失。

車道檢測的另一種思路是用適當(dāng)?shù)哪Ｐ蛠頂M合車道線。直線模型已廣泛出現(xiàn)在各中研究中，比如Hough變換和及其變型[4]。這種模型在檢測直線時(shí)比較有效，但道路出現(xiàn)彎曲時(shí)，其效果會(huì)大打折扣。郭磊等則提出直線-拋物線模型，針對道路圖像不同區(qū)域采用不同的模型；WangYan等采用雙曲線模型，用聚類算法統(tǒng)計(jì)左右車道的像素，估計(jì)消失點(diǎn)位置，再擬合出車道并估算模型參數(shù)。基于模型的方法考慮了道路的幾何結(jié)構(gòu)信息，用幾個(gè)特定參數(shù)表述較為完整的車道區(qū)間，對路面干擾具有較好的魯棒性，但模型的選擇和求解是關(guān)鍵問題。

本文提出的是基于擴(kuò)展搜索和貝塞爾模型擬合的車道檢測和重建方法。與其它方法相比，此方法利用了圖像中車道標(biāo)線的連續(xù)性和平滑過渡來獲得較高的搜索效率，進(jìn)而提高實(shí)時(shí)性和檢測率。通過小區(qū)間搜索，擴(kuò)展搜索算法可以很好的適應(yīng)直線和曲線車道的檢測。此外，給出了車道重建質(zhì)量的度量，當(dāng)?shù)陀陂撝禃r(shí)，便通過兩個(gè)連接的二階貝塞爾曲線來擬合邊界。

1 檢測算法

1.1 車道邊界的梯度特征

一般來說，相機(jī)的仰角α比較小，而道路圖像只占據(jù)了屏幕的一個(gè)部分一旦攝像機(jī)固定后，高度h和a可以變動(dòng)的區(qū)間就比較小。因此，在安裝相機(jī)時(shí)盡量調(diào)整角度和位置使最終的道路視野夾角最大。

在本文中，我們設(shè)視角上界坐標(biāo)y0=150。由于本文主要研究有著清晰車道線的結(jié)構(gòu)化道路，車道線與路面有著明顯的灰度差異，這不受陰影，光照或車道線顏色的影響。在圖像車道線恰當(dāng)?shù)奈恢媒厝∵m當(dāng)尺寸的區(qū)間(如圖1(a)和圖1(b)所示)，使這些區(qū)間有著明顯的梯度差異。此外，每個(gè)區(qū)間都被車道線分成兩個(gè)三角形(假設(shè)車輛行駛在一個(gè)車道上且并無換道)。攝像頭的視距越遠(yuǎn)，車道線之間的距離越窄。因此，用于計(jì)算梯度特征的L×L區(qū)間在不同的距離下有不同的大小。大量實(shí)驗(yàn)和仿真結(jié)果表明，將該區(qū)間沿著Y軸分為3個(gè)部分的處理方式會(huì)有更好的實(shí)踐效果。圖1中顯示：[0,y2]，[y2,y1] 和[y1,y0](其中y2=45，y1=90)，以及L×L=9×9、5×5和3×3。

圖1 圖像坐標(biāo)與處理范圍

圖2 左右車道邊界的模板

車道檢測算法的實(shí)時(shí)性很大程度上依賴于搜索算法的效率。如果我們能夠控制車道邊界的搜索區(qū)間，使它沿著車道線向上延伸，那么實(shí)時(shí)性和檢測率就會(huì)得到提升。

1.2 確定初始位置

我們選定左右兩邊車道線的最底端的位置為擴(kuò)展搜索的初始位置。

為了降低路面其它無關(guān)信號的干擾，避免諸如箭頭等路標(biāo)的影響，在確定初始位置的同時(shí)，也要尋找額外的兩個(gè)連續(xù)搜索區(qū)間。搜索順序的設(shè)定要盡量保證計(jì)算時(shí)間最小。首先考慮搜索底部具有最大特征值的那個(gè)部分，然后檢查它是否滿足閾值條件，如果不滿足，搜索的最外層的位置，如果仍不能找到初始位置，則從內(nèi)到外、自底向上搜索整個(gè)區(qū)間。

1.3 擴(kuò)展搜索

擴(kuò)展搜索是指沿著外邊界初始位置向上一個(gè)接一個(gè)搜索出區(qū)間，并覆蓋小區(qū)間的方法。我們把已經(jīng)搜索出的臨近區(qū)間設(shè)定潛在區(qū)域，并從中選定梯度特征最大的那個(gè)區(qū)間，如果特征值大于閾值T0，那么它就是邊界區(qū)間，否則更新潛在區(qū)域并繼續(xù)搜索。車道線具有多種幾何形式，例如直線或者曲線、連續(xù)或不連續(xù)。顯然很難設(shè)計(jì)一種統(tǒng)一的方法來判定不同形式車道的潛在區(qū)域，因此我們必須依據(jù)不同情況分別選擇相應(yīng)搜索方法。

1.3.1 連續(xù)搜索

在連續(xù)搜索中，區(qū)間的梯度特征值可以由模板①或模板③計(jì)算得出，而潛在區(qū)域也可以從兩個(gè)臨近搜索區(qū)間的坐標(biāo)變化中確定；

圖3黑色方框表示我們已經(jīng)搜索的n個(gè)左道區(qū)間，每個(gè)區(qū)域的坐標(biāo)最低點(diǎn)是Pi(xi,yi)(i=1,2,…，n)。 第n+1個(gè)區(qū)間的最低點(diǎn)Pn+1(xn+1,yn+1) 的搜索范圍可以確定為

yn+1=yn+L
xn+1∈[xn-s1，xn+(xn-xn-1)+s2]

(1)

這里L(fēng)是第n個(gè)區(qū)間的尺寸，s1和s2分別是左右補(bǔ)償；一般來說，在連續(xù)搜索時(shí)xi比xi-1要大，因此s1要比s2小以保證車道邊界不溢出搜索區(qū)域。

圖3 在左邊界連接搜索中設(shè)定初始區(qū)域

類似，對于右車道邊界，第n+1個(gè)區(qū)間的最低點(diǎn)Pn+1(xn+1,yn+1)的搜索范圍可以確定為

(2)

用模板①或模板③計(jì)算潛在區(qū)域中每個(gè)區(qū)間以尋找最大特征值區(qū)間，如果特征值大于閾值，則搜索繼續(xù)下一個(gè)區(qū)間。

這里要說明的是，在確定初始搜索區(qū)間的時(shí)候如果P0不存在，那么P2可以這樣確定y2=y1+L,x2∈[x1,x1+20]。

1.3.2 彎曲搜索

連續(xù)搜索中的潛在區(qū)域并非總會(huì)奏效，如果出現(xiàn)彎道，那可能會(huì)找不到區(qū)間；在搜索無果情況下，即執(zhí)行彎曲搜索，此時(shí)使用模板③或模板④，并修改潛在區(qū)域。

左車道邊界點(diǎn)Pn+1

yn+1=yn+L
xn+1∈[xn+(xn-xn-1)-s2,xn+s1]

(3)

(4)

由于搜索區(qū)域通常只會(huì)有一個(gè)轉(zhuǎn)角，故彎曲搜索可以進(jìn)行直到終止條件。彎道上通常只需要檢測出一個(gè)邊界彎曲就可以。

1.3.3 不連續(xù)搜索

在一些情況下，車道邊界可能不連續(xù)，借助分析車道線的平滑程度，我們需要計(jì)算從邊界發(fā)生斷點(diǎn)到重新出現(xiàn)車道線的x軸坐標(biāo)距離，通常這個(gè)距離較小。

在左邊界非連續(xù)搜索中設(shè)定潛在區(qū)域如圖4所示。

圖4 在左邊界非連續(xù)搜索中設(shè)定潛在區(qū)域

這里有潛在搜索區(qū)域

yn+1=yn+L
xn+k=[xxk-ss,xxk+ss]

(5)

這里k代表從斷點(diǎn)向上經(jīng)過的區(qū)間的數(shù)量，L是相應(yīng)區(qū)間的大小，ss是左右補(bǔ)償，xxk是直線上起始點(diǎn)Pa(xa,ya)到終點(diǎn)Pn(xn,yn)的x軸坐標(biāo)距離

(6)

1.3.4 終止條件

綜合考慮處理區(qū)域的限制、車道非感興趣區(qū)域，我們可以如下設(shè)定終止條件：①潛在區(qū)域超出可處理區(qū)間的范圍；②非連續(xù)搜索時(shí)，k>10；③彎曲搜索時(shí)找到邊界區(qū)域；④搜索右車道時(shí)，潛在區(qū)域包括左車道邊界切線。一旦以上任一條件滿足，則立即終止。

2 模型擬合與車道重建

2.1 車道邊界模型

重建的目的在于準(zhǔn)確地?cái)M合出車道。這里選用的模型為n次貝塞爾曲線

(7)

這里bj是控制點(diǎn)，其中t∈[0,1]；Bj,n(t) 是伯恩斯坦多項(xiàng)式，其中

(8)

二次貝塞爾曲線由3個(gè)控制點(diǎn)確定(圖5(a))，控制點(diǎn)b0和b2分別是曲線的起點(diǎn)和終點(diǎn)，控制點(diǎn)b1是b0和b2兩點(diǎn)處切線的交點(diǎn)，一旦b0和b2確定，曲線就只依賴于b1。

雖然說只要確定了二次貝塞爾曲線就可以確定了車道邊界，但是如果車道曲率發(fā)生變化，那模型擬合的質(zhì)量就會(huì)大打折扣，此時(shí)我們可以混合多個(gè)貝塞爾曲線來提高擬合效果。圖5(b)中顯示了兩個(gè)二次曲線擬合，b1和b3具有強(qiáng)約束，這能創(chuàng)建范圍更廣的車道邊界。

圖5 不同曲率下的車道模型

2.2 車道邊界擬合

通過最大類間方差法，我們可以很好地提取每個(gè)搜索區(qū)間中的邊緣像素，并獲得車道外邊界的最低點(diǎn)Qi(xi,yi)(1≤i≤m,m是邊界區(qū)域的個(gè)數(shù))。當(dāng)使用一個(gè)貝塞爾曲線擬合邊界時(shí)，Q1是起始控制點(diǎn)而Qst和Qm是終止控制點(diǎn)。由于中間控制點(diǎn)即是起點(diǎn)和終點(diǎn)處切線的交點(diǎn)，所以我們只需找到合適的中間點(diǎn)就可以獲得最佳的貝塞爾曲線。盡管切線沒有給定，但是我們可以把起點(diǎn)Qst和下一個(gè)點(diǎn)Qst+1的連線近似為切線，同理也可得到終點(diǎn)Qen和Qen-1的近似切線。而且，這兩條近似切線的交點(diǎn)也逼近真實(shí)的中間控制點(diǎn)，故其潛在區(qū)域也可根據(jù)交點(diǎn)來劃分。(如圖6中白色矩形，其大小為20*20)

圖6 中間控制點(diǎn)的潛在區(qū)域

潛在區(qū)域中的每個(gè)點(diǎn)都能構(gòu)建貝塞爾曲線，進(jìn)過二值化處理，貝塞爾曲線兩邊的灰度差異達(dá)到最大，目標(biāo)函數(shù)為

(9)

這里gt是曲線上點(diǎn)pt的像素值，ggt是pt的外臨近點(diǎn)的像素值。特殊地，如果這個(gè)交點(diǎn)不存在，那么說明車道是直線，此時(shí)起始控制點(diǎn)和終止點(diǎn)之間的連線就是所求曲線本身。

2.3 重建質(zhì)量的度量和改進(jìn)

本文我們提出一種度量方法來評價(jià)車道重建的效果，如下

(10)

圖7中，左邊界具有較高的重建質(zhì)量，他們的評價(jià)值為0.87和0.76(表1)；但右邊界(圖7(b))的效果卻不盡人意，評價(jià)值只有0.24，可以用兩個(gè)貝塞爾曲線來擬合 以提高評價(jià)值，當(dāng)然這也取決于實(shí)際的效果。

圖7 一個(gè)貝塞爾曲線擬合的結(jié)果

邊界圖7(a)圖7(b)左邊界右邊界左邊界右邊界R0.870.580.760.24

這里給定臨界值R1，如果R

(11)

τkk=|tk+1-tk|

(12)

兩個(gè)貝塞爾曲線擬合右邊界如圖8所示。

圖8 兩個(gè)貝塞爾曲線擬合右邊界

3 實(shí)驗(yàn)結(jié)果與分析

攝像頭安裝時(shí)高1.35 m，傾角5°，圖像分辨率設(shè)為320*240，實(shí)驗(yàn)所用的圖片信息源于對不同光照、陰影、曲度情況下的高速公路和普通城市道路的拍攝截圖，車速控制在30 km/h到60 km/h。

(1)不同陰影和障礙干擾下的實(shí)驗(yàn)結(jié)果(圖9)

復(fù)雜場景下的結(jié)果表明，本文所闡明的算法能夠很好地應(yīng)對道路陰影狀況，進(jìn)而得出擴(kuò)展搜索可以避免搜索區(qū)的障礙干擾。比如085幀中的路中央有一個(gè)箭頭，但是該算法所得結(jié)果依然較好。這說明，在獲得車道邊界點(diǎn)的過程中，二值化處理有良好的適應(yīng)性，從而讓我們在有陰影的情況下也能得到較好的梯度特征。最終實(shí)驗(yàn)共得1511幀，其中209幀未通過測試，檢測率為86.2%。未通過測試的場景中，汽車太靠近車道線，如幀253。

圖9 不同陰影和障礙下的實(shí)驗(yàn)結(jié)果

(2)彎道上的實(shí)驗(yàn)結(jié)果(圖10)

這些圖像序列顯示了從直道轉(zhuǎn)向彎道的行駛過程。結(jié)果表明，邊界模型和擬合算法能夠適應(yīng)直道和彎道；有著較大曲率轉(zhuǎn)角的車道在用兩個(gè)貝塞爾曲線擬合時(shí)表現(xiàn)良好。最終實(shí)驗(yàn)共得845幀，其中76幀未通過測試，檢測率為91.0%。

圖10 不同曲率的彎道的實(shí)驗(yàn)結(jié)果

(3)不同照明場景下的實(shí)驗(yàn)結(jié)果(圖11)

實(shí)驗(yàn)結(jié)果表明，該算法可以很好地適應(yīng)各種照明環(huán)境，只要光照不是過弱或過強(qiáng)，都能得到車道的梯度特征。擴(kuò)展搜索不僅可以避免陰影和障礙物的干擾，而且能夠提高實(shí)時(shí)性，平均每幀處理時(shí)間為12 ms。

圖11 不同照明下的實(shí)驗(yàn)結(jié)果

4 結(jié)束語

本文中主要闡明了擴(kuò)展搜索算法和貝塞爾曲線模型。其中擴(kuò)展搜索利用車道的平滑性和可延展性，通過小區(qū)間搜索的方式，成功地完成了連續(xù)、非連續(xù)、彎曲等情況下的搜索任務(wù)，從而檢測出車道位置。而貝塞爾曲線則能夠很好地?cái)M合直道和彎道，在曲率變化較大的地方也可以選用兩個(gè)貝塞爾曲線來應(yīng)對。在現(xiàn)實(shí)中的結(jié)構(gòu)化道路上實(shí)測結(jié)果是良好的，算法在應(yīng)對復(fù)雜場景也具有魯棒性和實(shí)時(shí)性。同時(shí)，那些沒有通過測試的場景也說明問題所在，比如車輛靠近車道線時(shí)；通過反復(fù)分析失敗案例，我們可以改進(jìn)原有算法以得出更好的方案。在非結(jié)構(gòu)化道路上的檢測方案則有待進(jìn)一步的學(xué)習(xí)和研究。

[1]PENG Yanzhou,GAO Hongfeng.Research on highway lane detection method[D].Luoyang:University of Science and Technology of Henan,2015(in Chinese).[彭艷周,高宏峰.高速公路車道檢測方法研究[D].洛陽:河南科技大學(xué),2015.]

[2]YANG Zhijie.Lane detection based on RGB channels[J].Electronic Science and Technology,2015,28(1):95-98(in Chinese).[楊智杰.基于RGB彩色通道的結(jié)構(gòu)化道路車道線檢測[J].電子科技,2015,28(1):95-98.]

[3]DANG Hongshe,GUO Chujia.Lane marking detection method based on texture feature[J].Journal of Chongqing Jiaotong University(Natural Science),2014,10(5):116-119(in Chinese).[黨宏社,郭楚佳.一種基于紋理特征的車道線檢測方法研究[J].重新交通大學(xué)學(xué)報(bào)自然科學(xué)版,2014,10(5):116-119.]

[4]CHEN Jun,DU Huanqiang,ZHANG Changjiang.Research of lane detection based on progressive probabilistic Hough transform[J].Bulletin of Science and Technology,2016,32(3):194-199(in Chinese).[陳軍,杜煥強(qiáng),張長江.基于概率霍夫變換的車道檢測技術(shù)研究[J].科技通報(bào),2016,32(3):194-199.]

[5]PENG Hong,XIAO Jinsheng,CHENG Xian,et al.Lane detetion algorithm based on extended Kalman filter[J].Journal of Optoelectronics Laser,2015,26(3):567-574(in Chinese).[彭紅,肖進(jìn)勝,程顯,等.基于擴(kuò)展卡爾曼濾波器的車道線檢測算法[J].光電子·激光,2015,26(3):567-574.]

[6]CHEN Gongchun,JIA Zhixun.Algorithm for lane detection based on visual sensor[J].Transducer and Microsystem Technologies,2014,11(33):125-128(in Chinese).[陳功醇,賈志絢.基于視覺傳感器的車道檢測算法[J].傳感器與微系統(tǒng),2014,11(33):125-128.]

[7]SHEN Zhenqian,MIAO Changyun,GENG Lei,et al.Vechicles detection and tracking algorithm for complex nighttime traffic scene[J].Journal of Transportation Systems Engineering and Information Technology,2016,16(1):46-63(in Chinese).[沈振乾,苗長云,耿磊,等.夜間復(fù)雜交通場景中的車道線檢測和跟蹤[J].交通運(yùn)輸系統(tǒng)工程與信息,2016,16(1):46-63.]

[8]Wu PC,Chang CY,Lin CH.Lane-mark extraction for automobiles under complex conditions[J].Pattern Recogn,2014,47(8):2756-2767.

[9]Nan ZX,Wei P,Xu LH.Efficient lane boundary detection with spatial-temporal knowledge filtering[J].SENSORS,2016,16(8):1276.

[10]Niu JW,Lu J,Xu ML.Robust lane detection using two-stage feature extraction with curve fitting[J].Patern Recogition,2015.59(SI):225-233.

[11]Kawabata K,Ma L,Xue J.A path generation method for automated vehicles based on Bezier curve[C]//IEEE/ASME International Conference on Advanced Intelligent Mechatro-nics,2013:991-996.