基于種子超像素生長(zhǎng)的視覺(jué)道路檢測(cè)

楊 波

(重慶對(duì)外經(jīng)貿(mào)學(xué)院 重慶 401520)

0 引 言

近年來(lái),道路檢測(cè)技術(shù)作為自主駕駛、智能交通等領(lǐng)域的基礎(chǔ)且關(guān)鍵的組成部分逐漸成為研究的熱點(diǎn)問(wèn)題。視覺(jué)檢測(cè)是道路檢測(cè)領(lǐng)域最為常用的解決方案,然而目前,基于視覺(jué)的道路檢測(cè)仍然是一個(gè)極具挑戰(zhàn)性的任務(wù),其存在的主要問(wèn)題是在一些復(fù)雜環(huán)境下的檢測(cè)魯棒性不高,容易受到光照變化、陰影、車輛及行人干擾等因素的影響[1-3]。

目前常用的視覺(jué)道路檢測(cè)方法可以分為基于模型的方法和基于特征的方法?；谀Ｐ偷姆椒╗4-6]通過(guò)搜尋顯著的道路特征來(lái)擬合訓(xùn)練好的道路模型,此類方法在復(fù)雜路況下很難找到匹配的道路模型,難以滿足魯棒性需求;基于特征的方法主要利用道路的顏色[7-9]、紋理[10]等信息與非道路區(qū)域區(qū)分開(kāi)來(lái),其中,后者主要通過(guò)檢測(cè)道路的邊緣、消失點(diǎn)等道路紋理信息完成道路檢測(cè),如Kong等[11]通過(guò)檢測(cè)道路消失點(diǎn)來(lái)確定道路邊緣,最終得到道路區(qū)域,但這種方法無(wú)法排除道路上的車輛、行人等干擾信息,容易造成誤檢,且算法復(fù)雜度高、實(shí)時(shí)性較差,故相比于紋理特征,道路顏色特征具有更強(qiáng)的可靠性。但傳統(tǒng)的基于顏色特征的方法在存在陰影等干擾信息的環(huán)境下準(zhǔn)確性和魯棒性較差,且車道線所在道路區(qū)域通常被檢測(cè)為非道路區(qū)域。

為了提高道路檢測(cè)的性能,國(guó)內(nèi)外學(xué)者進(jìn)行了其他探索。文獻(xiàn)[12-14]利用立體視覺(jué)得到深度信息來(lái)完成道路檢測(cè),但此方法成本高,且實(shí)時(shí)性很難滿足。隨著深度學(xué)習(xí)的快速發(fā)展,也有學(xué)者將深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)應(yīng)用于道路檢測(cè)。由Levi等[15]提出的Stixel-NET通過(guò)訓(xùn)練具有5個(gè)卷積層的深度網(wǎng)絡(luò)來(lái)分割道路區(qū)域。由Badrinarayanan等[16]提出的SegNet基于VGG16的網(wǎng)絡(luò)模型構(gòu)造了一個(gè)具有編碼-解碼結(jié)構(gòu)的深度卷積網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)道路檢測(cè)及分類。此類方法需要在線下利用大量樣本集進(jìn)行訓(xùn)練,無(wú)論是數(shù)據(jù)集的人工標(biāo)注還是網(wǎng)絡(luò)模型的訓(xùn)練都是一項(xiàng)繁重且耗時(shí)的工作,不利于道路檢測(cè)算法的實(shí)際應(yīng)用。

結(jié)合前人的研究成果與不足,本文提出一種基于種子超像素生長(zhǎng)和多信息融合的視覺(jué)道路檢測(cè)算法。該算法采用形態(tài)學(xué)運(yùn)算去除結(jié)構(gòu)化道路中的車道線,以避免其對(duì)后續(xù)處理的不利影響;采用超像素分割算法將圖像分割成超像素塊,將圖像過(guò)分割成結(jié)構(gòu)相似的若干區(qū)域;通過(guò)提取道路的HSV顏色空間的顏色特征,并結(jié)合預(yù)定義的道路模型完成基于視覺(jué)的道路檢測(cè)任務(wù)。

1 道路圖像預(yù)處理

1.1 形態(tài)學(xué)運(yùn)算剔除車道線

由于在城市等結(jié)構(gòu)化道路環(huán)境下存在大量的車道線,但車道線作為干擾信息不利于后續(xù)對(duì)道路的檢測(cè)。針對(duì)上述問(wèn)題,本文提出一種基于圖像開(kāi)運(yùn)算的車道線剔除算法。該算法基于車道線亮度值明顯高于周圍道路區(qū)域的特點(diǎn),利用圖像開(kāi)運(yùn)算對(duì)車道線進(jìn)行剔除。使用結(jié)構(gòu)元素b(x,y)對(duì)圖像f(x,y)進(jìn)行開(kāi)運(yùn)算操作,定義為:

fopen(x,y)=f(x,y)°b(x,y)=

(f(x,y)Θb(x,y))⊕b(x,y)

(1)

式中:符號(hào)“° ”表示開(kāi)運(yùn)算操作;符號(hào)“Θ”表示腐蝕操作;符號(hào)“⊕”表示膨脹操作。即先用結(jié)構(gòu)元素b(x,y)對(duì)圖像f(x,y)進(jìn)行腐蝕,再用同樣的結(jié)構(gòu)元素對(duì)其結(jié)果進(jìn)行膨脹。在圖像形態(tài)學(xué)運(yùn)算領(lǐng)域,腐蝕操作的主要目的為縮小目標(biāo)邊界和范圍;膨脹操作則與腐蝕操作相反,其主要目的為擴(kuò)張目標(biāo)邊界和范圍。腐蝕操作和膨脹操作運(yùn)算定義如下:

AΘB={z|(B)Z?A}

(2)

(3)

針對(duì)數(shù)字圖像,從數(shù)學(xué)角度而言,形態(tài)學(xué)腐蝕操作通常以求取局部圖像區(qū)域最小值的形式來(lái)實(shí)現(xiàn),即通過(guò)獲取定義好的結(jié)構(gòu)元素B所覆蓋的區(qū)域內(nèi)所有圖像像素的最小值來(lái)完成腐蝕操作。相應(yīng)地,形態(tài)學(xué)膨脹操作則通常以求取局部圖像區(qū)域最大值的形式來(lái)實(shí)現(xiàn)。

此外,針對(duì)車道線在水平方向?qū)挾容^小而在豎直方向長(zhǎng)度較大的特點(diǎn),本算法采用橫向線形結(jié)構(gòu)元素來(lái)對(duì)道路圖像進(jìn)行開(kāi)運(yùn)算操作。處理結(jié)果如圖1所示(圖1(a)為原圖像,圖1(b)為形態(tài)學(xué)開(kāi)運(yùn)算處理結(jié)果)。

圖1 圖像形態(tài)學(xué)處理

1.2 顏色空間選擇

基于特征的道路檢測(cè)算法由于其無(wú)須訓(xùn)練、算法高效等特點(diǎn)而被廣泛應(yīng)用。其中,相機(jī)的透視效應(yīng)導(dǎo)致道路的紋理特征隨著與相機(jī)距離的變化而變化,故道路的顏色特征具有更強(qiáng)的可靠性。相比于RGB顏色空間,HSV顏色空間能更有效地區(qū)分顏色相似性,且HSV顏色空間更加符合視覺(jué)特性。針對(duì)道路檢測(cè)中顏色空間的選擇問(wèn)題,Alvarez等[17]對(duì)RGB和HSV顏色空間作了對(duì)比,其結(jié)果如表1所示(“+”表示魯棒性強(qiáng),“-”表示魯棒性弱)。

表1 不同顏色空間各通道魯棒性

基于以上討論,本文將對(duì)輸入圖像車道線剔除后的圖像進(jìn)行顏色空間轉(zhuǎn)換。由RGB顏色空間轉(zhuǎn)換為HSV顏色空間的轉(zhuǎn)換公式如下:

(4)

(5)

(6)

轉(zhuǎn)換之后的效果如圖2所示(第一列分別為R、G、B通道;第二列分別為H、S、V通道)。

圖2 RGB轉(zhuǎn)換為HSV顏色空間

1.3 超像素分割

圖像超像素定義為具有相似特征的相鄰圖像像素構(gòu)成的不規(guī)則像素塊。圖像超像素用少量的超像素代替大量的像素來(lái)表達(dá)圖片的特征,大大降低了由像素之間的相似性帶來(lái)的冗余性,并隨之降低了后續(xù)圖像處理任務(wù)的復(fù)雜性。近年來(lái),超像素的理念已經(jīng)廣泛應(yīng)用于目標(biāo)檢測(cè)及分割等領(lǐng)域。

本文使用Achanta等[18]提出的SLIC(Simple Linear Iterative Cluster)超像素分割算法對(duì)道路圖像進(jìn)行超像素分割,該超像素分割算法能夠高質(zhì)量地生成均勻緊湊的超像素。SLIC,即簡(jiǎn)單線性迭代聚類,首先,它將彩色圖像轉(zhuǎn)化為CIE-Lab顏色空間,對(duì)應(yīng)每個(gè)像素的(L,a,b)顏色值和(x,y)坐標(biāo)組成一個(gè)5維向量,然后對(duì)此構(gòu)造距離度量標(biāo)準(zhǔn),兩個(gè)像素的相似性即可由它們的向量距離來(lái)度量,距離越大則相似性越小。最后通過(guò)迭代的方式對(duì)圖像像素進(jìn)行局部聚類。SLIC算法的偽代碼如算法1所示。

算法1超像素分割算法

/*初始化*/

Initialize cluster centersCkby sampling pixels at regular grid stepsS.

Move cluster centers to the lowest gradient position in a 3×3 neighborhood.

Set labell(i)=-1 for each pixeli.

Set distanced(i)=∞ for each pixeli.

repeat

/*分配*/

for each cluster centerCkdo

for each pixeliin a 2S×2Sregion aroundCkdo

Compute the distanceDbetweenCkandi.

ifD

setd(i)=D

setl(i)=k

end if

end for

end for

/*更新數(shù)據(jù)*/

Compute new cluster centers.

Compute residual errorE.

UntilE≤threshold

上述過(guò)程中,迭代計(jì)算聚類中心是本算法的關(guān)鍵,而迭代的核心就是計(jì)算距離。其計(jì)算公式如下:

(7)

(8)

(9)

式中:dc代表顏色距離;ds代表空間距離;NS表示類內(nèi)最大空間距離。

(10)

式中:K表示超像素總數(shù);N表示圖像的像素個(gè)數(shù),隨圖片及聚類不同而不同,所以作者取一個(gè)固定常數(shù)m代替。最終的度量公式為:

(11)

由上述論述可知,該算法只需要用戶輸入兩個(gè)參數(shù),即超像素總數(shù)K和常數(shù)m。本文設(shè)置K值為2 000,m值為25,超像素分割結(jié)果如圖3所示。

圖3 超像素分割結(jié)果

2 道路圖像預(yù)處理

2.1 種子超像素選取

在進(jìn)行道路檢測(cè)前,首先要確定道路圖像中的某個(gè)道路區(qū)域作為種子點(diǎn)。對(duì)于本文而言,需要選擇道路區(qū)域的超像素塊作為種子超像素。當(dāng)車輛在道路上行駛時(shí),安裝于車輛上的相機(jī)得到場(chǎng)景圖像,而圖像的中底部像素所對(duì)應(yīng)的區(qū)域是距離車輛最近的地方,也是最有可能是道路的區(qū)域?；诖?本文提出一種種子超像素塊選取方法。如圖4所示,首先,在圖像的中底部選擇5個(gè)超像素塊(最底層3個(gè),次底層2個(gè)),然后分別統(tǒng)計(jì)5個(gè)超像素塊的顏色均值并計(jì)算各均值之間的距離,為排除圖像底部所對(duì)應(yīng)的區(qū)域存在車輛、行人、道路破損等不利因素影響的可能,選擇距離最近的3個(gè)超像素塊作為最終的種子超像素。

圖4 種子超像素塊選取

2.2 道路模型

由于本文擬提取超像素塊的顏色特征來(lái)區(qū)分道路與非道路區(qū)域。而當(dāng)圖像中存在人行道、建筑物等與道路區(qū)域具有相似的顏色特征的內(nèi)容時(shí),容易造成誤檢,使道路檢測(cè)的準(zhǔn)確率降低。基于此,本文提出通過(guò)引入預(yù)定義道路模型解決此問(wèn)題。本文認(rèn)為越是同時(shí)靠近圖像的底部和中部,該像素所對(duì)應(yīng)的區(qū)域作為道路的可能性越大,反之,越是靠近圖像的上部或者左右兩邊,其對(duì)應(yīng)的區(qū)域越有可能是非道路區(qū)域。由此,本文提出的預(yù)定義的道路模型如下:

(12)

式中:(x,y)表示每個(gè)超像素的均值橫坐標(biāo)和縱坐標(biāo);τ(x,y)表示坐標(biāo)(x,y)對(duì)應(yīng)的超像素;X和Y組成圖像的分辨率。

2.3 道路檢測(cè)

接下來(lái),本文在上述基礎(chǔ)上進(jìn)行道路的檢測(cè)。首先是設(shè)計(jì)種子超像素生長(zhǎng)準(zhǔn)則,通過(guò)超像素生長(zhǎng)實(shí)現(xiàn)基于顏色特征的視覺(jué)道路檢測(cè)。具體來(lái)說(shuō),本文通過(guò)統(tǒng)計(jì)每個(gè)超像素的HSV各通道直方圖,由于每個(gè)超像素塊對(duì)應(yīng)的像素?cái)?shù)不同,所以,本文將直方圖歸一化,然后計(jì)算每個(gè)超像素和種子超像素之間歸一化直方圖的距離,定義為Dh,并將其作為種子超像素生長(zhǎng)的準(zhǔn)則。換言之,當(dāng)圖像超像素和種子超像素的歸一化直方圖距離較小,即顏色特征相似度越高時(shí),進(jìn)行種子超像素生長(zhǎng),反之,當(dāng)圖像超像素和種子超像素的歸一化直方圖距離較大時(shí),停止生長(zhǎng),直至遍歷所有的圖像超像素為止。

最后,本文引入預(yù)定義道路模型以提升算法的魯棒性,依據(jù)式(13)把不同的超像素塊分為道路區(qū)域和非道路區(qū)域兩部分。

(13)

式中:λ表示閾值;paver表示將超像素塊的均值橫坐標(biāo)和均值縱坐標(biāo)代入式(12)的結(jié)果。道路檢測(cè)結(jié)果如圖5所示。

圖5 道路檢測(cè)結(jié)果

3 實(shí)驗(yàn)結(jié)果分析

本節(jié)對(duì)本文算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)基于Inter Core i7 CPU,配備16 GB RAM,采用MATLAB軟件進(jìn)行算法實(shí)現(xiàn)。實(shí)驗(yàn)圖像來(lái)自KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)道路檢測(cè)數(shù)據(jù)集[19]。

3.1 定性分析

本文對(duì)KITTI數(shù)據(jù)集下的道路圖像進(jìn)行了道路檢測(cè)實(shí)驗(yàn),部分實(shí)驗(yàn)結(jié)果如圖6所示,其中,第一行為選取于KITTI數(shù)據(jù)集的輸入圖像,第二行為對(duì)原始圖像進(jìn)行超像素分割結(jié)果,第三行為道路檢測(cè)結(jié)果,第四行圖像為最終得到的道路區(qū)域檢測(cè)結(jié)果,第五行圖像為對(duì)應(yīng)的groundtruth。

圖6 定性實(shí)驗(yàn)結(jié)果

值得一提的是,為了驗(yàn)證所提出的引入預(yù)定義道路模型的有效性,本文進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖7所示,其中第一行圖像為僅依靠顏色特征的道路檢測(cè)結(jié)果,第二行圖像為引入預(yù)定義道路模型之后的道路檢測(cè)結(jié)果?？梢钥闯?通過(guò)引入預(yù)定義道路模型,可以解決道路圖像中的人行道、建筑物等與道路區(qū)域具有相似的顏色特征的內(nèi)容對(duì)道路檢測(cè)算法產(chǎn)生影響的問(wèn)題。

圖7 消融實(shí)驗(yàn)結(jié)果

3.2 定量分析

本文選定精確率(precision,P)、召回率(recall,R)、F度量(F-measure,F)作為性能評(píng)估標(biāo)準(zhǔn),這三個(gè)指標(biāo)的具體定義為:

(14)

(15)

(16)

式中:TP、FP、FN分別表示True Positive(被檢測(cè)為道路的道路像素)、True Negative(被檢測(cè)為非道路的非道路像素)、False Negative(被檢測(cè)為非道路的道路像素)。本文方法定量分析結(jié)果及其與目前比較流行且效果較好的幾種道路檢測(cè)算法結(jié)果對(duì)比如表2-表4所示。

表2 UM道路環(huán)境下道路檢測(cè)算法對(duì)比(%)

表3 UU道路環(huán)境下道路檢測(cè)算法對(duì)比(%)

表4 UM道路環(huán)境下道路檢測(cè)算法對(duì)比(%)

本文算法在MATLAB軟件上每幅圖像的平均檢測(cè)時(shí)間約為0.8 s,如果算法轉(zhuǎn)化為C++語(yǔ)言,平均檢測(cè)時(shí)間將大大縮短,加之本文算法中SLIC超像素分割算法占用了大部分計(jì)算時(shí)間,針對(duì)SLIC算法的優(yōu)化,2015年有學(xué)者實(shí)現(xiàn)并行執(zhí)行速度達(dá)250幀/s,這也可以在很大程度上提高算法的執(zhí)行效率。綜上所述,本文算法在實(shí)際應(yīng)用中可以滿足實(shí)時(shí)性需求。

4 結(jié) 語(yǔ)

本文提出一種基于種子超像素生長(zhǎng)的視覺(jué)道路檢測(cè)算法。首先,對(duì)圖像進(jìn)行形態(tài)學(xué)處理去除結(jié)構(gòu)化道路上的車道線信息,然后,將RGB顏色空間轉(zhuǎn)換為HSV顏色空間,并對(duì)原圖像進(jìn)行超像素分割。最后,計(jì)算各超像素塊和選取的種子像素塊之間的歸一化直方圖距離,繼而將其作為準(zhǔn)則進(jìn)行種子超像素生長(zhǎng),并結(jié)合先驗(yàn)知識(shí)完成基于視覺(jué)的道路檢測(cè)。在KITTI測(cè)試集上的實(shí)驗(yàn)結(jié)果表明,本文道路檢測(cè)算法在不同道路場(chǎng)景下準(zhǔn)確率超過(guò)86.36%,召回率超過(guò)86.62%,在算法以C++作為開(kāi)發(fā)語(yǔ)言的前提下,可以滿足實(shí)際應(yīng)用中的魯棒性、準(zhǔn)確性及實(shí)時(shí)性需求。