基于光流法的快速車(chē)道線識(shí)別算法研究

(北京工業(yè)大學(xué) 信息學(xué)部，北京 100124)

0 引言

隨著科技逐步發(fā)展，越來(lái)越多的學(xué)者開(kāi)始關(guān)注和研究無(wú)人駕駛。在眾多車(chē)載傳感器中，攝像頭由于低成本、低功耗、包含豐富的色彩信息而備受關(guān)注，并被廣泛應(yīng)用于車(chē)道線、道路標(biāo)識(shí)、機(jī)動(dòng)車(chē)輛和行人等參數(shù)的識(shí)別和跟蹤上。

車(chē)道線識(shí)別的方法主要有Hough變換方法和基于道路模型方法等。He/Rong等人[1]使用Canny算子進(jìn)行邊緣檢測(cè)，配合Hough變換方法進(jìn)行車(chē)道線檢測(cè)，時(shí)間復(fù)雜度較高；Wang/Wu等人[2]使用預(yù)處理、ROI提取的方法，并結(jié)合Hough變換和隨機(jī)Hough變換進(jìn)行檢測(cè)，提高了處理效率。以上兩種方法使用Hough變換，通過(guò)空間映射方法解決直線檢測(cè)問(wèn)題，因而上述兩種算法在檢測(cè)曲線道路時(shí)會(huì)丟失部分道路信息，例如前方道路的轉(zhuǎn)彎信息、車(chē)道曲率等。

Yu/Zhang等人[3]在近場(chǎng)地使用線性方程擬合，在遠(yuǎn)場(chǎng)地使用拋物線方程擬合，并使用車(chē)道方向計(jì)算車(chē)輛偏離距離，算法在噪聲和陰影情況下性能較好，但是該方法需要良好的車(chē)道線邊緣特征作為前提，且因無(wú)全局約束而易受到噪音影響。

我們使用復(fù)合算子增強(qiáng)道路邊緣特征的檢測(cè)性能，通過(guò)約束條件減少噪音干擾，最后引入光流算法來(lái)改善車(chē)道識(shí)別算法的效率。光流算法通過(guò)對(duì)關(guān)鍵特征點(diǎn)的位置估計(jì)，光流法能夠滿足運(yùn)動(dòng)物體檢測(cè)、目標(biāo)跟蹤等任務(wù)需求，廣泛應(yīng)用于運(yùn)動(dòng)檢測(cè)[4-7]、物件切割[8]、碰撞時(shí)間與物體膨脹的計(jì)算[9-12]、運(yùn)動(dòng)補(bǔ)償編碼[13-15]等方面。

本文介紹基于光流算法的快速車(chē)道線識(shí)別方法，使用透視變換和多項(xiàng)式擬合等進(jìn)行識(shí)別，通過(guò)引入光流方法對(duì)車(chē)道線范圍進(jìn)行動(dòng)態(tài)預(yù)估，從而縮小感興趣區(qū)域、降低車(chē)道線識(shí)別的算法復(fù)雜度。另外，增加了車(chē)道線種類(lèi)識(shí)別算法，能區(qū)分不同種類(lèi)的車(chē)道線。最后，我們通過(guò)進(jìn)行實(shí)車(chē)實(shí)驗(yàn)驗(yàn)證了所提算法的實(shí)時(shí)性與有效性。

1 圖像預(yù)處理

1.1 圖像畸變校正

由于攝像機(jī)透鏡在制造以及組裝過(guò)程中會(huì)存在偏差，引入畸變，導(dǎo)致原始圖像失真。因此使用過(guò)程中，我們需要對(duì)采集到的圖像進(jìn)行校正。

我們事先使用攝像頭從20個(gè)不同角度拍攝棋盤(pán)標(biāo)定圖像，然后通過(guò)逐張分析標(biāo)定圖像，提取其中的標(biāo)定板內(nèi)角點(diǎn)，據(jù)此計(jì)算攝像頭的校正內(nèi)參矩陣。

在進(jìn)行車(chē)道線識(shí)別時(shí)，我們首先使用校正矩陣對(duì)采集到的圖像進(jìn)行畸變校正，得到畸變校正后的圖像，然后進(jìn)行后續(xù)處理。

1.2 圖像的邊緣檢測(cè)

圖像邊緣檢測(cè)中常用算子有Canny算子，Sobel算子，Laplacian算子等。其中Sobel[16]算子是一個(gè)經(jīng)常用于提取圖像邊緣信息的離散微分算子，使用Sobel算子可產(chǎn)生梯度矢量及其法矢量。我們?cè)诤罄m(xù)檢測(cè)圖像邊緣信息時(shí)主要使用Sobel算子進(jìn)行操作。

Sobel算子包含兩個(gè)卷積內(nèi)核矩陣，分別為水平方向和豎直方向內(nèi)核，卷積內(nèi)核大小為奇數(shù)。將圖像和兩個(gè)內(nèi)核矩陣作卷積操作，即可得到橫縱向的亮度差分近似值。當(dāng)內(nèi)核大小為3時(shí)，計(jì)算過(guò)程如式(1)～(2)所示。

(1)

(2)

其中:Gx和Gy分別為水平方向和豎直方向邊緣檢測(cè)的圖像，*為平面卷積操作，A為原始圖像。

計(jì)算Sobel算子的幅值和梯度方向過(guò)程如式(3)～(4)所示。

(3)

(4)

其中:G和θ分別為像素點(diǎn)對(duì)應(yīng)的幅值和梯度方向。

2 基于光流的快速車(chē)道線識(shí)別方法

2.1 快速識(shí)別算法概述

使用復(fù)合算子的二值化過(guò)程能夠捕捉到更多的車(chē)道線細(xì)節(jié)信息，在結(jié)構(gòu)化道路場(chǎng)景下，能夠較準(zhǔn)確地?cái)M合出車(chē)道線方程。然而，由于算法使用了多種算子，車(chē)道線檢測(cè)算法的復(fù)雜度較高，實(shí)時(shí)性差，無(wú)法滿足ADAS和無(wú)人駕駛場(chǎng)景下對(duì)車(chē)道線檢測(cè)的實(shí)時(shí)性要求。為此，我們需要改進(jìn)算法時(shí)間復(fù)雜度，提升實(shí)時(shí)性能。

加速車(chē)道線識(shí)別的方法有增加線性約束條件、縮小感興趣區(qū)域等方法。然而增加線性約束條件的方法硬性縮小了檢測(cè)區(qū)域，對(duì)車(chē)輛跨越車(chē)道線等情況可能存在漏檢誤檢的情況；縮小感興趣區(qū)域的方法，為保證檢測(cè)效果縮小后的興趣區(qū)域仍然過(guò)大。

為此，本文提出一種利用視頻幀的連續(xù)性，通過(guò)光流法動(dòng)態(tài)預(yù)估車(chē)道線范圍的方法，能夠動(dòng)態(tài)調(diào)整檢測(cè)的感興趣區(qū)域，提升車(chē)道線識(shí)別的實(shí)時(shí)性。算法的結(jié)構(gòu)框圖如圖1所示。

圖1 改進(jìn)后算法流程圖

2.2 光流估計(jì)方法及動(dòng)態(tài)ROI選取

2.2.1 光流算法原理

光流法是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性來(lái)找到上一幀跟當(dāng)前幀之間關(guān)鍵特征點(diǎn)存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間物體的運(yùn)動(dòng)信息的一種方法[17]。通過(guò)對(duì)關(guān)鍵特征點(diǎn)的位置估計(jì)，光流法能夠滿足運(yùn)動(dòng)物體檢測(cè)、目標(biāo)跟蹤等任務(wù)需求。

使用L-K光流算法的主要步驟如下：

1)添加新的特征點(diǎn)；

2)L-K光流估計(jì)；

3)特征點(diǎn)的篩選。

其中，L-K光流估計(jì)是算法中的主要部分。在灰度不變假設(shè)的前提下，t時(shí)刻位于(x,y)處的像素，設(shè)t+dt的位置為(x+dx,y+dy)，依假設(shè)條件有：

I(x+dx,y+dy,t+dt)=I(x,y,t)

(5)

對(duì)左邊進(jìn)行泰勒展開(kāi)，有：

I(x+dx,y+dy,t+dt)≈

(6)

依據(jù)假設(shè)條件，有：

(7)

整理得到：

(8)

不妨記：

(9)

寫(xiě)成矩陣形式有：

(10)

這是一個(gè)帶有兩個(gè)變量的一次方程，只有一個(gè)點(diǎn)是無(wú)法計(jì)算u和v。

L-K的做法是假設(shè)某一個(gè)窗口內(nèi)的像素具有相同的運(yùn)動(dòng)。假設(shè)窗口大小為w*w, 則有w2個(gè)像素，所以共有w2個(gè)方程：

(11)

(12)

則方程可變?yōu)椋?/p>

(13)

這是一個(gè)超定線性方程，采用最小二乘解：

(14)

即可得到u和v。

2.2.2 使用光流動(dòng)態(tài)選取ROI

在上一幀視頻車(chē)道線成功檢測(cè)的情況下，首先使用L-K光流法對(duì)視頻幀進(jìn)行光流估計(jì)，在篩選后獲得跟蹤狀態(tài)良好的前后視頻幀坐標(biāo)點(diǎn)，并對(duì)左右兩部分坐標(biāo)點(diǎn)分別進(jìn)行分析，得出前方背景的相對(duì)運(yùn)動(dòng)估計(jì)。主要算法步驟如下：

1)針對(duì)左右兩組坐標(biāo)點(diǎn)，分別對(duì)坐標(biāo)點(diǎn)位移矢量使用DBSCAN聚類(lèi)算法，剔除前景像素，得到主要背景坐標(biāo)點(diǎn)；

2)使用加權(quán)均值方法，求解前方背景圖像的相對(duì)位移矢量，計(jì)算公式如式(15)所示：

(15)

4)在感興趣區(qū)域內(nèi)進(jìn)行圖像二值化、透視變換、車(chē)道線像素點(diǎn)查找與曲線擬合。

同時(shí)，對(duì)加速檢測(cè)步驟增加判定條件，當(dāng)出現(xiàn)像素點(diǎn)少于設(shè)定閾值或擬合曲線的曲率和范圍超出閾值范圍時(shí)認(rèn)為檢測(cè)失敗，使用全局的車(chē)道線檢測(cè)算法進(jìn)行車(chē)道線查找。

對(duì)車(chē)道線預(yù)估的效果如圖2所示。

圖2 車(chē)道線預(yù)估效果

可以看出，預(yù)估車(chē)道線位置接近于實(shí)際的車(chē)道線位置，實(shí)際測(cè)試中二者相差±15像素。據(jù)此作為車(chē)道線提取的動(dòng)態(tài)感興趣區(qū)域，可明顯縮小后續(xù)處理的算法速度。

2.3 圖像多重二值化算法

由于使用單一算子的算法容易丟失部分細(xì)節(jié)信息，我們對(duì)校正后的圖像分別使用以下四種算子進(jìn)行灰度化處理，綜合多種算子能夠有效減少細(xì)節(jié)丟失：

1)水平方向Sobel算子灰度化;

2)Sobel算子幅值灰度化;

3)Sobel算子的梯度方向灰度化;

4)HLS空間中S通道灰度化。

其中HSL色彩模型是工業(yè)界的一種顏色標(biāo)準(zhǔn)。HSL即色相(Hue)、飽和度(Saturation)、亮度(Lightness)，又稱HSL。其中的S通道(飽和度通道)易于將黃色及白色車(chē)道線與周?chē)渌实谋尘皥D像進(jìn)行區(qū)分。

灰度化處理后，我們通過(guò)加權(quán)方法得到綜合的灰度圖并進(jìn)行二值化處理，得到應(yīng)用復(fù)合算子的二值化圖像。

2.4 透視變換及車(chē)道線擬合

2.4.1 透視變換

通過(guò)透視變換，將圖像轉(zhuǎn)換成鳥(niǎo)瞰圖，方便進(jìn)行曲線擬合得到車(chē)道線方程。而且，該變換后得到的車(chē)道線方程更接近車(chē)輛坐標(biāo)系下的車(chē)道線方程，易于計(jì)算其他相關(guān)參數(shù)和輔助車(chē)輛進(jìn)行自動(dòng)駕駛。透視變換的目標(biāo)主要聚焦車(chē)輛左右的兩條車(chē)道線上。

2.4.2 車(chē)道線像素點(diǎn)的查找

在經(jīng)透視變換得到的鳥(niǎo)瞰圖上查找車(chē)道線像素點(diǎn)，查找的主要步驟如下：

1)計(jì)算下半部分圖像的直方圖，并統(tǒng)計(jì)直方圖在左右兩側(cè)的峰值位置；

2)將圖像水平切分為9等份，在底部切片中使用兩個(gè)切片等高、200像素寬的矩形滑動(dòng)窗口，覆蓋直方圖左右峰值位置；

3)自底向上移動(dòng)滑動(dòng)窗口，依次尋找各個(gè)切片中的車(chē)道線像素點(diǎn)，并重新定位上切片中滑動(dòng)矩形的中心；

經(jīng)過(guò)查找，我們獲得了左右兩組車(chē)道線像素點(diǎn)。

2.4.3 車(chē)道線擬合

對(duì)左右兩組車(chē)道線像素點(diǎn)，分別使用最小二乘法進(jìn)行二階多項(xiàng)式擬合，得到透視變換下的車(chē)道線方程。

最小二乘法是指按“殘差平方和最小”原則選取擬合曲線的方法，常用于解決曲線擬合或函數(shù)逼近問(wèn)題。最小二乘法即找到一組φ(x)，使:

(16)

最小。其中xi和yi為第i橫向、縱向觀測(cè)值，φ(x)為曲線的近似函數(shù)。

針對(duì)φ(x)為代數(shù)多項(xiàng)式，即:

φ(x)=a0+a1x+a2x2+…+anxn

(17)

的情況，根據(jù)多元函數(shù)極值必要條件求解，將結(jié)果寫(xiě)成矩陣形式為公式(18)。

(18)

通過(guò)對(duì)鳥(niǎo)瞰圖下車(chē)道線像素點(diǎn)的分析，二階多項(xiàng)式能夠很好地?cái)M合車(chē)道線。因此，在擬合過(guò)程中我們使用二階多項(xiàng)式進(jìn)行擬合，當(dāng)n=2時(shí)，φ(x)多項(xiàng)式為：

φ(x)=a0+a1x+a2x2

(19)

此時(shí)式(18)變?yōu)槭?20)：

(20)

將查找到的像素點(diǎn)帶入式(20)，從而解出二階多項(xiàng)式的系數(shù)a0、a1和a2。

2.5 車(chē)道線種類(lèi)識(shí)別

在車(chē)道線擬合過(guò)程中，我們已經(jīng)獲得了車(chē)道線像素點(diǎn)的像素信息，我們通過(guò)對(duì)這些像素信息進(jìn)行處理，對(duì)車(chē)道線種類(lèi)進(jìn)行分類(lèi)。

首先，分別計(jì)算左右兩側(cè)的車(chē)道線像素點(diǎn)的Y軸方向直方圖，根據(jù)直方圖的統(tǒng)計(jì)方差將車(chē)道線分類(lèi)為實(shí)線和虛線；然后利用像素點(diǎn)圖像的BGR通道求均值，可劃分黃色和白色車(chē)道線。

算法識(shí)別后將種類(lèi)信息標(biāo)注到圖片上方，識(shí)別效果如圖3所示。

圖3 車(chē)道線種類(lèi)識(shí)別效果

經(jīng)過(guò)測(cè)試，識(shí)別算法能良好的識(shí)別結(jié)構(gòu)化道路場(chǎng)景下的車(chē)道線種類(lèi)。

3 算法效果驗(yàn)證

3.1 算法效果對(duì)比

算法各個(gè)步驟的實(shí)際效果如圖4所示。

圖4 實(shí)際效果

為驗(yàn)證改進(jìn)算法效果，我們?cè)诓煌直媛氏路謩e統(tǒng)計(jì)了算法改進(jìn)前后算法復(fù)雜度對(duì)比。

表1 1280*720分辨率下算法復(fù)雜度對(duì)比

表2 720*480分辨率下算法復(fù)雜度對(duì)比

表3 480*320分辨率下算法復(fù)雜度對(duì)比

由于算法使用車(chē)道線預(yù)測(cè)的方法進(jìn)行動(dòng)態(tài)加速，未改變曲線擬合等算法，進(jìn)行加速后的算法對(duì)于車(chē)道線檢測(cè)的效果和原始算法無(wú)明顯變化。

在未明顯降低準(zhǔn)確率的前提下，改進(jìn)算法主要加速了圖像二值化步驟的復(fù)雜度，顯著提升了二值化的速度，另外由于縮小了感興趣區(qū)域，也加快了像素點(diǎn)查找的速度。

3.2 實(shí)驗(yàn)條件及平臺(tái)

本文利用的實(shí)驗(yàn)平臺(tái)是名為BJUT-IV(Beijing University of Technology Intelligent Vehicle)的自主研發(fā)無(wú)人駕駛車(chē)，在車(chē)輛的前方頂部正中的位置安裝攝像頭來(lái)采集實(shí)驗(yàn)數(shù)據(jù)。攝像頭選用FonHoo公司的鏡王系列CCD產(chǎn)品，配備1.2大光圈和6 mm固定焦距的鏡頭，可提供多種分辨率輸出，具有良好的色彩還原能力和穩(wěn)定性。

圖5 實(shí)驗(yàn)實(shí)際場(chǎng)景圖

3.3 實(shí)驗(yàn)實(shí)驗(yàn)結(jié)果

算法能良好的識(shí)別測(cè)試道路中的車(chē)道線。在攝像頭采集圖像為640*480分辨率下，算法單幀識(shí)別耗時(shí)63 ms，識(shí)別速度為15.87 fps，達(dá)到了車(chē)道線識(shí)別的實(shí)時(shí)性要求。實(shí)驗(yàn)效果如圖6所示。

圖6 車(chē)道線預(yù)估效果

4 結(jié)束語(yǔ)

提出的快速車(chē)道線加速識(shí)別算法，在車(chē)道線檢測(cè)中，利用連續(xù)視頻幀之間的時(shí)間相關(guān)性，通過(guò)光流方法檢測(cè)車(chē)輛前方背景的相對(duì)移動(dòng)，對(duì)下一幀中車(chē)道線的位置進(jìn)行動(dòng)態(tài)ROI選取，這種方法能夠有效縮短車(chē)道線識(shí)別的時(shí)間消耗。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，提出的算法可以有效的感知無(wú)人駕駛車(chē)輛前方的信息，為無(wú)人駕駛決策層提供有效信息，同時(shí)也提高了無(wú)人駕駛車(chē)的安全性。