基于SIFT和SSDA特征匹配的實時車道線檢測

呂亞運,郎 朗,楊會成

(安徽工程大學安徽省電氣傳動與控制重點實驗室,安徽蕪湖 241000)

基于SIFT和SSDA特征匹配的實時車道線檢測

呂亞運,郎 朗?,楊會成

(安徽工程大學安徽省電氣傳動與控制重點實驗室,安徽蕪湖 241000)

車道線檢測是智能交通系統研究的一個重要方向．提出了一種基于SIFT和SSDA特征匹配的車道線檢測算法．首先通過改進Sobel算子來提取車道線邊緣特征,并設置感興趣區域(ROI)縮小范圍,然后進一步提取車道線特征點并通過Hough算法擬合成直線,接著采用SIFT算法提取影像關鍵點并進行初次匹配,最后運用SSDA算法進行影像精匹配,從而融合成完整車道線影像．結果表明,采用改進Sobel算子可以提取到更多的車道線資訊;而采用SSDA算法,比傳統NCC算法匹配精度更高,實時性進一步提高．

車道線檢測;SIFT;圖像匹配;SSDA

近年來,由于交通事故的頻發,人們對行車安全的關注度越來越高．研究人員開始研究一種駕駛輔助系統來提高駕駛安全性——IVSS(Intelligent Vehicle Safety System智能行駛安全系統)．IVSS通常通過在車輛上裝載影像處理系統或者感測系統提升駕駛人員行車安全．例如,使用傳感器實現偏移警示功能,或者通過鏡頭拍攝道路影像處理技術,實現車道線檢測功能來降低交通事故發生．車道線的偏移檢測占據IVSS中一個重要方面．在前人的研究中,文獻[1-4]采用設定閾值或者建立車道線特征模型來檢測．文獻[5]根據車道線梯度分布特征來提取車道線特征．文獻[6]根據影像顏色層次劃分生成描述子來跟蹤車道線標志．文獻[8-9]是通過確定尺度不變的關鍵點來得到特征鮮明的圖像．前人對車道線檢測算法大部分都是基于單目視覺進行,但單目攝像頭無法采集更多的車道線資訊,并且對于雙目視覺甚至多個攝像頭綜合采集后的影像融合問題沒有解決．文章提出的算法就是為了解決基于雙目視覺影像融合的問題,從而得到更多的車道線檢測結果．

提出了一種基于SIFT和SSDA特征匹配的車道線檢測算法,通過雙目鏡頭采集到的實時影像,經過改進Sobel算子過濾后,對其設置ROI．然后,通過車道線顏色和頻率等特征進一步篩選車道線,并通過Hough轉換擬合成直線．接著,通過SIFT算法生成特征描述子并對雙目影像粗匹配．最后,采用SSDA進行精匹配,將兩路影像融合成完整車道線影像,并通過嵌入式硬件系統輸出顯示．系統算法軟件流程圖如圖1所示．

1 車道線特征檢測

1．1 改進的Sobel算子

車道線檢測過程中,邊緣的提取是一個重要過程．經典Sobel 90°算子如圖2所示．考慮到車道線檢測的實時性,改進的Sobel主要目的是為了優化運算速度以及提取更多的車道線資訊,Sobel算子改進后如圖3所示．由圖3可知其運算流程為:如果A、B、C、E全不為0,且D和E不全為0時,fE(x,y)＝255,其中,fE(x,y)是影像中E點對應的像素值．改進后的Sobel算子中的元素不再是單一不變的值,取代的是一定范圍內的變量,這可以檢測到更多的車道線資訊．

Sobel算子改進前后處理影像對比圖如圖4所示．由圖4可知,經過改進后的Sobel處理可以得到更完整的車道線資訊．

1．2 提取車道線特征點

攝像角度固定時,在車道線出現的范圍內設置ROI(region of interest),ROI設置范圍如圖5所示．利用ROI范圍的像素和車道線固有像素對比,將符合車道線像素特征的提取出來．同時,設置車道線出現頻率閾值,要根據車道線顏色出現頻率來選定．

對于彎道車道線,除了顏色和頻率,可以將其分解成無數個一定斜率的小直線,由公式Δy＝mΔx＋b,設定斜率m的閾值,根據閾值條件來進一步篩選車道線．車道線特征點提取示意圖如圖6所示．由圖6可知,黑色圓圈區域表示不符合車道線顏色范圍,白色圓圈區域表示符合車道線出現頻率的顏色．因此,無論是直線車道或者彎道,只要符合所設置車道線特征的都可以被提取出來．

1．3 車道線擬合

車道線特征點檢測出來后,需要將其不斷擬合成直線以實現車道線追蹤功能．由于車道線檢測過程是在嵌入式系統中實現的,為了減少大量的浮點運算,這里采用基于搜查表計算方式的Hough轉換擬合車道線．同時,采用影像前后關聯的方法,即當前缺失的影像可由前一幀影像替代．經過Hough擬合后的車道線影像如圖7、圖8所示．

2 SIFT特征提取

尺度不變特征變換匹配算法(Scale Invariant Feature Transform-SIFT)是通過取得尺度空間中的極值點來檢測和描述圖像特征的算法,這些特征對其位置、尺度和旋轉都保持不變．

2．1 尺度空間的極值點檢測

對于一幅二維圖像,設定L(x,y,σ)為原圖像I(x,y)和二維高斯函數G(x,y,σ)的卷積結果．

其中

為了得到尺度空間中穩定的極值點,建立影像的DOG(Difference of Gaussian)金字塔,D(x,y,σ)定義為在參數k作用下高斯函數的差分與原圖像I(x,y)的卷積．

如果一個點與它相鄰的點比較結果是極值,那么該點就作為待匹配的特征點．

2．2 精確極值點的定位

通過DOG金字塔提取的極值點并不穩定,在圖像的邊緣和對比度低的地方依然存在一些不穩定的特征點．

為了剔除低對比度特征點,在尺度空間中,DOG函數的Taylor展開式為:

對其求導得到極值點為:

因而將極值點帶入式(5),只取前兩項得到極值為:

H的特征值α和β代表x和y方向的梯度,

其中,Tr(H)與Det(H)分別表示H的跡與行列式,α和β是H的兩個特征值,令α＝γβ,則

2．3 特征點方向分配

依據影像的局部梯度方向,給每個特征點指定一個基準方向．從而計算出所取特征點(x,y)對應梯度的模值和方向為:

其中,L為所選特征點的各自尺度值．

2．4 特征點描述子的生成

SIFT描述子是基于梯度和方向對圖像局部特征的一種表示．特征點的描述子是依據該特征點鄰域的像素點得到的．在實際計算過程中,為了提高匹配的魯棒性,采用Lowe提出的在特征點尺度空間內4×4的窗口中計算該特征點鄰域8個方向的梯度資訊,共4×4×8＝128維向量表示,隨即生成128維的特征描述子．

經過以上4個步驟,SIFT算法提取出車道線影像的穩定特征點,使得特征點不隨旋轉、光照、噪聲等變化而變化,為后面的影像匹配打好基礎．

3 SIFT特征匹配

3．1 影像特征匹配

提取出車道線影像特征點后,需要對其進行匹配并融合成一張影像．采用歐式最鄰近距離方法,即查找一個特征點在另一張影像最鄰近特征點的距離．理論上,兩張車道線影像之間相同部分具有相同的特征描述子,因而它們之間的歐氏距離最短．SIFT影像特征匹配就是對兩張影像的特征向量進行相似度計算．以歐式距離作為兩張影像中多維向量的相似度衡量標準,對兩個特征點進行匹配．假設兩幅影像特征點對應的n維特征向量分別為:

(a1,a2,a3,…,an)和(b1,b2,b3,…,bn)

則兩特征點間的歐式距離為:

由于圖像遮擋或背景錯亂而出現的誤匹配問題,采用Lowe[7]提出的比較最近鄰距離與次鄰近距離的方法,只有當兩距離比值ratio小于一定閾值時才確認成功匹配．SIFT特征點初次匹配過程如圖9所示．

3．2 SSDA影像精匹配

經過歐式最鄰近距離計算初步匹配后,依然會出現一些誤匹配情況,而且匹配的特征點太多,過于繁雜,運算量也較大,通常結合SIFT采用歸一化互相關算法(NCC)精匹配．NCC是一種經典的匹配算法,通過計算模板圖像和搜索圖像的互相關值確定匹配的程度．但NCC處理精度沒有較大改變,從而采用序貫相似性檢測算法SSDA對影像中的特征點進一步匹配．

待搜索匹配區域為P,大小為M×N,匹配模板為Q,大小為k×k,具體如圖10所示．模板Q疊放在P上的區域為子圖,選取Q左上角位置為基準點,當P中匹配特征點為(u,v)時,子圖則是由點(u,v),(u,v＋K－1),(u＋K－1, v),(u＋K－1,v＋K－1)組成的區域．設定匹配模板的基準點為(i,j),定義匹配誤差值為:

在目標影像和子圖內任取n個點(i1,j1),(i2,j2),…, (in,jn),通過式(14)計算這些點產生的匹配誤差和序列,得到:

將得到的匹配誤差和序列es(u,v,k)與設定好的序列閾值T(k)比較,若es(u,v,k)＞T(k),那么停止計算,并記下此時的k值,然后計算下一個特征點匹配誤差;若es(u,v,k)＜T(k),則繼續計算下一個點的匹配誤差,直到es(u,v,k)＞T(k)或k＝n,并記下此時的k值k．值對應的特征點就是需要的匹配點．經過SSAD精匹配過程及融合后的完整車道線檢測結果如圖11所示．

由于在SSDA算法精匹配過程中,只有子圖和匹配模板對應的像素參與計算,從而不用計算所有特征點對應的匹配誤差,提前停止在誤匹配計算上,相比較NCC算法極大地減少了運算量,在原來基礎上進一步實現車道線影像的匹配．

4 實驗結果

本次車道線檢測及匹配融合過程在嵌入式系統上運行,采用以Cortex A9核心處理器OMPA4460作為嵌入式硬件平臺,所用算法處理解析度為640×480的影像,系統影像實測速度為20 Frame/s．為了達到實時性要求,系統采用被Kudaa加速的C程序與影像解碼器協調,控制系統整體速率．采用SIFT算法提取影像特征點生成描述子,然后通過歐式最鄰近距離計算進行初步匹配,接著運用SSDA算法進行精匹配從而融合為一幀完整車道線影像．傳統的NCC算法精匹配過程如圖12所示．實驗選擇NCC與SSDA算法比較是因為傳統的NCC算法運算量較大,匹配速度慢,無法突顯車道線檢測所需的實時性．由圖11和圖12可知,SSDA特征匹配量較NCC明顯減少許多．將兩種算法分別對直線車道和彎道影像中的特征點匹配結果如表1和表2所示．由數據比較結果可知,SSDA比NCC在匹配率和時間上有明顯優勢．

實驗選取蕪合高速上的一段路,經過10次以上的實際車道線檢測,分別計算得到SSDA與NCC算法對應的匹配精確度與處理時間比較如表3所示．選取前30幀影像計算匹配時間比較如圖13所示．由表3和圖13中兩種算法比較可知,在3種條件綜合干擾下,SSDA匹配精度上提高到了85．67%,匹配時間減少到了0．063 s,因而匹配精度和匹配時間較NCC算法有明顯提高．

表1 SIFT＋NCC算法特征點匹配正確率與時間

表2 SIFT＋SSDA算法特征點匹配正確率與時間

表3 各種條件下算法匹配率與匹配時間比較

5 結論與展望

提出一種基于SIFT和SSDA特征匹配的車道線檢測算法．算法首先對傳統的Sobel 90°算子進行改進,提取車道線邊緣特征,并設置ROI縮小檢測范圍進一步提取車道線特征．然后通過Hough算法擬合為直線．接著采用SIFT算法對兩個攝像頭中的影像進行初次匹配．最后運用SSDA算法精匹配,從而融合成完整的車道線影像．實測結果表明,經過改進后的Sobel算子可以提取更多的車道線資訊,并且SSDA特征匹配方法對比傳統的NCC算法,運算量和效率都有明顯的優越性,精匹配程度得到了進一步優化．當然本算法還存在一些不足,尤其是在車速過快、光照過強情況下,車道線檢測精度及實時性還有待進一步提高,這也是未來進一步研究的方向．

[1] X Shi,B Kong,F Zheng．A new lane detection method based on feature pattern[C]//Image and Signal Processing．2nd International Congress．Tianjin:IEEExplore Libraty,2009:1-5．

[2] H Shen,S Li,F Bo,et al．Intelligent vehicles oriented lane detection approach under bad road scene[C]//Computer and Information Technology．Ninth IEEE International Conference．Tianjin:IEEExplore Libraty,2009:177-182．

[3] Q B Truong,B R Lee,N G Heo,et al．Lane Boundaries Detection Algorithm Using Vector Lane Concept[C]//2008 10th International Conference on Control Automation Robotics&Vision,Hanoi．Tianjin:IEEExplore Libraty,2008: 2 319-2 325．

[4] J Z Wang,Y P Chen,J M Xie,et al．Model-based Lane Detection and Lane Following for Intelligent Vehicles[C]//International Conference on Intelligent Human-Machine Systems and Cybernetics,Nanjing．Tianjin:IEEExplore Libraty, 2010:170-175．

[5] Y J Fan,W G Zhang,X Li,et al．A robust lane boundaries detection algorithm based on gradient distribution features [C]//International Conference on Fuzzy Systems and Knowledge Discovery,Shanghai．Tianjin:IEEExplore Libraty, 2011:1 714-1 718．

[6] Gopalan R,Tsai Hong,Shneier M,et al．A Learning Approach Towards Detection and Tracking of Lane Markings[J]．Intelligent Transportation Systems,2012,13(3):1 088-1 098．

[7] Lowe David G．Object recognition from local scale-invariant features[C]//Proceedings of the International Conference on Computer Vision．Corfu,Greece,Kerkyra．Tianjin:IEEExplore Libraty,1999:1 150-1 157．

[8] Lowe David G．Distinctive image features from scale-invariant keypoints[J]．International Journal of Computer Vision, 2004,60(2):91-110．

[9] Y Xiong,H M Ma．Extraction and application of 3D object SIFT feature[J]．Journal of Image and Graphics,2010, 15(5):814-819．

Real-time lane detection based on the feature matching of SIFT and SSDA

LV Ya-yun,LANG Lang?,YANG Hui-cheng
(Anhui Key Laboratory of Electric Drive and Control,Anhui Polytechnic University,Wuhu 241000,China)

Lane detection is an important research field of intelligent transportation system,and a lane detection algorithm based on the feature matching of SIFT and SSDA is proposed．Firstly,edge features of the lane are extracted by the improved Sobel operator,and the region of interest(ROI)is set to narrow the range．Secondly,the lane feature points are further extracted and a straight line is fitted by Hough algorithm．Thirdly,the SIFT is adopted to extract the key points and do the initial matching．Finally,SSDA is adopted to do further matching and fuse the two images into a complete one．The results show that the improved Sobel operator can extract more lane information．The matching precision is higher than that of the traditional NCC algorithm by SSDA,and the real time is further improved．

lane detection;SIFT;image matching;SSDA

TP391

A

1672-2477(2015)04-0054-08

2015-04-14

安徽省高校自然科學研究重大基金資助項目(KJ2014ZD04)

呂亞運(1990-),男,江蘇南京人,碩士研究生．

郎 朗(1956-),女,安徽蚌埠人,正高級工程師,碩導．