基于動態模板的實時道路跟蹤
2008-12-31 00:00:00李政賀漢根
計算機應用研究 2008年11期
(國防科學技術大學 機電工程與自動化學院 自動化研究所， 長沙 410073)
摘要：
設計了一種基于雙車道的結構模板及其模板匹配度函數，并將它用于單攝像機跟蹤高速公路的道路標志線。在模板初始化成功后，算法在跟蹤階段利用歷史檢測信息動態生成檢測模板，在更小的范圍內保持標志線的跟蹤。算法利用了高速公路車道的整體結構信息進行標志線的檢測和跟蹤。實驗表明，該方法具有較好的魯棒性，并且計算量小，滿足系統的實時性要求。
關鍵詞：模板匹配；道路跟蹤；標志線
中圖分類號：TP2426文獻標志碼：A
文章編號：1001-3695(2008)11-3490-03
Real-time road following based on dynamic template
LI Zheng，HE Han-gen
(Institute of Automation， College of Mechatronic Engineering Automation， National University of Defense Technology， Changsha 410073， China)
Abstract:Projected a kind of template and its evaluation function based on the double-lane structure， which were used to follow the marking line by monocular camera on the highway. In the following phase， the algorithm used the history information to construct the dynamic detection template， and tracked the marking line within a smaller range after the template had been initialized successfully. Because of using the whole structure of highway， the algorithm is robust and low computer costs， and it meets the demand of the real-time system.
Key words:template matching; road following; marking line
隨著科技的發展和生活水平的提高，汽車在生活中越來越普及，但交通運輸問題卻日益嚴峻。為此，智能車輛的概念應運而生。自主駕駛汽車是目前智能車輛的發展主流之一，其中比較成功的有德國慕尼黑國防軍大學的VaMoRs和VaMP系列自主車[1]、美國卡耐基·梅隆大學的Navlab系列自主車[2]、意大利帕爾馬大學的ARGO自主樣車[3，4]以及2005年美國軍方舉行的DARPA挑戰賽上第一個成功到達終點的斯坦福大學的Stanley自主車[5]。前三家科研機構的自主車都是針對結構化道路設計的，均采用計算機視覺導航系統進行道路跟蹤，實現了車輛的自主駕駛。
計算機視覺通過攝像機獲取圖像，并進行圖像處理和模式識別獲取需要的信息。計算機視覺在感知環境時獲取的信息量大，比較接近人的導航機理，駕駛員在行駛過程中得到的信息更是有90%以上來自視覺，計算機視覺也為自主車提供了理解環境所需要的幾乎全部駕駛信息。在自主車的視覺導航系統中，道路跟蹤是視覺導航的基礎。針對標志線的識別和跟蹤，科研人員提出了很多方法。例如將圖像中的道路進行分段處理，近端采用Hough變換進行直線擬合[6]；Wang等人[7]提出了采用B樣條曲線擬合道路的方法；還有的提出了利用道路標志線的特征進行道路實時檢測的算法[8]。但絕大多數算法的研究都集中在當前行車道標志線的表示、檢測和跟蹤等方面，缺乏對整個道路的理解和識別。為了減少噪聲和提高算法的處理速度，算法通常只在車前沒有障礙的道路區域中進行道路的檢測和跟蹤。在自主車進行超車換道行駛時，不僅在車前的道路區域中會出現車輛，而且還會在換道過程中出現標志線的遮擋和車道切換等問題，因此只跟蹤當前車道標志線的檢測算法已經不能滿足系統對道路的感知要求。
為了實現自主車的自主超車，讓系統對當前行駛的道路狀況有完整的理解，本文提出了一種基于雙車道結構的動態模板以及模板匹配度函數。運用動態模板在高速公路感知圖像中進行整個道路的識別，以便自主車在超車換道機動時保持道路的檢測和跟蹤。由于車道標志線檢測是在可變的自然環境下進行的，獲取的圖像信息具有各種噪聲，為了保證自主車高速可靠地行駛，算法還具備了實時性、魯棒性兩個基本要求。
1動態模板的構建
11模板構建原理
在人類對視覺的研究過程中，格式塔學派用完形（gestalt）這個概念（一個整體或者一組整體）和它的完形性質（使得各部分成為一個整體的內在關系集會）作為他們的學術思想的核心。對他們而言，分類就是視覺系統將一幅圖片的某些部分組合在一起并且將它們作為整體感知的傾向。格式塔規則有助于解決真實世界中普遍出現的視覺效果提出的問題。從安裝在自主車上單攝像機獲取的圖像中可知，道路的信息占圖像總信息的一半以上，采用道路整體信息去識別道路標志線具有惟一性，因此算法將具有更強的魯棒性。
目前國內的高速公路除了公路出口或入口的區段，絕大多數區段都是雙車道，所以建立一個雙車道的模板在高速公路上基本適用。而在特殊區段(出口和入口區段)可以作特別的處理。本文主要討論動態模板進行雙車道道路跟蹤的問題。
由透視原理可知，地平面上直線上的點在攝像機圖像中仍保持直線特性，所有的投影點都在一條直線上。而地面上平行線中直線的方向與攝像機光軸同方向，那么遠離攝像機的平行線間距在圖像中的間距要比近端在圖像中的間距小，平行線在圖像中變成一組錐形線，并相交于消失點。因此，高速公路上雙車道區段的三條平行的標志線在圖像中是三條錐形線，并且錐形線間距滿足真實世界同寬間距通過透視投影的寬度約束。
從以上論述可知，假設把道路標志線近似成平行直線表示，可以把高速公路三條標志線的檢測問題轉換為圖像中檢測一組滿足間距約束的三條直線段的檢測問題。算法構建一個由三條直線段組成的模板來檢測道路標志線在圖像中的位置，構成模板的三條直線段滿足路寬透視投影后的間距約束。圖1表示了三直線段模板示意圖。
12雙車道結構模板的表示
如圖1所示，雙車道動態模板由a1、a2、a3三條直線段組成，H為模板高度，單位為像素點。以a2直線段的下端為原點建立模板坐標系，直線段a2在模板坐標系中可以用角度θ表示；L1、L2、L3、L4表示道路路寬約束，而a1和a3可以分別由a2通過L1、L2、L3、L4和H構造得到。
在模板坐標系中，動態模板T可以表示成L1、L2、L3、L4、H和角度θ的方程組，數學表達式如下：
T=f(L1，L2，L3，L4，H，θ)=
a1:H×x+(L1+L3-H×ctgθ)×y-H×L1=0
a2:tg θ×x-y=0
a3:H×x+(L2-L4-H×ctg θ）×y-H×L2=0(1)
13基于路寬約束的模板表示法
Li(i=1，2，3，4)表示的物理對象是真實世界中車道的路寬在圖像中不同位置的長度，它們可以用兩條標志線上的對應點之間的距離來表示。假設路面平坦，道路方向平行于攝像機光軸，真實世界中高速公路的定值路寬，經過透視變換后，在圖像中不同位置的路寬可以表示成圖像中坐標點(i， j)的函數，其表達式為
RL(i， j)=ψ(i， j，M，W)(2)
式中：(i， j)為像素點的坐標，RL表示在圖像中(i， j)處真實世界路寬對應的像素點長度，M為攝像機標定得到3×4的透視投影矩陣，W為真實世界公路的車道的寬度。M對自主車來說是定常數矩陣，W在某種意義下也是一個定值，因此Li(i=1，2，3，4)只與(i， j)相關。
當不考慮徑向畸變時，路寬約束RL只與j相關。不考慮常數，可以建立一個RL關于j的映射數組對應圖像中感興趣區域的每一行。因此在圖像坐標系中，動態模板可以表示成如下形式：
TI（i， j）=F(i， j，H，θ)=a1:H×i+[rl(j)+rl(j+H)-H×ctg θ]×j-H×rl(j)=0
a2:tg θ×i-j=0
a3:H×i+[rl(j)-rl(j+H)-H×ctg θ]×j-H×rl(j)=0(3)
式中：i=i0+x，j=j0+y；(i0，j0)是模板坐標系在圖像坐標系的坐標；TI是模板在圖像坐標系中的數學表達式；rl(j)是一個映射數組，表示路寬在圖像不同位置的間距。
由上式可知，模板可以由參數θ、H和匹配點(i0，j0)動態生成，也只與這些參數有關。
2動態模板匹配算法
21模板匹配度函數
圖2為標志線匹配示意圖。其中（a）表示標志線通過邊緣提取算法可以得到標志線的左右邊緣點。模板匹配時，對模板中a1、a2直線段與標志線的右邊緣點進行匹配，a3與標志線的左邊緣點匹配。這樣匹配的原因是a1和a3直線段分別對應匹配高速公路上最外側的標志線。實驗表明，在進行模板匹配搜索時，公路內側往外搜索標志線邊緣點受到的干擾會少很多。
圖2(b)是模板的其中一條直線段與標志線右邊緣點匹配示意圖。兩條虛線表示模板直線段搜索的范圍，也稱模板匹配的感興趣區域(area of interesting，AOI)，模板在虛線范圍內搜索標志線的右邊緣點。對搜索到的每個邊緣點計算離直線段的距離，使用距離直觀地表示模板的匹配程度。離直線距離遠的邊緣點匹配程度差，距離近的邊緣點匹配程度好，在直線段上點的定義匹配程度最好。由此，直線段的匹配度函數采用距離信息來表示，公式如下：
Pi=1-（1/N）Nk=1（dki/Sw）N＞00N=0(4)
其中dki=|Axxk+Biyk+Ci|/A2i+B2i(i=1，2，3)。式中：Ai、Bi和Ci為直線段ai方程的系數；xk、yk為標志線邊緣點世界坐標系中的坐標值；dki表示第k個邊緣點到直線段ai的距離；N表示在模板匹配范圍內找到的標志線邊緣點個數；Sw表示邊緣點搜索范圍半徑，為圖2(b)中虛線離直線段的距離，作為歸一化參數；Pi表示模板中第i條直線段的匹配度，Pi的取值為0～1。0表示完全不匹配，1表示完全匹配(匹配時只考慮模板平移運動，旋轉運動通過更新模板來實現)。模板匹配度函數可以表示成Pi的函數，公式如下：
MP(i， j)=(P1，P2，P3)=c1P1+c2P2+c3P3(5)
式中MP為(i， j)處的模板匹配度，c1、c2和c3分別為權向量。
22模板匹配的算法步驟
基于動態模板的道路跟蹤算法流程如圖3所示。
a)動態模板的生成。在模板初始化階段，模板的生成參數由系統預設值決定；在初始化成功后，模板的生成參數由上幀檢測結果動態生成。
b)在感興趣區域內，對模板中的直線段a2進行匹配運算，根據匹配度P2判斷是否匹配成功。如果匹配成功，算法進入下一步；否則繼續進行匹配運算。如果整個感興趣區域搜索結束，本幀算法失敗，進行下一幀圖像的處理。
c)在感興趣區域內，對模板中的直線段a1、a3 分別進行匹配運算，根據匹配度P1、P3判斷是否匹配成功。如果匹配成功進入下一步；否則返回b)。
d)根據模板匹配的結果生成三條直線模型的標志線。
e)判斷生成的標志線是否滿足路寬約束。如果不滿足，返回b)。
f)確認標志線，生成標志線參數。本幀算法成功，進行下一幀圖像的處理。
以上是算法的基本步驟，算法充分利用歷史檢測結果和模板的整體信息進行標志線的檢測和跟蹤。下面是關于算法的幾點說明：
a)關于動態模板的生成。算法分模板初始化和道路跟蹤兩個階段。在模板初始化階段，以安裝在自主車上攝像機的標定參數為原始數據生成模板，利用模板進行匹配檢測道路標志線，根據檢測結果判斷標志線是否已經初始化成功。當完成模板初始化后，算法在跟蹤階段使用序列信息，標志線檢測歷史值為參數生成動態模板。其目的有兩個：(a)有了可靠的檢測歷史值后，算法可以縮小模板匹配搜索的范圍，減少計算量、加快算法速度，并減少噪聲的影響；（b）在車輛作換道機動時，標志線在圖像中的位置變化很大，一成不變的原始模板已經不適應標志線檢測的要求了。根據車輛獲取圖像的頻率，相鄰兩幀間標志線的變換是比較平緩的，利用上幀的檢測結果生成動態模板檢測時將會更加準確。同理，由于車輛行駛時攝像機會發生抖動，攝像機外參數將會發生變化，利用檢測歷史值生成的模板更具魯棒性。因為算法在每幀圖像中使用的模板都是根據算法歷史檢測結果動態生成的，將模板稱之為動態模板。
b)模板直線段的匹配順序。算法在進行模板匹配時，并不是三條直線段同時進行匹配。在雙車道高速公路上，一般中間的標志線是虛線，兩條外側標志線是實線。因此在進行模板匹配時，算法首先搜索匹配a2直線段，增加搜索的成功率。
c)標志線的生成方式。在高速公路上，彎道曲率半徑比較大。在彎道時，圖像中標志線的近端也可以近似為直線，因此算法采用直線模型作為標志線模型。當在與直線段匹配的感興趣區域內，邊緣點數N和匹配度Pi分別大于某個閾值時，表明感興趣區域內存在標志線。在感興趣區域內，旋轉和平移直線段，使得Pi最大。當Pi最大時，直線段就是需要尋找的標志線。分別對三條模板直線段進行旋轉和平移，可以得到三條標志線。在完成模板匹配后，為了進一步確認標志線的準確性，利用路寬信息對標志線進行確認，在三條標志線上取點，驗證是否滿足路寬的約束。
3實驗結果
為了驗證此算法，選取了一段20 min的實驗圖像進行道路跟蹤檢測。實驗圖像為長沙繞城高速公路，由安裝在自主車右側攝像機獲取得到，圖像分辨率為1 024×768。圖4(a)~(f)的序列圖像描述了自主車一個完整的典型超車過程。實驗結果顯示，算法在本車超車換道過程中能夠準確地保持對道路的檢測和跟蹤。整個過程自主車有兩次換道動作，從行車道到超車道和從超車道到行車道。其中第471～477幀過程中右外側標志線大部分被車輛遮擋，算法依然保持標志線的信息，對道路進行持續跟蹤。實驗表明，算法對陰影、虛線和標志線污染都有很強的魯棒性。本算法對標志線被遮擋，復雜路面和路面有陰影等情況的干擾下的標志線識別結果如圖5所示。
通過攝像機獲取的圖像大小為1 024×768，算法實際處理區域的大小為1 024×512，在P4 2.4 GHz機器上運算速度是：模板初始化階段10 fps，模板初始化成功后為25 fps。表1中，本算法與同樣識別整個車道信息的PAPRICA系統作了一個簡單性能對比。PAPRICA系統為意大利帕爾馬大學的GOLD視覺導航系統中車道檢測子系統[4]。
表1算法與PAPRICA系統性能對比
算法模型換道遮擋陰影斷裂速度
PAPRICA曲線不能不能能能20
本算法直線能能能能25
4結束語
本文提出了一種新的基于道路結構信息的動態模板算法來檢測跟蹤雙車道高速公路。實驗結果表明，該算法通過動態更新檢測模板，成功地檢測跟蹤在自主車換道過程中變化劇烈的標志線，并利用道路的整體結構信息和歷史檢測結果對被遮擋的標志線保持檢測跟蹤，具備較強的魯棒性。通過對標志線檢測結果的置信評估，縮小了算法的搜索區域，減少了算法的計算量，具備自主車高速行駛和自主超車的實時性要求。
參考文獻：
［1］
GREGOR R，LUTZELER M，PELLKOFER M，et al.EMS-vision:a perceptual system for autonomous vehicles[J].IEEE Trans on Intelligent Transportation Systems，2002，3(1):48-59.
[2]DELLAERT F，POMERLEAU D， THORPE C.Model-based car trac-king integrated with a road， follower[C]//Proc of International Conference on Robotics and Automation.1998:1889-1894.
[3] BROGGI A.A massively parallel approach to real-time vision-based road markings detection[C]//Proc of Intelligent Vehicles Symposium.1995:84-89.
[4]BERTOZZI M，BROGGI A.GOLD:a parallel real-time stereo vision system for generic obstacle and lane detection[J].IEEE Trans on Image Processing，1998，7(1):62-81.
[5]THRUN S，MONTEMERLO M，DAHLKAMP H，et al.Stanley:the robot that won the DARPA grand challenge [J].Journal of Robotics System，2006，23(9):661-692.
[6]JUNG C R，KELBER C R.A robust linear-parabolic model for lane following[C]//Proc of the 17th Brazilian Symposium on Computer Graphics and Image Processing.Washington DC:IEEE Computer Society，2004:72-79.
[7]WANG Yue，TEOH E K，SHEN Ding-gang.Lane detection and trac-king using B-snake[J].Image and Vision Computing，2004，22(4):269-280.
[8]顧潔宇，葉秀清，顧偉康.一種結構化道路的實時檢測算法[J].傳感技術學報，2005，18(3):514-518.
