武 超,毛建國,沈 峘,繆小冬,凌 銳
(南京航空航天大學能源與動力學院,南京 210016)
道路交通標志中含有對車輛行駛安全十分重要的信息,因此針對交通標志的檢測技術成為目前很熱門的一個研究領域[1]。各國的交通法規中對交通標志的標準都有嚴格的限定,例如美國交通部于2003年發布統一的交通控制裝置手冊(MUTCD),手冊詳細規定了交通標志的分類、材料、顏色、形狀、尺寸、安裝位置等信息[2]。在我國交通標志標準中也有相關的規定[3],例如:紅色圓形表示禁止和限制標志,黃色三角形表示警告標志,藍色矩形(或圓形)表示指示指路標志等。這就為利用視覺傳感器進行交通標志的檢測提供了可能。
目前,國內外研究人員已經提出了一些交通標志檢測方法,主要基于顏色和形狀檢測。顏色檢測,通過針對特定的交通標志顏色(紅、黃、藍、綠、黑等)進行閾值提取來檢測交通標志[4-5]。形狀檢測,通過對特殊形狀的圖形利用模板匹配、霍夫變換等方法提取交通標志的輪廓特征,從而檢測交通標志的位置[6-7]。
顏色分割通常在檢測標志的初期是最經常使用的方法,這主要是因為交通標志具有特殊的顏色特征。但由于相機在成像過程中可能會受到光照條件的影響,因此往往把圖像從RGB空間變換到HSI空間上。從這方面考慮,我們可以利用顏色信息進行交通標志的初期篩選,將具有特殊顏色特征的物體提取出來,這樣可以為下一步的形狀檢測減少運算量。
相對于顏色特征受光照影響很大,交通標志的形狀特征由于不受光照強度影響并且不會隨時間推移而變化,因此基于形狀的交通標志檢測技術已經引起了人們的重視。目前的檢測方法主要是利用霍夫變換進行直線和圓的檢測。文獻[6,8]提出了一種基于霍夫變換的檢測方法,可以用于檢測圓形和三角形交通標志。首先利用Canny算子對灰度圖像進行邊緣檢測,得到圖像輪廓。然后利用鏈碼技術找到圖像中封閉的區域,對該區域內的輪廓線進行霍夫變換,通過將圖像從直角坐標系轉換到極坐標系,可以檢測到圓形及三角形。文獻[9]提出了基于Sobel相分析原理進行矩形和三角形交通標志的檢測方法。該方法基于Sobel邊緣和霍夫圖像來進行形狀檢測。首先利用Sobel算子進行濾波處理,然后通過分析Sobel邊緣的相分布來檢測每種形狀的區別性特征,不同形狀的Sobel邊緣由于具有不同的相峰值和相角分布,因此可以彼此區別開。文獻[10]提出了一種利用模板的方法來匹配圖像邊緣進行檢測的方法,該方法應用最近距離特征變換來平滑匹配空間,同時為避免使用大量模板,該方法利用分級模板,這樣可以提高算法效率。但該算法的計算量依然很大,并且不適合用于閉環系統。文獻[11]對目前已有的平面圖像的對稱性檢測進行了綜述,根據所采用數學思想的不同,對稱性檢測方法主要可分為模板匹配法、優化搜索法、統計方法、曲線微分法等,并比較了這些算法的優缺點。模板匹配法只能檢測反射對稱的圖像,優化搜索法可以同時檢測反射對稱和旋轉對稱的圖像,但這2種方法都要求對稱圖像點精確對稱,對噪聲比較敏感。由于物體在成像、數字化以及邊緣檢測等處理過程中會產生很多誤差,因此這些方法并不適用圖像的對稱性檢測。
本文針對現有的交通標志檢測方法進行分析,提出了一種新的基于徑向對稱性的交通標志檢測方法,它可以顯著地減少運算復雜度,提高交通標志檢測的準確率和實時性。
形狀是描述圖像的一個重要特征。很多待檢測目標由于具有特殊的形狀而區別于其他物體。因此形狀特征在某種程度上要比顏色特征高一個層次,特殊的形狀往往具有特殊的語義含義。本文就利用形狀中的對稱性這一特征對交通標志進行檢查。對稱性是很多人造物體區別于自然物體的特征,在計算機視覺等領域是一個重要的研究課題。通過對稱性檢測可以排除自然場景中很多非對稱性物體的干擾,例如樹木、藍天、雜草等。因而根據物體的對稱性可以快速確定物體的相對位置關系,從而顯著提高算法實時性,將注意力集中于人造物體上。
從對于人的視覺機理研究可知,人類總會優先注意具有對稱性的物體[12-13]。因此研究對稱性可以為人類視覺感知目標提供線索,從而指導后期視覺的目標檢測、特征提取和目標識別等環節。根據幾何變換理論,對稱性可分為基本對稱和廣義對稱2類?;緦ΨQ包括反射對稱和旋轉對稱,它可以通過它的直線對稱軸來表征;廣義對稱包括扭對稱和點對稱,扭對稱是基本對稱在某種扭曲變形下的狀態,點對稱是基本對稱在目標局部的表現。
若某圖形關于若干條直線具有反射不變性,則稱該目標是反射對稱的,這些直線稱為反射對稱軸。若用極坐標f(ρ,α)來表示圖像,并且假設圖像中心位于坐標原點處。存在一條直線l,它經過原點并且和x軸夾角為φ,使得對某一個角α,有:

則稱該圖形關于直線l為反射對稱,其中直線l為對稱軸。常見的等腰三角形、人臉等都屬于反射對稱。
若某圖形關于繞其質心旋轉一定的角度之后,與原圖形重合,則稱該目標是旋轉對稱的。同樣用極坐標f(ρ,α)來表示圖像,并且假設圖像中心位于坐標原點處,如果有:

其中 i=0,1,2,…,k -1,則稱該圖像為 k 次旋轉對稱圖像,過原點并且和x軸夾角為的直線稱為旋轉對稱軸。常見的旋轉對稱圖形如圓形(有無數條旋轉對稱軸)、橢圓(有2條旋轉對稱軸)等。
點對稱是基本對稱圖形在目標局部的表現,此時圖形不是關于直線對稱,而是關于某一點對稱,即對稱軸是點。當目標輪廓上存在至少2個點到目標內部的一個點的距離相等時,則目標在該內部點處具有點反射對稱,所有這樣的內部點的集合就構成了目標的骨架。
本文主要關注基本旋轉對稱和點對稱。由于對稱性的圖形具有中心,因此可以通過求出圖形邊緣點的梯度來尋找圖形的中心。本文將這種可以通過邊緣點的梯度乘以某一尺度半徑值來尋找中心的圖形稱為徑向對稱性圖形。
徑向對稱是在圖形具有中心的前提下,通過求圖形邊緣的梯度方向和大小來尋找圖形的中心,從而找到具有徑向對稱的圖形。對于一個給定的具有中心的圖像f(x,y),其邊緣上各點(x,y)的梯度由式(3)決定。

從式(3)可以看出,梯度向量指向坐標(x,y)的f的最大變化率方向。該梯度向量的大小為

這個量給出了在梯度方向上每增加單位距離后f(x,y)值增大的最大變化率。
梯度向量的方向也是一個很重要的量,令α(x,y)表示向量▽f位于坐標(x,y)處的方向角,則可以得到:

該角度是以x軸為基準度量的,由其定義可知邊緣在(x,y)處的方向與此點的梯度向量的方向是垂直的。
本文提出的基于徑向對稱性的交通標志檢測方法簡述如下:首先將彩色圖像轉換為灰度圖像,利用Sobel算子對待檢測的圖像進行邊緣檢測,提取圖像中的邊緣信息。然后在灰度圖像上求出邊緣上各點的梯度方向和大小。按照所需檢測的圖形的尺度不同,在邊緣上各點的梯度方向上乘以固定的半徑即可將潛在的中心位置進行加權。最后,找到權值最高的點即為圖形的中心。由于針對不同的半徑會有不同的檢測結果,因此需要在不同的半徑下檢測不同尺度形狀的交通標志。
徑向對稱性檢測的主要目的是找到圖形的中心,由于利用梯度方向和大小對中心進行加權,可以通過檢測圖像的邊緣減少計算量。首先將彩色圖像(如圖1)變換為灰度圖像。然后,在灰度圖像中對那些幅值小于閾值(通常取圖像最大梯度幅值的5%)的像素,可以設置為零,同時將其他非零像素正規化。

圖1 待檢測圖像
邊緣是圖像中亮度變化的地方,基于圖像亮度值的不連續性可以分割出圖像的邊緣信息。本文利用Sobel算子進行邊緣檢測,所使用的Sobel算子為

提取圖像中的邊緣信息如圖2所示。

圖2 邊緣檢測后圖像
將第2步中所檢測到的圖像邊緣點坐標標記于灰度圖像中。求出灰度圖像邊緣中對應的每一點的梯度大小和方向。然后根據檢測任務的不同,選取不同的尺度半徑R。尺度半徑R表示每一個點對自己梯度方向上距離為R處的權值。注意到由于徑向對稱性的圖形,其邊緣點在乘以某一固定的半徑以后都可以將該圖形的中心進行加強,因此可以找出圖形的中心。而對于非徑向對稱的其他邊緣點,由于其梯度方向雜亂無章,因此乘以該半徑以后并不會對某一固定點進行加強,如圖3所示。圖中較亮的區域即為檢測到的具有徑向對稱性的區域,下一步可以在該區域中尋找圖形的中心。

圖3 梯度大小和方向(R=60)
由于不同的尺度半徑會有不同的檢測結果,因此可以設定交通標志在某一尺度半徑內。如圖4所示,在不同的尺度半徑下所檢測到的不同結果。

圖4 不同尺度半徑下的檢測結果
在上一步中已經找到具有徑向對稱性的圖形區域,對該區域內的點進行統計,找到權值最大的點(如圖5)作為圖形的中心。由于該中心是在尺度半徑為R的尺度下找到的,因此將該中心按照距離為R的點進行擴展即可找到具有徑向對稱性的圖形區域,如圖6所示。

圖7是本算法在不同環境下的實驗結果。包括在城市、高速、鄉村道路環境上,不同的光照條件下所檢測到的交通標志的結果。
通過對不同環境下的實驗結果的分析可以看出,該算法在各種環境下均有較好的準確率。值得注意的是在高速公路環境下(圖7(b)),由于同時存在2個交通標志,因此需通過不同的尺度半徑來檢測不同大小的交通標志(可參考圖4)。
根據本文提出的方法,對300幅真實道路圖像進行了測試(包含431個交通標志),測試結果如表1所示。根據對結果的統計分析,可分為已識別類和未識別類。前者代表圖像中能夠被算法檢測出來的交通標志,后者表示圖像中未能被算法檢測出來的交通標志。并對已識別的類分為正確和虛報2類,即檢測出來的為交通標志的為正確類,檢測出來的并非交通標志的為錯誤類。未識別的類中對汽車行駛有影響而沒被檢測出來的稱為漏檢類,沒有影響并且沒被檢測出來的歸為其他類。

圖7 不同環境下的實驗結果
通過表1的數據統計可以看出,該算法檢測率為84.0%,具有較高的正確識別率,能夠滿足實際要求。但同時也應該注意由于道路場景的復雜性,算法也出現了一部分漏檢(4.2%)和虛報(3.2%)的情況,因此仍需要對算法進行優化。
算法的效率方面,在Intel雙核CPU平臺上,利用Matlab軟件編程實現該算法。對于320×240的圖片處理的時間大約為101 ms,即平均每秒10幀左右。

表1 檢測結果的統計數據
提出了一種基于徑向對稱性的交通標志檢測方法。該方法以尋找徑向對稱性的交通標志為目的,通過圖像預處理、邊緣檢測、求圖像邊緣的梯度大小和方向,將梯度沿梯度方向乘以某一尺度半徑等步驟,以將邊緣點對物體中心的權值進行加強,從而找到物體中心。通過Matlab軟件實現算法,驗證了在不同場景下算法具有較高的準確性和實時性。本文提出的算法僅僅關注于交通標志的檢測階段,并未考慮之后的識別過程。通過形狀檢測對交通標志進行初步分類,可以篩選掉絕對大多數的非人造物體,下一步可以考慮和物體的顏色特征進行結合,從而更好地檢測交通標志。目前該算法的計算速度仍有待提高,需要進一步對算法進行優化。
[1]李舜酩,沈峘,毛建國,等.智能車輛發展及其關鍵技術研究現狀[J].傳感器與微系統,2009,1(4):1 -4.
[2]DOT U S.Manual on uniform traffic control devices(MUTCD)[Z].Washington:D.C,2003.
[3]中華人民共和國國家質量監督檢驗檢疫總局.中國國家標準化管理委員會.GB5768.2-2009道路交通標志[S].北京:中國標準出版社,2009.
[4]Broggi A,Cerri P,Medici P,et al.Real Time Road Signs Recognition[C]//IEEE Intelligent Vehicles Symposium.[S.l.]:[s.n.],2007:981 -986.
[5]Gao X W L,Podladchikova D S.Recognition of traffic signs based on their colour and shape features extracted using human vision models[J].Journal of Visual Communication and Image Representation,2006,14:675 -685.
[6]Garcia-Garrido M A,Sotelo M A,Martm-Gorostiza E.Fast Traffic Sign Detection and Recognition Under Changing Lighting Conditions[C]//IEEE Intelligent Transportation Systems Conference.[S.l.]:ITSC,2006:811 -816.
[7]Moutarde F,Bargeton A,Herbin A,et al.Robust on-vehicle real-time visual detection of American and European speed limit signs with a modular Traffic Signs Recognition system[C]//IEEE Intelligent Vehicles Symposium.[S.l.]:[s.n.],2007:1122 -1126.
[8]張靜,何明一,戴玉超,等.綜合顏色和形狀的圓形交通標志檢測方法[J].計算機工程與應用,2011,47(2):233-236.
[9]Cardarelli E,Medici P,Porta P,et al.Road signs shapes detection based on Sobel phase analysis[C]//IEEE Intelligent Vehicles Symposium.[S.l.]:[s.n.],2009:376-381.
[10]Gavrila D M.A road sign recognition system based on dynamic visual model[C]//Proc 14th Int.Conf.on Pattern Recognition.[S.l.]:[s.n.],1998:16 -20.
[11]吳剛,楊敬安,李道倫,等.平面圖像的對稱性檢測方法研究[J].計算機科學,2001,28(5):101 -106.
[12]Locher P,Nodine C.Symmetry catches the eye[Z].Eye Movements:from physiology to cognition.Elsevier,1987.
[13]Gal Sela,Martin D.Levine.Real-time attention for robotic vision[J].Real-Time Imaging,1997(3):173 -194.