形狀標記圖和Gabor小波的交通標志識別

谷明琴，蔡自興，何芬芬

(中南大學信息科學與工程學院，湖南長沙 410083)

形狀標記圖和Gabor小波的交通標志識別

谷明琴，蔡自興，何芬芬

(中南大學信息科學與工程學院，湖南長沙 410083)

交通標志識別為智能車輛行駛提供了有價值的道路環境信息.提出一種結合形狀標記圖和Gabor波的交通標志識別方法，交通標志識別過程如下:1)變換圖像的RGB像素值來增強交通標志主特征顏色(紅，藍，黃)區域并進行分割，用形態學操作消除噪聲點的影響;2)提取感興趣區域的標記圖作為其形狀特征，用Euclidean距離來對其進行初分類;3)對交通標志感興趣區域的灰度圖像進行Gabor小波變換，獲得其不同角度和尺度的小波圖像，用二維獨立分量分析法提取其主特征，并送入線性支持向量機來判斷感興趣區域所屬的交通標志類型.實驗結果表明，提出的算法能夠穩定、有效地檢測和識別智能車輛行駛環境中的多類交通標志.

交通標志識別;標記圖;Gabor小波;支持向量機

近年來，智能車輛研究受到越來越多的重視.2007年美國國防部高級計劃研究署(Defense Advanced Research Projects Agency，DARPA)舉辦了智能車輛城市挑戰賽，期間智能車輛僅依靠傳感和視覺系統成功完成了道路環境的感知.在我國，2009和2010年由國家自然科學基金委組織的未來挑戰智能車比賽在西安成功舉行，比賽包括靜態和動態交通標志的檢測與識別.可見交通標志的檢測與識別是智能車輛研究的一個重要研究方向.

從20世紀80年代開始，國內外研究人員提出了多種交通標志檢測和識別算法.檢測算法通常在不同的顏色空間中對交通標志圖像進行分割，獲得感興趣區域，然后用形狀特征對其進行檢測.所用到的顏色空間主要有 RGB、HSV、HIS、YCbCr、CIECAM97、IHLS等.而對交通標志感興趣區域形狀判別的方法有:利用圖像邊緣信息進行Hough變換［1］能夠較精確地獲得交通標志區域，但該方法計算復雜度較高且占用較大的內存資源，實時性較差.文獻［2－4］使用快速徑向對稱檢測算子，對光照變化和遮擋具有一定的魯棒性，但只能對圓形交通標志進行檢測.文獻［5］利用自組織映射算法，以及文獻［6］用感興趣區域的邊緣到邊界距離作為形狀識別的特征，分別檢測交通標志.文獻［7］用快速傅里葉變換的絕對值作為形狀識別特征，對旋轉、縮放、遮擋、投影形變和噪聲等有較好的魯棒性，但計算復雜度高;文獻［8］用擴展的 FOSTS(foveal system for traffic signs)模型、人類視覺行為模型來提取形狀特征.文獻［9］使用模糊推理方法生成檢測窗口來檢測交通標志，時間復雜度較高.Qin等［10］利用邊緣到邊界的分割塊特征獲取候選區域的形狀信息，通過顏色幾何模型和基于徑向基函數核的支持向量機分別進行粗分類和細分類.Xie等［11］利用方向梯度特征直方圖和支持向量機算法搜索交通標志顯著性區域內的交通標志目標.

在交通標志識別方面，A.Ruta等［12］利用關鍵局部特征和顏色距離變換來進行交通標志識別.J.F.Khan等［13］用Gabor濾波提取與亮度和顏色相關的穩定局部特征點與模板庫進行匹配.Bahlmann等［14］針對幾種簡單的圓形標志采用Harr小波特征和 AdaBoost分類器進行識別.M.Meuter等［3］用粒子濾波器來跟蹤多目標，融合每一幀的分類結果，最終由推理系統選擇給駕駛員提供哪個標志的信息.K.H.Lim等［9］用基于李雅普諾夫穩定性理論的徑向基函數神經網絡進行分類.

本文提出在原始圖像上進行顏色分割，獲取交通標志感興趣區域，以形狀標記圖作為交通標志的形狀分類特征，對交通標志進行初分類.識別算法則選擇了Gabor小波、二維獨立分量分析(2DICA)、線性支持向量機(SVM)的綜合處理技術，實驗結果表明該算法能夠穩定、有效地檢測和識別智能車輛行駛環境中存在的多類交通標志.

1 交通標志檢測

我國的交通標志一般如圖1所示［15］.

圖1 交通標志的分層遞階結構Fig.1 Hierarchical structure of traffic signs

1.1 交通標志顏色分割

圖像RGB顏色空間的顏色值隨亮度和飽和度變化較大，很難直接對其應用閾值選擇算法分割出期望的圖像區域.因此，本文對RGB空間的每個像素v=［vR，vG，vB］進行如下變換:

式中:S=vR+vG+vB為RGB通道顏色值之和.通過該變換，每種交通標志的特征顏色只用一個閾值便可將其與周圍環境分開，即:

式中:c∈{red，blue，yellow}，(x，y)為像素點坐標，閾值thresholdc隨交通標志的不同顏色而定.分割后，可得對應交通標志的3種特征顏色(如圖2所示的3幅二值圖像).從圖2中可以看出，顏色分割后的二值圖像會有較多的噪聲點，將影響后續的交通標志形狀分類和識別.因此采用二值圖像的腐蝕及膨脹形態學操作，消除干擾的噪聲點，并恢復交通標志區域的大小.

圖2 顏色分割圖Fig.2 Color-based segmentation image

對3種不同特征顏色分割后的二值圖像，標記面積大于Tarea的小區域 Regioni，c，i∈{1，2，…，N}，送入感興趣區域形狀分類處理中，判斷形狀是否符合交通標志.

1.2 興趣區域形狀分類

為了能對獲得的感興趣區域進行形狀分類，首先要建立交通標志的形狀:圓形、倒等邊三角形、八角形、矩形、正等邊三角形的模板數據庫.

本文選用標記圖作為交通標志形狀分類特征.標記圖是形狀邊界的一維表達，以重心到邊界的距離作為角度的函數來描述形狀的特征，不同形狀的標記圖如圖3所示.

圖3 形狀的標記圖Fig.3 Signature of sharp

為了獲得形狀的標記圖特征，首先提取形狀的順時針邊界，記為(xi，yi)，i=1，2，…，Num.求取其重心:

然后把邊界序列(xi，yi)轉換到以重心為原點的坐標系中，得到新邊界序列:

將邊界序列點到重心原點的半徑作為其與正向水平軸夾角的函數，進而獲得一個半徑隨角度變化的序列 ri(θ)，θ∈［0，2π］.對其進行歸一化處理:

式(1)即可以度量向量v1、v2之間的差異程度.向量間的相似性隨Euclidean距離的增大而降低.

為了獲得形狀的特征庫，把形狀模板庫中的二值圖像用雙線性插值算法歸一化為30×30的圖像，然后用上述形狀標記圖特征提取算法提取其特征.考慮到形狀的邊界點數量不同，各模板的特征數也不一致.因此需用插值算法把每個模板的特征序列長度變為360，可進而得到不同形狀類的特征集合ˉris(θ)，i=1，2，…，SampleNums，其中 SampleNums是形狀類中模板個數，s∈{圓形、倒等邊三角形、八角形、矩形、正等邊三角形}，用于不同顏色通道中的感興趣區域形狀的分類.

圖4 2個交通標志形狀的標記圖Fig.4 Signature of two traffic signs shapes

對不同顏色通道中感興趣區域重構后的二值圖像，查找其連通區域，記為 ConnRegionj，c，j=1，2，…，RegionNum，c∈{red，blue，yellow}.并用提取形狀特征數據庫中特征相同的方法提取ComRegionj，c的形狀標記圖，記特征為(θ).由圖1的分層遞階結構可知，紅色通道中的感興趣區域形狀特征(θ)只需與(θ)(s∈{圓形，倒等邊三角形，八角形})進行比較;黃色通道中的感興趣區域形狀特征(θ)只需與(θ)，s∈{正等邊三角形，矩形}進行比較;而藍色通道中的感興趣區域形狀特征(θ)只需與(θ)，s∈{圓形，矩形}進行比較.進而通過式(2)求取感興趣區域形狀特征(θ) 與對應樣本庫特征(θ) 之間的最小Euclidean距離:

完成上述操作后，對形狀類別進行判斷:

式中:s是EDmin值對應的標志形狀類別.若EDmin大于距離閾值DisTheshold，則判斷此區域為非交通標志區域，可以過濾掉該區域;反之認為其形狀屬于s類.

2 交通標志識別

由圖1的分層遞階結構，建立紅色圓形、紅色倒等邊三角形、紅色八邊形、藍色圓形、藍色矩形、黃色矩形、黃色正等邊三角形7類32種交通標志的模板庫.

對獲得的感興趣區域和模板庫中的交通標志圖像用二維Gabor小波變換，獲得其不同方向和尺度的小波圖像，然后用二維獨立分量分析(2DICA)［16］提取其小波圖像的主特征，用線性支持向量機離線訓練各類特征庫，在線分類感興趣區域的交通標志.

2.1 交通標志特征提取

二維Gabor小波核函數定義為

式中:i為復數算子;σ為小波濾波器的帶寬，一般取σ=2π;kj為小波矢量，其不同取值構成了小波簇中不同的小波函數，kj=kv(cosj，sinj)T，表示小波的不同核頻率，在本文中取v=0，1，…，5;φ表示小波方向，每種核頻率的小波可進一步衍生出6個不同方向的小波，其中

這樣定義了一個6×6的Gabor小波簇與交通標志灰度圖像進行卷積，可獲得6個方向，6個尺度共36幅小波圖像.

首先把獲取的彩色圖像轉換為灰度圖像，并用雙線性插值法把灰度圖像歸一化為30×30大小.然后用二維Gabor小波變換，獲取6個方向6個尺度的36幅Gabor小波圖像.由于這些圖像較多，冗余信息量大，為了降低計算的復雜度，用降采樣方法采集Gabor小波圖像的主要信息，作為二維獨立分量分析算法的輸入信息.

對每類交通標志，用二維獨立分量分析(2DICA)離線提取其小波圖像主特征作為特征庫.在交通標志實時識別中，對檢測到的交通標志感興趣區域的小波圖像提取其主特征.

2.2 交通標志分類

在交通標志實時識別時，把提取的交通標志感興趣區域特征送入對應的支持向量機中進行分類，得到感興趣區域的交通標志類別.

支持向量機首先要對特征庫2類之間進行分離，訓練數據集記為{xi，yi}，其中，i=1，2，…，l，yi∈{ －1，1}，xi∈Rd.向量xi是2DICA 算法提取的圖像特征，yi對一類為1，另一類為－1，d是向量xi的維數，l是訓練樣本數量.如果用超平面(w，b)來分離2類，超平面上的點滿足〈x·w〉+b=0，b/‖w‖ 是從原點到超平面的垂直距離，‖w‖是歐式空間的2－范數.在可分的2類中，對任意的i，均滿足約束條件:

滿足式(1)的點可求得w、b的尺度因子.這些落點在2個超平面H1∶＜xi·w＞+b=1和H2∶＜xi·w＞+b=－1.2個數據集的間隔可簡化為2/‖w‖，2個數據集最大間隔可由‖w‖2/2的最小化獲得.引入正拉格朗日乘子ai，i=1，2，…，l.目標函數的最小化值為

得到了優化函數，就可確定測試向量在超平面的哪一邊.系統的判別函數為

3 實驗結果與分析

試驗選擇在校內一條帶轉彎的路上，每隔30 m擺放一個交通標志.車速為30 km/h，用車載攝像機以15幀/s的速率，采集包括禁令、警告、指示和限速的32種交通標志在不同天氣和光照條件下的視頻圖像.對交通標志進行檢測和識別，結果如表1所示，本文算法可以有效地檢測和識別交通標志，檢測率和檢測率均達到95%以上，明顯地優于文獻［6］的算法.

圖5為試驗中3段視頻的交通標志的識別結果.每行圖像對應不同的視頻序列，識別結果顯示在圖像的左上角.從中可以看出，本文算法能夠有效地識別出多種交通標志.

圖5 3段視頻中交通標志的識別結果Fig.5 Recognition results of traffic signs in 3 videos

表1 交通標志實時檢測率和識別率Table 1 Detection and recognition rate of traffic signs %

4 結束語

本文提出一種用于智能車輛行駛中感知交通標志信息的算法.首先對獲取的圖像用顏色分割和形態學操作獲得交通標志的感興趣區域，并提取其標記圖作為形狀特征，用Euclidean距離來對候選交通標志進行初分類.在交通標志識別中，結合Gabor小波和二維獨立分量分析法提取交通標志感興趣區域的主特征，用線性支持向量機來分類交通標志.在不同天氣、光照等情況下，采集了包括禁令、警告、指示和限速等32種交通標志視頻圖像，并用本文算法來檢測和識別交通標志，檢測率和識別率均在95%以上，說明該算法能夠有效地檢測和識別交通標志.

［1］GARC I A，GARRIDO M，SOTELO M.Fast road sign detection using Hough transform for assisted driving of road vehicles［C］//Computer Aided Systems Theory—EUROCAST 2005.Las Paimas de Gran Canaria，Spain，2005:543－548.

［2］BARNES N，ZELINSKY A，FLETCHER L S.Real－time speed sign detection using the radial symmetry detector［J］.IEEE Transactions on Intelligent Transportation Systems，2008，9(2):322－332.

［3］MEUTER M，MULLER S S，NUNNY C，et al.Decision fusion and reasoning for traffic sign recognition［C］//The International IEEE Conference on Intelligent Transportation Systems，Funchal，Portugal，2010:324 －329.

［4］LIU Wei，LIU Yujie，YU Hongfei，et al.Real－time speed limit sign detection and recognition from image sequences［C］//Artificial Intelligence and Computational Intelligence(AICI).Sanya，China，2010，1:262－267.

［5］PRIETO M S，ALLEN A R.Using self－organising maps in the detection and recognition of road signs［J］.Image and Vision Computing，2009，27(6):673－683.

［6］MALDONADO－BASCON S，LAFUENTE－ARROYO S，GILJIMENEZ P，et al.Road－sign detection and recognition based on support vector machines［J］.IEEE Transactions on Intelligent Transportation Systems，2007，8(2):264－278.

［7］GIL J E，NEZ P，BASC O N S M，et al.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2－D homographies［J］.Signal Processing，2008，88(12):2943－2955.

［8］GAO X W，PODLADCHIKOVA L，SHAPOSHNIKOV D，et al.Recognition of traffic signs based on their colour and shape features extracted using human vision models［J］.Journal of Visual Communication and Image Representation，2006，17(4):675－685.

［9］LIM K H，SENG K P，ANG L M.Intra color－shape classification for traffic sign recognition［C］//2010 International Computer Symposium(ICS).Tainan，China，2010:642－647.

［10］QIN Fei，FANG Bin，ZHAO Hengjun.Traffic sign segmentation and recognition in scene images［C］//2010 International Conference on Artificial Intelligence and Computational Intelligence(AICI).Chongqing，China，2010:262－267.

［11］XIE Yuan，LIU Lifeng，LI Cuihua，et al.Unifying visual saliency with HOG feature learning for traffic sign detection［C］//IntelligentVehiclesSymposium，2009 IEEE.Xi’an，China，2009:24－29.

［12］RUTA A，LI Y，LIU X.Robust class similarity measure for traffic sign recognition［J］.IEEE Transactions on Intelligent Transportation Systems，2010，11(4):846－855.

［13］KONCAR A，JANBN H，HALGAMUGE S.Gabor wavelet similarity maps for optimising hierarchical road sign classifiers［J］.Pattern Recognition Letters，2007，28(2):260－267.

［14］BAHLMANN C，ZHU Y，RAMESH V，et al.A system for traffic sign detection，tracking，and recognition using color，shape，and motion information［C］//Proceedings on Intelligent Vehicles Symposium 2005.Las Vegas，USA，2005:255－260.

［15］GB 5768.2.道路交通標志和標線［S］.北京:中國國家標準化管理員會，2009.

［16］楊福生，洪波著.獨立分量分析的原理與應用［M］.北京:清華大學出版社，2006:33－46.

谷明琴，女，1981年生，博士研究生，主要研究方向為圖像處理、模式識別.

蔡自興，男，1938年生，教授，博士生導師，國際導航與運動控制科學院院士、中國自動化學會理事.主要研究方向為人工智能、機器人、智能控制，發表學術論文500余篇.

何芬芬，女，1987年生，碩士研究生，主要研究方向為圖像處理、模式識別.

Traffic sign recognition based on shape signature and Gabor wavelets

GU Mingqin，CAI Zixing，HE Fenfen
(School of Information Science and Engineering，Central South University，Changsha 410083，China)

Traffic sign recognition provides valuable information on road conditions for intelligent vehicles.The traffic sign recognition process was outlined as follows:1)The main colors of traffic signs were enhanced by transforming the RGB pixel values of the image and then segmented by a threshold.Noise points of the binary image were filtered by morphological image processing.2)The signature of the region of interest(RoI)was extracted as a shape feature，and the shape of the RoI was primarily classified by Euclidean distance.3)The gray images of traffic signs was transformed into various orientations and scale wavelet images by the Gabor wavelet，and the main features were extracted by a 2－dimensional independent component analysis(2DICA)algorithm while the linear support vector machine was applied to judge the type of traffic signs.Experimental results show that the proposed algorithm may stably and effectively detect and identify the roadside traffic signs.

traffic sign recognition;signature;Gabor wavelet;support vector machine

TP391

A

1673－4785(2011)06－0526－05

10.3969/j.issn.1673－4785.2011.06.008

2011－08－15.

國家自然科學基金資助項目(90820302，60805027);國家博士點基金資助項目(200805330005);湖南省院士基金資助項目(20010FJ4030).

谷明琴.E－mail:gu_mingqin@hotmail.com.