基于ROI和CNN的交通標志識別研究

黃娜君，汪慧蘭，朱強軍，洪名佳

(安徽師范大學 物理與電子信息學院，安徽 蕪湖 241000 )

0 引言

隨著社會經濟的發展，現代交通已經非常發達，交通安全和交通阻塞隨之成了日益嚴重的社會問題，同時也造成了驚人的經濟損失，這使得道路交通問題的解決不得不求助于智能技術?；诖酥悄芙煌ㄏ到y(Intelligent Transportation System ,ITS)這一研究領域迅速發展起來，道路交通標志識別(Traffic Sign Recognition ,TSR) 是ITS領域中難度較大的問題之一?，F今車載系統中，交通標志的提示信息大多通過數字地圖數據獲知，但是該方法只限于作為地圖數據的一部分的道路，而在其他情況下則無法獲知，因此基于視覺交通標志識別系統應運而生，經過幾十年的不斷發展，特別近年來隨著移動互聯網、高性能計算機和智能移動終端的普及，圖像采集設備和處理能力的提高，交通標志識別已經成為實景圖像識別中熱點研究問題。

現今，交通標志識別方法主要有以下兩種。一種是采用“人工特征提取+機器學習”的識別方法，如支持向量機(Support Vector Machine，SVM)、基于淺層神經網絡的特征識別等。這種方法，機器學習僅負責最后特征的分類或識別，而人工通過先驗知識設計的特征好壞，直接影響到整個系統的性能，且復雜的特征提取花費了大量的人力和時間。另一種是近些年發展起來的Deep learning模型，如基于限制波爾茲曼機和卷積神經網絡(Convolutional Neural Network ,CNN)等。其無需構造任何的人工特征，而是直接將圖像像素作為網絡輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程。但整幅圖像作為輸入，由于運動模糊、背景干擾、光照以及交通標志局部遮擋破損等因素的影響，使得網絡的識別率和識別速度往往不高。

針對這一問題，本文采用基于ROI和CNN的方法進行交通標志識別。首先為了消除天氣等因素影響，對獲取的一幅圖像先進行光照均衡化處理；然后，充分利用交通標志的自身特點進行顏色閾值分割，再用MSER算法進行濾除，提取出交通標志所在的感興趣區域(Region of Interest，ROI)；緊接著把分割結果輸入深度卷積神經網絡進行一系列的卷積和池化處理,形成交通標志圖像的特征子圖，將特征子圖轉化成為一維的特征矢量；最后可以通過一個全連接的BP網絡完成一維特征矢量的分類識別，并輸出結果。實驗結果表明本文方法與其他方法相比，對于實景拍攝圖像的識別率和識別速度不高的問題有了明顯的改進。

1 感興趣區域(ROI)的提取

為了提高網絡的識別率和識別速度，對獲取的一幅圖像，首先提取感興趣區域，這樣大大縮小了網絡識別的范圍。

1.1 亮度均衡化

提取交通標志ROI的流程如圖1所示。對于采集來的一幅圖像，為了消除天氣等因素影響，首先要進行光照均衡化處理。本文采用直方圖均衡化的思想。先將采集的RGB圖像轉換為YCbCr顏色模型下；然后對亮度分量Y進行直方圖均衡化處理；最后將處理后的圖像再轉為RGB模型。光照均衡化公式如下：

(1)

式中，Sk為處理后的灰度值，nj為灰度色階j的像素數量，N為圖像像素總和。

圖1 交通標志ROI提取的流程圖

1.2 采用MSER算法進行濾除

根據交通標志顏色特點，光照均衡化處理后，用MSER算法檢測提取交通標志ROI，具有很好的穩定性、仿射不變性和計算高效快捷等特點。

MSER算法的思想是當使用不同的灰度閾值對圖像進行二值化時得到的最穩定的區域。MSER提取過程如下：① 使用一系列灰度閾值對交通標志圖像進行二值化處理；② 對于每個閾值得到的二值圖像，得到相應的黑色區域與白色區域；③ 在比較寬的灰度閾值范圍內保持形狀穩定的區域是MSERs；④ 評判標準： dA/dt。其中A: 二值圖像區域面積，t: 灰度閾值。

通過MSER算法提取MSERs得到交通標志ROI。圖2是給出禁令標志交通標志ROI提取的過程。首先禁令標志是紅色，對紅色進行分割，公式如下：

(2)

在RGB模型下分割結果如圖2(b)所示，再對CA進行膨脹處理，如圖2(c)所示，最后通過MSER算法對圖2(c)單通道圖像進行濾除，得到交通標志ROI如圖2(d)所示。

圖2 檢測提取交通標志ROI

1.3 歸一化處理

將MSER算法濾除后的交通標志ROI提取分割出來，然后利用鄰近插值法將ROI規格化得到固定大小(32*32)的圖像。從機器視覺的角度分析，與顏色相比，形狀或圖形是交通標志識別的關鍵。因此，最后對固定大小的圖像利用最大類間方差將其二值化，得到適合網絡輸入的圖像。

2 交通標志識別

2.1 CNN基本結構

CNN是Deep Learning的一個重要算法，最早是1962年Hubel和Wiesel通過對貓視覺皮層細胞的研究，提出了感受野的概念[12]。其是輸入到輸出的非線性映射，避免了傳統識別算法中復雜的特征提取和數據重建過程，是在空間或時間上的采樣，具有權重共享，減少了權值的數量，降低了計算量、局部區域感知等特點。這種結構類似于生物神經網絡，簡化了網絡模型的復雜度，對輸入數據在空間上和時間上的扭曲，具有很強的魯棒性，在輸入是多維圖像時表現的最為明顯[13]。

根據交通標志圖像的特點，這里的CNN是由一層卷積層接一層池化層后再加一層卷積層與池化層構建而成的網絡結構，通過其對輸入(32*32)的交通標志圖像特征進行提取形成特征子圖，然后把特征子圖全部展開，形成一維的特征子集，最后可以加一個全連接的BP網絡對一維的特征矢量分類識別，并輸出結果，網絡的基本結構如圖3 所示。

圖3 CNN網絡的基本結構圖

2.2 網絡訓練

要實現交通標志ROI的識別，首先要對網絡進行訓練，主要的過程是通過前向傳遞與反向傳播的交替，反復調整權值和閾值，直到達到訓練次數或要求的收斂條件為止。

具體步驟如下：

① 首先，要建立訓練庫，本文通過現實場景拍攝圖像和德國交通標志基準庫(German Traffic Sign Benchmark，GTSDB)共同構成網絡訓練樣本集與測試庫。其中GTSDB是2013年在IJCNN會議上，Stallkamp J 等人針對沒有公開的交通標志數據集問題，提出來的標準的交通標志數據庫[14]，并對2011年提出的GTSRB數據集進行了繼承與優化。

② 然后，充分利用交通標志的自身特點進行顏色閾值分割，再用MSER算法進行濾除，提取出交通標志所在的感興趣區域。

③ 網絡權值和閾值的初始化：利用隨機分布函數將權值W初始化為-1～1之間的隨機數；而將閾值b初始化為0。

④ 網絡訓練與權值和閾值的調整：用訓練樣本集，對CNN進行訓練，將輸出矢量中的元素與目標矢量中的元素進行比較，計算輸出誤差：

δk=(Tk-Yk)Yk(1-Yk)。

(3)

對中間層的隱單元也計算誤差：

(4)

卷積層的權值和閾值的導數：

(5)

(6)

再依次調整權值和閾值，公式如下：

(7)

Wij(k+1)=Wij(k)+ΔWij(k+1) ，

(8)

(9)

bj(k+1)=bj(k)+Δbj(k+1)，

(10)

式中，k表示迭代次數；ΔWij、Δbj分別表示權值和閾值的調整值；Wij、bj分別表示權值和閾值調整后的值；α為學習效率；η為動量因子。

⑤ 判斷指標是否滿足精度要求E≤ε，或訓練已達到預先設定好的最大訓練次數，進行下一步；否則，返回步驟④。其中E為總誤差，ε表示精度要求。

2.3 網絡測試

網絡訓練好以后，用GTSDB數據集與現實場景拍攝的大量圖像組成測試庫，然對庫中圖像進行歸一化處理，得到適合網絡輸入標準的圖像，然后網絡測試參數配置，最后進行測試，輸出結果。

3 結果分析

為了驗證本文基于ROI和卷積神經網絡交通標志識別方法的有效性，將提出的方法在現實場景拍攝和GTSDB數據集上進行了一系列的實驗。充分利用CNN的海量學習能力，選取了GTSDB數據集中850張和現實場景拍攝的150張，共1 000張圖像作為訓練庫，對網絡進行訓練；再在GTSDB數據集中取150張和現實場景拍攝的50張，包含運動模糊、背景干擾、光照以及交通標志局部遮擋破損等不同情況和同一環境由遠及近等圖像，對網絡進行測試，如圖4所示。

圖4 測試樣本集截選

每個樣本通過顏色和MSER算法提取交通標志ROI，再利用鄰近插值法將ROI規格化，最后將固定大小的交通標志ROI二值化得到適合網絡輸入的標準圖像。

實驗中基于相同的數據集，分別對SVM方法、傳統的整幅圖直接輸入CNN的方法以及本文基于ROI和CNN的交通標志識別方法進行了訓練和測試，測試結果如表1所示。

表1 測試結果識別率/%

名稱SVMCNNROI-CNNGTSDB數據集95．7397．1297．27現實場景拍攝85．0160．5899．81平均識別率90．3778．8598．54

由表1可見，本文的ROI-CNN交通標志識別方法識別率最高，平均為98.54%，在GTSDB數據集上97.27%，在現實場景拍攝的識別率為99.81%；SVM識別方法，平均識別率為90.37%，現實場景拍攝的識別率不是很高,只有85.01%，且需要復雜的特征提取和數據重建過程；傳統CNN識別的方法在GTSDB數據集上略高于SVM識別方法，為97.12%，但是在復雜背景干擾的現實場景拍攝的數據集下識別率僅有60.58%。ROI-CNN的識別結果如圖5所示，在運動模糊、背景干擾、光照以及交通標志局部遮擋破損等因素的干擾下，其仍然有很好的識別結果。因此，ROI-CNN的方法無論是現實場景拍攝下的，還是在GTSDB數據集上的識別率都是最高的，特別適用于復雜背景干擾的現實場景圖像，驗證了基于ROI和CNN交通標志識別方法具有更好的識別與分類的能力。

圖5 識別結果

算法方面對比分析，在SVM方法中，機器學習模型僅負責特征的分類，前期需要復雜的HOG特征提取和數據重建過程，特征設計的好壞直接影響到整個系統的性能。而CNN是輸入到輸出的非線性映射，無需復雜的特征提取和數據重建過程，具有海量學習能力，權值共享，由多層特征卷積、池化、局部響應歸一化以及產生億萬級參數來表達特征，這些都是任意傳統特征提取方法所不能及的，且這種網絡結構對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性，對輸入數據在空間上和時間上的扭曲有很強的魯棒性[15]。但是直接一整幅圖像作為輸入，由于存在復雜的背景干擾，需要花費大量的時間進行學習，且識別率往往不高，如表1所示。鑒于此，再次驗證了基于改進卷積神經網絡交通標志識別方法是較優的。

由圖6可見，batchsize為10，學習率為1，隨著迭代的進行誤差不斷變小。傳統的把整幅圖作為CNN輸入的交通標志識別方法迭代100次，收斂的速度才趨于平緩如圖6(a)所示，耗時較長，需359.083 s；本文基于ROI和CNN交通標志識別的方法40次迭代就有很好的收斂效果，耗時只需144.955 s。由此可以看出，本文方法提高了交通標志識別速度。

圖6 CNN與ROI-CNN結果對比

4 結束語

針對采集過程中由于運動模糊、背景干擾、光照以及交通標志局部遮擋破損等因素影響交通標志識別的現狀，采取檢測提取ROI作為CNN輸入，實現交通標志的識別。并在現實場景拍攝與GTSDB數據集所組成的樣本庫上，分別對SVM方法、傳統的CNN方法以及本文基于ROI和CNN交通標志識別方法進行了一系列的訓練與測試。實驗結果表明利用本文方法，耗時最短、準確率最高，平均識別率能達到98.54%。為了使其具有廣泛的適應性，研制一個能夠在移動客戶端上進行實時監測的系統是下一階段的工作重點。

[1] Zhao N,Yuan J B,Han XU.Survey on Intelligent Transportation System[J].Computer Science,2014,28(1):1-5.

[2] Juan Zhicai,CAO Wenjing.Study on Driver Traffic Signs Comprehension Basedon Cognitive Psychology [J].China Safety Science Journal,2005,15 (8):8-11.

[3] Gudigar A,Chokkadi S,Raghavendra U .A Review on Automatic Detection and Recognition of Traffic Sign[J].Multimedia Tools and Applications,2016,75(1):333-364.

[4] 鄭文貴，李向云.1996-2003年全國交通事故傷害的時間序列分析[J].中國衛生事業管理,2006,22(2)：105-107.

[5] Wang Xiaogang.Deep Learning in Image Recognition [J].Communications of the CCF,2015,11(8): 15-23.

[6] Saha S K,Dulal C M ,Bhuiyan A A.Neural Network Based Sign Recognition [J].International Journal of Computer Application,2012,50 (5) :35-41.

[7] Yuan Xue,Guo Jiaqi,Hao Xiaoli,et al.Traffic Sign Detection Via Graph-based Ranking and Segmentation Algorithms [J].IEEE Traffic on Systems,Man,and Cybernetics: Systems,2015,45 (12) : 1509-1521.

[8] Schmidhuber J.Deep Learning in Neural Networks: An Overview[J].Neural Networks,2014,61(9):85-117.

[9] He K M,Zhang X Y,Ren S Q,et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.

[10] Matas J,Chum O,Urban M,et al.Robust Wide-baseline Stereo from Maximally Stable Extremal Regions [J].Image and Vision Computing,2004,22 (10) : 761-767.

[11] Greenhalgh J,Mirmehdi M.Real-Time Detection and Recognition of Road Traffic Signs [J].IEEE Transactions on Intelligent Transportation Systems,2012 ,13 (4) :1498-1506.

[12] Seokwoo Jung,Unghui Lee,Jiwon Jung,et al.Real-time Traffic Sign Recognition System with Deep Convolutional Neural Network[C]∥Xian: 2016 13th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI),2016：31-34.

[13] Hossain M S,Hyder Z.Traffic Road Sign Detection and Recognition for Automotive Vehicles [J].International Journal of Computer Applications,2015,120 (24) :10-15.

[14] Houben S,Stallkamp J,Salmen J,et al.Detection of Traffic Signs in Real-world Images: The German Traffic Sign Detection Benchmark[C]∥ International Joint Conference on Neural Networks.IEEE,2014:1-8.

[15] Szegedy C,Liu Wei,Jia Yangqing,et al.Going Deeper with Convolutions[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition.New York,2015: 1-9.