基于安卓平臺的限速交通標志的檢測和識別

成健，張重陽

?

基于安卓平臺的限速交通標志的檢測和識別

成健，張重陽

利用Android軟硬件平臺，設計并實現了一種融合顏色和形狀特征的實時限速交通標志檢測和識別系統。為了使檢測和識別達到實時精確的標準，參考多種基于顏色和形狀的檢測算法以及分類算法，在檢測階段，選擇在RGBN顏色空間進行分割后再結合本文提出的離心度的幾何不變量進行形狀篩選實現限速標志定位，在識別階段，采用改進的動態閾值多模板匹配算法實現限速標志分類。實驗表明，該檢測和識別算法適用于移動平臺，并且速度快，精度高。

交通標志；目標識別；顏色分割；模板匹配

0 引言

現代交通管理中，駕駛的安全性成為日益重要的目標，限速交通標志的檢測和識別作為其中重要部分，也受到越來越多的關注。限速交通標志可以幫助行駛車輛在特定路段保持安全車速，從而減少和避免交通事故的發生。大量數據顯示，交通事故一半以上是由超速引起的，超速行駛極易引起特大交通事故。因此，研究快速準確的限速交通標志的檢測和識別算法，可以有效降低交通事故率，提高駕駛安全。

為了在自然場景中擁有更好的辨識度，限速交通標志通常被設計成特定的顏色和形狀。因此，限速交通標志的檢測主要有顏色分割方法和形狀檢測方法。顏色是交通標志的主要視覺特征，目前許多限速交通標志檢測方法都是在采用顏色分割的方法進行處理后，再結合其他方法來實現檢測。

閾值分割是顏色分割中最常見的方法，通過在不同的色彩空間將顏色屬性轉化為一系列的值域，設定特定顏色的閾值，進而分割出目標顏色。目前根據所選取的色彩空間的不同，常用的方法主要有：RGB色彩空間閾值分割法[1]，HIS色彩空間閾值分割法[2]和CIE色彩空間閾值分割法[3]。

因為交通標志一般為相對固定的形狀，所以基于形狀的方法在交通標志檢測研究中被廣泛使用。余博等[4]提出利用邊界鏈碼來描述形狀，這種方法雖然計算簡便但是易受噪聲干擾；周封等[5]利用經典Hough變換來檢測圓，但是這種方法計算量較大。

限速交通標志檢測的精確度是后期正確識別的重要保障。目前國內外有關限速交通標志的識別研究已取得較多有效的成果。模板匹配[6]是最簡單直接的識別方法，但是經典的模版匹配方法精度低，計算量大；神經網絡[7]是目前交通標志識別算法研究和應用領域較多采用的方法，具有較好的并行性，容錯性，自學習性等特點，但是泛化性較差，容易陷入維度災難以及局部極小等問題；Ju Y等[8]提出Adboost算法，通過改變樣本數據分布不斷更新樣本權值來實現分類；決策樹[9]是利用樹形結構對一系列問題查詢來進行分類判斷；支持向量機（SVM）[10]是一種基于統計的機器學習方法，該方法從一定程度上解決了維度災難，局部極小值點等問題。

本文針對限速交通標志特征，提出結合顏色和形狀特征的快速檢測算法。為了在有限的計算性能平臺上實現，同時盡可能減少光照的影響，算法首先將圖像進行RGB彩色空間歸一化操作，根據限速交通標志的顏色特征，確定顏色分割閾值，再采用本文提出的基于離心度的快速圓檢測方法，確定限速交通標志位置；然后利用改進的最大邊界圓的方法，提取出數字區域，并使用投影法進行字符分割，通過旋轉投影法進行校正后采用本文改進的基于動態誤差閾值的多模板匹配的方法完成識別。通過對實際場景中采集的圖像進行實驗，證明本文的算法具有較好的效率和準確性。

1 交通標志檢測

自20世紀80年代以來，研究者們提出了多種圓檢測方法，其中應用最廣泛的則是基于Hough變換及其各種改進的方法。目前常用的計算機視覺庫OpenCV中即采用了Hough圓檢測的兩步法——21HT，但是Hough變換的時間消耗和內存空間占用較大，并不適合計算能力有限的手機平臺。因此本文結合限速交通標志的顏色和形狀特征，提出一種基于連通域內點離心度來實現快速圓檢測。

1.1 RGBN顏色分割

將RGB顏色空間轉化到其他HSV等顏色空間的涉及大量非線性運算，而手機平臺的計算能力有限，因此本文在RGBN（RGB歸一化）色彩空間進行運算。通過對RGB顏色空間進行歸一化處理，在某些情況下可以減少一部分由于光照帶來的影響，如公式（1）：

其中R，G，B代表某一像素點的3項分量值，r，g，b分別代表三分量歸一化后的值，紅色的閾值范圍為：（r-g > 0.08）并且（r - b > 0.08）[11]。通過設定紅色閾值分割后，可以首先去除掉非紅色區域，保留紅色區域，其中包含限速交通標志。

1.2 幾何不變量——離心度

通過RGB顏色分割后得到二值圖像，為了避免使用Hough變換產生大量不必要的盲目投票，對于一個閉合輪廓，可以利用一個幾何不變量——離心度來對該輪廓進行形狀類別度量。離心度的定義如公式（2）：

圖1 掃描獲取輪廓邊緣計算離心度

圖2 不同形狀閉合輪廓的計算結果

2 字符分割及校正

2.1 改進的最大邊界圓提取字符

完成圓檢測后，可以得到限速交通標志的所在的圓形區域，其圓心為、半徑為Radius。因為紅色圓形邊框會影響識別，所以需要去除圓形邊框以獲取數字字符區域。傳統的獲取數字字符區域多直接采用水平、垂直投影的方法，這些方法簡單易行，但是經過實驗證明，對于這種數字字符區域被包含在圓形邊框內的情況，其處理效果并不理想。為了解決上述問題，本文提出最大邊界圓的方法來獲取限速交通標志圓環內的字符區域。

Rate表示在該半徑時圓周上黑色像素點所占周長比例，當r 取值令Rate最小，說明該圓即為包含黑色字符的最大圓，如圖3所示：

圖3 最大邊界圓檢測數字區域

最大邊界圓方法提取數字區域，如圖4所示：

圖4 提取數字區域

采用最大邊界圓方法，可以提取出完整的不包含外邊緣的圓形數字區域。

2.2 字符分割

對數字字符進行垂直投影得到左右邊界即為字符區域的水平區域范圍，同理，通過水平投影可以得到垂直區域范圍。投影過程如圖5所示：

圖5 數字區域投影

根據投影結果可以準確提取單個字符。

2.3 字符校正

因為拍攝角度等問題常常造成字符過度旋轉而影響識別效率，因此需要對分割好的字符做旋轉投影校正。

本文采用旋轉圖像進行豎直方向投影的方法檢測數字字符的傾斜角度。根據數字部分的幾何特征，若對數字部分做垂直方向的投影，當投影圖的峰寬最窄時數字區域應該是正置的，此時可以得到旋轉角度即為校正角度。為了保證預處理的效率，并且實際場景下不可能出現太大旋轉角度，本文設定允許的最大傾斜角度為10°，當檢測出來的校正角度小于5°時則取消校正處理，這樣可以避免不必要的運算。投影法具有很好的魯棒性、較快的檢測速度和準確度。

對檢測結果灰度化，如圖6所示：

圖6（a） 圖6（b） 圖6（c） 圖（d）

如圖6（a）；采用最大邊界圓方法提取出數字區域并二值化，如圖6（b）；再使用投影方法分割字符，如圖6（c）；最后通過豎直旋轉投影方法完成字符校正并歸一化至模板尺寸，如圖6（d）。

3 改進的動態誤差閾值多模板匹配

由于Android移動平臺計算能力有限，為了保證算法在Android平臺上的識別效率，本文提出改進的基于動態誤差閾值的多模板匹配算法。因為待處理的字符均為數字，字符集確定且不大，所以本文對傳統的模板匹配算法在速度和識別率上進行改進，采用多模板匹配的方法提高識別的準確率；同時運用誤差閾值篩選方法，將與待識別圖像差異較大的字符模板排除在運算之外，提高識別速度。

3.1 多模板匹配

由于待識別字符種類有限，因此可以針對每個字符建立多個模板，既能保證原有字符的特征，又可以使同一字符在不同模板中具有代表性差異。通過對同一字符建立不同模板，模板字符的特征區域被適當地進行了擴大和增強，字符的識別率也相應提高。通過在多模板加入不同輕微旋轉角度和斷裂的模板，有效避免了由于旋轉校正或者預處理誤差帶來的誤識別。部分模板圖像如圖7所示：

圖7 模板庫部分圖像

3.2 動態誤差閾值

多模板匹配的方法主要是針對部分模糊不清，輕微斷裂或者沾粘的字符，通過使用增加模板庫的方法，提高識別的準確性。采用基于動態誤差閾值的方法將與待識別字符特征差別較大的模板排除，減少模板匹配的次數，從而減少了模板匹配整體的消耗時間。

本文采用的基于動態誤差閾值方法運算過程為：假定模板庫中有N個模板，創建一個全局誤差閾值和臨時識別結果R，將預處理過的待識別圖像與字符模板（k = 0,1,2…N）陸續進行匹配，在與模板進行逐個像素點比較結束前，如果當前累計誤差>,就立即停止該模板的運算，繼續下一個模板的匹配；如果在模板上的像素點匹配結束后<, 那就將的值賦給，并將識別結果R指向，重復操作，直到完成所有模板的計算。則最后的識別結果即為R所指向的模板對應的數值。同時，為了減少在收斂前的大量不必要運算，本文將初始化為0.4。

該算法流程如圖8所示：

圖8 動態誤差閾值多模板匹配

圖8中m，n為模板的長和寬。

該改進的基于動態誤差閾值多模板匹配方法充分利用動態閾值，減少了大量不必要的運算，快速準確地找到匹配目標，提升了識別效率。

4 系統實現及實驗結果

4.1 系統實現

本文針對實際場景的圖像進行限速交通標志的檢測和識別功能，硬件條件為索尼Z Ultra智能手機，配備高通801處理器，2GB內存。系統實現過程如下：

1）輸入圖像的裁剪，降采樣等預處理；

2）基于顏色特征，在RGBN色彩空間分割感興趣區域；

3）基于圓形特征，采用本文提出的離心度方法確定限速交通標志位置；

4）基于改進的最大邊界圓方法提取字符區域，采用投影方法精確分割字符的分割并完成校正；

5）采用改進的動態誤差閾值的多模板匹配方法完成識別。

將獲取的圖像進行裁剪等預處理后，通過RGB顏色空間的分割和幾何形狀特征，通過基于連通域內點離心度的快速圓檢測算法對限速交通標志進行定位。對限速交通標志檢測過程如圖9所示：

（a）相機采集原圖裁剪并降采樣

（b）基于顏色分割

（c）基于離心度的圓檢測

確定限速交通標志位置后，即將檢測結果顯示在軟件UI界面上，在完成識別后，顯示識別結果。具體實現結果如圖10所示：

圖10 軟件運行界面

4.2實驗結果

4.2.1檢測實驗

與付琰等[12]改進的Hough變換的快速圓檢測方法相比，對500張960*540圖像進行檢測實驗。對比實驗結果如表1所示：

表1 檢測實驗結果對比

從實驗結果可以看出，本文算法比改進的Hough算法檢測速度提升28.13%，并且正確率也高出1.40%。當圖像中包含多個待判定形狀時，本文算法優勢更加明顯。

4.2.2 識別實驗

與谷明琴等[13]采用的模板匹配算法相比，對500張40*40包含500個限速交通標志的圖像，進行識別實驗，對比實驗結果如表2所示：

表2 識別實驗結果對比

本文提出動態誤差閾值多模板匹配方法中，采用單字符多模板提升識別率，采用動態誤差閾值篩選提升識別速度。對比實驗中，本文識別速度比傳統模板匹配方法提升35.14%，識別率提升2.80%。

4.2.3 整體實驗

本文整體實驗首先采用高通801處理器，選取由前置攝像頭采集的共500張1920*1080包含限速交通標志圖像，完成整體檢測和識別實驗，實驗結果如表3所示：

表3 整體實驗結果

為了驗證不同設備對于實驗結果的影響，本文分別對三星Note3、小米4以及LG E970進行對比實驗，實驗結果表明，限速交通標志的識別精度與平臺無關，但是由于設備配置不同造成運算性能的差異，導致實時性有不同程度的差距。

5 總結

本系統在Android平臺上，充分利用限速交通標志的顏色和形狀特征來完成目標的檢測，通過改進動態誤差閾值的多模板匹配方法實現快速識別，使得在Android這樣計算性能有限的手機平臺也能實現相對精確快速的檢測和識別效果。由于運算過程涉及大量的運算，其中包括大量浮點運算，在Android平臺上可以通過openCL或者Android平臺封裝的RenderScript實現GPU加速浮點運算，目前該系統還未能采用這兩種方法針對GPU加速進行優化，有待進一步的研究，從而達到提高運算速度，優化實時性的目的。

參考文獻：

[1] 楊康葉，鄔春學．基于 RGB 模型顏色相似性的彩色圖像分割[J]．計算機系統應用，2013 (3): 128-131．

[2] Eldahshan，Kamal A，Mohammed I，Masameer, Emad H，Mustafa，Mohammed A．[M]rnational Journal of Computer Applications90.7 (2014).

[3] Wiebel C B，Valsecchi M，Gegenfurtner K R．The speed and accuracy of material recognition in natural images[J]．Attention,Perception,&Psychophysics，2013，75(5): 954-966．

[4] 余博, 郭雷, 趙天云等．Freeman 鏈碼描述的曲線匹配方法[J]. 計算機工程與應用, 2012，48(4): 5-8.

[5] 周封，楊超，王晨光等．基于隨機Hough變換的復雜條件下圓檢測與數目辨識[J]．儀器儀表學報，2013，34(3):622-628.

[6] 陳瑋，曹志廣，李劍平．改進的模板匹配方法在車牌識別中的應用[J]．計算機工程與設計， 2013， 34(5): 1808-1811.

[7] 焦金星，趙建輝，王福釗. 基于 BP 神經網絡的交通標志識別算法研究. [C]第八屆中國智能交通年會優秀論文集，2013.

[8] Ju Y，Zhang H，Xue Y，et al．Landmark Detection and Recognition on Adaboost and SVM[J]．2013．

[9] Stallkamp J，Schlipsing M，Salmen J，et al．Man vs．computer：Benchmarking machine learning algorithms for traffic sign recognition[J]．Neural networks，2012，32: 323-332.

[10] Park J，Kwon J，Oh J，et al．A 92-mW real-time traffic sign recognition system with robust illumination adaptation and support vector machine[J]. Solid-State Circuits，IEEE Journal of，2012，47(11): 2711-2723．

[11] 李廣亮，楊成忠，張澤泓. 智能車交通燈識別[J]. 杭州電子科技大學學報, 2014，34(3): 80-82．

[12] 付琰，盧榮勝，夏瑞雪等．基于重要性采樣的隨機Hough 變換圓檢測算法[J]．電子測量技術， 2012，35(5):45-48．

[13] 谷明琴，蔡自興，李儀等．基于多模型表示的交通標志識別算法設計[J]．控制與決策, 2013， 28(6): 844-848．

Detection and Recognition of Speed Limit Traffic Sign on Android Platform

Cheng Jian，Zhang Chongyang

(College of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China)

Based on Android hardware and software platform, the article proposed a real-time speed limit traffic sign detection and recognition system which fused the color and shape features. In order to achieve high speed and accuracy, a variety of detection and classification algorithms based on color and shape features were referenced. In the detection phase, the RGBN color space was selected for fast segmentation, and the Contour Points’ Distribution algorithm was proposed for fast shape screening to locate the traffic sign, in the recognition phase, the Dynamic Threshold Multi-templates Matching algorithm was proposed for fast recognition. The result turned out that the algorithms were suitable for android platform with high speed and accuracy.

Traffic Sign; Target Recognition; Color Segmentation; Template Match

1007-757X(2016)04-0001-04

TP317.4

A

(2015.10.12

國家自然科學基金重大研究計劃集成項目（91220301）

成 健（1990-），男（漢族），揚州人，南京理工大學，計算機科學與工程學院，碩士研究生，研究方向：圖像處理，模式識別，南京，210094

張重陽（1977-），男（漢族），南京人，南京理工大學，計算機科學與工程學院，副教授，碩士研究生導師，研究方向：模式識別理論與應用，圖像處理與計算機視覺，文檔圖像分析與理解，南京，210094