交通標志識別研究綜述

倪鈺婷 梁宇峰 郝博聞 鐘玲

摘 要：隨著社會經濟的發展，我國的道路交通系統發展迅速，人們生活變得便利的同時，也隨之帶來了相應的安全隱患。道路交通識別系統為上述問題提供了一種解決方法，因此受到學者們的廣泛關注。TSR通過安裝在機動車上的攝像機提取自然場景圖像，系統會對圖像進行交通標志檢測與識別，最后將識別結果告知駕駛員，以提高交通運行速率，降低交通事故的發生。本文對多年來各位學者的研究結果加以總結得出結論，如何有效利用交通標志的多種特征、融合線性以及非線性子空間特征提取方法的優勢，研究出具有高魯棒性和高實時性的交通標志識別方法，將是今后的主要發展方向。

關鍵詞：交通標志；ITS；模板匹配；神經網絡；深度學習

中圖分類號：TP391 文獻標識碼：A

1 引言（Introduction）

交通問題日益嚴峻，傳統的人工管理辦法已經無法滿足實際的需要。20世紀80年代，美國提出了智能交通這一種新的概念，“智能交通系統（Intelligent Transportation System，簡稱ITS）”。ITS使道路交通中人、機動車輛和道路三者之間相互融洽相互協調，如圖1所示。ITS的使用減小了交通事故的發生率，同時也提高了交通運行效率，建立一個便捷的交通體系。而且，管理人員可以通過對機動車輛、駕駛員和交通道路實時信息的采集來提高管理效率，目的是盡可能的充分利用交通資源。

交通標志識別是智能交通系統領域的一項重要研究課題，在無人駕駛車輛和輔助駕駛系統等領域都是必不可少的一部分[1-4]。其主要有三方面的應用：（1）碰撞識別；（2）道路識別；（3）交通標識識別。本文的第二部分主要介紹國內國外的發展狀況，相關算法的研究和應用情況。接下來第三部分介紹的是交通標志識別的技術理論和難點。最后第四部分是對交通標志識別系統現狀的總結和對未來的展望。

2 國內外發展狀況（The development situation at

home and abroad）

2.1 國外發展現狀

交通標志的檢測和識別的發展最早開始于20世紀70年代，由于受限于計算能力，無法對算法進行準確的實驗驗證，因此其相關技術發展較慢。但是隨著計算機性能的提高，越來越多的學者和各大汽車廠商紛紛投入到交通標志檢測和識別的研究中[5]。

日本在20世紀80年代就已經開始了針對TSR相關領域的研究，當時比較主流的方法是采用閩值分割算法來進行交通標志檢測[6]，然后利用模板匹配的方法來實現交通標志的識別。但由于系統的閾值分割和模板匹配算法是用硬件設備完成的，所以當該系統在機器上運行時，針對每幅交通標志的檢測時間是1/60秒，識別時間是0.5秒[7]。其中圖像匹配法是將取得的圖像和標準圖像庫中的圖像在空間上進行匹配，通過選擇特定的特征、較合適的搜索方法以及特征間的相似性準則來確定匹配的圖像，一般分為基于特征的匹配和基于灰度圖的圖像匹配[4-8]。文獻[27]中利用Surf特征的實時性和魯棒性，將它運用到交通標志識別系統中大大提高了識別的準確高效性。

在20世紀90年代后，西方各國也投入到了交通標志檢測和識別的研究當中來。并各自提出了一些不同的檢測和識別方法。其中，美國在開發了Advanced Driver Information System（ADIS），該系統應用顏色聚類的方式進行識別，僅對停車標志的識別率可達100%，但該系統并不是實時系統[9]。Piccioi與Micheli利用顏色確定交通標志大概的位置，再利用它的幾何特征進行分析，可以比較準確有效地判斷出三角形和圓形等圖形的標志[3]。再比如基于距離的算法、基于徑向函數的算法、神經網絡分類法、形狀分割等[4]。

其中神經網絡分類法最為常見。神經網絡分類法是常用的分類算法，它是模仿人的神經系統，將大量簡單的神經元互相連接組成一個復雜的非線性動態系統[10]。神經網絡分類法為主流方法。法國的一家公司開發了一種新型TSR系統，該系統是針對紅顏色類型的交通標志進行交通標志的檢測，并利用人工神經網絡算法完成交通標志的特征提取和分類識別工作，這個系統對紅色標志的平均識別率達94.9%[11]。戴姆勒-奔馳汽車公司和德國的科布倫茨-蘭道大學的研究人員進行了合作，研發出了具有實時性的交通標志識別系統，此系統運行在SParclo機器。實驗顯示它的最快識別速度為3.2s/幅，在一個擁有40000多幅圖像的圖像庫中進行檢驗，它的識別準確率為98%[9]。神經網絡分類識別法是最常見的交通標志的識別方法。

來到21世紀后，交通標志檢測與識別的研究更加得到了廣泛的關注和研究，計算機技術和算法也日趨成熟。在2005年，Gareth Loy實驗室和Nick Barnes研究所共同開發了一套利用對稱性與質心位置來識別交通標志的系統，其識別率可以達到95%左右[7，8]。同年，Australia和Sweden共同開發了一套TSR系統，該系統先基于形狀對稱性定位交通標志的質心，然后再對此區域交通標志圖像進行下一步分類識別，實驗結果表示該系統的分類正確率達到95%[5-8]。Wisconsin大學的Liu和Ran開展了交通標志識別的研究，該研究只識別“停止”標志。該系統是基于HSI空間的顏色閩值法進行交通標志的檢測，并用神經網絡方法進行識別。在540多幅圖像上進行了實驗，顯示了該系統的識別準確率達到95%[4]。2007年，Moutarde等人開發了一套以歐美地區的限速標志作為識別目標的交通標志識別系統，其中包括了交通標志檢測以及目標的跟蹤，通過在歐美地區的280個限速標志上的識別實驗，顯示了本系統的識別準確率是89%[4]。

還有學者提出基于統計模式的識別和句法分類法，統計模式的識別的實質就是利用各種類的分布特征來實現分類功能，一般通過對樣本集進行訓練分類、特征提取以確定被識別模式的種類，最后再進采用類別內的匹配識別[5]，它也是常用的分類識別方法。而句法分類法的應用情況相對來說比較局限，其在知識的表示和分析方面存在不足，還需要改進。在2010年，西班牙的Makionado等人的交通標志識別研發是基于一個包含了約193類、36000幅的交通標志圖像的數據庫。識別方法是支持向量機，該方法的識別準確率達到95.5%。該方法未公開實驗數據集，其進行實驗的訓練樣本與測試樣本并沒有區分開來[10]。2013年Kim J.B.認為顏色形狀容易受周圍環境影響，可能會提高視覺顯著性模型進行交通標志檢測且具有較高的實時性[12]。

2.2 國內發展現狀

我國在這方面相比外國起步較晚，近年來也有一些相關研究[12]，目前為止能夠運用到實際中的交通標志識別系統不多。很多學者和科研機構都在研發著交通標志識別系統。交通標志識別算法這一方面，國內的一些學者也取得了成果[13]。以廈門大學李翠華教授、北京工業大學孫光民教授[14]、寧波大學的朱雙東[15]等帶領的研究團隊對交通標志識別進行方法上的探索研究與初步試驗。

我國在20世紀90年代后，國內各校也開始關注交通標志識別研究，杭州大學蔣剛毅教授通過利用數學形態學方法提取交通標志的特征，再利用模板匹配算法來進行分類識別，其實驗結果表明該系統能比較好對10類警告標志進行識別，而且具有較高的識別正確率與算法魯棒性等優點[16]。許少秋等人也采用基于模板匹配的算法來對交通標志進行識別，再通過HSI顏色空間對圖像進行分割，再經過圖像預處理后提取可以得到交通標志的形狀特征，實驗結果表示該方法對于平移、旋轉、遮擋等情況下的交通標志都具有較高的識別準確率，但其識別效率還有待提高[15]。

進入21世紀后，主要方法就是神經網絡分類法。2004年，王坤明等人使用BP神經網絡對交通標志進行識別，該算法能夠識別出11種不同的警告、禁止和指示標志[15]。2006年張航、黎群輝等人提出基于概率的神經網絡算法來識別交通標志，取得了好的效果。2007年，東北大學東軟汽車電子先行研發中心在汽車輔助駕駛系統方面進行了深入的探究，開始了交通標志識別算法探究工作，并且取得了一定成果。從2009年開始，國家自然科學基金委員會提出重大的研究計劃“視聽覺信息的認知計算”。同時“中國智能車未來挑戰賽”也開始舉辦，迄今為止已經舉辦了四屆比賽，其中交通標志的識別是無人駕駛汽車平臺環境感知部分的重要測試項目。該項賽事的舉辦在一定程度上促進了國內交通標志識別技術的發展，其中國防科技大學、清華大學、北京理工大學、西安交通大學、軍事交通學院、中科院合肥物質研究所、武漢大學、中南大學、重慶大學、浙江大學以及南京理工大學等院校[17]科研院校也參與了該課題的研究，并且進行了相關技術的探索，其中的一個研究內容就是無人駕駛車輛的視覺計算研究[18]。

2010年，盛業華、張卡等人提出了一種交通標志識別算法，這個算法基于圖像的顏色特征進行檢測，來獲得目標區域的圖像；接著采用中心投影變的換算法獲取圖像目標區域的形狀特征；最后利用測試過的概率神經網絡分類器來進行分類識別。這個算法具有較高的識別正確率與算法效率，但人工神經網絡的參數設置至今仍然沒有一個成熟有效的解決方案。臺灣大學的資訊工程所也做過一些相關的研究[19，20]。他們采用動態視覺模型[20]進行了交通標志的檢測，囊括了大部分類別的標志類型。還有楊斐等人將BP神經網絡分類器用在交通標志識別，汪虹等人基于概率的支持向量機識別交通標志[21]。

3 交通標志識別的技術理論（The technical theory

of traffic sign recognition）

3.1 交通標志的基本識別框架

考慮到系統的實時性的要求，交通標志識別的系統框架設計應該針對中國現有的交通標志國家標準，從識別算法的結構實現的角度提出的交通標志識別的系統框架[22]，如圖2所示。

3.2 交通標志識別的關鍵技術

（1）預處理技術：預處理的目的是為了得到滿意的圖像，在交通標志識別時，要解決交通標志圖像的實時采集與圖像的復原問題。交通標志圖像的預處理主要涉及兩個方面，一是對交通標志特征顏色的分割：而是對交通標志圖像質量的提高。這兩方面對于交通標志的正確識別有非常重要的意義。

（2）特征提取與選擇技術：檢測出交通標志的具體位置之后，為了對交通標志進行識別，就需要對這些感興趣區域圖像進行特征的提取，以此作為依據和判別條件對交通標志的內容進行分析和判定[23]。特征提取是其中極為重要的一步，它的有效性將直接影響后續訓練和判別的準確率和效率。目前主要選擇圖像的紋理、顏色、幾何形狀作為圖像的特征。特征提取與選擇要解決等待識別的固有的、本質的和重要的特征的量測以及盡量減少特征矢量的維數等問題。

（3）交通標志識別法：交通標志分類法有很多，其中神經網絡分類算法和其他的方法比較，具有較強的容錯性，能夠識別帶有噪聲或變形的輸入模式，具有很強的自學習、自組織能力，采用并行分布式信息存儲處理，識別速度快，因而在模式分類中獲得廣泛的應用。神經網絡分類法作為交通標志識別的一項重要手段，在計算視覺和模式識別的眾多領域獲得廣泛的應用。分類識別要根據對象的知識以及分類識別的理論和方法，將等待識別的對象進行分類與理解，在交通標志識別中，要解決交通標志的分類與理解問題[22]。

3.3 交通標志識別的難點

中國的道路交通標志是由《道路交通標志和標線》統一制定的，交通標志通過特定顏色的符號、圖案和文字傳遞出交通管理信息，以此來實現管制交通的安全管理設施。交通標志的安裝位置及高度是有規定的，但大部分情況下都是要適應具體的場景。自然場景下有很多的因素制約著交通標志的檢測和識別效率[24]，并且存在著很多研究難點[25]。其原因可以歸結為六點。（1）顏色失真：光線及褪色等因素導致交通標志顏色的失真。（2）場景限制：自然場景下獲取的交通標志圖像以及視頻中包含著大量干擾物。（3）種類繁多：國際標準的交通標志（不包括派生類型）種類數有116種，并且這個數量還在快速的增加。如此眾多的種類數對于分類算法的可擴展性提出了非常高的要求。（4）尺寸變化：隨著汽車的運動，背景中同一個交通標志的尺寸大小會隨距離而不斷變化。（5）視角變化：車載攝像機和交通標志之間的角度會不斷地變化，使得交通標志圖像會出現任意視角的畸變。（6）形狀失真：交通標志牌由于破損或變形導致的形狀嚴重不同于標準形狀。

不僅如此，該課題的研究對于系統也有很高的要求。（1）準確性：準確性低，不僅起不到預想的輔助駕駛作用，而且容易引發交通事故。（2）實時性：交通標志識別系統要求具備非常快的處理速度，單幀處理速度小于100ms才剛剛稱得上是實時，所以要求算法和硬件設備支持高速化處理。（3）經濟性：交通標志識別系統不僅要克服各個難點，系統的經濟成本也是其中重要的因素。

4 交通標志識別系統的展望（Prospect of traffic sign

recognition system）

交通標志識別系統的應用十分廣泛。十幾年來，尤其在無人駕駛的汽車領域中，交通標識別系統的研究工作已經取得了相應的成果。現在有很多公司在研究無人駕駛汽車，其中就會用到該技術[26]。目前為止，已成功將交通標志識別用到智能車輛機器視覺領域的研究中的主要有日本、美國、德國、瑞士等[17]。2010年，谷歌公司研發的無人駕駛車在公路上進行了實地測試，可靠行駛了約22.5萬公里，其中交通標志識別系統對該車輛的自主駕駛提供可靠的安全保障。此外，澳大利亞、西班牙、以色列等國家各有一些比較成熟的工作。如圖3所示是交通標志識別系統的PC界面。

大多現有的研究是基于某一類特殊的交通標志進行的，例如限速標志、禁令標志，或者是基于有某種特征的標志進行的，例如圓形標志、三角形標志、矩形標志。但時至今日還是沒有研究能夠在實時性和準確性上都非常出色。

（1）針對交通標志的識別目前只是對部分的交通標志進行識別，未來可能需要加入更多的交通標志，這就使得識別功能更加完善，能識別更多的交通標志。

（2）在交通標志圖像的特征提取方面，綜合考慮圖像的HOG特征、灰度特征和PCA特征。但在圖像處理與模式識別中，仍然有較多其他種類的特征。

（3）如何提高計算速度也是今后研究的方向，因為檢測和識別的方法計算復雜度較高，滿足不了自然場景下交通標志識別的實時性。

（4）圖像的特征匹配方法有很多并且各有優缺點。其中，加拿大多倫多大學教授Hinton等人提出來了一種全新的機器學習方法即深度學習方法[27]。深度學習的概念源于人工神經網絡方法，其原因是想建立一個能模擬人腦進行學習分析的神經網絡，該網絡能通過多個非線性變換組合低層特征形成更加抽象的高層特征或屬性，以發現數據的分布式特征表示，深度學習方法可以說是機器學習的第二次浪潮。深度學習網絡則不同與其他的方法，它不需要事先提取圖像人工特征，而是直接對原始圖像進行操作，經過迭代訓練學習的操作后，對2320個測試樣本的識別率則達到了98.4%。取得了較高的識別率，并對出現遮擋、光照不均勻以及形狀變化的交通標志也有一定的魯棒性。2013年4月，《MIT Technology Review》（麻省理工學院技術評論）評選出了年度十大突破科技，其中深度學習位居首位。可見，深度學習在學術界和工業界受到了極大的關注和重視。不過深度學習模型在其結構和學習方法上仍然還有很大的提升和改進空間。因此，怎樣利用深度學習方法提高交通標志檢測和識別的時間和效率是當今需要進一步的研究課題。

5 結論（Conclusion）

汽車行業的高速發展以及輔助駕駛系統的初步應用，使交通標志識別成為模式識別領域里的研究熱點。本文較全面地介紹了交通標志識別中常用的幾種方法，包括模板匹配、神經網絡以及數學形態等。總結了國內外自20世紀70年代至今的研究成果以及交通標志識別系統現狀，簡要闡述了技術理論和難點。

由于交通標志圖像采集過程中存在諸多不確定因素，普遍存在背景干擾及采集角度不假引起的目標變形，所以如何有效利用交通標志的多種特征、融合線性以及非線性子空間特征提取方法的優勢，研究出具有高魯棒性和高實時性的交通標志識別方法，將是今后的主要發展方向。

參考文獻（References）

[1] A.Mogelmose，M.M.Trovedo，T.B.moeslund.Vision-based traffic sign detection and analysis for intelligent driver assistance systems：Perspectives and survey[J].IEEE Transactions on Intelligent Transportation Systems，2012，13（4）：1484-1497.

[2] J.Stallkamp，et al.Thegerman traffic sign recognition benchmark：a multi-class classification competition[C].The 2011 Internation Joint Conference on Neural Networks.IEEE，2011：1453-1460.

[3] S.Houben，J.Stallkamp，J.International Joint Conference on Neural Network.IEEE，2013：1-8.

[4] G.Wang，et al.Arobust，coarse-tofine traffic sign detection method[C].The 2013 International Joint Conference on Neural Networks.IEEE，2013：1-5.

[5] 張曙.自然環境下交通標志的檢測及識別算法研究[D].武漢理工大學，2014，（6）：3-5.

[6] Yu F，Xue F W.Study on Motion Blur Image Research[J].Advanced Materials Research，2013，2526（753）：2976-2979.

[7] Akatsuka H，Imai S.Road Signposts Recognition System[J].SAE Vehicle Highway.Infrastructure：Safety Compatibility，1987：189-196.

[8] 王準.基于移動設備的交通標志高速識別系統[D].華東師范大學，2015，26（5）：2-3.

[9] 王鏗.基于稀疏表示的交通標識識別[D].南京理工大學，2013，13（3）：1-2.

[10] N-Barne，A.Zelinsky.Real-time radial symmetry for speed sign detection[C].IEEE Intelligent Vehicles Symposium，2004：566-571.

[11] 吳峰.基于機器學習的道路交通標志識別方法研究[D].北京交通大學，2015.

[12] 葉陽陽.交通標志檢測和識別算法研究[D].北京交通大學，2015，27（3）：1-4.

[13] 朱正平.基于外觀特征與神經網絡的交通標志識別[J].自動化與儀器儀表，2009，（1）：60-63.

[14] 孫光民，等.自然背景總交通標志的檢測與識別[J].北京工業大學學報2010，36（10）：1337-1340.

[15] 劉鑫，楊立敬，朱雙東.快速交通標志檢測預處理方法[J].計算機工程與應用，2010，46（29）：229-231.

[16] 蔣剛毅，鄭義.形態骨架匹配算法及其在交通標志識別中的應用[J].電路與系統學報，1996，1（3）：16-23.

[17] P.Gil-Jimenez，S.Lafuente-Arroyo.It Gomez-Moreno，F.Lopez-Ferreras，S.Maldonado-Bascon.Traffic sign shape classification evaluation.Part II.FFT applied to thesignature of blobs[C].Proceedings of IEEE Intelligent Vehicles Symposium，2005：607-612.

[18] 唐睢睢.交通標志識別算法研究[D].北京交通大學，2014，

13（3）：1-2.

[19] 楊修銘，劉昆灝，劉昭麟.干擾狀況下之交通標志偵測及辨別[M].第七屆人工智能與應用研討會論文集（TAAI'02），臺中，臺灣，2002：555-560.

[20] C.Y.Fang，et al.An automatic road sign recognition system based on a computational model of human recognition processing[J].Computer Vision and Image Understanding，2004，96（2）：237-268.

[21] 歐陽維力.基于單目視覺的交通標志檢測與識別算法研究[D].機械與運載工程學院，2014，27（5）：4-5.

[22] 張航.自然場景下的交通標志識別算法研究[D].中南大學，2006，4：16-33.

[23] KhaldiAmine，MerouaniHayeteRange.Image Segmentation Classification[J].International Journal of Computer Science Issues.2012.9（4）：311-317.

[24] Li B，Zhan Z H.Research on Motion Blurred Image Restoration[C].Image and Signal Processing（CISP），2012 5th International Congress on.IEEE，2012：1307-1311.

[25] 陳雪.基于多線索混合的交通標志識別算法的研究與實現[D].東北大學，2008.

[26] Yibin Ye，Stefano Squartin，Francesco Piazza.ELM Based TimeVariant Neural Networks with Incremental Number of Output Basis Functions[J].Lecture Notes in Computer Science，2011，6675：403-410.

[27] 楊恒，劉肖琳.基于SURF的車載實時交通標志識別系統[J].微計算機信息，2011，27（6）：101-102；149.