交通標志識別算法模型的研究與實現

徐彬森，魏元周，毛光明，李曼曼

（1. 北京航空航天大學軟件學院，北京 100191；2. 河南財經政法大學計算機與信息工程學院，河南 鄭州 450046）

交通標志識別算法模型的研究與實現

徐彬森1，魏元周1，毛光明1，李曼曼2

（1. 北京航空航天大學軟件學院，北京 100191；2. 河南財經政法大學計算機與信息工程學院，河南 鄭州 450046）

本文通過比較交通標志檢測和分類算法，利用閾值分割和神經網絡算法思想構建了一個交通標志識別模型，該模型對于GTSRB數據集上的交通標志識別圖片識別錯誤率能控制在5%以內，處理每幀的識別過程在150ms左右，較好地實現了交通標志的實時檢測與分類。為相關交通管理部門提供了一套方便的管理技術。

交通標志識別；閾值分割；神經網絡

0 引言

據統計，中國每年均有超過15萬以上數量的人因公路交通事故而喪失生命。這其中，無道路標識等控制方式場景下發生的交通事故死傷人數占總死傷人數的30.83%，見圖1。道路交通標識設置的合理與否，直接關系到道路交通狀況[1]?，F階段對交通標識的統計與管理方法依然是通過交通部門對各條路段與路口查明并記錄后上報，工作量大，效率有限。交通標識檢測及分類屬于交通標識識別的兩個重要方面，該類研究起源于上世紀80年代，特別是近十幾年來，隨著計算機視覺、機器學習等領域的進步，以及計算機性能的提升，相關技術領域的研究熱度增加并涌現出許多好的研究結果[2]。

圖1 無道路標識等控制方式的事故死傷比率Fig.1 No road marking and other control methods of accident casualties ratio

本文第一部分回顧了交通標志識別研究狀況及常用方法。文章第二部分是對交通識別流程和關鍵點的概述，第三部分是交通識別算法模型的設計，第四部分則是算法模型實現效果，第五部分則是對全篇的回顧和總結。

1 交通標志識別介紹

1.1 相關研究回顧

交通標志識別算法根據內容也都大多采用兩個處理步驟：交通標識檢測以及交通標識分類[3]。一般來說，交通標識的檢測有三種做法：基于顏色分割、基于形狀信息和基于機器學習的方法[4]?；陬伾指畹乃惴ê唵?、計算速度快、對幾何形變不敏感，但在低光照或逆光環境，相似背景的場景等場景時缺點很明顯，因為顏色是不可靠的信息，在不同時間，不同光照下采集到的顏色各不相同。而基于形狀的算法通常計算代價大，并且在場景中出現相似形狀的時候不能很好的處理。同時在實時場景下，還存在車輛抖動而造成的畫面模糊等情況。因為交通標識一般具有醒目的顏色以及規則的形狀，所以基于機器學習的算法一般也是針對這兩個方面實現不同的分類器。一方面，因為對二維圖像進行閾值分割本質上是對二維平面上的像素點進行分類的過程，機器學習中經典的分類算法，比如SVM、K-Means等算法均可以有所應用。另一方面，由于標識牌規則的形狀，檢測標識實際上也是形狀識別算法的一種應用。Timofte等人[5]將Viola-Jones提出的，一個級聯類Haar分類器用到6種不同的標識類別上，實現了較好的實時效果。這些都是在應用中值得借鑒的地方。

將標識牌檢測出來之后，關鍵目標是精確識別標識的具體類型，其本質上是一個分類的過程。對圖像的分類，一些算法需要先對圖像尺寸進行歸一化、高斯模糊等預處理，然后進行分類，另一些基于機器學習的算法可以直接通過主動學習對圖片進行分類。大體上常用的算法有：模版匹配、決策樹、SVM、神經網絡等幾類。但是其對于分類的準確度還有提高的空間。

基于以上因素，本文選取HSV顏色模型，采用圖像處理中的閾值分割等算法及 BP神經網絡等算法，構建檢測分類模型，通過訓練樣本集，實現對測試集中交通標志的識別，并與該領域其他算法比較。

1.2 交通標志識別的基本流程

本文認為道路交通標識識別流程分為三個階段：（1）預處理，將圖像轉化為易快速處理的“數據”；（2）交通標識的檢測，包括對視頻圖象標識候選區域的定位、特征提取等；（3）交通標識的分類，主要是將前一步檢測過程中提取的標識候選區域進行精確分類。如圖2所示。

圖2 交通標志識別基本流程Fig.2 The basic process of traffic signs recognition

2 交通標志識別算法模型設計

2.1 預處理

研究實驗中道路視頻數據采集設備采集的數據為RGB模型的視頻數據，首先要對視頻進行分解，獲取每一幀的圖像，然后對圖像進行初步預處理：

步驟1 顏色空間轉換：

顏色空間模型是顏色的各種數學表示方式。HSV模型較RGB、XYZ、CIE等模型可以較為理想地進行顏色處理[6]。以 RGB顏色模型為例，RGB三個分量都是與光照相關的，這讓RGB顏色模型在標識識別中的應用受到了限制，由于自然條件下光照條件變化多樣，RGB顏色模型相對來說不適合用在交通標識的檢測中。

HSV模型的H表示色相（Hue），通常取值范圍為[0, 360]，對應紅橙黃綠青藍紫-紅這樣順序的顏色，S分量表示飽和度（Saturation），即色彩的純凈程度，V表示明度，即顏色明亮的程度。HSV與RGB三個分量之間的轉化關系如下：

其中max是RGB三個分量的最大值，min 是三個分量中的最小值。HSV顏色空間是一個倒圓錐體，一周表示色相（Hue），自中心到邊緣表示飽和度（Saturation），圓錐體尖端表示明度為0，最上部分表示明度最大。如圖4所示。

圖3 RGB 顏色模型（左）和HSV顏色模型 （右）Fig.3 RGB color model (left) and HSV color model (right)

步驟2 高斯模糊：

高斯模糊 (Gaussian Blur)，也稱為高斯平滑，主要用來平滑圖片，減少圖像中的噪點。數學角度來講，高斯模糊是一個卷積的過程，所使用的是一個呈正態分布的卷積核，它用正態分布計算圖像中每個像素的變換，在二維空間中定義為：

其中r是模糊半徑(r2=u2+v2)，σ是正態分布的標準偏差，實驗中選取了σ=2。圖4為使用(9, 9)的卷積核對圖像做高斯后的結果，高斯模糊減少圖像的噪點，從而減少噪點對算法的影響，增強算法的魯棒性。

2.2 基于閾值分割算法的交通標志檢測

步驟1 閾值分割：

閾值分割基本原理是：通過設定不同的特征閾值，把圖像象素點分為若干類。研究中將經過HSV顏色模型轉換的圖像通過閾值分割為三類。通過實驗測試得知，表1的分割得到的分割效果最好。

圖4 高斯模糊處理示意圖Fig.4 Gaussian fuzzy processing diagram

表1 HSV 空間各顏色分割閾值Table 1 HSV space color separation threshold

步驟2 中值濾波：

中值濾波器將圖像中每一點的像素值由對濾波區域R內的像素值的中值代替，2

K+1個像素點Pi的中值定義為：

即數列 （P0, P1, … ,Pk, … ,P2k）以升序（ Pi≤ Pi+1）排列，那么其中值為Pk。如果像素個數為偶數（2K，其中 K>0）,那么對于一個順序數列那么其中值定義為中間兩個元素的算術平均值，

步驟3 形態學處理：

形態學運算是數學中的形態學 集合論中的方法，用于作二值圖像處理。形態學(Mathematical Morphology)運算常見算法有腐蝕、膨脹以及基于腐蝕、膨脹的開運算、閉運算等，給定輸入的二值圖像I(x, y)以及作為處理窗口模板T(i, j)，則腐蝕運算可以表示為：

膨脹可以表示為：

開運算指先膨脹后腐蝕，該運算可用來消除細小區域以及纖細的連通區域，而閉運算正好相反，指先腐蝕后膨脹，主要用來清除物體內部的細小孔洞。利用開運算可以去除大量不相關的細小區域，不破壞感興趣的標識區域，對于去除閾值分割之后的大量細小噪點的效果明顯。

如圖5所示，展示了原始圖像（左上）經過閾值分割之后的結果（右上），然后通過腐蝕（左下）和膨脹（右下）操作的結果，可以看出，閾值分割之后細小的噪點被有效過濾。

圖5 連通區域尺寸過濾Fig.5 Connectivity area size filter

步驟4 連通區域尺寸過濾

首先標記連通區域，即把結果中連在一起的像素分到同一類別，做上標記，不同的連通區域做不同的標記。在圖像處理中，兩個像素點判斷為連通區域，當且僅當兩個像素點相鄰，并且像素值一致。二值圖像中，處理像素值為1的像素點的連通性，一般有三個判斷方法：4-鄰域、8-鄰域、混合鄰域等。本文采用8-鄰域連通區域標記法對二值圖像進行標記，并統計處各個連通區域的寬度和高度。之后應用以下規則進行過濾：

1. 由于視角影響，拍攝到的標識通常有一定程度的傾斜，為了程序的兼容性，標識寬高比范圍大

2. 由于交通標識在視頻視野中一般較小，并且人眼視覺最多可以識別圖片中大于7個像素點的標識牌，我們假設整體圖像較短邊的長度為 l，使用作為標識牌可能出現的尺寸。

步驟5 輪廓提取

邊緣檢測是一種重要的圖像預處理手段，常見的手段有 Sobel、Roberts等[7]，本文使用 Canny算子進行邊緣檢測主要分為三步：首先使用高斯平滑對圖像做預處理，有效抑制噪聲，然后計算當前點的梯度值與梯度方向角，此處使用 Sobel算子來計算，并且將同一方向上最大的梯度值保留，最后使用雙閾值來過濾邊緣點，只有梯度值大于高閾值或者大于低閾值且3、5鄰域內存在大于高閾值的梯度值，當前點才被標記為邊緣點。如圖6所示。

圖6 Canny算子輪廓提取示意圖Fig.6 Canny operator contour extraction diagram

步驟6 形狀識別

交通標識可能的形狀只有可能是三角形，矩形以及圓形。在提取了閉合輪廓之后，通過計算閉合輪廓的曲率，即可判斷形狀的類別。三角形，矩形有多個拐點，其余部分是直線，而圓形沒有拐點，即三角形和矩形輪廓邊界的切線方向存在突變，而圓形的輪廓邊界不存在切線方向突變的情況，而衡量切線變化的量，正是曲率。如 7（左）所示，→選定逆時針為正方向，在B點的曲率可以表示為 與的夾角。之后我們通過檢測曲率序列 C中的峰值點個數以及周期關系，即可得到輪廓的類型。圖7（右）為標準正三角形的曲率模板。

圖7 三角形的曲率模板Fig.7 Curve of curvature of the triangle

通過以上步驟，已基本完成了交通標志檢測階段的工作。

2.3 基于神經網絡算法的交通標志分類

近年來，神經網絡，特別是卷積神經網絡在圖片處理領域取得重要突破，比如人臉分類識別研究[8]。交通標識分類階段工作通過載入訓練好的模型，對候選區域進行分類，即獲取每個檢測出來的標識的類別。它包含的內容為：（1）載入訓練好的模型；（2）使用模型進行分類；（3）保存分類過后的類別信息。如圖8所示。

圖8 交通標識分類流程圖Fig.8 T raffic identification classification flow chart

采用人工神經網絡模型算法是因為該算法結合了人類大腦的許多優良特征，如（1）信息處理并行化，效率極高。（2）具有很好的容錯性能，對損傷冗余。（3）可以無監督的學習，善于歸納推廣，這也是本文選取該方法的原因。

在現有神經網絡模型中，簡單及有效的兩種網絡分別是 LeCun等人于上個世紀 90年代提出的LeNet-5[9]和 Alexander在 2012 年提出的 AlexNet[10]，本文采用標識牌識別領域著名的數據集 GTSRB來進行試驗，驗證本文網絡與 LeNet-5和AlexNet網絡的性能。GTSRB數據集由兩部分組成，總共 43類標識，第一部分包含39209個訓練樣本，第二部分含有12630個標記過的驗證樣本。

LeNet-5網絡由7層組成，如圖9所示，使用輸入32x32的圖像，通過一系列卷積層和子采樣之后，得到輸出，由于原始的LeNet是用來分類手寫數字的，輸出只有10維，這里最后一步使用SoftMax層得到43維向量作為輸出來分類標識。

AlexNet網絡則復雜得多，最開始適用于分類圖片使用的，該網絡使用3通道的彩色圖片，尺寸為224×224的彩色圖像，由于識別標識只有43類，最后一步采用SoftMax層得到43維向量。如圖10。

文章采用一個兩個階段的卷積神經網絡，如圖11所示，每個階段都由一個卷積層和一個池采樣層組成，池采樣層減少了空間分辨率，讓算法對幾何形變和運動模糊等情況魯棒性更好。

在傳統的卷積神經網絡里，最后一層的輸出會全連接得到一個分類器。本文將所有階段的輸出都全連接到最后的分類器中，使得模型的分類器不僅可以利用高層次的全局的特征，同時還可以保留很多池化過的低層次的特征，這些特征讓算法對局部特征更加敏感，保留了很多細節信息。

圖9 LeNet-5 的結構Fig.9 LeNet-5 Architecture

圖10 AlexNet的結構Fig.10 AlexNet Architecture

圖11 兩個階段的卷積神經網絡Fig.11 T wo-stage convolution neural network

具體參數如表2所示。該網絡輸入數據為48×48的交通標識圖像。卷積層C1和卷積層C3均采用5×5的卷積核，使用 Relu函數充當激勵函數，采樣層S2與S4均采用最大池化采樣。最后全連接層C5采用全連接的方式，連接S2和S4的輸出，產生一個512維的向量。最后一層輸出層，采用全連接的形勢使用SoftMax分類器生成一個43維的向量輸出，該參數可以根據訓練集中標識的類別數目進行相應的調整。

表2 本文使用的網絡模型參數Table 2 The network model parameters used in this article

卷積神經網絡訓練所使用的數據均來自公開的GTSRB數據集[11]，訓練過程先對圖像尺寸進行歸一化處理，由于模型主要學習的特征是圖片之中細小的可重復的結構，這種特征對顏色不敏感，為了便于計算，將多通道的彩色圖像轉化為單通道的灰度圖像，轉化公式如下：

訓練好的模型參數可以保存下來，識別過程中檢測到的候選區域作為輸入，如圖13所示，通過檢測過程確定候選區域位置之后便可提取出標識所在的區域，通過裁剪、歸一化、轉化為灰度圖像之后，輸入訓練好的模型，計算得到最終輸出。

圖13 輸入的候選區域示例Fig.13 Examples of the candidate area entered

3 交通標志識別算法模型結果分析

3.1 實驗環境說明

操作系統為Ubuntu14.04版的64位Linux。離線訓練使用的實驗環境如表3所示。

表3 離線訓練模塊測試環境Table 3 Offline training module test environment

數據預處理、標識檢測、標識識別模塊使用的實驗環境如表4所示。

表4 數據預處理、標識檢測識別模塊測試環境Table 4 Data preprocessing, signs detectionidentification module test environment

3.2 交通標志檢測階段結果

標識檢測主要使用了安徽和縣 S105道路視頻以及作者在北航校園采集的部分視頻作為測試數據集，如下圖14（第一行為原圖，第二行為檢測圖）。運行效果如下。

圖14 部分測試視頻截圖Fig.14 Partial test video screenshots

視頻源 分辨率 平均每幀檢測時間安徽和縣S105道路視頻 1712×963 103 ms北航校園 800×600 56 ms

由測試結果可知，接近1080P的視頻可以達到10幀/s的處理速度，已經達到了實時的效果。

3.3 交通標志分類階段結果

標識識別階段，GTSRB[11]測試集中有12630張測試數據，尺寸從20×20到100×100不等，部分測試用例如圖15。

圖15 GTSRB 測試集示例Fig.15 Example of a GTSRB test set

訓練機器如表3所示，訓練集合為GTSRB數據集，其中包括39209張標記好的訓練集以及12630張測試集。每次迭代使用64張圖片做訓練來更新參數，每613次迭代左右可以完全訓練完一遍所有的圖片，每次訓練完一遍所有訓練集，在測試集上做一次錯誤率統計。訓練過程中錯誤率變化如圖16所示。對該測試機進行一遍識別，平均耗時630 s，平均每張圖片識別耗時約 50 ms，完全可以滿足實時識別的需求。

由上圖可以得知，在迭代次數越來越多時，錯誤率快速下降并慢慢趨于平穩在5%左右，說明該模型有良好的收斂性, 相關指標表現良好[12]。

本文模型與其他幾種經典的神經網絡算法模型在識別正確率方面的比較如表5所示。本文提出的算法模型相比之前兩個模型在 GTSRB上具有一定優勢。

圖16 錯誤率與迭代次數關系Fig.16 The relationship between the error rate and the number of iterations

表5 幾種網絡在驗證數據集上識別正確率比較Table 5 Several networks’ accuracy comparison on the verification dataset

4 小結

鑒于交通標識牌在顏色和形狀上都有著非常鮮明的特征，本文主要從顏色閾值分割和形狀檢測兩個方面提取出圖像中交通標識的候選區域。同時，隨著近年來人工智能的發展，卷積神經網絡最為一種成熟高效的方法，本文使用卷積神經網絡對候選區域做進一步精確的分類。實驗結果表明，本文提出的交通標志算法模型能夠對交通標志實現較好地識別，多次迭代后保證95%的識別正確率，每幀視頻檢測階段耗時100 ms，分類階段耗時50 ms。達到了實時識別的要求。

[1] 楊鈞等, 中華人民共和國道路交通事故統計年報[M], 2012,無錫: 公安部交通管理科學研究所.

[2] Loy, G. and N. Barnes. Fast shape-based road sign detection for a driver assistance system[J]. in Intelligent Robots and Systems, 2004. (IROS 2004). Proceedings. 2004 IEEE/RSJ International Conference on. 2004.

[3] Salti, S., et al., Traffic sign detection via interest region extraction[J]. Pattern Recognition, 2015. 48(4): p. 1039-1049.

[4] Brkic, K., An overview of traffic sign detection methods[J].Department of Electronics, Microelectronics, Computer and Intelligent Systems Faculty of Electrical Engineering and Computing Unska, 2010. 3: p. 10000.

[5] Timofte, R., K. Zimmermann and L. Van Gool, Multi-view traffic sign detection, recognition, and 3d localization[J].Machine Vision and Applications, 2014. 25(3): p. 633-647.

[6] 周明等, 基于HSV模型的運動目標提取與跟蹤[J]. 指揮控制與仿真, 2010(02): 第93-96頁.

[7] 鐘彩, 邊緣檢測算法在圖像預處理中的應用[J]. 軟件,2013, 34(1): 158-159.

[8] 楊燕, 劉剛, 張龍. 基于2DPCA和LDA的人臉圖像預處理與RBF神經網絡的人臉圖像識別研究[J]. 軟件, 2014(2):115-118.

[9] Y Lecun, B Boser, JS Denker, etc. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 2014, 1(4): 541-551.

[10] A Krizhevsky, I Sutskever, GE Hinton. ImageNet classification with deep convolutional neural networks[J]. International Conference on Neural Information Processing Systems,2012, 25(2): 1097-1105.

[11] Y Wu, Y Liu, J Li, H Liu, etc. Traffic sign detection based on convolutional neural networks[J]. International Joint Conference on Neural Networks, 2014: 1-7.

[12] 張明軍, 俞文靜, 袁志, 等. 視頻中目標檢測算法研究[J].軟件, 2016, 37(4): 40-45.

Research and Implementation of Traffic Sign Recognition Algorithm

XU Bin-sen1, WEI Yuan-zhou1, Mao Guang-ming1, LI Man-man2
(1. BeiHang University (Beijing) Software College, Beijing 100191, China; 2. Henan University of Finance and Economics(Zhengzhou) Computer and Information Engineering College, Zhengzhou 450046, China)

In this paper, by comparing the traffic sign detection and classification algorithm, using the ideas of threshold segmentation algorithm and neural network, researchers constructed a traffic sign recognition model, the model for GTSRB data sets on traffic sign recognition image recognition error rate can be controlled within 5%, the processing of each frame recognition process is controlled in 150 ms, implement the real-time detection and classification of traffic signs well. The researchers provided a convenient management technology for related traffic management department.

Traffic sign detection; Threshold segmentation; Convolutional neural network (CNN)

TP391(TN911.73)

A

10.3969/j.issn.1003-6970.2017.11.015

本文著錄格式：徐彬森，魏元周，毛光明，等. 交通標志識別算法模型的研究與實現[J]. 軟件，2017，38（11）：74-81

徐彬森(1992-)，男，碩士研究生，主要研究方向：軟件工程、圖像識別與處理；魏元周(1992-)，男，碩士研究生，主要研究方向：軟件工程、數據挖掘、圖像識別與處理。毛光明(1991-)，男，碩士研究生，主要研究方向：軟件工程、深度學習。李曼曼(1992-)，女，碩士研究生，主要研究方向：軟件工程、數據挖掘、圖像識別與處理。