應用深層卷積神經網絡的交通標志識別

摘 要： 在實際交通環境中，由于運動模糊、 背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標志的圖像質量往往不高，這就對交通標志自動識別的準確性、魯棒性和實時性提出了很高的要求。針對這一情況，提出一種基于深層卷積神經網絡的交通標志識別方法。該方法采用深層卷積神經網絡的有監督學習模型，直接將采集的交通標志圖像經二值化后作為輸入，通過卷積和池采樣的多層處理，來模擬人腦感知視覺信號的層次結構，自動地提取交通標志圖像的特征，最后再利用一個全連接的網絡實現交通標志的識別。實驗結果表明，該方法利用卷積神經網絡的深度學習能力，自動地提取交通標志的特征，避免了傳統的人工特征提取，有效地提高了交通標志識別的效率，具有良好的泛化能力和適應范圍。

關鍵詞： 交通標志； 識別； 卷積神經網絡； 深度學習

中圖分類號： TN911.73?34； TP391.41 文獻標識碼： A 文章編號： 1004?373X（2015）13?0101?06

Abstract： In actual traffic circumstance， the image quality of collected traffic signs is worse due to motion blur， background disturbances， weather conditions， and shooting angle. The higher requirements are proposed for accuracy， robustness and in real?time of traffic signs auto?recognition. In this situation， the traffic signs recognition method based on deep?layer convolution neural network is presented. The method adopts supervised learning model of deep?layer convolution neural network. Taking the collected traffic sign images through binarization as the inputs. The inputs are conducted multilayer process of convolution and pooling?sampling， to simulate hierarchical structure of human brain perception visual signals， and extract the characteristics of the traffic sign images automatically. Traffic signs recognition is realized by using a full connected network. The experimental results show that the method can extract the characteristics of traffic signs automatically by using deep learning ability of the convolution neural network. The method has good generalization ability and adaptive range. By using this method， the traditional artificial feature extraction is avoided， and the efficiency of traffic signs recognition is improved effectively.

Keywords： traffic sign； recognition； convolution neural network； deep learning

0 引 言

隨著智能汽車的發展，道路交通標志的自動識別[1?3]作為智能汽車的基本技術之一，受到人們的高度關注。道路交通標志識別主要包括兩個基本環節：首先是交通標志的檢測，包括交通標志的定位、提取及必要的預處理；其次是交通標志的識別，包括交通標志的特征提取和分類。

如今，交通標志的識別方法大多數都采用人工智能技術，主要有下述兩類形式[4]。一種是采用“人工特征+機器學習”的識別方法，如基于淺層神經網絡、支持向量機的特征識別等。在這種方法中，主要依靠先驗知識，人工設計特征，機器學習模型僅負責特征的分類或識別，因此特征設計的好壞直接影響到整個系統性能的性能，而要發現一個好的特征，則依賴于研究人員對待解決的問題的深入理解。另一種形式是近幾年發展起來的深度學習模型[5]，如基于限制波爾茲曼機和基于自編碼器的深度學習模型以及卷積神經網絡等。在這種方法中，無需構造任何的人工特征，而是直接將圖像的像素作為輸入，通過構建含有多個隱層的機器學習模型，模擬人腦認知的多層結構，逐層地進行信息特征抽取，最終形成更具推廣性和表達力的特征，從而提升識別的準確性。

卷積神經網絡作為深度學習模型之一，是一種多層的監督學習神經網絡，它利用一系列的卷積層、池化層以及一個全連接輸出層構建一個多層的網絡，來模仿人腦感知視覺信號的逐層處理機制，以實現視覺特征信號的自動提取與識別。本文將深層卷積神經網絡應用于道路交通標志的識別，通過構建一個由二維卷積和池化處理交替組成的6層網絡來逐層地提取交通標志圖像的特征，所形成的特征矢量由一個全連接輸出層來實現特征的分類和識別。實驗中將加入高斯噪聲、經過位移、縮放和旋轉處理的交通標志圖像以及實際道路采集交通標志圖像分別構成訓練集和測試集，實驗結果表明，本文所采用的方法具有良好的識別率和魯棒性。

1 卷積神經網絡的基本結構及原理

1.1 深度學習

神經科學研究表明，哺乳動物大腦皮層對信號的處理沒有一個顯示的過程[5]，而是通過信號在大腦皮層復雜的層次結構中的遞進傳播，逐層地對信號進行提取和表述，最終達到感知世界的目的。這些研究成果促進了深度學習這一新興研究領域的迅速發展。

深度學習[4，6?7]的目的就是試圖模仿人腦感知視覺信號的機制，通過構建含有多個隱層的多層網絡來逐層地對信號特征進行新的提取和空間變換，以自動學習到更加有效的特征表述，最終實現視覺功能。目前深度學習已成功地應用到語音識別、圖像識別和語言處理等領域。在不同學習框架下構建的深度學習結構是不同的，如卷積神經網絡就是一種深度的監督學習下的機器學習模型。

1.2 卷積神經網絡的基本結構及原理

卷積神經網絡受視覺系統的結構啟發而產生，第一個卷積神經網絡計算模型是在Fukushima的神經認知機中提出的[8]，基于神經元之間的局部連接和分層組織圖像轉換，將有相同參數的神經元應用于前一層神經網絡的不同位置，得到一種平移不變神經網絡結構形式。后來，LeCun等人在該思想的基礎上，用誤差梯度設計并訓練卷積神經網絡[9?10]，在一些模式識別任務上得到優越的性能。

卷積神經網絡本質上是一種有監督的深度學習算法，無需事先知道輸入與輸出之間精確的數學表達式，只要用已知的模式對卷積神經網絡加以訓練，就可以學習到輸入與輸出之間的一種多層的非線性關系，這是非深度學習算法不能做到的。卷積神經網絡的基本結構是由一系列的卷積和池化層以及一個全連接的輸出層組成，可以采用梯度下降法極小化誤差函數對網絡中的權值和閾值參數逐層反向調節，以得到網絡權值和閾值的最優解，并可以通過增加迭代次數來提高網絡訓練的精度。

1.2.1 前向傳播

在卷積神經網絡的前向傳播中，輸入的原始圖像經過逐層的卷積和池化處理后，提取出若干特征子圖并轉換成一維特征矢量，最后由全連接的輸出層進行分類識別。

在卷積層中，每個卷積層都可以表示為對前一層輸入圖像的二維卷積和非線性激勵函數，其表達式可用式（1）表示：

[Ylj=f i=1Ml-1Yl-1i?Wlij+blj] （1）

式中：[Ylj]是第l層中第[j]個卷積特征子圖的輸出；[Ml-1]是前一層（[l-1]層）的輸出[Yl-1j]的總數；[Wlij]是第[l]層中第[j]個卷積的權值；[blj]是第[l]層中第[j]個卷積的閾值；符號“*”表示二維卷積運算；[f（?）]是非線性激勵函數，其表達式如下：

[f（x）=11+e-x] （2）

式中：[x]是函數的輸入。對于一幅[Nl-1x*Nl-1y] 的輸入圖像[Yl-1i]和[Klx*Kly]的卷積權值[Wlij，]輸出[Ylj]的大小為[Nl-1x-Klx+1，Nl-1y-Kly+1。]

在池采樣層中，每個池采樣層通過一個非重疊的[kx×ky]矩形區對上一卷積層輸出的特征子圖進行采樣（求矩形區內像素的均值或最大值）。經過池采樣后輸出的特征子圖在兩個維度上分別縮小[kx]和[ky]倍，其表達式為：

[Yl+1j=down（Ylj）] （3）

式中：[Yl+1j]表示第[l+1]層中第[j]個池采樣的輸出；[Ylj]是前一層（l層）的輸出特征子圖；down（）實現對[Ylj]的池采樣。圖1給出了上述卷積和池采樣的示意圖。

在輸出層中，首先利用一個全連接層將輸入的特征子圖轉換為一個一維的特征矢量，然后再應用一個BP神經網絡完成特征矢量的分類識別。BP神經網絡輸出層的每一個神經元的輸出值對應于輸入圖像所屬不同交通標志圖像的概率，表達式為：

[Yj=fi=1nWij×Yl+1i+bj] （4）

式中：[Yj]表示輸出層中第[j]個輸出；[Yl+1i]是前一層（[l+1]層）的輸出特征（全連接的特征向量）；[n]是輸出特征向量的長度；[Wij]表示輸出層的權值，連接輸入[i]和輸出[j]；[bj]表示輸出層第[j]個輸出的閾值；[f（?）]是輸出層的非線性激活函數。

對于一個有[C]種不同的交通標志和共計[N]個樣本的情況，整個網絡的誤差平方代價函數[11]為：

[EN=12n=1Nk=1Ctnk-ynk2=12n=1NTn-Yn2] （5）

式中：[T=[t1， t2， …， tC]]為網絡的理想輸出目標矢量；[Y=[y1， y2， …， yC]]為網絡的實際輸出矢量；[tk=0，1，][yk∈[0，1]，][k=1，2，…，C。]

當只考慮第[n]個單個樣本時，網絡的誤差平方代價函數可以表示為：

[En=12k=1Ctnk-ynk2=12Tn-Yn2] （6）

1.2.2 反向傳播

在反向傳播過程中，卷積神經網絡的訓練方法采用類似于BP神經網絡的梯度最速下降法，即按極小化誤差的方法反向傳播調整權值和閾值。網絡反向傳播回來的誤差是每個神經元的基的靈敏度[12]，也就是誤差對基的變化率，即導數。下面將分別求出輸出層、池采樣層和卷積層的神經元的靈敏度。

（1） 輸出層的靈敏度

對于誤差函數式（6）來說，輸出層神經元的靈敏度可表示為：

[δ=-fu×T-Y] （7）

[u=W×Yl+1+b] （8）

式中：[T]表示目標輸出；[Y]表示網絡的實際輸出；[Yl+1]表示上一層（池采樣層）的輸出；[W，b]分別是輸出層的權值和閾值。那么輸出層的權值和閾值的導數為：

[?E?W=Yl+1×δT] （9）

[?E?b=δ] （10）

（2） 池采樣層的靈敏度

池采樣層沒有權值和閾值，所以不存在權值和閾值的導數，只需要求出該層的靈敏度。

① 若池采樣層的下一層為全連接的輸出層，那么池采樣層的靈敏度為：

[δl+1i=WijTδj] （11）

式中：[δil+1]表示輸出層的第[j]個靈敏度；[Wij]表示輸出層的權值。

② 若池采樣層的下一層是卷積層，那么假設第[l+1]層為池采樣層，第[l+2]層為卷積層，且卷積層的靈敏度為[δl，]有[M]個特征圖。第[l+1]層中的每個特征的靈敏度等于第[l+2]層所有特征核的貢獻之和，那么池采樣層的靈敏度為：

[δl+1i=j=1Mδl+2j?Wl+2ij] （12）

式中：“[?]”表示卷積；[δil]表示第[l]層第[i]個特征映射的靈敏度；[δjl+1]表示第[l+1]層第[j]個特征映射的靈敏度；[Wl+1ij]表示第[l+1]層的權值，連接第[i]個特征靈敏度與第[j]個特征靈敏度。

（3） 卷積層的靈敏度

假設第[l]層為卷積層，第[l+1]層為池采樣層，且池采樣層的靈敏度為[δl+1，]那么卷積層的靈敏度為：

[δlj=up（（δl+1j））] （13）

[up（δl+1j）≡δl+1j?1kx×ky] （14）

式中：up（·）表示池采樣第[l+1]層的靈敏度特征映射；[δjl]表示第[l]層第[j]個特征映射的靈敏度；[δjl+1]表示第[l+1]層第[j]個特征映射的靈敏度；[kx×ky]表示采樣池的大小。

現在對于一個給定的特征映射，就可以計算出卷積層的權值和閾值的導數：

[?E?Wlij=u，v（δlj）uv（Yl-1i）uv] （15）

[?E?blj=u，v（δlj）u，v] （16）

式中：[Yl-1i]是第[l-1]層與權值[Wlij]作卷積的特征映射；輸出卷積映射的[（u，v）]位置的值是由第[l-1]層的[（u，v）]位置的特征映射與權值[Wlij]卷積的結果。

1.3 網絡權值和閾值的調整

所有層的權值和閾值的導數都可以用上述方法求得，然后再依據梯度下降法[13]調整權值和閾值，如下：

[ΔWijk+1=ηΔWijk+α（1-η）?E?Wijk] （17）

[Wijk+1=Wijk+ΔWij（k+1）] （18）

[Δbjk+1=ηΔbjk+α（1-η）?E?bjk] （19）

[bjk+1=bjk+Δbj（k+1）] （20）

其中：[k]表示迭代次數；[ΔWij，][Δbj]分別表示權值和閾值的調整值；[Wij，][bj]分別表示權值和閾值調整后的值；[α]為學習效率；[η]為動量因子。

在前向傳播過程中，得到網絡的實際輸出，進而求出實際輸出與目標輸出之間的誤差；在反向傳播過程中，利用誤差反向傳播，采用式（17）～式（20）來調整網絡的權值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個過程反復交替，直到達到收斂的要求為止。

2 深層卷積神經網絡的交通標志識別方法

2.1 應用原理

交通標志是一種人為設計的具有特殊顏色（如紅、黃、白、藍、黑等）和特殊形狀或圖形的公共標志。我國的交通標志主要有警告、禁令、指示和指路等類型，一般采用顏色來區分不同的類型，用形狀或圖形來標示具體的信息。從交通標志設計的角度來看，屬于不同類型（不同顏色）的交通標志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標志中同類的指示信息標志在形狀或圖形上比較接近，如警告標志中的平面交叉路口標志等。因此，從機器視覺的角度來分析，同類型中同類指示信息的標志之間會比不同類型的標志之間更易引起識別錯誤。換句話說，相比于顏色，形狀或圖形是正確識別交通標志的關鍵因素。

因此，在應用卷積神經網絡識別交通標志時，從提高算法效率和降低錯誤率綜合考慮，將交通標志轉換為灰度圖像并作二值化處理后作為卷積神經網絡的輸入圖像信息。圖2給出了應用卷積神經網絡識別交通標志的原理圖。該網絡采用了6層交替的卷積層和池采樣層來逐層提取交通標志的特征，形成的特征矢量由一個全連接的輸出層進行識別。圖中：[W1i]（i=1，2，…，m1），W1j（j=1，2，…，m2），…，[W1k]（k=1，2，…，m（n?1））分別表示卷積層[L1，L3，…，Ln-1]的卷積核；Input表示輸入的交通標志圖像；Pool表示每個池采樣層的采樣池；map表示逐層提取的特征子圖；[Y]是最終的全連接輸出。

交通標志識別的判別準則為：對于輸入交通標志圖像Input，網絡的輸出矢量[Y=[y1，y2，…，yC]，]有[yj=Max{y1，][y2，…，yC}，]則[Input∈j，]即判定輸入的交通標志圖像Input為第[j]類交通標志。

2.2 交通標志識別的基本步驟

深層神經網絡識別交通標志主要包括交通標志的訓練與識別，所以將交通標志識別歸納為以下4個步驟：

（1） 圖像預處理：利用公式Gray=[0.299R+][0.587G+0.114B]將彩色交通標志圖像轉換為灰度圖像，再利用鄰近插值法將交通標志圖像規格化，最后利用最大類間方差將交通標志圖像二值化。

（2） 網絡權值和閾值的初始化：利用隨機分布函數將權值[W]初始化為-1～1之間的隨機數；而將閾值[b]初始化為0。

（3） 網絡的訓練：利用經過預處理的交通標志圖像構成訓練集，對卷積神經網絡進行訓練，通過網絡前向傳播和反向傳播的反復交替處理，直到滿足識別收斂條件或達到要求的訓練次數為止。

（4） 交通標志的識別：將實際采集的交通標志圖像經過預處理后，送入訓練好的卷積神經網絡中進行交通標志特征的提取，然后通過一個全連接的網絡進行特征分類與識別，得到識別結果。

3 實驗結果與分析

實驗主要選取了我國道路交通標志的警告標志、指示標志和禁令標志三類中較常見的50幅圖像。考慮到在實際道路中采集到的交通標志圖像會含有噪聲和出現幾何失真以及背景干擾等現象，因此在構造網絡訓練集時，除了理想的交通標志以外，還增加了加入高斯噪聲、經過位移、旋轉和縮放處理和實際采集到的交通標志圖像，因此最終的訓練樣本為72個。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉、縮放的參數分別隨機的分布在±10，±5°，0.9～1.1的范圍內。圖3給出了訓練集中的交通標志圖像的示例。圖4是在實際道路中采集的交通標志圖像構成的測試集的示例。

在實驗中構造了一個輸入為48×48個神經元、輸出為50個神經元的9層網絡。網絡的輸入是像素為[48×48]的規格化的交通標志圖像，輸出對應于上述的50種交通標志的判別結果。網絡的激活函數采用S型函數，如式（2）所示，其輸出范圍限制在0～1之間。

表1給出網絡的結構參數，包括每一層的特征數、神經元數、卷積核尺寸和均值采樣尺寸等。

圖5給出一幅交通標志圖像在卷積層和均值采樣層的特征子圖的示例。

圖6是交通標志的訓練總誤差[EN]曲線。在訓練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個平穩的收斂過程，當迭代到10萬次時，總誤差[EN]可以達到0.188 2。

在交通標志的測試實驗中，為了全面檢驗卷積神經網絡的識別性能，分別針對理想的交通標志，加入高斯噪聲、經過位移、旋轉和比例縮放以及采集的交通標志圖像進行實驗，將以上測試樣本分別送入到網絡中識別，表2給出了測試實驗結果。

綜合分析上述實驗結果，可以得到以下結論：

（1） 在卷積神經網絡的訓練學習過程中，整個網絡的誤差曲線快速平穩的下降，體現出卷積神經網絡的訓練學習具有良好的收斂性。

（2） 經逐層卷積和池采樣所提取的特征具有比例縮放和旋轉不變性，因此對于旋轉和比例縮放后的交通標志能達到100%的識別率。

（3） 與傳統的BP網絡識別方法[11]相比較，卷積神經網絡能夠達到更深的學習深度，即在交通標志識別時能夠得到更高的所屬類別概率（更接近于1），識別效果更好。

（4） 卷積神經網絡對實際采集的交通標志圖像的識別率尚不能達到令人滿意的結果，主要原因是實際道路中采集的交通標志圖像中存在著較嚴重的背景干擾，解決的辦法是增加實際采集的交通標志訓練樣本數，通過網絡的深度學習，提高網絡的識別率和魯棒性。

4 結 論

本文將深層卷積神經網絡應用于道路交通標志的識別，利用卷積神經網絡的深層結構來模仿人腦感知視覺信號的機制，自動地提取交通標志圖像的視覺特征并進行分類識別。實驗表明，應用深層卷積神經網絡識別交通標志取得了良好的識別效果。

在具體實現中，從我國交通標志的設計特點考慮，本文將經過預處理二值化的圖像作為網絡的輸入，主要是利用了交通標志的形狀信息，而基本略去了顏色信息，其優點是在保證識別率的基礎上，可以簡化網絡的結構，降低網絡的計算量。在實際道路交通標志識別中，將形狀信息和顏色信息相結合，以進一步提高識別率和對道路環境的魯棒性，是值得進一步研究的內容。此外，本文的研究沒有涉及到道路交通標志的動態檢測，這也是今后可以進一步研究的內容。

參考文獻

[1] 劉平華，李建民，胡曉林，等.動態場景下的交通標識檢測與識別研究進展[J].中國圖象圖形學報，2013，18（5）：493?503.

[2] SAHA S K， DULAL C M， BHUIYAN A A. Neural network based sign recognition [J]. International Journal of Computer Application， 2012， 50（10）： 35?41.

[3] STALLKAMP J， SCHLIOSING M， SALMENA J， et al. Man vs. computer： benchmarking machine learning algorithms for traffic sign recognition [J]. Neural Network， 2012， 32（2）： 323?332.

[4] 中國計算機學會.深度學習：推進人工智能夢想[EB/OL].[2013?06?10].http：//www.ccg.org.cn.

[5] 鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition： a self?organizing neural network model for a mechanism of pattern recognition unaffected by shift in position [J]. Biological Cybernetics， 1980， 36（4）：193?202.

[7] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. IEEE Journal and Magazines， 1989， 86（11）： 2278?2324.

[8] LECUN Y， BOTTOU L， BENGIO Y， et al. Backpropagation applied to handwritten zip code recognition [J]. Neural Computation， 1989， 1（4） ： 541?551.

[9] CIRESAN D， MEIER U， MASCI J， et al. Multi?column deep neural network for traffic sign classification [J]. Neural Networks， 2012， 32（2）： 333?338.

[10] NAGI J， DUCATELLE F， CARO D， et al. Max?pooling convolution neural network for vision?based hand gesture recognition [C]// 2011 IEEE International Conference on Signal and Image Processing Application. Kuala Lumpur： IEEE， 2011， 342?347.

[11] 楊斐，王坤明，馬欣，等.應用BP神經網絡分類器識別交通標志[J].計算機工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL]. [2006?11?12]. http：//cogprints.org/5869/.

[13] 周開利，康耀紅.神經網絡模型及其Matlab仿真設計[M].北京：清華大學出版社，2005.

[14] 孫志軍，薛磊，許陽明，等.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806?2810.

[15] 劉建偉，劉媛，羅雄麟.深度學習研究進展[J].計算機應用研究，2014（7）：1921?1930.