基于深度學習的交通標志物識別研究

沈陽理工大學信息科學與工程學院 中國科學院沈陽自動化研究所機器人學國家重點實驗室 秦麗娟

沈陽理工大學信息科學與工程學院 閆昊男

隨著城市交通流量日益增大，交通管制難度也不斷增大。擁堵、路況復雜等因素，不僅對交通管制形成嚴峻挑戰(zhàn)，作為駕駛員來說，也是壓力倍增。針對這種形式，相關人員陸續(xù)著手研發(fā)智能交通系統(tǒng)（TSI），TSI自誕生以來，在緩解交通擁堵和強化交通管制方面發(fā)揮著越來越重要的作用，TSI的應用越來越廣泛。不管是無人駕駛技術，還是智能輔助駕駛系統(tǒng)，都對TSI有著不同的程度的依賴和需求；同時，日新月異的信息技術和大數(shù)據(jù)處理，也讓TSI面臨著新的挑戰(zhàn)。交通標識物的識別研究，是TSI當中最重要的一個研究方向，且變得越來越重要。本文基于SVM網(wǎng)絡的變形，優(yōu)化出一種基于卷積神經(jīng)網(wǎng)絡一對多SVM交通標志物識別算法，其次，在交通標志物檢測方面，在的卷積神經(jīng)網(wǎng)絡基礎上，結合深度學習對檢測算法做出優(yōu)化和改進。測試結果表明，這兩種優(yōu)化方式在識別的準確率上都有良好的表現(xiàn)。

交通標志物是指一類包含著豐富交通信息的的指示標志，作為道路交通的重要組成部分，為駕駛員提供大量指示信息，避免交通事故發(fā)生，從而保護人身財產(chǎn)安全，發(fā)揮著巨大的作用。在交通管理過程中，交通標志物起到引導、限制、警告等作用，是保障道路交通安全、順暢的重要措施。然而，受到交通環(huán)境的日趨復雜、光照條件的變化、植被障礙物遮擋等因素的影響，對交通標識的清晰辨別形成挑戰(zhàn)，加上認為因素如疲勞駕駛、粗心大意等影響，更加劇了交通標識的識別難度。故基于深度學習的交通標志識別，在輔助駕駛及無人駕駛技術的研究方面，起著越來越大的作用。

目前，交通標志檢測與識別技術的理論基礎已經(jīng)很成熟，但是目前的研究成果還無法在實際生活中廣泛應用。當前的系統(tǒng)存在識別率和時間無法同時兼顧的問題，并且一個系統(tǒng)只能應用于一個國家。如果識別率高，則檢測時間將較長；如果檢測時間短，則識別率將較低。

因此，可以相信，在學者們的不斷努力下，將在這兩者直接取好平衡點，交通標志檢測與識別系統(tǒng)將很快投入實際應用。

1 深度學習概念

隨著人工神經(jīng)網(wǎng)絡研究的不斷深入，科學家提出了一種全新的無監(jiān)督學習方式，即深度學習，其目的是為模擬人腦進行學習分析的神經(jīng)網(wǎng)絡。其特征是該網(wǎng)絡能通過組合低層特征形成抽象的高層特性，以表示其事物的屬性特征，從而發(fā)現(xiàn)數(shù)據(jù)分布規(guī)律的函數(shù)模型。

交通標志識別及檢測的關鍵在于交通標志圖像的特征分析，其內(nèi)涵為利用圖像的不變特征，達到實現(xiàn)面向同一場景而變形較大的圖像識別，此識別的圖像獲取途徑主要又兩種：即人工提取和機器自動學習。人工設計提取的方法，在交通標志識別方面的應用已經(jīng)得到推廣；但是，人工設計提取的方法，往往需要非常復雜的設計和計算，且非常耗時。

深度學習是機器學習的一個新方向，從本質(zhì)角度看，深度學習首先需要完成多層次機器學習模型的構建過程，通過大量的數(shù)據(jù)統(tǒng)計和運算，從訓練數(shù)據(jù)中學習更能刻畫數(shù)據(jù)內(nèi)在信息的特征，經(jīng)過分類和判斷，并對目標進行預測。

2 基于不變特征深度學習的交通標志檢測

交通標志的顏色、尺寸、形狀均是特定的，并且滿足有關設計規(guī)定的要求；不同的組合代表著不同的含義。道路環(huán)境圖像的采集由車載圖像信息采集裝置實現(xiàn)，先后經(jīng)形態(tài)分解和圖像分割兩個處理過程，達到實現(xiàn)交通標志檢測的目的，而交通標志的檢測是交通標志識別的第一步。

檢測的任務是從采集的圖像中將候選區(qū)域分割出來，判斷已分割區(qū)域內(nèi)是否包含交通標志，若是，則挑選出來。經(jīng)過檢測階段獲得的位置區(qū)域和分類階段賦予的標簽是對應的，若檢測過程出現(xiàn)錯誤，則無法得到正確的分類結果。綜上，影響交通標志識別系統(tǒng)有效性與準確率的直接因素是檢測結果是否準確，影響交通標志識別系統(tǒng)實時性的關鍵因素是檢測速率。

檢測任務過程主要包括交通標志的特征和SVM分類，分類框架如圖1所示：

圖1 SVM分類框架圖

2.1 深度卷積神經(jīng)網(wǎng)絡

本文的交通標志檢測是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡（CNN）模型上，結合深度學習而采用的一種深度神經(jīng)網(wǎng)絡（DNN），因深度神經(jīng)網(wǎng)絡架構包含多個階段，下一階段輸入量通常選擇上一階段獲得的輸出結果，依此類推進行堆疊。現(xiàn)階段，通常采用圖2所示的分階段DNN架構進行無監(jiān)督訓練。

第一階段的輸入是網(wǎng)絡參數(shù)矩陣A1，該矩陣由訓練小尺寸圖像獲得，第二階段的輸入是A1經(jīng)卷積和映射得到的結果，對其進行訓練后得到A2，根據(jù)圖2發(fā)現(xiàn)，每一個階段訓練過程包含的環(huán)節(jié)數(shù)均為兩個，一是采用歸一化方式處理數(shù)據(jù)，先將輸入的每一行數(shù)據(jù)進行正交歸一，避免輸入數(shù)據(jù)中存在的具有較大相關性的集中數(shù)據(jù)對訓練結果造成影響，對改善后續(xù)以梯度為基礎的學習階段是有利的，二是求解網(wǎng)絡參數(shù)矩陣，采用的方法是循環(huán)迭代法。通過堆疊各個階段抽取特征的過程是逐層進行的，可有效擴展本次設計所選擇的DNN架構，使其突破兩段式的局限。同時，每一個階段采用獨立的方式訓練各個模塊，網(wǎng)絡訓練過程更簡單。

圖2 分階段DNN架構

2.2 交通標志的特征提取

深度學習通過無監(jiān)督分階段訓練后，分別導出第一階段和第二階段的特征映射矩陣，以32×32的灰度圖像為例，特征的提取過程具體步驟為第一階段特征提取→第二階段特征提取→特征向量分析；

假設第一階段特征映射窗口大小為16×16，池化策略分別為3×3、6×6、12×12的塊聚集，窗口滑動步長為兩個像素，總共包括81個16×16的塊，記為Bi，其中，i=1，2，3，4···，81，采用歸一化的方式對各個Bi進行處理，采用一維向量的方式表示各個二維矩陣，下面以第一階段進行分析，若用Ci表示塊向量，則經(jīng)過映射獲取的矩陣大小是256×256，并將Ci映射為特征向量函數(shù)?ⅰ，維數(shù)是256維，其中i表示塊號，分別是1至81之間的整數(shù)。

其次，由于上述得到的塊特征向量?ⅰ共81個，分別采取3×3的塊聚集池化，得到9個聚集塊的特征向量g?1（?1=1，2，····，9）；采取同樣方法，對81個塊特征向量?ⅰ采取6×6和12×12的塊聚集池化，分別得到4個聚集塊的特征向量g?2和1個聚集塊的特征向量g。

在第一階段提取的結果上，將9×9個大小為16×16的塊組成一個大塊，池化策略為2×2的塊聚集，令第二j階段包含n2個大塊，第к個大塊與高維特征向量uк相對應，是組合81個特征向量?ⅰ得到的，維數(shù)均為256維，接著將uк輸入到第二階段，并進行對應的特征提取過程，大塊序列號к=1，2，··，n2。對uк進行PCA降維后，得到300維特征向量，Vк，再通過特征映射矩陣將Vк映射為第二階段特征向量?к，其中，第二階段的特征映射矩陣為300×300的二維矩陣，?к為300維向量。

一個32×32尺寸的交通標志圖像特征向量?便是由第一和第二階段的特征向量聯(lián)合得來得。其中，?1描述的是全局信息，g描繪的是局部區(qū)域信息。圖像的特征?為3884維向量。

2.3 SVM的分類

針對SVM多分類問題，有兩種形式可供選擇，一種是一對多，構造超平面的對象是某一樣本與剩余樣本，輸出結果是，即最優(yōu)分類超平面參數(shù)，數(shù)量共k個。另一種是一對一形式。對于待分類樣本xtest，使用判別函數(shù)直接斷定其屬于k類中的某一類，相比較一對一SVM多分類法，一對多的SVM多分類法構造超平面耗時，但由于決策平面數(shù)少，分類速度反而更快，

3 實驗分析及結果

我國的交通標志主要分為禁止、警告、指示、施工、限速等標志。本文交通標志實驗數(shù)據(jù)包括了如圖3所示城市道路環(huán)境中50種常見交通標志，每類交通標志有多達280個訓練樣本，其測試樣本則多達1100多個。

圖3 城市交中常見的50類交通標志樣本

圖3中的交通標志樣本采集自同一個城市，不同光照條件、天氣狀況下的視頻。交通標志檢測算法提取了感興趣區(qū)域（交通標志）圖像。分辨率皆維持在30×30～150×150之間。按照前文所說的提取方法，給每一個標志圖像提取了7768維特征向量。

采用SVM分類法，對圖中標志通過j距離閾值決策法來判定歸類，實驗所設置的閾值為t=1.1，兩者的相似率高達99.5%。為進一步測試本文交通標志特征提取方法的有效性，進行1類對49類的SVM多分類，構造超平面的對象是某一小類樣本與剩余小類樣本（共49個），輸出結果是最優(yōu)分類超平面參數(shù)。將尚未分類的樣本使用辨別函數(shù)之間進行判斷，總共50類的總平均正確率為99.6%。

結論：本文基于深度學習框架自動學習對不同階段進行處理，并輸出特征映射矩陣，接著以此為基礎將交通標志圖像的第一階段特征和第二階段特征提取出來，并將其聯(lián)合輸出作為交通標志的特征；最后使用支持向量機進行交通標志分類，實驗結果表明，此分類和檢測方法對交通標志的識別具有非常有效的泛化性，且能準確識別交通標志。