多尺度特征融合與極限學習機結合的交通標志識別

馬永杰，程時升，馬蕓婷，陳 敏

(西北師范大學 物理與電子工程學院，甘肅 蘭州 730070)

1 引 言

在智能交通系統(Intelligent traffic system，ITS)中，交通標志識別是其重要研究內容。由于交通標志識別是基于路面實況的復雜自然場景中的識別，很容易受到復雜光照、運動模糊、旋轉傾斜、人為破壞、復雜環境背景干擾等條件的影響。

為了解決這些問題，大量的算法被提出。交通標志的識別主要由特征提取和分類器設計兩部分組成，傳統的特征提取算法主要依賴人工提取特征，如HOG特征(Histogram of Orientated Gradient)[1]、Haar特征[2]、SIFT特征(Scale-invariant feature transform)[3]、LBP特征(Local Binary Pattern)[4]等。上述算法運用人工設計的特征提取算法，提取的特征都很有限，無法得到圖像深層次的特征，在分類識別上有一定的局限性。

近年來隨著硬件設備的發展，深度學習算法在計算機視覺領域得到很大的發展，很多分類方法不再使用人工特征提取算法，而是將彩色圖像或者灰度圖像直接輸入到卷積神經網絡(Convolutional Neural Network, CNN)當中，通過CNN自主學習圖像特征，調整參數。劉占文[5]等提出了一種基于圖模型與卷積神經網絡的交通標志識別，在對限速標志的識別分類中有很好的表現，取得了較好的識別效果。Zeng 等[6]使用深度神經網絡和極限學習機對交通標志進行識別，用深度神經網絡進行特征提取，采用極限學習機(Extreme Learning Machine，ELM)對學習到的特征進行分類識別，識別準確率有所提高，但由于僅利用了最后一層特征圖，沒有考慮到不同尺寸卷積核提取到的不同特征信息對分類的影響，對特征的表達能力不足。

傳統CNN特征提取方法需要輸入固定大小的圖片，但實際上識別目標的尺寸是不相同的，且單一尺寸的卷積核容易丟失一些重要信息。在深度學習中, 多尺度信息的輸入可以防止設計的卷積神經網絡陷入局部最優解, 促進網絡參數的更新，大量CNN研究工作及其應用都是基于多尺度方向展開的[7-10]。

Liu等[11]提出了一種抽樣輪廓波變換(Non-Subsampled Contourlet Transform，NSCT)和卷積神經網絡的X射線圖像多尺度融合框架，通過執行NSCT對輸入圖像進行預處理，提取豐富的特征集合，獲得圖像多尺度、多方向的表示。該方法與相應的空間域方法相比具有明顯優勢，在該領域的未來研究中具有很大的潛力。Xiang[12]等設計了一個非對稱多尺度卷積神經網絡用于人蛋白圖譜(Human Protein Atlas，HPA)分類，通過輸入不同尺度的圖像，設計了3組卷積層個數相同但卷積核大小不同的非對稱卷積神經網絡，該方法可以自動提取圖像深度特征，實現多標簽HPA識別。實驗表明，相比于單一尺度，采用多尺度特征提取方法分類效果得到明顯改善。Sérgio[13]提出了一種基于卷積神經網絡和傳統特征提取器的手部姿態識別方法，并使用二進制、灰度和深度數據以及兩種不同的驗證技術進行了大量的實驗，實驗表明基于特征融合的卷積神經網絡在驗證技術和圖像表示的組合中表現得更好。

在交通標志的識別中，車輛行駛中所采集到的交通標志圖像，由于相對位置的不斷變化，圖像尺寸也在不斷地改變。因而本文提出了一種多尺度特征融合的CNN結構, 通過將不同尺度的圖像輸入到適合圖像尺寸的訓練網絡，提取不同尺度的特征并將其進行融合為一個新的網絡，最后將融合網絡的全連接層進行訓練，得到具有更強表達能力的特征向量，再將得到的特征向量送入ELM分類器實現交通標志識別。

2 多尺度特征融合與ELM結合的交通標志識別方法

2.1 網絡主體結構

交通標志圖像是自然場景中的圖像，容易受到光照、形變、拍攝角度以及人為涂抹破壞的影響，對交通標志識別研究具有一定的挑戰。CNN對于輸入圖像的平移、縮放、傾斜等形變具有較好的魯棒性，但是CNN模型最終的識別效果會因為輸入圖像尺寸的改變而發生變化[14]。圖像金字塔是把圖像表示為一系列圖像集合，并且分辨率是逐漸降低的，可用于對數據集的擴增，實際也是一種多尺度的一種體現[15]。受圖像金字塔的啟發，采用不同尺寸交通標志圖像作為輸入，可以使模型具有更強的魯棒性。在深度學習中，多尺度的信息輸入再融合，可以防止算法求解過程中陷入局部最優解，有利于網絡參數的更新，并且可以獲得圖像更多的信息，增強模型的魯棒性[16]。融合模型的網絡參數較為龐大，ELM算法在訓練時需要調整的參數小，訓練時間會減少[17]。

因此，本文提出多尺度特征融合與ELM結合的交通標志識別算法，首先將交通標志圖像進行預處理，增強圖像的局部特征，然后將圖像分為3個尺寸輸入到對應的網絡之中，并在3個網絡中分別進行適合圖像尺寸的卷積和下采樣操作，將3個網絡上得到的特征在全連接層進行融合，最后將融合網絡得到的特征向量送入ELM分類器進行識別。為適應不用尺寸圖像的特征，所設計網絡的卷積核大小不同，網絡深度也不同，大尺寸的卷積核通過卷積操作可以得到更加邊緣和全局的特征，而小尺寸的卷積核可以得到紋理更加突出的局部特征。

多尺度卷積神經網絡的算法步驟包括:

(1)對交通標志圖像進行預處理，增強圖像的局部特征，然后歸一化為3個尺寸圖像輸入網絡，預訓練網絡模型。

(2)根據輸入圖像尺寸大小的不同設計適合交通標志識別的卷積核尺寸和網絡深度。

(3)在預訓練網絡模型的第一個全連接層，將3個網絡生成的特征圖利用串行融合的方法進行融合，再將融合后的網絡進行微調，訓練融合網絡的全連接層。

(4)將融合網絡得到的特征向量輸入ELM分類器進行交通標志識別，網絡結構如圖1所示。

圖1 多尺度卷積神經網絡的結構Fig.1 Structure of multi-scale convolution neural networks

2.2 數據預處理

實驗數據集采用的是2011年在神經網絡國際聯合會議上，波鴻大學公布的由INI-RTCV組織建立的德國交通標志數據庫(GTSRB)。該數據庫是車載高清攝像頭在駕駛場景的視頻中截取出來的，包含43類交通標志，如圖2所示。其中訓練集有39 029幅，測試集有12 630幅，總計為51 839幅圖像。圖片質量參差不齊，受到自然場景光照、圖片采集角度變化、人為涂抹污染等諸多條件的影響，可以檢驗算法的實時性與魯棒性。數據預處理包含數據增強和圖像尺寸歸一化兩部分內容。

圖2 GTSRB數據庫的43類交通標志Fig.2 43 classes traffic signs in GTSRB dataset

2.2.1 數據增強

數據增強的目的是凸出圖像的細節部分，提高圖像的清晰度，直接對彩色圖像進行數據增強可以保持圖像更多的梯度特征，使網絡提取到的特征更加全面。直方圖變換增強可以避免使用灰度化之后的圖像丟失圖像顏色特征，因此本文選擇使用直方圖均衡化進行圖像增強，如圖3所示。

圖3 原始圖像與直方圖均衡化對比Fig.3 Original image and histogram equalization

2.2.2 圖像尺寸歸一化

GTSRB數據庫中圖片從自然場景中采集，由于拍攝角度的變化，使交通標志圖像尺寸大小參差不齊，而卷積神經網絡在輸入圖片時需要將圖像尺寸歸一化，不同尺寸的圖像對于網絡的分類能力會有影響，考慮運算量并盡量保留更多的特征，本文選擇雙線性插值法對圖像進行歸一化處理。把圖像歸一化為32×32，64×64，128×128三組不同尺寸的圖像作為數據集輸入相應的預訓練網絡。

2.3 多尺度CNN特征提取

卷積神經網絡主要由可見層和隱藏層組成?？梢妼又傅氖禽斎?、輸出層，隱藏層包括卷積層、下采樣層和全連接層。本文算法進行多尺度融合卷積，所以應該著重考慮輸入層尺寸的選擇和卷積層設計，為適應不同尺寸圖片的特征提取，選擇不同大小的卷積核。

(1)在模型設計中，首先把圖像預處理成大小不同的3種尺寸，即32×32，64×64，128×128，以不同的尺寸分別輸入到3個預訓練CNN之中，并且根據尺寸大小的不同設計相應的卷積層和網絡深度。32×32的圖像用3個卷積層進行特征提取，第一層卷積層采用5×5的卷積核，后兩層采用3×3的卷積核。64×64的圖像用4個卷積層進行提取特征，前2層卷積層采用5×5的卷積核，后2層采用3×3的卷積核。128×128的圖像用5個卷積層提取特征，第一層卷積層采用7×7的卷積核，中間兩層采用5×5的卷積核，最后兩層采用3×3的卷積核。卷積層上的每個特征圖都代表提取到的一組特征，并且每個特征圖的每個神經元都與上一層的局部感受野相連接，實現權值共享。卷積層的計算公式為：

(1)

式中，Mj指的是所有圖像特征的集合，kij是卷積核，bj是每個圖像特征的偏移量。不同深度的網絡對特征提取的能力不同，并且不同尺寸的卷積核所提取到的圖像信息也不同，具體網絡參數如表1所示。

(2)在卷積層得到特征響應圖之后用ReLU激活函數進行非線性表達映射到下一層。ReLU是一種從底部進行半修正的函數，其數學公式是：

(2)

當輸入x≤0時，輸出為0值，當x>0 時，輸出為輸入值x。該函數為非飽和函數，解決了梯度消失問題。

(3)由于下采樣層具有降低特征維度的作用，但是又不改變特征圖的數目，并且下采樣層一定程度增強了對圖像位移、縮放和扭曲等形變的魯棒性，所以在經過非線性映射之后將特征圖輸入下采樣層。下采樣操作的方式有最大池化法和平均池化法兩種，如圖4所示。本文選擇最大池化法進行下采樣操作。最大池化法是提取圖像區域中最大值作為該區域池化后的值，并且在進行池化之后，網絡的輸出深度不變。下采樣的公式為：

表1 多尺度卷積神經網絡模型參數設置Tab.1 Parameter setting of multi-scale convolution neural network model

(3)

式中，d表示一個下采樣函數，βj為權重系數，bj為偏置系數。

(4)在3個預訓練網絡的第一個全連接層之后添加一個dropout層，隨機刪除網絡一部分神經元，可以降低網絡的參數，并預防和降低網絡的過擬合。

圖4 最大池化和平均池化Fig.4 Max pooling and average pooling

2.4 多尺度特征融合

多尺度融合卷積神經網絡的具體參數如表1所示，其中Conv表示該層只有一個卷積層，Conv/pooling表示該卷積層之后還包含一個池化層，每個卷積層之后都有一個ReLU激活函數層，多尺度特征級聯方式用公式(4)實現：

(4)

式中：Fi為不同的預訓練網絡的全連接層的特征，n為用于特征級聯的預訓練CNN的個數。特征融合在3個預訓練網絡的第一個全連接層進行，融合的方法為特征層疊加，每兩個預訓練網絡的全連接層之間用一個Concat層進行特征拼接，本文選擇在通道上進行拼接，拼接實現方式如下：

(5)

對于兩路輸入來說，如果通道數相同且后面帶卷積，則式中Xi和Yi分別代表兩個不同網絡的其中任意的一個通道，K代表卷積核，Zconcat代表單個輸出通道的拼接。

(6)

式中N為特征圖的數量，F1、F2、F3分別表示本文3個預訓練網絡的全連接層，C1、C2、C3分別代表3個預訓練網絡中的某一個通路，FMCNN代表在通道上進行拼接得到的全連接層的特征圖，H和W分別代表特征圖的高和寬。

將拼接后的特征輸入到融合網絡的全連接層，并微調融合網絡的全連接層，最后將融合的特征送入ELM分類器進行分類。多尺度特征融合網絡有很多優點，不同尺寸圖像設計適合的卷積核和網絡深度，大尺寸的卷積核提取圖像的粗粒度特征，可以保留交通標志的輪廓特征；小尺度卷積核有助于細粒度特征的提取，局部紋理特征在特征圖中也可以很好地展現。不同尺寸圖像特征圖的組合輸入，粗粒度與細粒度的結合，提高了網絡的識別精度和表達能力。

2.5 ELM分類器

通常卷積神經網絡使用Softmax分類器對圖像進行分類，在易混淆的圖像中表現不佳。多尺度特征融合網絡參數較大，特征向量維度高于單一尺度特征?？紤]到模型的高效性，需要選擇一種計算量小、訓練時間短、滿足模型高效性的分類器。ELM是一種新型的快速學習算法，對于單隱層神經網絡，ELM可以隨機初始化輸入權重和偏置并得到相應的輸出權重，不需要重復調整權值和閾值，降低了計算復雜度，訓練時間更快，保證了模型的高效性，其結構如圖5所示。

圖5 ELM分類器結構Fig.5 ELM classifier structure

由圖5可以看出，ELM由輸入層、隱含層、輸出層3層組成，其中輸入x為多尺度特征融合網絡得到的特征向量，d為輸入的維度(x∈Rd,x=(x1,...,xd)T)，特征向量x在隱層被映射為向量 (G(a1,b1,x),…,G(aL,bL,x))T。其中G(ai,bi,x)是第i個加性隱節點的輸出, 其計算公式如下：

G(ai,bi,x)=g(ai·x+bi),
ai∈Rd,bi∈R，

(7)

式中：g為激活函數，ai表示第i個隱形節點與所有輸入節點之間的權重，bi表示偏置，i=1,2,…L。輸入的交通標志特征向量在隱層經過線性變換后，輸出一個m維的向量f(x)，其公式如下，m相當于交通標志識別的43個類別。

(8)

ELM的訓練集合為{(xj,tj)|xj∈Rd,tj∈Rm,j=1,…,N}，式中xj為融合網絡輸出的多尺度交通標志特征向量，tj為xj的標簽，在對ELM分類器進行訓練時，每個交通標志的特征向量xj傳入ELM分類器中，tj為期待輸出結果，并且每個標簽向量tj都有一個特征向量xj對應。對于回歸分類算法，標簽tj直接代表了模型對于輸入向量xj的響應，隨機初始化輸入權重和偏置(ai,bi,i=1,…,L)，并得到相應的輸出權重, 隱含層和輸出層之間的連接權值(βi,…，βL)不需要迭代調整，而是通過解方程組一次性確定，公式如下：

Hβ=T，

(9)

其中H和β分別為：

(10)

式中：H是隱層節點的輸出，β為輸出權重，T為期望輸出。

β*的最小二乘解可以利用MP廣義逆解析得到，并且具有最小范數：

β*=H?T，

(11)

其中，H?是矩陣H的Moore-Penrose廣義逆。最終可以得到ELM的輸出方程：

f(x)=β*Th(x)，

(12)

綜上所述，ELM的訓練與測試過程如圖6所示。

圖6 ELM的訓練與測試過程Fig.6 ELM training and testing process

3 實驗結果與分析

3.1 實驗方案

(1)將不同尺寸圖像輸入網絡進行預訓練，畫出各個預訓練網絡的訓練曲線，確保該預訓練網絡的合理性，并可用于模型融合。

(2)多尺度特征級聯。將預訓練好的3個網絡的全連接層進行特征級聯，并進行比選實驗，設計不同的特征級聯方式，選擇出分類性能最好的一組。

(3)將得到的特征向量分別輸入到支持向量機，Softmax分類器中進行分類識別，并與本文使用的ELM分類器進行對比。

(4)針對GTSRB數據集，采用不同的算法和本文算法進行分類，比較總體分類精度和分類時間，評估算法性能的優劣。

3.2 實驗環境

實驗所用的計算機配置是I5-7500處理器， 3.4 GHz主頻， 16 GB內存，Nvidia GeForceGT730顯卡，Ubuntu 16.04版本的Linux 操作系統，深度學習框架為Caffe[18]，軟件編程環境為Python 2.7。

在實驗設施配置差別不大、識別速度相近的情況下，識別準確率KAcc作為評價算法性能的主要指標：

(13)

式中：ni代表識別正確的樣本，N代表測試的樣本總量。

3.3 實驗結果及分析

3.3.1 網絡模型的預訓練

用德國交通標志數據庫(GTSRB)對3個網絡進行預訓練，3個網絡均使用隨機梯度下降算法進行參數更新，訓練網絡模型的參數配置相同，基礎學習率為0.01，防止過擬合的權重衰減項為0.000 5，學習率變化因子為0.1，最大迭代次數為10 000，學習率調整策略為step，調整策略參數step_size設置為3 000，進行3次學習率的調整，通過訓練損失值和測試損失值來判斷預訓練的網絡是否存在過擬合現象，以保證融合模型的精度。圖7顯示了4個模型的分類精度、訓練損失值和測試損失值變化曲線，其中圖7(a)為輸入圖片尺寸為32×32的網絡性能曲線，圖7(b)為輸入圖片尺寸為64×64的網絡性能曲線，圖7(c)為輸入圖片尺寸為128×128的網絡性能曲線，7(d)為融合模型的網絡性能曲線。

由圖7可以看出，預訓練模型隨著迭代次數的不斷增加，分類精度都是先快速增長，再逐漸趨于平穩，表明預訓練的模型有較好的泛化能力，可用于模型的融合。損失值也是在前幾次迭代過程中快速降低之后再趨于平穩，最終基本保持不變，表明模型的學習能力逐漸下降，分類精度提升趨于平穩。融合后的模型，測試損失值的下降速度雖然不如預訓練模型，但是分類精度更高，達到99.32%后逐漸趨于平穩。

(a)Size_32

(b) Size_64

(c)Size_128

(d) Multi-scale圖7 損失值和分類精度Fig.7 Cross entropy loss and classification accuracy

3.3.2 特征級聯

由上文所述的級聯公式(4)，將網絡進行級聯，根據級聯CNN的數量分為二網絡級聯和三網絡級聯，再將級聯網絡的全連接層進行二次訓練。表2為不同級聯方法分類結果。

從表中可以看出，在單獨的網絡中輸入尺寸為32×32的圖像時識別精度較高，這是因為該交通標志數據集的圖像分辨率在15×15到222×193像素。統計結果顯示，像素值大小的中位數為41×40，所以網絡在該尺寸的識別率較高。融合的網絡相對于單一網絡分類的準確率都有所提高，表明不同網絡之間的相互組合可以提高識別精度。

表2 不同級聯方法分類結果Tab.2 Classification results of different cascading method

3.3.3 與其他分類器的對比

為了驗證本文所示用的分類器的優勢，設計了對比實驗，將融合后得到的特征向量，分別輸入到SVM分類器和Softmax分類器中，與本文ELM分類器從分類精度和分類時間兩個方面進行對比，實驗結果如表3所示。

表3 不同分類器性能比較Tab.3 Performance comparison of different classifiers

從表3可以看出，ELM分類器的分類精度相較于SVM和Softmax分類器有所提高。這是由于ELM模型具有較低的復雜度，在相同時間內可處理更多的數據，增強了模型的泛化能力。此外，由于ELM分類器輸入層和隱含層之間的參數采用隨機初始化，且之后無需再進行調整，因此，ELM分類器學習速度更快，使得ELM分類器具有更快的分類速度。

3.3.4 與其他分類算法的對比

由表4可知，本文模型相對于ANN和Random forests兩種算法的識別精度都有一定提高，并且分類時間都大幅度下降。相對于文獻[19]和文獻[20]，分類精度提升不多，但是在分類時間上仍然具有一定優勢。

表4 不同方法在GTSRB數據集識別結果對比

Tab.4 Comparison of different methods in GTSRB dataset recognition results

AlgorithmClassificationtime/msAccuracyrate /%ANN17889.63Random forests21196.14Algorithm of Ref.[19]9398.82Algorithm of Ref.[20]8498.13本文算法4699.23

文獻[19]為驗證算法的魯棒性和在復雜環境下的分類性能，在原測試集中選取了光照不足、受到遮擋和圖像模糊的圖像各30幅組成新的測試集，并且在單層特征和多層特征下對新的測試集進行了驗證。本文用相同的方法選取測試集對算法進行驗證，并且對新的測試集不進行圖像增強處理，與文獻[19]的對比，結果如表5所示。

表5 復雜環境下識別分類精度對比

Tab.5 Comparison of recognition classification accuracy in complex environment

AlgorithmInsufficientillumination/%Obscured/%Blurredimage/%SCF-ELMof Ref.[19] 95.0193.7294.63MCF-ELMof Ref.[19] 97.1596.0196.68Algorithm ofthis papor97.6297.1898.01

與表4中本文算法的分類準確率相比，在數據集都是復雜環境下的圖像時，分類精度有所下降(表5)，并且在受到遮擋的條件下精度下降較為明顯，但是在整體情況下相對于文獻[19]中的單層特征提取和多層特征提取算法都有所提升，特別在圖像模糊的條件下提升較為明顯。

本文采用多尺度圖像輸入，間接地增加了數據集的數量，并使用不同的3個網絡對不同尺寸的圖像進行預訓練，卷積核大小也是根據數據集輸入圖片大小所設計，最后在融合網絡進行分類。多尺度的信息輸入再融合，可以防止算法求解過程中陷入局部最優解，有利于網絡參數的更新，并且可以獲得圖像更多的信息，增強模型的魯棒性[16,21-23]。在交通標志圖像受環境影響較大時，特別是對于拍攝形變造成模糊的圖像，本文設計的多尺度卷積融合網絡在復雜環境下的魯棒性相比于文獻[19]中的多層特征融合更加優越。

表6為本文算法與其他多尺度CNN方法和單一尺度CNN算法的性能對比結果。文獻[20]采用的多尺度交通標志識別方法是將每一個池化層的輸出都施加到后端全連接層，再利用ELM分類器進行分類。

表6 與其他多尺度方法的對比Tab.6 Comparison with other multi-scale methods

從表6可以看出，由于本文使用3個預訓練網絡進行融合，所以參數規模要比文獻[20]中的多尺度方法和單一尺度方法大，但是本文算法的損失值要遠比文獻[20]中的方法小很多，說明本文的多尺度融合模型的泛化能力和交通標志的特征表達能力要優于文獻[20]中的多尺度模型，并且在準確率上也高出0.41%。

本文設計的多尺度卷積融合算法相對于文獻[20]中的多尺度方法可以得到更高的準確率和網絡模型的泛化能力，原因在于：

(1)在輸入上使用3種不同尺寸圖像，CNN模型最終的識別效果會因為輸入圖像尺寸的改變而發生變化[14]，相對于文獻[20]中把圖片歸一化成為32×32尺寸的輸入，多尺度信息的輸入可以增強模型的性能。

(2)在卷積層的設計上，文獻[20]設計了3層卷積，并且每個卷積核的大小都是5×5。本文所設計網絡的卷積核大小不同，每個預訓練網絡深度也不同。大尺寸的卷積核提取圖像的粗粒度特征，可以保留交通標志的輪廓特征。小尺度卷積核有助于細粒度特征的提取，可以提取交通標志的局部紋理特征。不同尺寸圖像特征圖的組合輸入，粗粒度與細粒度的結合，相比于單個網絡的多尺度提取特征，融合網絡多尺度的性能更好。

(3)在網絡設計上，本文雖然是由3個預訓練網絡模型組合得到最后的特征圖，但最終識別是在融合網絡上完成，并且在融合網絡的全連接層進行二次訓練，再輸入ELM分類器進行分類。相比于每一個池化層的輸出都施加到后端全連接層，再利用Softmax分類器進行分類，本文得到的特征圖數目更多，信息也更全面，并且選擇ELM作為分類器對于分類精度的提高也起到了一定作用。

因此，本文多尺度特征融合與ELM結合的算法相較于文獻[20]性能有一定的提升。

4 結 論

交通標志識別是智能交通系統的重要組成部分，自然場景中的交通標志受環境影響較為復雜，采集到的交通標志尺寸大小也是多樣化的，因此本文提出一種多尺度特征融合與ELM結合的交通標志識別方法。將單一尺度的圖像經過圖像增強，使圖像細節特征更加明顯，再分別將尺寸歸一化成3種不同的尺寸，然后構建適應圖像尺寸的3個網絡進行預訓練，最后將3個網絡中學習到的特征進行融合，對融合網絡模型進行微調，將融合模型得到的多尺度特征輸入ELM分類器進行分類。圖像提取到的特征更加全面，分類識別的準確率大幅提升。實驗通過在GTSRB交通標志數據集上進行實驗，識別率達到了99.23%。