深度特征重構與權重分配的交通標志識別算法

朱 軍,侯振杰,陳樹越,蘇海明

(常州大學 信息科學與工程學院,江蘇 常州 213164) E-mail:jjundwayne@gmail.com

1 引 言

交通標志因具有特定的顏色和形狀特性,相比較背景具有很高的辨識度,容易引起駕駛員的注意.交通標志識別作為高級輔助駕駛系統的重要組成部分,對未來的智能駕駛系統(intelligent transportation system,ITS)的研究和發展具有重要意義[1].但是,復雜的自然環境給交通標志的實時檢測和識別帶來了巨大的挑戰.基于顏色分割和模板匹配等方法[2-4]的路標檢測技術已經相當成熟,在此檢測技術的基礎上,如何實時高效識別交通標志成為目前研究的熱點.

近年來,以卷積神經網絡CNN為代表的圖像處理技術,在目標識別,語義分割,以及目標檢測上都取得了較大進展.CNN模型通過網絡學習的方式,自動提取交通標志圖像特征,完成圖像的分類,并取得很好的識別效果.基于此,很多學者探索有效的深度學習模型應用到交通標志方面的識別.Sermanet等[5]將多尺度圖像放入神經網絡中訓練,將不同卷積層的特征映射級聯操作,最后聯合特征輸送到全連接層進行識別,取得不錯的識別效果,但多尺度圖像特征的獲取也增加了模型的時間復雜度.Jin等[6]受支持向量機中鉸鏈損失函數的啟發,提出利用鉸鏈損失代替交叉熵作為CNN的損失函數,加快模型收斂的同時,訓練參數依舊很多.Xie等[7]將Fish準則加入深度學習網絡中,對有交通標志圖像的視頻流提取慢性空間不變性的特征,并用SVM作為分類器.孫偉等[8]提出CNN提取多尺度特征后,將聯合多尺度多屬性的特征放入極限學習機中分類,大大縮短訓練時間,但交通標志圖像識別率仍有提升空間.劉占文等[9]針對限速標志,在CNN中加入圖模型,獲取更多的圖像結構信息,提升了神經網絡的學習和識別能力.Luo[10]等人構建了多任務卷積神經網絡,對視頻流中每一幀中交通標志進行感興趣提取,細化,分類,并將所有幀的結果組合得出最終的識別結果,該方法有很好地實際應用.段書凱等[11]提出對一種多列空間變換的卷積神經網絡交通標志識別算法,在多列CNN中分別加入空間變換網絡(spatial transform network,STN)[12],很好地適應不同尺寸圖像的空間分布問題,但是多列卷積的訓練并沒有將通道特征的空間維度信息,增加網絡訓練的計算量.Zeng等[13]將CNN作為特征提取器,用加了核函數的極限學習機作為分類器,極大縮短了識別交通標志時間,但網絡獲得的特征缺乏多樣性,特別是對危險標志和解除其他禁令標志效果遠低于其他方法.

針對以上問題,本文提出了一種深度特征重構與權重分配的交通標志識別算法.加入空間變換網絡STN,彌補CNN不能提取具有空間不變性特征的缺陷;將神經網絡特征分為3個階段特征,每個階段特征按照特征的重要性分析,對通道特征進行權重分配,完成卷積特征的重構.實驗結果表明,經過特征選擇后的新特征對交通標志具有更強的表達能力,提高了識別交通標志圖像的準確度.

2 交通標志識別算法概述

本文提出了一種基于不同權重分配特征映射的交通標志識別算法,算法總框架如圖1所示.將空間變換網絡STN引入深度學習的識別任務中,自適應對交通標志進行諸如平移,旋轉,縮放,翻折等空間變換,增加訓練樣本的多樣性,獲得更多具有空間不變性的特征.STN變換后圖像作為神經網絡的輸入,對多層卷積和池化構成的階段特征構建通道特征之間的依賴關系,根據不同卷積特征對網絡識別交通標志的貢獻率不同,獲取不同通道特征中的特征映射重要程度,并分配不同權重,完成3個階段特征的重構,提升有效的特征,抑制無用的特征,增強卷積特征的表達能力,提升識別交通標志的準確度.

圖1 交通標志識別算法總框架Fig.1 Framework of traffic sign recognition algorithm

2.1 基于STN網絡的空間多樣性增強

理想的交通識別系統的主要特性是對交通標志圖像位置,旋轉以及形變的不變性.傳統的CNN模型中pooling操作可以用來實現微小的位置不變性,但對于較大位置平移,旋轉以及形變的圖像識別效果不好.本文提出一種基于神經網絡自適應空間變換的圖像預處理方法.在圖像輸入網絡訓練之前,加入空間變換網絡,增強圖像空間結構的多樣性,并為CNN網絡識別交通標志提供充足的空間特征信息.STN作為識別網絡的前級網絡,通過神經網絡訓練,能夠自適應地對數據進行空間變換,可以進一步提高圖像識別的準確度.

STN的本質是通過神經網絡學習,對交通標志圖像進行多種形式的仿射變換,并利用反向傳播算法,自適應學習變換,獲取具有空間多樣性的圖像.在保證樣本圖像多樣性的同時,去除交通標志圖像中的噪聲和冗余信息,有利于網絡正確識別交通標志.圖像的仿射變換過程是通過2×3維度的變換矩陣對交通標志圖像進行平移、縮放、旋轉等操作,變換公式可以表示為

(1)

(2)

(3)

其中,θ13,θ23表示圖像進行左右平移以及圖像進行上下平移的像素,θ11,θ22表示圖像在水平方向和垂直方向的縮放尺度,Aθ表示圖像經過θ角度旋轉的變換矩陣,α表示圖像經過旋轉之后的狀態,(x,y)表示交通標志圖像的像素值,公式(1)表示圖像經過平移變換,公式(2)表示圖像進行縮放操作,公式(3)表示圖像旋轉的過程.

空間網絡主要包括局部網絡,網格生成器以及采樣器3個部分,STN網絡的結構示意圖如圖2.交通標志圖像經過去除光照的預處理方法后,輸送到含有多層卷積和池化操作的局部網絡中,得到初始維度為2×3的變換矩陣A1;利用變換矩陣A1建立網格采樣,得到期望的輸出圖像A2;利用STN網絡的輸入圖像與輸出圖像一一對應關系,對輸入圖像進行雙線性插值,完成變換后的圖像A3為識別模塊的輸入.網格生成器是根據局部網絡獲得的參數來創建定位網絡,這是一組點集,即輸入映射經過采樣產生期望的轉換輸出.采用逆變換的方法,得到輸出像素點的對應值,變換公式如下:

(4)

圖2 STN結構示意圖Fig.2 STN structure

采樣器的作用就是保證STN網絡自適應變換后輸出圖像的準確性,建立輸出與輸入上所有像素點灰度值聯系.采樣器可以用雙線性差值方法,對輸入像素點采樣,獲取輸入圖像變換后的像素值,像素構成的圖像即為所求的輸出圖像.采樣公式表示為:

(5)

2.2 基于重構CNN通道特征的交通標志識別

受SE-Network[14],Network-in-Network[15],GoogleNet[16]等新型網絡的啟發,提出了一種基于重構CNN特征的交通標志識別算法.采用一種全新的特征重標定策略來建立模型來構建特征通道數之間的依賴關系,在空間維度層面提升網絡的學習性能.通過網絡學習進行特征選擇,分配特征權重,獲取不同特征對網絡識別圖像的貢獻率,依照貢獻率有用特征增強,并抑制無用的特征,重構CNN特征的具體過程如圖3所示.圖中的X,U表示多層卷積特征,X*表示經過重構的新特征,特征重構前后的維度相同,都為H×W×C,保證重構特征不會影響識別模塊的反向傳播求導過程.CNN訓練得到特征后,加入全局池化模型,對卷積特征進行壓縮,獲得具有全局信息的特征;并通過網絡學習的方式得到不同通道特征映射需要分配的權重;最后,利用自適應學習的權重完成網絡層特征重標定.

圖3 重構CNN特征的流程Fig.3 Process of reconstructing CNN features

2.2.1 特征壓縮

特征壓縮的目的是獲取CNN訓練交通標志圖像中的全局信息.CNN中的每個通道學習到濾波器都對局部感受野操作,因此無法利用特征映射中的上下文信息,而且較低網絡層上其感受野尺寸都是很小的,這樣情況就會更嚴重.通過空間維度對特征進行壓縮,將二維的特征變成一個實數,這個實數從某種程度具有全局的感受野,代表圖像的全局特征,從而使其具有全局的感受野,使得網絡低層也能利用全局信息.輸出的維度和輸入的特征通道數相匹配.特征壓縮的公式可以表示為:

(6)

其中,zc表示通道特征經過壓縮后的結果,Fsq(·) 為圖像特征壓縮函數,uc表示卷積神經網絡中獲得特征,H,W是特征的高度和寬度,壓縮后的特征表示特征通道上響應的全局分布,使得靠近輸入的網絡層也可以獲得全局的感受野.

特征壓縮的操作可以看成是對通道特征進行的全局池化.全局池化在Network-in-Network網絡中被提出,并看作是卷積神經網絡中一種特殊的池化方式,常見的池化方式主要包括最大池化,平均池化和全局池化等.全局池化使用更少的特征數據表示圖像的特征信息,減少參數量的訓練,加快網絡識別圖像;同時獲得網絡層的全局信息,避免模型在反向傳播過程中陷入局部最小值,提高網絡的學習性能.全局池化還可以放入全連接層前面,并取代一些全連接網絡訓練,提升網絡的訓練速度.通過全局池化對通道特征進行壓縮,獲取CNN網絡中的全局特征,并為特征的權重分配提供充足的信息和依據.

2.2.2 特征權重分配

與機器學習中的特征權重分配不同,本文提出在CNN特征選擇的過程中,利用神經網絡反向傳播,自適應獲取分配給通道特征的權重,提升交通標志識別的準確度.由于CNN訓練分類任務時,網絡層不同通道特征對識別圖像的貢獻率不同,需要對卷積特征進行特征選擇.特征選擇的本質是對特征進行重要性分析,分配特征不同權重.對分類任務貢獻率高的特征賦予大的權重值,刺激網絡訓練學習;對于無效或者貢獻率低的特征則采取抑制的手段.因此,在深度學習的識別交通標志任務中分配特征權重是很有必要的.

特征分配權重的過程主要包括特征重要性分析和權重獲取兩個重要的部分,具體結構如圖4所示.選取網絡層某層卷積特征進行特征壓縮,壓縮后的特征經過多層全連接學習后,完成特征重要性分析,最后用sigmoid函數獲取特征分配所需要的權重.其中,FC1和FC2表示全連接層,ReLU表示用于增強特征非線性表達能力的激活函數.

圖4 特征分配權重Fig.4 Feature assignment weights

在進行特征權重分配之前,需要對深度網絡中的通道特征進行重要性分析.通道的重要性是通過壓縮后的特征來體現的,全局池化后的特征能夠表示網絡的上下文信息,利用多層全連接層進行特征重要性分析,并完成重要特征的提取.全連接的目的就是將特征重新通過權重矩陣組成完整的特征映射,CNN加入多層全連接層,大大增加模型非線性表達能力.在重構CNN特征的過程中,需要防止學習的權重參數過多,而影響整個網絡識別交通標志.因此,特征重要性分析時,選用2層全連接進行網絡訓練,加入中間層ReLU激活函數層,獲得更多的非線性特征,可以很好地擬合通道間復雜的相關性.圖像分類時,選取某層卷積特征的通道為192,特征經全局池化壓縮后的維度為1×1×192,并引入超參數降低率r=16,全連接1特征重組后,特征維度降低為1×1×92/16=1×1×12;對降維的特征進行ReLU操作,由于重構特征需要192個權重分配,全連接2需要將1×1×12的特征維度升為1×1×12×16=1×1×192,網絡需要訓練參數數目為192×16=2304,而一般兩層全連接學習所需要的訓練參數為192×192=36864個,極大地減少參數學習和訓練網絡的時間復雜度.因此,2層全連接和中間層ReLU的結構,保證分析重要特征時,篩選出更多具有非線性表達能力強的特征;同時,引入降低率r,降低全連接過程的參數學習,從而避免了重組特征過程中,因過多網絡參數學習,而影響整個識別網絡對于交通標志重要特征的選取.

完成特征通道的重要性分析后,需要對不同特征分配不同權重值.由于權重值大小在[0,1]區間,可以選擇激活函數Sigmoid作為分配通道特征的重要依據.分配權重的過程類似于循環神經網絡(recurrent neural network,rnn)門的機制.對重要的特征通道開啟,對無效的特征通道關閉.得到不同通道特征的權重值,進而顯示地建立特征通道數之間的相關性.特征通道分配權重的公式如下:

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))

(7)

2.2.3 特征重標定

對CNN網絡中的特征壓縮和分配權重之后,對原始的CNN通道特征進行重新標定,獲得具有更強表達能力的特征,提高網絡對交通標志識別.特征重標定的過程是將經過壓縮的CNN特征放入多層全連接層中,并使用Sigmoid函數獲取不同通道特征的權重,每次迭代訓練過程中都會獲取分配特征的權重,訓練的權重,網絡通過特征的重要性程度,自適應對圖像特征分配權重.最后,乘法逐通道加權之前的特征,實現對CNN特征的重標定.特征重標定的公式可以表示為:

(8)

3 實驗結果與分析

實驗環境是在ubuntu16.04 64位操作系統,CPU為2.6GHz,內存為8G,顯卡GTX 1080 Ti 10核24G的服務器上運行,使用Tensorflow,keras等深度學習框架訓練數據.

3.1 數據集

在公開的德國交通數據集(Germany Traffic Sign Recognition Benchmark,GTSRB)上進行測試,其中訓練集有39209張,測試集有12630張,共有43類交通標志.原始彩色圖像中都包含一個交通標志,標志周圍帶有10%的邊界,圖像像素從15×15到250×250大小不等,而且不一定是方形的.網絡訓練采用灰度圖像,因為灰度圖的識別率在保證和彩色圖相差無幾的情況下,可以更快完成圖像訓練.深度學習網絡識別目標圖像取相同尺寸的圖像,圖像縮放為32×32.

3.2 實驗設置

在CNN對交通標志圖像識別之前,需要對網絡的關鍵參數設置,使得CNN網絡朝著正確方向進行訓練,獲得損失函數中的最小值,從而獲得最佳的識別效果.本文選取CNN結構主要包括多個5×5的卷積核,多個尺度(2×2,4×4,8×8)的池化操作進行下采樣,以及全連接層進行圖像分類.為了防止CNN反向傳播過程中出現梯度損失和過擬合,選用relu作為激活函數.在每次卷積操作后,加入BN(Batch Normalization)操作,將每次訓練后特征變換為符合均值為0方差為1正太分布數據,并引入scale和shift,對正太分布的數據進行變形,解決傳統CNN因為太多非線性特征表達出現網絡收斂速度過慢的問題,提升識別交通標志的效率.在訓練時對卷積神經網絡的優化采用SGD_Nesterov(Momentum=0.9,Weight decay=1e-4,Learning rate=1e-3),RMSprop(alpha=0.99,Weight decay=0,Learning rate=1e-5)和Adam(beta1=0.9,beta2=0.999,e=1e-8,Weight decay=0,Learning rate=1e-4)方法.訓練中每批次的交通標志圖像數目為128,充分利用GPU,并加速訓練速度.

對整個網絡訓練80次迭代,得到的損失函數曲線如圖5所示.SGD_Nesterov優化器在網絡迭代60次完成收斂,RMSprop完成收斂至少需要40次迭代,而adam在CNN迭代20次完成最終的收斂.這說明adam優化器在訓練的過程中自適應地調整各個參數的學習率,并且快速完成網絡的收斂.帶有牛頓加速法的隨機梯度下降(SGD_Nesterov)雖然設置了更高的學習率,但其收斂速度仍然比adam和RMSprop優化器收斂慢.這充分體現了Adam具有很好的自適應學習率的調整能力,使得該優化器很適合對交通標志這種高維度和大數據集的凸優化,完成對交通標志的準確識別.

圖5 不同優化函數下的損失值Fig.5 Loss under different optimization functions

3.3 STN增加圖像的多樣性

深度學習在識別任務過程中,通常為了增加樣本的多樣性,會對圖像進行空間變換,使得數據在網絡識別過程中具有泛化能力.常見的數據增強的方法主要包括平移,旋轉,翻折,縮放等等.為了驗證STN網絡對圖像進行自適應空間變換的能力,選取任意0～15度的旋轉變換后的圖像,任意0～15%縮放變換后的交通標志,以及任意0～10%平移變換后圖像分別放入網絡模型中訓練,并比較這幾種變換方式對交通標志的識別效果.圖6中給出交通標志圖像經過STN變換前后的效果,可以發現網絡自適應對圖像進行幾何變換后,去除圖像冗余的背景信息,使得圖像更有利于被CNN分類和識別.

圖6 經過STN網絡變換前后的圖像Fig.6 Image before and after STN network transformation

變換類型識別率(%)位移(%)旋轉(°)縮放(%)訓練集測試集00010098.03100010098.12015010097.8910151010098.29STN10098.49

表1給出圖像經過數據增強和加入STN網絡后對交通標志識別的結果,對圖像的變換操作來自Committee of CNNS[17]中數據增強的方法,選取平移10%,旋轉15度以及縮放15%后的數據集進行實驗.隨著圖像隨機變換種類的增多,交通標志在網絡識別任務中表現也會變得更好.其中,經過三種任意方式變換圖像最終的識別率可以達到97.84%,這說明訓練時樣本的多樣性對神經網絡識別圖像很重要.同時,加入STN網絡的模型對交通標志識別的準確度可以達到98.29%,比使用數據增強的最好識別效果提升0.45%,這說明STN網絡的使用可以很好的對原始的輸入樣本進行矯正,在網絡中獲得具有空間不變性特征,使其能夠更好的分類交通標志.

3.4 深度特征重構

在對深度特征重構和分配權重的時候需要注意以下兩點:第一,CNN訓練獲得網絡層包括卷積層和池化層,對深度特征重構的是卷積層特征,而不是池化層的特征,這是因為池化層的作用是對卷積特征的下采樣操作,本質上也屬于卷積層特征,而原始卷積特征包含了重構特征更多可能性;第二,CNN包含很多的卷積層,對所有的卷積特征都進行重構,會破壞原有的神經網絡結構,不利于保證網絡對交通標志識別有著的泛化能力.因此,選擇合適的卷積特征進行重構,改變通道特征的空間維度,有利于提升識別交通標志網絡的性能.為了方便卷積特征的選取,將多層卷積特征和池化特征稱為階段特征(stage feature,sf),在每個階段特征中選取卷積特征進行重構.

在重構通道特征的過程中,特征重要性分析決定最終的特征權重分配.因此,確定特征重要性分析中的超參數降低率r大小影響最終識別效果.當降低率過高時,丟失很多的全局信息;當降低率過低時,增加多層全連接的參數計算以及網絡訓練的時間復雜度.表2給出了不同降低率對第一階段特征的最后一層卷積特征做重構處理,得到的識別率情況和每步訓練所需時間對比.卷積特征的通道數為192,降低率選取4,8,16,32這4組數據進行訓練,則重構特征過程需要訓練額外的網絡學習參數為9212,4608,2304,1152.當r=16時,交通標志最高識別率可以達到98.84%,而加入STN網絡無重構特征的最高識別率為98.45%,識別率提高了0.39%;當r=4時,對交通標志識別準度提升也有0.24%.這說明一定程度的重構卷進特征會提高交通標志識別率,當r=16時,特征在神經網絡中表達能力最強.在多組訓練所需時間相差不大的情況下,選取r為16作為特征分析中全連接層的降低率比.

為了研究階段特征中需要重構特征的位置,設置在同一階段特征里,分別對不同的卷積特征進行重構,并比較重構特征之后的圖像識別效果.以第一階段特征為例,網絡階段包含5個卷積層和1個池化層,卷積核的數目為16,32,64,128,192,卷積核的大小為5×5,pooling窗口大小為2×2的尺度.表3給出經過50次迭代訓練后,第一階段不同位置卷積特征重構后對圖像的識別結果,特征C1,C2,C3,C4,C5表示5個卷積層特征.當重構特征C1時,出現重構特征后的網絡對交通標志識別率最低,這是由于通道權重的范圍在(0,1),在網絡較深反向傳播優化時會在靠近輸入層容易出現梯度消散的情況,導致模型難以優化,影響最終的識別效果;當重構特征C5時,網絡識別交通標志效果達到最優,這是因為多層卷積后的特征包含之前卷積篩選的特征,多層卷積層是為了增加網絡非線性表達能力,重構特征C5的過程相當于是對前面所有同一階段特征不同卷積特征重構會對交通標志識別產生影響,同樣的,不同階段特征同一位置特征重構也會對圖像識別任務產生影響.表4給出某一階段的特征重構對交通標志識別準確度的影響.重構第一階段特征后,交通標志的識別率最高達98.84%,比沒有重構CNN特征的識別率提高0.35%.同樣的,重構第二,第三階段特征后,識別率也分別提高了0.2%和0.24%.這說明不同階段特征重構會對圖像識別產生影響,并且重組后的特征能在神經網絡中更好地表達.表5給出多個階段的特征重構對交通標志識別準確度的影響.對第二和第三階段獲得重構特征,圖像的識別率可以達到99.14%,比CNN特征高出0.65%,遠高于單個階段特征最高識別效果提升的幅度0.35%.其中,對三個階段的特征重構,最好識別效果可以達到99.32%.實驗表明,多階段的特征重構可以共存,并沒有抑制網絡特征的表達.更多的特征重構,對CNN通道特征更好地進行權重分配,分配大的權重給對識別圖像貢獻率大的特征,并抑制無效特征,有利于CNN識別交通標志.

表2 不同降低率r對應的識別率與時間
Table 2 Rate and time to different reduction rates r

降低率r識別率(%)訓練時間(μs)498.69838898.788461698.848613298.72904

表3 第一階段不同位置特征重構后的識別結果
Table 3 Results after reconstruction of different
position features in the first stage

特征識別率(%)STN+CNN特征98.45STN+重構特征C197.96STN+重構特征C298.53STN+重構特征C398.65STN+重構特征C498.61STN+重構特征C598.84

表4 重構某一階段特征的識別結果
Table 4 Reconstruction of the results of a stage feature

特征識別率(%)CNN特征98.49重構sf198.84重構sf298.69重構sf398.73

圖7,圖8,圖9中給出了重構3個階段特征的權重分配情況,重構階段特征的通道數分別為192,256,128.圖中的橫坐標表示特征通道channel,縱坐標表示特征分配的權重weight,也可以叫做特征的重要程度,范圍為0-1.第一階段特征重構的劇烈程度低于第二階段和第三階段特征重構,這是由于隨著網絡層的增加,提取的CNN特征也變得更加復雜,重構特征的可能性也變得多樣性.其中,第二階段特征權重分配情況變化最多, 這表明特征通道數也會決定卷積特征的重構,通道數越多,重構特征過程也會更加復雜.并且,對3個階段特征分配權重值大多都是超過0.5,這表明重構階段特征并沒有完全破壞原有的神經網絡,而是對通道特征進行重要性分析,對卷積特征進行選擇,有效特征進行增強,無效特征則進行抑制,提升識別交通標志網絡的性能.

表5 重構多個階段特征的識別結果
Table 5 Reconstruction results of multiple stage features

特征識別率(%)CNN特征98.49重構sf1+重構sf298.91重構sf1+重構sf399.12重構sf2+重構sf399.14重構sf1+重構sf2+重構sf399.32

圖7 重構第一階段特征的權重Fig.7 Weight of reconstructing the first stage feature

圖8 重構第二階段特征的權重Fig.8 Weight of reconstructing the second stage feature

本文提出的STN+重構CNN特征的網絡與let-5,Alexnet,VGG[18],Google-net以及殘差網絡ResNet[19]等多個網絡對交通標志識別效果進行對比,結果如表6所示.Let-5和Alexnet屬于輕型CNN,優點是網絡簡單,能夠快速完成圖像的識別任務;缺點是模型過于簡單,卷積特征表達能力不強,對于交通標志圖像的識別率也只有87.26%和94.82%.VGG,Google-net,ResNet屬于深層CNN,深度特征具有很強是非線性表達能力,其中,ResNet的識別率高達到98.28%,但這類網絡往往訓練時間較長.本文提出的方法,在CNN訓練圖像之前,加入STN空間變換,自適應對圖像進行空間變換,消除圖像的幾何噪聲和背景信息,只保留輸入圖像感興趣的部分.為了防止過擬合以及無效特征的過度使用,對CNN特征進行重構,按照不同通道特征的重要程度,對特征分配權重,從空間維度上對網絡特征進行選擇,激勵有效的特征,抑制無效的特征.因此,STN+重構CNN特征的方法識別效果達到99.32%,遠高于其他一些經典的神經網絡模型.

圖9 重構第三階段特征的權重Fig.9 Weight of reconstructing the third stage feature

表6 交通標志在經典網絡模型上的識別結果
Table 6 Results of traffic signs on the classic network mode

網絡模型識別結果(%)Let-587.26Alexnet94.82VGG97.31Googlenet98.02ResNet98.28STN+重構CNN特征99.32

本文方法分別與GABOR+LBP+HOG多特征融合[20],人眼直接識別[21],Committee of CNNS,Multi-Scale-CNN[5],CNN+KELM[22],加入空間變換網絡沒有重構CNN特征,加入重構特征的ResNet等方法進行對比,結果如表7所示, 除了前面兩種方法,其余方法都是采用深度學習的方法識別交通標志.本文在GTSRB數據集上的結果在這幾個經典算法中,識別效果僅次于CNN+LELM算法.其中,CNN+ELM方法中加入不同顏色空間信息,識別率高達99.54%.Committee of CNNS方法雖然獲得圖像的識別率達到99.17%,但訓練時間過長,很難達到實時性要求.其他經典算法的識別率均低于99%.本文方法迭代1次訓練過程只需要30s,雖然STN+CNN網絡模型迭代1次所需要時間為20s,但是該網絡模型遠低于STN+重構特征方法的識別效果.因此,本文提出的基于重構特征與權重分配的交通標志的識別在識別的準確度以及識別圖像的效率都有著一定的優勢.

表7 與經典算法對比
Table 7 Comparison with classic algorithms

網絡模型識別結果(%)GABOR+LBP+HOG97.04Human average98.81Committee of CNNS99.17Multi-Scale CNN98.31CNN+KELM99.54STN+CNN98.49重構特征+ResNet98.88STN+重構CNN特征99.32

4 總 結

本文提出了重構深度特征的交通標志識別算法,加入預處理STN網絡,獲得具有多樣性的空間特征,去除冗余信息,保留圖像的感興趣區域.并對深度特征進行重構,充分考慮不同卷積特征對網絡識別圖像的貢獻率不同,對不同通道特征進行加權操作,激勵高效特征,抑制無效特征,重構后的特征表達能力增強.

針對空間特征增強以及不同階段特征的權重分配,突出重要特征,消除無用特征,反向傳播時,CNN網絡更易獲得較小損失值,優化網絡模型.但圖像尺度歸一化,且卷積核的大小都是固定,導致網絡會丟失部分邊緣信息.下一步工作,針對識別錯誤的圖像以及提取特征的卷積核進行多尺度的方法,獲取更多圖像的局部特征,進一步提升交通標志識別效果.