基于卷積神經網絡中層特征學習的交通標志圖像識別

蘇正青 馬巧梅

(中北大學軟件學院 山西 太原 030051)

0 引 言

隨著經濟社會的快速發展，城市交通變得四通八達，在這樣的背景下，私家車成為了人們日常生活出行必不可少的交通工具，然而，這也導致了交通事故發生的次數越來越多[1],其中一個重要的問題就是交通標志的識別，如環境因素(陰雨天氣、大霧天氣、夜晚光線較差、遮蔽物遮擋視線等)、駕駛員因素(駕駛員疲憊、駕駛員車速太快)、交通標志本身的因素(標志老化褪色、標志傾斜[2]、等)都對交通標志及時準確的識別帶來了挑戰。近幾年來，在交通標志的識別方面，很多研究人員進行了大量的探索，而且得到了很多實驗數據和結果。多尺度檢測：王方石等[3]在CNN中加入屬性學習約束,引入交通標志的形狀、顏色、圖案內容三種視覺屬性，該方法有效提高準確率和召回率。宋青松等[4]采用限制對比度自適應直方圖均衡化方法作為圖像預處理方法，構造多尺度CNN模型，用于提取交通標志圖像的全局特征和局部特征，進而將組合后的多尺度特征送入SoftMax分類器，該方法準確率高，速度快。楊遠飛等[5]提出了一種改進的網絡模型,該模型集合了多尺度輸入、并行交叉以及恒等映射的特點，保證特征提取的充分性與多樣性并使網絡性能不會隨深度加深而退化，該方法準確率高。Sermanet等[6]將多尺度圖像放入神經網絡中訓練,將不同卷積層的特征映射級聯操作,最后聯合特征輸送到全連接層進行識別，準確度較高。金字塔模型檢測：周以鵬等[7]利用神經網絡分層的特性,在多層卷積層上使用梯度加權類激活映射,生成梯度金字塔模型,并通過均值濾波計算特征質心位置,利用置信強度映射和閾值梯減模塊產生連接的像素段,圍繞最大邊界標注進行弱監督定位，具有較高的精確度。徐喆等[8]提出改進的尺度依賴池化SDP模型用于小尺度交通圖像的識別，在SDP模型只提取淺卷積層特征信息的基礎上，使用深卷積層特征補足型SDP映射輸出，使用多尺度滑窗池化MSP將特征池化到固定維度，將改進的尺度依賴池化模型應用于圖像的識別，有利于小尺度圖像識別。Lin等[9]提出了特征金字塔模型，在結合多尺度特征圖的基礎上，加入了底層特征圖和特征圖上采樣融合，更有利于微小目標檢測。端到端檢測：Choi等[10]提出對各個卷積層使用級聯分類器，依據各卷積層的權重來決定最終的分類結果，雖然分類結果結合不同卷積層的特征的判定，準確率較高。趙銀玲等[11]對卷積神經網絡進行了改進，減少其卷積核的數量，增加池化方式，該方法準確率高，速度快。武林秀等[12]使用VGG16卷積神經網絡自動提取交通標志圖像特征,并將卷積特征圖傳入RPN中進行前景目標篩選及回歸目標邊框,將建議區域框映射到特征圖上,經過ROI池化層后輸出固定大小的建議框,該方法具有很好的魯棒性。喬堃等[13]基于ZF和VGG兩種網絡的變形,優化實現了一種基于卷積神經網絡的交通標志分類算法，該方法精度高、魯棒性好。Ciresan等[14]提出多陣列神經網絡結構McDNN，使用通過不同預處理得到的圖像訓練得到多個深度DNN結構，聯合多個DNN的結果完成對路標圖像特征提取識別，該方法準確率較高。概率檢測：熊麗婷等[15]首先對目標所在區域概率進行計算，由此分別對內外，邊界構造模型，形成檢測框，最后通過卷積神經網絡實現定位，該方法準確率高。李凱等[16]分析了圖像的顏色特征，結合先驗和顏色概率進行特征融合，形成選區域，最后卷積神經網絡進行定位，該方法魯棒性好。劉占文等[17]構造了基于超輪廓圖超像素區域的圖模型,有效利用自底向上的多級信息,提出了一種基于圖模型的層次顯著性檢測方法,以提取交通標志感興趣區域,并利用卷積神經網絡對感興趣候選區進行特征提取與分類，該方法準確率高。Zhang等[18]引入了對比邊際獲勝概率C-MWP，用于模擬可突出區分區域的神經分類模型，更有利于圖像分類。本文計算顯著度提取感興趣，避免了交通標志誤檢和漏檢的發生，構建BF-VDNet-SPP模型，更好地提取低層特征，池化金字塔多層次提取交通標志的特征，高效準確地識別交通標志，同時有利于遠距離交通標志檢測。

1 計算區域顯著性

由于離物體的距離越近越容易發現，因此中心先驗在目標檢測定位發揮了重要的作用，據此有約束函數Ti:

(1)

式中：Qb表示中心位置；Qa表示像素坐標；M指像素數量。

顏色的對比度越強，物體越容易發現，因此有特征對比度Wi：

(2)

α=e-(u1-u2)2

(3)

考慮顏色特征和先驗約束，得到圖像顯著性：

Ci=WiTi

(4)

對得到的顯著性區域用雙線性插值法放大，調整圖像尺寸。

2 提取底層特征

有相關的研究發現，人對目標檢測定位時受圖像的梯度特征、紋理特征和灰度特征影響較大，圖像的紋理特征能夠反映局部特征信息，圖像的梯度特征能夠反映邊緣細節信息，圖像的灰度特征能夠反映顏色深淺變化，分別對原圖像提取灰度圖，LBP特征圖，骨架特征圖3種特征圖并進行6個尺度變換(旋轉：左右旋轉，伸縮：放大縮小，平移變換：左移右移)，對圖像進行滑窗操作，3×3大小為一個圖像鄰域塊，分別計算每個圖像塊的均值和方差作為這個像素塊每個像素點的均值和方差，得到圖像的特征向量為L=(u00,σ00,…,um-1n-1,σm-1n-1)，因而淺層特征為G1=[L1;L2;…;LN]，其中：N表示輸入圖像的像素個數，Ln表示每個像素點的特征向量，n∈[1,2,…,N]。可知LN是1×36維。圖1為底層特征圖像。

(a) 原圖(b) 骨架圖像 (c) 灰度圖像 (d) LBP圖像圖1 提取底層特征

3 構建視覺詞典

以前的字典學習采用無監督的方式，K-均值算法通過聚類方法構建詞典處理樣本，詞典均勻簡易，但在內容多樣復雜的環境下難以得到一個令人滿意的視覺詞典，為使詞典更加精準合理，構造算法優化目標函數：

(5)

式中：Y是輸入的樣本值，B為待訓練冗余詞典，X為稀疏系數。

訓練詞典時，首先保持詞典B不變并用樣本賦初值，其次利用正交匹配追蹤算法(OMP)優化稀疏系數X，然后對詞典B進行翻新，最后求解局部最優值：

(6)

式中：N指詞典原子數；S指詞典列數；bs指詞典第s列；Fs指詞典原子殘差；T指利用OMP算法優化稀疏系數X非零數的最大值，閾值T實現稀疏表示。

4 BF-VDNet-SPP網絡模型

根據以上描述，提出了BF-VDNet-SPP模型，如圖2所示。

第一步：計算顯著度并提取感興趣區域，提取底層特征向量K，每種交通標志的特征向量維度為100×36。

第二步：使用任意K個特征向量對詞典B賦初值，保持詞典B不變，通過OMP算法優化稀疏詞典B，得出稀疏系數X。

第三步：根據稀疏系數X，通過N次迭代完善詞典，求得目標函數最優解。

第四步：通過主成分分析方法PCA得到當前交通標志圖像特征向量M。

第五步：將特征向量M和詞典B每一個元素做卷積運算，得到所有像素點的特征，因為像素點維度增加，通過空間金字塔池化方法降低維度，提取圖像特征，級聯得到多尺度圖像特征，作為圖像的中層卷積特征Z。

第六步：訓練SoftMax分類器參數，將中層卷積特征Z輸入模型分類，實現對交通標志類別的劃分。

5 池化金字塔模型

池化金字塔具有良好的抗噪性，可以更全面地提取圖像特征，從而更加準確地對目標進行劃分。

本文構造的池化金字塔模型如圖3所示。

圖3 金字塔池化模型

c∈C指池化金字塔有C層，c指池化金字塔第c層，每層圖像長寬被分成2c段，分成4c個圖像塊，池化公式如下：

Y=E(X)

(7)

為了更好地突出圖像的邊緣細節特征，采用最大池化法選取圖像塊中像素的最大值當作圖像塊的特征向量，最大池化公式如下：

yj=max{|x1j|,|x2j|,…,|xnj|}

(8)

式中：yj為Y的第j個元素，xnj為圖像第n行第j列像素值，特征向量數是n。

提取每層金字塔池化后的特征向量，連接這些特征向量獲得多尺度特征，連接方法如下：

設池化空間金字塔得到的特征向量為ti1和ti2，連接后ti=[ti1,ti2]。

本文設定C為2，將三層特征拼接作為特征向量Z。

6 實 驗

6.1 數據集介紹

這次實驗所使用的數據集是GTSRB，包括了各種氣候條件下，各種各樣的交通標志圖像，交通標志圖片有1 000多幅，交通標志的尺寸大致范圍是15×15到130×130，分為43種類別，選擇其中的20個交通標志為正樣本，剩下的23個交通標志圖像為負樣本，使用2 000幅交通標志用于訓練，100幅交通標志用于測試，部分樣本圖像如圖4所示。

圖4 部分樣本圖片

6.2 實驗環境

本次實驗的架構平臺選擇Tensorflow，電腦系統是Windows 10，64 bit，所使用的函數來源于Anaconda，所使用的編程軟件是Pycharm，處理器為Intel(R)Core(TM)i7- 7700HQ CPU@2.80 GHz，存儲容量是16 GB。顯卡為GTX1050，訓練用時為1小時。

6.3 實驗結果與分析

實驗結果如圖5所示。

圖5 交通標志檢測結果

部分實驗數據如表1所示。

表1 部分交通標志數據統計

不同方法檢測結果如表2所示。

表2 不同方法檢測結果統計

續表2

不同方法誤差分析如圖6所示。

圖6 誤差對比

不同方法準確率分析如圖7所示。

圖7 準確率對比

根據表1、表2、圖6、圖7可知本文算法對交通標志定位的召回率為96%，準確率為97%，取得良好效果。本文算法對交通標志定位的召回率和準確率比文獻[10]和文獻[15]低0.5百分點左右，存在差距。

為了進一步對交通標志檢測定位進行研究，將照片中的交通標志尺寸分成兩類，交通標志大小在150以下的稱為小標志，交通標志大小在150以上的稱為大標志，不同方法的小標志檢測結果如表3所示。

表3 小標志圖像檢測結果

根據表3可知本文算法對小標志定位的召回率和準確率較高，說明本文算法更適用于遠距離交通標志定位，實用性更強。

為了進一步對交通標志檢測時間進行研究，分別對100幅交通標志圖像進行識別，不同方法的檢測時間如表4所示。

表4 交通標志定位時間結果統計

根據表4可知本文算法對交通標志定位所用的時間更短，接近其他方法所用時間的一半，實時性更強。

7 結 語

本文為更好地對交通標志進行識別，提出了基于卷積神經網絡中層特征學習的交通標志圖像識別方法。

(1) 計算顯著度提取感興趣區域，提高識別準確率。

(2) 根據灰度圖、LBP特征圖、骨架圖，以及對圖像伸縮、旋轉和平移，充分提取低層特征。

(3) 構建視覺詞典，通過PCA主成分分析方法得到當前圖像特征向量，并與視覺詞典做卷積運算，進一步提取圖像特征，

(4) 通過金字塔池化模型對特征分層次提取，降低特征維度，充分提取圖像特征。

(5) 最后通過SoftMax分類器對交通標志進行分類，實驗結果表明，本文方法效果好，效率高，適用于遠距離交通標志定位識別。