樹狀卷積神經網絡的車標識別應用①

吳章輝,李志清,楊曉玲,劉雨桐

(湘潭大學 信息工程學院學院,湘潭 411105)

樹狀卷積神經網絡的車標識別應用①

吳章輝,李志清,楊曉玲,劉雨桐

(湘潭大學 信息工程學院學院,湘潭 411105)

為了提高在自然環境下車標識別率,提出一種多通路樹狀結構的卷積神經網絡模型.該模型采用多通路樹狀結構,在傳統卷積網絡單一種類卷積核的卷積層上,使用多種類型的卷積核進行卷積操作,并且采用樹狀網絡結構.通過對每個通路的頂層提取特征,作為全連接層的輸入,進行車標的分類任務.通過理論分析和實驗表明,與傳統的卷積神經網絡訓練獲得的分類器相比,車標識別率提升至98.43%.

深度學習; 卷積神經網絡; 特征圖; 車標識別

車標自動識別系統是車輛自動識別系統的重要組成部分.車標是車輛的重要信息,包含了車型信息,更重要的是包含了廠家的信息,由于廠家信息難于更換,有了車型的信息,在交通事故和利用車輛犯罪案件中能迅速縮小范圍,對車輛信息識別提供了很大的作用.

對于車標識別,國內外已經有一些研究人員使用各類方法去嘗試.如文獻[1]提出在PCA的基礎上,利用圖像的質量分析,通過對車標圖像模糊度的計算,將車標質量相似圖像進行分類.文獻[2]中提出利用adaboost算法進行車標圖像的定位,然后使用Techebichef 矩進行識別.文獻[3,6]中采用方向梯度直方圖HOG算法進行特征的提取,然后使用支持向量機SVM分類.文獻[4]采用了深度學習方法進行車標的特征自動提取和分類,分類正確率有很大的提升,并且網絡的輸入是原始的圖像,并不要人為的圖像預處理.文獻[5]改進了傳統的卷積神經網絡,利用最后兩個池化層的特征進行分類,車標的識別率比較傳統的卷積網絡有了一定的提高.但是,目前車標識別系統在對光照不均,部分缺失,形變等因素下的車標圖像正確識別率存在不足.為了降低這些因素的影響,提出了多通路的樹狀結構的卷積神經網絡模型.該模型能夠充分利用網絡底層提取的特征,并且能夠多尺度提取圖像特征.實驗證明,在提出的T-CNN網絡進行測試,車標的正確識別率達到了98.43%.

1 樹狀卷積神經網絡

1.1 卷積神經網絡

傳統的卷積神經網絡結構一般是由輸入層,多個交替的卷積層(C)和池化層(P),全連接層(FC)及輸出層(O)組成.如圖1所示.

一般地,卷積層為特征提取層,每個神經元的輸入與前一層的局部感受野相連,提取該局部的特征.在同一個特征圖上的神經元連接的權值共享.池化層的輸入一般是前一層的卷積層的輸出,主要對特征進行模糊,從而獲得平移,尺度的不變性.在卷積神經網絡中[12],有四種基本的運算.依次定義為:內卷積,外卷積,下采樣,上采樣.

圖1 CNN 網絡實現結構

假設 A,B 是矩陣,大小分別為 M×N,m×n,且 M≥m,N≥n,則它們的內卷積 的所有元素定義為:

它們的外積定義如下:

如果對矩陣A進行不重疊分塊,設每塊大小為k×L,第 ij塊的矩陣形式則其構造如下:

用大小為k×L不重疊塊對矩陣A的下采樣定義為;

對矩陣A進行倍數為k×L的不重疊上采樣定義為

1.2 樹狀卷積神經網絡

傳統的卷積神經網絡[7-9]在圖像分類上取得了很好的效果,但影響卷積神經網絡正確識別率和魯棒性的關鍵參數是卷積核大小和下采樣層的采樣間距.文獻[10]證明了卷積核的大小對識別率有很大的影響,文獻[11]中證明了采樣間距較小時,網絡輸出的激活值仍能重構出與原始輸入相似的圖像.而下采樣間隔過小會導致不變性喪失,過大丟失大量有用信息.由于傳統的網絡結構是在單通路內完成的,只能單一的設置卷積核大小和池化層的采樣間距,這樣就限制了參數設置的靈活性,不能有效的提取局部和全局的特征.并且傳統的卷積網絡只是使用頂層提取的特征進行訓練分類器,并沒有充分的利用底層提取的特征.為了提高識別率和魯棒性,提出了T-CNN網絡結構,用于建立車標分類模型.

T-CNN網絡采用多通路樹狀結構,即在傳統卷積網絡單一卷積核的卷積層上,使用多種類型的卷積核進行卷積操作,形成樹狀網絡結構.

1.2.1 樹狀卷積網絡的學習過程

對于第a個樣本xa,樹狀卷積網絡的前向傳播過程

反向傳播過程,首先計算網絡中的每一層反饋傳遞誤差:

訓練步驟:

輸出:網絡的權值和偏置

Step 1.隨機初始化所有權重和偏置;

Step 2.前向傳播,計算實際輸出,公式 (8);

Step 3.反向傳播,計算每層的反饋傳遞誤差,公式(9).

Step 4.計算網絡的權值和偏置的偏導數,公式 (10);

Step 5.梯度下降算法更新權值和偏導數.

2 實驗結果與分析

2.1 數據

本文使用的數據集是從LPR數據庫和網絡上收集得到的圖片.對數據進行增強,如圖像的平移,旋轉等圖像變換,最終獲得了20類共40000張圖片.對于這 40000張圖片,30000張用于訓練,10000張用于測試,車標圖像示例如圖3所示.所有圖片都被歸一化到64×64 大小.分別為阿爾法羅密歐,奧迪,寶馬,奔馳,比亞迪,東風標致,別克,金杯,大眾,菲亞特,豐田,福特,現代,雷諾,鈴木,馬自達,尼桑,歐寶,西亞特,雪鐵龍.

2.2 實驗結果

2.2.1 車標測試集測試

測試集中有20類車標類型,每類有500張圖片,表1給出了T-CNN網絡模型對測試集測試的結果.

同時,在傳統的卷積神經網絡進行測試,在其深度上與T-CNN保持一致.3個卷積層,卷積核大小分別為 12×5×5,48×3×3,192×3×3,Stride 為 1.3 個下采樣層,采樣間距 2×2,stride 為 2.測試結果如表2 所示.

圖3 20 類車標圖片實例

2.2.2 與其他方法的比較

跟其它車標識別方法的比較中,采樣相同的訓練集和測試集.20類車標30000張圖片進行訓練,10000張測試集上進行測試.與文獻[2]所提到的HOG+SVM方法,文獻[4]中使用傳統的CNN+SVM方法,及文獻[5]提出的聯合卷積網絡Multi-CNN特征的識別方法進行比較.比較的結果如表3所示.

2.2.3 實驗結果分析

從表1和表2的結果分析得到,T-CNN能夠在自然場景下進行圖像的識別,在光照不均,圖像在一定程度的形變,扭曲和缺失的情況下能夠提取較好的特征進行分類任務.比較傳統的卷積網絡,分類的性能有一定的提升.從表3分析可知,傳統的特征提取受到外界因素的影響較大,不利于分類特征的提取.而Multi-CNN利用多層采樣層的特征進行分類,但單通路下不能提取多種尺度范圍的特征.

表1 T-CNN 車標測試識別率

表2 CNN 車標測試識別率

表3 不同方法車標測試結果

2.2.4 T-CNN 性能分析

T-CNN網絡結構在測試集上的性能分析,分類準確率和損失函數與迭代次數之間的關系,如圖4.

3 結語

本文提出了一種樹狀結構的卷積神經網絡T-CNN用于車標識別,與傳統的卷積神經網絡相比較,能夠提取有效的識別特征,能夠自主的進行特征的提取,避免了人工提取特征的繁瑣.但在實驗中使用的車標類型較少,對于工程應用有一定的局限性.而且與一般的卷積神經網絡相比,樹狀結構卷積網絡層數過多會引起參數過大,不利于計算.接下來的工作中,擴大樣本數量和類型的數量.擴大網絡的深度,減少各個通路的卷積核的數量進行T-CNN的驗證.

表4 T-CNN 具體描述

圖4 T-CNN 性能圖

1王枚,王國宏,房培玉,等.基于 PCA 與不變矩的車標定位與識別.武漢大學學報?信息科學版,2008,33(1):36–40.

2Dai SJ,Huang H,Gao ZY,et al.Vehicle-logo recognition method based on Tchebichef moment invariants and SVM.Proc.of the 2009 WRI World Congress on Software Engineering.Xiamen,China.2009.18–21.

3Llorca DF,Arroyo R,Sotelo MA.Vehicle logo recognition in traffic images using HOG features and SVM.Proc.of the 16th International IEEE Conference on Intelligent Transportation System.The Hague,Netherlands.2013.2229–2234.

4彭博,藏笛.基于深度學習的車標識別方法研究.計算機科學,2015,42(4):268–273.[doi:10.11896/j.issn.1002-137X.2015.04.055]

5Zhang L,Zhang DM,Zheng H.Vehicle logo recognition using convolutional neural network combined with multiple layer feature.Journal of Computer Application,2016,36(2):444–448.

6Sun Q,Lu XB,Chen L,et al.An improved vehicle logo recognition method for road surveillance images.Proc.of the 7th International Symposium on Computational Intelligence and Design (ISCID).Hangzhou,China.2014.373–376.

7LeCun Y,Bottou L,Bengio Y.LeNet-5,Convolutional neural networks.IEEE Communication,1989:41–46.

8Szegedy C,Liu W,Jia YQ,et al.Going deeper with convolutions.Proc.of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Boston,MA,USA.2015.1–9.

9Krizhevsky A,Sutskever I,Hinton GE.ImageNet classifi-cation with deep convolutional neural networks.Proc.of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada,USA.2012.1097–1105.

10Coates A,Lee H,Ng AY.An analysis of single-layer networks in Unsupervised feature learning.Proc.of the 14th International Conference on Artificial Intelligence and Statistics.Ft.Lauderdale,FL ,USA.2011.215–223.

11Zeiler MD,Fergus R.Visualizing and understanding convolutional networks.Proc.of the 13th European Conference on Computer Vision.Zurich,Switzerland.2014.818–833.

12張婷,李玉鑑,胡海鶴,等.基于跨連卷積神經網絡的性別分類模型.自動化學報,2016,42(6):858–865.[doi:10.16383/j.aas.2016.c150658]

Vehicle Logo Recognition Using Tree-Based Convolution Neural Network

WU Zhang-Hui,LI Zhi-Qing,YANG Xiao-Ling,LIU Yu-Tong

(The College of Information Engineering,Xiangtan University,Xiangtan 411105,China)

In order to improve the recognition rate of vehicle in natural situations,this paper proposes a vehicle logo recognition modal based on a multi-path tree structure convolutional neural networks,which modal with different convolution kernel in the same convolutions,namely T-CNN.Firstly,different layer convolution features are obtained and are joined together as the input of the fully connected layer to get classifiers.Compared with the traditional method,the theoretical analysis and simulation results show that T-CNN can increase the recognition accuracy up to 98.43%.

deep leaning; convolutional neural network(CNN); feature map; vehicle logo recognition

吳章輝,李志清,楊曉玲,劉雨桐.樹狀卷積神經網絡的車標識別應用.計算機系統應用,2017,26(10):166–171.http://www.c-sa.org.cn/1003-3254/6002.html

2017-01-12; 采用時間:2017-02-20