基于卷積神經網絡的車牌字符識別

董峻妃，鄭伯川，楊澤靜

(西華師范大學 數學與信息學院，四川 南充 637009) (*通信作者電子郵箱zhengbochuan@126.com)

基于卷積神經網絡的車牌字符識別

董峻妃，鄭伯川*，楊澤靜

(西華師范大學 數學與信息學院，四川 南充 637009) (*通信作者電子郵箱zhengbochuan@126.com)

車牌字符識別是智能車牌識別系統中的重要組成部分。針對車牌字符類別多、背景復雜影響正確識別率的問題，提出了一種基于卷積神經網絡(CNN)的車牌字符識別方法。首先對車牌字符圖像進行大小歸一化、去噪、二值化、細化、字符區域居中等預處理，去除復雜背景，得到簡單的字符形狀結構；然后，利用所提出的CNN模型對預處理后的車牌字符集進行訓練、識別。實驗結果表明，所提方法能夠達到99.96%的正確識別率，優于其他三種對比方法。說明所提出的CNN方法對車牌字符具有很好的識別性能，能滿足實際應用需求。

深度學習；車牌字符識別；卷積神經網絡；智能交通；圖像預處理

0 引言

隨著我國經濟的發展，汽車，特別是小轎車的數量越來越多，智能交通管理系統應運而生。車牌智能自動識別作為智能交通管理系統中的重要組成部分，在智能交通管理中發揮著越來越重要的作用，其應用非常廣泛，在高速公路收費管理、超速違章自動拍照、停車場管理、小區進出車輛管理、交通數據采集等許多系統中都需要識別車牌號碼。車牌識別系統中主要采用車牌圖像進行識別。基于車牌圖像的車牌智能自動識別系統主要由3部分組成：車牌定位、字符分割、字符識別，其中字符識別是最后最關鍵的步驟。車牌字符的正確識別率直接關系到車牌識別系統的性能，車牌字符識別技術已成為完善智能交通管理系統的關鍵。

1959年Hubel等[1]發現貓的視覺皮層細胞負責檢測光信號，受此啟發，1980年Fukushima[2]提出了神經感知機(neocognitron)，神經感知機被認為是卷積神經網絡(Convolutional Neural Network， CNN)的前身。1989年，LeCun等[3]提出了一種名叫LeNet- 5的多層神經網絡，并成功用于識別10個數字手寫字符。LeNet- 5網絡可以通過反向傳播(Back Propagation， BP)算法進行學習，被認為建立起了CNN的現代結構，是CNN的最早基本結構[4]。CNN類似于生物神經網絡的權值共享結構，可產生生物視覺中局部感受野效應，不僅降低了網絡的模型復雜度、減少了權值數量，且對圖像平移、比例縮放、傾斜等具有不變性。雖然CNN有很好的性能，但是由于缺乏大數據，以及硬件性能低，因此早期的CNN不能處理復雜問題。隨著大規模圖像數據庫的出現和硬件技術的發展，CNN成為研究熱點，得到了快速發展，許多快速計算方法和新CNN結構被提出。近年比較有名的CNN結構有AlexNet[5]、ZFNet[6]、VGGNet[7]、GoogleNet[8]和ResNet[9]。應用上，CNN在圖像分類[5-6]、目標檢測[10]、目標跟蹤[11]、文本識別[12]、動作識別[13]等方面都取得了巨大成功。由于CNN具有很好的特征提取性能，因此本文擬將采用CNN識別車牌字符。目前研究者提出了許多車牌字符識別方法，如：基于結構特征和灰度特征的方法[14]、基于模板匹配和神經網絡的方法[15]、基于深度信念網絡的方法[16]，但將卷積神經網絡用于車牌字符識別的研究鮮見報道。文獻[17]中提出一種改進LeNet- 5的車牌字符識別方法，通過增加LeNet- 5中C5層特征圖數量和增加輸出層神經元的個數來識別車牌的76個字符(包括漢字、數字和字母字符)。文獻[17]沒有改變LeNet- 5的層數，由于LeNet- 5的層數多，訓練時間和識別時間較長，同時將漢字、數字和字母一起識別，影響了識別率。文獻[18]提出將BP神經網絡與CNN相結合的分階車牌字符識別算法，該方法將漢字、數字和字母分別進行識別，但其主要采用BP神經網絡進行識別，對BP不能識別的字符則采用CNN識別；由于增加了CNN層數，因此增加了訓練時間和識別時間。本文針對字符圖像經預處理后形狀結構變簡單的特點，提出一種新的基于簡單卷積神經網絡的車牌字符識別方法，CNN網絡只包括2個卷積層和2個采樣層，并且每層的特征圖少，網絡結構簡單。實驗結果表明，不僅識別時間短，而且正確識別率高。

1 卷積神經網絡介紹

CNN是一種多層非全連接的神經網絡，主要包括卷積層和采樣層，LeNet- 5是CNN的經典例子，用于手寫體數字字符識別，其網絡結構如圖1所示。

圖1 LeNet- 5神經網絡結構[3]

LeNet- 5卷積神經網絡共包含7層(不包括輸入層)，每一層都包含可訓練的參數，網絡的輸入是大小為32×32的圖像。C1層是由6個特征圖組成的卷積層，每個神經元與輸入圖像的一個大小為5×5的鄰域連接，因此每個特征圖的大小是(32-5+1)×(32-5+1)即28×28。S2層是由6個大小為(28×1/2)×(28×1/2)即14×14的特征圖組成的采樣層，由C1層下采樣得到。特征圖的每個神經元與C1層的一個大小為2×2的鄰域相連接。C3層是由16個大小為(14-5+1)×(14-5+1)即10×10的特征圖組成的卷積層。特征圖的每個神經元與S2層的若干個特征圖的大小為5×5的鄰域相連接。S4層是由16個大小為(10×1/2)×(10×1/2)即5×5的特征圖組成的采樣層。特征圖的每個神經元與C3層的大小為2×2的鄰域連接。C5層是由120個特征圖組成的卷積層，每個特征圖只有1個神經元，每個神經元與S4層所有特征圖的大小為5×5的鄰域相連。F6層是隱藏層，包含84個神經元，與C5進行全連接。最后，輸出層有10個神經元，是由徑向基函數(Radial Basis Function, RBF)單元組成，與F6層進行全連接，每個神經元對應一個數字字符類別。

LeNet- 5的訓練算法請參閱文獻[3]。

2 基于CNN的車牌字符識別

2.1 基于CNN的車牌字符識別流程

本文提出的基于CNN的車牌字符識別方法(方法流程如圖2所示)由兩部分構成：第一部分，輸入訓練圖像集訓練CNN分類模型；第二部分，將待識別的車牌字符圖像輸入訓練好的模型進行識別。

圖2 基于CNN的車牌字符識別方法流程

2.2 車牌字符圖像預處理

本文所用汽車圖像均來自于某大門汽車門禁監控系統，該系統收集了每天進出大門的汽車正面圖像。車牌字符則是通過人工方式從汽車圖像中裁剪得到。由于拍攝汽車圖像時存在天氣、光照等外部環境影響，同時存在拍攝距離和角度不同，車牌污損程度不同，因此裁剪得到的字符圖像存在大小不統一、顏色變化大、部分字符不清晰等情況，部分原始字符圖像如圖3(a)所示。原始字符圖像不能直接用于CNN的訓練識別，需要對原始彩色圖像作預處理，去除不必要的背景和噪聲，得到字符的本質形狀結構，使其更容易被識別。字符原始圖像預處理流程如下：

步驟1 將字符彩色圖像圖3(a)統一轉化為灰度圖像(圖3(b));

步驟2 統一圖像大小為36×28的二值圖像(圖3(c));

步驟3 去除二值圖中的噪聲點(圖3(d));

步驟4 對二值圖進行水平和垂直投影切分，去除邊界部分，保留字符部分區域(圖3(e));

步驟5 由于字符“1”的結構特殊性，所以將“1”的圖大小調整為28×4，其他字符圖像調整為28×20(圖3(f))；

步驟6 添加邊界，使字符區域居中,并細化字符。最后得到有邊界且字符居中的大小為36×28細化圖(圖3(g))。

圖3 字符圖像預處理各階段結果

2.3 識別車牌字符的CNN模型結構

將LeNet- 5用于10個手寫數字字符識別具有很好的識別性能。車牌字符中除去漢字字符，共有34(10個數字字符，24個字母字符，不含字母O與I)個字符。相比手寫數字字符，經過預處理后的車牌字符雖種類更多，但其字符形狀結構更簡單，同個字符的不同圖像樣本間差別小。針對車牌字符圖像的特點，可以簡化LeNet- 5的結構，使其既能滿足正確識別率要求，又能減少識別時間，因此本文提出一種改進的CNN模型用于識別車牌字符。改進的CNN模型結構如圖4所示。

圖4 識別車牌字符的卷積神經網絡結構

各層介紹：1)輸入層為字符圖像，圖像大小為36×28；2)C1層為卷積層，得到4個大小為32×24的特征圖，每個卷積核大小為5×5，共用了4個卷積核；3)S2層是采樣層，每個C1層的特征圖經過下采樣變成大小為16×12的特征圖，每個采樣窗口大小為2×2；4)C3層是卷積層，得到12個大小為12×8的特征圖，每個特征圖都是S2層4個特征圖卷積的累加，每個卷積核大小為5×5，共12×4個卷積核；5)S4層是采樣層，分別對C3層的每個特征圖進行下采樣，得到12個大小為6×4的特征圖，每個采樣窗口大小為2×2；6)F5層將S4層12個特征圖變形轉換連接成一個向量，向量包含12×6×4即288個神經元，反向傳播計算時又將向量轉換成12個特征圖；7)輸出層是由34個神經元構成的向量，對應34個字符的輸出，F5層和輸出層構成一個Softmax分類器。

3 實驗

實驗環境為：CPU為Intel i5- 4570，主頻3.2 GHz、四核，4 GB內存；64位Microsoft Windows 10操作系統，Matlab R2014a編程語言。CNN程序采用DeepLearnToolbox-master深度學習算法軟件包，沒有使用GPU計算。共裁剪收集10 200張字符圖像，每個字符300張，共34個字符(10類數字字符，24類字母字符，除去字母O和I)。首先將10 200張字符圖像按照本文2.2節介紹的預處理方法進行預處理，得到10 200張大小為36×28的字符圖。

3.1 實驗步驟

實驗步驟如下：

步驟1 將10 200張圖分成10份字符圖像集，每份包含1 020張圖像，其中每個字符30張。設i=1。

步驟2 取第i份圖像集作為測試集(包含1 020張)，其余9份圖像集作為訓練集(包含9 180張)。用訓練集訓練CNN模型，用測試集進行識別測試，得到正確識別率和識別時間。

步驟3i=i+1,如果i≤10，轉到步驟2；否則轉步驟4。

步驟4 得到平均正確識別率和單個字符平均識別時間。

3.2 實驗結果

實驗中epoch設為200，學習率為1，每次迭代學習圖像90張。每個epoch需要迭代102次，總迭代次數為20 400。總共識別錯誤4個字符，得平均正確識別率為99.96%，單個字符平均識別時間為0.000 41 s,能滿足實際應用需求。識別錯誤的4個車牌字符如圖5所示，其中，字符“4”“K”“V”和“C”分別被識別成“A”“H”“K”和“O”。

圖5 識別錯誤的車牌字符

實驗表明如果epoch太小，學習訓練不夠，造成模型正確識別率低；如果epoch太大，不僅不能提高正確識別率，而且增加了訓練時間；epoch=200使模型能充分學習訓練集并收斂，訓練時間在無GPU運算情況下約需要8 h。學習速率和每次學習圖像數在一定的范圍內對識別率沒有影響，學習速率太大會降低正確識別率。圖6是當epoch=200，學習速率為1，每次迭代學習圖像90張時的損失函數變化情況，訓練已得到充分收斂。

圖6 損失函數變化

同時作者還實驗了C1和C3層設置不同數量特征圖的CNN，得到對應的正確識別率和識別時間(見表1)。

從表1看，C1層和C3層的特征圖個數對車牌字符正確識別率有直接影響。特征圖個數多時，正確識別率會逐漸提高，識別時間則相應增加。特征圖個數增加到一定后，正確識別率不會再繼續提高，甚至有時會變低。總的來看，當特征圖個數增加到一定后，正確識別率不會低于99.94%。在正確識別率為99.96%的7種網絡結構組合中，C1層為4、C3層為12的CNN結構最簡單，識別時間最短，因此本文選擇C1層為4、C3層為12的CNN結構作為識別模型。

表1 C1和C3層特征圖數不同時的正確識別率和識別時間

3.3 對比實驗

為了比較本文所提的CNN識別車牌字符的性能，本文實驗測試了其他幾種方法對同樣車牌字符集的識別性能，這些方法包括LeNet- 5[3]、支持向量機(Support Vector Machine， SVM)[19]、深度信念網絡(Deep Belief Network， DBN)[20]、BP神經網絡[21]，識別結果如表2所示。實驗中同樣將10 200張預處理后的字符圖像分成10份，每次取1份作為測試集，其他9份作為訓練集，共進行10次，求得平均正確識別率。

表2 幾種識別方法的識別率對比 %

從表2可以看到，本文所提的CNN模型適合識別車牌字符，正確識別率能夠達到99.96%，超過對比測試的其他4種方法。實驗時，對于LeNet- 5網絡需要將圖像大小改為32×32，其他對比方法則直接將預處理后的字符圖像作為輸入。

3.4 結果分析

本文提出的CNN模型雖然結構簡單，卻能取得99.96%的正確識別率，這主要得益于CNN良好的特征提取能力；另外也得益于車牌字符本身字體工整清晰。雖然原始字符圖像存在大小不統一、顏色變化大、部分字符不清晰等情況，但是經過預處理后的字符圖像清晰可辨，字符形狀結構簡單，沒有手寫字符的形狀結構復雜，因此只需要簡單的CNN就能充分提取車牌字符特征，不必采取復雜的CNN結構。實驗表明，如果不進行預處理，識別效果差，當采用C1層為4、C3層為12的CNN直接訓練識別字符灰度圖像時，其正確識別率只有70.58%。

本文收集的車牌圖像來自于某大門汽車門禁系統，進出該大門的車輛主要是四川省車輛，因此無法收集齊代表不同省份的車牌漢字字符圖像。基于這樣的原因本文只提出了識別字母和數字字符的CNN模型。考慮到車牌漢字字符不多，作者提出以下完整車牌字符識別流程：

步驟1 獲得分割好的車牌字符；

步驟2 利用本文提出的卷積神經網絡(稱作A網絡)訓練并識別字母和數字字符；

步驟3 構建新的卷積神經網絡(稱作B網絡)訓練并識別車牌漢字字符；

步驟4 得最終識別結果。

漢字字符是車牌的第一個字符，因此在對一張車牌進行識別時，將車牌的第一個字符交給B網絡識別，其余字符交給A網絡識別。

4 結語

本文在充分分析車牌字符特征的基礎上，針對字母和數字字符提出了一種基于CNN的車牌字符識別方法。實驗表明，此方法對字母和數字字符的正確識別率高，識別時間短。由于目前缺乏漢字字符圖像，因此無法驗證本文提出的CNN模型是否適合漢字字符識別。今后將繼續收集車牌漢字字符圖像，研究車牌漢字字符的識別。

References)

[1] HUBEL D H, WIESEL T N. Receptive fields and functional architecture of monkey striate cortex [J]. Journal of Physiology, 1968, 195(1): 215-243.

[2] FUKUSHIMA K. Neocognitron: a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position [J]. Biological Cybernetics, 1980, 36(4): 193-202.

[3] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[4] GU J, WANG Z, KUEN J, et al. Recent advances in convolutional neural networks [EB/OL]. [2017- 01- 01]. https://arxiv.org/pdf/1512.07108.pdf.

[5] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 2012 International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada. NIPS Foundation, 2012:1097-1105.

[6] ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks [C] // Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 818-833.

[7] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2015- 04- 10)[2016- 12- 10]. https://arxiv.org/abs/1409.1556.

[8] SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions [EB/OL]. (2014- 07- 17)[2016- 12- 10]. https://arxiv.org/abs/1409.4842.

[9] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition [EB/OL]. (2015- 12- 10)[2016- 12- 10]. https://arxiv.org/abs/1512.03385.

[10] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [EB/OL]. (2014- 10- 22)[2016- 12- 10]. https://arxiv.org/abs/1311.2524.

[11] LI H, LI Y, PORIKLI F. DeepTrack: learning discriminative feature representations by convolutional neural networks for visual tracking [EB/OL]. [2016- 12- 10]. http://www.bmva.org/bmvc/2014/files/paper028.pdf.

[12] GOODFELLOW I J, IBARZ J, ARNOUD S, et al. Multi-digit number recognition from street view imagery using deep convolutional neural networks [EB/OL]. (2014- 04- 14)[2016- 12- 10]. https://arxiv.org/abs/1312.6082.

[13] JI S, XU W, YANG M, et al. 3D convolutional neural networks for human action recognition [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(1): 221-31.

[14] 羅輝武,唐遠炎,王翊,等.基于結構特征和灰度特征的車牌字符識別方法[J].計算機科學,2011,38(11):267-270.(LUO H W, TANG Y Y, WANG Y, et al. License plate character recognition based on structural features and grayscale pixel features algorithm [J]. Computer Science, 2011, 38(11): 267-270.)

[15] 魏武,黃心漢,張起森,等.基于模板匹配和神經網絡的車牌字符識別方法[J].模式識別與人工智能,2001,12(1):123-127.(WEI W, HUANG X H, ZHANG Q S, et al. A method of recognizing characters in vehicle license-plates using pattern match and neural networks [J]. Pattern Recognition and Artificial Intelligence, 2001, 12(1): 123-127.)

[16] 朱宏吉.基于深度信念網絡的車牌字符識別算法研究與實現[D].杭州:浙江大學,2015:1-77.(ZHU H J. Deep belief nets based LPR algorithm research and development [D]. Hangzhou: Zhejiang University, 2015: 1-77.)

[17] 趙志宏,楊紹普,馬增強.基于卷積神經網絡LeNet- 5的車牌字符識別研究[J].系統仿真學報,2010,22(3):638-641.(ZHAO Z H, YANG S P, MA Z Q. License plate character recognition based on convolutional neural network LeNet- 5 [J]. Journal of System Simulation, 2010, 22(3): 638-641.)

[18] 李珊珊,李一民,郭真真.基于神經網絡的分階車牌字符識別算法研究[J].工業儀表與自動化裝置,2016,46(2):7-10.(LI S S, LI Y M, GUO Z Z. Research on the algorithm of license plate character recognition based on neural network [J]. Industrial Instrumentation and Automation, 2016, 46(2): 7-10.)

[19] LI H, QI F, WANG S. A comparison of model selection methods for multi-class support vector machines [C]// Proceedings of the 2005 International Conference on Computational Science and Its Applications. Berlin: Springer, 2005: 1140-1148.

[20] HINTON G E. Deep belief networks [J]. Scholarpedia, 2009, 4(5): 5947.

[21] RUMELHART D E, HINTON G E, WILLIAMS R J. Learning representations by back-propagating errors [J]. Nature, 2010, 323(6088): 533-536.

This work is partially supported by the National Natural Science Foundation of China (11401480), the Innovation Team of China West Normal University (CXTD2014- 4), the Technological Innovation Miaozi Cultivate Project of Sichuan Province (2016033), the University Student Innovation and Entrepreneurship Project of Sichuan Province (201710638022), the University Student Innovation and Entrepreneurship Project of China West Normal University (CXCY2016004)

DONGJunfei, born in 1993, M. S. candidate. Her research interest includes machine learning.

ZHENGBochuan, born in 1974, Ph. D., professor. His research interests include artificial neural network, deep learning, computer vision.

YANGZejing, born in 1993, M. S. candidate. Her research interest includes machine learning.

Characterrecognitionoflicenseplatebasedonconvolutionneuralnetwork

DONG Junfei, ZHENG Bochuan*, YANG Zejing

(CollegeofMathematicsandInformation,ChinaWestNormalUniversity,NanchongSichuan637009,China)

Character recognition of license plate is an important component of an intelligent license plate recognition system. Both the number of categories and the complexity of background of license plate character affected the correct recognition rate. A character recognition method of license plate based on Convolution Neural Network (CNN) was proposed for improving the correct recognition rate. Firstly, the simple shape structures of license plate characters were obtained through image preprocessing which included image size normalization, image denoising, image binarization, image thinning, and character centering. Secondly, the preprocessed character images were trained and recognized by the proposed CNN model. The experimental results show that the correct recognition rate of the proposed method can reach 99.96%, which is better than the other three compared methods. It is demonstrated that the proposed CNN method has good recognition performance for the license plate character, and can meet the practical application requirements.

deep learning; license plate character recognition; Convolutional Neural Network (CNN); intelligent transportation; image preprocessing

TP183; TP391.413

:A

2017- 01- 13;

:2017- 03- 03。

國家自然科學基金資助項目(11401480)；西華師范大學校級創新團隊項目(CXTD2014- 4)；四川省科技創新苗子培育項目(2016033)；四川省大學生創新創業項目(201710638022)；西華師范大學大學生創新創業項目(CXCY2016004)。

董峻妃(1993—)，女，四川南充人，碩士研究生，CCF會員，主要研究方向：機器學習； 鄭伯川(1974—)，男，四川自貢人，教授，博士，CCF會員，主要研究方向：人工神經網絡、深度學習、計算機視覺； 楊澤靜(1993—)，女，四川南充人，碩士研究生，主要研究方向：機器學習。

1001- 9081(2017)07- 2014- 05

10.11772/j.issn.1001- 9081.2017.07.2014