基于卷積神經網絡的雙行車牌識別系統

朱文和

摘 要：目前，車牌識別發揮在眾多應用程序和許多技術已經提出。但是，他們中的大多數可以僅適用于單行車牌。在實際應用程序方案，也有現有的許多多行車牌。傳統方法需要對雙行車牌的原始輸入圖像。這是一個非常復雜場景中的難題。為了解決這個問題，我們建議一個端到端的神經網絡為兩個單行和雙行車牌識別。是的原始輸入車牌圖像的分段。我們查看這些整個圖像作為一個單位在要素映射后直接深度卷積神經網絡。大量的實驗表明我們的方法是有效的。

關鍵詞：深度學習 卷積神經網絡 車牌識別

Dual-line License Plate Recognition System based on Convolutional Neural Network

Zhu Wenhe

Abstract：Currently， license plate recognition plays a role in numerous applications and many technologies have been proposed. However， most of them can only be applied to single-line license plates. In the actual application program， there are also many existing multi-line license plates. The traditional method requires the original input image of the double-row license plate. This is a difficult problem in an extraordinarily complex scenario. To solve this problem， we propose an end-to-end neural network to recognize two single-line and double-line license plates， that is， the segmentation of the original input license plate image. We view these entire images as a unit and directly deep convolutional neural network after feature mapping. Many experiments show that our method is effective.

Key words：deep learning， convolutional neural network， license plate recognition

1 引言

隨著深度學習和人工智能技術的發展，車牌識別技術也發展迅猛。自動車牌識別在眾多應用中起重要作用，如無人值守的停車場、自動收費等。由于車輛的不同屬性和功能，法律和不同國家的法規對車牌管理。

目前大多數車牌識別方法只關注單行車牌識別任務[1][2]，通過分割并得到字符，然后對字符進行分類，或通過端到端神經網絡。這些方法可以在單行車牌上有很好的效果。但是，只有少數方法會考慮雙行車牌。這些方法需要分段輸入雙行車牌。具體來說，他們需要分割車牌的每個字符并正確識別。每個字符分割和識別精度會影響最終結果。

本文的主要貢獻是提出一種新型神經網絡模型，其網絡架構專為識別雙行車牌而設計的。我們把每個整個圖像輸入到深度卷積神經網絡得到特征圖。然后，對獲取的特征圖進行重新組織。對于所有單行和雙行車牌，每個特征圖都表示為序列樣要素的地圖。雙向長期短期記憶[3]用于獲取要素貼圖以計算序列標簽。由組裝這些序列標簽信息，我們可以得到最終車牌識別結果。建議的神經網絡可以應用到許多車牌基于識別的系統，因為它可以培訓和測試非常方便。廣泛的實驗結果證明我們提出的方法取得了顯著成就與當前最先進的方法相比，改進。

2 算法設計與實現

2.1 算法設計

（1）特征提取

我們使用卷積神經網絡對圖片進行特征提取。我們設計網絡結構的目標是，輸出的特征映射是一個高度為2的矩陣。這就為后續進一步特征重組，做好了鋪墊。

（2）特征重組

根據雙行車牌的特點，我們提出將特征映射上下分開，然后重新水平組合。這就符合雙行車牌的特征分布。

（3）序列標簽預測

在卷積神經網絡后要建立深度雙向遞歸神經網絡，作為循環層。循環層有能力從左到右處理特征映射。通過結合上下文信息，當前幀的處理與先前的記憶、遺忘結果結合，當前信息被處理以進行預測，并且結果傳遞到下一幀進行記憶門和忘記門處理。在我們的任務中，字符序列識別具有從左到右的時序特征。對于雙行車牌，整個特征映射識別通過數據重組也具有時序特征。

單向RNN的問題是當時刻t被分類時，只有可以使用t之前的信息，但是有時也可能需要使用未來時間的信息。雙向RNN模型試圖解決這個問題。雙向RNN在任何時候都保持兩個隱藏層。一個隱藏層用于傳輸從左到右的信息和另一個隱藏層則傳輸從右到左的信息。許多文章和實驗表明，雙向循環網絡在語音等領域有更好的表現。因此，我們使用雙向LSTM網絡預測卷積神經網絡后的時序。

2.2 算法實現

本文提出一種雙行車牌識別方法，在本文中，直接將待識別車牌圖片的車牌特征作為一個整體進行輸入，無需對車牌的每個字符進行分割、識別，相比于傳統方法對字符進行單獨識別，可節約工作量，提高工作效率。同時，相比于傳統的識別方法需對每個字符都單獨識別，一個字符錯誤會導致整個車牌識別錯誤，使得車牌識別率不高，而本文將整個車牌放入網絡一起訓練，精度較高，可提高識別結果的精度。

本文的雙行車牌識別方法可以是由服務器實現的。具體包括：

（1）獲取待識別車牌圖片，采用預設特征提取模型對所述待識別車牌圖片進行特征提取，得到車牌特征矩陣。

在本文中，先獲取待識別車牌圖片，然后將待識別車牌圖片輸入至預設特征提取模型中，可得到車牌特征矩陣。其中，預設特征提取模型的類型可選為卷積神經網絡模型，該卷積神經網絡模型包括1個輸入層（Input），7個卷積層（Conv）和4個池化層（Pool），各層結構的維度和配置參數如下表1，其中，維度分別表示通道數x高x寬，配置參數中的K、S、P分別表示卷積核大小、步長和padding的數目。其中，輸入層用于接收待識別車牌圖片，卷積層用于根據卷積核提取待識別車牌圖片的圖像特征矩陣;池化層用于提取出每個圖像特征矩陣中最能代表圖像局部特征的圖像特征值。

在經過特征提取之后，所得到的車牌特征矩陣的維度為512x2x12，即為一個高度為2的矩陣。

（2）按預設規則對所述車牌特征矩陣進行特征重組，得到目標車牌特征;

在得到車牌特征矩陣之后，按預設規則對該車牌特征矩陣進行特征重組，得到目標車牌特征。具體的，根據雙行車牌的特點，可將特征矩陣進行上下對半拆分，然后重新水平組合，重組后的矩陣維度為512x1x24，即重組得到高度為1的矩陣。

（3）將所述目標車牌特征輸入至預設深度雙向遞歸神經網絡中，得到車牌識別結果。

在得到目標車牌特征之后，將目標車牌特征輸入至預設深度雙向遞歸神經網絡中，得到車牌識別結果。其中，預設深度雙向遞歸神經網絡可選地為雙向長短期記憶網絡（Bi-directional Long Short-Term Memory，Bi-LSTM）。可以理解，現有的Bi-LSTM有能力從左到右處理特征信息，通過上下文信息，當前幀的處理結果與之前記憶和忘記結果融合，從而能夠進行預測，并且能夠將結構傳遞給后續的幀。而本文中的字符序列識別具有從左到右的時序特征，而雙行車牌在重新組合后也是一個字符序列，因此可以采用雙向遞歸神經網絡進行車牌字符識別。

需要說明的是，單向的遞歸神經網絡（Recurrent Neural Network，RNN）的問題在于只可以使用t時刻之前的信息，但是有時可能還需要使用將來的信息。而雙向RNN模型可以解決這個問題。雙向RNN在任何時候都保持兩個隱藏層，一個隱藏層用于傳輸從左到右的信息，并使用另一個隱藏層對于從右到左的傳播信息進行記錄。因此，相比于采用單向的遞歸神經網絡，本算法可以提高識別結果的準確性。

（4）通過CTC對車牌識別結果進行處理，得到最終的車牌信息。

最后，通過CTC對車牌識別結果進行處理，以進行字符對齊操作，得到最終的車牌信息其中，CTC（Connectionist Temporal Classifier，聯接時間分類器）[5]，主要用于解決輸入特征與輸出標簽的對齊問題。

進一步地，在對待識別圖像進行特征提取之前，還可以先對待識別車牌圖片進行預處理，其中，預處理包括但不限于灰度處理、裁剪處理等，以使得處理后的待識別車牌圖片符合模型圖片的輸入要求。

3 實驗

為了驗證模型的有效性，我們測試了其公共數據集的性能。我們評估我們的方法SYSU-ITS[6]數據集。它包括總共1402圖像、958 個單行車牌圖像和84張雙行車牌圖像。每個圖像都包含只有一個車牌，每個車牌字符成像清晰，無粘附，輕好，均勻，車牌圖像垂直傾斜角度和水平傾斜角度很小（可忽略）。

本文提出的算法在SYSU-ITS公開數據集實驗結果取得了很好的成績。單行車牌的識別精度為98.7%，雙行車牌的識別精度為96.4%。均超過了其他四種方法，如圖1所示。

4 結論

本文提出一種端到端的雙行車牌識別神經網絡。實驗結果表面本文提出的方法的有效性。

參考文獻：

[1]Chang S L， Chen L S， Chung Y C， et al. Automatic license plate recognition[J]. IEEE transactions on intelligent transportation systems，2004，5（1）：42-53.

[2]Gou C，Wang K，Yao Y，et al. Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines[J]. IEEE Transactions on Intelligent Transportation Systems，2016，17（4）：1096-1107.

[3]Messina R， Louradour J. Segmentation-free handwritten Chinese text recognition with LSTM-RNN[C]//Document Analysis and Recognition（ICDAR），2015 13th International Conference on. IEEE，2015： 171-175.

[4]Schuster M，Paliwal K K. Bidirectional recurrent neural networks[J].IEEE Transactions on Signal Processing，1997，45（11）：2673-2681.

[5]Graves A，Gomez F. Connectionist temporal classification：labelling unsegmented sequence data with recurrent neural networks[C]//International Conference on Machine Learning. ACM，2006：369-376.

[6]http：//www.openits.cn/openData4/569.jhtml.