一種基于YOLOv3 算法的車牌識別系統

付城祥，仇潤鶴

（東華大學 信息科學與技術學院，上海201620；數字化紡織服裝技術教育部工程研究中心，上海201620）

智能交通系統是解決交通問題的重要手段，關鍵在于對道路上的過往車輛進行準確檢測與識別[1]，車牌號作為機動車特有的字符與數字序列，如何快速、準確地將車牌號識別出來顯得尤其重要。車牌識別技術已在公共安全、交通管理和軍事等領域得到廣泛應用[2-3]。目前車牌識別系統中采用的車牌字符識別算法為基于模板匹配[4]、基于特征統計[5]和基于機器學習[6]的方法。基于模板匹配的識別方法是利用待識別字符和模板字符之間特征向量的相似性來識別車牌字符，取特征向量相似度最高的模板字符作為待識別字符的類別[7]，該方法識別過程簡單，在識別字符清晰且形變程度不大時能達到較好的識別效果，但在車牌字符出現傾斜和磨損時，識別起來相當困難。基于特征統計的識別算法是利用字符的形狀及結構等幾何特性進行分析和統計，實現對車牌字符的分類。該方法只需要依據字符的結構特征進行分類和識別，但由于在實際的車牌定位[8-9]和識別過程中，會因為各種環境原因導致字符的結構特征發生改變，從而加大識別的難度。基于機器學習的字符識別算法是通過將提取到的字符的特征作為訓練樣本，然后通過對分類器輸入訓練樣本數據進行訓練，根據分類器的預測結果與實際標簽間的誤差性能指標，進而調節分類器的參數，讓分類器自動學習數據間對應的分布，進而實現對字符的分類[10]。該方法能夠學習到每個字符特征的分布，但是需要通過人工提取特征，再進行分類，這會使得對字符的表達能力不足，因而無法達到最佳的識別精度。

采用上述的車牌字符識別算法需要先對字符進行分割，然后對分割的字符進行識別，才能得到識別的結果，這樣會使得車牌識別的過程復雜，進而導致識別的速度下降，并且準確率取決于字符的清晰度和分割的效果。因此，本文設計了一種基于YOLOv3 算法的車牌識別系統，利用基于YOLOv3 的識別算法來識別車牌字符不但不需要進行字符的分割，對字符像素的要求不高，并且能夠達到更快的識別速度和較高的準確率。

1 系統總體設計

本文使用的車牌識別系統的總體結構如圖1 所示，主要由車牌圖像采集、圖像預處理、車牌定位和車牌字符識別四個模塊組成，先用高清攝像機拍攝目標車輛圖像并保存下來，然后對保存的車輛圖像進行一系列的圖像預處理工作，再把處理過的車輛圖像分別經過車牌定位、車牌字符識別輸出最終的車牌號碼。車牌識別系統的硬件部分由車輛檢測裝置、輔助照明設備、圖像拍攝設備、計算機等共同構成，部分硬件集成在攝像頭中完成。STAR-2000S 高清攝像機內部由智能SVAC 芯片、圖像傳感器、VS-ME8801HPC 高清視頻編碼模組、輔助照明等硬件組成。

圖1 系統總體框圖

2 車牌識別算法及模型訓練

2.1 識別算法網絡結構

YOLO、YOLOv2 和YOLOv3 算法是由JOSEPH 等人提出的通用目標檢測算法[11]，其中YOLOv3 算法已經成為當下最新的目標檢測算法，因此本文將利用YOLOv3 的主干網絡加以改進，使其可以適用于對車牌字符的識別，車牌字符識別網絡結構如圖2 所示。

圖2 車牌字符識別網絡結構

車牌識別算法的輸入層采用的是416×416 分辨率的車牌訓練圖片，中間層采用的是YOLOv3 的主干網絡Darknet-53 網絡模型，為了使其能夠用于車牌字符的識別，將其最后3 層（即平均池化層、全連接層和softmax 層）去掉，再加入1 層512 個1×1 卷積核、激活函數為ReLU 的卷積層1、2 個包含2 100 個神經元、激活函數為ReLU 的全連接層和7 個分支網絡。其中主干網絡用于提取車牌字符的特征，分支網絡的7 個全連接層用于預測每一位車牌字符的位置以及字符類別概率。因為車牌識別算法需要對車牌中的七個字符分別進行識別，而車牌字符由70 個（35 個中文字符+24 個大寫英文字母+10 個數字+1 個標識符plate）不同類型的字符組成，所以把每一位車牌字符當做一個識別目標，每一位車牌字符的預測值有70 種可能性，需要并行加入7 個含有70 個神經元的全連接層用于檢測每一位字符的位置，通過訓練數據使模型學習到能夠反映出70 個不同字符特征的卷積核權值，最后通過softmax 激活函數輸出每一位車牌字符類別概率。

將輸入的包含有車牌字符的數據集用labelImg 軟件對車牌和每一位車牌字符進行標注，獲得對應物體的坐標位置，制作數據集的標簽，生成xml 文件，進而對圖片進行預處理，然后運用基于YOLOv3 的識別算法獲得每張車牌圖片的8 個邊界框的矩陣向量，得到的矩陣向量通過神經網絡的卷積層和全連接層，最后使用softmax 函數得到每一位字符的類別。

2.2 訓練過程

訓練過程中整個模型采用了遷移學習的思想，利用YOLOv3 的主干網絡進行調整，由于模型訓練在定位車牌的過程中不但學習了車牌的特征，也學習到了車牌字符的特征，因此可以大大加快車牌字符識別的速度。訓練過程選擇Darknet 框架作為車牌字符識別的深度學習框架，通過多次分析實驗，選擇設置每batch 的樣本數量為2，最大迭代次數設為10 000 次，學習率設置為0.01，并且在訓練過程中保存模型，通過labelImg 軟件標注好的訓練集來訓練模型的各項參數，通過對1 594×2=3 188 張圖片進行訓練，得到最優的車牌字符識別模型，訓練過程如圖3 所示。

圖3 訓練過程

在經過長時間的訓練之后，會得到最優的車牌識別模型，并且可以得到訓練過程的性能指標Region Avg IoU、Loss和識別準確率Accuracy。在訓練模型達到5 000 左右個batch時，Region Avg IoU 曲線基本穩定至1 并基本保持不變，意味著每batch 的字符預測框與真實框間的誤差達到了穩定；在訓練模型達到8 000 左右個batch 時，Losss 曲線漸漸變為平緩進而穩定在0.15，整個車牌字符識別訓練模型趨于穩定；在訓練模型達到8 000 左右個batch 時，識別率Accuracy曲線趨于穩定，整個訓練模型的識別率達到了0.91。

3 車牌識別系統的實現

3.1 系統識別過程

首先將輸入的包含有車牌字符的數據集用labelImg 軟件對車牌和每一位車牌字符進行標注，獲得對應物體的坐標位置，制作數據集的標簽，生成xml 文件，然后通過訓練得到最優的車牌字符識別模型，并保存至主控臺；在目標車輛進入至高清攝像機所拍攝區域時，圖像傳感器器感應到有目標車輛通過，隨后立即向智能SVAC 芯片發出觸發信號，輔助照明設備將為目標發出瞬時的光線，與此同時圖像傳感器的某些參數將發生變化，進而將控制攝像機抓拍。因此，最后得到的圖片基本上位于同一位置，此功能有助于將車牌定位在照片中，并確保獲得清晰的車輛圖像。

主控臺具有預先建立的數據庫，用于保存從采集系統獲得的車輛的這些圖像，然后對數據庫中的這些圖片進行圖像預處理和車牌定位，再經過車牌字符識別模型多層卷積層和全連接層，最后使用softmax 函數進行字符識別，輸出相應的車牌號碼。

3.2 系統識別結果

本文使用20 張不同情況（車牌傾斜、夜晚環境等）下的車輛圖片作為測試數據集，對訓練好的車牌識別模型進行測試，最終可以準確識別出18 張車牌圖片，識別率為90%，其中不同場景的測試圖片如圖4 所示，最終車牌字符識別結果如圖5 所示。

實驗結果可以表明，基于YOLOv3 的識別算法不僅可以快速地檢測出每一位的車牌字符，并且識別結果準確，能夠達到車牌識別的要求。

圖4 不同場景的測試圖片

圖5 車牌字符識別結果

4 結論

基于現代智能交通系統中車牌識別的主要發展現狀，本文通過對車牌識別系統的構成、原理和識別算法進行研究，并采用了一種最新的基于YOLOv3 算法的車牌識別系統方案。通過對車牌識別的網絡結構模型進行訓練和測試，實驗結果表明，利用改進后的YOLOv3 算法來識別車牌不需要經過車牌矯正、字符分割等步驟，可以直接提取車牌圖像的特征進行識別，這樣極大地提升了識別的速度，因此，在實際需求中有著一定的理論意義和工程價值。