基于深度學習的車牌識別算法設計

摘" 要： 針對常規車牌識別算法難以進行不同長度的車牌字符識別以及運算量較大的問題，設計一種改進的輕量化YOLOv5s+CRNN算法以實現車牌識別。首先，對YOLOv5s模型進行輕量級設計優化，采用PP?LCNet網絡來取代YOLOv5s的原始骨干網絡，同時在Neck部分引入輕量級卷積結構DWConv以及一次性聚合VoV?GSCSP模塊。實驗結果顯示，改進后的模型與原模型相比，在mAP值幾乎不變的前提下，參數量降低了50.99%，而檢測速度提升了27.92%。然后引入輕量級卷積結構GSConv對CRNN進行輕量化優化。優化實驗結果顯示，改進后的模型與原模型相比，參數量降低了約48%，平均單張圖像的檢測時間大約為30 ms，比原算法提升約32%。最后將改進的模型進行組合，改進后的YOLOv5s+CRNN模型平均精度均值（mAP）達到了77.6%，比改進前提升了約0.6%，字符識別的準確度降低了約0.44%，并且參數量降低了50.7%，檢測速度達到了142 f/s，獲得了良好的車牌識別效果。

關鍵詞： 深度學習； 車牌識別； YOLOv5s； CRNN； PP?LCNet； 輕量化設計

中圖分類號： TN911.7?34" " " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " " "文章編號： 1004?373X（2025）04?0135?05

Design of license plate recognition algorithm based on deep learning

CAO Junao， YANG Weiming， LUO Yuting， PAN Nengyuan， ZHANG Wei

（Collage of Artificial Intelligence， Hubei University， Wuhan 430062， China）

Abstract： In allusion to the challenges of conventional license plate recognition algorithms in recognizing license plate characters with different lengths and the high computational complexity， an improved lightweight YOLOv5s+CRNN algorithm is designed to realize the license plate recognition. The lightweight design optimization for YOLOv5s model is carried out， and PP?LCNet network is used to replace the original backbone network of YOLOv5s. The lightweight convolution structure DWConv and one?time aggregation VoV?GSCSP module are introduced in the Neck part. The experimental results show that in comparison with the original model， the improved model can reach the reduction of 50.99% in parameters and increase the detection speed by 27.92%， while keeping the mAP （mean average precision） value almost unchanged. The lightweight convolutional structure GSConv is introduced for the lightweight optimization of CRNN. The experimental results show that in comparison with the original model， the number of parameters of the improved model is reduced by about 48%， and the average detection time of a single image is about 30 ms， which is about 32% higher than the original algorithm. By combining the improved models， the mAP of the improved YOLOv5s+CRNN model can reach 77.6%， which is about 0.6% higher than before the improvement. The accuracy of character recognition is reduced by about 0.44%， the number of parameters is reduced by 50.7%， and the detection speed can reach 142 f/s. A good license plate recognition effect is obtained.

Keywords： deep learning; license plate recognition; YOLOv5s; CRNN; PP?LCNet; lightweight design

0" 引" 言

智能交通已成為我國智慧城市建設的重要組成部分[1]，而車牌識別是智能交通系統進行車輛統計與管控的主要手段。為提高車輛識別的準確率和實時性，基于深度學習的神經網絡算法被廣泛應用。

由文獻[2]提出的基于YOLO檢測算法的實時自動車牌定位算法得到推廣應用。文獻[3]提出了一種基于深度學習技術的智能車牌識別方法，通過訓練好的YOLOv3網絡對車牌進行檢測與定位，再通過空間變換網絡校正傾斜的車牌，進而簡化車牌字符的識別過程。然而，該方法在檢測精度和速度方面仍有提升空間。文獻[4]針對復雜場景，采用YOLOv5、U2?net和LPRNet等深度學習模型來實現車牌定位與識別，獲得了更好的效果。但該方法中LPRNet模型針對模糊車牌和不同長度的車牌字符識別效果不理想，且在YOLOv5模型中含有數量較大的卷積運算，難以適應嵌入式系統的應用需求。

現有車牌識別方法存在定位檢測算法計算量大、識別算法精度不高的缺陷。本文擬從車牌定位與識別算法的輕量化設計和字符識別算法的選擇兩個方面進行改進。擬采用輕量化的YOLOv5s進行車牌定位，采用主流的卷積循環神經網絡（CRNN）進行車牌字符識別，并對CRNN算法進行輕量化設計優化。通過輕量化設計改進后的YOLOv5與CRNN級聯網絡可以有效地捕捉圖像中的序列信息，識別連續文本，獲得良好的車牌識別效果。

1" YOLOv5s網絡模型改進

YOLOv5s（You Only Look Once version 5）是Ultralytics公司在2020年基于YOLOv4進行優化而得出的目標檢測算法[5]。該算法以其高檢測精度、迅速的檢測速度和低計算量而著稱[6]。YOLOv5s網絡由三個核心組件構成：骨干網絡（Backbone）、頸部（Neck）以及頭部（Head）。骨干網絡負責提取圖像的特征信息；頸部則壓縮與融合骨干網絡提取的特征；最后，經過處理的特征圖被傳送到頭部網絡，進而執行目標定位和分類任務。在YOLOv5s算法中，頸部網絡由特征金字塔網絡（Feature Pyramid Network， FPN）和路徑聚合網絡（Path Aggregation Network， PAN）組成。

改進的YOLOv5s網絡結構如圖1所示。通過引入PP?LCNet網絡替換骨干網絡，并在Neck部分引入輕量級的DWConv卷積和VoV?GSCSP模塊來改進原有的YOLOv5s算法模型。最后定位出車牌的位置，并將車牌位置數據傳遞給CRNN字符識別網絡。

1.1" PP?LCNet

PP?LCNet是一種基于MKLDNN加速策略的輕量級卷積神經網絡[7]。該網絡在多項任務中顯著提升了輕量級模型的性能，其結構如圖2所示。在相同的推斷時間內，PP?LCNet的精度明顯優于先前的網絡架構。具體來說，PP?LCNet在精度上的提升速度是MobileNetv3的3倍。其中，PP?LCNet采用的H?Swish與大卷積核能夠提升模型性能，而不會引起較大的推理損耗；同時在網絡的下層最后兩層添加注意力模塊，則能夠進一步提升模型性能，而且不會帶來過多的損耗。

本文將YOLOv5s的骨干網絡部分替換為更輕量化的PP?LCNet，使得算法模型在mAP（mean Average Precision）有一定犧牲的前提下，實現速度的提升以及參數量的減少。

1.2 Neck網絡改進

1.2.1" DWConv卷積

深度可分離卷積（Depthwise Convolution， DWConv）通過區分空間維度與通道（深度）維度的相關性，有效地減少了卷積計算所需的參數量。這一過程主要包括逐通道卷積（Depthwise Convolution）以及逐點卷積（Pointwise Convolution）兩個步驟。逐點卷積的不同通道間能夠交換信息，并且可以調整輸出特征通道的數量。在經過逐通道卷積處理后，得到的特征圖（Feature Map）數量與輸入層的通道數保持一致，無法增加特征圖的數量。該步驟對輸入層的每個通道單獨執行卷積運算，無法有效利用不同通道在同一空間位置上的特征信息。因此，需要采用逐點卷積融合這些特征圖并生成新的特征圖。通過這種技術，在深度維度上對之前階段的特征圖進行加權合并，從而創造出新的特征圖。這樣的設計使得網絡能夠更靈活地捕捉不同通道之間的特征關系，提高模型表達能力。

1.2.2" GSConv模塊

為了使深度可分離卷積的輸出盡可能接近標準卷積（SC），本文引入分組通道隨機卷積（Group Shuffle Convolution， GSConv），它融合了分組卷積（Group Convolution）和通道隨機重排（Channel Shuffle）的概念[8]。在分組卷積中，輸入通道被劃分為多個小組，每個小組內的通道進行獨立的卷積計算，這一設計有助于減少模型的計算量和參數量，同時提升模型的并行性；通道隨機重排用于在卷積中重新排列通道，以增加跨通道的信息交互，重新組織輸入通道有利于信息更好的交流和傳遞。GSConv巧妙地將Group Convolution和Channel Shuffle結合起來，以在卷積操作中增強通道之間的交互，并減少計算量和參數量。這種融合方式有助于在特定情境下提升神經網絡性能。當將密集卷積操作用作Backbone并在Neck中采用GSConv時，模型的準確率接近于原始模型的準確率。

1.2.3" VoV?GSCSP模塊

VoV?GSCSP基于GSConv構建[9]，是一種通過聚合設計的跨級速度局部網絡模塊。該模塊不僅在減少推理和簡化網絡結構方面表現出色，同時也保持了足夠的精度[10]。在VoV?GSCSP中，輸入特征映射包括兩個部分：第一部分首先經過Conv波形，通過最大的GS bottleneck模塊提取另一個特征；第二部分僅經過一個波形層。兩個部分根據通道數進行融合連接，最終通過Conv形式連接輸出。VoV?GSCSP不僅兼容GSConv的所有優點，而且具有GS bottleneck引入的所有優點。同時，構造結構梯度流策略的交叉流， VoV?GSCSP的分離通道方法實現了豐富的梯度組合，避免了梯度信息的重復，提高了學習能力。

2" CRNN模型及改進

卷積循環神經網絡（CRNN）被設計用于端到端識別長度可變的文本序列，免除了對單個字符進行預先分割的需求。該網絡將文本識別任務轉化為一個基于時序依賴性的序列學習問題，這種獨特性質使其特別適用于場景文字識別。CRNN結構包括三個部分：CNN（卷積層）負責從輸入圖像中提取特征，以生成特征圖；RNN（循環層）用于對特征序列進行預測；而CTC Loss（轉錄層）則用于計算損失。首先，將車牌圖像輸入至卷積神經網絡中以提取其特征圖，一旦從車牌圖像中提取出特征圖，隨后便將這些特征圖轉化為特征序列；接著，采用雙向循環神經網絡對卷積神經網絡提取出的特征序列進行學習與預測；最終，利用連接時序分類（CTC）算法對來自循環層的標簽分布進行去重和整合等處理，以得出最終的識別結果。

最初的CRNN模型采用VGG?16作為基礎網絡架構。在該結構中，CNN部分運用了傳統的標準卷積操作，通過多個這樣的卷積層來提取車牌的復雜特征。然而，深層網絡結構增加了龐大的網絡參數和模型體積，這在將車牌字符識別算法部署到固定或移動設備時，會增加部署成本和實施難度。為了克服這一問題，本文使用深度可分離卷積神經網絡（GSConv）來替換VGG?16中的8層傳統卷積層，減少了卷積層的計算負擔，并實現了模型體積的壓縮與運算速度的提升。

3" 實驗與分析

3.1" 數據集與實驗平臺

本文使用的車牌識別數據集為大型車牌檢測數據集（CRPD），其包含了CRPD?single、 CRPD?double及CRPD?multi三個文件，分別代表每張圖像中有一個、兩個、多個車牌。每個圖像有標注車牌號、位置、4個頂點、車牌類型等信息。標注內容中，前8個數字代表四邊形邊界角的坐標。

為了保證CRNN模型能與YOLOv5相銜接，同時保證數據集符合本文的應用場景，本文采用一個包含了33萬張各類中國車牌識別數據的CBLPRD數據集。其中包含許多較難識別的車牌及其字符，包括但不限于不同圖像長度、圖像模糊、車牌扭曲變形等情況，確保了各類車牌的平衡分布。因此，該數據集適用于訓練和評估車牌識別模型。

實驗平臺采用Ubuntu 20.04、Python 3.8版本，在PyTorch深度學習框架下進行編譯。采用NVIDIA的3080顯卡，顯存為10 GB，CUDA為11.3版本。對于YOLOv5s模型，改進前后算法所采用的超參數相同，學習率為0.01，epoch為700，batch_size為16；而對于CRNN模型，改進前后算法所采用的各項參數均相同。

3.2" 實驗結果分析

3.2.1" YOLOv5s結果分析

本實驗共檢測兩類車牌，分別為單層車牌與雙層車牌，并選用mAP、參數量（Parameter）、精確率（Precision）以及召回率（Recall）作為主要的評價指標。實驗將改進的YOLOv5s與原始YOLOv5s進行對比，結果如表1所示。從表中可以看出，改進YOLOv5s模型與原始YOLOv5s相比mAP@0.5提升了0.6%，但模型參數量降低了約50.99%。

實驗訓練得到的PR曲線如圖3所示。PR曲線是以召回率（R）為橫坐標、精確率（P）為縱坐標繪制的函數圖像，其下方的空間即為平均精度（AP）。從圖3中可以看出，在通常情況下，改進后的YOLOv5模型在車牌定位時精確率可以達到90%左右，且PR曲線更收斂，基本滿足常規的車牌定位要求。

改進算法的檢測效果對比圖如圖4所示。

3.2.2" CRNN結果分析

輕量化的CRNN在準確率上與原算法差別不大，可以滿足本文的場景需求。最終驗證輕量化的CRNN字符識別模型的實驗數據如表2所示。

表2中：改進后模型的字符識別準確率僅降低0.44%；參數量降低了約48%；平均單張圖像的檢測時間大約為30 ms，比原算法降低約32%。實際的檢測車牌與識別效果如圖5所示。國內的新能源車車牌與燃油車車牌長度不同，由圖5結果可知，改進后模型能處理不定長字符的車牌，更適用于這類場景。

3.2.3" 消融實驗

為分析卷積替換、骨干網絡替換以及通道數削減對檢測效果的影響，本文以YOLOv5s作為基準，設計了消融實驗并將結果進行對比，實驗結果如表3所示。其中：“?LC”表示PP?LCNet骨干網絡替換；“?DW”表示將卷積替換為DW卷積；“?VoV”表示將C3模塊替換為VoV?GSCSP模塊。可以直觀地看出，改進后的模型與原模型相比，在mAP值幾乎不變的前提下，參數量降低了50.99%，并且檢測的速度提升了27.92%。

3.3" 車牌識別效果

由于本文的車牌識別是采用YOLOv5與CRNN模型共同完成，因此將改進后的YOLOv5s與改進后的CRNN模型結合，并與改進前的YOLOv5s+CRNN車牌識別算法進行對比。

改進前后識別效果對比如圖6所示。

4" 結" 論

本文針對平臺上車牌識別算法難以進行不同長度的車牌字符識別、難以降低模型對于平臺或終端的負載，提出一種改進的輕量化YOLOv5s+CRNN算法以實現車牌識別。首先是輕量化YOLOv5s，本文引入了PP?LCNet網絡，并取代YOLOv5s的骨干網絡，同時在Neck部分引入輕量級卷積結構DWConv以及一次性聚合 VoV?GSCSP模塊。其次，引入了輕量級卷積結構GSConv對CRNN進行輕量化優化，將改進后的輕量化模型進行組合，同時進行實驗。實驗結果證明，改進后的YOLOv5s+CRNN模型的平均精度均值（mAP）達到了77.6%，較改進前提升了0.6%，字符識別的準確度降低了0.44%，并且參數量降低了50.99%，檢測速度達到了142 f/s，具有一定的優勢。由于數據集采用的車輛以及車牌均為常規環境，對于過亮、過暗、霧霾等特殊情況下車牌的定位以及字符的識別可能難以正確定位與識別。下一步考慮在此模型的基礎上設計圖像預處理算法，對不同環境下車牌與字符進行處理，提高特殊情況下的字符識別準確率。

參考文獻

[1] 黃金洲，杭波，王峰，等.車聯網技術在襄陽智慧交通建設中的應用[J].智能城市，2024，10（1）：20?23.

[2] LAROCA R， SEVERO E， ZANLORENSI L A， et al. A robust real?time automatic license plate recognition based on the YOLO detector [C]// 2018 International Joint Conference on Neural Networks. Rio de Janeiro： IEEE， 2018： 1?10.

[3] 饒文軍，谷玉海，朱騰騰，等.基于深度學習的車牌智能識別方法[J].重慶理工大學學報（自然科學），2021，35（3）：119?127.

[4] 吳宏偉.基于深度學習的車牌檢測識別系統研究[D].大連：大連理工大學，2021.

[5] JOCHER G， CHAURASIA A， STOKEN A， et al. Ultralytics/YOLOv5： V6.1?TensorRT， tensor flow edge TPU and OpenVINO export and inference [EB/OL]. [2024?04?12]. https：//github.com/ultralytics/YOLOv5/tree/v6.1.

[6] 李偉達，葉靚玲，鄭力新，等.面向扶梯不安全行為的改進型深度學習檢測算法[J].華僑大學學報（自然科學版），2022，43（1）：119?126.

[7] 寇發榮，肖偉，何海洋，等.基于改進YOLOv5的煤礦井下目標檢測研究[J].電子與信息學報，2023，45（7）：2642?2649.

[8] 梁秀滿，肖寒.基于SDD?YOLO的輕量級帶鋼缺陷實時檢測算法[J/OL].中國測試：1?8[2024?03?03].http：//kns.cnki.net/kcms/detail/51.1714.TB.20230109.1648.002.html.

[9] LI H， WANG P， SHEN C. Toward end?to?end car license plate detection and recognition with deep neural networks [J]. Intelligent transportation systems， 2019， 20（3）： 1126?1136.

[10] 徐渡，李思穎，金佳凝，等.基于深度學習的車牌識別系統設計[J].電腦知識與技術，2023，19（15）：21?23.

[11] 張磊，李熙尉，燕倩如，等.基于改進YOLOv5s的綜采工作面人員檢測算法[J].中國安全科學學報，2023，33（7）：82?89.

[12] 張振威，王紅成.基于深度學習的非約束場景多車牌識別方法研究[J].東莞理工學院學報，2024，31（1）：20?27.

[13] 王世芳，李玉龍.基于卷積神經網絡的車牌號碼識別方法[J].長安大學學報（自然科學版），2023，43（4）：106?117.

作者簡介：曹竣奧（1998—），男，遼寧沈陽人，碩士研究生，研究方向為信息與通信工程。

楊維明（1969—），男，湖北赤壁人，博士研究生，教授，研究方向為信息與通信工程。

羅雨婷（1998—），女，湖北漢川人，碩士研究生，研究方向為電子與通信工程。