基于級聯CNNs的非約束車牌精確定位*

徐光柱，匡 婉，萬秋波，雷幫軍，吳正平，馬國亮

(1.湖北省水電工程智能視覺監測重點實驗室(三峽大學)，湖北 宜昌 443002；2.三峽大學計算機與信息學院，湖北 宜昌 443002；3.宜昌市公安局交通警察支隊，湖北 宜昌 443002)

1 引言

車牌自動定位的精確程度決定著后續車牌識別的成敗。目前約束場景下的車牌定位技術已經比較成熟，但在開放場景下，因受天氣、攝像頭角度、拍攝距離、物體遮擋和運動造成的拍攝模糊等不利因素影響，使得這類非約束性車牌的定位問題仍具較大挑戰，是近年來智能交通相關領域研究人員關注的熱點問題[1 - 6]。

車牌定位常用技術可分為2大類：傳統計算機視覺方法和基于深層卷積神經網絡CNN(Convolutional Neural Network)的目標定位方法。傳統車牌定位方法多采用人工設計的中低層特征，而對于非約束場景下的車牌定位問題，需要應對各種因素，因此需要綜合圖像的高層語義特征做出判斷，傳統方法在這個方面有較大局限性。而深層CNN則可以充分利用大數據同步實現層次化特征與相應分類器的學習，理論上具有擬合各類高維空間分類面的能力，因此在圖像分析領域得到了廣泛關注，越來越多的研究人員開始嘗試將CNN用于車牌定位。基于CNN的車牌定位方法根據它們是否需要候選區域獲取網絡可粗分為單階段與多階段2大類：

(1)單階段[7 - 10]方法通過一個端到端模型直接預測車牌區域。Li等人[7]提出了一種CNN模型，并結合滑動窗口策略對車牌定位，該方法能檢測各種類型車牌，具有較高的精度和較快的運行速度，但其訓練數據來源于固定攝像頭拍攝的圖像，車牌傾斜角度變化不大，模型的泛化能力有待評估。Kurpiel等人[8]提出了一種基于CNN的車牌定位方法，該方法通過建模函數為每個圖像子區域產生一個分數，并結合稀疏重疊區域的結果來預估車牌位置，該方法在具有挑戰性的數據集上精度達到了0.87，召回率達到了0.83。為了解決復雜場景下車牌定位問題，Tian等人[9]提出了一種基于CNN的車牌定位方法，將目標檢測問題轉化為二值分類問題。該方法使用選擇性搜索算法在滑動窗口上生成候選區域，并利用車牌候選框與真實框之間的交并比IoU(Intersection-over-Union)確定正負樣本，最后使用支持向量機進行分類。與傳統機器學習中的車牌定位方法相比，基于CNN的方法在檢測精度上具有明顯優勢，特別是在復雜場景中的定位精度有了顯著提高。Xu等人[10]提出了一種基于CNN的車牌定位與識別模型RPnet(Roadside Parking net)，該模型通過共享特征圖進行檢測和識別，并將檢測與識別部分的損失合并進行優化，在所構建的CCPD(Chinese City Parking Dataset)數據集上，多種檢測和識別模型的對比評估結果表明，該模型在精度和速度上均具有優勢。

(2)多階段[11 - 14]方法先確定車牌候選區域，再在該區域內定位車牌。為了解決車牌在圖像中占比小而不易定位的問題，Kim等人[11]提出了一種多階段方法：首先,采用基于區域的快速卷積神經網絡算法檢測車輛區域;然后,結合車牌尺度信息，利用分層采樣方法提取候選車牌區域;最后,使用深度卷積神經網絡過濾非車牌區域。所提出的方法在Caltech數據集[15]上的準確率為98.39%，召回率為96.83%，優于傳統方法。Lin等人[12]也使用基于CNN的方法，先檢測車輛，再從車輛中提取車牌，從而減少車牌定位的誤報情況。

YOLO(You Only Look Once)[16]是一種通用的能夠兼顧準確率與計算速度的目標檢測模型，在車牌定位領域得到廣泛關注。針對YOLO直接定位車牌效果不佳的問題，Hsu等人[17]通過對模型輸出特征圖尺寸進行擴大，設置每個網格單元僅預測一個邊界框，調整模型預測類別為2類(車牌和背景)等方式，提升了模型在車牌定位上的性能。Montazzolli等人[18]提出一種基于YOLO的CNN網絡并以級聯方式運行，用于檢測汽車前視圖和車牌，提高了車牌定位精度，但該方法對傾斜角度大的車牌定位泛化能力還有待提升。當車牌傾斜角度較大時，上述方法獲取的車牌區域內會包含大量冗余區域，不利于后續車牌識別。為此，Xie等人[19]提出了一個基于CNN的多方向車牌定位框架，利用旋轉角度預測機制確定車牌的精確旋轉矩形區域。該方法在定位精度和計算復雜度上均具有優勢，但只適合處理平面內的旋轉問題，對于三維空間內的傾斜車牌仍然無法精確定位。

雖然基于深層神經網絡的非約束車牌定位精度相對于傳統方法有了較大提升，但由于這些視覺目標檢測方法通常是通過矩形框對車牌進行定位，這在有約束的場景下面向正面角度拍攝的車牌圖像有效，但在非約束場景下拍攝角度的多樣性會造成車牌無法通過簡單的矩形擬合，所獲取的車牌區域常包含冗余信息，極大地影響著后續車牌識別的準確度。若能利用CNN直接獲取準確的車牌頂點或邊界位置信息，則可更加精確地定位車牌。因此，針對非約束場景下的車牌精確定位問題，本文提出了一種基于級聯CNNs的由粗到精的車牌精確定位方法，粗定位階段使用YOLOv3[20]獲取圖像中所有車牌候選區域，精定位階段利用改進的MobileNetV3網絡[21]將車牌4個頂點的檢測問題轉換為回歸問題，實現精確定位。

2 相關技術介紹

2.1 YOLOv3

如前所述，YOLO是一種主流的單階段目標檢測深層卷積神經網絡，該網絡通過采用更為有效的骨干網、全卷積方式及多級輸出實現了兼顧精度與速度的端到端目標檢測。目前應用最為廣泛的是YOLOv3[20]、YOLOv4[21]和YOLOv5[22]，雖然后兩者在YOLOv3的基礎上通過增設更多的訓練策略、插件模塊及后處理方法等技巧進一步提升了性能,但結構更加簡潔且直觀的YOLOv3仍然是目前使用最為廣泛的。

Figure 1 Diagram of MobileNetV3-Small network圖1 MobileNetV3-Small網絡結構圖

YOLOv3網絡模型通常包括實現特征提取的骨干、用于特征綜合與轉換的頸部及用于輸出的首部。YOLOv3的骨干網絡為Darknet-53模塊的前52層，該模塊使用大量的殘差結構來增加網絡深度，提升了模型對深層次特征的提取效果。在卷積神經網絡中，深層次特征的表達效果優于淺層次特征，類金字塔模塊利用該特點，將主干網絡不同層的特征進行融合，提升了目標檢測的效果。

2.2 MobileNetV3

MobileNetV3[23]是一種典型的輕量級網絡，常用于解決圖像分類、語義分割等分類問題。MobileNetV3包括Large和Small 2種網絡結構，Small網絡相比Large更具速度優勢，因此本文在車牌精定位環節選用輕量級Small網絡進行改進,使其能夠適用于車牌4個頂點相對坐標的回歸問題。Small網絡模型包含輸入、骨干和首部3部分(如圖1所示)，輸入部分包括1個卷積層;骨干由若干個卷積層組成,用于提取特征;首部由3個卷積層和1個池化層組成,用于實現特征綜合及輸出。

3 基于級聯CNNs的非約束車牌定位

為克服以YOLOv3為代表的單階段目標檢測網絡所采用的矩形檢測框無法準確地擬合非約束場景下車牌區域的問題，同時為了保持YOLOv3模型在車牌定位中的速度優勢，本文設計了一種將目標檢測網絡與頂點定位網絡級聯的由粗到精的雙階段車牌區域提取系統。通過對輕量級CNN網絡MobileNetV3-Small進行適當調整，增加輸入卷積層并改變網絡輸出方式，將車牌4個頂點的精定位問題轉換為回歸問題，并作為YOLOv3網絡輸出的后處理模塊，以實現車牌精定位，最后利用幾何變換實現車牌區域的準確提取。

3.1 基于YOLOv3的車牌區域粗定位

在車牌粗定位階段，本文選用了能夠兼顧速度與精度的YOLOv3網絡，所用訓練參數如表1所示。網絡訓練過程中輔以數據增廣操作，使得模型能夠具有較好的泛化能力，以應對非約束場景下多種不利因素帶來的影響。另外，根據定位結果所獲得的以車牌區域為主體的感興趣區域還可有效減少其他非車牌區域對后續精定位階段的影響，確保輕量級精定位網絡的精度和速度。

Table 1 Training parameters setting of YOLOv3 model表1 YOLOv3模型訓練參數設置

Figure 2 Process of license plate location and extraction圖2 車牌定位與提取流程

為了確保粗定位階段檢測到的車牌區域能夠涵蓋車牌4個頂點，且4個頂點均處于區域內部，本文采用了一種車牌區域邊界擴展策略，如圖3所示。圖3中的內框為車牌的外接矩形，外框為基于內框大小所確定的最終擴展后的包含車牌的感興趣區域。所訓練的YOLOv3模型在粗定位階段即要實現感興趣區域的準確定位。擴展策略對尺度不同的車牌目標采用不同的擴展方式，具體如式(1)和式(2)所示：

(1)

(2)

Figure 3 Relationship between target bounding box and circumscribed rectangular box圖3 目標邊界框與外接矩形框關系

3.2 基于改進的MobileNetV3的車牌精定位

3.1節中的粗定位模塊能夠給出圖像中含有車牌的候選區域，為了能夠對這些候選區域中的車牌頂點位置進行精確估計，本文通過對MobileNetV3-Small網絡進行適當修改，使其能夠回歸出車牌4個頂點的相對坐標，實現精確定位。主要改進工作包括：(1)在網絡輸入部分增設一層3×3的卷積層，在幾乎不增加計算量的基礎上進一步提升了MobileNetV3-Small網絡特征抽取能力。(2)為了能夠回歸出候選區域中車牌4個頂點相對于該區域的相對位置(均在0～1)，本文將原網絡輸出層中的Softmax激活函數調整為Sigmoid函數，從而將用于分類的網絡轉換為回歸網絡來精確擬合4個頂點，且同時保證了4個回歸值之間的獨立性。為了后續表述方便，本文用AL-MobileNetV3(Accurate Location Mobile- NetV3)來代表改進后的網絡模型，網絡結構如圖4所示。其中輸入為固定的448×448×3，實驗結果顯示，這種分辨率的輸入可以滿足CCPD數據集[10](詳見4.1節)中各種尺寸車牌候選區域的頂點估計。網絡的輸出為順時針方向4個車牌頂點相對于輸入圖像區域左上角的坐標值，其中(x′0,y′0)為車牌左上角頂點相對于圖像左上角頂點的水平與垂直方向的坐標；(x′3,y′3)為左下角頂點的相對坐標。

Figure 4 Diagram of AL-MobileNetV3 network圖4 AL-MobileNetV3網絡結構圖

雖然AL-MobileNetV3相對于原模型增設了一層3×3的卷積層，增加了少許計算量，但由于MobileNetV3-Small本身是一個超輕量級網絡，配合YOLOv3在GPU下運行完全能夠保證實時性，因此增設的一層卷積層對速度幾乎沒有任何影響，且能夠提升網絡回歸輸出的精度。這種具有固定輸出的回歸網絡可以在所有情況下保證車牌頂點的輸出，即使是在車牌模糊的情況下，前提是前一階段車牌候選區域準確有效。這種兩階段分離的方式，具有更好的靈活性，且利于模型改進。另外，由于輸出包含4個頂點的坐標，若一個坐標出現異常，理論上還可以根據車牌形狀先驗知識，排除異常估計值并反推出可能的坐標點。

訓練時，本文首先根據所用數據集中的車牌頂點標簽重新換算出車牌4個頂點在定位階段所構建的擴展車牌區域中的相對坐標，然后選擇均方誤差作為損失函數，如式(3)所示:

(3)

其中，(xi,yi)代表車牌頂點的真實相對坐標；(x′i,y′i)為所用回歸網絡的相應預測值。所用AL-MobileNetV3模型網絡參數設置如表2所示。

Table 2 Training parameters setting of AL-MobileNetV3 model表2 AL-MobileNetV3模型參數設置

4 實驗

4.1 數據準備

為了有效評估本文所提算法性能，采用目前規模最大的開源車牌數據集CCPD[10]開展實驗。現使用的CCPD數據集在2018年的版本上進行了一定擴充，包括9個子集，共30多萬幅圖像，各個子集的劃分是根據所處拍攝環境而定的。每幅圖像包含車牌外接矩形、頂點坐標和車牌號碼等標簽信息(NP子集除外，因為其不含車牌)，分辨率為720(寬)×1160(高)×3(通道)。和舊版本相比，檢測擴充后的CCPD數據集中的車牌更具挑戰性。

本文在實驗中對所用數據集進行了如下劃分：首先將子集Base以隨機的方式等分，其中一部分作為訓練集(含驗證集)，另一部分和CCPD中其余子集(NP子集除外)一起作為測試集。在訓練時，從訓練集中隨機取出20%作為驗證集，其余80% 用于訓練。車牌粗定位階段和精定位階段的數據標注信息均以車牌的4個頂點信息為基礎進行設定。

在粗定位中，訓練YOLOv3網絡模型所用的標注框由2個階段得到。首先，根據原始數據集中車牌頂點坐標信息得到車牌的外接矩形，然后以外接矩形為參考利用3.1節中所述式(1)和式(2)，得到用于訓練粗定位中YOLOv3網絡模型的擴展矩形框。為了便于后續和未擴展框的情況作對比，這里同時還保留了車牌的外接矩形標注信息。圖5給出了一些帶有標注框的圖例，圖5a中白色外框為擴展框，內部的灰色小框為根據車牌頂點得到的外接矩形框。

在精定位階段，根據上一階段的粗定位結果從原圖中截取出相應區域可構成所需訓練集、驗證集和測試集中的圖像，然后換算出車牌4個頂點在所截取的含有車牌的圖像框中的相對坐標作為標注信息，圖5b為一些帶有頂點標注的圖例。所用的測試集是從粗定位測試集中那些能夠被正確檢測出車牌區域的圖像中截取來的，這樣做的目的是避免粗定位階段產生的錯誤對車牌精定位階段的模型訓練造成干擾。

Figure 5 Label examples of datasets圖5 數據集標簽示例

4.2 實驗及結果分析

實驗所用軟件環境為安裝CUDA9.0的Ubuntu 16.04，所用深度學習框架為TensorFlow；硬件設備主要包括2.4 GHz的Intel Xeno ES-2460 CPU，NVIDIA GeForce GTX 1080 Ti GPU和DDR4 64 GB內存。

4.2.1 粗定位實驗及結果分析

為了更加可靠地驗證粗定位階段所采用的邊界擴展策略的有效性及粗定位的準確性，本文進行了2種對比實驗，這里稱其為實驗A和實驗B。在實驗A中，先用帶有車牌外接矩形標簽的數據訓練YOLOv3模型；然后再對YOLOv3的輸出結果進行邊界擴展，得到適用于精定位的圖像區域。與實驗A不同，在實驗B中是用車牌邊界區域擴展后的標簽信息來指導訓練，這樣得到的YOLOv3模型就能夠直接輸出用于后續精定位的候選區域。2種實驗所用目標錨框尺寸如表3所示，這是通過K-Means聚類算法對數據集中目標尺寸聚類得到的。實驗A和實驗B所用的標注框不同(詳見3.1小節)，造成所訓練的YOLOv3學習到的知識在本質上也發生了變化。

由于粗定位的目的是能夠魯棒地找到包含車牌4個頂點的候選圖像區域，以便于后續輕量級精定位網絡專注于車牌4個頂點相對坐標的回歸估計，因此這里沒有使用基于檢測框的交并比IoU來計算精確率，而選擇依據車牌的4個頂點是否被包含在檢測框內來統計。若4個頂點均在最終的檢測框內則判為正確，否則判為錯誤。表4給出了2種實驗在CCPD中各個子集上的召回率。

Table 3 Size setting of anchors in YOLOv3 model表3 YOLOv3模型錨框尺寸設置

Table 4 Recall of rough location model on each subset

從表4中的數據可以看出，實驗A與實驗B的平均召回率都在95%以上，除個別子集如DB、Tilt外，在子集上也都能取得高于90%的召回率，這說明所用的2種方法在多種場景下都能較準確地發現車牌。實驗B在子集Weather、Tilt、Rotate和Base(100k)上的召回率要優于實驗A的；在子集Blur、Challenge、FN和DB上的召回率低于實驗A的，但相差不大，均在5%以內，但反觀Tilt子集和Rotate子集實驗B的召回率要遠高于實驗A的，分別提升了15%和7%，這說明實驗B更能應對車牌拍攝角度的變化。而在平均召回率上，實驗B的也優于實驗A。對于準確率，從表5中可以看出實驗B在各個子集上都能取得優于實驗A的準確率，且在Base、Rotate、Weather和Challenge子集上的準確率均高于99%。綜合可知，本文實驗B中所用粗定位方法在召回率和精確率上都更具優勢，驗證了其有效性。實驗B能夠取得更好的粗定位效果說明邊界擴充后的車牌數據標簽有可能指導YOLOv3模型在學習過程中更加關注車牌和非車牌區域之間的區分，能夠在輸出的車牌尺寸上以區域中的車牌為核心注意區域。而在DB子集上，實驗A和實驗B的召回率均小于90%，這主要是因為DB子集包含了一些車牌區域極度昏暗或高光反射的圖像，原始標注框也存在一些錯誤。圖6給出了本文所用車牌粗定位方法(實驗B所用方法)在CCPD數據集中各場景下的一些正確檢測示例，結合表4和表5可知，本文所提粗定位方法能夠有效應對各種非約束場景帶來的背景干擾、傾斜程度嚴重和光照條件差等不利因素，取得較好的粗定位檢測結果。

Table 5 Precision of rough location model on each subset

Figure 6 Correct example of rough location圖6 粗定位方法正確示例

Figure 7 Incorrect example 1 of rough location:Large label error圖7 粗定位方法錯誤示例1：標簽誤差大

Figure 8 Incorrect example 2 of rough location:The label is correct,the detection is incorrect圖8 粗定位方法錯誤示例2：標簽正確，檢測有誤

Figure 9 Incorrect example 3 of rough location:No target detected圖9 粗定位錯誤示例3：未檢測到目標

圖7～圖9給出了本文所用車牌粗定位方法在CCPD數據集上因多種原因粗定位失敗的一些實例，圖中的虛線框表示標注框，實線框表示模型檢測輸出的粗定位結果。根據情況的不同，失敗的情形及其原因主要包括3類:(1)原始數據集中標注信息不準確造成定位錯誤(如圖7所示)。這類問題又存在2種情況:一種情況是原始標注框錯誤，將非車牌區域標注為車牌，如圖7a中虛線框所示；另一種情況是原始車牌標注框過大，如圖7b所示。這類圖像出現在測試集中時，檢測模型即使輸出正確結果，也不能匹配標注信息，在計算準確率和召回率時會被誤認為預測錯誤。但是，模型的輸出有可能是正確的，從圖7a和圖7b中的實線框可以看出，模型輸出是正確的，但無法匹配標注信息，從而被誤判。這類錯誤可以通過再次清洗原始數據集得到糾正。(2)檢測模型自身存在不足，在有些情況下不能夠輸出正確結果。這類情況也可分為2種：一種是標注框正確，但實際上檢測框只包含了一部分車牌區域，車牌信息不完整導致后續精定位失敗，如圖8a所示。這主要是由于光照條件過差，使得車牌不同區域亮度分布極度不均造成的。另一種是僅有少許車牌邊界區域沒有被檢測框包含，如圖8b所示，這種情況在精定位階段往往能夠給出正確結果，但在粗定位階段被判為定位失敗。這可以通過調整判斷標準，增設檢測車牌實際區域在檢測區域的所占比例閾值解決。(3)圖像中車牌區域的圖像質量太差，存在嚴重遮擋、極端光照或嚴重模糊等問題，如圖9所示。

4.2.2 精定位實驗及結果分析

為了有效評估本文所改進的AL-MobielNetV3在車牌精定位應用中的性能，采用常用的交并比IoU指標(如圖10所示)來計算精定位階段輸出的4個車牌頂點構成的車牌外接矩形與實際車牌外接矩形之間的重合度。

Figure 10 IoU calculation method圖10 IoU計算方式

當IoU>0.7時，說明二者重合度較好，定位準確，否則判為定位失敗。圖10中虛線框均為實際車牌的標記框，其中虛線白框是實際標注的4個車牌頂點得到的外接矩形，通過這個外接矩形，可以得出虛線黑框表示的車牌外接矩形。實線框表示實際檢測的結果，實線白框為精定位得到的4個頂點構成的車牌外接矩形，實線黑框為換算出的實際檢測到的車牌外接矩形。這種計算主要是為了方便后續和其他基于矩形檢測框的車牌目標定位算法作對比。表6給出了精定位模型在CCPD中各個子集上的準確率，可以看出，AL-MobileNetV3在所有子集對應的場景中都能夠給出很好的精定位結果，平均準確率為99.62%。在速度方面，沒有進一步進行代碼優化的情況下，所用精定位模型推理速度約為35.4 fps，能夠滿足車牌實時檢測的需要。

Table 6 Precision of precise location model on each subset

圖11為本文所用車牌精定位模型在CCPD各子集對應場景下的一些正確檢測示例，可以看出改進的AL-MobileNetV3模型能夠較好地應對多種傾斜、光照不佳，甚至是背景干擾大的情況，進而估計出車牌4個頂點的相對坐標值。

Figure 11 Correct examples of precise location圖11 精定位模型正確示例

但在有些特殊情況下，AL-MobileNetV3也會出現定位失敗或不準的情況，如圖12所示，其中白色框為實際檢測框，白色虛線框為標記框。這些定位錯誤可分為3類：(1)原始標記框有誤，精定位也示能估計出準確的檢測框，如圖12a所示。這種錯誤很可能是因為訓練數據集中原始標記數據存在少量不正確的情況，致使AL-MobileNetV3模型在訓練時學習到了錯誤知識。有趣的是，圖12a中前2幅定位結果比原始標注框還更加擬合了實際的車牌區域，這也說明模型從其他正確標注的圖像中學到了關鍵知識。(2)標注框正確，檢測框有誤，如圖12b所示。這常發生在車牌圖像傾斜角度過大或光照條件極端的情況下，這也說明本文精定位模型在少數極端場景下的性能還有待提升。(3)該類錯誤是一種偽錯誤，模型實際輸出的檢測框是正確的，但由于原始標記數據有誤，致使被判定為檢測失敗。對于第(1)類和第(3)類錯誤，理論上都可以通過清洗原始數據集、校正不正確的標簽信息來得到糾正。第(2)類錯誤也是一種樣本不均衡現象的體現，因為CCPD中各個子集的圖像數目不完全均衡且極端情形下的車牌圖像數目偏少，致使模型無法學習到所有情況下的判別知識。

Figure 12 Incorrect example of precise location圖12 精定位模型錯誤示例

4.2.3 車牌定位整體結果分析與對比

為了能夠更加公平且客觀地對本文所提車牌定位算法整體性能進行評測，本文和文獻[10,24]中相關數據進行比較，同時施加以下約束：(1)選擇與文獻[10,24]相同的數據集選取方式。(2)比較時，在粗定位階段選擇實驗A所采用的方案，雖然實驗B所采用的方案性能更佳，但為了能夠保證在粗定位階段所用訓練數據及標簽信息和對比方法一致,本文首先選擇實驗A的方案進行比較。實驗A中是先進行車牌直接檢測，然后對檢測到的車牌區域進行擴展后再輸入精定位網絡。(3)將車牌目標真實外接矩形框與根據精定位得到的4個頂點反算出的外接矩形之間的交并比IoU作為評判指標，當IoU大于設定閾值0.7時，可判定為定位正確，否則判定為定位錯誤。

對比表7中的數據可看出，4.2.1節所述的實驗A的方案的準確率在Challenge、Weather和Base子集上相比于其他算法,具有明顯優勢，在FN子集上次優，而在DB、Rotate和Tilt子集上，特別是Tilt子集上表現較差。這主要是由于車牌出現過度傾斜后，當粗定位的矩形框不能準確框住車牌區域時，經過擴展后會使得車牌頂點處于擴展區域的邊緣或者不在擴展區域內。而后續精定位模型在訓練時的數據均是在粗定位正確的情況下獲得的，所以即便進行了區域擴展，在一些特殊情況下精定位輸出的結果甚至可能比粗定位還更偏離正確答案。即便是在這種情況下，本文方法在平均準確率AP上也是最優。另外，由于Blur子集中圖像模糊，在CCPD原作者文章中沒有進行評測[10]，因此其他方法也沒給出Blur子集上的檢測數據，本文所采用的實驗A的方案在Blur數據集上也取得了較好的效果。

表8是利用本文所提粗定位方案B結合精定位模型在新版CCPD數據集上的定位結果。相比于文獻[10]中的舊版數據集，新版CCPD數據集更具挑戰性。如前所述，定位時粗定位方案B，先通過車牌外接矩形得到新的標注數據，然后再進行粗定位，接著將粗定位得到的圖像區域輸入AL-MobileNetV3進行精定位，最后得出車牌4個頂點的坐標。評測時，再根據4個頂點坐標反算出車牌外接矩形，得到和標注框之間的IoU值，從而計算出準確率。為了全面評估出算法性能，本文還同時計算了召回率。對比召回率和準確率可知，即使是在更具挑戰性的新版CCPD數據集上，本文所提出的粗定位方案B結合精定位的方法在所有子集上都能取得較好檢測效果，平均準確率可達99.96%，平均召回率可達99.94%。

除精確率與召回率外，本文還同時計算了整個

Table 7 Comparative analysis of location precision of each model

Table 8 Precision and recall of the rough location experiment B+AL-MobileNetV3 method on each subset

算法的計算性能，略去調用函數及裝載數據的開銷，粗定位環節在CCPD數據集上每幅圖像的處理速度在0.03 s左右；精定位環節的處理速度為每幅圖像0.028 s左右。精定位中輕量級模型和粗定位中YOLOv3模型的計算速度相近，是因為YOLOv3的實現是基于C版本的Darknet框架，而AL-MobileNetV3則是基于Python版本的PyTorch框架。若都統一在C版本的深度學習框架中，速度還有提升的空間。

4.2.4 幾何校正及車牌區域提取

經過粗定位與精定位，可以得到車牌4個頂點坐標，通過透視幾何變換可方便地將非矩形區域的車牌圖像矯正為矩形，圖13給出了一些示例。可以看出，經過校正的車牌區域更便于辨識，對提升后續車牌識別的準確率具有重要意義。

Figure 13 Correction and extraction of license plate圖13 車牌校正與提取

5 結束語

為克服基于深層卷積神經網絡的主流目標檢測網絡所采用的矩形檢測框無法很好地擬合各種開放環境下車牌區域的問題，本文提出了一種將YOLOv3與輕量級MobileNetV3-Small網絡級聯實現由粗到精的車牌定位方案。 在粗定位階段，利用簡潔有效的車牌區域擴展辦法，提升了YOLOv3模型檢測結果的穩健性；在精定位階段，通過適當修改MobileNetV3-Small網絡使其適用于車牌頂點回歸問題，在不影響實時性的情況下充分發揮2種網絡的優勢，解決了非約束場景下車牌的精確定位問題。

從實驗結果可以看出，在粗定位階段，車牌是否完整包含在定位區域中對后續精定位的結果具有重要影響，所以在個別極端情況下會出現粗定位結合精定位得出的4個頂點的外接矩形區域還不如直接用矩形框進行定位準確的情況。后續可以考慮在不影響精定位模型計算性能的情況下，增設額外的輸出來對輸入內容進行判讀，以便于進一步確認輸入圖像是否滿足精定位要求。另外，后續還可以通過迭代的方式篩選出標注錯誤的樣本，對其進行糾正后再訓練，以提升車牌定位準確度。