輕量型多尺度注意力融合的車牌檢測算法

張世豪，楊繡郡，吳林煌，陳平平

福州大學 物理與信息工程學院，福州350000

車牌自動識別系統在城市交通管理中起著非常重要的作用，是“智慧城市”的重要組成部分。車牌識別技術通常分為三個步驟：車牌檢測、字符分割、字符識別[1]。車牌檢測技術是車牌識別系統中的第一步，也是極為重要的一步，車牌定位的準確度往往直接影響后續字符分割和字符識別的性能。傳統的車牌檢測方法都是在固定角度的情況下進行研究[2]，而自然場景下的車牌檢測因為受到光照、拍照角度、失真、模糊等各種不利因素的影響，仍然是一個具有挑戰性的任務[1]。

由于近年來深度學習領域的不斷發展，深度學習在車牌檢測領域的應用逐漸受到人們的廣泛關注。車牌檢測技術通過深度神經網絡能夠提取出更深層次的特征，大大提高了檢測的準確度[1]，并且基于深度學習的車牌檢測方法魯棒性強，因此逐漸取代了傳統的車牌檢測方法。目前性能比較好的目標檢測器都是建立在非常深的卷積神經網絡上，深層卷積神經網絡會帶來模型參數的增加以及計算量的增加，使得模型很難部署在移動端的設備，并且實時性較差。

鑒于當前車牌檢測方法存在的問題，本文提出使用輕量型網絡MobileNet 作為骨干網絡[3]，在保證準確度的情況下能夠顯著減少網絡的參數以及計算量。車牌在圖像中所占的區域很小，相比于區域較大的物體比較難以檢測出來，本文提出使用特征金字塔網絡（Feature Pyramid Networks，FPN）來獲取多尺度特征，提高對小目標的檢測精度。可以注意到，真實交通環境下的車牌具有豐富的上下文信息，車牌通常不會單獨出現，而是伴隨車輛一起出現，受到文獻[4]中使用不同大小的卷積核構成上下文模塊來提升人臉檢測性能的啟發，本文在網絡中使用RFB（Receptive Field Block）結構來擴大感受野，從而利用上下文信息提高了對小目標車牌的檢測精度。真實的交通環境是復雜多變的，復雜的交通環境會影響網絡對于車牌的檢測性能，受到文獻[5-6]中通過使用注意力機制來減少實際交通環境中對交通標志的誤檢率的啟發，本文在網絡中使用注意力機制來減少復雜環境下的誤檢個數。同時注意到車牌具有很明顯的顏色特征和形狀特征，因此選擇由通道注意力（Channel Attention）和空間注意力（Spatial Attention）串聯組成的CBAM（Convolutional Block Attention Module）注意力結構來提升網絡的檢測性能。

本文的主要貢獻可歸納如下：

（1）提出了一種輕量級的車牌檢測網絡，通過使用MobileNet 作為骨干網絡，顯著減少了網絡的參數量和計算量。

（2）在網絡中使用特征金字塔網絡獲取多尺度特征，通過融合低層特征的高分辨率和高層特征的強語義信息提升了網絡的檢測準確度。

（3）使用感受野模塊RFB，通過整合目標區域的上下文信息，來幫助網絡正確地檢測出車牌。

（4）在網絡中使用注意力機制，通過注意力機制可以減少復雜環境所帶來的誤檢個數，從而提升網絡的檢測準確度。

（5）使用分類損失函數、檢測框回歸損失函數和角點回歸損失函數聯合優化，既能夠提升網絡的檢測性能，同時又可以檢測出車牌的4個角點。

1 相關工作

車牌檢測任務是指將一張圖片中的車牌檢測定位出來，輸入的是一張圖片，輸出為車牌的位置信息。通常車牌檢測任務主要有兩類檢測方法：一類是基于傳統的人工設計的特征提取的方法；一類是基于深度學習的檢測方法。

1.1 傳統的車牌檢測方法

基于傳統的人工設計的特征提取的方法主要包括：基于顏色的檢測定位方法[7-8]、基于邊緣特征的檢測[9-10]、基于字符的檢測[11-12]、基于紋理特征的檢測[13]、基于幾何特征的檢測[14]。這些方法在一定條件下能夠取得令人滿意的效果，但是基于人工提取出來的特征是不全面的，只反映了部分特征，而且在自然環境下，容易受到光照強度、遮擋、拍攝角度以及模糊度的影響。

1.2 基于深度學習的車牌檢測方法

基于深度學習的檢測方法主要包括兩種：間接定位和直接定位。間接定位是指通過車牌與車輛之間的關系間接得到車牌的位置信息[1]，或者通過首先定位字符區域從而對車牌進行定位。在文獻[15]中，首先通過字符/非字符分類器定位出字符區域，然后通過車牌/非車牌進一步檢測出車牌區域，并消除非車牌區域。直接定位是指輸入一張圖像，可以直接預測得到車牌的位置信息。文獻[16]提出了一種基于通用的目標檢測Faster-RCNN的車牌檢測模型，可以通過該模型直接預測得到車牌的位置信息。

2 網絡介紹

2.1 網絡概述

本文的車牌檢測網絡結構LPDNet（License Plate Detection Net）如圖1所示，網絡整體結構采用one-stage目標檢測的方法。車牌具有明顯的顏色、紋理、字符等信息，傳統的車牌檢測網絡能夠快速地提取這些信息，但也容易受到光照等不利因素的影響。傳統的深度學習的車牌檢測方法往往能夠獲得較高的精確率和召回率，但自然環境下的車牌檢測往往會涉及到小目標的車牌，傳統的深度學習檢測方法只使用最后一層特征圖進行預測會導致小目標的車牌檢測準確率下降。本文提出的車牌檢測方法采用多尺度特征融合的方法，通過圖1（a）中的骨干網絡MobileNet 提取不同層的特征圖{C1,C2,C3}，低層特征圖獲得豐富的細節紋理信息，高層特征圖獲得豐富的語義信息，由特征金字塔生成的尺度特征圖{P1,P2,P3}具有高分辨率的細節紋理信息，同時也具有低分辨率的語義信息，可以提高對小目標的檢測精度。真實交通環境下的車牌具有豐富的上下文信息，車牌通常是伴隨車輛一起出現。因此在網絡中使用RFB，融合后的特征送入圖1（b）RFB結構，通過擴大感受野來整合上下文信息，利用上下文信息來提升對車牌的檢測準確度，該模塊與多尺度特征圖聯合使用，可以在保證實時性的前提下顯著提升對車牌的檢測精度。將經過RFB結構后得到的不同尺度的特征圖送入圖1（c）注意力結構CBAM，可以對卷積神經網絡的通道和空間區域進行選擇，提高卷積神經網絡的注意力，減少復雜環境所帶來的影響造成的誤檢的個數，進而提升對目標的檢測精度。

圖1 LPDNet的網絡結構Fig.1 LPDNet network structure

2.2 輕量型網絡MobileNet

隨著卷積神經網絡的深度越來越深，模型越來越復雜，卷積神經網絡在目標檢測任務中所得到的性能也越來越好，但隨之也帶來了模型參數量的增加，模型的運算復雜度越來越高，使其只能夠在性能優越的服務器上運行，難以在移動平臺端上部署。輕量型網絡SqueezeNet、ShuffleNet、MobileNet[3，17-18]的出現使得模型在移動端的部署成為可能。輕量型網絡主要是對網絡的計算方式進行優化設計，從而使得網絡參數減少，同時不會損失網絡的性能。本文所使用的輕量化的網絡模型結構為MobileNetV1，它是由谷歌提出的輕量化的網絡模型，主要貢獻是提出使用深度可分離卷積來替代傳統的卷積。深度可分離卷積是指將卷積過程分為深度卷積（Depthwise）和點卷積（Pointwise）兩個步驟。深度卷積的特征是每個卷積核的通道數為1，而傳統卷積過程的卷積核的個數為輸入特征圖的通道數。點卷積實際上就是1×1 的普通卷積的卷積核。兩種卷積過程對比如圖2 所示，左側為傳統的卷積過程，右側為深度可分離卷積。可以看出深度可分離卷積將傳統卷積拆分為Depthwise 和Pointwise 兩部分，輸入特征圖和輸出特征圖的維度是一致的，通過對傳統卷積進行分解，實現對卷積計算量的壓縮，傳統卷積的計算量為DK×DK×M×N×DF1×DF2，深度可分離卷積的計算量為DK×DK×M×DF1×DF2＋M×N×DF1×DF2，前半部分為Depthwise部分的計算量，后半部分為Pointwise 部分的計算量。其中DF1、DF2分別表示輸入特征圖的寬度和高度，DK表示卷積核的尺寸，M為輸入特征圖的通道數，N輸出特征圖的通道數。如式（1）所示，深度可分離卷積可以將計算量減少至傳統卷積的，從而也加快了網絡的計算速度。

圖2 卷積過程Fig.2 Convolution process

2.3 RFB

本文提出的網絡使用了RFB 卷積結構，如圖3 所示。RFB是一個多分支的卷積模塊，主要是解決輕量型的網絡精度不足的問題。RFB 的靈感主要來自于人類的視覺感受野結構。人類的視覺系統是由多個不同的感受野部分復合而成的，而一般的CNN 每層的感受野是固定的，這樣會丟失掉一些信息，導致精度偏低，因此引入多分支卷積和膨脹卷積層，在每個卷積分支上使用不同的膨脹率，獲得不同大小的感受野，并在最后進行融合[19]。這種設計方式與人的視覺感受野機制十分相似，實驗中使用RFB模塊，能夠達到提升精度的目的。

圖3 RFB卷積結構Fig.3 RFB convolution structure

2.4 CBAM

CBAM是一個卷積注意力模塊，如圖4所示。注意力機制在提高目標檢測的精度任務中有著重要的意義。通過引入注意力機制，人們可以關注到重要的特征，抑制不重要的特征。通常卷積操作在特征提取時，混合通道CBAM 由通道注意力模塊、空間注意力模塊和空間信息來提取特征，通過這兩個模塊來對卷積神經網絡的通道和空間區域進行選擇，提高卷積神經網絡的注意力，減少背景等無關特征對結果的影響[20]。

圖4 CBAM卷積注意力模塊Fig.4 CBAM convolutional attention module

通道注意力模塊如圖5所示，輸入通道注意力模塊的特征為F∈RC×H×W，為了更好地計算每個特征通道的重要程度，需要將輸入的特征圖通過平均池化層（Average Pooling）和最大池化層（Max Pooling）進行壓縮得到再分別將得到的兩個通道特征輸入多層感知機（MultiLayer Perceptron，MLP）進行卷積運算，運算完成后得到的輸出再進行逐元素相加，并利用Sigmoid函數進行激活，從而得到通道注意力權重的特征圖Mc(F)∈RC×1×1。通道注意力權重的特征圖Mc的計算公式如式（2）所示：

圖5 通道注意力模塊結構Fig.5 Channel attention module structure

其中，σ表示Sigmoid激活函數，W0和W1表示MLP的權重。

特征圖的每一個通道都被看作一個特征檢測器。通道注意力模塊主要專注于關鍵特征“是什么”。與通道注意力模塊不同，空間注意力模塊專注于關鍵特征“在哪里”，是對通道注意力的補充。空間注意力模塊如圖6 所示，輸入為特征圖，經過Mc加權后的新的特征圖F′，經過平均池化層和最大池化層后得到再將兩個空間特征拼接在一起，形成通道數為2 的新的空間特征圖，然后通過卷積層進行卷積，并使用Sigmoid函數進行激活，從而得到空間注意力權重的特征圖Ms(F)∈RH×W。空間注意力權重的特征圖Ms的計算公式如式（3）所示：

圖6 空間注意力模塊結構Fig.6 Spatial attention module structure

其中，f7×7表示使用7×7 的卷積核的卷積層。CBAM的整個處理過程如式（4）所示：

其中，?表示對應元素逐個相乘。輸入特征圖F先送入通道注意力模塊生成通道注意力權重的特征圖Mc，并與原始輸入特征圖對應元素相乘得到新的特征圖F′。新的特征圖F′送入空間注意力模塊生成空間注意力權重的特征圖Ms，并與F′逐元素相乘得到最終的特征圖F″。

2.5 損失函數

本文的模型使用多任務損失函數進行聯合優化，損失函數如式（5）所示，包括三部分：車牌的分類損失函數、車牌框的回歸損失函數、車牌角點的回歸損失函數。

車牌的分類損失函數Lcls采用的是softmax 損失，pi表示第i個anchor點可能是車牌的概率，表示第i個anchor點為正例時值為1，為負例時值為0；Lbox表示車牌框的回歸損失函數，其中R表示smooth-L1損失函數，分別表示第i個anchor 點對車牌框坐標的預測值和與該anchor點相對應的車牌框坐標的真實值；Lpts表示車牌角點的回歸損失函數，車牌角點的損失函數仍然使用smooth-L1 損失函數，其中分別表示第i個anchor 點對車牌4 個角點的預測值和與該anchor 點相對應的車牌4 個角點的真實值。λ1和λ2表示車牌框預測和角點預測在車牌檢測任務中的權值。

3 實驗

3.1 實驗環境及參數設置

實驗環境如表1所示。

表1 實驗環境Table 1 Experimental environment

實驗中采用SGD（Stochastic Gradient Descent）的優化方法對模型進行訓練，學習率設置為0.001，動量設置為0.9，實驗進行40 個完整的迭代周期，當進行到第30 個迭代周期時，將學習率調整為0.000 1。實驗中將車牌檢測任務中的車牌框預測和角點預測的權值λ1和λ2分別設置為2和1。

3.2 數據集

使用中國城市停車數據集（CCPD）[21]在本文的模型上進行訓練和測試。CCPD 數據集是目前國內開源的最大的車牌檢測識別數據集，數據集中一共有35 萬張標注好的圖片，分為8個不同的子集CCPD-base、CCPDblur、CCPD-challenge、CCPD-db、CCPD-fn、CCPD-rotate、CCPD-tilt、CCPD-weather，其中包含了不同角度、不同清晰度的各類車牌，每張包含車牌的圖片的分辨率大小均為1 160×720。將數據集中的每個子集均選取一半，獲得17.5萬張圖片作為訓練集，將CCPD-base子集中的一半共10萬張圖片作為驗證集，將數據集中的其余7.5萬張圖片作為測試集測試網絡模型的性能。

為了提高網絡的性能，在訓練過程中使用數據增強處理，對原始圖片隨機進行裁剪、顏色變換、鏡像翻轉等操作，每個操作進行的概率均為0.5[22]。數據增強后得到的圖像如圖7所示。

圖7 數據增強圖像Fig.7 Data augmentation diagrams

3.3 評價指標

本文在實驗部分使用平均精確率（Average Precision，AP）、召回率（Recall）作為評價指標。AP為不同召回率下的平均精確度。Precision 和Recall 的計算如下所示：

這些評價指標也是在目標檢測任務中常用的評價指標。Precision指的是在所有檢測出來的目標中，檢測正確的車牌所占的比例；Recall 指的是所有車牌中，網絡所檢測出來的車牌所占的比例；TP 指的是被正確預測的車牌的數量；FP為被錯誤預測為車牌的數量；FN為車牌被預測為背景的數量。

3.4 消融實驗

為了驗證本文提出的方法的有效性，同時確定增加的各種結構在性能改善中所起到的作用，并為其他研究人員提供改善的想法，在驗證集上進行了消融實驗，實驗對比結果如表2所示。

表2 探索了實驗中使用的損失函數以及各個模塊對實驗結果的影響。由實驗數據可以看到，當使用了角點回歸損失函數時，獲得了較大的性能提升（AP提升了3.79%），實驗中使用FPN、RFB、CBAM 模塊時，實驗結果均有所提升，當不再使用數據增強時，可以看到檢測性能有明顯下降，驗證了本文提出的方法的有效性，并且驗證了在實驗中使用數據增強可以提升網絡的性能。

表2 不同結構對檢測結果的影響Table 2 Influence of different structures on detection results

為了驗證本文提出的方法對小目標車牌檢測的精度，將驗證集中每張圖片中車牌的像素大小統計下來，并將其按升序排列，取出前1 000 張圖片用來測試模型的檢測精度，檢測結果如表3所示。

表3 1 000張小車牌圖像的檢測性能Table 3 Detection performance of 1000 small license plate images

由表3中數據可以看到，使用通用的目標檢測網絡時，小目標車牌的檢測精度僅為73.76%，當使用本文提出的方法之后，檢測小目標車牌的精度提升為92.17%，性能顯著提高，可以得到本文提出的方法可以有效檢測到小目標車牌。

3.5 對比實驗

將訓練得到的網絡模型與目前最先進的車牌檢測模型進行對比，結果如表4所示。

表4 不同模型在CCPD數據集上的性能比較Table 4 Performance comparison of different models on CCPD data sets

從表4 中的實驗結果可以得知，本文提出的車牌檢測方法不僅在檢測精度上優于目前最先進的方法，并且仍然能夠達到實時的檢測速度，檢測速度優于其他大部分的網絡，檢測結果如圖8所示。

圖8 LPDNet檢測結果Fig.8 LPDNet test results

表5 是本文提出的方法與主流的車牌檢測方法的參數數量的對比，從表中可以看出，本文提出的方法的參數數量遠低于MTLPR。極少的網絡參數數量使得網絡在移動端的部署成為可能。

表5 不同模型參數量比較Table 5 Comparison of number of different model parameters

4 總結

針對自然場景下受到環境干擾導致車牌檢測性能差的問題，本文提出了一種基于多尺度注意力機制的輕量型的車牌檢測方法。該方法使用輕量型的網絡結構MobileNet，減少了網絡參數的數量；使用特征金字塔網絡來提升對小目標的檢測精度；網絡中添加注意力機制來增強網絡對重要特征的關注程度，抑制對不重要信息的關注程度，從而提升網絡的檢測效果；在網絡中使用具有不同大小感受野的RFB模塊，通過整合目標附近的上下文信息來提升車牌的檢測效果。與目前車牌檢測中先進的方法進行比較，實驗結果表明，本文方法在CCPD數據集上取得了很好的檢測效果，取得了98.05%的平均精確率和98.71%召回率，而且能夠達到64 frame/s的檢測速度。