復雜場景下基于熱圖的車牌檢測

郝超杰，賈振堂

（上海電力大學電子與信息工程學院上海 200090）

0 概述

在當前圖像處理和計算機視覺領域，車牌檢測是一個重要且熱門的研究課題，其早期研究是基于傳統特征的方法，如使用邊緣信息和顏色特征檢測車牌位置［1］，此類方法對于受控條件和單一場景下的車牌比較適用。王永杰［2］等提出一種基于多信息融合的車牌定位方法，通過邊緣密度信息快速濾除大量背景信息，再由車牌字符的分布信息定位車牌，最后使用模板匹配方法對車牌字符進行分割，通過分割出的字符來驗證所定位區域是否為車牌。魏亭［3］等基于視覺感知提出一種計算機多尺度輔助定位車牌的算法。對于完整的單幀圖像，該算法從車輛、紋理和顏色3 種特征尺度聚焦車牌區域。然而，這些傳統方法對車牌圖像的光照、視角變化、污漬、低分辨率圖像等影響因素過于敏感，致使檢測效果不佳。

隨著深度學習的不斷發展，其與機器視覺相結合的車牌檢測成為新的研究方向［4］。近幾年的研究使用YOLO［5］、SSD［6］、RCNN［7］等目標檢測算法來解決車牌檢測問題，其中YOLO、SSD是一階段的目標檢測算法。RAYSON［8］等提出一種基于YOLO 檢測器的實時車牌識別系統，在該系統中，對于車牌位置的檢測使用了基于YOLO 的算法。胡逸龍等［9］提出一種車牌檢測、字符識別兩階段的中文車牌識別算法，基于YOLO 模型對模型進行輕量化和添加注意力機制等改進得到YOLOPlate 模型，基于CRNN 模型對模型輸入和卷積網絡結構進行調整，并針對拍攝角度導致的車牌形變問題，向網絡中添加STN 網絡，得到CRNNPlate 模型。HSU［10］等針對自然場景下的車牌檢測提出一種基于YOLO-9000 深度學習的檢測器，通過擴大網絡的輸出尺寸提升圖像中小尺寸車牌的檢測精度。YING［11］等融合了傳統方法和深度學習方法，為解決復雜場景下的車牌檢測和定位問題，提出一種基于深度學習的算法。首先將目標檢測問題轉化為二值分類問題，然后利用選擇性搜索算法在滑動窗口上生成矩形候選區域，最后利用支持向量機進行分類。與傳統機器學習相比，該算法在檢測精度上具有明顯的優勢。以上基于深度學習的車牌檢測研究都是使用矩形框的方式來檢測車牌位置，難以表述由拍攝角度傾斜引起的車牌變形后的形狀，影響了車牌字符的識別率。

SILVA［12］等針對限定場景下的車牌檢測問題，引入一種新的卷積神經網絡，實現在不同的相機姿態下檢測一幅圖中的車牌，并通過仿射矩陣校正變形車牌。余燁［13］等提出一種自然場景下的變形車牌檢測模型DLPD-Net，將仿射變換的方法應用于車牌檢測中。該模型使用仿射變換得到車牌角點位置，與利用矩形框方式相比，能夠實現對仿射變形的車牌的檢測，同時具備良好的魯棒性。但是，該研究不適用于光照不均勻、透視變形、低分辨率等復雜場景中的車牌檢測。

受CAO［14］和OSOKIN［15］等對人體姿態估計研究的啟發，本文提出一種基于熱圖的車牌檢測網絡LPHD-Net。與使用矩形框和仿射變換的檢測方式不同，LPHD-Net 使用車牌角點熱圖的方法來檢測車牌，且輸出為車牌的4 個角點熱點圖和4 個邊界向量場，可避免車牌角點間的誤連接。此外，本文使用中國城市停車數據集（China Urban Parking Data Set，CDPP）對模型進行訓練，使模型能夠適用于多種復雜場景。

1 角點熱圖及其匹配

在CAO［13］等關于人體姿態估計的研究中，人體關節點采用熱圖（heat map）的方式來表示，熱圖中的極值點即為關節點，關節點的熱圖標簽采用高斯函數來生成，關節點之間的連接關系則采用部件親和力場（PAFs）的方法來描述。PAFs 能夠準確建立關節點之間的連接關系，從而完成對人體姿態的正確估計。受此啟發，本文用熱圖來估計車牌的全部角點，并用PAFs 來描述角點之間的連接關系，完成對車牌的檢測。

車牌角點匹配的實現依賴于PAFs，為了便于理解，本文稱之為角點連接向量場，簡稱為向量場，其原理如圖1 所示。其中，j1、j2表示由網絡輸出的車牌的2 個角點熱圖，v是從j1指向j2的單位向量，vT是垂直于v的單位向量。取線段j1j2的一個矩形鄰域Ω，如圖1 中的箭頭簇區域所示。鄰域Ω的長度和寬度分別設為lc、σc。對于鄰域Ω內的每個像素點，都賦值為向量v，而Ω鄰域之外的點都賦值為零向量。鄰域Ω內的向量場就描述了角點j1和角點j2之間的連接關系。車牌的任何一條邊都由一個這樣的向量場來表示其兩個端點之間的連接關系。

圖1 角點連接向量場示例圖Fig.1 Example diagram of corner connection vector field

以上關于向量場的定義，可用式（1）和式（2）表示：

其中：|vT?(p-j1)|表示點p距離線段j1j2的垂直距離；v?(p-j1)代表點p在j1->j2方向上與j1的距離；F表示向量場。

本文網絡模型訓練后輸出預測的車牌角點熱圖H和邊界框向量場F。由角點熱圖估計出車牌邊界頂點，然后通過向量場F建立頂點之間的關聯。使用式（3）計算車牌頂點之間的關聯置信度，其實質是計算單位向量v與向量場F的內積，計算值反映了兩預測角點j1、j2之間相連的可能性。

2 車牌檢測網絡

2.1 網絡結構

如圖2 所示，本文網絡模型的圖像輸入尺寸為640×480×3，首先初步提取輸入圖像中的圖像特征，即圖2 中的f。然后經過初始階段網絡的2 個分支分別得到車牌4 個角點熱點圖H和4 條邊界框向量場F，之后再將熱點圖H、向量場F和圖像特征f拼接起來作為調整階段網絡的輸入，以便網絡最后輸出更為精細的車牌角點熱圖和車牌邊界框向量場。此外，為了引導網絡迭代地預測角點熱圖和邊界框向量場，在每個階段的每個分支末尾都應用損失函數予以約束。網絡的初始階段（InitialStage）由3 個3×3 的卷積層和2 個1×1 的卷積層組成，調整階段（RefinementStage）則由5 組調整模塊和2 個1×1 的卷積層組成，其中每個調整模塊由一個1×1 的卷積核和2 個3×3 的卷積層組成。圖像特征f的提取部分使用了改進型DenseNet 結構［16］，該結構由2 組DenseBlock 層和1 個Transition 層構成，這與原DenseNet 網絡結構是不同的。此外，相較于CAO［14］等使用的VGG19 網絡，DenseNet 網絡可通過建立不同層之間的連接實現特征的重復利用。Translation 層以及較小的增長率growth rate 也可減少訓練參數，提高訓練效率。后處理過程包括從角點熱點中提取角點和使用PAFs 方法計算角點間的關聯置信度。

圖2 車牌檢測網絡結構Fig.2 License plate detection network structure

2.2 損失函數

在本文構建的網絡結構中，每個階段的每個分支末尾應用一個損失函數，該損失函數定義為預測值和真實值的平方差損失。熱點分支網絡的輸出為4 張圖像的角點熱點圖，向量分支網絡的輸出由4 張車牌邊界框連接向量圖。式（4）和式（5）分別代表2 個分支網絡的損失函數，其中是角點熱點圖分支損失函數；是邊界框向量圖場分支損失函數；式（4）中H*代表真實車牌角點熱點圖；式（5）中F*代表真實車牌邊界框向量場是第t個階段的角點熱點圖是第t個階段的邊界框向量場。

為了判斷網絡是否收斂，定義式（6）為整個網絡的損失函數，其為網絡初始階段和調整階段的損失之和。因為本文文網絡共2 個階段，所以T的取值為2。

2.3 車牌檢測過程

車牌檢測過程如下：

1）將圖片裁剪成為640×480 像素的圖像，將裁剪完成的圖片作為LPHD-Net 的輸入。如圖3 所示，經過LPHD-Net 網絡輸出8 個通道特征圖，分別是4 張車牌角點熱點圖、4 張邊框向量場分量圖。車牌的4 個邊界分別用一個向量場來表示。

圖3 單張車牌的角點熱點圖與邊界框向量場圖Fig.3 Corner heat map and bounding box vector map of a single license plate

2）提取車牌角點坐標。因為預測的角點熱點圖是車牌候選角點組成的一個區域，所以首先要在該區域中提取車牌角點。對于包含單張車牌目標的圖片，通過比較熱點圖內各點熱力值大小即將熱力值最高的位置作為車牌角點的位置。如圖4 所示，對于包含多張車牌的圖片以及角點預測結果中出現干擾點的情況，除使用熱點熱力值進行篩選外，還另外設置了一個約束條件，即通過設置車牌角點之間的距離閾值進行篩選，把小于距離閾值的點刪除。這樣通過對各角點熱點區域內熱力值的大小以及車牌角點之間的距離進行篩選后，即可得到所有車牌角點位置。

圖4 多張車牌的角點熱點圖、邊框向量場圖Fig.4 Corner heat map and bounding box vector map of multiple license plates

3）車牌角點的組合。提取出車牌角點后使用PAFs 算法將各角點組合起來，組合的目的是為了避免車牌角點的錯誤連接，從而將車牌位置準確地檢測出來。使用式（3）計算車牌邊界的大于設定的閾值則認為兩車牌角點間存在車牌的邊界框。最后將這些角點間的邊界框拼接起來，即完成車牌位置的檢測。

3 實驗與分析

3.1 數據預處理

本文使用的數據集是中國城市停車數據集（CCPD），該數據集包含各種復雜環境下的車牌圖片（例如傾斜、夜間、強光、低分辨率、雨霧天）。按照一定的比例選取其中一部分數據用于訓練、驗證和測試。各種類在訓練集、驗證集、測試集所占的數量如表1 所示。模型訓練完成后，在測試數據上進行實驗測試，用于分析和比較。

表1 數據分配表Table 1 Data allocation table

3.2 模型的訓練與測試

本文采用基于pytorch 的深度學習框架進行訓練和測試，基于熱圖方法對車牌進行定位檢測，選用NVIDIA 1080Ti，CUDA9.2，內存為32 GB 的GPU。使用的編程語言為Python。訓練過程中相關參數的設置：訓練代數為210，批次數為8，學習率為0.005。

3.3 結果分析

對于車牌檢測方法的性能評價，本文采用通用文本檢測中常用的評價標準：精確率與召回率。本文定義精確率為正確檢測到的車牌數量除以檢測到的車牌數量，召回率為正確檢測到的車牌數量除以真實車牌的數量，公式如下：

其中：TP表示被正確檢測到的車牌數量；FP表示被錯誤檢測到的車牌數量；FN表示被錯誤檢測的車牌中正確車牌的數量。此外，當檢測到4 個點時才算是檢測到了車牌。檢測精度遵循對象檢測交集-并集中的慣例做法。當預測角點組成的框與真實角點組成的框的IOU 大于70%（IOU>0.7）時，該邊界框才被認為是正確的車牌區域，否則認為是錯誤檢測到的車牌。定義交并比（Intersection over Union，IOU）為：

其中：Rpr代表預測出的車牌角點構成的任意四邊形區域；Rgt代表真實的車牌角點構成的四邊形區域；aarea代表兩四邊形交并區域的面積。實驗結果如表2所示。由實驗結果可以反映出本文檢測模型在性能上更快、更準確。需要說明的是，在本文實驗中，將網絡輸出了4 個角點熱圖規定為檢測到了車牌。實際測試發現對于一些圖片，由于復雜場景中存在著不少的干擾，網絡并不會完整地輸出4 個角點熱圖，對于網絡輸出3 個車牌角點的情況，本文通過平行四邊形特征計算缺失的車牌角點坐標，這有助于提高檢測率。

表2 不同模型的檢測性能對比Table 2 Detection performance comparison of different models

由表2 可知，本文方法檢測準確率比MTLPR+data augmentation、LMAFLPD 方法分別提升了1.5 和1.15 個百分點，速度分別提升了13 frame/s 和14 frame/s。另外，與不進行數據增強的MTLPR 方法相比，本文檢測方法在速度、精確率、召回率3 個性能指標上均有較大提升。

3.4 消融實驗

為探索各模塊在整個網絡結構中所起的作用，在驗證集上的進行消融實驗，以便于更好地理解網絡的行為。實驗結果如表3 所示。由表中結果可知，添加調整階段模塊比只添加初始階段模塊時的結果更好。因為DenseNet 在網絡中用來提取網絡圖像特征，所以精確率和召回率均為0。

表3 LPHD-Net 使用不同結構的檢測結果Fig.3 Detection results by LPHD-Net using different structures

本文模型的檢測效果如圖5 所示。第1 行為各種復雜背景中的車牌檢測效果，包括車牌扭曲、雨雪天氣和低分辨的情況。第2 行為梯形車牌的檢測效果。第3 行為多車牌的檢測效果。

圖5 車牌檢測效果Fig.5 The effect of license plate detection

4 結束語

本文提出一種基于熱圖的車牌檢測方法，構建LPHD-Net網絡完成車牌的檢測，該網絡結構的關鍵在于PAFs算法。在CPDD車牌數據集上進行網絡模型的訓練和測試，實驗結果表明，LPHD-Net網絡對變形、污垢和圖像模糊等復雜場景下的車牌具有很好的檢測效果。同時，與SSD、Faster-RCNN、YOLOv3 等傳統算法和其他神經網絡算法相比，該方法可以有效提升復雜場景下車牌檢測的精度和速度。由于CPDD 數據集中不包含多車牌的圖片數據，因此下一步將通過使用其他數據集，研究LPHD-Net在多車輛和多車道情況下的車牌檢測效果。