基于深度學習圖像數據集評估的車牌檢測方法

摘? ?要：針對復雜道路背景中車牌檢測精度低的問題，提出一種基于深度學習的車牌檢測方法。該方法首先采用快速的基于區域卷積網絡方法（Faster R-CNN）在圖像中檢測出車輛區域，然后對每個車輛區域采用分層抽樣方法獲取該車輛區域中的車牌候選區域，最后采用訓練的深度卷積神經網絡過濾非平板候選項，定位車牌區域位置。這種基于車輛區域檢測的方法為車牌檢測提供尺度信息，限制搜索范圍，使車牌檢測更加可靠。文章利用Caltech和AOLP圖像數據集進行評估算法的性能，實驗表明，這種方法在準確率、召回率、F-score性能方法都高于其他算法，可以應用于不同場合下的車牌檢測問題。

關鍵詞：車牌檢測;深度學習;卷積神經網絡;條件約束

中圖分類號： TP391? ? ? ? ? 文獻標識碼：A

1 引言

隨著現代城市對智能交通方面的需求，車牌檢測在車流監控、交通管理等許多實際領域中的應用越來越廣泛，研究人員幾十年來提出了多種車牌檢測方法[1，2]。現有的許多算法在簡單的場景中性能表現良好，但是在開放、復雜的工作環境中，因為道路場景圖像受到拍攝條件（扭曲、模糊、光照、遮擋等）的影響和圖像中背景雜波（如植物、建筑、行人、道路指示牌等）的干擾，加上車牌區域面積在整個圖像中占比相對較小，使得車牌檢測仍是一個難題。

傳統的車牌檢測方法大致可分為邊緣檢測、顏色檢測、區域檢測和字符檢測四大類。首先，基于邊緣的方法[3，4]是利用車牌字符的重復垂直邊緣模式。這種方法可以有效地檢測到車牌位置，但對背景雜波和圖像模糊敏感，容易受到干擾導致精確度降低。其次，基于顏色的方法是將給定的圖像分割成顏色均勻的區域，利用車牌的幾何特性選取其中的車牌區域。該方法對視角畸變具有較強的魯棒性，但對光照變化特別敏感。第三，基于區域的方法通過提取紋理特征，對候選區域進行分類。該方法可以處理許多道路場景的車牌檢測問題。最后，基于字符的方法是利用字符檢測器檢測車牌區域。由于近年來機器學習（例如CNNs）的發展，該方法表現出良好的性能，但由于道路場景圖像中人員、字符較多，仍存在誤報問題。

2 車牌檢測方法

車牌檢測就是在一張圖像中利用合適的矩形框定位出圖像內所有的車牌位置。因此，本文提出的車牌檢測方法可以分解成三步：首先對輸入圖像進行車輛檢測，其次利用分層抽樣方法獲取車牌候選區，最后過濾非平板候選項，定位車牌位置。本文提出的車牌檢測方法流程圖如圖1所示。圖1a表示輸入圖像，1b和1c是檢測車輛區域，排除背景雜波信息干擾，1d是在車輛區域內進行車牌搜索、檢測和定位。

2.1 車牌區域檢測

為了生成候選區域，本文采用了分層抽樣的方法，通過采用貪婪匹配融合程序，獲取一個全局區域。分層抽樣是一個對總體進行抽樣的方法，首先將總體按照某種特征劃分為若干次級總體（層），然后再從每一層內對次級總體進行單純地隨機抽樣，組成新的樣本。分層抽樣可以將一個內部變異很大的層分成一些內部變異較小的層，從而提高總體指標估計值的精確度。

車牌區域檢測首先使用基于圖形的分割方法生成初始區域，采用貪心算法對區域進行迭代分組：利用基于顏色、紋理、大小和填充（合并區域形狀的特征）等特征計算所有相鄰區域之間的相似度，將兩個最相似的區域組合在一起;然后計算得到的區域與其他相鄰區域之間的新相似度;最后將相似區域分組合并的過程重復進行，直到整個圖像變成一個單獨的區域。具體算法如下所示。

1）輸入圖像;

2）利用圖像分割算法生成初始區域，初始化相似度S=0;

3）選擇相鄰區域對，計算兩者的相似度，;

4）若，令，合并相鄰區域對，去除關于和的相似度：和;

5）迭代第三步和第四步，直到S=0;

6）從R中的所有區域中提取車牌位置框L。

由于綜合考慮了區域之間的差異性和區域內部的相似度問題，并且采用聚類方式對圖形中的頂點進行分割，因此可以獲取邊界保持良好的車牌候選區域：

其中，表示第i個區域的邊界框，N為候選區域的個數。在合并過程后出現的區域均可認為是候選區域，如圖2所示。

2.2 車牌分類

給定一個車輛區域和R（該區域中的一組候選區域），利用該車輛區域的尺度信息可以有效地去除誤報現象。假定車輛區域的寬度和高度分別為和，考慮到車牌的相對大小和寬高比尺寸，本文施加兩個約束，對不滿足約束條件的車牌候選區域進行過濾：

經過預過濾后，獲取了可能被認為是車牌的各種邊界框。為了從多個邊界框中判斷車牌位置，本文應用一個基于CNN的分類器來過濾剩余的非板塊候選。本文采用的CNN模型為TensorFlow框架，TensorFlow框架包含用于特征提取的兩個卷積層和兩個全連接層，模型配置如表1所示。

由于每個車輛區域中至多存在一個車牌，因此本文選取該區域內響應最大的一個候選區域作為車牌，當存在車輛誤檢或車牌遮擋情況時，通過設置閾值M降低錯誤率。如果響應值滿足M>0.8，分類器將給出檢測過程最終結果，定位出車牌位置。

3 實驗結果與分析

采用Caltech數據集（1999）和AOLP數據集兩個數據集對本文提出的方法進行性能評估，并與其他方法進行比較。Caltech數據集（1999）包括126個圖像集，分辨率為896×592，數據集部分圖像如圖1和圖2所示，由于背景雜亂、車牌顏色不同、車輛遮擋、各種拍攝環境（如光照變化、失焦模糊等）等原因，該數據集中的許多圖像對車牌檢測算法都具有很大的挑戰性。

從精確度（Precision）、召回率（Recall）和F-score三項指標對本文提出的車牌檢測方法進行評估，其中F-score定義：

表2給出了本文方法與其他方法在Caltech cars數據集的實驗檢測結果。對比的車牌檢測方法有：基于主視覺單詞的字符識別算法（Principal Visual Word，PVW），MSER和SIFT分類器相結合的識別算法（Maximally Stable Extremal Regions& SIFT，MSER&SIFT）、垂直邊緣檢測算法（Vertical Edge Detection Algorithm，VEDA）、邊緣統計和形態學結合的算法（Edge Statistics & Morphology，ES&Morph）、離散小波變換（Discrete Wavelet Transform，DWT）、強度方差和邊緣密度（Intensity Variance & Edge Density，IV&ED）檢測算法。

從表中可以看出，本文所提方法的精確度為98.39%，召回率為96.83%，優于其他算法。

4 結束語

由于道路場景圖像中背景雜亂、車牌顏色不同、車輛遮擋、拍攝模糊等原因，有效的車牌檢測仍然是一個十分具有挑戰的問題。本文提出了一種基于深度學習的車牌檢測方法，該方法根據深度學習和分層抽樣方法縮小車牌檢測區域信息，根據多尺度的約束條件，有效處理誤報問題，提高檢測精度。采用不同情況下的真實數據集Caltech和AOLP對本文提出的方法進行實驗評估，從實驗結果來看，本文提出的方法在性能指標方面都優于其他檢測方法，說明本文方法的有效性。

參考文獻

[1] 鄭楷，鄭翠環，郭山紅，等.基于色差的車牌快速定位算法研究[J].計算機應用與軟件，2017，34（5）：195-199.

[2] 陳莊，楊峰，馮欣，等.多尺度積角點檢測和視覺顏色特征的魯棒車牌定位算法[J].重慶大學學報，2016，39（2）：89-98.

[3] Liu W B，Wang T. Anti-Noise Car License Plate Location Algorithm Based on Mathematical Morphology Edge Detection[J].Applied Mechanics and Materials，2014，513-517：1052-1055.

[4] 鐘偉釗，杜志發，徐小紅，等.基于字符邊緣點提取的車牌定位方法[J].計算機工程與設計，2017，38（3）：795-800.

作者簡介：

聶敏（1970-），女，土家族，湖南花垣人，貴州大學，本科，銅仁學院大數據學院，副教授;主要研究方向和關注領域：多媒體技術與應用、大數據安全。