基于多類別特征信息融合的車牌檢測

張 勇，寧 蒙，牛常勇

（鄭州大學 信息工程學院，河南 鄭州450001）

0 引 言

當前車牌檢測方法［1，2］可分為以下兩類：第一類是基于人工設計特征提取，如顏色特征、邊緣特征、對稱性、文本［3－5］等。基于文本分析的gabor濾波器、小波變換、哈夫變換等被廣泛應用于車牌檢測中。第二類是基于機器學習特征提取，包括神經(jīng)網(wǎng)絡 （NN）、Adaboost［6，7］等。人工設計特征方法簡單易于實現(xiàn)和理解，在某一受限場景下可以達到很好的檢測效果，但是這些特征過于單一且魯棒性差。基于學習特征的方法克服了這些局限，豐富的特征空間使得這些算法具有很強的魯棒性。然而有限的訓練樣本和冗余的特征空間，使得這些算法有較高的誤警率和訓練集依賴度。通過借助不同類特征提取克服機器學習算法對訓練集的依賴度，降低漏檢率提高場景魯棒性，同時結合信息融合技術降低整體誤警率。系統(tǒng)由CNN 模塊、顏色檢測模塊、交叉驗證模塊和文本驗證模塊4大模塊組成。在兩種不同場景測試集上測試均取得不錯的效果，同比另外兩種算法有較大程度的提升。實驗結果表明多階段信息融合和多類特征提取對車牌檢測算法性能的改善有顯著影響。

1 單尺度卷積神經(jīng)網(wǎng)絡

CNN （convolutional neural networks）是一種特殊的深層神經(jīng)網(wǎng)絡模型，它的神經(jīng)元是非全連接的并且同層神經(jīng)元可以共享權值。這種網(wǎng)絡結構對平移、比例縮放、傾斜和其它形式的變形具有高度的不變性。這些使得卷積神經(jīng)網(wǎng)絡近年來發(fā)展成一種高效的分類方法［8］。

文獻 ［9］中YingNong Chen使用卷積神經(jīng)用于檢測人臉和車牌。如圖1所示網(wǎng)絡僅包含一個特征提取階段和一個全連接分類器，其中特征提取階段只有一個特征圖。共需訓練調(diào)節(jié)937個權值。該算法從文本檢測的角度出發(fā)解決車牌檢測問題，使用兩個相鄰號牌字符圖像作為訓練樣本。通過訓練得到一個二分類卷積網(wǎng)絡，基于滑動窗口技術對輸入圖像進行檢測，對網(wǎng)絡輸出超過閾值的區(qū)域標記成候選字符區(qū)域，進而融合字符區(qū)域得到車牌區(qū)域。算法在Hsieh使用的測試集中達98%的檢測率。

圖1 Chen等人提出的用于車牌檢測的網(wǎng)絡結構

1.1 單尺度卷積神經(jīng)網(wǎng)絡結構

多階段單尺度卷積神經(jīng)網(wǎng)絡是逐階段提取高層特征，然后把最后一個階段的高層特征輸入給分類器。每一個特征提取階段先后由一個卷積層和子采樣層組成。卷積層的輸入與前一層的局部接受域相連，并提取該局部的特征。然后經(jīng)子采樣層過濾相鄰相似特征，減少前一層特征圖的分辨率增強局部特征的不變性。最后將這些局部特征輸入給分類器完成分類，這種結構使得網(wǎng)絡在識別輸入樣本時具有較強的魯棒性。

如圖2所示：實驗CNN 模塊是一個由兩個特征提取階段和一個分類器組成的卷積神經(jīng)網(wǎng)絡，輸入圖像經(jīng)過兩個特征提取階段逐層提取得到到高層特征表示，然后輸入給分類器。其中，第一個特征提取層有卷積層C1和子采樣層S1組成，C1中4個特征圖分別通過4個尺寸為5×5的卷積核與輸入圖像相連，S1中的4個特征圖通過對應的4個2×2的子采樣核與C1中的一個對應特征圖相連；第二個特征提取階段由C2和S2組成，C2層的10個特征圖通過連接表1與S1層的4個特征圖相連；分類器采用一個兩層的全連接神經(jīng)網(wǎng)絡分類器，Hide層的每個特征圖通過10個13×3的卷積核分別與S2層每個特征圖相連。整個網(wǎng)絡共需要訓練 ［5×5×4＋4］＋8＋ ［5×5×20＋10］＋20＋［13×3×10×14＋14］＋ ［14＋1］＝6131個權值。

圖2 訓練模型和連接

定義1 C3（i，x，y）為C3層第i個特征圖中 （x，y）處坐標點值，則

其中sig （X）＝1.7159×tanh （2／3×X），bi是第i個特征圖的偏置，gij是連接Hide層第i個神經(jīng)元與S2層中第j個特征圖的卷積核，其中卷積核的尺寸與S2中特征圖的尺寸（R＝13、C＝3）相同。Output把實際輸出值大于閾值的點標記響應點，進而反方向投影到輸入圖像中得到潛在車牌區(qū)域。這種檢測方式等同于在水平和垂直方向做步長為4像素區(qū)域大小為64×24的二分類判定。

1.2 訓練單尺度卷積神經(jīng)網(wǎng)絡

訓練樣本部分如圖3 （a）所示，樣本來自自然場景下的車輛圖像，通過手工分割提取車牌和非車牌區(qū)域，訓練集由65856個64×24大小的車牌和非車牌樣本組成，1500個車牌和非車牌樣本組成驗證集［7］。使用灰度化的訓練樣本圖像輸入網(wǎng)絡，經(jīng)過預處理歸一化到 ［－1，1］。采用監(jiān)督訓練，標記車牌樣本期望輸出為1，非車牌樣本期望輸出為－1。卷積網(wǎng)絡模型通過隨機梯度下降的學習算法進行訓練，誤差函數(shù)為最小均方差。學習率曲線如圖3 （b）所示，error為錯誤個數(shù)／樣本個數(shù)。

車牌檢測時輸入待檢測圖像的灰度圖，通過比例縮放產(chǎn)生圖像金字塔。用預訓練的分類器基于滑動窗口技術對各層圖像進行檢測，把實際輸出特征圖中大于閾值的響應點反向映射到輸入圖像中得到候選區(qū)域。候選區(qū)域經(jīng)過區(qū)域融合最終產(chǎn)生車牌候選集。

2 多類別特征信息融合的車牌檢測

圖3 學習率和樣本

CNN 有 著 廣 泛 的 應 用 研 究［10，11］。在 文 獻 ［7］中，CNN 檢測器表現(xiàn)著良好的性能。然而，在降低誤警率、漏檢率和增強不同類型場景下算法的魯棒性方面，還有很大的改進空間。新算法引入了顏色、文本兩種特征信息，如圖4所示：顏色信息不僅參與了檢測車牌區(qū)域同時也借助交叉驗證參與了車牌驗證。同時驗證階段又加入了文本信息，進一步降低誤警率。

圖4 車牌檢測流程

2.1 顏色檢測

利用顏色特征檢測車牌的方法［12，13］對車牌的傾斜和變形具有很強的魯棒性，但是它也存在在一些不足。在光照復雜情況下，通過設定RGB閾值范圍來確定車牌區(qū)域是非常困難的。作為RGB模型的替代模型HSV 模型減弱了光照的影響，但是卻對噪點有著很差的魯棒性。RGB顏色空間中有紅、綠、藍3個顏色分量。本文利用RGB值間關系來提取車牌候選集。算法如下：

定義變量D＝E＝F＝BW＝0，k1＝0.3，k2＝0.7為：

（1）D（x，y）＝B（x，y）－R（x，y），E（x，y）＝B（x，y）－G（x，y）

（2）if（D（x，y）＞0＆＆E（x，y）＞0）

then F（x，y）＝k1D（x，y）＋k2E（x，y）

（3）N＝Count（F（x，y）＞0），m＝sum（F（x，y））／N

（4）P＝Count（F（x，y）＞m）／N

（5）if F（x，y）＞m× （k2＋k1／p）

then BW（x，y）＝1

為了更好的獲取候選區(qū)域，進一步使用形態(tài)學方法對得到的二值化圖像 （BW）進行處理。適度的膨脹操作，可以填補物體中的空洞有助于候選區(qū)域的定位。利用菱形結構算子S（5×5）對二值化圖像BW 進行膨脹運算，以融合圖像中的空洞。清洗圖像并標記連通區(qū)域，產(chǎn)生候選區(qū)域集合。膨脹運算定為

2.2 車牌驗證階段

車牌驗證包含交叉驗證和文本驗證。兩個檢測器并行產(chǎn)生候選區(qū)域，首先進行交叉驗證，通過驗證的潛在區(qū)域加入車牌集合。未通過驗證的潛在區(qū)域流向文本驗證模塊。交叉驗證依據(jù)兩個檢測器產(chǎn)生的潛在區(qū)域位置關系進行判定，若區(qū)域重合度大于0.5則判斷為車牌且為同一個車牌，選取顏色檢測器所產(chǎn)生的的候選區(qū)域作為此車牌的代表區(qū)域加入車牌集合同時刪除CNN 檢測器所產(chǎn)生的的候選區(qū)域。交叉驗證使得顏色檢測器不僅在信息融合階段作出驗證并且在檢測階段提供了候選區(qū)域，降低了誤警率、提高檢測率。交叉驗證處理后的潛在區(qū)域流向文本驗證進行最后的信息融合產(chǎn)生最終的車牌集。

算法如下：

預處理：二值化灰度增強的圖像，清洗連通域小于25個像素、高度小于車牌區(qū)域1／3、寬度大于車牌寬度1／2的連通域記為SC。

定義2 N：連通域個數(shù)；Ci：第i個連通域： ［hi，wi］；Si：記錄和Ci相似連通域個數(shù)；Di：Ci與其它連通域的距離和；Td＝0.2%相似度閾；1≤i≤N。

（1）for（Ci，Cj）in Sc%Sc中每對連通域

dij＝sqrt（（hi－h(huán)j）2＋ （wi－wj）2）%距離

if dij≤Tdthen Si＝Si＋1；Di＝Di＋dij；

（2）［～，K］＝max（S＋0.5／ （1＋D））

（3）for j＝1：N

if dkj≤Tdthen U＝ ［U；cj］%Cj加入新簇U

（4）Hm＝mean（U（：，1））；Wm＝mean（U（：，2））%計算簇U 中所有連通域的高均值Hm和寬均值Wm

（5）for Ciin Sc

ri＝wi／Wm－floor（wi／Wm）

Pj＝abs（wi／Wm－ri）

Qj＝1－min （Hm／hi，hi／Hm）

if Pi≤Td＆＆Qi≤Td

Nc＝Nc＋1；

Return Nc%字符個數(shù)

3 實驗結果

實驗使用了兩組測試集。測試集1由300副586×720大小圖像組成，共包含300個車牌。代表受限環(huán)境，來源小區(qū)出入口監(jiān)控和手機拍攝。測試集2［7］由1559 副352×288大小的圖像組成，共包含1602個車牌。代表自然場景，來源于城市道路監(jiān)控系統(tǒng)在自然場景下所拍攝。測試集1較于測試集2具有清晰度高、背景復雜度低、拍攝角度不固定、視距近的特點。

CNN 模塊選取圖3 （a）中第15趟的網(wǎng)絡模型，在驗證集上的誤分類個數(shù)為19 個，誤分類率為19／3000＝0.63%。檢測階段采用1.1 的子采樣率縮放原始圖像12次，產(chǎn)生圖像金字塔。每層圖像預處理后傳入訓練得到的網(wǎng)絡中做基于滑動窗口的檢測，Output層的響應閾值為0.6。交叉驗證的重合度閾值為0.5，文本驗證的字符個數(shù)閾值為3。多類別特征信息融合模型以下簡稱信息融合。文獻 ［7］提供了多尺度網(wǎng)絡在Test2中的測試結果，顏色特征提取是根據(jù)特征提取模塊擴展編寫而成在Test1 中有著不錯的檢測率。3種算法的測試結果見表1，通過對比我們很容易發(fā)現(xiàn)結合了信息融合和多類別特征提取的檢測方法在兩種不同場景下的測試集上的檢測率均超過了單一算法。

表1 3種方法的檢測率／%

4 結束語

本文提出一種多類別特征信息融合的車牌檢測方法。實驗使用多類別特征提取方法和多階段信息融合技術得到一種新的檢測方法。通過比較新方法與單一方法在兩種不同場景測試集上的測試效果，得出多類別特征提取方法和多階段信息融合技術對提高車牌檢測效果有顯著影響。模塊化的設計也使得系統(tǒng)后續(xù)改進方便易行。計劃引入車體檢測模塊、替換字符驗證模塊并借助并行化技術進一步優(yōu)化算法，使得系統(tǒng)的性能得到更進一步的提高。

［1］Du S，Lbrahim M，Shehata M，et al.Automatic license plate recognition （ALPR）：A state－of－the－art review ［J］.IEEE Transaction on Circuits and Systems for Video Technology，2013，23 （2）：311－325.

［2］Anagnostopoulos CNE，Anagnostopoulos IE，Psoroulas ID，et al.License plate recognition from still images and video sequences：A survey ［J］.IEEE Transactions on Intelligent Transportation Systems，2008，9 （3）：377－391.

［3］Faradji F，Rezaie AH，Ziaratban M.A morphological－based license plate location ［C］／／IEEE International Conference on Image Processing，2007：57－60.

［4］Wu P，Chen RJ，Shen DF.License plate extraction in low resolution video ［C］／／IEEE Pattern Recognition，2006：824－827.

［5］Canner H，Gecim HS，Alkar AZ.Efficient embedded neuralnetwork－based license plate recognition system ［J］.IEEE Transactions on Vehicular，2008，57 （5）：2675－2683.

［6］Wen Ying，Lu Yue，Zhou Zhenyu，et al.An algorithm for license plate recognition applied to intelligent transportation system ［J］.IEEE Transactions on Intelligent Transportation Systems，2011，12 （3）：830－845.

［7］Li Jia，Niu Changyong，F(xiàn)an Ming.Multi－scale convolutional neural networks for natural scene license plate detection ［G］.LNCS 7368：Advances in Neural Networks.Springer，2012：110－119.

［8］Cecotti H，Graser A.Convolutional neural networks for P300 detection with application to brain－computer interfaces ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （3）：433－445.

［9］Chen YN，Han CC，Wang CT，et al.The application of a convolution neural network on face and license plate detection［C］／／18th International Conference on Pattern Recognition.IEEE，2006：552－555.

［10］Szarvas M，Sakai U，Ogata J.Real－time pedestrian detection using LIDAR and convolutional neural networks［C］／／IEEE Intelligent Vehicles Symposium，2006：213－218.

［11］Fabian Nasse，Christian Thurau，Gernot A Fink.Face detection using GPU－based convolutional neural networks ［G］.LNCS 5702：Computer Analysisi of Image and Patterns.Springer，2009：83－90.

［12］Vahid Abolghasemi，Alireza Ahmadyfard.An edge－based color－aided method for license plate detection ［J］.Elsevier Image and Vision Computing，2009，27 （8）：1134－1142.

［13］Kaushik Deb，SukJu Kang，KangHyun Jo.Statistical characteristics in HSI color model and position histogram based vehicle license plate detection ［J］.Springer Intelligent Service Robotics，2009，2 （3）：173－186.