基于深度學習和顏色邊緣特征的車牌定位算法

劉曉瑤，邱建林，吳湘君

(1.南通大學 電氣工程學院，江蘇 南通 226019； 2.南通大學 信息科學技術學院，江蘇 南通 226019)

0 引 言

傳統的車牌定位方法包括邊緣檢測[1]、小波變換[2]、紋理特征提取[3]、顏色特征提取[4-6]、角點檢測[7]等。這些方法通過人工提取車牌特征來完成車牌的定位，提取的車牌特征單一，且受環境影響較大，在復雜環境下的定位效果并不理想。多特征融合的車牌定位算法[8,9]雖然能避免單一特征所帶來的環境適應性差的問題，但在背景復雜的環境下，這些方法仍然有很高的誤檢測率。支持向量機(support vector machine，SVM)等機器學習算法的引入使背景中的噪聲能進一步被抑制[10,11]，但由于傳統機器學習算法魯棒性較差，在復雜環境下的效果仍然不理想。羅斌等采用全卷積神經網絡進行特征提取，通過對車牌進行角點回歸來完成車牌定位[12]。YOLO目標檢測卷積神經網絡能夠通過回歸車牌的位置和大小來完成車牌定位[13]。這些算法都通過卷積神經網絡對全圖進行特征提取，處理的對象較復雜，因此需要更復雜的網絡結構才能完成任務，檢測速度較慢。

針對已有車牌定位算法魯棒性差和檢測速度慢的問題，本文將顏色邊緣特征提取和卷積神經網絡相結合，簡單提取車牌的顏色邊緣特征后分割出感興趣區域(region of interest，ROI)，然后通過深度卷積神經網絡提取ROI的深層特征，去除ROI中的偽車牌，標記出檢測到的車牌，大大降低了卷積神經網絡的運算量，提升了車牌檢測算法在復雜環境下檢測的準確率和檢測速度。實驗結果表明，相較已有的車牌定位算法，該算法在復雜環境下具有更好的魯棒性，在保證檢測速度的同時仍然能夠達到很高的準確率。

1 算法設計

本文提出一種結合顏色邊緣特征和卷積神經網絡的車牌定位算法，該算法包括ROI的提取和ROI的識別兩部分。首先根據顏色邊緣特征從原圖中分割出ROI，再通過深度卷積神經網絡對ROI進行識別分類，去除偽車牌并標記車牌區域。算法流程如圖1所示。

(1)將待檢測圖像從RGB顏色空間轉化到HSV顏色空間，根據車牌的顏色特征設置H、S、V這3個通道分量值的閾值范圍，分割出符合約束條件的圖像。

(2)對分割出的子區域進行高斯濾波去除噪聲，然后通過Sobel邊緣檢測提取邊緣特征并進行二值化，最后通過形態學操作獲取ROI。

(3)將獲得的ROI通過卷積神經網絡來提取深層特征并進行分類，去除其中的偽車牌，同時將檢測出的車牌進行標記。

圖1 算法流程

2 顏色邊緣特征提取

我國的機動車牌在顏色和紋理上都具有明顯的特征，通過顏色分割和邊緣檢測能夠快速提取圖像中的ROI。對這些ROI進行深層特征提取，這樣既能保留高分辨率圖像中感興趣的特征，防止因為縮放圖像導致的細節丟失，又能提高車牌定位算法的檢測速度。

2.1 顏色分割

自然環境下，光線的明暗變化將導致車輛牌照顏色的變化，從數字攝像設備采集到的圖像為RGB顏色模型，但R、G、B這3個分量對光線的強弱較敏感，因此不適合用來對車牌圖像進行顏色的分割[6]。而HSV色彩空間采用色相(Hue)、飽和度(Saturation)和亮度(Value)來描述顏色，更符合人類的視覺特性，因此采用HSV色彩模型能夠更好的對車牌圖像進行顏色分割。RGB色彩模型和HSV色彩模型的轉換如式(1)～式(3)所示

v=max(r,g,b)

(1)

(2)

(3)

中國的車牌類型分為藍底白字、黃底黑字、白底黑字和黑底白字4種，本文以藍底白字車牌為研究對象，通過對不同環境和光照下藍底白字車牌的圖像進行顏色統計，發現車牌底色H值分布在87～125之間，S值分布在43～255之間，V值分布在32～255之間。

待檢測圖像如圖2(a)所示，f(x,y)(0≤x≤xmax，0≤y≤ymax)為待檢測圖像I位于坐標(x,y)的像素值。將待檢測圖像I轉換到HSV色彩空間進行閾值分割，生成一幅二值圖像IMASK如圖2(b)所示。g(x,y)(0≤x≤xmax，0≤y≤ymax)為圖像IMASK位于坐標(x,y)的像素值。如果圖像I在坐標(x,y)上3條通道的分量值都在指定的閾值范圍內，則令g(x,y)=255，否則令g(x,y)=0。集合C={f(x,y)|g(x,y)=255}表示顏色分割的結果。

圖2 顏色特征提取

2.2 邊緣檢測及連通域分析

部分車牌受車身顏色的影響，僅通過顏色特征很難將車牌從背景中分割出來。我國車牌區域由多個水平排列的字符構成，并且字符顏色和車牌底色存在較大差異[6]，呈現出明顯的邊緣特征，采用邊緣檢測算法能夠有效的對車牌的邊緣特征進行提取。鐘偉釗等對幾種常用于車牌檢測的邊緣檢測算子進行了分析和比較[14]，綜合考慮各邊緣檢測算子的特性，本文采用Sobel算子提取車牌的邊緣特征。水平方向Sobel算子如式(4)所示，用來檢測圖像的垂直邊緣。垂直方向Sobel算子如式(5)所示，用來檢測圖像的水平邊緣

(4)

(5)

對顏色分割結果進行邊緣檢測之前需要進行灰度化處理，使Gray(x,y)=0.299R(x,y)+0.587G(x,y)+0.114B(x,y)，其中R(x,y)、G(x,y)、B(x,y)分別表示集合C中元素在R、G、B通道的分量值，集合G={Gray(x,y)|g(x,y)=255}表示對集合C進行灰度化處理的結果。當g(x,y)=255時，令IMASK中g(x,y)=Gray(x,y)，從而獲得灰度圖像IGRAY，完成對顏色分割結果的灰度化處理。對IGRAY采用高斯濾波去除噪聲，然后采用Sobel算子進行邊緣檢測并對結果進行二值化，獲得邊緣特征圖ISOBEL，用集合S={a(x,y)|a(x,y)=255}表示提取出的邊緣信息，a(x,y)是ISOBEL位于坐標(x,y)處的像素值，邊緣特征圖如圖3所示。

圖3 邊緣特征圖ISOBEL

對邊緣檢測結果ISOBEL采用數學形態學操作來獲取ROI。數學形態學操作是基于集合論基礎上形態學數學的一系列圖像處理操作的合集，主要包括4個操作：膨脹操作、腐蝕操作、開運算和閉運算。其中膨脹操作如式(6)所示，腐蝕操作如式(7)所示。B為形態學操作所需的結構元素，集合S為需要被處理的對象，Ba表示結構元素B平移a(x,y)后構成的新的像素點集合

S⊕B={a|Ba∩S≠?}

(6)

SB={a|Ba?S}

(7)

首先對ISOBEL進行一次閉運算，這樣既有助于車牌區域的融合和連通域的形成，同時還能濾除一些較小的噪聲區域。閉運算需要先進行一次膨脹操作然后進行一次腐蝕操作，因此采用5×5的結構元素對集合S進行一次膨脹操作和一次腐蝕操作。然后采用12×5的結構元素對閉運算結果連續進行3次膨脹操作，獲得ROI的連通域，形態學處理結果如圖4所示。

圖4 形態學處理結果

對獲取的ROI連通域進行簡單的篩選，去除其中面積過大和過小的連通域，對篩選出的連通域求取最小外接矩形并在原圖I中進行標記，該最小外接矩形所標定的區域即為顏色邊緣特征提取所獲得的ROI，ROI提取結果如圖5所示。

圖5 感興趣區域

3 卷積神經網絡設計

相對于傳統機器學習算法和BP神經網絡，卷積神經網絡在車牌檢測中擁有更好的性能[15]。經過顏色邊緣特征提取產生的ROI中存在部分與車牌特征相似的偽車牌，基于深度學習的車牌檢測方法的核心在于設計更有效的二元分類器來檢測ROI中的車牌。本文提出一種車牌檢測卷積神經網絡(license plate recognition convolutional neural network)，簡稱PR Net，能夠有效檢測ROI中的車牌。

3.1 卷積神經網絡結構

PR Net輸入大小為96×32的圖像，經過六層卷積層、三層下采樣層和兩層全連接層提取圖像的深層特征。第一層卷積層具有64個5×5的卷積核，第二層和第三層卷積層具有128個3×3的卷積核，第四層到第六層卷積層具有256個3×3的卷積核。在第一層、第三層和第六層卷積層后采用步長為2，大小為2×2的窗口進行最大值下采樣，最后采用兩層全連接層來輸出結果。網絡結構如圖6所示。

圖6 PR Net結構

為了提高神經網絡對模型的表達能力，需要在每層隱含層和輸出層后采用激活函數提升模型的非線性能力。PR Net采用ReLU函數作為隱含層的激活函數，該激活函數在反向傳播求取誤差梯度時計算量較小，可以加快模型的訓練速度，同時會使一部分神經元的輸出為0，這樣就造成了網絡的稀疏性，緩解了過擬合問題的發生。輸出層采用Sigmoid激活函數，用來預測該輸入可能為車牌的概率。

3.2 卷積神經網絡模型的訓練

卷積神經網絡的結構設計完成后，需要采用訓練集對網絡進行適當的訓練才能獲得有效的模型。通過對3000張在不同環境和天氣下采集的車輛圖像進行顏色邊緣特征提取，產生14 577張ROI圖像，其中包括5740張正樣本和8837張負樣本，將樣本進行人工標注，樣本的標簽為1時表示該樣本為車牌圖像，為0時表示該樣本為偽車牌圖像。對部分和車牌較相似的負樣本進行旋轉拉伸變換，將樣本擴展至16 000張并以此作為訓練集，訓練集中部分訓練樣本如圖7所示，其中第一行為負樣本，第二行為正樣本訓練過程分為前向傳播和反向傳播兩部分，PR Net在前向傳播初采用一組符合截斷正態分布的隨機數對權重進行初始化，之后對訓練集中樣本的類別進行預測并計算誤差，然后在反向傳播過程中計算損失函數對每個權重的偏導數并通過優化算法更新網絡中的權值。前向傳播過程中如果第l層為卷積層，則前向傳播過程中第l層的輸出為M個特征矩陣組成的三維張量，結果如式(8)所示，其中*表示卷積操作，M為卷積核的深度

圖7 訓練集樣本

(8)

如果第l層是下采樣層，則前向傳播過程中下采樣結果如式(9)所示，其中pool表示采用保留區域內最大特征值的方式對特征圖進行下采樣。如果第l層是全連接層，則前向傳播過程中第l層的第j節點的輸出如式(10)所示，其中M表示RP Net在第l-1層中節點的個數

al=pool(al-1)

(9)

(10)

前向傳播過程中經過隱含層來提取圖像的深層特征，最終輸出z來預測該輸入可能為車牌的分數。通過Sigmoid激活函數將輸出z限定在0到1之間，以此來表示該輸入可能為車牌的概率p，Sigmoid激活函數如式(11)所示

(11)

當PR Net輸出的結果與我們的期望值不相符時，求出預測值與期望值的誤差，進行誤差的反向傳播，將樣本的標簽y作為模型的觀察值，采用交叉熵損失函數計算損失值。損失函數如式(12)所示，其中N為樣本數，p為樣本的預測值，樣本標簽y采用One-hot編碼來表明概率分布

(12)

將獲取的誤差值J層層返回并計算出每一層的誤差，然后采用Adam優化算法將J進行反向傳播，對PR Net中的權值進行更新。將PR Net在訓練集上經過多次迭代訓練使模型趨于收斂，獲得有效的車牌檢測模型。

3.3 卷積神經網絡模型的測試

將圖5中的ROI圖像尺寸調整為PR Net模型的輸入尺寸，并依次將其輸入到PR Net中，通過前向傳播算法來預測ROI圖像可能為車牌的概率p，當p小于0.5時，判定該ROI為偽車牌，當p大于0.5時，判定該ROI為車牌，對其進行保存并且在原圖I中進行標記，車牌定位結果如圖8所示。

圖8 車牌定位結果

對500張車輛圖像進行顏色邊緣特征提取，產生2500張ROI圖像并將其作為測試集。在該測試集上將部分經典的卷積神經網絡模型以及文獻[15]提出的車牌分類模型和本設計提出的PR Net模型進行對比測試。其中Alex Net擁有5層卷積層，采用批量隨機梯度下降算法進行模型的訓練，相對于傳統的機器學習分類算法而言具有不錯的表現。VGG Net擁有19層卷積層，相對于Alex Net模型中首層采用了尺寸為11×11的卷積核，VGG Net全采用大小為3×3的卷積核。文獻[15]所提出的車牌分類算法基于LeNet5卷積神經網絡，將圖像的輸入尺寸縮小到24×24并減少了一層全連接層，結構較簡單。將各算法在測試集上進行性能測試，對比結果見表1。

表1 不同CNN模型的性能比較

通過各模型在測試集上的表現可以看出，文獻[15]所提出的網絡模型檢測速度最快，但由于模型結構簡單，魯棒性較差，難以對傾斜、光照不均以及模糊或有污損的車牌進行有效的檢測，檢測準確率較低。Alex Net模型采用尺寸更大的卷積核進行卷積運算，導致運算量的增加，但網絡結構較淺，實際應用中檢測效果也一般。由于VGG Net具有更深的網絡結構，能夠提取車牌圖像更深層的特征，對傾斜和光照不均的車牌也能有效進行檢測，但更深的網絡結構導致該算法的運算量較大，因此檢測速度較慢。相較于Alex Net模型，本文提出的PR Net模型擁有更深的網絡結構，首層采用尺寸為5×5的卷積核，比VGG Net擁有更大的感受視野，由于結構比VGG Net更精簡，因此在保持較高的檢測準確率的同時，檢測速度更快。

4 實驗分析

實驗采用型號為i7-7700k，頻率為4.2 GHz的CPU，16 GB的內存以及型號為GTX1070Ti的GPU進行測試。對比實驗在Pycharm2018集成開發環境下采用Python語言完成。神經網絡模型在Google發行的神經網絡開源框架Tensorflow上設計與實現，并采用NVIDIA推出的通用并行計算架構CUDA(compute unified device architecture)加速模型的訓練。

實驗測試數據由測試集A和測試集B兩部分組成，其中測試集A包括1795張在不同環境下收集的車輛圖像。將圖像經過顏色邊緣特征提取后，統計每張圖像中的ROI數量n，并將n作為衡量該圖像背景復雜度的指標。圖9(a)為測試集A中背景復雜度較低的樣本，圖9(b)為測試集A中背景復雜度較高的樣本。

圖9 測試集A樣本

根據n將測試集A分為6組，每組樣本中的樣本數以及平均ROI數量見表2，其中每組樣本中ROI的平均數量依次上升，用于測試算法在不同背景復雜度下的性能。測試集B由1189張在隨機環境下采集的車輛圖像構成，用于測試算法在自然環境下的平均性能。

表2 測試集A

實驗首先基于測試集A，將本文提出的車牌定位算法分別與文獻[6]、文獻[11]和文獻[12]中的算法進行比較，以此來測試算法在不同背景復雜度下的性能。算法的準確率和響應時間的對比結果分別如圖10和圖11所示。

圖10 算法準確率比較

實驗結果表明，在背景復雜度較低的環境中，所有算法都能取得較好的效果，這是由于背景中不包含或者包含較少與車牌特征相似的噪聲。隨著環境中背景復雜度的提升，文獻[6]和文獻[11]的算法準確度有明顯下降。由于采用神經網絡提取深層特征，文獻[12]和本文的算法仍然能夠保持較好的效果。在運行速度方面，無論圖像背景復雜度如何，文獻[12]都采用對全圖進行卷積的方法來完成車牌檢測，因此運行速度較慢，而文獻[6]、文獻[11]和本文的算法都是對ROI進行操作，處理的圖像背景復雜度越低，算法的速度越快。基于測試集B對全部算法進行比較，以此來反應自然環境下各算法的平均性能，結果見表3，實驗結果表明，與傳統車牌定位算法相比，本文算法擁有更高的準確度,與文獻[12]所提算法相比，本文算法在保證算法準確度的同時，檢測速度大大提升。

表3 平均性能比較

5 結束語

在復雜環境下，特別是在車牌存在傾斜以及背景中包含和車牌具有相似特征的噪聲時，傳統車牌定位算法難以進行準確的定位，采用卷積神經網絡直接對輸入圖像進行處理又導致計算量大大增加。針對以上問題，本文算法通過顏色邊緣特征進行ROI的提取，并設計了一種有效的車牌分類卷積神經網絡模型來去除ROI中的偽車牌。實驗通過兩組測試集對模型進行測試，驗證該算法在復雜環境下性能明顯優于其它的車牌定位方法，在保證檢測速度的同時能達到更高的準確率，算法擁有更好的魯棒性。