一種融合深度特征圖和形態學的車牌定位方法

童冰，鄭東生，黃金華

(漳州職業技術學院計算機工程系,福建 漳州 363000)

許沖

(閩南師范大學計算機學院, 福建 漳州 363000)

?

一種融合深度特征圖和形態學的車牌定位方法

童冰，鄭東生，黃金華

(漳州職業技術學院計算機工程系,福建 漳州 363000)

許沖

(閩南師范大學計算機學院, 福建 漳州 363000)

車牌定位是車牌識別的關鍵步驟。針對傳統車牌定位方法魯棒性差、定位時間長等問題，提出了一種融合深度特征圖和形態學的車牌定位方法。該方法首先利用深度結構構建深度特征圖產生框架，提取紋理特征豐富的車牌圖像特征圖，接著將車牌特征圖縮放到原始車牌圖像的尺寸，并對縮放后的圖像進行Sobel運算，增強車牌的邊緣特征，最后利用形態學中的閉操作, 對二值化后的圖像進行先膨脹后腐蝕的形態學運算，連通整個車牌圖塊，完成車牌定位。試驗結果表明，該方法對包含紋理鮮明的背景條形圖塊、車身和車牌顏色相似的干擾圖像具有更好的魯棒性，提高了定位速度。

特征圖;形態學; 卷積神經網絡(CNN); Sobel;車牌定位

隨著生活水平的提高，與日俱增的機動車數量給交通系統的監管帶來了嚴峻的挑戰。智能交通監控在交通系統中顯得越來越重要。而車牌識別是智能交通監控系統中的關鍵技術，在停車管理、高速車速監控、交通擁堵監管等方面發揮著重要作用[1]。車牌識別主要分為2步：先車牌定位和再字符識別。只有準確定位出車牌，才能進行后續的字符識別。因此，車牌定位是車牌識別的關鍵環節。

車牌定位是對一個包含車牌的圖像進行分析，最終截取出只包含車牌的一個圖塊。常用的車牌定位方法主要包括基于紋理特征定位、基于顏色特征定位、基于字符特征定位、基于頻域特征定位等。基于紋理特征的定位方法[2]主要根據車牌字符間連通的邊緣、較為一致的寬度、規則的字體等特性，實現對車牌的定位。對于車牌干凈、圖像清晰的圖像，該算法效果較好，但對于前景和背景區分性較差、背景復雜的圖像，則容易將背景誤定位為車牌。基于顏色特征的定位方法[3,4]是根據車牌的顏色設定RGB圖像各通道的取值閾值，除去和車牌顏色差異較大的背景圖，留下車牌，實現定位。若背景顏色和車牌顏色不相似，則定位效果較好，但需要處理3個通道，實時性較差，而且在車身顏色和車牌顏色相近時算法失效。基于字符特征的定位方法[5,6]是根據車牌字符的跳變次數、字符大小、長寬比例等特征實現車牌定位。該方法可以實現車牌定位，但需要考慮的字符特征信息較多，實現較復雜，而且對于車牌變形、污損的情況則難以保證定位效果。基于頻域特征的定位方法[7]是將原始車牌圖像轉換到頻域空間，并在此空間中對圖像進行分析得到車牌的特征信息，從而實現車牌定位。但該方法計算量較大，往往還要結合多種方法才能實現較好的定位。

根據上述方法存在的問題，筆者提出了一種融合深度特征圖和形態學的車牌定位方法，以提升車牌定位的魯棒性，并提高車牌定位的速度。

1 深度特征圖提取

卷積神經網絡(Convolutional Neural Network,CNN)是一種深度學習模型，其不僅能學習復雜、泛化能力強的結構，還可以通過交替的卷積和采樣過程，從不同層面獲取原始圖像的特征，提升圖像特征信息的抽象能力。

為獲取車牌圖塊特征顯著的特征圖，構建如圖1的CNN深度特征圖提取結構。該深度結構共12層，分別包含4個卷積層、4個采樣層、2個全連接層以及1個原始圖像輸入層和1個SoftMax層。4個卷積層的卷積核大小均為3×3，卷積核個數依次為64、128、256和512個。4個采樣層的采樣窗口大小為2×2，移動步長為2。輸入層為三通道RGB圖像原始像素輸入，SoftMax用于計算訓練誤差以調整整個網絡的參數。

圖1 CNN深度特征圖提取結構示意圖

當整個網絡訓練好后，按如下步驟獲取圖像的深度特征圖：

1)獲取輸入層的輸入窗口，并將原始圖像縮放到輸入窗口大小：

Image′=resize(Image,WinSize)

(1)

式中， resize(·)為圖像尺寸縮放函數；Image為原始圖像；WinSize為窗口大小，取224×224(可以取不同的窗口尺寸，筆者取的是經驗值，根據問題規模，綜合考慮執行速度和執行效果而選取的尺寸值)； Image′為縮放后的圖像。

2)獲取第1層卷積層(第1層輸出的特征圖較大，便于車牌定位)的卷積核參數和偏置參數，并進行卷積操作獲取特征圖：

FtrMapi=f(Ki?Image′+bi)

(2)

式中，Ki為第i個卷積核；bi為第i個卷積核對應的偏置；?為卷積運算； FtrMapi為計算得到的第i張特征圖；f(·)函數定義如下：

f(x)=max(0,x)

(3)

2 特征強化和形態學

為了提升車牌定位的魯棒性，盡量減小非車牌區域被誤判為車牌的可能性，需要對提取到的特征圖做Sobel運算，以將車牌中的字符和車身以及背景區分出來，為最后的形態學操作做好基礎。

圖2 Sobel運算原理

Sobel算子的工作原理是對圖像近似求一階導數，包含水平和垂直2個方向，并根據導數的大小來判定圖像邊緣信息。Sobel使用卷積模板近似求解導數，即模板與圖像對應點相乘并累加得到圖像對應模板中間點的值。Sobel求解圖像導數的過程如圖2所示，原始圖像中間的紅色像素值，經過卷積運算(- 1×3+1×2-2×3+2×7-1×4+1×6=9)后，紅色像素值5變為9。

邊緣檢測算子有多種，將Sobel與Laplace和Scharr算子的檢測效果進行對比，具體情況如圖3所示。圖3結果顯示，Laplace的檢測效果比較灰暗，車牌位置字符的邊緣不夠突顯；Scharr算子的檢測效果較為精細，容易將車牌邊緣多余的部分也檢測出來，但不利于后續的定位；Sobel算子得到的結果較為理想，既能增強車牌字符部分的邊緣特征，又不至于過于精細地提取車牌的邊緣特征導致下一步的形態學運算效果不佳。因此，筆者選用Sobel算子進行邊緣增強。

圖3 Sobel和其他算子的比較

形態學操作主要是為了改變圖像的形態，在圖像處理技術中有著重要作用。它可以實現將不連通的區域連通起來，也可以實現將連通的區域斷開成不連通區域。經過Sobel邊緣檢測后，車牌中字符的邊緣被明顯增強，并且字符間的間距很小。通過形態學操作可以將所有字符連成塊，形成車牌圖塊。

在圖像處理中，形態學操作包括腐蝕、膨脹、開操作和閉操作。其中，開操作和閉操作是由腐蝕和膨脹操作組合而成的。腐蝕產生的效果是細化圖像的邊緣。它通過一個矩形框遍歷圖像中的所有像素，并用矩形框中的最小值修改像素值。具體表示如下：

AΘB={z|(B)z∩Ac=?}

(4)

式中，Θ表示腐蝕運算；A為圖像像素集合；B為結構元素；?為空集。

膨脹操作則和腐蝕相反，其用矩形框中的最大值修改像素值，表示如下：

(5)

圖4 腐蝕和膨脹操作效果

腐蝕和膨脹后的效果如圖4所示，圖4中白色區域為前景，黑色區域為背景。經過腐蝕后，前景圖的邊緣被細化，即被腐蝕；經過膨脹后，前景圖的邊緣被粗化，即被膨脹。

閉操作是對圖像先做膨脹操作后做腐蝕操作：

A?B=(A⊕B)ΘB

(6)

該操作可以將相鄰的小圖塊連成一個大的連通區域，剛好適用于車牌圖塊的連通，膨脹將車牌中的字符小圖塊連通起來，形成整個車牌的輪廓。接著腐蝕過程將被粗化的車牌邊緣重新細化，以確保車牌區域的準確定位。閉操作后的效果如圖5所示，經過閉操作，車牌中的字符被連成圖塊，整個車牌形成一個獨立的大圖塊，完成了車牌位置的定位。

圖5 閉操作效果

3 車牌定位框架

整個車牌定位的流程如圖6所示，主要包含2個大過程：

第1個過程是圖6中第1行所呈現的過程，主要涉及深度神經網絡的構建及深度特征圖的提取。為了方便后續形態學等相關運算，要對式(2)獲得的最原始的FtrMap做進一步的轉換，使FtrMap中每一個像素的取值限定在0～255。轉換后的FtrMap′的每個像素值按如式(7)計算：

(7)

式中，f(x,y)為FtrMap中坐標為(x,y)的像素值；f(x,y)′則為FtrMap′對應像素的像素值。

經過式(7)的轉換，原始特征圖就被轉換為數字圖像中的灰度圖，如圖6中②的輸出圖。

圖6 融合深度特征圖和形態學的車牌定位流程

第2個過程是圖中第2行所呈現的過程，主要包含Sobel邊緣強化和閉操作連通字符區域。在進行Sobel運算之前需要將灰度特征圖縮放到原始圖像的尺寸，以保證后續的車牌提取能準確定位到原始圖像。縮放過程按如下式子表示：

FtrMap″=resize(FtrMap′,Size(Image))

(8)

式中， FtrMap″為縮放后的灰度圖； Size(Image)為原始圖像Image的尺寸。

經過Sobel運算，車牌中字符的邊緣特征被增強，各字符緊密連在一起，結果如圖6第④步處理后的輸出圖。接著對強化后的灰度特征圖執行膨脹操作，將緊密連在一起的字符連成塊，然后再用腐蝕操作細化車牌邊緣多余的像素，完成車牌圖塊的定位，結果如圖6第⑤步處理后的輸出圖。最后根據二值化的車牌圖塊，重新定位到原始圖像中的相關位置并提取車牌，最終的效果如圖6最后一步的輸出圖。

4 試驗部分

筆者隨機選取256張交通路上抓拍的包含車牌的場景圖作為試驗數據集。該數據集涉及閩、京、粵、浙等19個省市的藍、黃車牌，而且圖像涵蓋白天、黑夜、復雜路況等情況。

評價指標包含查全率R、查準率P、F值(該指標用來平衡指標R和P的，R過低或P過低都會導致F值偏低，即F值用以評價模型的綜合效果)和執行時間等。查全率和查準率按如下方法計算：

(9)

(10)

(11)

式中， #correct為準確定位出的車牌數； #Plate為車牌總數； #locatedPlate為定位出的圖塊總數。

深度特征圖的提取是筆者提出方法的重要步驟，相比普通灰度圖，它可以更加鮮明地區分圖像對象的特征，以提升后續車牌定位的效果。隨機選取3張包含車牌的圖像進行深度特征圖提取，并展示在表1中。從表1可以看出，特征圖有效弱化了圖像背景特征，并凸顯了車牌部分的特征，恰好適用于處理車牌定位問題。

每一張圖像可以提取多張不同的特征圖，筆者統一提取第2通道的特征圖(第3層輸出的第2張特特圖)作為后續試驗特征圖(因從該通道提取的特征圖效果較好，而且具有普適性)。

圖7 對比背景干擾下的車牌定位

圖8 對比顏色干擾下的車牌定位

為了驗證筆者提出方法的魯棒性，在同樣條件下對比了幾種典型車牌定位方法的車牌定位效果，如圖7和圖8所示。從圖7可以看出，若車牌背景包含紋理、邊緣特征較明顯的條形塊，則很容易被誤定位為車牌。基于邊緣檢測的定位方法，容易將邊緣特征豐富的背景塊定位成車牌；基于形態學的定位方法，容易將紋理特征豐富的背景塊誤定位為車牌。這2種方法誤定位車牌的過程將增大車牌定位的開銷，而筆者提出的方法準確定位出了車牌，加快了整個車牌定位的過程。從圖8可以看出，對于車身顏色和車牌顏色相近時，則基于顏色特征的定位方法難以分辨出車牌部分，造成定位失敗，而筆者提出的方法可以將車牌定位出來。

筆者將整個數據集的試驗結果統計在表2中，從表2可以看出，基于邊緣檢測的方法，因其難以區分哪些邊緣是車牌，定位出了較多的可能為車牌圖塊，覆蓋了較多的車牌，所以R較高，P較低；基于顏色特征的方法，將定位的區域限定在藍色或黃色圖塊，因此較大幅度減小了可能為車牌的圖塊數，能獲得較好的P；基于形態學的方法表現出中規中矩的定位效果；而筆者提出的方法充分利用了深度特征圖良好的特征表達特性，較好地排除了背景的干擾，有效提升了F值，又由于深度特征圖是單通道灰度圖，減少了直接用三通道彩色圖像進行定位的時間，有效提升了車牌定位效率。

表2 不同車牌定位方法的試驗結果

5 結論

1)提出了融合深度特征圖和形態學的車牌定位方法：首先構建了多層的CNN深度特征圖提取框架，實現了車牌圖塊特征顯著、背景區域特征弱化的深度特征圖的提取；接著利用Sobel垂直邊緣檢測的優良特性，實現了車牌中字符特征的增強；最后對增強后的特征圖進行二值化，并用形態學操作連通車牌區域，實現車牌定位。

2)多個評價指標的試驗結果驗證了筆者提出方法具有較強的魯棒性和較快的實現速度。

[1]Badawy W, Ibrahim M, Shehata M. Automatic license plate recognition (ALPR): a state of the art review[J]. Circuits and Systems for Video Technology, 2013, 23(2):311～325.

[2] 郭延祥, 陳耀武. 基于邊緣檢測和顏色紋理直方圖的車牌定位方法[J]. 計算機科學與探索, 2014, 8(6):719～726.

[3] 王建, 劉立, 王天慧.基于四元數特定顏色對邊緣檢測的車牌定位[J].計算機應用, 2011, 31(3):729～732,759.

[4] 鄭成勇. 一種RGB顏色空間中的車牌定位新方法[J]. 中國圖象圖形學報, 2010, 15(11):1623～1628.

[5] Zheng Danian, Zhao Yannan,Wang Jiaxin. An efficient method of license plate location[J]. Pattern Recognition Letters, 2012, 26(15):2431～2438.

[6] 牟韻文, 潘明. 基于改進LoG算子的車牌定位識別系統實現[J]. 廣西大學學報(自然科學版), 2016, 41(2):570～578.

[7] 尚趙偉, 國慶, 馬尚君. 基于二進小波變換的多車牌定位算法[J]. 計算機工程, 2011, 37(3):16～18.

[8] 羅斌, 郜偉, 湯進, 等. 復雜環境下基于角點回歸的全卷積神經網絡的車牌定位[J]. 數據采集與處理, 2016, 31(1):65～72.

[9] 廉寧, 徐艷蕾. 基于數學形態學和顏色特征的車牌定位方法[J]. 圖學學報, 2014, 35(5)：774～779.

[10] 孫金嶺, 龐娟, 張澤龍. 基于顏色特征和改進Canny算子的車牌圖像定位[J]. 吉林大學學報(理學版), 2015, 53(4):693～697.

[11] 呂文強, 楊健. 一種有效的提高車牌首字符識別率的方法[J]. 計算機科學, 2013, 40(6A): 176～179.

[12] 王劍書, 樊養余, 張辰銳. 基于左上邊緣點檢測的快速車牌定位算法[J]. 計算機仿真, 2013, 30(11): 143～147.

[編輯] 張濤

2016-06-28

福建省自然科學基金項目(2013J01028)；福建省中青年科研項目(JA15687)。

童冰(1979-)，女，碩士，講師，現主要從事計算機軟件開發與圖形處理方面的研究工作；E-mail：tongbing706@163.com。

TP39

A

1673-1409(2016)28-0060-06

[引著格式]童冰，鄭東生，黃金華，等.一種融合深度特征圖和形態學的車牌定位方法[J].長江大學學報(自科版)，2016,13(28)：60～65.