邊緣特性篩選與多判定機制下的車牌定位方法

陳文會，馬爽，盧虎，樊養余

Chen Wenhui1，MA Shuang1，LU Hu2，FAN Yangyu1

1.西北工業大學 電子信息學院，陜西 西安，710072

2.空軍工程大學 理學院，陜西 西安，710051

1.School of Electronics and Information， Northwestern Polytechnical University， Xi'an 710072， China

2.Science Institute, Air Force Engineering University, Xi'an 710051，China

1 引言

車輛牌照識別LPR(License Plate Recognition)技術是數字圖像處理、模式識別、人工智能在智能交通系統領域的一個重要研究課題，被廣泛地應用于道路收費系統和各種監控系統，具有廣闊的應用前景。然而在實際應用中，復雜的拍攝環境會對識別結果產生很大影響，比如天氣變化所引起的光照不均，復雜的拍攝環境，另外還有車輛本身的干擾，如排氣柵格、車燈、車身廣告等。而這些不利因素的影響主要集中在車牌定位部分，因此車牌定位既是研究的重點也是研究的難點，其結果好壞直接影響后續識別部分能否順利進行。

車牌定位就是從包含車牌的圖像中，應用數字圖像處理技術定位出車牌區域的準確位置并將其分割出來?，F有的車牌定位方法有很多，常用的有基于數學形態學[1]的定位算法，該方法選用相應的結構元素，使圖像形成閉合的連通區域，從而定位出車牌，運算較小但定位不準，易造成誤檢；基于邊緣檢測的定位算法[2,3]，該算法計算量較大，對于邊框不連續及背景復雜的車牌圖像難以奏效；基于顏色的定位算法[4,5]，該方法大多對光照的變化敏感，當光照效果不佳或當車牌顏色與車身顏色或周圍環境顏色相似時誤檢率較大；基于神經網絡的方法，該方法需要把車牌特征輸入神經網絡進行訓練，計算量大，同時存在網絡局部收斂，定位時間長等問題。目前，一些綜合性車牌定位方法的出現在一定程度上可以克服原有算法的缺陷，但如何行之有效的融合多種方法，仍有待進一步討論。針對復雜背景下的車牌高效定位，本文提出了一種基于邊緣梯度特性的高頻篩選算法，該算法可以快速有效地篩選出車牌邊緣信息，進而結合數學形態學運算得到車牌候選區域，完成車牌粗定位；同時本文將車牌的顏色信息與灰度紋理信息[6]有機融合，提出了一種多判定機制下的偽車牌區域剔除算法，可以快速準確地完成車牌細定位與分割。大量實驗證明，本文在目前已有算法的基礎上做了改進與優化，彌補了傳統算法的不足，在滿足系統實時性的條件下，進一步提高了定位的準確率，尤其對于清晰度低、光照不佳、背景復雜的圖像有良好的定位效果。

2 基于邊緣特性篩選和形態學的車牌粗定位

2.1 圖像預處理

因外界環境因素的不定造成采集到的原始圖像質量有可能存在較多噪聲而無法達到后期處理的要求，另外對彩色圖像直接進行處理會大大增加運行周期，且彩色圖像對于光照、車牌底色等因素較為敏感，所以我們首先要對采集到的圖像進行預處理，將彩色圖像灰度化再進行濾波操作濾掉多余噪聲，為后續的處理打下良好基礎。

將彩色圖像轉化成為灰度圖像的過程，稱為圖像的灰度化處理。彩色圖像中，每個像素有R、G、B 3個分量，本文采用式(1)對圖像進行灰度化處理。

2.2 基于邊緣梯度特性的高頻篩選算法

圖1為差分后的車輛圖像。不難發現，水平差分的圖像中，車牌區域與背景區域相比，有著更為豐富的邊緣信息，尤其表現為梯度變化明顯、頻繁且具有一定規律。由此，只需對梯度化后圖像的水平方向做高頻保留，即可去除非目標邊緣，從而最大限度的保留車牌區域的邊緣信息。

圖1 車輛差分圖像

本文根據車牌區域的邊緣梯度特性提出了一種高頻梯度篩選算法。該算法通過去除水平差分后車牌圖像中邊緣特性不滿足自適應閾值 R的像素點來保留車牌邊緣并濾除部分干擾噪聲。如式(2)：

式中，max f(:,j)為所在列像素的灰度最大值，R為篩選閾值，若被測像素點小于R則視為非目標區域邊界點，將其排除。,其中N需要根據系統所拍攝圖片大小來自主設定。若N選取過小，雖然可以保留更多的邊緣信息，但非目標區域也會保留下來；若N選取過大，則可能會導致車牌區域的邊緣信息也被排除掉。如圖2為N取不同值時邊緣特性篩選后的結果。

圖2 N取不同值時邊緣特性篩選結果圖

2.3 基于數學形態學的區域填充處理

邊緣篩選后，需要對被保留的邊緣信息進行增強和擴展使目標區域連片展現。由車牌的幾何形狀特征知，車牌呈矩形，雖然其大小位置在不同的圖像中不能確定，但其長寬比例基本保持在一定區間內。本文以此作為先驗知識，設置與圖片大小比例相適應的矩形填充模板，運用形態學區域填充算法，從而快速有效地確定出車牌候選區域，完成車牌粗定位。

區域填充算法是一種基于集合膨脹，取補和取交的簡單算法。假定所用的非邊界元素均標為0，我們把一個值1賦給P開始這個過程。下述過程將把這個區域用1來填充：

式中，A表示一個包含一個子集的集合，P為邊界內的一點，X0=P，B為對稱結構元素。當k迭代到Xk=Xk-1時，算法終止。首先用模板對圖像進行閉運算，融合窄的缺口和細長的彎口，去掉混淆點，得到一些規則的連通區域，繼而從這些連通區域中找出最符合車牌特征的一個。根據車牌幾何形狀特征剔除不符合寬高比要求的連通域。根據先驗知識[7]，車牌的寬W高H比近似為 3:1，車牌的面積Area和周長Length的平方近似滿足式(5)[8]：

對式(4) (5)引入匹配度參量α、β，變換為式(6) (7)：

式中，匹配度1α≈、1β≈說明對應的連通域最有可能是車牌區域。

當背景復雜時，圖像中易于形成許多孤立的小連通域，這些小連通域明顯不是車牌區域，如圖3。為了縮小候選區域范圍減少后續操作的計算量，可以將聚團值小于閾值的連通域去掉完成粗定位[9]，如圖4。

圖3 區域填充結果

圖4 車牌區域粗定位結果

3 多判定機制下的偽車牌區域剔除

車牌粗定位即可準確得到大部分圖像的車牌區域，但還有一些復雜情況會影響定位結果。干擾較為嚴重的一種是車前排氣柵格為豎直型的車輛，另外車燈、車身廣告、復雜背景等也會對定位效果造成一定影響。如圖5(a)為典型的豎直型排氣柵格，其緊位于車牌上方且基本輪廓與長寬比也與車牌近似，另外豎直型且等間距排列的柵格與車牌區域等間距分布字符的灰度紋理特征極為相似，其灰度直方圖都呈等間距峰谷峰排列如圖5(c)，所以二者極易混淆。

圖5 復雜條件下的定位結果

通過對車牌區域各種特征的研究和分析，針對上述問題，本文有機融合了車牌的顏色特征和灰度紋理特征，運用多判定機制快速有效地排除偽車牌區域，準確定位并分割出車牌[10]。

通過對國家標準GA36—2007中所描述的2007式民用機動車牌照規范的分析可知，車牌區域除上述的幾何形狀特征外還有兩個重要特征[11]：

(1) 字符顏色與牌照底色對比度較大；

(2) 車牌有水平且等間隔排列的7個字符，其灰度紋理在水平方向的投影成等間隔峰谷峰跳變；根據特征(1)，可將候選區域在彩色圖像下通過度量其顏色分量來篩選車牌區域。度量公式如下：

R(i, j),G(i, j),B(i, j)分別為候選區域的紅、綠、藍顏色分量。由于RGB空間中藍、黃色區分度較大，所以可將黃色看作是藍色的反色。根據GA36—2007，我國藍底白字的車牌占絕大多數，所以選取藍色分量作為度量條件。由特征(2)及車牌區域的灰度投影可知，車牌的灰度跳變頻繁且規律，根據GA36—2007規定，我國車牌字符數為7個，其灰度值跳變數為14左右，因此只需對候選區域進行行掃描，計算出跳變數即可排除干擾。具體操作如下：

(1) 確定候選區域的水平位置，得到每個候選區域的上線和下線；

(2) 通過上下線確定水平中線，并掃描該行累計其豎直方向灰度值跳變數,記為Jump；

(3) 將Jump與設定閾值Threshold作比較，若，則排除該區域。步驟(2)中之所以只掃描水平中線是因為中線對于豎直方向的灰度信息保留較為完整，且只掃描該行可大大減少計算量。步驟(3)中Threshold設置為16。

4 實驗結果及分析

本文的實驗樣本主要為實際道路中拍攝的正常行駛的車輛圖像，另外還有部分特殊情況下的樣本是從互聯網上下載的。如圖6展示了四組場景下不同車牌定位方法的實驗結果，從上到下依次為光照陰暗組、夜晚組、背景復雜組和常規組；每組圖像從左到右依次為原圖、邊緣檢測法、數學形態學法、本文方法。表1則定量統計了不同方法對大量實驗樣本的定位結果。由圖6和表1可看出，邊緣檢測方法對于背景復雜的圖像定位效果較好，可有效去除大量干擾區域，但由于該方法對光照敏感度高，因此對于光照效果不佳的圖像效果很差；基于數學形態學的方法相對于邊緣檢測法從整體上效果有所提高，但對于背景復雜，干擾因素較多的圖像卻難以去除非目標區域從而造成定位失??；本文方法結合了上述兩種方法并對邊緣檢測做了改進，在細定位部分結合多種先驗知識引入了多判定機制，因此從定位結果圖和統計數據都可以看出該方法在車牌定位的準確率上有了很大的提高，尤其對于夜晚、光線陰暗、背景復雜等圖像的定位效果有明顯改善。

表1 不同方法車牌定位結果對比

圖6 幾種車牌定位方法的對比

圖7分為3組展示了不同情況下的車牌定位及識別結果，每組從上到下依次為原圖、粗定位結果、細定位結果。圖(a)為光照不佳條件下，如陰霧、夜間的定位結果，可以看出本算法克服了現有算法對于光照敏感的問題，在光線非常暗的條件下依然能準確定位和識別出車牌；圖(b)針對豎直型排氣柵格車輛，可以看到在粗定位部分可大致得出車牌候選區域，且控制在4個之內，之后運用本文在細定位部分提出的多判定機制算法可以有效地排除干擾；圖(c)主要測試了車身具有文字及車牌顏色與背景色相近的圖像，結果表明識別效果良好。本算法的優點在于準確率高、速度快，相比于傳統算法，本算法對于光照、拍攝環境、角度、背景等要求不高，能夠從復雜的背景中排除干擾準確定位車牌，為識別打下良好基礎；缺點在于對個別車牌有遮擋、污損的情況還未找到有效方法。

5 結束語

針對復雜背景下的車牌定位，本文提出了一種邊緣特性篩選與多判定機制下的車牌定位方法，充分利用了車牌的邊緣梯度特征、幾何形狀特征、顏色特征、灰度紋理特征等作為先驗知識來定位車牌，為下一階段的車牌識別打下了良好的基礎。該方法彌補了現有車牌定位算法對于背景復雜的圖像易形成誤檢的問題，且定位速度較快可滿足系統實時性，對車牌的顏色、拍攝角度、光照等條件限制較少，結果顯示對不同的拍攝環境都具有良好的定位效果。

[1]P. V. SURYANARAYANA， SUMAN K M， ASIM B， et al. A morphology based approach for car license plate Extraction: IEEE Indiction 2005 conference， 2005[C].Chennai， India: IEEE， 2005，11:24-27.

[2]PAOLO Ferragina， MARIO Notturno Graieri， FLAVIO Stabile. Optical recognition of motor vehicle license plate[J]. Transactions on Vehicle Technology， 1995，44(4):790-799.

[3]HONG B H， YANG C H. An approach to license plate locating in intelligent transportation system: Proceeding of 2nd International Conference on Pervcsive Computing and Application， 2007[C]. Birmingham， UK: IEEE， 2007，319-322.

[4]王夏黎.基于視頻檢測和顏色的車輛牌照提取方法[J].計算機應用與軟件，2005，22(11):41-44.

[5]汪志兵.一種基于紋理特征抽取的車牌定位預處理方法[J].計算機應用研究，2004，21(1):255-257.

[6]劉廣起，鄭曉勢，張曉波.基于圖像紋理特征提取的車牌定位算法[J].中國圖象圖形學報，2005，10(11):1419-1422.

[7]ZHANG H， JIA W， HE X， et al. Learning-based license plate detection using global and local features [J]. Pattern Recognition， 2006， 2:1102-1105.

[8]BROWN M，LOWE D G.. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision， 2007，74(1):59-73.

[9]SONG J， DWLPE J. The analysis of morphological filter with multiple structuring elements computer[J]. Vision Graphics and Image Processing， 1990， 50(1):308-320.

[10]FARADJI F， REZAIE A H， ZIARATBAN M A，Morphological-based license plate location: Proceeding of the 14th IEEE International Conference on Image Processing， 2007[C]. Texas， USA: IEEE， 2007: 57-60.

[11]王怡.基于數學形態學的車牌定位與分割.計算機應用與軟件，2010，27(8):255-256.