面向車牌字符分割的圖像預處理方法研究

賴道亮，趙 平，鐘 昆，牛新征

(1.西南財經大學經濟信息工程學院，成都 611130;2.自貢市公安局交通警察支隊，四川自貢 643000;3.電子科技大學計算機科學與工程學院，成都 611731)

0 引言

在車牌字符分割中，車牌的預處理是整個分割過程的重要組成部分。然而車牌在使用過程中，難免會出現磨損、畸變、顏色褪變等情況，并且由于拍攝硬件和拍攝環境的干擾，會造成車牌的成像模糊，這對車牌進行精準的分割造成了極大的挑戰。因此在進行車牌的字符分割前，消除干擾因素，強化成像效果是極其重要的。

文獻［1］通過改進二值化閾值選取的方法來進行車牌預處理，然而該方法對強光和污損的車牌，字符和背景的區分效果并不理想。文獻［2］基于邊緣檢測的方法來區分背景和字符區域，當車牌顏色褪變、車牌磨損時，字符和背景存在較多邊緣交集，進而無法區分字符和背景。文獻［3］和文獻［4］通過改善車牌光照情況來提升車牌的圖像質量，對強光下的車牌有一定的提升，但是當車牌破損、背景不均勻時效果不明顯。上述方法幾乎都是基于車牌的灰度圖像進行處理，由于灰度圖融合RGB顏色空間信息，使得在各顏色通道產生的干擾均得以保留，不利于干擾特征的消除。為解決基于灰度圖預處理方法的缺陷，本文提出了基于圖像RGB顏色空間R通道的預處理方法，該方法對各種成像干擾下的車牌圖片都能表現出較好的效果。方法的處理流程如圖1所示。

圖1 預處理流程

1 車牌預處理

1.1 基于R通道的車牌預處理

本文主要研究民用車牌，即藍底白字的車牌。車牌的長期使用，環境對車牌造成了不可逆轉的圖像質量下降。探索車牌在各種干擾因素下圖像的穩定表現形式，成為了本文的研究核心。圖像的顏色空間有 RGB，HSI，HSV，YUV等，由于RGB空間各個通道側重表現紅色、綠色、藍色，并且車牌底色為藍色，因此采用RGB空間單個通道進行處理，將有利于對字符和背景進行區分，同時也將減少成像干擾的影響。基于上述考慮，下面分別展示不同情況下車牌的灰度圖，RGB顏色空間各個通道的圖像，如圖2所示。

圖2 車牌灰度圖、R、G、B通道圖

圖2(a)為灰度圖，圖2(b)為R通道圖，圖2(c)為G通道圖，圖2(d)為B通道圖，其中第1列為標準的車牌，第2列為高亮的車牌，第3列為車牌顏色褪變損壞嚴重的車牌。通過對圖2第2列的觀察，很容易發現，針對高亮的車牌，G通道和B通到的圖像幾乎無法正常觀察車牌的字符。對比圖 (a)和圖 (b)，可以直觀感覺到R通道的圖像，車牌的字符和背景的對比度要高于灰度圖。為了進一步的驗證觀察的結果，本文采用RMS對比度評價方法來對車牌圖像做一個對比度分析。其中RMS的計算公式為:

N表示圖像的寬度，M表示圖像的長度，表示圖像所有像素的平均值，表示圖像第行列的像素，公式的最終計算結果為圖像的對比度，圖像的對比度和公式 (1)的計算結果成正相關。圖2對比度如表1所示。

表1 車牌灰度圖和RGB各通道圖對比度

對比表1中的數據，可以推斷在R通道中車牌圖像保持有較好的對比度，G通道和B通道對比度穩定性較差。車牌是藍色的底色，而B通道主要表現的是藍色信息，這樣就造成了車牌背景和車牌字符之間的區分度降低。當車牌顏色蛻變時，通常比較接近綠色，所以G通道最后效果不理想。R通道和車牌藍色的底色差異大，因此更明顯的突出了車牌背景和車牌之間的對比。灰度圖是綜合了3個通道的信息計算得到的，所以灰度圖保持著和G通道和B通道的依賴關系，因此魯棒性相對R通道要弱。

1.2 改進的對灰度拉伸算法

通過1.1節對車牌圖像對比度的分析，本文得到車牌在R通道下具有較高的圖像對比度。為了進一步提高圖像的對比度，本文采用灰度拉伸［5］的圖像增強方法來繼續突出車牌背景和車牌字符的差異。灰度拉伸的計算公式如下所示:

為了使灰度拉伸方法完美的使背景和目標分離，關鍵是確定像素值的兩個邊界a，b。假定圖像的像素取值為［0，255］，圖像大小為M*N，計算a，b的算法描述如下。

Step 1:初始化參數背景比例u，目標占比重v。

Step 2:遍歷整個圖像，統計每個像素值出現的次數，用數組p［i］保存，i取值為 ［0，255］;

Step 3:計算每個像素值出現的頻率q［i］ =p［i］ /M*N，i取值為 ［0，255］;

Step 4: 計算 q［i+1］ =q［i+1］ +q［i］，i取值為［0，254］;

Step 5:順序遍歷q［i］，當時q［i］＜=u，令a=1;反序當 1－q ［i］ ＜=v時，令 b=i。

Step 6:算法結束，得到a，b。

算法的流程如圖3所示。

算法的時間復雜度為，即。算法的關鍵在于要判斷出背景和目標的比重。在車牌中，本文采用車牌字符的有效比重為10%，即，背景的有效比重為50%，即。通過對R通道車牌圖片進行灰度拉伸，得到實驗的結果如圖4所示。

圖4(a)為灰度拉伸處理結果，圖4(b)為改進的灰度拉伸處理結果。從圖4第3列的對比可以發現，改進后的灰度拉伸方法對車牌破損的情況，極大的提升了車牌字符和背景的對比度。通過改進灰度拉伸方法后，采用OUTS(大津算法)［6］對灰度拉伸后的車牌圖像進行二值化處理，如圖5中展示了二值化后的結果，此時車牌字符與背景已

其中，f(x，y)為原圖像素值，g(x，y)為灰度拉伸后圖像像素值，a，b表示像素值的兩個邊界，c，d表示要最終拉伸的像素值區間 ［c，d］。通過觀察公式，當a≤f(x，y) ＜b時，如果 d－c＞b－a，那么 g(x，y) ＞ (x，y)，對像素值進行了提升。然而針對破損嚴重的車牌，車牌字符和背景的部分區域對比度較低，如圖2的第3列所示，因此需要抑制和車牌字符接近的區域。針對這種情況，對灰度拉伸公式進行了調整改進，如下所示:經完全分離。

圖3 a，b計算流程

圖4 灰度拉伸處理

圖5 二值化效果

2 投影和模板匹配車牌分割算法的改進

車牌預處理完成后，依然存在邊框和字符傾斜的情況，本文采用文獻［7］和文獻［8］中的方法分別進行車牌上下邊框的去除和車牌傾斜矯正，結果如圖6所示。然后得到車牌圖像的垂直投影如圖7所示，其中中間車牌的投影存在粘連的情況。

圖6 去除上下邊框和傾斜矯正

常用的車牌字符分割方法有投影和模板匹配的方法［9］，投影的方法針對字符有粘連的情況表現乏力，并且針對“川”，“滬”等漢字投影不連通的情況無法準確得到字符的位置;模板匹配的方法根據車牌字符之間固定的尺寸規律可以忽視字符粘連的情況，但是需要事先知道字符的具體位置。文獻［10］和文獻［11］采用了投影和模板匹配相結合的方法，充分利用兩種方法的優點，但是文中提出的模板依賴車牌尺寸，難以適用現實中車牌尺寸變化的問題。本文提出了一種改進的模板，使模板匹配的方法魯棒性更好。

圖7 車牌投影

圖8 車牌示意圖

如圖8車牌的簡單示意圖所示，a1～a7表示字符中心到車牌左邊界的距離，dmin表示字符間較小的距離，dmax表示字符間較大的距離，計算字符中心到車牌左邊界的相對距離為:

為車牌的長度，根據公式 (4)計算標準車牌字符中心位置到車牌左邊界的相對距離如表2所示。

表2 字符中心相對車牌左邊界的相對距離

本文字符分割的核心思路為，利用投影找到疑似車牌字符的中心位置，用公式 (4)計算這些位置的相對距離，然后和表2中數據匹對，從而確認哪些疑似的位置為字符的位置，用確認的字符位置去計算未知字符的位置。計算的流程圖如圖9。

詳細的算法如下。

Step 1:按標準的車牌比例縮放車牌到固定大小;

Step 2:從右到左遍歷車牌的垂直投影圖像，當投影的兩個波谷的距離大于字符長度的一半、小于字符長度的1.5倍時，判斷為字符的可疑區域，當存在“1”的特殊情況時，可以根據“1”離左右投影距離較大的特征加入可疑區域，然后計算這些可疑區域的中心位置，最多得到6個可疑的中心位置，停止遍歷，進而由公式 (4)得到中心位置的相對距離;

Step 3:用得到的可疑中心位置的相對距離和表2中的標準相對距離匹對，當匹對誤差小于0.06時，可以確定可疑的中心位置對應的是第幾個車牌字符。

圖9 字符分割流程

Step 4:通過已經確認的字符中心位置，利用字符之間的距離，推斷出未確定位置的字符，從而得到所有字符中心位置;

Step 5:把字符的中心位置向左右擴展，直到左右邊界的距離不大于字符的寬度，由此得到所有字符的左右邊界距離，完成字符的分割。

算法中設定最多確認6個可疑的中心位置，一方面因為漢字筆畫之間存在斷裂，投影的方法無法得到所有字符的位置，另一方面通過模板可以推斷其它未知字符的位置。由表2所示，相對距離之間的差值接近0.13，所以剛好是字符的左右邊界的相對距離，取配對誤差為0.06，提高了可疑的中心位置和標準中心位置匹配成功的概率。利用本文的分割算法，字符的分割結果如圖10所示，成功分割出了車牌的字符，并且克服了字符粘連的情況。

圖10 字符分割結果

3 實驗對比及分析

本次實驗采用某市卡口車牌圖片以及網上收集的車牌圖片作為測試數據。測試數據集分成高亮、過暗、顏色褪變3個部分，每個部分有200張車牌圖片，部分數據展示如圖11所示，前2張為高亮車牌，中間2張為顏色褪變車牌，最后2張為過暗車牌。觀察圖11(a)中所示原圖，車牌由于光照和使用周期的影響，車牌字符和背景對比度不高，顏色的褪變，造成了字符和背景表現出極大的粘連性。

3.1 車牌預處理測試

為了測試本文預處理方法的有效性，本文和文獻 ［4］進行了車牌預處理對比實驗，兩種方法預處理之后的部分效果如圖11(b)和11(c)所示。對比兩種方法的預處理結果，文獻［4］預處理后，字符的筆畫較粗，尤其針對車牌顏色褪變的情況，字符和背景像素值極為接近，這樣很容易導致二值化后，字符粘連在一起。如圖11(d)文獻［4］二值化效果，字符之間間隙很小，在顏色褪變的情況下，字符已經粘連在一起，甚至字符輪廓都難以辨認。圖11(e)是本文的二值化效果，相比文獻 ［4］的結果，字符的間隙變大，同時輪廓很清晰。本文的預處理效果，極大的降低了字符的筆畫寬度，字符和背景對比度提升，處理效果直觀上優于文獻［4］中的方法。

為了更精確的評估兩種方法的預處理效果，本文采用文獻［4］的指標進行測試，分別為圖像均值、圖像清晰度、圖像方差。圖像均值反映了圖像整體像素分布情況，均值間接反映了字符占整個圖像的比重，均值越小，字符之間產生粘連的概率越小。圖像清晰度反映了字符和背景的對比度。圖像方差反映了數據和均值的偏離程度，同時也刻畫了字符和背景的對比度。表3是所有高亮、顏色褪變、過暗車牌評估指標統計結果。兩種方法相對于原圖在均值、清晰度、方差上都有了極大改善，本文方法在各種車牌情況下，清晰度和方差和文獻［4］的結果十分接近，但是均值明顯比文獻［4］的結果小。表4是所有車牌評估指標的統計結果，本文方法預處理后，均值相對文獻［4］降低了24.7%，結合前面的分析，說明本文處理方法相對文獻［4］極大減輕了字符粘連的情況，提高了后面字符分割的準確率。

表3 3種車牌環境下預處理實驗結果

表4 所有車牌預處理實驗結果

3.2 車牌字符分割測試

分割算法都采用第2節提出的算法，表5展示了文獻［4］和本文的預處理方法，在不同的車牌條件下字符分割的準確率。本文方法和文獻［4］方法比直接對原圖進行字符分割準確率有了很大提升。針對車牌高亮和過暗的情況，本文方法略優于文獻［4］的方法，當針對顏色褪變的車牌時，本文方法的分割準確率比文獻［4］高出15%，因此說明本文在針對車牌顏色褪變情況的預處理效果優于文獻［4］。本文整體分割準確率達到了99%以上，相比文獻［4］有了不小的提升，因此也間接說明了本文提出的預處理方法的有效性和魯棒性。

表5 車牌字符分割準確率

4 結束語

車牌預處理的關鍵點在于消除車牌字符外的其它干擾因素，使車牌字符和背景完全分離。本文重點研究了車牌不同表現形式 (灰度圖、RGB顏色通道等)下，車牌字符和背景的對比度，發現車牌在RGB顏色空間R通道下具有很好的效果，并且在車牌高亮，顏色褪變，過暗等特殊情況下依然保持很好的魯棒性。本文改進了基于投影和模板匹配的方法，設計了新的匹配模板，對預處理后的車牌進行字符分割測試，得到了99%以上的準確率，達到實際應用的水平。