基于模板匹配方法的不均勻照度車牌圖像識別

凌 翔，賴 錕，王昔鵬

(合肥工業大學 汽車與交通工程學院，安徽 合肥 230009)

0 引 言

車輛牌照識別(License Plate Recognition，LPR)系統主要應用于智能交通系統，是智能交通領域的重要研究課題之一[1-2]。車牌定位、字符分割和字符識別是車牌識別系統的3項主要技術，而車牌識別更是其中的關鍵環節。目前，車牌識別技術主要有基于模板匹配的車牌識別方法[3- 5]、基于機器學習的車牌識別方法[6-8]以及基于上述方法的組合運用[9]等。

基于模板匹配的方法主要通過比較模板圖像和實際圖像的相似度來判定識別結果。在實際應用中，基于模板匹配的方法操作簡單，且能夠保證較高的識別率，應用非常廣泛。然而，基于模板匹配的方法對噪聲很敏感，其識別正確率隨著光照強度、字符清晰度和字符大小的變化而波動，穩定性較差，當天氣和環境較差或車牌污損嚴重時，車牌識別的準確率將嚴重下降。基于機器學習的車牌識別方法可細分為淺層學習(Shallow Learning)和深度學習(Deep Learning)。基于淺層學習的方法包括BP神經網絡、支持向量機(SVM)等，此類方法需要通過預先訓練大量樣本數據，利用車牌字符的結構、紋理、邊緣等特征提取出信息，而樣本數據的構建和提取特征的方法直接影響到該方法的準確率。基于深度學習的識別方法包括CNN神經網絡、限制玻爾茲曼機(RBM)等，此類方法需要構造多層網絡對整幅圖像進行深度學習訓練，但需對大量參數進行訓練，計算時間相對較長，無法滿足智能交通系統實時、快速處理的要求。

在自然場景中，車牌識別系統全天候工作，導致車輛圖像采集受光照、車速、天氣情況(霧、雨、雪)影響，這些因素都在一定程度上增加了車牌準確識別的難度。為此，筆者在前人研究的基礎上提出一種基于改進的頂帽重構和模板匹配方法的車牌識別算法：首先，采用改進的頂帽變換[10]和投影分割算法[11]將字符圖像從復雜的車牌背景中提出來；然后，基于字符圖像全局相似度，將字符圖像與模板庫進行匹配，識別車牌圖像。

1 車牌圖像預處理

實際獲取的車牌圖像，受到光照不均、車牌污損和車牌變形等因素的影響，不利于對車牌單個字符信息的提取，必須通過對其進行預處理消除圖像噪聲干擾，增強字符圖像拓撲信息，提高車牌圖像的信噪比。具體流程如圖1。

圖1 車牌預處理流程
Fig. 1 Pretreatment process for classifying license plate

1.1 圖像二值化

為了進一步將車牌字符信息從復雜的車牌背景中提取出來，還需對圖像進行灰度變換和二值化處理。直接對自然條件下拍攝的車牌圖像進行灰度變換和二值化處理，往往達不到理想的效果。例如在晴天拍攝時，由于自然光照射角度的不同，使車牌圖像發生部分區域反光或車牌邊框陰影遮蓋字符的現象。這類圖片在二值化處理時可能會出現字符變形、粘連、細節模糊等情況，從而影響字符識別的準確率。如圖2，輸入灰度圖像LA，使用最大類間差分法(OTSU)二值化處理后得到圖像LB，圖像LB中含有大量的噪聲。

圖2 二值化效果Fig. 2 Binary results

在實際操作過程中，OTSU屬于基于全局閾值的二值化算法，對噪聲敏感。而基于局域閥值的二值化算法易引入噪聲，且耗時較長。筆者使用一種替代方法：首先使用頂帽重構補償灰度圖像不均勻的背景亮度，凸顯圖像上的文字，然后使用OTSU進行二值化處理。頂帽重構是一種基于數學形態學的變換方法，屬于非線性濾波器。其能抑制噪聲、提取特征和分割圖像。頂帽變換如式(1)：

Top_hat(A)=A-RA(AΘB)

(1)

式中：RA(AΘB)為圖像A和結構元B的形態學開運算重構。形態學開運算的操作是先腐蝕再膨脹。開運算可去除圖像中較小的亮點，但開運算中的膨脹過程會使字符形狀變形。因此，可用重構代替膨脹來做開運算。結構元B形狀和尺寸的選取直接影響頂帽重構處理的效果。若尺寸過大，達不到均勻背景灰度的效果。若尺寸過小，車牌字符可能會被識別為背景，使得有效信息被刪除。

對不同情況，應使用不同結構元素進行灰度平滑。筆者依據我國車牌標準規范，通過對多幅車牌圖像的試驗，提出一種有效的結構元尺寸計算方法。根據粘連部分寬度最大值為2個字符間距，結構元B的寬度以第2個字符和第3個字符間的寬度為基準，結構元B的高度以字符高度的1/5為基準。已知：輸入圖像的寬度為W；車牌字符間隔寬度與原始圖像之比為α；字符高度與車牌高度之比為β。α、β取值與車牌傾斜角度等有關。經過適當傾斜矯正后，α、β取值一般變化不大，可根據具體情況對多幅圖像進行統計估算。由此，結構元B的尺寸可用式(2)計算：

(2)

式中：α=12/440=0.025；β=90/440=0.20。

利用結構元在輸入圖像LA中的具體操作步驟如下：

步驟1圖像背景灰度值均勻化

為了使圖像背景的灰度值均勻化，采用上述單位矩陣結構元對圖像LA進行腐蝕，然后將其與原圖像進行重構，得到圖像LC。將原圖像LA減去重構后的圖像LC生成一幅背景灰度值較均勻的圖像LD。

步驟2求灰度圖像LD的灰度直方圖

以灰度值Gray為閾值T將灰度直方圖分成兩組并計算兩組的方差。當兩組之間方差最大時，閾值T=Gray。將灰度圖像LD以閾值T轉化為二值圖像，得到圖像BW。

步驟3使用形態學開運算消除車牌圖像BW內孤立的噪聲點

通過對多幅車牌圖像進行試驗，噪聲點面積最大值取標準字符數字1面積大小的一半，即車牌圖像面積的1/200，處理后得到圖像BW1。二值化過程如圖3。

圖3 頂帽重構和二值化處理過程Fig. 3 Top-hat reconstruction and binaryzation

1.2 字符分割

經過二值化處理后的車牌圖像需進行分割，得到含有單個字符信息的圖像。傳統的投影分割法可能出現邊框與字符粘連造成分割失效的情況。對車牌圖像垂直投影，當兩側邊框過寬或出現邊框與字符粘連時，分割失敗的幾率更大。針對以上情況，筆者對傳統投影分割法進行了改進，具體步驟如下：

步驟1沿水平方向分割車牌圖像

首先將二值化后的車牌圖像沿水平方向投影，因車牌邊框的影響，投影直方圖兩側可能有兩個明顯的波谷，從波谷處截去上下邊框區域即可去除上下邊框。為了盡可能獲得更多有效區域，筆者通過從直方圖中間向兩邊搜索的方式尋找波谷。

步驟2沿豎直方向分割車牌圖像

因車牌字符之間有明顯空隙，根據我國車牌標準規范，設計了一個車牌字符模板框，模板框有13個空格，具體如圖4。

圖4 車牌字符模板框Fig. 4 License plate character template box

圖中：z1、z2、z3、z4、z5、z6、z7的空格為車牌字符位置，其他為車牌空隙位置；模板框高l為水平分割后車牌圖像高度；z=0.5l；k=12l/90；t=34l/90。將字符模板框沿水平方向在車牌二值圖像上移動，統計編號k1、k3、k4、k5、k6空格內的像素數Ki(i=1、3、4、5、6)。若Ki小于閾值Tk，則停止移動模板框，此時編號為z1、z2、z3、z4、z5、z6、z7的空格內字符即為分割出的車牌字符。閾值Tk可由試驗統計獲得。筆者取閾值Tk=100，分割后的車牌如圖5。

圖5 車牌分割后效果Fig. 5 Effect after license plate segmentation

步驟3背景修正

經過分割后的車牌字符一般會偏離圖像中心位置，進而對字符匹配準確率產生影響。因此，需對字符圖像背景進行修正，去除冗余背景，填充有效背景。修正過程如下：

1)標記圖像中連通域的位置，找到連通域質心坐標(row，col)。

2)從中心出發，對字符邊界進行搜索，以搜索圖像左邊界為例，對圖像進行列求和得到函數f。

3)從質心橫坐標col開始向左搜索，當函數f小于2時停止，記錄下坐標left-side。

4)通過圖像的4個邊界將字符從不規則的背景邊框截取出來，給圖像添加一個邊長為2個像素的邊框。

5)使用雙線性插值法將圖像大小歸一化。

筆者使用的模板圖片大小為50×25，修正后的圖片如圖6。

圖6 字符圖像修正后的效果Fig. 6 Effect after character-image background correction

2 模板匹配

使用模板匹配法對分割后的字符圖像進行識別。該方法是將待識別的字符與模板庫中的字符進行比對，將相似度最高的模板字符確定為識別結果。該方法的本質是通過計量輸入模式與樣本之間的某種相似性，取樣本中相似性最大者為輸入模式所屬類別。

常見的模板匹配方法通過比較字符與模板的前景像素相似度來識別字符圖像。這類方法忽略了背景像素中隱含的字符拓撲信息，對相似字符識別率較差，當字符前景像素受到噪聲干擾造成前景像素缺失時，可能造成兩個字符匹配程度相同，如“0”和“D”，“C”和“G”等。針對以上情況，通過比較字符圖像與模板圖像前景和背景的相似度，使字符圖像類間差異最大化，提出了全局相似度函數，如式(3)：

(3)

式中：f為模板二值圖像；g為字符圖像；⊕為異或運算符；～為取反運算符。f與g大小一致，其值與M×N大小相等。

3 實驗與分析

為測試預處理方法的有效性，隨機拍攝獲得車牌圖像200幅。其中多數圖像的拍攝地點為公園停車場、校園、路邊等，拍攝的環境條件為晴天和夜晚等多種自然狀況。為了獲得背景照度不均的車牌圖像，晴天拍攝時采取逆光拍攝的方法，夜晚拍攝時使用閃光燈輔助拍攝。涉及算法在MATLAB 2012b軟件平臺上編程實現。實驗用計算機配置為win7系統、Intel(R)G3260 CPU、8G內存。使用筆者提出的算法和OTSU方法分別對200幅車牌圖像進行對比測試，預處理后的二值化圖像字符完整且不含有大面積噪聲的為處理成功。測試結果如表1。

表1 預處理測試結果Table 1 Pretreatment test results

部分測試效果對比如圖7，傳統的全局閾值二值化算法在處理背景照度不均的車牌圖像時會引入大量噪聲，而筆者提出的方法可以有效消除由背景照度不均引起的噪聲，并有效提取車牌字符信息。

圖7 預處理效果比較Fig. 7 Comparison of pretreatment effect

使用模板匹配方法識別車牌過程中，當二值化效果不理想時，圖像內的字符會產生變形，極大增加字符識別難度。為了測試筆者提出的模板匹配函數的有效性，設計一個變形字符樣本集合，模擬二值化過程中由于車牌背景照度不均使字符圖像產生的變形的情況，將車牌字符二值化后產生的變形分類，并量化了變形規律。在車牌識別系統中，漢字的識別具有一定的特殊性，與數字和字母的識別過程是區分開的。筆者針對34個數字和字母的字符圖像采取添加傾斜角度、模糊字符圖像和添加噪聲的手段，生成了3 200幅二值化變形字符圖像，并將這些圖像組成測試樣本集合。部分變形字符圖像如圖8。

圖8 樣本圖像Fig. 8 Sample image

對樣本圖片進行測試，設計了3組對比實驗：第1組使用全局重合度函數；第2組使用傳統匹配函數[5]；第3組使用重合度的最小標準差函數[4]。具體測試結果如表2。

表2 樣本測試結果Table 2 Sample test results

全局重合度函數的識別率為77.86%，高于其他兩組實驗。實驗證明，筆者提出的基于全局重合度的匹配函數有效提高了字符信息的利用效率，從而提升了字符識別的效率。

4 結 語

車牌字符識別是車牌識別系統中公認的技術難題之一。筆者針對車牌識別過程二值化、字符分割和字符匹配問題進行研究，基于MATLAB平臺設計了車牌識別算法。首先通過對灰度車牌使用頂帽重構來均衡灰度圖像背景光照，然后使用最大類間差分法求取閾值對圖像進行二值化。通過對200幅實景拍攝的圖像進行驗證，筆者提出的預處理方法取得了較好的二值化效果。在此基礎上，改進了車牌字符分割方法和模板匹配的重合度函數，并與傳統的匹配函數進行比較。測試結果表明，筆者提出的全局重合度函數取得了較好的識別效果。