復雜背景下基于HSV空間和模板匹配的車牌識別方法研究

謝永祥，董蘭芳

(中國科學技術大學計算機科學與技術學院，安徽 合肥 230027)

車牌識別系統在智能交通中有廣泛的應用，它能從一幅圖像中自動定位出車牌區域，并分割字符圖像，對字符進行識別。車牌識別系統的主要組成部分如圖1所示，有車牌定位、車牌校正、車牌字符分割和車牌字符識別4個部分[1]。

圖1 程序總體流程圖

目前的車牌定位主要有基于灰度圖像的定位方法和基于彩色圖像的定位方法[2]。

其中，基于灰度圖像的方法計算量小，但在復雜背景下，存在穩定性差、準確率不高的缺點；在基于彩色圖像的方法中，存在速度慢、實時性差的缺點。

一般的車牌校正算法有Hough變換法、Radon變換法、旋轉投影變換3種方法[2]。其中，Hough變換法抗噪性能較好，但計算量大，且對于無車牌邊框的圖像效果不理想；Radon變換能快速檢測到車牌的傾斜角度，但對無邊框的車牌圖像同樣不理想；而旋轉投影變換校正效果較好，卻需對車牌圖像多次旋轉，計算量較大。

常見的車牌字符分割方法主要是對單行車牌進行分割，在分割中常會將雙行車牌誤認成單行車牌，對雙行車牌的分割效果不理想[3]。在車牌字符識別算法中，常用的有神經網絡和支持向量機的方法[4]。

在車牌定位中，由于一般的定位算法只是在交通道路和停車場管理等較為簡單的背景有很好的效果，但在相對復雜的場景中，運行效果還有待改善。所以根據我國車牌的紋理特征和顏色特征，本文提出了一種通過在HSV空間中兩次顏色標記和紋理特征相結合的車牌定位方法。實驗結果表明，該方法能夠有效地定位車牌，并且具有較強的魯棒性。在字符分割部分，也提出一種基于改進的模板匹配的字符分割方法，實驗表明，該方法能夠有效的分割單、雙行車牌。

1 車牌定位

在日常所用的紅(R)、綠(G)、藍(B)顏色空間中，由于R、G、B三個分量都會隨著光照的變化而變化，兩種相近的顏色其R、G、B值可能相差很大[5]，所以在R、G、B空間來直接定位車牌是十分困難的。因此，本文改為在HSV空間中定位車牌，在HSV空間中，H表示色調(hue)，S表示飽和度(saturation)，V表示亮度(value)[5]，其與人眼感知的顏色特性一一對應，能較好地反映出人對色彩的鑒別能力。由RGB顏色空間向HSV顏色空間轉換可由式(1)得到：

其中，max為R、G、B三分量中最大值，min為R、G、B三分量中最小值。

我國現使用車牌主要有藍底白字、黃底黑字、黑底白字和白底黑字、紅字幾種類型[6]，可利用各種顏色在H、S、V分量上的范圍，在第一次標記中將圖像各點標記為藍色、白色、黃色、黑色、紅色、雜色，其中各分量的范圍如表1所示。

對于第一次標記的圖像，若直接來定位的話容易誤檢到大量與車牌背景色相近的區域。對于這種情況，本文利用車牌有固定顏色搭配的特性來解決這個問題，其中固定顏色搭配是指在某類車牌中字符與背景的顏色搭配總是確定的，比如說在藍白色車牌中，白色字符是被周圍的藍色背景所包圍。我們不是簡單的提取白色區域或藍色區域，而是提取藍白交界區域，這樣就可以很好地減少藍色車輛或藍色背景干擾，提高定位準確度。還需對圖像進行第二次標記，假設當圖片f中存在藍白色車牌時，圖像A為第一次標記后圖像，圖像B為第二次標記后圖像，t為車牌預估字符寬度。第二次標記由式(2)計算得到：

表1 各顏色H、S、V范圍

兩次標記流程如圖2所示。

圖2 兩次標記流程圖

圖3~6分別為原圖、第一次標記后的圖片和第二次標記后的效果圖片。

圖3 原圖

圖4 第一次標記后藍色區域

圖5 第一次標記后白色區域

圖6 第二次標記后圖片

對于兩次標記的圖片，可利用車牌文字區域結構復雜的特點分割車牌區域。本文先采用水平梯度差分法進行紋理分析，它使得二值化圖片的車牌字符紋理復雜的特性得到加強，從而突出了車牌區域。在統計差分后的圖像C中每行包含的白色像素點個數為D(i)，當D(i)大于閾值thresh[i]時認為該行可能位于車牌區域內，當連續的這種行數在一定的范圍時就認為是一個車牌候選區域，其中thresh為局部閾值，即式(3)：

每一行的閾值等于其附近n行的累積投影值的平均值，此方法相對于全局閾值可以更好地適應不同清晰程度的圖像，這樣就可以實現車牌的垂直定位。

對已垂直定位的圖像可采用類似的方法進行水平定位。對于這些車牌候選區域，通過區域長、寬限制和黑白區域交錯次數先初步篩除大部分非車牌區域，再通過計算單位面積內白色像素點個數得到最大的前3個為假定車牌區域。

2 車牌校正

得到車牌區域圖像后，使用大津法進行二值化。此時需對車牌進行水平傾斜校正、豎直傾斜校正以及車牌邊框的去除。一般的傾斜校正方法有hough變換法、Radon變換法、旋轉投影變換法。其中hough變換法、Radon變換法對于邊框不明顯的車牌校正效果不好，而旋轉投影變換運算量較大，故本文采用一種改進的旋轉投影方法。

在水平傾斜校正中，先對圖片進行水平差分，在–30°~30°的范圍內，依次增加2°通過雙線性插值來對圖像進行水平方向旋轉，并得到圖像的水平投影值數組P[m]，取最大的4個投影值之和S1。即得到式(4)，

其中，r(k)為P中最大的4個值位置。

本文不是對所有角度進行計算，而是當找到S1的極大值時即停止旋轉，并認為該角度即是水平傾斜角度，通過相應旋轉可以得到水平校正的圖像，如圖7所示。

圖7 水平校正

豎直傾斜是由于車牌圖像的同一行像素點的錯位造成的，可以采用類似水平校正的方法。對圖像豎直投影后，令谷底高度為閾值h。依次對圖像旋轉并豎直投影得到數組Q[n]，統計其小于h的個數S2，即：

當S2達到極大值停止，此時可求得豎直旋轉角度并得到豎直校正的圖像，如圖8所示。

圖8 豎直校正

對車牌傾斜校正后，可根據車牌的水平投影谷底位置和黑白像素點變換個數來確定車牌的邊框位置，如圖9所示，其中對于雙行車牌可根據投影的波谷將上層和下層分割。

圖9 去除邊框

3 車牌字符分割

一般可根據前面得到的車牌區域的長寬比將其分為單行和雙行的車牌，若是雙行車牌，先對二值化后的車牌從上到下進行水平投影，用下一行的投影值減去上一行的投影值記錄差值，找出差值最大的就是所對應的分界線。此時可以根據分界線將雙行車牌分解為兩個單行的車牌來分別處理。

先對車牌區域進行豎直投影，取谷底為初始閾值h對圖像進行分割，若分割出來的部分大于高度的k倍，則認為它有字符粘連的，需遞歸自增h進行分割直至分割成功或當h超過高度的p倍而放棄分割。當然，分割后的字符也可能存在字符斷裂，這主要出現在漢字部分，如川、滬等字，可根據其與前后區域距離遠近決定是否區域合并。對可能出現的數字1的特殊情況，可根據其投影值的大小判斷是1還是噪聲。

對分割后的待測字符區域可根據單、雙行車牌的模板進行匹配計算，本文統計出待測字符的中心位置，將車牌字符模板在待測字符區域上從左向右、從上向下滑動，計算各個字符的理論位置，將理論位置和實際位置之差的平方和作為評價函數值S，其中對于雙層車牌可進一步利用上下層水平和豎直方向的距離關系，最終得到使S最小的那組即為分割的字符。其中單、雙行的S的計算方法如式(6)~(7)所示，A表示單行車牌的待測字符中心位置數組，D為模板字符中心位置數組，A1、A2為雙行車牌的上、下行待測字符中心位置數組，D1、D2為上、下行模板字符中心位置數組。

其中，

單、雙行車牌模板[6]如圖10所示。

圖11，圖12為分割的實驗結果圖。

圖10 單雙層車牌模板

圖11 分割效果圖1

圖12 分割效果圖2

4 車牌字符識別

4.1 車牌字符識別一般方法

車牌字符中的識別常用的有人工神經網絡方法和支持向量機(suport vector machine，SVM)的方法。其中，人工神經網絡的識別速度較快，但是其識別準確率要比SVM低。而SVM的準確率較高，并且它非常適用于小樣本的學習問題，具有較強的泛化能力。故本文選用SVM方法來識別車牌字符。

4.2 SVM支持向量機介紹

支持向量機是Corinna Cortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，并能夠推廣應用到函數擬合等其他機器學習問題中。SVM分類器能夠同時最小化經驗誤差與最大化幾何邊緣區，具有良好的推廣能力。

其構建思想描述如下[7]：

(1) 將輸入向量從低維特征空間向高維特征空間的轉換，其中高維空間對輸入和輸出都是透明的。

(2) 針對轉換之后的高維特征空間構建一個最優分類超平面用于分離在第一步中發現的特征。

4.3 車牌特征選取及訓練

首先對分割出的字符進行預處理，提取出包含字符的最小矩形區域，將其歸一化成32×16大小圖片。接著對圖片特征提取，選用的特征有網格特征、筆畫特征、筆畫密度共72維特征。

本文使用線性SVM訓練分類器,它的計算速度快且能夠保持較高的分類準確率，解決了由特征數量多而引起的訓練時間長的問題，提高樣本訓練的速度。由于車牌字符排列結構，我們可分別對漢字以及字母和數字進行訓練，其中，若有k種樣本，每次取兩種類別的樣本作為正、負樣本來訓練，會得到(k–1)×k/2個分類器。進行分類時，對每種類別設定一個計數器初始化為0，在分類器輸出的類別對應的計數器加1，最后找出k個計數器中的最大值，其對應的類別即為最終分類結果。

5 結 論

本文提出了一種HSV空間下兩次顏色標定和紋理相結合的定位算法和基于改進的模板匹配的車牌分割方法。對200張不同遠近、不同復雜背景的車牌照片進行定位，成功率達到98%以上，實驗結果表明，該方法充分利用了車牌固定顏色搭配的特性，對車牌的大小、圖像背景的限制較少，但該算法在不常見的車牌顏色判定上，還需做進一步的改進。對100張單行、50張雙行車牌照片進行分割，均可以很好地分割出來，正確率達到95%。經以上方法改進的車牌識別正確率可達90%以上，但本文的工作尚有不足，比如對于比較模糊的車牌以及光線條件過差的照片識別效果不好。

[1]Gao Qian, Wang Xinnian, Gongfu Xie.License Plate Recognition Based On Prior Knowledge [J].Proceedings of the IEEE International Conference on Automation and Logistics, 2007, 9: 2964-2968.

[2]申繼龍.車牌定位和傾斜校正的關鍵技術研究[D].南京: 南京郵電大學, 2013.

[3]遲曉君, 孟慶春.基于投影特征值的車牌字符分割算法[J].計算機應用研究, 2006, 23(7): 256-257.

[4]黃志斌, 陳鍛生.支持向量機在車牌字符識別中的應用[J].計算機工程, 2003, 29(5): 192-194.

[5]王夏黎, 周明全, 耿國華.一種基于HSV顏色空間的車輛牌照提取方法[J].計算機工程,2004, 30(17): 133-135.

[6]GA36-2007, 中華人民共和國機動車號牌[S].北京:中華人民共和國公安部, 2007.

[7]Sanchez V D.Advanced support vector machines and kernel methods [J].Neurocomputing, 2003, 55: 5-20.