汽車牌照定位與識別系統設計

楊潤玲，衛旭東，樊慶揚

（西安建筑科技大學 信息與控制工程學院，陜西 西安 710055）

0 引 言

作為智能交通系統的重要組成部分，汽車牌照識別系統是智能交通領域的一個重要應用，融合了計算機、圖像處理等多種技術。車牌號碼是區分車輛的唯一標志，汽車牌照識別系統可以在不影響車輛正常行駛的情況下，通過圖像采集裝置和一系列相關處理技術來獲取車牌圖像，并對車牌中的每個字符進行識別，從而獲得車牌號碼。車牌自動識別系統不僅在車輛管理方面扮演著關鍵的角色，同時也是智能交通的基石。如果沒有性能良好的車牌識別系統，必定會嚴重限制智慧交通的發展，甚至影響人們的生活。

車牌自動識別系統主要分為三個模塊，分別為車牌定位、字符分割和字符識別。文獻[1-3]采用了顏色定位法，但是當車身顏色與車牌顏色相近時無法準確定位車牌區域；文獻[4]先在灰度域上粗定位，再在HSV空間進行精定位車牌圖像，但對拍攝距離過遠的汽車圖像車牌區域的準確提取帶來挑戰；文獻[5]的方法雖然能對藍牌、黃牌和綠牌車輛進行定位，但是當車牌區域褪色嚴重和車牌周邊有文字干擾時效果變差；文獻[6]采用Haar級聯分類器實現車牌輪廓的定位，再結合CNN神經網絡的訓練，對車牌傾斜、光照不均勻及噪聲污染下的情形識別準確率較高，但是都是車牌區域拍攝距離很近的條件下實現的；文獻[7]對特定場景下的牌照識別率很高，對某些復雜背景下的車牌也有一定的識別率；文獻[8-9]采用機器學習模型對字符圖像進行識別，當字符形狀相近時，文獻[9]中模板匹配法的字符識別率僅有70%，而文獻[8]中采用機器學習模型的字符正確識別率可達98%，但只對藍牌小轎車適用，且只能解決水平傾斜的車牌識別。

本文從車牌定位、字符分割及字符識別三個模塊出發，分別進行詳細設計，提出了顏色定位、邊緣檢測和支撐向量機（Support Vector Machine，SVM）相結合的方法實現車牌區域的準確定位；采用字符輪廓尋找法及人工神經網絡（Artificial Neural Network，ANN）法實現字符分割及字符識別，達到對藍底白字以及黃底黑字車牌的識別目標，最后基于C++平臺設計了汽車牌照的自動定位和識別系統。整體來看，無論是三個模塊還是系統總體，識別率都取得了很好的效果。

1 車牌定位

由藍底車牌或黃底車牌背景顏色的特征可知，一般情況下，車牌區域中黃色或藍色背景顏色的像素點多集中分布在一個矩形區域，而非車牌區域的黃色或藍色像素點常常分布不規則。由此，可以明顯區分車牌區域和非車牌區域。而當車身顏色與車牌顏色相同時，只靠顏色定位車牌區域就會失效。車牌區域的背景顏色固定為藍色或者黃色，并且車牌區域具有明顯的垂直和水平邊緣。由此，本文提出一種基于顏色特征、邊緣檢測和SVM相結合的車牌定位算法。先將定位出的候選車牌區域通過車牌長寬比例進行篩選，再進行必要的傾斜校正，最后通過訓練好的SVM模型獲得真正的車牌區域。車牌定位流程如圖1所示。

圖1 車牌定位流程圖

1.1 顏色定位

原始車輛圖像通常在RGB顏色空間獲得，首先需將其轉換到HSV空間去表達。其中，H對應色調，取值范圍為0～360，紅色R、綠色G和藍色B的值分別為0，120和240；S對應飽和度，取值范圍為0.0～1.0，值越大，顏色越飽和；V對應亮度，取值范圍為0.0～1.0，值越大，色彩越明亮[10]。因此，當S和V的值在一定范圍內，通過遍歷汽車圖像中每個像素點H的值即可確定每個像素點代表的顏色。

分別設置藍色像素和黃色像素在H，S和V三分量的閾值，即可獲得汽車圖像的二值化圖像。具體方法是，當一個像素的H，S和V值在藍色像素或者黃色像素的閾值范圍內，就標記為白色像素，否則標記為黑色像素。經過大量實驗，得出如表1所示的HSV顏色空間閾值表。對二值化后車輛圖像進行閉操作，再進行形態學操作，去除一些干擾和彌補一些細小的間隙，求取構成輪廓的所有點的集合，得到輪廓的最小外接矩形，即可截取候選車牌區域。最后對候選車牌區域通過長寬比例進行篩選。圖2為顏色定位效果圖。

圖2 顏色定位效果

表1 HSV顏色空間的閾值

1.2 高斯模糊與邊緣檢測定位

車牌區域形狀是一個矩形，因此除了顏色特征外還具有水平和垂直邊緣。利用車牌的這一形狀特征，可以通過邊緣檢測的方法得到車牌區域的輪廓，從而有效解決依靠顏色特征無法定位車牌的問題。原始車輛圖像往往包含一些其他垂直或水平邊緣的對象，會對邊緣檢測的結果產生直接影響。因此，可以加入一個模糊處理來減少干擾。模糊半徑的大小往往對處理的結果產生較大的影響，經過大量的實驗，本文最終選擇高斯模糊處理的半徑為5，處理后可以有效減少候選車牌區域的數量，從而降低車牌定位的處理時間和判斷出錯的概率。

對原始車輛圖像進行高斯模糊處理之后，再進行邊緣檢測。由于車牌區域存在垂直邊緣和水平邊緣，因此只需要對灰度化后的車輛圖像進行垂直方向和水平方向的求導就可以得到車牌的輪廓。然而在實驗過程中發現，盡管這樣可以生成更為精準的輪廓，但是大多數車輛存在太多水平邊緣，如一些標志和排氣管等，會使形態學閉操作之后得不到一個準確的車牌位置。故利用Sobel算子僅僅進行水平方向的求導，即尋找有效的垂直邊緣，再進行二值化和形態學閉操作。進行二值化時，需考慮光照的變化。由于車牌處于不同亮度下所使用的二值化閾值可能存在很大差異，故本文采用大津自適應閾值法[11]，其中閾值選取的方法為：用閾值t將圖像分為背景和目標兩個部分，將t從0至255遍歷一次，當t使背景與目標類間方差最大時，用此時的t值作為圖像二值化的閾值T。對車輛圖像進行二值化后，再進行形態學閉操作、截取車牌候選區域、通過車牌的長寬比進行篩選等。這些處理與2.1節顏色定位中的相應步驟相同。圖3為使用高斯模糊與邊緣檢測相結合的方法定位車牌區域的流程。對藍色車身藍色車牌圖像進行邊緣檢測定位車牌區域的效果如圖4所示。

圖3 高斯模糊與邊緣檢測流程圖

圖4 高斯模糊與邊緣檢測定位效果

1.3 傾斜校正

當圖像采集器與汽車車牌之間有一定程度的傾斜，而不是垂直正投影拍攝時，車牌圖像就會變形，車牌字符甚至產生畸變。對于具有水平傾斜的車牌區域，利用Hough或者Radon變換，反向旋轉相同的角度即可完成車牌區域傾斜校正。然而對于畸變的車牌區域，必須利用透視變換將其校正為矩形[12]，利于后續的車牌字符分割和識別。

透視變換利用投影中心、像點、目標點三點共線的條件，按透視旋轉定律使承影面（原圖像平面）繞跡線旋轉某一角度，破壞原有的投影光線束，仍能保持承影面上幾何圖形不變。投影到新圖像平面的變換，如圖5所示。

圖5 透視變換

透視變換如式（1）所示：

圖6 傾斜校正流程圖

圖7 透視變換效果

1.4 車牌判斷

上述方法在車牌定位的過程中，會產生多個候選車牌區域。因此，需要從傾斜校正后的候選車牌區域中判斷出真正的車牌。本文采用二分類的SVM模型來實現。提取車牌的垂直投影和水平投影作為車牌特征向量，在對二分類SVM模型進行訓練時，采用1 400張車牌圖像、2 100張非車牌圖像。

為了使字符與背景的區別更明顯，需要將車牌進行二值化。二值化后，車牌背景是黑色的，字符是白色的。如圖8所示，每個字符的位置和字符之間的間距是固定的，且車牌區域具有一定的特征，而非車牌區域二值化后往往是無規則的，如圖9所示。

圖8 藍色車牌二值化效果

圖9 非車牌區域二值化效果

通過SVM模型判斷真正的車牌區域，需要先提取車牌的特征。車牌區域的水平特征和垂直特征反映了車牌區域字符位置與間距的特征。本文將候選車牌區域大小設定為36×136。遍歷每一列的像素點，統計每一列白色像素點的個數，從而得到候選車牌垂直特征，為136×1的列向量。同樣，遍歷每一行的像素點，統計每一行白色像素點的個數，得到候選車牌區域的水平特征，為36×1的列向量。候選車牌的垂直特征和水平特征共同組成了候選車牌的特征向量，為172×1（其中172=136+36）的列向量。最后將所有候選車牌區域的特征向量依次輸入到訓練好的SVM模型進行判斷，獲得真正的車牌區域。訓練得到的模型正確識別率為98%。車牌區域判斷效果如圖10所示，從三張候選車牌中識別出了真正的車牌。

圖10 車牌區域判斷

2 字符分割

本文采用字符輪廓尋找的方式進行字符分割，算法流程如圖11所示。由于藍色車牌中的背景顏色深，字符顏色淺，而黃色車牌則是字符顏色深，背景顏色淺，因此，針對藍色車牌和黃色車牌，分別采用正二值化方法和反二值化方法。對車牌顏色的判斷，是通過比較藍色像素點和黃色像素點分別占據車牌區域總像素點的比例來實現的。具體過程為，先將車牌區域轉換為HSV顏色空間，再遍歷所有像素點，根據表1中藍色像素和黃色像素的閾值，統計出藍色像素點個數和黃色像素點個數分別占車牌總區域像素點的百分比。若前者百分比大于后者百分比則為藍色車牌，反之則為黃色車牌。

圖11 字符分割流程圖

在進行二值化的過程中，如果對車牌區域采用全局自適應二值化，由于車牌區域往往存在陰影和光照不均勻的影響，會使二值化后的字符輪廓缺失或者字符與字符之間出現粘連的現象。故本文采用局部自適應二值化的方法，將車牌區域分為16個小區域，每個區域進行自適應二值化以減小光線等因素的影響。圖12是對車牌區域進行局部自適應二值化的效果。

圖12 局部自適應二值化效果

對車牌區域進行二值化后，為了去除鉚釘的干擾，需要遍歷每一行像素點跳變的次數。當次數小于9時判定為鉚釘，然后將此行所有像素設置為黑色像素。

本文研究的車輛牌照有7個字符，首字符X1為漢字字符。其中，一部分漢字字符帶有偏旁部首，如“浙”“豫”“鄂”等。對此，在進行字符輪廓查找時，通常會使偏旁部首分離，形成兩個連通區域。故本文采用通過查找第二個字符X2輪廓位置，再向前去定位漢字字符X1輪廓位置的方法。經過大量實驗發現，在車牌定位正確的前提下，X2輪廓的中心位置在車牌寬度的1/7～2/7，并且X1字符的輪廓中心位置通常在X2輪廓中心向左1.15倍的X2輪廓寬度處。再取X2輪廓后的連續五個，截取得到X3，X4，X5，X6和X7的字符輪廓。接著對輪廓求最小外接矩形，然后截取圖塊，達到字符分割的目的。對圖12（c）和圖12（d）進行字符分割的效果分別如圖13（a）和圖13（b）所示。對含有偏旁部首的漢字字符車牌圖像，字符分割效果如圖13（c）所示。

圖13 字符分割效果

3 字符識別

我國藍底白字和黃底黑字單行的車牌號碼由7個字符組成。根據所用字符集的特點可知，車牌字符集共包括65個字符，其中漢字字符有31個，英文字符有24個，阿拉伯數字字符有10個。實際場景拍攝的汽車圖像車牌區域較小，經過分割后字符圖像尺寸更小，常常會使一些重要的字符信息丟失。這些難題給字符的準確識別帶來挑戰。字符識別的主要方法有模板匹配法、ANN法和字符特征法等。本文采用ANN方法。

由于字符圖像數據占據空間大，冗余信息多，且存在噪聲，若直接進行識別，計算量大，費時費力。故對字符進行特征提取，對字符圖像進行某種變化，得到反映字符本質的特征向量，使字符特征具有獨立性、不相關性和可靠性。

本文對分割好的字符尺寸進行標準化，中文字符、英文字符和數字字符的尺寸分別為20×20，10×10和10×10。進行字符特征提取時，水平特征和垂直特征的提取與車牌特征的提取過程相同。

考慮到中文字符只出現在車牌首字符的位置，且與英文字符和數字字符相比筆畫繁多、結構復雜，本文按照中文字符和非中文字符兩種情況進行識別。首先對中文字符和非中文字符兩種模型進行訓練。采用的ANN共三層，分別為輸入層、隱含層和輸出層。其中，ANN的激活函數采用非線性轉移函數。首先，將31種代表31個省份或直轄市的中文字符代號的1 500個樣本進行特征提取，輸入到設置好的ANN中得到中文字符模型；其次，將34種字符（代表24個大寫英文字母和10個阿拉伯數字）每種字符1 500個樣本進行特征提取后輸入到設置好的ANN得到非中文字符模型；最后，將字符圖像提取出的特征向量輸入到訓練好的字符模型中，得到字符圖像對應每個字符的置信度，取最大置信度所對應的字符為待識別的字符。

4 系統實現

本文在Visual Stduio 2019集成開發環境中，基于開源計算機視覺庫OpenCV 3.4.2版本，利用C++語言編程，在QT軟件上實現汽車牌照定位與識別系統可交互界面的設計。為了驗證系統的性能，使用筆者手機在西安街頭和兵馬俑停車場拍攝的200張各個場景下幾乎全國所有省份的原始車輛圖像作為實驗測試數據庫。拍照距離范圍為0.5～10 m且拍攝角度各異，包括白天不同光照下的車輛圖像以及夜間的車輛圖像。測試平臺為PC機，操作系統為Windows10，CPU為Inter i5-7300，內存為8 GB。

本系統具有以下幾個功能：打開圖片，車牌定位，字符分割以及字符識別。汽車牌照定位與識別系統的界面設計如圖14所示。最后一個字符識別功能，可顯示汽車牌照的顏色及7個字符。

圖14 系統GUI界面

車牌定位、字符分割、字符識別和系統總體識別的實驗結果分別如表2、表3、表4和表5所示。其中，表4中的1 372，是指正確分割出字符圖像的字符總數，因為每個車牌有7個字符，即196×7=1 372。

表2 車牌定位的結果

表3 字符分割的結果

表4 字符識別的結果

表5 系統總體識別的結果

由表2車牌定位的實驗結果可以看出，本文提出的顏色定位、邊緣檢測和SVM相結合的方法對車牌區域的定位效果非常好，只有極少數車牌由于受到陰影的干擾導致車牌區域截取不完整。由表3字符分割的結果可以看出，本文采用查找字符輪廓的方法分割字符圖像，效果很好。由表4字符識別的結果可以看出，本文采用的ANN方法對于字符識別的準確度非常高。對于少量字符未能識別出來，主要原因是受車牌區域陰影的影響，使字符二值化后的字符輪廓粘連在一起。由表5系統總體識別結果可知，本文設計的汽車牌照定位與識別系統的正確識別率達到92.0%。

5 結 語

本文設計的汽車圖像的車牌定位、字符分割和字符識別系統，可以很好地對藍色車牌和黃色車牌進行識別。尤其是本文的測試數據集真實、全面，且拍攝角度、拍攝距離和拍攝時間具有明顯差異，所提系統仍取得了很好的效果，因此本文設計的系統普適性很高，通用于藍牌小轎車和黃牌單行字符的大轎車。系統仍然存在待完善的方面。例如，在車牌定位方面，當車牌區域存在不均勻光照和部分陰影時，會使得車牌區域定位不完整，造成字符斷裂，導致最后字符識別失敗。因此，在對原始車輛圖像尤其車牌區域進行去陰影方面，仍需進一步研究和探討。在字符識別環節，當字符圖像比較模糊時，系統識別效果比較差。對此，可以增加一些模糊字符作為字符識別模型訓練樣本，以提高其識別效果。本文算法通用于藍底和黃底車牌這兩大類，在對系統進行完善之后，有望應用在更多車輛領域，如黃底黑字雙行車牌、綠色車牌、白色車牌等特殊車牌識別。