車牌字符分割與識別技術研究

姚文鳳 甄彤 呂宗旺 祝玉華 李智慧 桂便 郭平飛

摘? 要： 由于在車牌識別過程中傳統的垂直投影分割算法存在對字符的誤分割問題，于是提出一種基于圖像垂直投影特征分析和幾何特征的字符分割算法，該算法通過字符的寬度以及字符間的間隔寬度，對傳統垂直投影分割算法的分割過程進行限制，可有效解決對左右結構漢字的錯誤分割。實驗結果表明，該分割算法可有效提升字符分割的準確率，對車牌的正確識別具有重要作用。

關鍵詞： 車牌定位; 車牌矯正; 字符分割; 字符識別; Radon變換; 垂直投影

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）19?0065?05

Abstract： In view that the traditional vertical projection segmentation algorithm has the problem of character mis?segmentation in the process of license plate recognition， a character segmentation algorithm based on the analysis of image vertical projection features and geometric features is proposed. In the algorithm， the segmentation process of the traditional vertical projection segmentation algorithm is regulated by the width of characters and the interval width between characters， which effectively eliminates the wrong segmentation of the Chinese characters with left and right structure. The experimental results show that the segmentation algorithm can effectively improve the accuracy of character segmentation. Therefore， it plays an important role in the recognition of license plates.

Keywords： license plate location; license plate correction; character segmentation; character recognition; Radon transform; vertical projection

0? 引? 言

隨著中國的飛速發展，汽車數量也在巨增，除交通管理外，車輛管理也在各種場合得到加強，作為車輛“身份證”的車牌，成為車輛管理的關鍵。目前車牌識別的技術核心主要包括：對于車型眾多的車輛，如何在汽車圖像中準確、快速地對車牌位置進行定位，并進行保存;獲得車牌以后，如何對有傾斜的車牌進行準確的矯正，以保證下一步字符分割的正常進行;車牌矯正以后，如何對車牌中的字符進行準確分割，得到完整的字符;字符得到以后，如何對其進行識別，得到車牌號碼進行顯示出來。

1? 車牌定位與矯正

車牌定位是車牌識別的第一步，決定了后續工作是否能順利進行。因此必須選擇準確性高、適應性強的算法，而目前比較受到學者認可的車牌定位方法主要有：圖像邊緣檢測、車牌顏色信息[1]、機器學習、形態學[2]等算法，本文采用基于形態學和車牌顏色信息的車牌定位算法。

基于形態學的車牌定位方法是一種常用的方法，它對車牌的紋理信息進行分析處理，對于圖片的質量要求比較高，該算法的檢測速度相對來說更加優秀，但是對車牌圖像的要求比較高，對于復雜的應用場景往往存在一定的誤檢率。

為了彌補該定位方法的不足，本文采用融合形態學和車牌顏色信息的車牌定位方法，其主要步驟如下：

1） 對車輛圖像進行灰度化，并繪制灰度直方圖，如圖1a）所示;

2） 采用roberts算子對車輛灰度圖邊緣進行檢測，以獲取圖像的邊緣信息，如圖1b）所示;

3） 對圖像的邊緣信息進行腐蝕、閉合等操作，對車牌進行粗定位，如圖2a）所示;

4） 對粗定位的車牌，掃描藍色區域以進行進一步精確定位，如圖2c）所示。

2? 車牌的字符分割

對車牌進行矯正后，要對車牌中的字符進行分割，分割的效果會直接影響到下一步的識別，目前常用的分割算法有：基于連通域標記的分割算法、基于字符幾何特征的分割算法、基于圖像垂直投影的分割算法[3]，其主要原理是車牌每個字符之間都存在一定距離的間隙，當對二值化的車牌進行垂直投影時，對應的曲線中波谷部分都是字符之間的間隙存在的位置，根據波谷對字符進行分割。

基于投影的字符分割算法易于實現，分割速度較高，目前得到廣泛應用，但由于中國車牌的第一個字符是每個省的簡稱，漢字并不是每一個都是完全連通的，比如四川的簡稱“川”，浙江的簡稱“浙”等，鑒于這些不連通漢字的存在，這種方法在應用時有可能會出現誤分割。

為了彌補基于垂直投影的字符分割算法的弊端，本文提出基于圖像垂直投影特征分析和幾何特征的字符分割算法。

根據國家規定，我國的車牌具有標準的幾何構造，字符的長度、寬度、字符間的間距都有固定長度，標準車牌的長度為440 mm，寬度為140 mm，其中每個字符寬度為45 mm，高度為90 mm，寬高比為1∶2，每個字符之間的間距為12 mm，其中第二個字符和第三個字符之間的字符“[·]”，占據10 mm。

可以得到字符寬度和字符間距分別為：

由此可知，正常的字符寬度及左右兩邊間距應滿足下式。

在傳統的垂直投影字符分割算法的基礎上，增加了車牌自身的幾何特征進行限制，以改進基于垂直投影的字符分割算法。

在最大間隔Maxgap處，右邊有5個字符，左邊有2個字符，分別向左向右分割，分割過程中，對于分割出的字符[i]寬度[char[i].width<0.1n]，計算其左右兩邊的間距：[Gapleft[i]]，[Gapright[i]]。

1） 若兩邊間距[Gapleft[i]>0.03n， Gapright[i]>0.03n]，則認為該字符為數字“1”，對其進行分割;

2）若兩邊間距[Gapleft[i]<0.03n，Gapright[i]<0.03n]，認為該字符是不完整字符，不進行分割，并認為此處有可能出現字符斷裂現象，繼續尋找下一個投影像素為0的值，直到找到完整的字符為止。

本算法字符分割主要包括以下幾個主要步驟：

1） 將車牌圖像進行預處理，其中包括：二值化、均值濾波、腐蝕或膨脹;

2） 找到車牌中最大間隔值Maxgap;

3） 以最大間隔值處為起點，分別向左分割前面的2個字符，和向右分割后面5個字符;

4） 所有字符分割結束以后，對其進行歸一化，歸一化大小為[M×N=47×26]。

2.1? 車牌圖像預處理

車牌圖像二值化后，小型汽車的藍底白字車牌圖像會變成白底黑字。二值化操作可以使車牌上的字符信息更加明顯，而且會把圖像的彩色信息去除，大大減少計算量。在二值化的過程中，貨車的黃底黑字車牌圖像會變成黑底白字，與小型汽車二值化后完全相反，需要將這兩種不同的情況進行統一。

本文采取的操作是，將車牌圖像進行二值化以后，對圖像的像素點進行求和[sum（d）]，當[sum（sum（c））/m/n*9>0.5 ]時，認為此車牌為貨車車牌，對該二值化圖像進行取反操作，然后再進行處理。

小汽車藍底白字車牌處理后圖像如圖3所示;貨車黃底黑字車牌處理后圖像如圖4所示。

圖像均值濾波對于二值化以后的車牌圖像，在二值化的過程中會混入很多噪聲，本文采用均值濾波對噪聲進行過濾，采用[3×3]的模板，均值濾波的公式為：

對二值化后的圖像進行均值濾波以后如圖5所示。

濾波以后的車牌圖像有可能存在兩種情況：一是字符存在粘連和細長的溝壑;二是字符有可能存在較窄的間斷和小的孔洞。這一步要做的是對濾波后的圖像進行腐蝕或膨脹處理。

圖像中字符對象的面積與總面積的比值大于0.365時，對圖像進行腐蝕處理;如果比值小于0.235，則對圖像進行膨脹處理，處理后如圖6所示。

2.2? 最大間隔值

中國車牌中第二個字符和第三個字符之間有一個分隔符“[·]”，將車牌進行投影后，可繪出波形圖，在圖中可以看到它存在一個小峰，如圖7所示。

計算圖中每個波形的寬度，對于寬度處于2～5個像素值，波峰值小于5個像素的波形，則認為此處為分隔符的所在位置并把它去除，如圖8所示，第二個字符和第三個字符間的間隔就是要找的最大間隔值Maxgap。

2.3? 分割車牌字符

傳統的基于投影的字符分割算法，對一些不連通漢字會出現誤分割，如圖9所示，“豫”字會被分割成兩個字符。本文在傳統投影分割算法上，加以車牌自身的幾何特征進行限制，可有效避免這種誤分割，圖9中，本文提出的算法最終分割結果如圖10所示。

傳統的基于圖像垂直投影的字符分割算法易于實現，分割速度較快，但對于車牌中左右結構的漢字會出現誤分割。本文提出的基于圖像垂直投影特征分析和幾何特征的字符分割算法，通過字符的寬度以及字符間的間隔寬度，對分割加以限制，可有效減小誤分割。

3? 車牌的字符識別

對車牌圖像完成字符分割處理后，進入到字符識別階段，目前比較常用的字符分割算法包括：基于神經網絡[4?5]、基于SVM[6]、基于模板匹配[7]。

基于模板匹配的算法復雜度低、識別速度較高，基本能滿足實時性的要求。本文采用基于模板匹配的字符識別算法，該算法需要提前建立標準的字符模板庫，其中數字包括：0～9;字母包括：[A～H]，[J～N]，[P～Z]。需注意的是英文字母I和O，為避免與數字中的1和0識別混亂，并沒有使用，因此字符I和O不予考慮;漢字包括：京、津、滬、渝、甘、陜、豫等，對建立的各模板大小歸一化、規范化處理后，并且上一步中字符分割后的歸一化過程，尺寸需要與模板相同。

本文使用字符與模板的異或值表示兩者的相似度，字符與模板二者異或操作后得到一個新的矩陣。由于異或操作中，不同為1，相同為0，則該矩陣中為0的位置即為二者相同的點，為1的位置即為二者相異的點。計算新矩陣中所有為1點的總和[Dfg]，最終比較字符與各模板運算之后[Dfg]的大小，[Dfg]值最小則說明字符與該模板差異最小，即為要找的模板。

字符識別過程如下：

1） 建立自動識別字符串，字符串中1～10位存放0～9十個數字，11～34位存放除去I和O后的24個英文字母，35位以后存放各個省份的簡稱。

2） 讀取字符并與模板庫中的字符逐個進行匹配，將字符與模板進行異或，然后比較字符與各模板運算之后[Dfg]的大小，值最小的即為契合度最高的，即為該字符要找的模板。

3） 其中讀取第一和第二個字符時，由于第一個字符是漢字，第二個字符是字母，直接令其與對應的漢字模板或字母模板匹配即可，可以省去與其他類型模板匹配的時間。

4） 讀取后5個字符時，由于后5個字符只可能是數字或者字母，直接將其與數字和字母模板匹配即可，可省去與漢字模板匹配的時間。

部分字符模板如圖11所示，識別結果如圖12所示。

該算法復雜度低、識別速度快，基本滿足實時性要求，而且選取高質量的圖片建立模板庫以及進行多模板匹配都可以提高匹配的成功率。該算法對于車牌的前期預處理的依賴性較高，如果預處理取得較好的效果，但如果車牌字符有模糊、形變等情況，模板匹配的準確率會有所降低，該算法總體來說，對于固定的環境比較適用。

4? 結? 語

本文主要實現了車牌圖像從定位、矯正、分割到識別的一系列過程，分析了每個過程中常用的算法，詳細分析了本文所采用的算法。在字符分割階段，本文提出了一種基于圖像垂直投影特征分析和幾何特征的字符分割算法，優化了傳統的垂直投影特征分割算法，減少了左右結構漢字的錯誤分割。

參考文獻

[1] 陳宏照，謝正光，盧海倫.顏色與邊緣紋理相結合的車牌定位方法[J].現代電子技術，2018，41（21）：67?70.

[2] 李輝.基于形態學的車牌定位方法研究[J].梧州學院學報，2010，20（3）：29?35.

[3] XIA Huadong， LIAO Dongchu. The study of license plate character segmentation algorithm based on vertical projection [C]// 2011 International Conference on Consumer Electronics， Communications and Networks. Xianning， China： IEEE， 2011： 4583?4586.

[4] WANG Xiaohua， YU Juanjuan， MIAO Zhonghua， et al. License plate recognition based on pulse coupled neural networks and template matching [C]// Proceedings of the 33rd Chinese Control Conference. Nanjing， China： IEEE， 2014： 5086?5090.

[5] LIN T Y， ROYCHOWDHURY A， MAJI S. Bilinear CNN models for fine?grained visual recognition [C]// 2015 IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015： 1449?1457.

[6] KIM J B. MSER and SVM?based vehicle license plate detection and recognition system [C]// ICHIT 2012： Convergence and Hybrid Information Technology. Daejeon， Korea： Springer， 2012： 529?535.

[7] 凌翔，賴錕，王昔鵬.基于模板匹配方法的不均勻照度車牌圖像識別[J].重慶交通大學學報（自然科學版），2018，37（8）：102?106.

[8] 賈曉丹，李文舉，王海姣.一種新的基于Radon變換的車牌傾斜校正方法[J].計算機工程與應用，2008，44（3）：245?248.

[9] 胡仁偉，張希仁，楊立峰，等.基于傅里葉變換和Hough變換的商標圖案傾斜校正[J].輕工機械，2018，36（1）：62?65.

[10] 王博.車輛多特征識別方法研究與實現[D].成都：電子科技大學，2017.