基于數學形態學的車牌自動識別系統

高直 吳寶福 王媛媛

摘 要： 針對車輛牌照的自動識別問題，提出了一種基于數學形態學的車輛牌照識別方法。通過對車牌的定位、字符切割和字符識別，完成了車輛牌照的自動識別。首先，對原始彩色圖像進行灰度處理、中值濾波處理等預處理，并采用數學形態學的方法對圖像進行運算，進而實現了車牌的定位；其次，通過像素點統計的方法對車牌進行字符定位與切割；最后采用模板匹配的方法對字符進行識別。實驗表明，所提出的方法具有較好的識別效果。

關鍵詞： 車牌識別； 數學形態學； 中值濾波； 像素點統計； 模板匹配

中圖分類號：TP311.5 文獻標志碼：A 文章編號：1006-8228（2018）07-56-05

Abstract： For automatic recognition of vehicles license plate， a vehicle license plate recognition method based on mathematical morphology is proposed. Firstly， original color images are processed with gray-scale processing and median filtering， then， the license plate will be localized by the image calculation with the mathematical morphology method. In addition， pixel statistic approach is used to process the character position and segmentation. Finally， the template matching method is utilized to recognize the character. The simulation experiments demonstrate the effectiveness of the proposed algorithm and the better recognition performance.

Key words： license plate detection； mathematical morphology； median filtering； pixel statistic； template matching

0 引言

車輛牌照是車輛的身份證，是汽車唯一的標識。有效的車牌管理可以很好的提高車輛的管理效率，緩解道路交通壓力，因此車牌識別是目前國內外的研究熱點問題。

目前，針對車輛牌照識別國內外涌現出了多種方法，有的已經作為產品投入應用，其中比較有名的是英國IPI公司研發出來的RTVNPR系統[1]，美國SCT公司開發的車輛牌照識別系統[2]。國內雖然起步較晚，但經過長時間的研發也取得了一定成效。做得較好的產品有清華紫光公司的“嵌入式車牌識別儀”、中科院自動化研究所出產的“漢王眼”。此外，深圳市吉通電子有限公司、亞洲視覺科技有限公司以及清華大學、上海交通大學等高校都做過相關的研究[3]。

車輛牌照的圖像往往是在自然場景下獲得的，而自然場景下的圖片往往存在形變、尺度變化、背景復雜、質量不佳、高亮反光、牌照被遮擋、車牌的污損、字體褪色等問題[4]，這都為自然環境下的車輛牌照識別增加難度。因此如何實現快速、準確地識別車輛牌照是一個有意義的課題。

本文利用圖像處理技術并結合數學形態學方法提出了一個完整的車輛牌照識別系統，該系統實現了對車牌的定位、字符的切割和字符的識別。實驗證明本文方法能夠取得較好的識別效果。

1 車牌識別系統的總體方法設計

車輛牌照自動識別系統主要由三部分組成，分別是車牌定位、字符分割和字符識別。整體識別流程如圖1所示，首先采用圖像預處理、邊緣提取并運用數學形態學運算處理的方法，對車輛牌照進行定位，其次采用閾值化分割的方法提取車牌中的字符，最終進行字符識別并輸出結果。

2 基于數學形態學的車牌定位

本文主要采用數學形態學運算處理車牌圖像，進而實現車牌定位 [5]。首先通過灰度化、邊緣檢測等方法對原始圖像進行預處理，其次通過數字形態學里的開閉運算對邊緣圖像進行膨脹腐蝕操作，從而得到若干連通區域塊，最后從這些連通區域塊中找到其規格符合車輛牌照特征的區域。

2.1 圖像灰度化處理

本文實驗所用圖像均為真彩圖像，由于真色彩圖像處理較為復雜，首先需要將其轉化成灰度圖像，即尋找一個三維空間到一維空間的映射[6]。事實上，在本文中，gray與RGB之間的關系表達式為：

圖像灰度化效果如圖2所示，可以看出雖然圖像由多維彩色圖像轉變為一維的灰度圖像，但圖片主要特征無大變化，對于車牌定位影響不大，因此進一步對圖像進行灰度調整，灰度調整是圖像增強的重要手段之一[7]。可以增加圖像對比度，使得圖像更加清晰、特征明顯。

本文采用線性灰度調整的方法處理圖像，將原圖像f（x，y）的灰度范圍由[a，b]變換為圖像g（x，y）的[c，d]，對于灰度圖像中的任意一個像素點的灰度值f（x，y），經變換后成為g（x，y），其數學表達式如式⑵所示：

線性灰度調整效果圖如圖3所示，可以看出經過灰度調整的圖像，圖像清晰度、對比度增大，使得車牌部分字符與車牌底色之間的差異凸顯出來。

2.2 車牌圖像的Roberts算子邊緣檢測

邊緣是指圖像局部亮度變化最明顯的部分，常用的邊緣檢測的算子有很多，比如Sobel、Prewitt、Roberts、log、Laplacian以及Canny算子方式，本文選用Roberts算子[8]進行處理。

在進行邊緣檢測之前，首先采用中值濾波的方法進行降噪[9]。假定二維中值濾波中原始輸入圖像為f（x，y），處理后的圖像為g（x，y），則他們之間的關系表達式為：

其中，W為二維模板，，本文中設定W的區域大小為3×3。中值濾波的處理效果如圖4所示，可以看出經過中值濾波處理后，圖像中的噪聲數量減少，圖像中許多突兀的邊緣數量減少。

接下來采用Roberts算子處理圖像。假設t（x，y）為Roberts算子處理后提取的邊緣圖像，s（x，y）為原始圖像。Roberts算子作為一階導數算子，則：

式⑸運算得到的處理結果與人類視覺系統中發生的過程相類似，為了提高運算速度，上述數學公式可以近似為：

再選取適當的門限閾值TH，如果t（x，y）里的某個像素點大于此門限閾值TH，則將對應的像素點記為階躍邊緣點，這樣就得到了邊緣輪廓。本文所用函數為TH=0.3。Roberts算子邊緣檢測運算效果如圖5所示。

2.3 數學形態學運算處理

數學形態學有四個基本運算，即膨脹、腐蝕、開運算和閉運算。集合是二值形態學中的運算對象，通常使用結構對圖像進行操作。在定位環節，考慮到待處理圖像中存在著大量微小的干擾邊緣點，要使得邊緣豐富的車牌區域得到凸顯，就需要設定一個適當的結構元素，即要盡可能地抹掉干擾邊緣點，又要保證字符邊緣不被一起抹掉。通過實驗發現，當結構元素為三行一列的豎方向腐蝕時，對車牌的影響較小，且可以達到理想的效果。為了進一步凸顯車牌區域塊，我們使用了閉運算操作，操作中采用采用25×25的結構元素可以達到理想的凸顯效果。在字符切割環節，因為考慮到便于字符切割，需要每個字符邊緣盡可能地光滑，因而采用的是開操作，如圖6所示為采用數學形態學運算后的效果圖。

圖6左圖為腐蝕操作，可以看出操作后許多零星的細小邊緣點被抹掉，而車牌區域的邊緣仍然能得以保留。圖6右圖為閉運算，操作后，邊緣豐富的車牌區域得以連成一個整體，車牌區域得以凸顯。但同時，閉運算處理后圖像中仍然存在眾多細小的區域，因此，在下面一節我們針對干擾區域進一步處理。

3 車牌的字符定位與切割

3.1 基于像素點統計的字符定位

從圖6中我們看到，圖像中仍然存在眾多干擾的區域，與車牌區域相比，大部分干擾區域的面積較小，因此通過移除小對象的方法剔除干擾對象。在移除小對象之后，我們已經實現了對車牌的初步定位。

本文針對小型汽車車牌進行識別，考慮到小型汽車的牌照為藍底白字，因此系統通過統計藍色像素點個數來定位車牌[10]。首先，逐行統計藍色像素點數目，確定水平方向藍色像素點最多的行，再以該行為中心，向上逐行比較藍色像素點數目與閾值，若該行藍色像素點數目大于閾值，則繼續向上比較，直到其小于閾值，從而確定了車牌的上界PY1。同理，向下逐行比較從而確定車牌下界PY2，進而確定車牌的左右界線PY1與PY2。確定位置后，調用切割函數“dw=I（PY1：PY2-8，PX1：PX2）”從而實現對車輛牌照圖像的切割。車牌定位及切割的效果圖如圖7所示。

3.2 字符切割

通過前面的字符定位，已經得到了定位好的車牌，按照前面敘述的方法對車牌圖像按照灰度化→灰度調整→二值化→中值濾波→數學形態學運算處理的步驟對定位后的車牌進行處理，如圖8所示為處理后得到的圖像。

字符切割的方法有很多，本文采用閾值化分割法 [11]。設原始圖像為f（x，y），按照一定的準則從f（x，y）中找到一個合理的特征值T，將圖像分割為兩部分，分割后的圖像為：b0=0，b1=1，即為我們通常所說的圖像二值化。

由于我國車牌具有字符間隔較大的特點，不會出現字符與字符的粘連情形，因而本文字符分割方法的過程是判斷待切割塊的長度是否大于某一寬度閾值，若大于這個閾值則認為該待切割塊中至少含有兩個字符，并繼續切割；若小于這一閾值則認為只有一個字符，圖9所示為字符切割后的效果圖。

4 基于模板匹配的車牌字符識別

模板匹配是圖像識別方法中最基本的方法之一[12]。本文采用基于距離匹配的模板匹配法，首先將截取的字符塊變換成40×20像素點的規格，并歸一化處理，其次獲取一個待識別的字符的模板，再將該待識別的字符模板與模板庫中的字符模板一一對應進行相減，得到的0越多就表明模板越匹配。接著把每幅圖相減的結果中0的個數進行統計并保存。最后從眾多數值中挑選值最大的，即得到識別結果。字符識別的效果如圖10所示。

為了驗證本文提出方法的有效性，選取了300張車輛圖片進行實驗，以MATLAB R2010b為實驗平臺，整個識別過程共有三個環節，即車牌定位、字符分割和字符識別。每個環節都是后面環節的基礎，因此一旦定位失敗，后面的所有操作均為無效。如表1所示為識別結果與現有文獻中一些方法[13-14]的比較，通過實現結果可知本文提出的方法具有較好的識別效果和性能。

5 結束語

本文主要研究設計了一種車輛牌照識別系統，這一過程主要解決了以下幾個方面的問題：

⑴ 車輛牌照的定位，通過數學形態學操作以及切割等操作來實現了車輛牌照的定位；

⑵ 字符的切割，通過閾值分割法對字符進行切割；

⑶ 字符的識別，通過采用模板匹配的方法對字符進行識別，并取得了較好的效果。

但由于車輛牌照圖像本身的一些特異性，比如復雜背景車牌、歪斜車牌、遮擋車牌等問題的存在使得車輛牌照識別仍然存在很大的挑戰，有必要分析更多情況，以進一步提高現有車牌識別系統的魯棒性。

參考文獻（References）：

[1] 周開軍.復雜環境下的車牌識別研究[D].武漢理工大學碩士學位論文，2006.

[2] 張宇.車輛識別系統中車牌定位與字符分割方法的研究[D].五邑大學碩士學位論文，2009.

[3] 高聰.車輛識別系統中字符識別的研究[D].廣東工業大學碩士學位論文，2017.

[4] LI H， WANG P， YOU M Y， SHEN C H. Reading carlicense plates using deep neural networks[J]. Image and Vision Computing，2018.72（4）：14-23

[5] DEVKOTA B， ALSADOON A， PRASAD P， SINGH AK， ELCHOUEMI A. Image Segmentation for Early Stage Brain Tumor Detection using Mathematical Morphological Reconstruction[J]. Procedia Computer Science，2018.125（3）：115-123

[6] 盧紅陽，劉且根，熊嬌嬌等.基于最大加權投影求解的彩色圖像灰度化對比度保留算法[J].自動化學報，2017.43（5）：843-854

[7] 徐衛昌，黃威，李永峰等.低通濾波與灰度值調整在圖像增強中的應用[J].激光與紅外，2012.42（4）：458-462

[8] 高勇鋼.一種改進roberts算子邊緣檢測[J].巢湖學院學報，2009.11（6）：31-32

[9] Zhu Y， Huang C. An Improved Median Filtering Algorithm for Image Noise Reduction[J].Physics Procedia，2012.25（22）：609-616

[10] 周彬彬，周之平，賈杰.結合有色點對搜索和區域統計特征的車牌定位算法分析[J].無線互聯科技，2016.4：9-12

[11] 劉平，陳斌，阮波.基于邊緣信息的圖像閾值化分割方法[J].計算機應用，2004.24（9）：28-30

[12] 謝永祥，董蘭芳.復雜背景下基于HSV空間和模板匹配的車牌識別方法研究[J].圖學學報，2014.35（4）：585-589

[13] 曾泉，譚北海.基于SVM和BP神經網絡的車牌識別系統[J].電子科技，2016.29（1）：98-101

[14] 陳景航，楊宜民.基于小波變換和神經網絡的車牌識別系統[J].計算機工程，2005.31（15）：175-177