污損車牌的識別技術

張天博 鄧輝輝 廣西科技大學計算機學院

污損車牌的識別技術

張天博 鄧輝輝 廣西科技大學計算機學院

【目的】在目前汽車數量日漸增多的年代，汽車管理日益重要，每一輛汽車都有其專屬車牌，因此對汽車的管理就相當于對汽車車牌的管理，此研究將用于改善人目前已有的車牌識別技術，提高對污損車牌的識別效率。【方法】試圖以圖像重構，噪聲消除技術的方式來處理圖像，能有效適應這種復雜的變化，提高識別過程的魯棒性。【結果】截止目前的實驗研究結果，我們實現了對部分車牌在穩定環境中的圖片定位，以及對車牌的字符切割和識別，但尚且未能完全解決污損車牌的有效處理，日后有待繼續研究。【結論】經過這一次的項目研究，我們研究小組認識到，車牌的識別的方法有無數種，但大致的處理思想基本一致：從圖片中提取車牌的有效區域——對車牌進行字符提取——將提取出來的字符與字符庫中的字符相匹配，找出相似度最高的字符并輸出。另外，在學習過程中我們發現，圖像重構，噪聲消除技術等方法對于處理車牌識別也有很大的幫助，在圖像的預處理上起著很重要的作用。

噪聲消除 圖像重構

【研究意義】實際應用中，車牌識別系統的識別率還與牌照質量和拍攝質量密切相關。牌照質量會受到各種因素的影響，如生銹、污損、油漆剝落、字體褪色、牌照被遮擋、牌照傾斜、高亮反光、多牌照、假牌照等等；實際拍攝過程也會受到環境亮度、拍攝方式、車輛速度等等因素的影響。這些影響因素不同程度上降低了車牌識別的識別率，也正是車牌識別系統的困難和挑戰所在。為了提高識別率，除了不斷地完善識別算法還應該想辦法克服各種光照條件，使采集到的圖像最利于識別。

【前人研究進展】在車聯網迅速發展的今天，快速的車牌識別已經成了一個最基本的要求，目前所使用的基于圖像邊界的識別方法往往將圖像輪廓當做連續點來處理，對于車牌有污損或者遮擋的，識別能力有限。而有許多不法分子試圖用此漏洞，遮掩車牌，以此妄圖逃避法律的制裁。

當今車牌識別系統的具體流程為：

為了進行車牌識別，需要以下幾個基本的步驟：

①牌照定位，定位圖片中的牌照位置，提取出車牌的有效區域；

②牌照字符分割，把牌照中的字符分割出來，形成一個個單字符文件；

③牌照字符識別，把分割好的字符與模板庫中的字符進行匹配識別，最終組成牌照號碼。

車牌識別過程中，牌照顏色的識別依據算法不同，可能在上述不同步驟實現，通常與車牌識別互相配合、互相驗證。

【本研究切入點】以圖像重構啊，噪聲消除技術的方式來處理圖像，基于MATLAB工具的基礎上不用對圖像識別的算法進行深究，只需更多考慮對污損處理的方法思想。

【擬解決的關鍵問題】對污損較為嚴重的車牌進行降噪、重構，分析車牌污損在圖片上帶來影響的具體問題，提出更為準確率高效的算法。

【具體的細節問題】

1 車牌識別的預處理工作與定位

當我們看到一張尚未處理的汽車圖片時（如圖1），應考慮到目前機器對于彩色圖像的處理效率相對薄弱，所以我們通常先進行灰度處理——增強處理——sobel算子實現邊緣檢測——腐蝕圖像——轉化為二值圖像(平滑輪廓)——移除小對象——車牌定位(如圖2在matlab處理)。

圖1

圖2

由于本項目的針對是污損車牌的匹配，所以在預處理工作上只做簡單描述：

a.灰度處理/增強處理是為了令圖片邊緣更加明顯，方便邊緣計算

b.使用sobel算子檢測圖片邊緣大致確認各個區域位置

c.腐蝕圖像后進行平滑處理令圖像二值化(即圖像上只有黑與白(0和1))，而后根據車牌長寬比在圖片上顯示大致在2.5：1到3.5：1之間，選定大致區域范圍

d.根據車牌的底色(大多為藍色)

根據以上數據不難在圖中找到藍色的點而后在Y軸上進行檢測，若該軸上藍色占比高則基本可以確定車牌的一個邊緣在這里，而后進行切割，而后在之后的掃描不斷檢測，直到藍色占比不足的那一調Y軸上停止，并以此確定邊界進行切割。

2 字符切割

在定位車牌后，由于車牌本身帶有大量噪音，會影響到后續的車牌切割，因此還是應該對定位出來的車牌區域進行同預處理相類似地要對車牌進行加工，即將車牌二值化，對車牌區域進行開閉運算減少噪音，便于后面的字符切割(如圖3)很明顯車牌文字的特征在二值化后很明顯，圖片中的車牌文字在邊界處會有大量的數值跳躍，因而可以直接通過檢測圖片中的數值跳躍情況進行每一個字符區域的判斷，即從(0，0)坐標像素開始掃描，根據車牌比例(如圖4)，檢測到Y軸某一列上含有一定數量的白色像素點時根據車牌比例大小檢測以此往右的像素，若在此比例之后的矩形范圍內含有大量白色像素則可以判斷合格，并切下字符(效果如圖5)，重復以上過程，直至找出7個候選字符區域，就此切割車牌工作便完成了。

圖3

圖 4

圖5

3 字符匹配

在此我們先要建立一個包含所有車牌字符的模板庫(圖6)，里面存放著0-9，A-Z(不含I、O)，以及36個車牌漢字，在運行匹配前先進行數據庫讀入存入一個胞組中（如圖7所示）。

在這里我們使用的匹配算法是直接進行暴力匹配（每一個字符都與之對應類型比較，比如第一個字符只會是漢字所以只會在庫中的漢字文件夾中選取對象對比）。

圖6

下圖對比兩張圖片的算法，是使用了MATLAB的corr2算法。其中A B的像素需要同樣（在此為了方便，模板中的像素皆是30*50，所以在得到字符分割后每個字符圖片大小也會調節為30*50），隨后通過與字符匹配返回值取一個字符文件夾中的平均值，得到平均值最高的文件夾名稱返回。

4 實驗結果

我們選擇了測試圖片后，發現對藍色車子的識別效果很差，因為通過顏色來定位車牌，藍色車會導致數據上的混亂，如下圖，定位時幾乎將整個車身定位進去，效果很差。

而選擇非藍色車輛后，如下圖，效果很好。

5 效率測試

除去手動打開識別圖片花去的時間，實際處理和匹配時間基本都在0.6s～0.8s之間(因為在實際處理中是不用進行繪圖展示的)，所以在效率上是合格的。

6 項目后記

在項目申報立項之后，經過長時間的學習和研究，我們雖然能實現基本的車牌識別，但是在車牌處于復雜環境中有大的障礙的時候圖片處理的效果不是很好，因為汽車在行駛的過程中能產生很多狀態，我們研究小組目前還未能找出一種有效且合適的方法對車牌處于多種復雜環境時能實現快速處理和識別，我們將在以后的不斷學習中，嘗試尋找到最有效的識別方法，并應用到此項研究和開發里。

由于在項目進行時，我們項目小組經過大量的數據對比，發現RGB色系在圖片處理中的效果并不是很好，因此我們在這一次研究里使用的顏色色系是HSV，在非藍色車的定位上效果很好。

我們將在以后繼續學習相關知識，不斷嘗試新的字符切割方法和閾值判斷來重新嘗試圖像處理，達到理想中的車牌識別效果，完成此次項目的研究。

[1]沈勇武,章專.基于特征顏色邊緣檢測的車牌定位方法.杭州.浙江大學信息科學與工程學院.

[2]許永吉.文字識別原理及文字識別算法.深圳大學.2012/12

[3]基于模板匹配算法的字符識別研究.顧晨勤,葛萬成.同濟大學中德學院，上海