車輛管理中的車牌識別問題

盧鴻 溫燕軍 錢蓓

[摘 要]通過對圖像進行灰度化、二值化、濾波操作和膨脹腐蝕，完成車牌定位前的預(yù)處理，然后根據(jù)車牌區(qū)域的邊緣信息、顏色特征、紋理特征等進行車牌定位，最后根據(jù)字符特征分割車牌圖像，完成車牌分割;運用卷積神經(jīng)網(wǎng)絡(luò)的方法對分割后的車牌進行字符串識別。

[關(guān)鍵詞]車牌識別;車牌定位;字符分割;字符識別;卷積神經(jīng)網(wǎng)絡(luò)（CNN）

一、問題重述

隨著智能技術(shù)的發(fā)展和成熟，很多場合開始使用智能識別技術(shù)代替人工操作，車牌自動識別系統(tǒng)就是一種智能識別技術(shù)，該技術(shù)是一種基于計算機圖像處理的技術(shù)，在各種車輛管理系統(tǒng)中有著廣泛的應(yīng)用。試建立數(shù)學(xué)模型解決以下兩個問題。

問題1：識別下圖中的車牌或其他汽車車牌。

問題2：試識別附件圖片包中的汽車車牌，討論所建模型的合理性、效率。

二、模型的建立與求解

車輛拍照識別（License Plate Recognition，LPR）系統(tǒng)主要應(yīng)用于智能交通系統(tǒng)，是智能交通領(lǐng)域的重要研究課題之一，它主要包括四個方面：對汽車車牌圖像進行預(yù)處理、系統(tǒng)進行車牌定位、汽車車牌字符分割、汽車車牌字符識別依次進行各項處理，最后識別給定圖片中的車牌。我國普通小型車車牌由七個字符構(gòu)成，第一個字符為各省、直轄市、自治區(qū)的簡稱（黑、吉、遼、京、津、滬等），第二個字符為英文大寫字母A～Z，其中I和O一般不用，以避免與數(shù)字1和0混淆，第三至第七位字符為英文大寫字母A～Z或數(shù)字0～9。

（一）問題1模型的建立與求解

針對問題1，因為問題1需要識別的車牌圖片只有車牌，所以對圖片進行的預(yù)處理中不需要車牌定位，直接采用直方圖均衡化的方法對圖像進行增強，然后對圖像進行去噪。由于圖片中的車牌已經(jīng)是正中的，所以字符分割中的傾斜矯正也可以省略。字符分割之前，首先要進行圖像的二值化，然后再進行圖像的字符分割，從而分割出一個個具體的二值圖表示的字符圖像點陣，作為單字識別的輸入數(shù)據(jù)。分割之后需要統(tǒng)一字符大小，因此對其進行歸一化和去邊框處理，最后進行字符識別。

1.圖像預(yù)處理

第一步：為了增加圖像的全局對比度，對原圖進行直方圖均衡化處理。

第二步：用HSV算法對均衡化處理后的圖像進行處理，處理后對比圖如圖2所示。

第三步：對經(jīng)過HSV算法處理過后的圖像進行顏色濾波處理，處理后如圖3。

第四步：對顏色濾波處理后的圖進行形態(tài)學(xué)濾波處理，去除面積小于30的小對象，從而達到去噪效果，如圖4所示。

如圖5所示，可以看出方法一中采用的灰度+形態(tài)學(xué)濾波處理方法得到的圖像在“B”到“9”字樣中還殘留大部分白色背景，而方法二采用的顏色過濾+形態(tài)學(xué)濾波處理方法得到的圖像在背景處理方面效果更佳。

2.字符分割

用投影分割字符的方法對車牌中的字符進行切分和提取。

投影分割方法的原理是首先將車牌圖像轉(zhuǎn)換為二值圖像（設(shè)白色為1，黑色為0），然后將車牌像素灰度值按垂直方向累加，即所謂的垂直投影。由于車牌中字符之間的灰度值通常為0，因此，投影圖將會在字符之間形成谷底，或者說在字符處形成波峰（一種特殊的波峰）。通過尋找兩個波峰之間的谷底， 再結(jié)合車牌字符的高度、間距的固定比例關(guān)系等先驗知識，來分割車牌圖像中的字符。將其作為字符分割的位置，完成字符的分割。

3.字符識別

車牌分割，分割之后需要統(tǒng)一字符大小，因此對其進行歸一化和去邊框處理。然后采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）進行字符識別。

卷積神經(jīng)網(wǎng)絡(luò)的工作原理可以分為網(wǎng)絡(luò)模型定義、網(wǎng)絡(luò)訓(xùn)練以及網(wǎng)絡(luò)的預(yù)測三個部分。本文所用卷積神經(jīng)網(wǎng)絡(luò)中，參數(shù)如下表1所示。

接下來構(gòu)建訓(xùn)練集，運用構(gòu)建的訓(xùn)練集對大小為七萬的樣本集進行了訓(xùn)練，可得到如圖7的訓(xùn)練誤差曲線圖。

針對訓(xùn)練集，從樣本集中取1%的樣本構(gòu)成測試集，對所構(gòu)成的訓(xùn)練集進行驗證，驗證結(jié)果如圖8所示，由圖可知，構(gòu)建的訓(xùn)練集識別率較高，經(jīng)計算得到誤差率為3.276%，即正確率為96.724%。

對問題1中車牌號為“贛B·04195”的車牌進行圖像預(yù)處理及字符分割后，用卷積神經(jīng)網(wǎng)絡(luò)對其進行識別，識別結(jié)果如圖9。

由圖9可知，上述方法對問題1中給定圖像有較好的去噪及識別效果，問題1構(gòu)建的模型具有較高的可行性。

（二）問題2模型的建立與求解

1.問題2模型的建立

（1）圖像預(yù)處理

對于車牌圖片的識別，先采用直方圖均衡化的方法對圖像進行增強，通過灰度化、二值化、濾波操作和膨脹腐蝕完成圖像定位前的預(yù)處理。

灰度化

本文主要采用加權(quán)平均值法：根據(jù)重要性或其他指標給R、G、B賦予不同的權(quán)值，并使R、G、B等于它們的值的加權(quán)和平均，即

其中Wr、Wc、Wa，分別為R、G、B的權(quán)值，由于人眼對綠色的敏感度最高，對紅色的敏感度次之，對藍色的敏感度最低，當(dāng)Wr=0.30，Wc=0.59，Wa=0.11時，能得到最合理的灰度圖像。

（2）車牌定位

①基于邊緣分割法

圖像分割的一種重要途徑是通過邊緣檢測，即檢測灰度級或者結(jié)構(gòu)具有突變的地方，表明一個區(qū)域的終結(jié)，也是另一個區(qū)域開始的地方。這種不連續(xù)性稱為邊緣。不同的圖像灰度不同，邊界處一般有明顯的邊緣，利用此特征可以分割圖像。圖像中邊緣處像素的灰度值不連續(xù)，這種不連續(xù)性可通過求導(dǎo)來檢測到。

但基于邊緣并不適用于所有圖像，對于邊緣不清晰的圖片處理效果差，如圖10所示。

②基于顏色檢測法

這種方法采用HSV模型，這個模型中顏色的參數(shù)分別是：色調(diào)（H），飽和度（S），明度（V）。色調(diào)H用角度度量，取值范圍為0°～360°，從紅色開始按逆時針方向計算，紅色為0°，綠色為120°，藍色為240°。它們的補色是：黃色為60°，青色為180°，品紅為300°;飽和度S表示顏色接近光譜色的程度。一種顏色，可以看成是某種光譜色與白色混合的結(jié)果，其中光譜色所占的比例愈大，顏色接近光譜色的程度就愈高，顏色的飽和度也就愈高。飽和度高，顏色則深而艷。光譜色的白光成分為0，飽和度達到最高。通常取值范圍為0%～100%，值越大，顏色越飽和;明度V表示顏色明亮的程度，對于光源色，明度值與發(fā)光體的光亮度有關(guān);對于物體色，此值和物體的透射比或反射比有關(guān)。通常取值范圍為0%（黑）到100%（白）。采用基于顏色處理后圖像如圖11。

但基于顏色檢測法并不適用于所有圖像，對于具有大范圍藍色的圖片識別效果差，如圖12所示。

③基于邊緣和基于顏色

由于基于邊緣對于車牌邊緣不夠明顯或有其他邊緣干擾的圖片處理效果不佳，而基于顏色檢測法對于有大面積藍色背景的圖片處理效果不佳，所以本文采用將上述兩種方法結(jié)合起來的處理方法對圖片進行處理，基于邊緣和基于顏色檢測法可以更加清晰準確地對所給圖片中的車牌進行定位，此方法適用范圍更廣，可用性強，如圖13。

根據(jù)圖13可知，基于邊緣檢測法或基于顏色檢測法處理效果不佳的圖片，在采用基于邊緣和基于顏色檢測法后能得到較好的處理效果。

（3）字符分割

在了解車牌字符的規(guī)律之后，可以根據(jù)車牌的特點對字符進行分割。一般最容易想到的方法就是根據(jù)車牌投影、像素統(tǒng)計特征對車牌圖像進行字符分割的方法。它的精髓是對車牌圖像進行逐列掃描，統(tǒng)計車牌字符的每列像素點個數(shù)，并得到投影圖，根據(jù)車牌字符像素統(tǒng)計特點（投影圖中的波峰或者波谷），把車牌分割成單個獨立的字符。

圖像的邊緣信息一般都是高頻信息，所以在水平、垂直方向上對車牌圖像進行小波變換，對其高頻信息進行重構(gòu)，獲得相應(yīng)的高頻信息方面的子圖，在車牌垂直投影圖像中找到每個車牌字符的邊界所在位置，并記下邊界位置的橫坐標;同理在水平投影圖像中找到相應(yīng)的邊界的縱坐標，再根據(jù)相應(yīng)的字符坐標值將字符分割出來。

2.問題2模型的求解

（1）附件中圖片的識別結(jié)果

用問題2中所構(gòu)建模型對問題2附件中所給圖片進行車牌識別，部分結(jié)果如圖14。

（2）模型的合理性分析

由模型的建立過程可知，將基于邊緣和基于顏色兩種方法結(jié)合起來，可以更加清晰準確地對所給圖片中的車牌進行定位，此方法適用范圍更廣，可用性強。但由于樣本集的缺失最后的識別結(jié)果不太理想，正確率為83.629%。

（3）模型的效率分析

通過MATLAB軟件編寫程序建立CNN神經(jīng)網(wǎng)絡(luò)聯(lián)合模板匹配的車牌識別系統(tǒng)對問題中的圖片進行識別，無論輸入怎樣的原圖，識別時間都為0.3秒左右，可見模型有較高的效率。

三、 模型的優(yōu)缺點

1. 模型的優(yōu)點

（1）車牌定位充分利用圖像中的顏色信息、邊緣信息。解決了因車牌位置在車輛圖像中的不確定、抓拍圖像易受環(huán)境因素干擾、較復(fù)雜背景的干擾及照片質(zhì)量低下等問題。

（2）模型能實現(xiàn)邊緣的準確定位、高速并行計算，且處理速度與圖像大小無關(guān)， 采用CNN神經(jīng)網(wǎng)絡(luò)對不同的分割字符進行準確識別，具有較高的普遍性。

2. 模型的缺點

本模型CNN網(wǎng)絡(luò)由于訓(xùn)練樣本集不夠完善對圖片質(zhì)量不高的字符識別率較低，對8和B易混淆。車牌定位在復(fù)雜的環(huán)境下沒有那么理想，如在周圍有許多車，邊緣，顏色比較復(fù)雜時難以定位。

參考文獻：

[1]凌翔，賴錕，王昔鵬.基于模板匹配方法的不均勻照度車牌圖像識別[J].重慶交通大學(xué)學(xué)報（自然科學(xué)版），2017（8）.

[2]彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機應(yīng)用，2016（9）.

[3]彭清，季桂樹，謝江林，等.卷積神經(jīng)網(wǎng)絡(luò)在車輛識別中的應(yīng)用[J].計算機科學(xué)與探索，2018（2）.

[作者單位]

1.贛南師范大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院;2.贛南師范大學(xué)計財處

（編輯：鄭曉燕）