基于L1-BRD的視頻圖像車牌識別

薛云松，馮國瑞，劉立莊

(1.上海大學 通信與信息工程學院，上海200444；2.中國科學院 上海高等研究院，上海201210)

基于L1-BRD的視頻圖像車牌識別

薛云松1，馮國瑞1，劉立莊2

(1.上海大學 通信與信息工程學院，上海200444；2.中國科學院 上海高等研究院，上海201210)

針對實時視頻的車牌識別系統(tǒng)應(yīng)用，利用車牌的邊緣特征和形態(tài)學操作對車牌進行粗定位，通過支持向量機(SVM)結(jié)合方向梯度直方圖特征(HOG)方法對粗定位車牌進行鑒別真?zhèn)巍Ｔ趯ψ址M行分割后，取連續(xù)多幀車牌，對字符特征利用L1-BRD (L1-norm Bin Ratio-Based Histogram Distance) 自適應(yīng)計算融合權(quán)重，使L1-BRD能夠從圖像間特征相似度評估擴展到實時視頻中。把L1-BRD用于車牌字符識別，可以降低單幀圖像中噪聲及字符分割誤差產(chǎn)生的影響，有助于后期基于多幀加權(quán)直方圖特征進行字符識別，提高車牌字符識別的準確性和穩(wěn)定性，并保證了實時性。

車牌字符識別；L1-BRD；車牌定位；多幀加權(quán)直方圖特征；SVM

進入新世紀以來，智能交通得到越來越廣泛的應(yīng)用，已經(jīng)成為交通管理系統(tǒng)不可缺少的一部分，它是通過視頻監(jiān)控系統(tǒng)得到的道路監(jiān)控視頻利用計算機視覺技術(shù)對道路狀況進行自動分析，而車牌識別技術(shù)是智能交通里非常重要的一部分，應(yīng)用于交通管理系統(tǒng)、車輛出入管理系統(tǒng)等領(lǐng)域[1]。

目前車牌識別的算法有很多，大致可以分為基于模板匹配、神經(jīng)網(wǎng)絡(luò)和支持向量機(SVM)三類方法。基于模板匹配的方法計算速度快，但是對低分辨率圖像以及傾斜的車牌識別率較低；基于神經(jīng)網(wǎng)絡(luò)的方法在樣本量不充足的條件下容易造成局部假飽和的情況，字符識別率難以達到很高[2]；SVM基于統(tǒng)計學習，在有限樣本的情況下，訓練得到最小的誤差，在高維空間建立一個最優(yōu)分類超平面，使正負樣本的特征向量與超平面的距離最大化，SVM在小樣本的限制下具有很好的適應(yīng)性，在處理高維模式識別時也具有很大的優(yōu)勢。方向梯度直方圖(HOG)特征是一種統(tǒng)計圖像局部區(qū)域的方向梯度直方圖構(gòu)成特征，HOG特征結(jié)合SVM分類器已被廣泛應(yīng)用于圖像識別中[3]。由于車輛含有大量的邊緣特征，在邊緣梯度方向的分布上很有特點，可以用HOG特征區(qū)分車牌真?zhèn)巍?/p>

現(xiàn)有的車牌識別方法大部分都是基于單幀圖像，當車輛通過檢測區(qū)域觸發(fā)檢測條件，對當前幀進行識別，并且是車牌清晰、沒有噪聲的圖像。但在應(yīng)用于真實場景時，噪聲、字符分割上的誤差會造成當前幀字符識別準確率下降。本文使用多幀聯(lián)合檢測的方法降低了上述影響，該方法使用多幀車牌對應(yīng)字符特征的加權(quán)，其特征為針對二值圖像的方向梯度直方圖特征，使用字符特征間的距離得到權(quán)值，目前用來度量特征間距離的方法有很多種，如L1-norm距離、歐氏距離，而本文使用的是L1-BRD (L1-norm Bin Ratio-Based Histogram Distance)[4]，可以更準確地度量直方圖特征間的相似度。

原始的L1-BRD是衡量單幅圖像直方圖特征間的相似度，通過直方圖內(nèi)bin之間的比值計算對應(yīng)比值間的距離，結(jié)合L1-norm距離消除噪聲干擾，所以它比普通計算特征間距離的方法具有更高的信息量，更能夠準確衡量特征間的相似度[4]。將其用于基于多幀的車牌字符識別，通過計算多幀間對應(yīng)字符特征間的L1-BRD，算出各幀字符特征的權(quán)值，最后得到一個多幀加權(quán)特征，該特征可以有效解決在單幀圖像提取特征時由于字符分割誤差和噪聲造成的干擾。本文基于實際項目，對基于視頻的多幀聯(lián)合特征的車牌字符識別做了深入研究。

1 車牌定位與字符分割

整個車牌識別系統(tǒng)框架如圖1所示。

圖1 車牌識別系統(tǒng)框架

1.1 檢測觸發(fā)

基于視頻的車牌識別，需要設(shè)定一個觸發(fā)機制，當車輛通過時才對當前幀的圖像進行后續(xù)檢測。在道路上劃定一塊檢測區(qū)域，檢測區(qū)域中分別設(shè)有一道觸發(fā)線。對前后幀該條線上的像素灰度值做差求和，若大于閾值，則對檢測區(qū)域進行車牌識別。

1.2 基于邊緣特征和形態(tài)學的車牌粗定位

車牌跟背景區(qū)域相比，車牌含有大量的邊緣信息，而車輛含有很多水平邊緣，為得到車牌位置，只提取圖像垂直方向的Sobel邊緣[5]，即可剔除大量非目標邊緣，保留車牌的邊緣信息，然后對圖像使用最大類間方差法(Otsu)進行二值化[6]。

得到二值圖像后，為了能用連通域獲得車牌區(qū)域，需要讓邊緣區(qū)域連通起來，所以對二值圖像進行形態(tài)學的閉操作，然后進行連通域標記，通過對車牌大小的先驗認識，設(shè)置閾值排除面積過大和過小的區(qū)域。對每個連通域取最小外接矩形[7]，能夠得到外接矩形的頂點坐標，通過頂點坐標可以計算出矩形偏轉(zhuǎn)角度，剔除角度偏轉(zhuǎn)過大的區(qū)域，篩選出寬高比在一定范圍內(nèi)的矩形，該矩形區(qū)域?qū)?yīng)原圖像即為車牌的候選區(qū)域[8]。

在實際應(yīng)用中，車輛的縱向柵格、車燈、車輛的圖案和復雜背景都會影響定位的結(jié)果，使得粗定位到的車牌候選區(qū)域含有一些非車牌區(qū)域。對粗定位到的車牌歸一化到128×32大小，提取HOG特征，然后結(jié)合SVM分類器鑒別車牌真?zhèn)危梢杂行У靥蕹齻诬嚺茀^(qū)域，準確地定位出車牌[9-10]，如圖2所示。

圖2 車牌定位中間結(jié)果

1.3 利用投影法的字符分割

經(jīng)定位后的車牌并不能直接用于字符識別，為了使其更利于識別，將進行如下車牌分割操作：

1)對車牌用Otsu法進行二值化。為了統(tǒng)一讓字符部分為白色，底色為黑色。已知車牌中字符部分面積小于背景部分，統(tǒng)計二值圖像中白色像素點和黑色像素點的數(shù)目，讓數(shù)目多的像素點置為背景黑色，數(shù)目少的像素點置為前景白色。

2)得到二值圖像，先對其向下投影，算出每一列前景像素點數(shù)目，統(tǒng)計數(shù)目大于閾值的區(qū)域，即計算連續(xù)的線段，通過線段兩個端點坐標把圖像分割成多個區(qū)域，對每一個區(qū)域統(tǒng)計每一行前景像素點的數(shù)目，統(tǒng)計大于閾值的區(qū)域，對圖像進行切割，可以得到7塊字符區(qū)域[11]，結(jié)果如圖3所示。

圖3 字符分割

2 基于L1-BRD的多幀加權(quán)特征的字符識別

2.1 L1-BRD

BRD (Bin Ratio-Based Histogram Distance) 是intra-cross-bin距離，與先前的bin-to-bin距離相對[4]。BRD對局部匹配和直方圖歸一化具有魯棒性，并且具有線性的計算復雜度。

L2歸一化含有n個bin的直方圖，是一個列向量h∈Rn，如式(1)所示

(1)

現(xiàn)有2個L2歸一化后的含有n個bin的直方圖特征p和q，求其平方距離。可得到特征間的距離BRD(Bin Ratio-Based Histogram Distance)，得到

(2)

其中:P和Q是p和q比值矩陣。式(2)表示的距離并不穩(wěn)定，當pi和qi很小時，很小的變化都會造成所得距離差異很大，為了避免這種情況，在式(2)中加入項1/qi+1/pi做除數(shù)，得到式(4)。

(3)

(4)

對比L1距離和L2距離這些針對n維向量的距離，BRD距離是n×n個比值的向量，所以它包含了比L1距離和L2距離更多的信息量。dBRD(p,q)的具體推導過程在文獻[4]中給出，該距離的時間復雜度只有O(n)。

BRD可以更準確地度量特征向量間的距離，但是對噪聲比較敏感，而L1距離受噪聲的影響很小，所以采用結(jié)合L1距離和BRD距離的方法，即兩者的乘積，結(jié)果如式(5)，可以有效地消除噪聲干擾及數(shù)值很小時的影響[13]。

(5)

2.2 基于多幀聯(lián)合直方圖特征的字符識別

本文采用SVM結(jié)合多幀聯(lián)合方向梯度直方圖特征進行字符識別。

一般SVM是一個用來解決兩分類問題的分類器，當處理多分類問題時需要構(gòu)造合適的SVM多分類器。本文采用一對多組合的方法，把其中某一類作為正樣本，剩余其他類的樣本作為負樣本，多分類就可以轉(zhuǎn)化為二分類問題[14]。對其構(gòu)建最優(yōu)分類超平面，在分類過程中需要構(gòu)造N個分類器。

中國的車牌號碼一共有7位，第1位為各省份的簡稱，第2位為字母，后5位含有10個數(shù)字和除“I”“O”以外的24個大寫字母。所以本文需要構(gòu)造3種類型的SVM分類器[15]。

字符識別所用到特征是梯度方向的統(tǒng)計直方圖特征，本文針對的圖像是二值圖像，二值圖像的梯度方向只有0°、45°、90°和135°這4個方向，所以本文只需統(tǒng)計4個方向的方向梯度直方圖。具體步驟如下：

1)將得到的二值圖像兩邊補0，使其寬高相同，然后將圖像縮放到20×20大小。為了捕獲其輪廓信息，計算二值圖像中每個像素的梯度方向。

2)將圖像分成小的cell。統(tǒng)計每個cell的梯度方向直方圖，即每個梯度方向的個數(shù)，即形成每個cell的描述子。將幾個cell組成一個block。將該二值圖像的所有block的特征描述子串聯(lián)起來就可以得到該圖像的特征描述子。如圖4所示。

圖4 多幀聯(lián)合特征獲取流程圖

使用多幀聯(lián)合方向梯度直方圖特征，并記錄車牌中心位置，前后兩幀得到車牌的中心坐標，若距離在一定閾值內(nèi)，則記錄為同一車牌。選取車牌進入檢測區(qū)域內(nèi)檢測到的連續(xù)N個車牌。

(6)

將每組對應(yīng)字符的特征與所有字符特征間距離的平方和與所有距離的平方和的比值作為該字符的權(quán)值。對應(yīng)位置的N個字符特征hi,i∈[1,N]，可以得到N幀加權(quán)直方圖特征h。

(8)

(9)

將基于多幀加權(quán)的直方圖特征和多分類SVM分類器對車牌字符進行識別，這種方法可以有效消除單幀車牌字符在分割或噪聲造成的影響，提高車牌字符識別的準確率。

3 實驗結(jié)果

本文基于CPU主頻2.83 GHz、4 Gbyte內(nèi)存的Windows7操作系統(tǒng)的計算機，利用VS2010和opencv2.4.6進行實驗，針對道路監(jiān)控錄像里經(jīng)過的車輛進行實時的車牌識別。測試樣本為4小時監(jiān)控視頻中經(jīng)過的565輛車輛，視頻分辨率為1 920×1 080，場景為普通道路，攝像機架設(shè)在路邊高約2 m處，檢測目標為面向攝像頭方向正面行駛的車輛。

圖5為車牌識別的部分結(jié)果圖，識別的結(jié)果記錄為文件名。

圖5 車牌識別結(jié)果

圖6為系統(tǒng)運行的界面截圖，左邊顯示實時的監(jiān)控視頻，右邊方框顯示當車輛通過檢測區(qū)域時識別到的車牌號碼。

圖6 車牌識別系統(tǒng)(截圖)

本文利用神經(jīng)網(wǎng)絡(luò)的方法、基于單幀的SVM和多幀聯(lián)合的SVM進行車牌識別，同時使用總數(shù)4 340個英文字母、數(shù)字樣本和620個漢字的樣本進行訓練，得到的實驗結(jié)果如表1所示，基于多幀聯(lián)合特征的方法對識別準確率都有提升，3幀聯(lián)合特征提升不明顯，但是5幀就有了明顯的提升，98.1%的識別率明顯優(yōu)于神經(jīng)網(wǎng)絡(luò)和單幀SVM的方法。

表1 多種車牌字符識別方法識別結(jié)果 %

使用方法字母和數(shù)字識別率漢字識別率神經(jīng)網(wǎng)絡(luò)方法95.386.6單幀的直方圖特征96.890.13幀聯(lián)合直方圖特征97.291.75幀聯(lián)合直方圖特征98.193.5

表2中列出了同樣是基于5幀使用不同距離時的識別結(jié)果，使用L1距離并沒有提升識別正確率，使用歐氏距離得到的結(jié)果也不明顯，這兩種距離并不能很好地對直方圖特征間的差異做很好地度量，所以識別結(jié)果并沒有很大提升，而使用L1-BRD距離對識別率提升很大。

表2 使用不同距離度量權(quán)值的實驗結(jié)果 %

使用方法字母和數(shù)字識別率漢字識別率L1距離97.089.7歐氏距離97.291.2L1-BRD98.193.5

本文利用連續(xù)多幀的車牌提取特征，其計算復雜度比單幀車牌提取特征要高，但是計算L1-BRD距離只有線性的時間復雜度，所以并不會導致車牌識別時間增加多少。圖7為本文方法和基于單幀方法進行車牌識別時的計算時間，本文方法平均識別時間是70 ms，最大識別時間不會超過80 ms，一般監(jiān)控視頻幀率為25 f/s(幀/秒)，即40 ms更新一幀，本文方法在2幀不到的時間內(nèi)即可識別出一幅車牌，同一個車道前后車輛到達檢測區(qū)域的時間一般相差大于1 s，就算3個車道同時有車輛經(jīng)過檢測區(qū)域，也可以在0.2 s左右識別出3個車牌。與圖7b基于單幀的方法的檢測時間進行對比，平均檢測時間只增加了10～20 ms，多幀加權(quán)的特征提取只占用了很少的計算時間。本文方法在提高檢測精度的同時，小幅降低了識別速度，保證了實時性，可很好地用于真實的監(jiān)控系統(tǒng)。

圖7 車牌識別時間

4 結(jié)束語

本文針對實時道路監(jiān)控視頻，提出了一種采用多幀聯(lián)合的直方圖特征和SVM分類器的車牌識別方法。在道路上的虛擬觸發(fā)線對通過的車輛利用形態(tài)學和SVM的方法進行二次車牌定位，取連續(xù)多幀的車牌利用投影法進行字符分割，提取方向梯度直方圖特征，算出對應(yīng)位各車牌字符特征間L1-BRD，得出各自權(quán)值，結(jié)果表明L1-BRD更能準確衡量特征間相似度，將與其他幀差距較大的特征賦予很小的權(quán)值，因此可以消除字符分割的誤差和噪聲造成的影響。最后算出多幀字符特征加權(quán)后的聯(lián)合特征，利用多分類SVM進行識別。將本文方法和采用神經(jīng)網(wǎng)絡(luò)、單幀及利用L1-norm距離、歐氏距離的識別方法做了仿真實驗對比，結(jié)果表明本文方法在針對實時視頻的車牌字符識別中，在保證實時性的前提下，識別的準確度均優(yōu)于其他方法。

[1] BASU J K，BHATTACHARYYA D， KIM T H. Use of artificial neural network in pattern recognition[J]. Transactions on international journal of software engineering and its applications， 2010， 4(2)：23-34.

[2] 林川， 吳正茂， 覃金飛. 基于機器視覺的分級車牌字符識別方法[J]. 電視技術(shù)， 2014， 38(11)： 198-201.

[3] DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proc. IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE， 2005：886-893.

[4] HU W，XIE N. Bin ratio-based histogram distances and their application to image classification[J]. IEEE transactions on pattern analysis and machine intelligence， 2014， 36(12)： 2338-2352.

[5] 沈德海， 侯建， 鄂旭. 基于改進的Sobel 算子邊緣檢測算法[J]. 電子技術(shù)， 2013， 23(11)： 22-25.

[6] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE transactions on systems， man， and cybernetics， 1979， 9 (1)： 62-66.

[7] 吳曉光， 王滌瓊， 盛慧. 一種獲取圖像區(qū)域最小外接矩形的算法及實現(xiàn)[J]. 計算機工程， 2004， 30(12)： 124-142.

[8] 李耀， 程勇， 曹雪虹. 一種復雜環(huán)境中的車牌定位算法[J].電視技術(shù)，2015， 39(12)： 104-112.

[9] 張晶， 呂少勝. 采用二次定位的車牌圖像定位算法研究[J]. 電視技術(shù)， 2013， 37(15)： 198-210.

[10] 隆曉玲， 楊靜. 基于SVM的車牌區(qū)域定位系統(tǒng)研究[J]. 信息技術(shù)， 2010 (8)： 55-61.

[11] 陳濤， 楊晨暉， 青波. 基于投影和固有特征結(jié)合的車牌字符分割方法[J]. 計算機技術(shù)與發(fā)展， 2009， 19(5)： 45-49.

[12] XIE N， LING H， HU W，et al. Use bin-ratio information for category and scene classification[C]//Proc. IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE，2010： 2313-2319.

[13] GEHLER P，NOWOZIN S. On feature combination for multiclass object classification[C]// Proc. IEEE Conference on Computer Vision. [S.l.]：IEEE，2009：221-228.

[14] HSU C，LIN C. A comparison of methods for multiclass support vector machines[J]. IEEE transactions on neural networks， 2002，13(2)：415-425.

[15] 馬爽， 樊養(yǎng)余. 一種基于多特征提取的實用車牌識別方法[J]. 計算機應(yīng)用研究， 2013， 30(11)： 3495-3499.

薛云松，碩士生，主要研究方向為視頻內(nèi)容識別；

馮國瑞，副研究員，主要研究方向為圖像視頻分析；

劉立莊，副研究員，主要研究方向為視頻圖像處理。

責任編輯：閆雯雯

Multi-frame license plate recognition method by using L1-BRD

XUE Yunsong1， FENG Guorui1， LIU Lizhuang2

(1.SchoolofCommunication&InformationEngineering，ShanghaiUniversity，Shanghai200444，China；2.ShanghaiAdvancedResearchInstitute，ChineseAcademyofSciences，Shanghai201210，China)

For the application of license plate recognition system based on real-time video， this paper firstly locates the license plates in coarser-grained way by using the edge features and morphological operations. Then it locates the license plates exactly by combining SVM(Support Vector Machine) and HOG(Histogram of Oriented Gradient) features， after segmenting characters， it selects a series of plates and calculates weights adaptively by using L1-BRDs， making L1-BRD be used in the real-time video for license plate character recognition from measuring feature’s similarity to a single image， it can reduce the effects because of noise and character segmentation in single-frame image， contribute to characters recognition by multi-frames weighted histogram features， this method can improve the accuracy， stability and instantaneity.

license plate character recognition； L1-BRD； license plate location； multi-frame weighted histogram feature； SVM

薛云松，馮國瑞，劉立莊. 基于L1-BRD的視頻圖像車牌識別[J].電視技術(shù)，2017，41(1)：73-78. XUE Y S， FENG G R， LIU L Z. Multi-frame license plate recognition method by using L1-BRD [J]. Video engineering，2017，41(1)：73-78.

TN911.73

A

10.16280/j.videoe.2017.01.015

國家自然科學基金項目(61373151;U1536109);上海市自然科學基金項目(13ZR1415000);上海市教委創(chuàng)新基金項目(14YZ019)

2016-03-23