多特征級聯篩選的高魯棒車牌檢測

張瑞萌，張重陽

(上海交通大學 圖像通信與網絡工程研究所，上海 200240)

多特征級聯篩選的高魯棒車牌檢測

張瑞萌，張重陽

(上海交通大學 圖像通信與網絡工程研究所，上海 200240)

摘要：現有的車牌檢測算法在車牌較模糊時往往難于取得很好的檢測效果。針對監控圖像的特點，首先提取清晰和模糊車牌所共有的歸一化梯度特征，進行初步車牌檢測；然后結合車牌區域的顏色直方圖特征，進行級聯篩選、去除非車牌樣本，得到一種高魯棒的車牌檢測方法。基于真實監控圖像的實驗結果表明，此方法具有較高的穩定性和魯棒性，尤其對模糊車牌具有明顯優于已有方法的召回率。

關鍵詞：車牌檢測；監控圖像；多特征

隨著城市及道路交通控制智能化科學化管理要求的日益提高，以車輛、車牌等目標檢測識別等為主要內容的智能圖像監控系統、智能交通系統受到了越來越廣泛的重視。在此類智能應用系統中，車輛的車牌，作為車輛不同于其他目標的特定屬性及唯一的身份標識，往往成為智能交通等系統關注的重點[1]。

現在已經存在很多比較成熟的車牌檢測算法，應用在高速收費站、停車場入口等處，這些算法有一個共同點，就是都是在車輛運行緩慢的時候進行拍照，以得到角度、清晰度和光照等都有保證的高質量車臉圖片，再對車牌區域進行高精度的檢測定位與識別。但是目前大部分的監控視頻，尤其是道路監控視頻，大都是在車輛快速運動的時候進行拍攝、錄制的，運動中的車輛抓拍，本身就存在一定的變形和模糊，再加上一天中不同時刻光線的變化、監控區域背景的復雜性、拍攝角度差異等影響，得到的圖片質量會變差；同時視頻圖像在編碼和傳輸過程中必然帶來一定的損耗，導致部分車牌存在不同程度的模糊等降質，使得傳統的車牌檢測與定位算法難以準確地進行檢測、定位[2-3]。

本文提出了一種基于多特征級聯篩選的高魯棒車牌檢測方法，通過對清晰和模糊車牌梯度、顏色直方圖等特征進行級聯篩選和區域合并，實現清晰車牌與模糊車牌都可以準確檢測的高魯棒車牌檢測。

1現有的車牌檢測算法

現有的車牌檢測的主要方法分為兩類：基于灰度圖像的車牌檢測算法和基于彩色圖像的車牌檢測算法[4]。其中，基于灰度圖像的車牌檢測算法包括基于邊緣檢測的算法、基于數學形態學的算法、基于小波變換的算法、基于紋理分析的算法等。基于邊緣檢測的算法在車牌圖像邊緣模糊的情況下檢測效果不好；基于數學形態學的算法通常需要借助其他算法進行車牌檢測；基于小波變換的算法在車牌區域受噪聲污染較大時難以使用；基于紋理分析的算法只能處理背景簡單的圖像。

而基于彩色圖像的車牌檢測算法包括基于顏色特征和紋理特征相結合的算法、基于MeanShift的算法、基于灰度圖像和彩色特征相結合的算法、基于字符邊緣特征和彩色特征相結合的算法、基于邊緣檢測和HSV色彩模型相結合的算法、基于顏色特征和邊緣紋理特征相結合的算法等。基于顏色特征和紋理特征相結合的算法主當車牌顏色褪色嚴重或污染時，檢測效果不好；基于MeanShift的算法使用迭代運算，運行時間過長；基于灰度圖像和彩色特征相結合的算法對于過于模糊的、出現較大污點的車牌檢測準確率低；基于字符邊緣特征和彩色特征相結合的算法依賴于車牌的彩色信息，在車牌圖像模糊褪色情況下檢測準確度有所下降；基于邊緣檢測和HSV色彩模型相結合的算法對光照條件不足所拍攝的車牌圖像定位效果不好；基于顏色特征和邊緣紋理特征相結合的算法依賴于所拍攝的車牌圖像的質量，在車牌圖像模糊的情況下檢測準確度低。

綜上所述，現有的車牌檢測方法都不能解決模糊車牌的檢測問題，而其實目前的監控視頻中有很大部分都難以得到高質量、清晰的車牌圖片，因而在用的車牌檢測識別算法大都應用在可以約束拍攝、車牌圖片清晰的收費站、卡口等場景，而并不能應用在高速公路、城市道路等非約束拍攝等場景。針對此類場景下車牌的檢測，本文提出一種高魯棒的車牌級聯檢測篩選方法，在能準確檢測清晰車牌基礎上，也能同時對模糊車牌進行準確檢測。

2算法設計

2.1算法簡要介紹

本文提出的基于多特征級聯篩選的高魯棒車牌檢測方法包括基于梯度特征的車牌區域預檢測、基于顏色直方圖特征的級聯篩選和重合區域合并三部分。基于梯度特征的車牌區域預檢測，主要是考慮到清晰車牌和模糊車牌都具備一個共同的輪廓特征：即長寬符合一定比例的矩形邊框，以及邊框內字符和數字間存在明顯分割區間和分割點等。所以提取車牌區域的歸一化梯度特征，通過訓練分類器來進行車牌非車牌的預分類檢測。但僅僅依賴該特征難以將車燈等具備同樣輪廓特征的區域分開，因此需要結合其他特征進行進一步的篩選。由于車牌存在底牌與字符顏色為固定少數的特點，因此可以利用車牌區域的顏色直方圖特征，剔除不符合顏色直方圖分布的候選區域。

2.2我國車牌的特點

我國的車牌在尺寸和顏色上有一定的規律，表1和表2為統計結果，尺寸和顏色的特征將作為很重要的分類器訓練和級聯篩選的參數[5-6]。

表1我國現有各類車牌的長寬比

車型車牌大小車牌長寬比大型汽車440×140(前)3.14∶1440×220(后)2∶1小型汽車440×1403.14∶1教練汽車440×1403.14∶1

表2　我國現有各類車牌的顏色對

根據對表1和表2的分析，可以發現，最常見的大型汽車和小型汽車車牌比例為3.14∶1(因攝像頭多從車輛正面拍攝，且車臉信息更有價值，所以本文暫不考慮大型汽車后面的車牌)，最常見的民用汽車車牌顏色對為黃底黑字和藍底白字。

2.3算法說明

2.3.1基于梯度特征的車牌區域預檢測

為了保證車牌訓練樣本的多樣化，將標定的正樣本分為3種類型：

1)高清晰車牌，車牌區域大小約為195×65，可清晰辨認每一個車牌號碼，共706張；

2)較清晰車牌，車牌區域大小約為150×50，可大致辨認或部分辨認車牌號碼，共298張；

3)模糊車牌，車牌區域大小約為105×35，車牌號碼不可辨認，共623張。

根據車牌尺寸的統計信息，將標定區域長寬比固定為3∶1，這樣儲存的尺度信息就從2個參數減少到1個。由于車牌的外邊框是重要特征，標定時全部將外邊框包含在內。

提取車牌的歸一化梯度(NormedGradients，NG)特征[7]訓練SVM分類器。由于車牌的大小不是固定的，需要對標定框的大小做遍歷，并把這個大小儲存下來，作為模板匹配時的依據。遍歷方法如圖1所示。

圖1特征框大小遍歷

以標定框的左上角為原點，以模板大小24×8的倍數為寬高，向右向下畫框，計算所畫的框與標定框重合部分的比例，計算公式如下

xmin=MAX(xmin1，xmin2)，

xmɑx=MIN(xmɑx1，xmɑx2)，

ymin=MAX(ymin1，ymin2)，

ymɑx=MIN(ymɑx1，ymɑx2)，

o=(xmɑx-xmin+1)×(ymɑx-ymin+1)

(1)

當重合比例R達到95%以上，保存這個大小，并提取對應框的特征。只保留特征框個數超過50的特征框大小。

使用得到的所有特征框進行分類器訓練，得到一個24×8的模板，模板的數值代表相應位置的權值大小，權值高的點梯度特征越明顯。將得到的模板歸一化到(0,255)區間，畫出灰度圖如圖2所示。

圖2訓練得到的分類器模板

將3類正樣本分別和模板進行匹配，如圖3所示，可以看出模板對車牌4個邊框和車牌前后兩部分的分割點這兩個明顯特征有很好的體現，這是模糊車牌和清晰車牌的共同點，而對于清晰車牌特有的內部紋理特征，模板只模糊的體現了字符個數，恰恰符合模糊車牌的特點。

圖3模板對正樣本的體現

使用訓練好的分類器對待檢測圖片進行模板匹配，分為多尺度遍歷、模板匹配和非極大值抑制三部分。其中非極大值抑制部分使用文獻[7]中已有方法，這里不再敘述。

多尺度遍歷是由于車牌大小不確定，根據候選框大小和模板的比例對測試圖片進行縮放，每一個尺度都進行模板匹配，取匹配度最高的前10個作為車牌候選框。

將模板歸一化到(0,255)區間，測試圖片提取特征后也歸一化到(0,255)區間，根據下列公式進行匹配度計算。

(2)

式中：Tij為坐標(i,j)處的模板值歸一化后的結果；Iij為待檢圖片在坐標(i,j)處的特征值歸一化后的結果，這里使用Tij為匹配度加權，即梯度特征明顯的位置(如車牌外邊框)權值較大。Sxy的值越大，說明匹配度越高。圖4為車牌區域預檢測結果。

圖4車牌區域預檢測結果

2.3.2基于顏色直方圖特征的級聯篩選

分析得到的車牌區域預檢測結果，車牌區域候選框不只有正確的車牌區域也有車燈等梯度特征和模板相似的區域，這兩類區域最大的區別就是顏色直方圖，車牌的顏色對是固定的，如在3.2節中統計的一樣，通過正確的區域和錯誤的區域之間顏色直方圖的差異，可以將剔除錯誤的候選樣本。

將標定的正樣本區域取出，統計顏色直方圖信息，因為標定時為了將整個車牌包含在內，正樣本外圍有一部分不是車牌的區域，所以除去上下左右各1/8的內容，只統計正樣本中心區域的直方圖信息。

筆者共統計了516張黃底黑字車牌，它們的H分量分布如圖5所示，98%以上的H分量集中在(0,75)的范圍內。在試驗統計中發現：誤檢為車牌的負樣本中，車燈區域是出現概率最高、最易被誤檢為車牌的。因此重點考慮如何利用顏色分布特征來剔除車燈區域的樣本。誤檢的車燈區域樣本的H分量分布如圖6所示，與圖5十分相似，只是相對分散，因此考慮利用H分量的分散度來進行車牌與非車牌的判斷。于是得出黃色類型車牌顏色直方圖判決公式如下

D=ɑbs(INmɑx1-INmɑx2)

(3)

式中：hi表示 H分量的值為i的像素個數；N為圖像像素總數；P表示H分量在(0,75)范圍內的的像素個數占圖像像素總數的比例；INmɑx1和INmɑx2分別表示最高峰和次高峰的H分量值，D表示最高峰和次高峰的距離(用來衡量H分量的分散度)，Tp=0.98，Tp=5，Y表示是否判定為黃色車牌區域，1表示是，0表示否。

圖5　黃底黑字的車牌H分量統計結果

圖6　車燈部分H分量統計結果

同時，統計了487張白底藍字車牌的顏色直方圖和誤檢率最高的白色車身區域對比，如表3所示。部分藍色車牌H分量分布為單峰(左圖)，部分藍色車牌為雙峰(右圖)，但75%以上的H分量都集中在(175，275)范圍內[9]，誤檢區域除白色車身區域外都不具備此特征。誤檢的白色車身區域H分量與雙峰的藍色車牌極其相似，那么僅靠H分量就無法區分車身區域和車牌區域。但藍色車牌的SV分量滿足亮度過高時V分量的峰值在255左右，S分量99%以上分布在(0，100)區間，亮度過低和正常時S分量的峰值在(0，50)區間，車身區域并不滿足，于是得到藍色車牌區域的判別公式如下

(4)

式中：hi表示 H分量的值為i的像素個數；Si表示S分量值為i的像素個數；N為圖像像素總數；PH表示H分量在(175,275)范圍內的的像素個數占圖像像素總數的比例；PS表示S分量在(0,100)范圍內的的像素個數占圖像像素總數的比例；Vmɑx表示V分量峰值下標；Smɑx表示S分量峰值下標，TPH=0.75，TPS=0.99，TV=250，TS=50，B表示是否判定為藍色車牌區域，1表示是，0表示否。

2.3.3重合區域合并

由于做了多尺度遍歷，經過顏色篩選后的候選框可能仍有多個，要將重合度大的候選框進行合并，重合度的計算同式(1)，并且統計同一位置出現候選框的次數，刪除候選框出現次數較少的位置和不滿足車牌比例的候選框，得到最終的車牌區域。

表3　白底藍字的車牌和白色車身區域顏色直方圖統計結果

3實驗結果

3.1實驗平臺

本實驗在Window7平臺進行，使用visualstudio2013版本和opencv2.4.9版本，訓練樣本集共1 627張圖片，在2.3.1節有具體介紹，測試樣本集共2 838張圖片，其中高清晰車牌1 173張，較清晰車牌706張，模糊車牌959張。

3.2檢測結果

筆者和近年的算法進行了比較實驗，下文的方法一表示基于HSI顏色空間和行掃描的方法[8]，方法二表示HSV空間和形態學處理相結合的方法[9]，方法三表示基于視頻分析的方法[10]。

3.2.1召回率和準確率

本文方法平均一張圖片的檢測時間為0.49s，召回率和準確率計算公式如下

(5)

(6)

檢測結果如表4所示，可以看出，本算法在保證清晰車牌召回率和準確率的基礎上，對模糊車牌也能有不錯的檢測效果。方法一和方法三由于使用了車牌內部的邊緣紋理特征，對模糊車牌并不適用；方法二對顏色特征的分析過于簡單，在低分辨率的情況下顏色失真非常嚴重，也不能起到很好的檢測效果；而本文方法使用的是車牌邊框的紋理特征，不受車牌內部清晰度的影響，顏色特征被細致分析用來二次篩選，能夠降低誤檢的概率，所以可以在保證準確率的前提下提升模糊車牌檢測的召回率。

表4　檢測結果　%

3.2.2檢測效果

4種方法的檢測效果如圖7所示。其中第1行為高清晰車牌，第2，3行為較清晰車牌，第4，5，6行為模糊車牌。

圖74種方法的檢測效果

可以看出，本文方法雖然在清晰車牌的檢測上略有誤差，得到的區域比車牌區域略大，這是由于訓練分類器標定正樣本時將整個車牌包含在內的原因，但在較清晰和不清晰的車牌檢測上比現有方法取得了更好的效果，當車牌不清晰時，現有方法大多無法檢出，但人眼可以模糊辨認出車牌的字符，本文的方法可以較好地檢出。

5小結

經過實驗，基于多特征級聯篩選的高魯棒車牌檢測方法對模糊車牌也能很好地檢出，具有較高的穩定性和魯棒性，并且通過顏色級聯篩選還可對車牌進行分類，可以作為車輛目標分類的第一步。當然，此方法也存在一些不足，只包含了最常見的兩種車牌顏色，并且算法速度并不是很理想，筆者會對這個算法進行進一步的修改和優化。

參考文獻：

[1]鄭世寶.智能視頻監控技術與應用[J].電視技術，2009，33(1)：94-96.

[2]郭天慶.快速車牌定位的方法研究[D].北京：北京郵電大學，2010.

[3]劉馨月.復雜背景下車牌分割技術的研究[D].長春：東北師范大學，2006.

[4]鄭德鍵，沈英.基于圖像處理的車牌定位算法研究[J].機電技術，2014(1)：10-12.

[5]王建，劉立，王天慧，等.基于四元數特定顏色對邊緣檢測的車牌定位[J].計算機應用，2011，31(3)：729-732.

[6]蔣大林，丁學爽，唐榕，等.車牌識別技術的研究和實現綜述[C]//第二屆全國信號處理與應用學術會議論文集.南寧：[出版社不詳]，2008：304-306.

[7]CHENGMM，ZHANGZM，LINWY.BING：binarizednormedgradientsforobjectnessestimationat300fps[C]//IEEECVPRPhilipTorr.[S.l.]：IEEE，2014：68-75.

[8]胡峰松，朱浩.基于HSI顏色空間和行掃描的車牌定位算法[J].計算機工程與設計，2015(4)：977-982.

[9]苗姣姣，徐望明.HSV空間和形態學處理相結合的車牌定位方法[J].電視技術，2015，39(5)：146-149.

[10]楊恒，楊文幫，張儒良，等.一種基于視頻分析的快速車牌定位方法[C]//系統工程理論與應用：貴州省系統工程學會第五屆學術年會論文集.貴陽：貴州大學出版社，2014：70-75.

責任編輯：閆雯雯

Robustlicenseplatedetectionusingmulti-featurescascadingfiltering

ZHANGRuimeng,ZHANGChongyang

(Institue of Image Communication and Network Engineering, Shanghai Jiao Tong University,Shanghai 200240, China)

Abstract:All of the existing license plate detection algorithms can not get good detection results when the license plate is blurred. Considering the features of surveillance images, normalized gradient feature of plates in different clarity is extracted to do preliminary detection, combined with the color histogram to make up a cascade construct in order to do further filtering and delete the samples that are not plates, and get a robust license plate detection method. The simulating results with real surveillance images prove that the method has high stability and robustness, while it has a significantly better recall rate on blurred license plate than existing methods.

Key words:license plate detection; surveillance images; multi-features

中圖分類號：TN919.8

文獻標志碼：A

DOI：10.16280/j.videoe.2016.04.023

基金項目：國家“十二五”科技支撐計劃項目

收稿日期：2015-08-24

文獻引用格式：張瑞萌，張重陽.多特征級聯篩選的高魯棒車牌檢測[J].電視技術，2016，40(4)：109-114.

ZHANGRM,ZHANGCY.Robustlicenseplatedetectionusingmulti-featurescascadingfiltering[J].Videoengineering，2016，40(4)：109-114.