一種基于MSER及CNN的車牌文字定位新方法

顧 恭

(北京工業大學計算機學院 北京 100124)

0 引 言

隨著城市化進程的不斷發展，高速的生活節奏也使得汽車數量在二十一世紀迎來飛速增長。對于車輛牌照智能化識別的準確率要求同樣隨之提升。在現有的車輛識別核心技術中通常包含兩大模塊：車牌定位；字符識別。車牌定位是該領域的核心技術，不僅是后續工作的重要基礎，也是車牌能否被正確識別的關鍵保證。目前車牌定位的常用方法有:基于形態特征的提取定位法、基于色彩特征的區域定位法，以及基于車牌先驗知識的角點定位法等。雖然單獨使用上述算法在一定限制條件下可以保證不錯的定位準確率，但在復雜無約束場景下，當車輛采集圖像清晰度較低、角度偏斜、距離較遠、光線灰暗或周圍障礙物干擾性較強時均不能呈現良好的定位效果，從而對后續字符識別帶來較大影響。

本文對車牌的先驗知識進行了充分研究，提出了一種將相關子區域生長技術與字符識別技術相融合的新型車牌定位算法。該算法利用最大穩定極值區域提取并篩選疑似車牌字符的候選集，通過卷積神經網絡進行識別，采用非極大值抑制法獲得精確的字符位置，產生字符區域集合，最終采用連通域擴張法定位出完整且精確的車輛牌照位置。實驗結果表明，該算法在復雜無約束場景中能夠有效減免因圖像采光差、圖像模糊、角度傾斜等干擾因素帶來的定位障礙，最終達到車牌的精準定位效果。

1 最大穩定極值區域算法原理

最大穩定極值區域(MSER)主要用于圖像中的特征區域斑點檢測，其實質是基于分水嶺算法的一種改進形式和在圖像處理方向上的擴展。

MSER的基本原理是在一幅灰度圖像上進行不同閾值i的二值化處理，其中i∈[0,255]并且逐一遞增。該算法類似于在坑洼的地面上不斷地漫水，直到水面升至一定高度時能完全沒過地面上的某一坑洼地帶且在隨后的水平線高度增長時該位置的狀態(被水完全覆蓋)基本穩定。從俯視圖角度，地面會被分為陸地和水域兩個不同的部分，而在二值化圖像中，某些連通域在閾值不斷增高時變化率很小，或幾乎不存在變化，故該區域即是最大穩定極值區域之一。它的數學定義為：

(1)

式中：Qi表示在閾值i下的某一連通域面積;Δ為該圖像灰度閾值下的細微變化量;q(i)代表在閾值i下連通域Qi的變化率，當q(i)成為局部最小值時，Qi為最大穩定極值區域。

在車牌定位當中，使用該算法可以在圖像內提取車牌相應字符的穩定區域，且在光線不足、車輛主體在圖像中的位置較遠、背景障礙物較為復雜時仍然能夠保證很好的字符區域提取效果，為之后的字符過濾和篩選提供了細節特征較為全面的數據(子圖像)準備。需要注意的是，MSER算法對非連通區域的提取效果不佳，因為漢字構造不能保證筆畫的連通性，所以在車牌首字符即省份漢字的提取過程當中，成功率較低；并且該算法在提取到正常車牌字符的同時，也會提取到大量在定位過程中不需要的背景穩定區域，簡稱為“雜質”，故需在接下來的流程中加以篩選。MSER提取結果如圖1所示。

圖1 圖像內最大穩定極值區域示意圖

從圖1能夠觀察到許多大小不一的矩形標注框，每個框即是MSER檢測出的穩定區域，但檢測區域與圖像實際內容的劃分上也存在著一定的歧義和誤差，并且重疊交錯、尺寸不一，數量遠超于需要的字符個數，故需對MSER算法檢測出的穩定特征區域通過啟發式搜索配合卷積神經網絡加以嚴苛過濾及清洗。

2 車牌區域定位算法

2.1 車輛字符特征區域提取

基于我國車牌普遍規格的先驗知識可以得到，每個字符的高寬比約為2，字符所占車牌整體長度的比值約為0.102，車牌輪廓為矩形。單排字符車牌規格圖如圖2所示。

圖2 單排字符車牌規格及字符特征

對圖2得到的實際數據取近似，即可得到過濾“非字符區域”啟發式搜索的重要條件。在本文實驗環節中，經過大量數據測試后取得的經驗值是：長寬比處于1.5～2.5之間，黑白二值化后圖像主體像素點占所有像素的比值小于75%，在鄰近區域內存在多個長寬比均為1.5～2.5的穩定區域。對滿足該條件的圖像區域優先存儲至候選列表中，將該候選列表稱為字符候選集，送入訓練好的車輛單字符卷積神經網絡中識別，若滿足之后的定位條件，則啟發式搜索完畢，終止候選者過濾算法；反之，將上述啟發式條件從次到主依次減少，進行后續篩選并重定義字符候選集，直至找出滿足定位條件的相應區域或全部MSER穩定區域檢索完畢(圖像內無車牌信息)為止。

該方法對車牌字符的準確提取有一定幫助，但并非車牌定位的核心步驟，在實際應用中可以根據軟硬件情況適當舍去啟發式搜索的條件，減少算法計算量和復雜程度，提高執行效率。

2.2 特征區域圖像處理

在獲得字符候選集之后并不能認為該集合內的所有元素均為車牌字符，事實上因為MSER在高像素、復雜自然背景下提取出的“雜質”極多，若在此基礎上進行字符連通域擴張算法定位車牌區域，會對結果產生很大的影響；又因為車輛圖像采集時的距離、角度不同及光照分布不均勻等因素會對單獨使用卷積神經網絡進行車牌區域的整體檢測和定位帶來更大干擾，嚴重影響檢測準確率。即使可以正確檢測，其最終的定位精度也不盡如人意(包含車牌周圍雜質較多)。基于以上兩點問題，應在沿用字符圖像進行連通域擴張的主要思路上對獲得的穩定圖像子區域進行過濾，故需要對該集合內的“非字符圖像”進行二次清洗，即使用卷積神經網絡進行字符識別，以保留精確的字符區域。本文選用兩種不同的圖像處理方式分別代入不同模型的卷積神經網絡進行識別，以求最大限度地保留字符區域、過濾候選集中的非字符區域。完成此步驟需對圖像進行兩次處理，以滿足接受不同圖像參數的卷積神經網絡模型。

在本文中，采用了灰度圖像字符識別和黑白二值化圖像字符識別兩種方式對原圖像進行篩選，受來自于不同數據整合后的訓練集影響，用于識別字符灰度圖像的CNN模型可接受圖像參數規格為(30,15)，由于該模型所接受的圖像參數規格與正常車牌字符的高寬比基本相似，故直接將原圖像區域在傳入CNN模型之前調整為(30,15)即可，并在此基礎上進行圖像灰度化處理；用于識別字符黑白二值化圖像的CNN模型可接受的圖像參數規格為(20,20)，因為實際場景獲取到的車牌字符高寬比為2 ∶1，直接壓縮至(20,20)的等比例圖像會使字符的原有比例嚴重失衡，與訓練集的正常字符特征產生較大偏差，所以需要將原圖像進行黑白二值化處理和圖像中心放置算法處理，再重調整為(20,20)格式。其中，圖像中心放置算法可以有效避免車牌字符圖像與訓練集內字符圖像特征差距過大帶來的識別困難。

令w、h分別為車牌字符圖像的寬、高，構造一個參數為(h,h)的空白圖像，對于任意(i,j)位置的像素其調整后的坐標應為(i,newj)，其中newj的轉換規則如式(2)所示。

newj=int(h/2-(w/2-j))

(2)

利用式(2)的圖像縱坐標更新策略可以在不改變圖像清晰度的情況下將字符主體區域移動到新構造圖像的中心位置，繼而將新圖像縮放至符合CNN的要求參數規格即可。中心放置算法的偽代碼如算法1所示。

算法1圖像中心放置算法

N=20

w,h = img.shape[:2]

if w > h then pass

else

//創建一個寬、高均為h的空白圖像

img_tmp = new_graph(h,h)

for i←0 to h do

for j←0 to w do

new_j = int(h/2-(w/2-j))

img_tmp[i][new_j]=img[i][j]

end

end

img_new = resize(img_tmp, (N, N))

算法運行前后的車牌字符圖像變化以及訓練集內字符圖像的特征情況如圖3所示。

圖3 三種圖像的特征對比

圖3從左到右分別展示的是:直接修改圖像規格至訓練集尺寸(20,20)后的圖像、采用中心放置算法后修改圖像規格至訓練集尺寸的圖像,以及訓練集自身圖像這三種圖像的基本特征，明顯可以看出經過中心放置算法后再更改圖像規格與訓練集圖像特征更為相似，也符合真實場景下的車牌字符比例。

采用算法1處理后的黑白二值化圖像可以更好地適應卷積神經網絡的輸入要求，其原因在于字符主體會較為集中分布在圖像中心，避免因圖像清晰度較低、字符整體過大充滿圖像導致比例失衡等復雜情況的影響，使字符特征與訓練集內圖像特征趨于相似，極大提高神經網絡對字符的識別準確率。

2.3 卷積神經網絡識別

2.3.1字符候選者的識別與篩選

由于MSER會提取出大量與字符無關的穩定區域，且這樣的區域在經過一定程度的圖像篩選和處理后仍然會對CNN的識別帶來很大影響，情況之一如圖4所示。

圖4 容易造成字符誤判的穩定區域

圖4只展示了車輛圖像的部分背景區域，從圖中可以觀察到，該標注出的矩形區域并非屬于車輛本身，實則復雜背景中的一部分(建筑物窗戶)，但卻與真正的車牌白色字符“L”極為相似，并且仍然符合啟發式搜索的基本條件。此種情況雖出現概率很低，卻仍然會對接下來的字符篩選工作帶來干擾，影響后續定位及識別工作。

圖像灰度化、黑白二值化這樣類似的圖像處理工作必不可少。它是CNN模型能夠正確預測結果的重要基礎，單一的圖像特征提取并不能完全避免復雜場景下各類易致CNN誤判的影響因素。故本文采用圖像灰度處理及黑白二值化處理的雙重特征采集識別算法對字符進行精準識別及定位，以避免單一圖像處理方式所帶來的識別精度不高等問題。

將經過2.2節提及的兩種圖像處理方式處理后的字符候選集合元素分別送入各自的CNN模型，并記錄每個圖像元素所在集合中的位置，識別完成后可以得到一幅圖像在兩種不同模型下的識別結果，對于識別結果相同且置信區間在某一范圍內的圖像可以認定為是字符弱種子，即車牌真實字符，結果保留在弱種子候選集中。算法步驟如下：

1) 設經MSER處理后的穩定區域集合，U={ui|i=1,2,…,nu}記錄集合內元素的存儲位置i。

2) 集合U內圖像ui依次處理后的灰度圖像集為G={gi|i=1,2,…,nu}，size(gi)=[1,30,15,1]，黑白二值化后圖像集為B={bi|i=1,2,…,nu}，size(bi)=[1,20,20,1]，其中size(xi)的各參數含義為：[元素個數，圖像高度，圖像寬度，通道數]。

3) 將所有元素分別代入卷積神經網絡模型識別，識別結果添入RESULT集中，灰度圖識別結果集記為RESULT(G)={rgi|i=1,2,…,nr}，二值圖識別結果集為RESULT(B)={rbi|i=1,2,…,nr}其中應有rgi∈[0,1]、rbi∈[0,1]，u=r。

4) 若同一元素位置下的不同CNN模型識別結果相同，且均在置信區間[0.95, 1]內，則認定該元素為車牌字符之一，將該元素添入弱種子集合SEED={si|i=1,2,…,ns}中，其中s≤u，至此車牌字符已基本確定，弱種子篩選工作結束。

算法運行后的結果如圖5-圖6所示。

圖5 經卷積神經網絡篩選后的弱種子集1

圖6 經卷積神經網絡篩選后的弱種子集2

圖5、圖6中的車牌內矩形所表示的區域即為處理后的字符弱種子元素集合，與圖1相比，該識別算法已經可以過濾掉大部分的非字符穩定區域，為車牌區域的定位奠定了基礎，但仍然會出現兩種干擾情況，如圖7-圖8所示。

圖7 復雜場景影響下CNN網絡出現偏離區域的誤判

圖8 卷積神經網絡模型對字符高敏感度帶來的影響

從圖7可以看到，左側車輛擋風玻璃與外輪廓交界處經MSER提取、在黑白二值化或灰度處理后添入CNN神經網絡識別，其結果與字符“7”高度擬合，故仍然有可能會被選入弱種子集合。在連通域擴張時，需要加以相應的約束條件。

圖8為車牌內部因為MSER提取字符區域不完整，卻不妨礙CNN進行正確識別時帶來的影響。由于各個字符完整度出現差異，導致字符矩形區域的形心發生變化，從而影響滑動窗口對漢字的識別工作，諸如此類的不完整字符區域雖然確實屬于車牌字符，但所包含區域并不完整，故仍需排除。

基于上述兩種特殊情況的討論，本文設計了一種由字符弱種子集合向強種子集合演變的篩選算法。依據車牌規格的先驗知識和圖像采集的普適性，認定在所有弱種子集合內的元素，兩兩圖像長寬比近似相等，本文經大量數據測試后的經驗值為長寬比精確到小數點后兩位最佳；兩圖像的形心間距不應超過二者最短寬度的10倍，并且兩圖像各自上邊界點、形心、下邊界點所產生的對應線段與x軸夾角均小于閾值15°，若存在大于閾值15°且仍為車牌區域的子圖像，則說明圖像采集設備出現不自然傾斜或車牌并未放置于車身正確位置，可擴大閾值以保證特殊情況下的定位準確性。對滿足以上條件的字符圖像保留，并添入車牌強種子集合。該算法流程如圖9所示。

圖9 字符強種子集生成算法流程

采用字符弱種子集合向字符強種子集合演變的篩選算法在之后的滑動窗口卷積神經網絡定位車牌始末端算法中有較好的表現。

2.3.2基于滑動窗口的卷積神經網絡定位車牌首末字符

選取字符強種子集合內的兩個元素a=[x1,y1,w1,h1]、b=[x2,y2,w2,h2]，其中a在圖像內左上角的起始坐標為A(x1,y1)、寬度w1、高度h1；b在圖像內左上角的起始坐標為B(x2,y2)、寬度w2、高度h2，分別計算其形心Ac(xac,yac)、Bc(xbc,ybc)，其中：

(3)

(4)

本文采用OpenCV作為圖像的基本處理工具，以圖像左上方第一個像素點作為原點坐標，全部像素均處于第一象限。需要注意的是，在不同的處理工具中由于原點坐標的位置變化，其形心Ac(xac,yac)、Bc(xbc,ybc)的計算方法與式(3)、式(4)略有出入，但原理相同。

每一次窗口滑動后均截取窗口內部的圖像區域，保留在起始字符候選集中。在n次窗口滑動全部結束后，將候選集送至卷積神經網絡模型中進行漢字識別，在這里為了準確獲取省份的漢字位置，同樣采用雙特征提取的卷積神經網絡識別方法，對經過灰度和黑白二值化處理的圖像分別傳至不同的CNN模型中，將獲得的預測結果集進行對比，取兩預測集合中對同一幅圖像預測結果相同且落于置信區間[0.95,1]內的首個圖像位置作為車牌的起始區域。

在本文研究當中對圖像末端位置的確定設計了兩種算法:1) 根據不同車牌類型的先驗條件，使首字符寬度沿直線l(y=kx+b)擴大對應的倍數，融合進所有的字符區域，形成完整的車牌區域，達到車牌定位目的；2) 通過對弱種子集合內的全部元素進行遍歷，以識別出的車牌首字符為起始點，沿直線l(y=kx+b)進行搜索，當存在某一元素，其矩形內部像素點位于直線上，與其余元素交集皆為空集，則認為該弱種子元素是牌照內某一字符，當字符數量在遍歷過程中不斷累加至車牌規定數量時，停止遍歷，融合所有字符區域，車牌定位工作完成。

兩種方式經過大量數據測試，均可以較為完整地定位車牌區域。算法1)提取后的車牌完整性更優，但受到不同圖像采集分辨率的影響，存在尾部涵蓋少許雜質的可能，需要后期字符分割和識別過程中稍作判斷并去除；算法2)同樣會因角度傾斜、圖像分辨率低等情況影響，使兩弱種子字符的矩形區域有交集或某一字符未呈現穩定狀態而在MSER的提取過程中缺失，影響搜索時的融合計數過程。在圖像采集狀態一致且清晰的情況下，類似問題可以得到極大的避免。

圖10-圖18為多場景、不同圖像規格下，使用第一種算法確定尾部后，車牌定位的結果。

圖10 雨霧天、清晰度低時車牌定位結果圖

圖11 光線暗、能見度差時車牌定位結果圖

圖12 環境暗、燈光過曝時車牌定位結果圖

圖13 自然光過曝時車牌定位結果圖

圖14 光線差且分布不均時車牌定位結果圖

圖15 距離遠、清晰度低時車牌定位結果圖

圖16 距離近、清晰度低時車牌定位結果圖

圖17 距離遠、清晰度高時車牌定位結果圖

圖18 距離近、清晰度高時車牌定位結果圖

由圖10-圖18可以觀察到，該算法在各類場景下均可以有效定位車牌區域，抗干擾能力較強,對設備要求較低。

3 數據測試與結果分析

實驗環境：編程語言Python 3.6，對應的開發工具Pycharm2018.1.4，主計算機視覺庫Python-OpenCv3.4.2，操作系統Windows 10，CPU為i7- 6700K的四核處理器，主頻4 GHz，顯卡GTX 1080Ti，內存32 GB，硬盤容量2 TB SSD。

本文的車牌定位算法核心在于準確找出車牌內部字符圖像形心之間的連線l(y=kx+b)，并在此基礎上通過滑動窗口和卷積神經網絡識別出車牌的首末端，最終完成車牌定位工作。為了檢測弱種子字符集合向強種子字符集合演變算法對車牌定位的有效性，本文挑選出了100幅像素均在百萬級以上且車牌主體較為明顯的車輛圖像進行數據測試，因為此類圖像的車牌字符較為清晰，即使單幅字符圖像所包含的字符區域不完整，也仍然有可能被高敏感度的CNN模型識別出正確結果，而弱種子字符集合向強種子字符集合演變算法解決的主要問題就是避免將該類圖像區域劃入完整字符集中，影響直線l的斜率及函數表達式，故該類圖像數據在算法有效性測試中更具有代表性。將100幅車輛圖像依次代入車牌定位系統當中，得到實驗結果如圖19所示。

圖19 強弱種子演變算法對定位準確率的影響

由圖19可以看出，在100幅清晰度較高、車輛主體較近的圖像中，未加入弱種子集向強種子集演變算法的車牌定位系統中，成功并精確定位出車牌區域的圖像共有72幅，其余圖像的定位失敗原因均是由過車牌字符形心的直線l偏離誤差較大導致的；而加入該演變算法后可以將100幅實驗圖像的車牌區域全部精確定位出來，即在對于直線l的函數方程計算較為精確，進而有效矯正了后續滑動窗口的搜索路線，提升了定位準確率。部分定位失敗與成功的結果數據如圖20所示。

圖20展示了弱種子集向強種子集演變算法對車牌定位效果的具體影響，位于左側的圖像是未加入該演變算法時車牌的定位結果，右側是加入該演變算法后車牌的定位結果。其中圖20(a)與圖8采用的數據圖像相同，正如圖8所示的問題，由于字符種子沒有經過演變算法的篩選，導致不完整的字符被卷積神經網絡誤識別為有效的完整字符，故過字符形心的直線l產生偏離，最終車牌字符的部分區域沒有被涵蓋進定位結果中；而左側圖像更是因為直線l的過度偏離，使得滑動窗口沒有掃描到正確的漢字字符位置，最終采用應急情況，向左多包含一個字符繼而向右擴展直至車牌理論長度為止。這種卷積神經網絡誤判的情況在車輛圖像具有高清晰度時難以避免，但使用弱種子集向強種子集的演變算法可以很好地解決該類問題，最終定位結果如右側圖像所示。

(a)

解決上述問題后，應對真正復雜場景下的車牌定位準確率進行算法測試和對比。為了模擬真實情況，本文挑選出了圖片規格由低到高的五種不同圖像，主要涵蓋了低像素、低質量的圖像采集設備、百萬像素的日常交通監控設備和千萬像素以上的手機或專用相機圖像采集設備，并在相同圖片數量下，均采取了100次的迭代，每次對50幅該規格下的不同圖像進行車牌定位，求得定位算法運行時間的平均值，實驗規則與數據如表1所示。

表1 數據數據及參數

將表1中的實驗數據分別代入四種不同的車牌定位算法，獲得的平均運行時間如圖21所示。

圖21 四種算法對多規格車輛圖像的車牌定位耗時

從圖21可以看出，基于輪廓和色彩的三種經典定位算法在運行時間上隨著圖像規格的擴大而上升得較為明顯。本文中設計的新型定位算法在圖像規格擴大時所受影響較小，雖然在圖像質量較低時該算法運行時間高于其余算法，但在圖像規格不斷增大時，其運行時間變化幅度較小且具有更快速的定位功能。

圖22展示了不同輸入數據規格與車牌定位成功率的關系，輸入數據同樣使用表1中五種不同規格圖像類型的內容。可以看出，在圖像規格較小、清晰度偏低時，本文算法仍能夠保持較為平穩的定位準確率，相較于三種經典車牌定位算法，本文算法的定位準確率提高了約62%。

圖22 四種算法對多規格車輛圖像的車牌定位準確率

在自然場景下的車牌定位準確率方面，本文還采取了兩種不同的圖像標準進行檢測。如表2所示，1 000幅百萬像素級以上的車輛圖像被分為標準圖和復雜圖。其中：標準圖的主要特點為圖像采集方向與車身正面夾角較小，車輛主體近且突出，四周光線均勻且飽滿，車牌所占圖像面積較大，周圍環境的近似形態和臨近色彩干擾極小；復雜圖的主要特點是圖像采集方向與車身正面夾角稍大，車輛主體在圖像中所占比重較低，光線混雜不均甚至過暗、過曝嚴重，車牌面積不固定或較小，周圍干擾因素較強。將兩種類型的圖像分別傳至四種定位算法進行車牌定位，所得定位準確率如表2所示。

表2 不同場景下四種算法的車牌定位準確率

經數據結果的研究對比可知，在車牌提取環境較好的標準圖中，四種算法均有一定的定位效果，但因為經典算法較為依賴圖像形態學的處理結果，在復雜背景下受到各類周身環境因素的干擾，無法準確捕捉車牌形態和色彩數據，故三種算法的定位準確率均有著較大程度的下降。本文算法由于不受車牌形態影響，專注于對穩定字符區域的提取和識別，使其在定位準確率上有著明顯的優勢且表現穩定，對復雜場景的車牌定位給予有力的技術支撐。

4 結 語

本文采用最大穩定極值區域和啟發式搜索篩選出疑似車牌字符的多個候選區域，再使用兩組預先訓練好的不同卷積神經網絡分別對候選區域的灰度圖和黑白二值化圖像加以識別，繼而將準確定位出的字符區域采用滑動窗口技術搜尋車牌始末位置，最終實現完整的車牌定位算法。數據測試表明，該算法能夠在復雜無約束場景下較好的對車輛牌照進行定位，相較于傳統算法，本文算法可以有效提高定位準確率，避免各類現實場景帶來的干擾，延展車牌定位技術的適用范圍。且因提前檢測出車牌首字符，又用字符連通下產生的形心直線方程對車牌上下兩端進行有效裁剪，故定位后產生的雜質或噪點較少，為之后的字符分割及識別提供堅實基礎和有效保證。