一種基于字符組合的復雜環境車牌檢測方法

孫庭強，鄭 彥

(南京郵電大學 計算機學院，江蘇 南京 210003)

0 引 言

車牌識別技術是智能交通系統的重要組成部分，其在超速檢測、高速公路收費管理、車流量檢測、小區車輛管理、電子警察等方面應用廣泛[1]。現有的車牌檢測方法大致可以分為兩個類別：第一類方法基于圖像分割，其一般檢測過程分為分割圖像、抽取特征以及目標匹配三個部分；另一類方法則基于滑動窗口，其檢測過程是用特定尺寸的窗口以一定步長在待測圖像中滑動并進行目標匹配。其中，基于圖像分割的車牌檢測方法是一種自底向上的方法，分割與檢測依賴于圖像的底層特征，包括顏色、邊緣、紋理、形狀、幾何等等。檢測對分割的依賴性以及特征選取的盲目性是圖像檢測中的經典難題，特別是在復雜環境下，大量不確定的噪聲將嚴重影響分割與檢測的準確性。關于如何增加車牌分割的準確性以及字符的識別率，國內外學者進行了大量研究。而基于滑動窗口的車牌檢測方法則是一種自上向下的方法，依賴于各種先驗知識，其中較為經典的算法包括模板匹配算法[2]以及形態學檢測算法[3]等。該算法更加適合特定環境下以及平穩環境下的車牌檢測，而復雜環境下，這類算法所依賴的先驗知識適應性不強，容易導致漏檢和誤檢。

在實際應用中，由于場景和需求的變化產生了兩種基于圖像分割的車牌檢測與識別方法：基于車牌定位的方法[4]以及基于字符組合的方法[5]。其中，基于車牌定位的檢測與識別方法需要經過圖像分割、車牌定位、字符分割以及字符識別四個步驟，而基于字符組合的檢測與識別方法只需要經過圖像分割、字符定位、字符識別三個步驟，省略了分割定位車牌的過程。受復雜背景、光照強度等因素影響，基于車牌定位的檢測與識別方法車牌定位困難，定位的準確性決定了車牌識別率，定位失敗必然導致識別失敗[6]。基于字符組合的檢測與識別方法直接定位字符，規避了車牌定位困難的問題，因此具有較好的魯棒性。然而該方法同時也存在著字符分割的可靠性不高，對于字符顏色變化和形狀變化的魯棒性差等問題。

在基于字符組合的車牌檢測與識別方法的基礎上，文中綜合考慮復雜環境下的光照、天氣、角度、距離、背景等變化因素，提出了一種基于多粒度區域生長的字符分割算法和一種基于多特征聚類的字符組合檢測算法。在基于區域生長的分割算法中，根據灰度值對目標圖像采用多個粒度進行生長分割，借鑒MSER穩定極致的思想，將區域生長分割與聚類分析進行交互，通過不斷學習最終得到一個穩定的字符組合及其分割粒度區間，從而有效應對光照強度變化以及天氣等原因導致的分割不準確等問題。在基于多特征聚類的字符組合檢測方法中，相似性度量的計算包含顏色、幾何以及位置關系這三種特征，無監督學習的聚類算法可以應對復雜背景下檢測多個車牌的場景，而字符位置關系特征的引入可有效適應對拍攝角度和距離變化的情況，同時采用特征子集以應對部分字符遮擋、字符顏色變化等問題，增強魯棒性。

1 多粒度區域生長

圖像分割是提取圖像中感興趣目標的過程，常用的圖像分割方法包括基于閾值的分割方法、基于區域的分割方法、基于邊緣的分割方法、基于直方圖的分割方法，以及基于特定理論的分割方法，如基于聚類分析的分割方法[7]、基于SVM的分割方法[8]、基于模糊熵的分割方法[9]、基于小波分析的分割方法[10]、MSER方法[11]等等。復雜環境下，車牌圖像分割受環境因素和場景因素影響較大。固定的單一閾值或多閾值分割，單一粒度的區域或邊緣分割在光照強度和天氣變化較大的情況下都無法保證分割的準確性，因為在較強和較低光照環境下，區域間界限相對模糊，難以確定分割閾值。

1.1 MSER方法

MSER(最穩定極值區域)方法使用不同的灰度閾值對圖像進行二值化，得到一個最穩定的區域，對于圖像灰度的仿射變化具有不變性，且區域的支持集相對灰度變化穩定，可以檢測不同精細程度的圖像區域。然而，對復雜圖像進行分割時，MSER方法卻容易導致過分割，從而導致目標提取失敗。

1.2 穩定字符組合

借鑒MSER方法求穩定極值區域的思想，同時為了防止過分割，文中提出了一種基于多粒度區域生長的車牌字符分割方法，從求解單個字符區域的穩定性轉為求解目標字符組合的穩定性。區域生長圖像分割方法是直接根據底層像素的相似性與連通性進行聚類的方法[12]，生長的粒度即像素間的相似性度量，多粒度的區域生長方法，以多個不同的粒度分別進行生長分割，得到同一幅圖像在不同粒度下的分割區域。對于目標區域集合，存在一個粒度區間，在該區間內目標區域穩定滿足字符判別條件，這一粒度區間即為該區域集合的穩定分割粒度區間。區間最小值為最細分割粒度，區間最大值為最粗分割粒度。

1.3 多粒度區域生長過程

對于原始輸入的車牌圖像P，初始以較小的生長粒度g0進行生長分割，輸出初次分割后的區域集合E(A0,A1,…,An)，將區域集合E作為聚類算法的輸入，輸出候選區域子集{D1(A0,A1),D2(A2,A3),…,Dm(Ai,Aj,…,An)}。若{D1,D2,…,Dm}中不存在目標子集，則增大粒度繼續分割；若{D1,D2,…,Dm}中存在目標子集Dk(目標子集可以有多個)，即Dk中包含疑似車牌字符，則增大生長粒度g1=g0+△g重復分割，得到目標車牌字符組合R及其穩定分割粒度區間{g1,g2,…,gk}。

2 字符組合檢測

圖像分割得到了大量候選區域，在對候選區域進行字符組合檢測時，常用的方法有馬爾可夫鏈[13]和條件隨機場[14]等，但其算法時間復雜度較高。因此，文中采用AGNES聚類算法以及字符位置關系判別進行字符組合檢測，通過聚類分析算法和位置關系判別對候選區進行分析、選擇合并策略、剔除假車牌,實現準確、快速的多車牌區域分割，在一定限度內自適應車牌的類型、大小、數量和方向[15]。同時為了增強字符組合檢測對于字符形變的魯棒性，采用特征子集優化聚類效果。為了降低算法的復雜度，加快檢測速率，采用主成分分析方法，在聚類分析時選取最主要的灰度值、長度以及寬度三個特征進行相似性度量，為了彌補特征維數不足容易導致車牌字符誤檢的情況，對聚類結果進行基于字符位置關系的判別。

2.1 AGNES聚類

聚類是將數據分類到不同的類或者簇的一個過程，最大化類內對象的相似性以及類間對象的相異性。聚類大致上可分為劃分聚類、層次聚類、模糊聚類以及基于密度的聚類，常見的聚類算法包括K-MEANS算法[16]、K-MEDOIDS算法[17]、AGNES算法[18]、DIANA算法、EM算法、OPTICS算法等。

AGNES(agglomerative nesting)是凝聚的層次聚類算法，一個簇中的對象和另一個簇中的對象之間的距離是所有屬于不同簇的對象間歐氏距離中最小的。這是一種單連接方法，其每個簇可以被簇中的所有對象代表，兩個簇之間的相似度由這兩個簇中距離最近的數據點對的相似度來確定。該算法實現簡單，適合小規模的數據運算，與K-MEANS、K-MEDOIDS相比，具有對噪聲不敏感且不需要預先選擇聚類質心點等優點。

AGNES算法描述如下：

輸入：包含n個對象的數據集合，終止條件簇的數目k

輸出：k個簇

(1)將每個對象當成一個初始簇

(2)Repeat

(3)根據兩個簇中最近的對象找到最近的兩個簇

(4)合并兩個簇，生成新的簇的集合

(5)Until簇的數目等于k

其中，兩個簇相似度的計算公式為：

D1={A1,A2},D2={A3,A4};

Distance(D1,D2)=min{Distance(A1,A3),

Distance(A1,A4),Distance(A2,A3),Distance(A2,A4)}

2.2 特征子集

相似性的度量方法是聚類分析的關鍵，以不同特征進行聚類得到的結果往往不同。在實際監控場景中，存在部分車牌字符被遮擋和車牌字符具有多種顏色導致漏檢等情況，從特征的角度看，即某個特征的突變影響了聚類分析的結果。在聚類分析過程中，為了削弱某個特征的影響力，通常采用降低特征權重的方式實現。特征子集是改變特征權重的特殊形式，將某個特征的權值設置為0，即完全忽略該特征。

文中在對圖像分割區域用AGNES算法進行聚類分析的過程中，采用原特征集、特征子集分別進行區域間相似性計算，以適應復雜環境下字符產生顏色、長度、寬度等形變的情況。原特征集F(gValue,xLength,yLength)，其中gValue為區域平均灰度值，xLength為區域水平方向長度，yLength為區域垂直方向長度。F-1(gValue,xLength),F-2(gValue,yLength),F-3(xLength,yLength)分別為缺省區域垂直方向長度、區域水平方向長度、區域平均灰度值后的特征子集。

采用原特征集與特征子集分別進行聚類，兩個對象的相似度計算公式分別為：

F:Distance(A1,A2)=sqrt(Wg*(A1.gValue-A2.gValue)2+Wx*(A1.xLength-A2.xLength)2+Wy*(A1.yLength-A2.yLength)2)

F-1:Distance(A1,A2)=sqrt(Wg*(A1.gValue-

A2.gValue)2+Wx*(A1.xLength-A2.xLength)2)

F-2:Distance(A1,A2)=sqrt(Wg*(A1.gValue-

A2.gValue)2+Wy*(A1.yLength-A2.yLength)2)

F-3:Distance(A1,A2)=sqrt(Wx*(A1.xLength-A2.xLength)2+Wy*(A1.yLength-A2.yLength)2)

初始以原特征集F(gValue,xLength,yLength)對分割區域E(A0,A1,…,An)進行聚類分析，經過車牌字符判別與多粒度的重復分割過程，得到目標區域集合及其穩定粒度區間。若目標區域集合的數量為0，即不存在任何區域集合符合車牌字符判別條件，則以特征子集F-1、F-2、F-3分別對分割區域進行再次聚類與判別。

2.3 位置關系判別

在復雜場景下，監控拍攝的角度與距離具有多樣性，文中采用基于字符區域間位置關系的字符判別算法，在任意角度和距離上，各字符區域始終近似保持在同一條直線上。

算法描述如下：

輸入：具有n個對象的聚類簇，目標對象個數k

輸出：k個目標對象

Repeat

選取兩個對象為一個候選集合

依次判斷剩余對象是否與集合中對象的中心點在同一直線上，是則加入候選集合，否則丟棄

Until候選集合中對象個數為k

其中，判斷三個點是否在同一直線的公式為：

A(x1,y1),B(x2,y2),C(x3,y3);

|cosA|=|(x1-x3)2+(y1-y3)2+(x1-x2)2+(y1-y2)2-(x2-x3)2+(y2-y3)2|/2*sqrt((x1-x3)2+(y1-y3)2)*sqrt((x1-x2)2+(y1-y2)2)≥t，t為夾角余弦閾值。

3 實驗結果分析

為了驗證文中多粒度區域生長算法的有效性，首先從圖像庫中挑選包含較低光照、較強光照、正常光照下已標記的訓練圖像進行分割檢測，輸出結果包括穩定分割粒度區間和對應粒度下的分割區域集合。實驗結果表明，在不同粒度下進行分割，得到的字符區域細節有所改變。

如圖1～3所示，圖1為車牌字符經過多粒度生長分割以及聚類分析后得到的穩定目標字符組合，圖2的分割粒度為穩定粒度區間中的較小值，圖3的分割粒度為穩定粒度區間中的較大值，兩個粒度下得到的字符形狀具有較大差別。

圖1 原始車牌字符圖像

圖2 細粒度分割結果

圖3 粗粒度分割結果

將不同粒度下的分割字符區域輸入到基于模板匹配的識別算法中，位于穩定區間低位和高位粒度的識別率較低，中間粒度識別率較高。融合三個粒度下的識別結果，識別率比單一粒度有所提高，如表1所示。

表1 穩定粒度區間三種粒度下的識別率比較 %

為了驗證文中多特征聚類算法的有效性，從圖像庫中挑選車牌字符具有兩種顏色的訓練圖像進行實驗。對于圖4中左邊的車牌，初始以完整特征集合F(gValue,xLength,yLength)進行聚類，提取目標字符失敗。再以特征子集F-1(gValue,xLength),F-2(gValue,yLength),F-3(xLength,yLength)分別重新聚類，子集F-3成功提取目標字符。

圖4 原特征集合與特征子集聚類結果對比

最后，通過實驗將基于梯度算子的邊緣檢測算法以及MSER方法與文中算法進行比較，采用三種算法分別進行車牌字符分割與檢測，分析車牌字符的檢測準確率以及檢測速率，以及最終車牌字符的識別率。從表2可以看出，從檢測準確率以及識別率上看，文中算法比邊緣檢測算法更有優勢，從檢測速率上看，文中算法的平均檢測時間遠小于MSER方法。

表2 三種字符檢測算法對比

4 結束語

在基于字符定位的車牌檢測與識別方法的基礎上，結合區域生長、MSER方法、決策融合和聚類分析，提出了一種基于多粒度區域生長和多特征聚類的復雜環境車牌字符分割與檢測方法。用穩定分割粒度區間代替單一分割粒度，融合多個粒度下的識別結果，提高了字符識別率。聚類分析中以多個特征子集代替單一特征集合進行字符組合檢測，增強了算法魯棒性，有效降低了漏檢率。