改進HOG特征的車牌識別算法

鄭 琳，王福龍

（廣東工業大學應用數學學院，廣東廣州 510520）

0 引言

車牌識別（License Plate Recognition，LPR）是外接攝像頭或照相系統獲取的車輛圖像自動提取車輛牌照信息的過程。完整的車牌識別系統由圖像獲取、車牌定位、字符分割、字符識別4 個部分組成。車牌識別技術是智能交通系統的重要組成部分，應用場景廣泛，在停車場車輛管理、監控違章車輛和高速公路收費系統等領域應用較多，開展車牌識別研究具有重要的社會意義及應用價值。

車牌識別具有區域性特色，各個國家的車牌構成不同，我國的車牌由漢字、字母和數字構成。車牌識別主要存在兩方面難題：①由于漢字的復雜性、字符相似性高、車牌的模糊損耗等原因，使車牌識別難度增大；②車牌識別需要考慮實時性，因此在保證識別準確率的同時，識別速度的提高是車牌識別難點。本文采用模板匹配法融合改進的局部HOG 特征對車牌圖像進行識別。模板匹配法能有效降低字符圖像的噪聲，改進的局部HOG 特征能有效描述相似字符的不同特性，降低特征描述符冗余問題。實驗表明，改進方法能在保證車牌識別速度的同時有效提高車牌圖像的識別率。

1 相關研究

目前車牌識別算法主要有特征提取法、神經網絡法和模板匹配法。特征提取法需要提取待識別模式的統計特征，再按照判別函數得到識別結果；特征提取法可以提取字符的顯著特征，但是會消耗大量時間，非穩健特征會降低識別效率［1-6］；神經網絡法通過神經網絡學習大量字符樣本，得到字符的樣本特征來識別車牌字符。神經網絡法識別率較高，但需要大量的初始樣本，且神經網絡模型復雜，計算參數多，導致算法成本高、識別速度慢［7-10］；模板匹配法是經典的模式識別方法，通過重合度函數度量待識別字符與模板樣本的相似性來識別字符。模板匹配法易于實現，對圖像噪聲的敏感度較低，具有一定的容錯能力，但難以區分相似字符，魯棒性較差。

胡曉霞等［11］提出了一種基于形狀上下文方式提取車牌特征，再利用聯合度量策略識別車牌的方法。但該方法對車牌圖像質量要求高，幾乎不涉及車牌傾斜與模糊，且該方法無法完整提取字符特征，識別精度還需優化；段賓等［12］提出一種深度可分離卷積的輕量級模糊車牌識別算法。該方法訓練了大量的模糊車牌樣本，對模糊車牌的識別率較高，且壓縮了神經網絡識別模型大小，減少了計算參數。但相較于傳統的識別算法，該方法識別速度較慢；凌翔等［13］提出一種改進的頂帽重構和模板匹配車牌識別方法，該方法解決了車牌識別中光線不均勻照射的問題，識別速度快，但僅依靠全局重合度函數識別車牌，無法提取字符的特征信息，識別率有待提升。

本文的車牌識別算法主要利用方向梯度直方圖（Histograms of Oriented Gradients，HOG）對圖像邊緣及形狀強大的描述能力，以及對光照不敏感和平移不變性的特點，同時結合模板匹配法的容錯特性和對噪聲低敏感特性，提出改進局部HOG 特征，避免了高維特征描述符的數據冗余問題，確定了最優局部HOG 矩形特征塊，提高了車牌識別率，也保證了識別的實時性。

2 融合模板匹配和改進HOG特征的字符識別

為解決車牌識別中相似字符誤識別問題，學者提出了模板匹配法結合字符特征進行車牌字符識別的方法。在現實中分割后的車牌字符不可避免會出現些許傾斜和一定的模糊情況。

2.1 模板匹配法

在字符識別階段，模板匹配法通過判斷字符模板與分割后車牌字符的相似度來識別字符。根據我國車牌特點，本文建立的字符模板分為漢字、英文字母和數字模板，采用重合度函數來度量車牌字符與字符模板間的相似度，重合度函數公式如下［14］：

其中，f為模板二值圖像，g為車牌二值圖像，模板與車牌的二值圖像尺寸相同，均為M×N，Tf和Tg分別為模板字符二值圖像和車牌字符二值圖像中數值為1 的像素個數，符號Λ 為與運算。

2.2 HOG特征

HOG 特征描述符關注被檢測圖像中物體的結構或形狀，它通過提取邊緣梯度和方向來描述局部物體的形狀特征［15］。首先，將整個圖像分割成小的區域，每個小區域稱為細胞單元。對于每個細胞單元，采集其中各個像素點的梯度和方向生成方向梯度直方圖；然后，將幾個細胞單元組成一個塊進行歸一化，減少光照變化和陰影的影響。最后，將每個塊內的HOG 特征串聯起來得到車牌字符的HOG 特征描述符［16］。HOG 特征描述符生成步驟如下［17］：

（1）先用兩個梯度算子［-1，0，1］和［-1，0，1］T分別對原圖像做卷積運算，得到水平方向和豎直方向的梯度分量，再計算圖像每個像素的梯度大小和方向。此步驟的主要目的是為了捕獲輪廓信息，弱化光照影響，計算公式如下：

其中，H(x，y)表示輸入圖像像素點(x，y)處的像素值，分別表示像素點的水平方向梯度和垂直方向梯度；G(x，y)，α(x，y)分別表示像素點處的梯度幅值和梯度方向。

（2）將圖像劃分成若干個小的細胞單元，如每個細胞單元為8×8 像素大小。將細胞單元的梯度方向360 度分成9個方向，即每40度分為一個方向。

（3）將幾個細胞單元組成一個特征塊。特征塊主要包含塊大小、每個細胞單元的方向和細胞單元大小3 個參數。塊內歸一化梯度直方圖，將一個塊內所有細胞單元特征描述符串聯。特征塊結構可分為矩形塊（R-HOG）和環形塊（C-HOG），通常采用矩形塊（R-HOG）。

（4）收集HOG 特征，將所有塊的HOG 特征串聯得到HOG 特征描述符。

2.3 模板匹配結合改進的局部HOG特征

解決車牌識別中相似字符誤識別問題的方法有：①利用字符的灰度躍變特征結合模板匹配對字符進行二次識別提高識別率的方法；②利用HOG 特征結合模板匹配法識別車牌字符修正相似字符的誤識別方法。在實際情況中，分割后的車牌字符不可避免會出現些許傾斜和一定的模糊。實驗表明，由于上述因素，使用灰度躍變特征結合模板匹配的方法仍然會出現將“E 識別成F”“C 識別成0”“S 識別成8”、“皖識別成冀”“Q 識別成0”的情況。由于字符特征塊的選擇問題，采用局部HOG 特征結合模板匹配法識別車牌存在將“閩識別成粵”“皖識別成冀”“F 識別成P”的問題。

本文根據HOG 特征與模板匹配法思想，結合車牌相似字符特點，提出一種改進的局部HOG 特征結合模板匹配的識別方法，實現步驟如下：

（1）統計模板匹配法出現的誤識別字符，“0”與“Q”“B”與“8”“S”與“8”“P”與“R”“E”與“F”“F”與“P”“2”與“Z”“粵”與“閩”“皖”與“冀”。

（2）訓練分割后的車牌字符，測試字符形變程度，構成測試樣本集。用樣本集測試字符局部HOG 特征塊，得出局部優化矩形特征塊。

（3）根據相似字符特征，確定相似字符組最具有區分度的特征塊位置。

（4）劃分待識別字符和模板字符圖像對應的局部特征塊細胞單元，采集細胞單元中每個像素點的梯度方向直方圖，將幾個細胞單元通過滑動窗口組合成塊（block），塊內歸一化梯度直方圖。分別收集待識別字符和模板字符矩形特征塊內所有的HOG 特征描述符。歸一化公式如下：

其中，v表示塊內統計直方圖的未歸一化向量，δ 為極小的常數，避免分母為零。

（5）采用歐式距離度量待識別字符與模板字符之間的HOG 特征向量距離，選取與待識別字符歐式距離最小的模板字符作為識別結果，歐式距離度量公式如下：

其中，xi，yi分別為待識別字符與模板字符之間的HOG特征向量。

3 實驗結果與分析

本文實驗采用Visual Studio 2012 實現，運行環境為Inter（R）Core（TM）I5 處理器，8GB 內存，Windows 10 操作系統。

3.1 實驗方法

本文實驗選取的測試圖片主要來源于白天和傍晚停車場車輛、十字路口的車輛和網絡監控錄像下的車輛，車輛圖片存在程度較輕的傾斜和模糊度，幾乎不涉及字符粘連或斷裂。測試圖片分為兩類，選擇質量較好的150 張圖片作為第一類，質量相對較差的50 張圖片作為第二類（車牌存在一定程度的模糊，車牌傾斜度在-2～6度范圍內），共200張測試圖片。

使用模板匹配法初步識別車牌字符時，車牌的傾斜會導致字符圖像失真變形，增加識別難度。因此，需要訓練分割后字符形變情況，組成測試樣本集，分析規律，以便區分字符特征（本文中歸一化后的字符大小為20×40）。部分分割后的字符圖像如圖1所示。

Fig.1 Partial character sample圖1 部分字符樣本

對分割后的字符圖像局部提取HOG 特征時，細胞單元的大小會影響HOG 特征向量的編碼，所以細胞單元大小的選取至關重要，需要確定字符圖像的局部最優特征塊。表1 為測試第一類車牌圖像得到的字符圖像不同局部特征塊的實驗結果。

Table 1 Test results for different feature blocks表1 不同特征塊測試結果（%）

由表1可知，當選取1×2的HOG 特征塊時，由于特征塊過大，局部圖像的適應性變差，部分相似字符的特征無法區分，導致HOG 特征表述模糊；選取2×4 的HOG 特征塊時，相似字符的區分塊過小，出現無用的干擾信息，導致字符的識別率下降。HOG 特征塊的塊數越多，特征提取的計算量越大，識別速度就越慢。根據實驗數據，最終確定選取2×3 的HOG 特征塊為局部特征塊的優化參數，如表2所示。

Table 2 Positon and parameters of feature block表2 特征塊位置與參數

3.2 實驗結果

為評估本文方法的識別效果，選取模板匹配法、模板匹配法結合躍變特征和模板匹配法結合局部HOG 特征作為對照，測試第一類和第二類車牌，實驗結果如表3所示。

由表3 可知，本文所采用的方法相較于模板匹配法、模板匹配法結合躍變特征和模板匹配法結合局部HOG 特征的方法，對第一類車牌圖像進行識別時，識別率分別提高了52%、12%和4%；對第二類車牌圖像識別時，識別率分別提高了36%、28%和4%。為了評估本文方法的識別速率，選取模板匹配法結合躍變特征和模板匹配法結合局部HOG 特征作為對照，分別測試第一類和第二類車牌圖像的識別時間，實驗結果見表4，輸入車輛圖像像素為640×480。

Table 3 Recognition rate of different methods表3 不同方法的識別率

Table 4 Processing time of different algorithm表4 算法時間比較（ms）

3.3 結果分析

出現誤識別的主要原因［18］有：車牌經過前面階段的圖像預處理、定位和分割后，統計得到的躍變次數無法與模板中的躍變次數匹配，例如字符“8”字符“S”和字符“B”；實際情況中，經過分割后的字符“8”與字符“B”可能出現躍變次數相同的情況，導致字符“8”與字符“B”識別的隨機性，如圖2 所示；字符分割階段導致字符“P”與字符“F”出現相同躍變次數，如圖3所示。

出現誤識別的原因［19］主要有：該方法無法得到局部優化HOG 特征，導致字符識別具有隨機性，例如字符“8”“S”和“B”；車牌字符“P”經過分割后，右邊筆畫不完整，此時類似字符“F”。對于此類情況，文獻［19］采用的方法無法識別。

針對上述方法的不足，本文根據統計相似字符區分明顯的HOG 特征，考慮分割后字符筆畫缺失和字符經過形態學運算后產生的形變等情況，得到局部優化HOG 特征來區分相似字符，提高字符識別率。字符特征塊選取示例如圖4所示。

Fig.2 8 and B圖2 字符8與B

Fig.3 F and P圖3 字符F與P

本文中部分車牌實驗效果如表5 所示。車牌圖像存在-2～6度范圍內的傾斜時，躍變特征結合模板匹配法會將字符“8”識別成“S”，對漢字“皖”不具備識別能力，對字符“0”的識別具有不穩定性，易把字符“E”識別成“F”；局部HOG 特征結合模板匹配法會將字符“F”識別成“P”，對漢字“皖”不具備識別能力，對漢字“閩”的判斷存在不穩定性。

Table 5 Part of the license plate experimental results表5 部分車牌實驗效果

實驗結果表明，在車牌圖像模糊度較輕、車牌傾斜范圍為-2～6度時，本文采用的方法具有一定的識別率。這是因為模板匹配法去除了噪聲影響，HOG 特征能夠描述字符圖像的邊緣結構和輪廓形狀，可在一定程度上減少字符圖像傾斜形變造成的影響。且在選取局部優化HOG 特征塊后，能夠從字符結構上快速定位相似字符的不同特征。

由實驗結果可知，3 種方法識別時間的均值相差不大，為0.6ms 左右。實驗證明，本文采用的方法在提高識別率的同時能夠滿足實時性要求。

4 結語

本文測試了不同HOG 特征塊對字符的結構提取，確定了局部優化的HOG 特征塊，融合模板匹配法，實現對車牌字符的識別。針對模板匹配法結合灰度躍變法，以及局部HOG 特征結合模板匹配法的不足，采用一種融合改進的局部HOG 特征的模板匹配法提高相似字符的識別率。實驗表明，本文所采用的方法對于傾斜角度較小或模糊的車牌圖片可以進行識別，且對車牌定位和字符分割帶來的影響有一定的抗干擾能力。后續將在傾斜角度和模糊度增加的情況下對車牌進行識別研究。