局部HOG和分層LBP特征融合的車牌字符識別①

高 聰, 王福龍(廣東工業大學 應用數學學院, 廣州 510520)

局部HOG和分層LBP特征融合的車牌字符識別①

高 聰, 王福龍
(廣東工業大學 應用數學學院, 廣州 510520)

針對車牌字符識別中模板匹配法識別率低, 尤其是無法準確識別相似字符的不足, 提出了一種局部HOG和分層LBP特征融合的車牌字符識別方法. 首先利用模板匹配法對車牌所有字符進行初步識別, 然后利用HOG算子提取車牌和模板相似字符中最具區分度的一小塊邊緣特征, 接著利用LBP算子提取原始車牌和模板相似字符中相同區域塊的分層紋理特征, 將兩種特征串行融合構建串行特征向量, 最后根據特征向量之間的卡方距離來度量車牌字符和模板字符的相似性, 進而完成二次識別. 通過實驗比較了11種算法的識別性能, 結果表明本文方法有效地解決了相似字符誤識別的問題, 在保證識別速率的同時識別率顯著提高, 達到99.52%.

車牌識別; 模板匹配; 局部HOG特征; 分層LBP特征; 特征向量

1 引言

車牌識別系統在停車場車輛管理、監控違章車輛、高速公路收費管理系統等領域都有十分廣泛的應用.車牌識別是指利用車牌的特征從具有復雜背景的車輛圖像中提取出車牌區域,并對該車牌區域進行字符分割, 提取每個字符的特征后再進行識別的過程. 在一般情況下, 完整的車牌識別系統包括圖像采集, 車牌定位, 車牌字符分割和字符識別四個部分.

目前國內外有很多車牌定位算法, 如: 紋理特征法[1]、顏色特征法[2]、字符特征法[3]、邊緣檢測法[4]和灰度跳變法[5]. 字符分割算法主要有: 投影法[6]、連通性法[7]和字符的先驗知識法[8].字符識別是車牌自動識別技術的最后一步, 也是關鍵一步, 主要任務是對字符分割出的單個字符進行自動識別.根據我國車牌字符的結構和特點, 目前常見的車牌字符識別方法主要有模板匹配法[9]、神經網絡法[10]和特征提取法[11,12]. 模板匹配法是一種經典的模式識別方法, 是最直接的字符識別方法, 主要是通過判定測試字符與模板字符間的相似度, 將相似性最大的樣本作為輸入字符的所屬類別. 模板匹配法原理簡單, 比較直觀,計算方便,因此得到了普遍的應用; 但不能適應于各種字符變化、角度變化,魯棒性較差. 神經網絡法是先對待識別字符進行特征提取, 然后用所獲得的特征向量來訓練神經網絡分類器, 通過訓練好的分類器將字符識別出來. 神經網絡法具有較強的容錯能力, 識別效率較高, 但是該方法需要大量的訓練樣本, 訓練樣本運算復雜度高, 耗時長,難以滿足實時性要求. 特征提取法是先提取測試字符和模板字符的統計特征, 再按照一定準則所確定的決策函數進行分類判決, 經過大量的統計得到測試字符和模板字符的特征向量, 再通過比較測試字符與模板字符特征向量的相似性得到輸入字符的識別結果. 特征提取法可以提取顯著的特征, 對于失真的圖像具有一定的魯棒性,但是提取特征的時候會消耗大量時間[13,14]. 本文首先利用模板匹配法對相似字符進行初步識別, 然后利用局部HOG特征和分層LBP特征進行二次識別, 實驗結果表明識別率明顯提高.

2 LBP特征

LBP(local binary pattern)是一種用來描述圖像局部紋理特征的算子. 原始LBP[15]首先由Ojala等人在1996年提出, 它主要反映每個像素與周圍像素的關系.后來相關研究人員不斷對其提出了各種改進和優化,分別提出了旋轉不變LBP模式[16]、均勻LBP模式[17].

2.1 原始LBP

原始LBP算子主要思想是在3*3的窗口內, 以窗口中心像素為閾值, 將相鄰的8個像素的灰度值與其進行比較, 若周圍像素值大于中心像素值, 則該像素點的位置被標記為1, 否則為0, 然后將求得的二進制數按逆時針方向串起得到一個二進制編碼, 其對應的十進制數作為中心像素的新值, 并用這個值來反映該區域的紋理信息. 一種常用的3×3鄰域LBP模式如圖l所示, 其二進制編碼為11100001, LBP值=1+32+64+128=225.

圖1 3×3鄰域LBP算子及計算過程

原始LBP計算公式如下:

其中pi為周圍像素灰度值;ci為中心灰度值.

2.2 旋轉不變LBP

原始LBP算子具有灰度不變性, 但不是旋轉不變的, 圖像的旋轉就會得到不同的 LBP值. Ojala等人將LBP算子進行了擴展, 提出了具有旋轉不變性的 LBP算子, 即不斷旋轉圓形鄰域得到一系列初始定義的LBP值, 取其最小值作為該鄰域的LBP值.

2.3 均勻LBP

旋轉不變LBP模式也存在不足之處, 大量的實驗結果表明旋轉不變LBP模式的36種情況在一幅圖像中的分布有較大的頻率差異, 得到的效果并不是很好.因此Ojala等人又提出了均勻LBP模式即uniform LBP.

均勻LBP定義為0—1變換的次數不超過2次的編碼. 所有的8位二進制數中均勻LBP共有58種, 經研究發現大部分值都在其中, 達到90%以上; 另外將非均勻模式歸為一類, 所有的LBP值被分為59類, 這樣特征向量維數從原來的256維變成59維, 起到了降維的作用, 又可以盡可能不損失原始信息.

3 HOG特征

方向梯度直方圖[18](Histogram of Oriented Gradient, HOG)是一種用來描述邊緣和形狀信息的特征描述子. 它主要是通過計算和統計圖像局部區域的方向梯度直方圖來構成特征. 通過將整幅圖像分割成小的連接區域(即為細胞單元), 每個cell生成一個方向梯度直方圖, 這些直方圖的組合可表示所檢測目標的特征.

HOG實現詳細過程如下:

1) 計算圖像梯度

計算圖像像素點),(yx水平方向和垂直方向的梯度, 公式如下:

式中),(yxGx, ),(yxGy, ),(yxf分別表示輸入圖像中像素點),(yx處的水平方向梯度、垂直方向梯度和像素值. 像素點),(yx處的梯度幅值和梯度方向分別為:

2) 為每個細胞單元構建梯度方向直方圖

我們將圖像分成若干個cell, 每個cell為8*8個像素, 用9個bin的直方圖來統計這8*8個像素的梯度信息,也就是將cell的梯度方向360°分成9個方向塊, 梯度大小作為投影的權值. 如圖2所示: 如果這個像素的梯度方向是20°-40°且梯度大小是2, 直方圖第2個bin的計數就加2, 得到此cell的方向梯度直方圖, 即該cell對應的9維特征向量.

圖2 方向梯度直方圖的構建圖

3) 把細胞單元組合成大的塊, 塊內歸一化梯度直方圖

把各個細胞單元組合成大的、空間上連通的區間,每個塊內所有cell的特征向量串聯起來并將其歸一化后得到該塊的HOG特征. 歸一化公式如下:

其中v表示包含給定塊統計直方圖信息的未歸一化向量; δ是一個很小的常數, 作用是為了避免分母為0;是v的k階范數.

4) 收集HOG特征

最后一步就是將檢測窗口中所有塊的特征向量串聯起來得到整體的HOG特征向量, 將它們結合成最終的特征向量供分類使用.

4 局部HOG和分層LBP特征融合的車牌字符識別

LBP算子計算簡單、準確率較高,廣泛應用于局部特征提取; 但是對于復雜圖像提取的準確率較低, 為了得到更加詳細完整的紋理特征, 盧建云等人提出了多級 CS-LBP特征融合的人臉識別方法[19], 利用原始圖像的多級特征的融合來進行人臉的分類識別;考慮到多級 CS-LBP特征融合的方法只能提取圖像的紋理特征,并不能有效地進行邊緣和方向特征的提取, 萬源等人提出了LBP和HOG的分層特征融合的人臉識別方法[20].

前文提到的模板匹配法誤識別率太高, 主要是針對相似字符, 通過實驗統計得到模板匹配法一般會出現誤識別的相似字符: Q—＞ 0、C—＞D、O—＞D、S—＞8、B—＞8、L—＞ E、F—＞ E 、P—＞R、粵—＞閩、粵—＞青、等.

針對此問題, 相關學者提出了一種提取字符躍變特征進行二次識別的方法[21]. 結合躍變特征法實際上就是從左到右逐列掃描字符像素點時, 會出現“黑—＞白”或“白—＞黑”這兩種躍變情況, 統計好每列的躍變次數作為字符的躍變特征, 最后將待識別字符躍變次數最相近的模板字符作為識別結果. 通過實驗統計得到結合躍變特征法一般會出現誤識別的相似字符: S＜—＞8.

針對上述車牌字符識別問題, 為了進一步提高車牌識別率, 本文在上述人臉識別方法的啟發之下, 提出了一種局部HOG和分層LBP特征融合的車牌字符識別方法, 該方法主要是首先利用模板匹配法進行車牌字符初步識別, 然后提取相似字符相同區域的局部HOG特征和局部分層LBP特征進行車牌字符的二次識別, 最后達到更高的識別率.

4.1 局部特征

目前, HOG特征和LBP特征在車牌識別算法中已經表現出很好的識別性能, 但經過相關學者研究發現,這兩種算法在特征表達上存在數據冗余, 使得特征提取及分類器的訓練計算量很大,嚴重影響了識別速度.為了充分利用字符圖像的特征,減少數據冗余,本文只提取相似字符的局部HOG和局部LBP特征, 而且本文采用均勻LBP模式以減少計算復雜度. 根據每類相似字符的特點, 只選擇整個字符(本文歸一化字符大小為20*40)中最具有區分度的一小塊進行特征提取. 如圖3所示: (a)為右下角區域、(b)左中間區域、(c)左下角區域.

圖3 本文算法的典型示例

4.2 分層特征

LBP特征是對灰度圖像的像素值進行操作, 所以灰度圖像經過LBP算子提取特征后仍然得到一幅具有灰度大小變化的圖像. 為提取圖像更豐富的紋理特征,間接得到原始圖像的灰度變化情況, 可以對一幅車牌字符圖像進行分層LBP特征的提取. 模板字符“8”、“B”和“S”(本文模板字符大小為20*40)的LBP分層特征以及HOG特征提取效果圖如圖4所示.

圖4 LBP分層特征和HOG特征提取效果圖

4.3 局部HOG和分層LBP特征的融合

其主要思想是先提取原始圖像中最具區分度的一小塊HOG特征, 得到邊緣輪廓特征; 然后對原始圖像中最具區分度的一小塊進行多次LBP特征的提取, 得到分層LBP特征; 將兩種特征進行融合, 得到圖像的最終特征.

算法具體流程如下:

Step1. 對車牌字符圖像中最具區分度的一小塊進行HOG特征提取, 得到車牌字符圖像的局部邊緣輪廓特征.

Step2. 對車牌字符圖像中最具區分度的一小塊進行m次LBP特征提取, 得到m幅特征提取的局部字符圖像, 即LBP(m),(m=1,2,3, 4).

Step3. 采用均勻LBP模式統計每幅特征提取的局部車牌字符圖像, 進而構建特征向量, 得到分層LBP特征, 即LBPi(i=1,2,3,4).

Step4. 將局部分層LBP特征與局部原始HOG特征進行融合, 得到LBPiHOG(i=1,2,3,4).

如: LBP2HOG表示第二層LBP特征與HOG特征的融合, 即{LBP2, HOG}.

算法流程圖如圖5所示(以左下角區域為例).

圖5 算法流程圖

5 實驗結果及分析

本文使用Visual Studio 2012進行編程實現, 計算機系統是Windows 7 [Intel(R) Core(TM) i5-4590 CPU 3.30GHZ, 8G內存].

本文中如圖3所示, 塊的起始位置和大小的選取至關重要, 若沒選好, 根本達不到正確識別相似字符(本文歸一化字符大小為20*40)的效果, 通過實驗得到塊的最佳起始位置和大小的參數, 如表1.

表1 塊的起始位置和大小設置

通過大量實驗數據統計得到11種算法識別率和時間對比情況如表2和表3, 不同傾斜角度影響下字符“B”的實驗效果對比情況如表4, 部分車牌實驗效果對比情況如表5. 由表2我們可以看出在模板匹配的基礎之上結合躍變特征、結合局部分層LBP特征與結合局部HOG特征算法識別率遠遠超過了單一的模板匹配法, 而且結合局部HOG特征法明顯優于結合躍變特征法. 其原因主要有三個:

其一, 結合躍變特征法無法真正區分相似字符8和S. 如圖6所示, 模板字符“8”和“S”左側、中間、右側的躍變次數幾乎都為4, 不同之處就在于第5列和第15列(大概黃線位置)左右處的躍變次數由于字符的筆畫粗細不均勻等因素而無法真正的確定, 然而車牌字符“8”和“S”經過前期的車牌定位和字符分割環節之后,統計得到的第5列和第15列(大概黃線位置)左右處的躍變次數就不一定可以跟模板字符的躍變次數完全正確匹配, 最終導致字符“8”和“S”識別的隨機性.

圖6 模板字符“8”和“S”

其二, 結合躍變特征法抗字符分割影響能力相對較差. 如圖7所示, (c), (d)和(e)是部分歸一化后車牌字符,由于受字符分割影響, (c)和(d)與模板字符a)最大的區別就在于字符(c)和(d)最下邊沒有和邊界貼緊, 這樣就會導致字符(c)和(d)躍變次數都會加1, 躍變次數幾乎全部出錯, 無法跟模板(a)匹配成功; 但由于模板字符“E”中間的一橫要比“F”短一點, 在第17列(大概黃線位置)左右處(c)和(d)的躍變次數跟b)是一樣的, 都是3, 所以會出現(c)、(d)跟(b)有相對較高的相似度, 導致誤識別; 同理可以分析(e)的情況. 通過實驗得知, (c)和(d)誤識別成了(b), (e)誤識別成了(a)(即E—＞ F、F—＞E).

圖7 模板和車牌字符“E”和“F”

其三, 結合躍變特征法抗光照影響能力相對較差.如圖8所示, 車牌字符(b)是車牌(a)的最后一個字符“0”,經二值化、字符分割以及歸一化后得到字符(c), 由于受光照影響, 車牌字符(c)與模板字符“0”最明顯的區別就是右下角區域車牌字符(c)多了一條白色弧線, 這樣會導致(c)右半邊的躍變次數都加2, 無法跟模板字符“0”的躍變次數成功匹配; 但是模板字符“Q”右半邊的躍變次數有些和(c)是一樣的, 這樣會出現(c)和“Q”的相似度較高, 導致誤識別(即0—＞Q); 同理可以分析車牌(a)其他字符的情況, 車牌(a)的其他字符識別效果對比情況如表5所示.

圖8 模板和車牌字符“0”和“Q”

考慮到傾斜角度過大會影響車牌定位和字符分割環節, 進而可能會導致字符識別環節無法進行, 所以本文采集的圖片傾斜角度范圍大概在-11°～11°之間,確保可行的車牌識別系統. 由表4可以看出, 結合局部HOG特征法抗傾斜影響能力相對結合局部分層LBP特征法較差. 結合局部HOG特征法只能在較小角度范圍(-3°～3°)內正確識別字符, 角度稍大就會識別出錯; 結合局部分層LBP特征在較大角度范圍(-11°～11°)內任然可以正確識別, 其中LBP3識別性能最佳.如圖9所示, 車牌(-1°～1°)經過仿射變換進行傾斜校正之后字符“B”有輕微的形變, 結合局部HOG特征法可以正確識別; 但是車牌(7°～9°)經過仿射變換進行傾斜校正之后字符“B”有很大的形變, 主要是字符筆畫粗細不均勻. 歸一化字符b)和模板字符“B”(如圖4)左中間區域(如圖3(b))有明顯的不同; 模板字符“B”最左側像素點的值全部是255, 沒有梯度方向和梯度幅值, 而(b)最左側出現了一些像素點的值為0, 這樣就會造成一些像素點出現了梯度方向和梯度幅值, 所以其左中間區域梯度方向直方圖與模板字符“8” 有較高的相似度, 導致誤識別(即B—＞8).

圖9 不同傾斜角度車牌識別過程

表2 算法識別率對比情況(%)

表3 算法時間對比情況(ms)

由表2可看出, 對于所有的相似字符的識別, 結合局部HOG特征法優于結合局部分層LBP特征法.雖然結合局部分層LBP特征法對傾斜字符具有魯棒性,尤其是字符“B”和“8”; 但是對于其他的相似字符, 利用其紋理信息進行識別的準確度不如利用其邊緣輪廓信息. 針對LBP特征和HOG特征算法的不足, 結合兩種算法的優點, 本文提出一種局部HOG和分層LBP特征融合的車牌字符識別方法. 本文通過實驗比較了11種算法的識別性能, 結果表明, 單一的LBP特征和HOG特征遠不如本文方法, 本文方法具有明顯的優越性, 其中LBP3HOG識別率最高, 車牌字符識別率達到99.52%.

由表3可知二次識別的方法相對模板匹配法較慢一點, 實際上這11種方法時間都差不多, 相差2ms左右; 由實驗可知, 算法時間會隨著圖像像素點個數的增多而增加, 主要原因是車牌定位和字符分割環節要多次掃描圖像像素點來進行定位和分割, 本文大部分輸入的圖片大小是900*505, 算法時間約24ms.

表4 不同傾斜角度影響下字符“B”的實驗效果對比

表5 部分車牌實驗效果對比情況

車牌圖像 HOG LBP1HOG LBP2HOG LBP3HOG LBP4HOG

6 結論

本文從車牌字符的結構特點出發, 針對模板匹配法無法準確識別相似字符的不足, 結合LBP和HOG特征各自的優點, 提出了一種局部HOG和分層LBP特征融合的車牌字符識別方法. LBP特征主要提取圖像的紋理信息, 對旋轉具有很好的魯棒性; HOG特征主要提取圖像的邊緣輪廓信息, 在質量較好的圖片中, HOG特征對相似字符表現出良好的識別性能; 另外, HOG特征對光照和字符分割影響具有一定的魯棒性.本文通過實驗比較了11種算法的識別性能, 結果表明,單一的LBP特征和HOG特征遠不如本文方法, 本文方法具有明顯的優越性, 在保證車牌識別速率的同時識別率得到進一步的提高.

1 Xu HK, Yu FH, Jiao JH, Song HS. A new approach of the vehicle license plate location. Proc. International Conference Parallels Distribution Computation Application Technology. Dec., 2005. 1055–1057.

2 Shi X, Zhao W, Shen Y. Automatic license plate recognition system based on color image processing. Lecture Notes Computation Science, 2005, (3483): 1159–1168.

3 Matas J, Zimmermann K. Unconstrained license plate and text localization and recognition. Proc. IEEE Conference Intelligent Transportation System. Sep., 2005. 572–577.

4 Bai H, Liu C. A hybrid license plate extraction method based on edge statistics and morphology. Proc. International Conference Pattern Recognition. 2004, 2. 831–834.

5付煒,趙正則,王大江.基于水平灰度跳邊和垂直投影的車牌定位方法.電子測量技術,2008,31(3):61–65.

6 遲曉君,孟慶春.基于投影特征值的車牌字符分割算法.計算機應用研究,2006,23(7):256–257.

7 Miyamoto K, Nagano K, Tamagawa M, Fujita I, Yamamoto M. Vehicle license-plate recognition by image analysis. Proc. International Conference Industrial Electronics Control Instrumentation. 1991,3. 1734–1738.

8 Gao Q, Wang X, Xie G. License plate recognition based on prior knowledge. Proc. IEEE International Conference Automation Logistics. Aug., 2007. 2964–2968.

9陳瑋,曹志廣,李劍平.改進的模板匹配方法在車牌識別中的應用.計算機工程與設計,2013,34(5):1808–1811.

10 Chen N, Xing L. Research of license plate recognition based on improved BP neural network. Computer Application and System Modeling, 2010, (11): 482–485.

11 Juntanasub R, Sureerattanan N. A simple OCR method from strong perspective view. Proc. Applied Imagery Pattern Recognition Workshop. 2004. 235–240.

12羅輝武,唐遠炎,王翊,藍利君.基于結構特征和灰度特征的車牌字符識別方法.計算機科學,2011,38(11):267–270,302.

13 Du S, Ibrahim M, Shehata M, Badawy W. Automatic License Plate Recognition(ALPR): A state-of-the-art review. IEEE Trans. on circuits and systems for video technology, 2013, 23(2): 311–325.

14 方興林.基于字符筆畫斜率特征的車牌識別算法研究.重慶工商大學學報(自然科學版),2014,(9):72–76.

15 Ojala T, Pietik?inen M, Harwood D. A comparative study of texture measures with classification based on feature distributions. Pattern Recognition, 1996, (29): 51–59.

16 Pietik?inen M, Ojala T, Xu Z. Rotation-invariant texture classification using feature distributions. Pattern Recognition, 2000, (33):43–52.

17 Ojala T, Pietik?inen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971–987.

18 殷羽,鄭宏,高婷婷,劉操.基于聯合HOG特征的車牌識別算法.計算機工程與設計,2015,36(2):476–481.

19盧建云,何中市,余磊.基于多級 CS-LBP 特征融合的人臉識別方法.計算機工程與學習,2010,32(6):48–51.

20萬源,李歡歡,吳克風,等.LBP和HOG的分層特征融合的人臉識別.計算機輔助設計與圖形學學報,2015, (4):640–650. 21王鋒,王福龍.基于躍變特征的車牌字符識別.計算機應用研究,2015,32(12):398–400.

Fusion with Local HOG and Layered LBP Feature for License Plate Character Recognition

GAO Cong, WANG Fu-Long
(School of Applied Mathematics, Guangdong University of Technology, Guangzhou 510520, China)

In order to solve the low recognition rate of template matching method in license plate character recognition, especially the problem that the similar characters cannot be identified accurately, this paper proposes a method of license plate character recognition based on the fusion of local HOG and layered LBP feature. Firstly, we use the template matching method for preliminary identification of all the characters of license plate. Then, a small edge feature of the biggest difference in the similar characters of the license plate and the template is extracted by using HOG operator, and then the layered texture feature of the same area block of HOG in the similar characters of the original license plate and the template is extracted by using LBP operator. Next, serial feature vectors are constructed with serial fusion of the edge feature and the layered texture feature. Finally, according to the Chi square distance between the feature vectors, we measure the similarity of the license plate characters and the template characters, and then complete the second recognition. The recognition performances of the 11 algorithms are compared through experiments. The results show that this method is very effective to solve the problem of false recognition of similar characters and the recognition rate is improved significantly at the same time, which is as high as 99.52%.

license plate recognition; template matching; local HOG feature; layered LBP feature; feature vector

廣東省自然科學基金(S2011040004273)

2016-07-11;收到修改稿時間:2016-09-02

10.15888/j.cnki.csa.005682