基于SVM的偏斜車牌識別

張笑，張明

（上海海事大學信息工程學院，上海201306）

基于SVM的偏斜車牌識別

張笑，張明

（上海海事大學信息工程學院，上海201306）

車牌識別系統一直是當今科研的熱點。研究與實現車牌圖像以達到SVM（支持向量機）的識別分類格外重要。其中的困難是實現對偏斜程度大的車牌圖像識別分類，采用一種擴大圖像旋轉和仿射變換結合的識別算法。最后利用得到的正視角矩形，用于后期的SVM訓練和測試。實驗結果表明：該算法適用于復雜的車牌定位環境，而且準確率高和實用性強。

車牌識別；支持向量機；偏斜程度；擴大圖像旋轉；仿射變換

0　引言

目前圖像處理與模式識別技術在智能交通中的應用——車牌識別，其中車牌的精確定位和車牌字符的準確識別是車牌識別系統的關鍵問題。目前國內外還沒有統一的標準用來識別車牌，本文主要研究是大偏斜程度車牌的定位和識別，這是基于下一步字符識別的前提，在車牌識別系統中占有很重要的地位。

一般的車牌定位方法都會遇到同樣的問題，即通過給定閾值來獲取ROI區域，而通過閾值的最小矩形ROI區域的視角并非是正視角，最小矩形ROI區域的車牌也未必是正角矩形，如果把整個圖像旋轉，則算法效率太低，就算對整個圖像旋轉成正視角圖像，但是ROI中的車牌也并非是正角矩形，這極大地影響后面的車牌識別，導致識別效率低。

本文首先利用HSV顏色空間［1］和邊緣特征獲取大程度偏斜圖像［2］的車牌，為了避免整個圖像旋轉的計算量大問題，使用對截取的ROI區域進行旋轉來減少計算時間，之后利用擴大旋轉方法和仿射變換方法來獲得正視角的正角矩形車牌。至此，就可以利用此車牌來進行SVM訓練［3］，訓練的結果可以用來后續的測試［4］，也可以識別一幅圖像中多個車牌。實現證明：此方法較好地解決了偏斜程度大車牌圖像的識別準確率，可以運用到以后的項目中。

1　車牌識別

1.1識別分類流程

車牌識別的大體流程如圖1所示，主要分為HVS顏色定位、正視角判斷、擴大旋轉、四邊形判斷、仿射變換、SVM訓練和測試。即通過交通采集的大程度偏斜圖像進行HSV定位車牌，然后一步一步進行修正處理，最后得到正視角車牌給SVM訓練和測試。

圖1　車牌識別分類流程

1.2顏色定位

采集到合適的圖像是完成車牌識別的前提，本次實現采用的是交通拍攝的圖片，百度或其他網站下載的圖片由于像素、大小、分辨率等原因可能識別效果不是很好。本文使用HSV顏色模型來定位車牌。其中H表示色調，S表示飽和度，V表示亮度。由RGB模型到HSV模型的轉化公式如下：

其中，max=max（R，G，B），min=min（R，G，B）

中國車牌有4種顏色包括藍色、黃色、黑色和白色，由統計數據可得到各顏色在HSV空間中的范圍，如表1所示。

表1　車牌顏色HSV分布

車牌定位方法如下［1］：

（1）將圖像的顏色空間從RGB轉為HSV，對于圖像使用直方圖均衡進行預處理；

（2）依次遍歷圖像的所有像素，當H值落在200-280之間并且S值與V值也落在0.35-1.0之間時標記為白色像素，否則為黑色像素；

（3）對僅有黑白二值圖使用閉操作，取輪廓等方法截取外接矩形出來。

1.3正二值化

通過判斷是否是正視角矩形或者角度差在正負5度左右，如果是可以直接進行訓練，如果不是，將進行擴大圖像處理。將顏色定位的圖像加強，能夠更加清晰車牌與背景的區別，采用正二值化方法公式如下：

直接采用上述的二值化后的圖像旋轉，計算量大，增加系統處理時間，所以采用外接含有車牌部分圖塊得到外接矩形ROI塊，并保存ROI塊到新的圖像中，不在和原來圖像有任何關聯，首先了解簡單旋轉如下圖2：

圖2　旋轉矩形

產生三個問題：

（1）一種是在原圖像對應點且還在視框內的，這些點被正常顯示；

（2）另一種是在視框內但找不到原圖像與之對應的點，這些點被置0值（顯示為黑色）；

（3）最后一種是有原圖像與之對應的點，但不在視框內的，這些點被拋棄。

解決方法：新建一個尺寸為原始圖像1.5倍左右的新圖像，顯示區域擴大以后，把原始圖像映射到新圖像上，那些在原圖像中沒有值的像素被置了一個初值。于是我們得到一個包含所有感興趣區域的，都被完整顯示的旋轉后圖像。

1.4判斷車牌是否是四邊形

為了判斷正二值化圖像中白色部分是否是平行四邊形。就是直在獲取的ROI中獲取其矩形的四個坐標點如下圖3：

圖3　ROI圖塊

為了實現一個魯棒性更好的計算方法，用這四個點來計算斜率。判斷平行四邊形是左斜還是右斜公式如下5所示：

1.5仿射變換

在實現了旋轉功能后，并且在旋轉后的區域中截取了車牌區域ROI，然后判斷車牌區域中的圖形是平行四邊形。那么平行四邊形如何變換成一個直角矩形？仿射方法要求輸入的參數是原始圖像的左上點，右上點，左下點，以及輸出圖像的左上點，右上點，左下點。如圖4將矩形變成四邊形，注意必須保證這些點的對應順序，需要的是三個點對（共六個點）的坐標，然后建立一個映射關系，將原始圖像的所有點映射到目標圖像上。

圖4　變換原理

而目標是把車牌區域中的平行四邊形映射為一個直角矩形。選取了車牌區域中的平行四邊形車牌的三個關鍵點，然后再確定車牌扭正成的矩形的三個關鍵點，但是圖像會根據斜率的正負，而左偏或右偏。需要采取辦法調整，為保證新的正視框中心能夠正好與車牌的中心重合，只要選擇偏移xidff/2長度。正如下圖5所顯示的一樣。

圖5　仿射變換

坐標調整意旨當中心點保持不變時，平行四邊形扭正為矩形時，恰好是左上的點往左偏移了xdiff/2的距離，左下的點往右偏移了xdiff/2的距離，形成一種對稱的平移。

1.6SVM訓練和測試

（1）訓練過程［4］

至此，已經完美的將大偏移程度的車牌扭轉成正視角的正角矩形，此時就可以用來訓練，注意在第一步通過HSV得到的不一定是正真的車牌，同樣需要進行上面的所有步驟進行扭轉得到樣本。將SVM訓練參數設置為自動訓練參數，將車牌和非車牌一起訓練并且打標簽，是車牌的打1標簽，非車牌的打0標簽。最后發現可以測試單幅圖像中多車牌的情況。

（2）評價

但是實際過程中用生成的SVM模型去測試數據時，也會產生一個預測標簽，與定義的標簽存在誤差，這是模型的誤差。下面兩種誤差，①圖片是真車牌，而SVM模型判斷是非車牌；②圖片不是車牌，SVM判斷是車牌。設計兩個指標就是下面要說的“準確率”（precision）和“查全率”（recall）。準確率是統計已經預測為車牌的圖片中真正車牌數量所占的比例。查全率表示統計真正車牌中，統計出為車牌數量的比例。用ptrue_rtrue表示預測（p）為車牌并且實際（r）為車牌的數量，而用ptrue_rfalse表示實際不為車牌的數量。而pfalse_rtrue表示實際為車牌，但預測為非車牌的統計數量。

機器學習引入了Fscore［5］這個數值。當precise和recall兩者中任一者比較高，而另一者比較低的，Fscore都會較低。兩者中等的情況下Fscore表現比一高一低要好。當兩者都很高時，Fscore會很高，計算公式如8：

2　實驗結果與分析

2.1實驗說明

實驗程序是在Visual Studio 2013軟件上開發，使用開源計算機視覺庫OpenCV3.0.計算機硬件：Intel Pentium CPU主頻2.5GHz，內存4GB。

2.2偏斜程度大的車牌圖像的扭正

實驗數據采用的是交通圖像，圖像像素大小一般沒有限制，實驗實現了偏斜程度大的車牌的扭正。如下圖6：

圖6　扭正過程

由圖可知：通過HSV定位后的車牌，通過二值化后更加清晰可見，使用外接矩形法可以減少計算量，擴大旋轉法保證了圖像不會丟失信息，并且仿射變換能夠將平行四邊形的車牌扭成正視角矩形，其效果明顯可見。

2.3SVM車牌識別分類

利用SVM將最后得到車牌和非車牌進行訓練和測試，并將SVM訓練參數設置為自動訓練參數。利用HSV可以定位到圖像中多車牌，將得到圖塊進行訓練和測試如下圖7：

圖7　SVM識別過程

由圖可知，可以識別一幅車牌圖像中有多個車牌的定位，再用SVM測試集來測試車牌，這樣就可以判斷是否是車牌，解決了大尺度偏斜程度能夠提高SVM訓練效果。經過測試車牌的識別率提高到90%以上。

2.4性能評價

SVM訓練集、訓練集以及性能評價如下表3和表4：

表3　訓練數據

表4　測試數據

從表中可以看出：當選用是車牌和非車牌結合的SVM訓練集中，識別率達到92%；當選用是車牌和非車牌結合中，precise準確率為87.5%；當只有真實車牌時，查全率recall為97.8%；而Fscore為92.3%，所以偏斜程度大的車牌扭正之后識別率超過了90%。

3　結語

本文很好地解決了偏斜程度大的車牌圖像識別過程，首先利用HSV參數范圍定位中國車牌，然后正二值化，以及如何減少整個圖像旋轉的計算量，利用擴大旋轉方法解決了圖像旋轉之后會丟失信息的問題，同時通過仿射變化把平行四邊形修正成正視角正角矩形，在得到的所有車牌或非車牌通過SVM訓練的得到訓練集用來測試所給的任意交通車牌圖像。實驗結果證明，本文采取的擴大旋轉和仿射變換結合的方法有利于車牌的識別和提高了識別效率，具有很強的實用性，有利于后期的字符識別，為字符識別提供了可靠的車牌圖像塊。

［1］王夏黎，周明全，耿國華．一種基于HSV顏色空間的車輛牌照提取方法［J］．計算機工程，2004，30（17）：133－135．

［2］王國良，梁德群．一種新的車牌定位與傾斜校正方法［J］．計算機應用，2008，28（7）：1890－1891．

［3］劉江華，程君實，陳佳品.支持向量機訓練算法綜述［J］.信息與控制，2002（01）.

［4］David M.J.Tax，Robert P.W.Duin.Support Vector Data Description［J］.Machine Learning，2004（1）.

［5］Kaushik Deb，Ibrahim Khan，Anik Saha，Kang-Hyun Jo.An Efficient Method of Vehicle License Plate Recognition Based on Sliding Concentric Windows and Artificial Neural Network［J］.Procedia Technology，2012.

Skew License Plate Recognition Based on SVM

ZHANG Xiao，ZHANG Ming
（Department of Information Engineering，Shanghai Maritime University，Shanghai 201306）

LPR system has been a hot research today.Research and implementation of license plate images to achieve the SVM classification identify is particularly important.Which it is difficult to achieve a large degree skew license plate image recognition and classification，uses a combination of expanded image rotation and affine transformation recognition algorithm.Finally gets a positive perspective rectangle for the latter part of SVM training and testing.Experimental results show that：the algorithm is suitable for complex license plate positioning environment，and has high accuracy and practicality.

License Plate Recognition；Support Vector Machine；Skew Degree；Expanded Image Rotation；Affine Transformation

1007-1423（2016）23-0064-05DOI：10.3969/j.issn.1007-1423.2016.23.016

張笑（1991-），男，江蘇淮安人，碩士研究生，研究方向為圖像處理技術與模式識別開發

2016-05-19

2016-08-10

張明（1957-），男，江蘇盱眙人，博士，教授，研究方向為多媒體信息處理、計算機視覺、人工智能等