基于Hough變換與SVM的高速公路車牌識別系統
2022-06-06 08:42:01曾夏明
西部交通科技 2022年3期
摘要：針對ETC車道車牌識別難的問題，文章介紹了一套適用于人工車道與ETC車道的車牌自動識別系統。該系統采用HSV色彩分割與連通域分析相結合的方式來檢測車牌區域，通過一種基于Hough變換與像素點投影的方法來實現車牌字符的傾斜校正與分割，并采用SVM分類器對車牌字符進行識別。測試結果表明，該車牌識別系統正確識別率高、識別速度快，且能夠有效地校正車牌的傾斜，具有在實際場景中應用的可行性。
關鍵詞：HSV;Hough變換;SVM;車牌識別
中圖分類號：U491.5+12
0 引言
電子收費系統（Electronic Toll Collection，ETC）是一種快速且高度自動化的道路收費系統，其能夠自動化地識別車輛信息，并計算往來車輛所需支付的道路使用費用。而隨著ETC在全國的推廣，如何提高通行車輛的識別效率成了有待進一步研究的問題。車牌識別技術是ETC的核心技術，也是智能交通系統中的關鍵技術[1]。車牌識別技術主要使用機器視覺技術來識別車牌和提取車牌上的信息，因其具有提高交通管理效率和行車速度以及降低成本等優勢，被廣泛運用于交通道路疏通、停車場收費管理、機場出入口車輛管理及高速公路違章車輛信息采集等領域。
車牌識別技術主要由三個內容組成：畫面中車牌的定位、車牌字符的傾斜校正及字符識別[2]。其中車牌定位有基于邊緣檢測[3]、基于顏色分割[4]等方法。基于邊緣檢測的定位方法具有較好的降噪效果與實時性，但該方法易受光照的影響，誤檢率較高;基于顏色分割的車牌定位方法主要是利用車牌的底色與背景顏色進行區分進而在畫面中定位車牌區域。因為車牌的顏色具有標準規定，在通常情況下該方法具有快速且準確的定位效果，但當車輛與車牌底色顏色相似時則識別率較低。在車牌字符的傾斜校正方面，常用的方法有基于Radon變換與Hough變換的方法[5]，兩者原理基本相同，車牌的校正效果都較佳。而對于車牌識別方面，常用的有模板匹配、神經網絡[6]及基于機器學習[7]等方法。基于模板匹配的識別方法具有快速且方便的優勢，但對于噪聲敏感及相似字符識別效果則不太令人滿意，需要與其他方法搭配使用以達到一個較好的識別效果;基于神經網絡的識別方法具有較好的魯棒性與識別準確度，但前提是需要建立大量的訓練樣本;而基于SVM分類機的識別方法則不需要制作大量的訓練樣本集同樣也可以實現快速、準確的字符識別。
車牌識別技術使用圖像作為獲取[JP+1]信息的手段，而因為相機的安裝位置、工作環境等因素會對圖像造成影響，車牌識別技術依舊面臨著各種挑戰。本文結合已有的研究成果及車牌自身特點，針對車牌識別系統中的重點問題提出解決方案。首先通過HSV色彩空間與連通區域分析的方法來定位車牌區域，然后利用Hough變換與像素點投影的方法來完成車牌的傾斜校正與分割，最后采用SVM分類機來分類漢字字符與數字字母字符。
1 車牌識別系統流程
車牌識別系統為從圖像中檢測車牌目標，并提取字符信息的一系列圖像算法，其主要流程如圖1所示：（1）車牌的定位，這是指從攝像機拍攝的畫面中尋找車牌區域;（2）車牌校正與分割，由于車牌與攝像機常呈一定角度，圖像中的車牌畫面在絕大多數情況下都存在一定的透視變形，因此在識別字符之前需要先對車牌部分進行傾斜校正，并裁剪出標準化的單個字符圖像，以方便最后的識別;（3）車牌字符的識別，其作用為根據形態學特征，準確識別圖像中存在的特定字符。
2 定位車牌
2.1 基于MSR與HSV的圖像預處理
因車牌采集環境較為復雜，得到的圖像質量不佳，應通過增強圖像的色彩信息來改善圖像質量。為此，先通過MSR（Multi Scale Retinex）[8]圖像增強算法來增強圖像中的暗部信息。MSR常用于提升拍攝于低光照水平畫面的亮度，可以很好地解決光線昏暗導致的圖像細節信息缺失的問題。
然后將RGB色域圖像轉換為HSV色域。HSV色域將RGB空間的三原色信息轉化為色調（H）、飽和度（S）、亮度（V）三種信息，由于這一顏色空間將顏色信息與亮度信息獨立，有利于排除光照影響，在圖像中保留目標本身的顏色信息。
根據《中華人民共和國機動車號牌》（GA36-2007）的規定，我國機動車輛的牌照共有藍底白字、黃底黑字、黑底白字和白底黑字4種樣式。為確定各個顏色在H、S、V通道的值域，拍攝同一背景色的車牌處在不同光照環境及背景下的照片，統計圖片中車牌部分在HSV空間中的三個分量值信息，再對算法中三個分量的取值進行區間估算。當車牌為黃底或藍底時，由于兩者間明度差別不大，不用考慮V分量;若為車牌白色或黑色，由于兩者間明度差別較大，則只考慮V分量。具體公式如下：
通過如上方法統計的車牌圖像信息，確定了車牌顏色在HSV顏色空間的閾值范圍（如表1所示）。在此基礎上可利用H、S通道分量閾值范圍與二值化方法相結合，在圖片中提取出車牌區域。
2.2 形態學處理
在前文中得到的車牌區域圖像為二值化圖像，其中包含了大量的干擾信息，形態學處理的目的就是去除這些干擾信息。車牌的尺寸一般規定為（440×140）mm，根據這一信息，采用長寬比為3：1的矩形結構元素對HSV二值化后的圖像進行閉運算來獲得連通區域，再使用開運算去除圖像噪聲，并對連通區域進行彩色標記，以便更準確地檢測車牌區域的位置。
2.3 投影定位
經由上述形態學處理后的圖像并不完全為車牌區域，其為包含車牌區域及車牌周圍一定范圍的偽車牌區域。為此，本文根據連通區域的寬度、高度、寬高比、面積及像素密度等參數去除偽車牌區域，保留感興趣的車牌區域，從而實現車牌的定位。具體車牌定位過程如圖2所示。
3 車牌校正與分割
3.1 基于Hough變換車牌校正
由于二維成像原理的限制，當相機的拍攝角度不正對著車牌時，拍攝出的車牌圖像相對于車牌原本的外觀會有一定的透視變形。為校正這一傾斜，采用基于Hough變換方法對車牌進行傾斜校正。對于圖像上的點（a，b），通過ρ=a cosβ+b sinβ轉換到參數空間的點（ρ，β），在ρ-β上的一條正弦曲線對應著原始圖像中的任意一點。然后，對車牌圖像中的每個像素點進行Hough變換，計算出β值，也就是車牌傾斜角度，進而實現校正。具體效果如圖3所示。
3.2 車牌字符分割
在分割單個字符之前，需采用水平投影法對校正后的車牌圖像進行邊框裁剪，得到最終的車牌字符數據。在分割字符時，本文根據以下三種情況，采用不同的分割策略。
3.2.1字符粘連
當W 3.2.2 字符斷裂 若char widthj<0.5×width，且0.5×width>char widthj+1（char widthj為當前字符寬度，char widthj+1為下一個字符寬度），則判斷為字符斷裂，可將當前字符與下一個字符合并。 3.2.3 字符為數字“1” 當char width<0.5×wid且th 4 基于SVM的車牌字符識別 4.1 支持向量機SVM 支持向量機（Support Vector Machine，SVM）用于兩類目標和多類目標之間的區分計算。SVM基于統計學習理論，主要針對小樣本問題，能夠在較少的樣本信息中求出最優解，可以有效地解決非線性問題和高維數據分類等問題。基于以上原因，本文使用SVM來進行單個字符的識別工作。 SVM識別車牌的流程如下頁圖5所示，首先，對素材進行歸一化處理，以制作適合分類的樣本素材。由于原始特征的數據量龐大，為了提高識別效率，通過選擇提取字符的特征來壓縮特征信息量，構建出多維特征信息。最后，使用訓練好的多類別SVM分類機來識別對應的字符。 4.2 字符圖像歸一化 根據《中華人民共和國機動車號牌》（GA36-2007）的規定，我國機動車牌照由一位代表牌照所在地區的漢字和多位數字、英文字母組成的編碼構成。考慮到三者之間的區別，本文將識別對象分為漢字字符對象與數字字母字符對象兩類。 由于原始圖像之間的拍攝距離和拍攝角度不盡相同，提取后的字符圖像之間也不一致。在這樣的情況下，直接進行字符特征提取并分類的效果往往不佳。為了消除因字符素材的形狀、尺寸等參數不同而造成的特征提取效果不佳的問題，應對分割后的字符使用雙線性插值法歸一化為42×84像素的圖像。 4.3 基于網格的數字字母字符特征提取 為了更好地提煉數字與字母字符特征，應將數字字母字符圖像分割為2×4個像素塊，并計算特征點、閉合環數、環面積及Hu幾何不變矩四種特征量，如圖6所示。 4.3.1 特征點計算 特征點包括端點、二叉點和三叉點。假設某像素點的像素值為P1，該像素點的8鄰域像素值為P2～P9（如圖7所示，按螺旋法則劃分），則可通過式（2）計算出判斷值T，當T=1時P1為端點，T=2時為二叉點，T=3時為三叉點。 4.3.2 閉合環數計算 為計算像素塊的閉合環數特征，需要先根據像素塊i中的端點ni1、二叉點ni2和三叉點ni3計算像素塊的邊數E： 4.3.3 閉合環面積計算 已知像素塊i中的頂點數量N，假設（xj，yj）是頂點j的坐標，則閉合環的面積Si可通過以下公式計算： 4.3.4 Hu幾何不變矩計算 Hu幾何不變矩不會受到圖像經平移、選擇和放大等操作的干擾，擁有很好的描述圖片曲線特征的能力。離散像素點f（x，y）的（p+q）階中心矩的計算方法為： 式中：wid與hei——像素塊的寬度與高度; （x0，y0）——矩心坐標。 在此基礎上需要將中心距歸一化，以獲得旋轉不變性，計算如下： Hu幾何不變矩為利用圖像的二階和三階中心距組合而成的7個不變矩，其計算方式如下： 4.4 基于筆畫的漢字字符特征提取 漢字字符同樣使用2×4網格劃分為8格像素塊，但由于漢字的復雜性，將使用與字母數字不同的特征提取方法。本文共設計了質心、散度、筆畫復雜度、13點特征及圖像對稱系數來描述漢字字符對象。 4.4.1 質心的計算 二值圖像的質心可體現圖案輪廓的集中位置。設像素塊i在x軸方向上的質心與在y軸方向上的質心分別為Centerx與Centery，其計算方法如式（8）～（9）所示，其中（x1，y1）為圖像的左上角坐標，（x2，y2）為圖像的右下角坐標。 4.4.2 散度的計算 與質心相反，散度體現的是區域內筆畫相對于圖案輪廓中心的發散程度。散度同樣分水平方向的散度Divx和垂直方向上的散度Divy，其計算公式如式（10）～（11）所示，其中（cx，cy）為像素塊的中心坐標。 4.4.3 筆畫復雜度的計算 筆畫的復雜程度設計為代表著字符的筆畫在x方向和y方向上的復雜度px、py，計算方式如式（12）～（13）所示，其中σx和σy是像素塊內的像素值在水平方向和垂直方向的標準差。 4.4.4 13點特征的計算 13點特征法體現的是二值圖像的像素值在各個區域、方向上的分布情況。其中前8點特征為各像素塊內的白色像素（像素值為1）的數量Nm，其計算方式如下： 式中：m——像素塊編號; wid和hei——像素塊的寬和高; aij——像素塊內坐標第i行j列的像素點的像素值（在二值圖像中為0或255，所以在計算前需要先將像素值除以255）。 第9點特征為圖像中所有白色像素點的總數，計算方式如下： 第10點、11點特征為對角線上白色像素點的總個數。設像素塊左上角點編號為1，對剩下三個角點以逆時針順序進行編號。考慮到像素塊長寬比為4：1，第10點、11點特征的計算方式如下： 第12點、13點特征為字符圖像的縱軸中線與橫軸中線上白色像素點的總數，計算方式如下： 4.4.5 圖像對稱系數的計算 圖像對稱系數包含了字符的結構信息，應選用基于水平中心軸和垂直中心軸的對稱系數來提取字符圖像的對稱結構信息，計算方式如下： 4.5 基于SVM的車牌字符識別 由于所需識別的對象較多，可根據糾錯編碼輸出法來構造多分類SVM分類器，如圖8所示。根據規定，國內機動車牌共使用31個漢字字符、34個數字與英文字符。本文構造五位編碼的分類器來識別漢字，使用六位編碼的分類器來識別數字與字母。 多編碼SVM分類器結構的分類流程如圖8所示，其中每一個分類器會輸出為0或1兩種結果，將這些結果組合成多位編碼即可用于識別對應的字符。 4.6 測試試驗 本文基于C++ MFC平臺實現了算法構成，并搭建了試驗系統。接下來使用了大量的字符樣本訓練了分類器，并使用500張包含不同車牌的圖片進行測試。 試驗的測試結果為：數字字母字符的識別率為97.2%，平均識別時間為31 ms;漢字字符的識別率為96.6%，平均識別時間59 ms;合計識別率為96.6%，合計平均識別時間為45 ms。 5 結語 本文基于SVM分類器技術開發了一套可適用于人工車道與ETC車道的自動化車牌識別系統。試驗表明，該系統車牌字符的識別率達到96.6%，平均識別時間為45 ms。由此可見，該系統的識別率足以應用于較為復雜的檢測場景，且識別速度符合ETC系統對檢測即時性的要求。 參考文獻 [1]張明軍，俞文靜，李偉濱，等.一種基于機器學習的車牌識別系統的設計[J].計算機技術與發展，2020，30（5）：216-220. [2]馬志遠，余 粟.基于改進K近鄰算法的小型汽車號牌識別系統[J].軟件導刊，2020，19（6）：231-234. [3]李學順， 魏宗壽. 基于彩色邊緣檢測和Edge Boxes的車牌定位方法[J]. 電腦知識與技術， 2019， 15（7）： 187-188. [4]YANG Y，GAO X，YANG G.Study the method of vehicle license locating based on color segmentation[J].Procedia Engi neering，2011（15）： 1 324-1 329. [5]芮 挺，沈春林，張金林.車牌識別中傾斜牌照的快速矯正算法[J].計算機工程，2004，30（13）：122-124. [6]盛兆亮， 高軍偉. 基于區域統計和BP神經網絡的車牌識別[J]. 信息技術及圖像處理， 2019， 42（8）： 78-82. [7]陳 政，李良榮，李 震，等.基于機器學習的車牌識別技術研究[J].計算機技術與發展，2020，30（6）：13-18. [8]Zhuang Peixian，Li Chongyi，Wu Jiamin. Bayesian retinex underwater image enhancement[J].Engineering Applications of Artificial Intelligence，2021，101（1）：104 171. 作者簡介： 曾夏明（1990—），工程師，主要從事高速公路智能交通機電工作。
