基于車牌混合特征的車牌定位算法研究

咸志杰 方芹芹 季偉偉 李海霞

摘? 要：隨著社會的發展和科技的進步，國家對交通控制、安全管理的要求日益提高，智能交通管理已成為當前交通管理發展的主要方向，而車牌定位技術則是智能交通系統的基礎。為了解決車牌定位區域精確度差，定位不準等問題，采用基于車牌混合特征的車牌定位技術，不僅可以有效地解決上述問題而且通過仿真實驗證明本文提出的車牌定位算法綜合性強，運行速度快，精確度可以達到96.7%，可以在復雜的環境中實現精準定位。

關鍵詞：車牌定位;圖像識別;混合特征提取

中圖分類號：TP391.41? ? ? 文獻標識碼：A 文章編號：2096-4706（2021）02-0076-05

Abstract：With the development of society and the progress of science and technology，the national requirements for traffic control and safety management are increasing day by day. Intelligent traffic management has become the main direction of the current development of traffic management，and license plate location technology is the basis of intelligent transportation system. In order to solve the problems of poor accuracy and inaccurate location of license plate location area，the license plate location technology based on mixed characteristics of license plate is adopted，which can not only effectively solve the above problems，but also the simulation experiment proves that the license plate location algorithm in this paper has strong comprehensiveness，fast running speed，and the accuracy can reach 96.7%，which can achieve accurate location in complex environment

Keywords：license plate location;image identification;mixed feature extraction

0? 引? 言

隨著智能交通管理系統的發展，車牌識別技術越來越受到研究人員的關注，至今已推出不少車牌識別系統的產品。而車牌定位技術作為車牌識別系統的核心也獲得了廣泛的關注。目前許多科研院校都對車牌定位技術做了大量研究，如王曉群[1]等提出了一種基于數學形態學進行車牌定位的算法，采用粗細定位二次判斷，首先使用自適應對比度增強算法來改善圖像質量，然后在粗定位中運用數學形態學算法處理圖像，并在精定位中利用區域標記法和投影法來定位車牌區域。雖然該算法可以直接定位車牌，但是其對車牌邊界信息較為敏感，無法識別二值邊緣信息較少的圖像。陳麗娟[2]采用脈沖神經網絡算法對車牌顏色特征進行提取，然后再使用行列掃描法進行定位，傅鵬等[3]采用級聯卷積神經網絡的識別方法，主要用于在車輛數量過多，圖像質量不佳的情況下進行車牌定位，該算法采用運動目標檢測定位目標區域，然后利用卷積神經網絡識別區域中的車輛并進行車牌定位，雖然該方法準確度較高，但是花費時間過多且容易受非車牌文字的影響。Xudong Cao等[4]提出的形態回歸算法具有直觀和計算簡單等特點，但是光照、字符清晰度和車牌受損等變化因素都會顯著降低識別準確率[5]。鐘偉釗等[6]采用字符邊緣點來提取車牌區域，雖然其不受車身顏色的影響，但耗時較多，所提取的邊緣信息實用性不高[7]。除了上述幾種方法之外，還有“基于遺傳算法[8]”“基于量子粒子群算法[9]” “基于顏色信息算法[10]”“基于變換算法[11]”等諸多算法可以實現車牌定位。但無一例外，他們只是在某一領域可以有效地定位車牌，在較為復雜的情況下，他們的定位精度就會大大降低。為了解決諸多算法無法在多場景下應用的弊端，本文提出了基于車牌混合特征的車牌定位算法，利用車牌本身的顏色特征、幾何特征和面積特征等多重特征進行區域定位直接準確且魯棒性高，對于二值信息較少的圖像可以得到很好的處理，并且不受非車牌文字和外界環境的干擾。

1? 基于混合特征的車牌定位方法

車牌定位算法是以數字圖像理論為基礎，采用顏色特征、紋理特征、幾何特征、灰度分布特征[12]等相結合的方法對含有車牌的圖像進行處理。首先對車牌圖片進行預處理，然后使用Prewitt算子進行邊緣檢測，接著運用數學形態學算法找出若干個候選區域，最后基于車牌混合特征精確定位出車牌區域。算法流程如圖1所示。

1.1? 車牌圖像預處理

首先將彩色圖像進行灰度化處理以便去除冗余信息，減少存儲開銷，提高運行速度;然后調整圖像亮度，因為圖像的灰度偶爾會集中于一個較小的區間（如果圖像偏暗或偏亮），根據需要調整車輛圖像的對比度，對灰度化的圖像進行高斯濾波去除噪聲，對灰度化的圖像進行高斯濾波去除噪聲的同時對一些非車牌邊緣進行模糊處理，比如環境信息、非車牌信息等，為Prewitt邊緣檢測做鋪墊。在車牌的矩形區域內存在豐富的邊緣特征，呈現出規則的紋理特征，車牌邊緣特征有一定的密集性，其中車牌的垂直邊緣比水平邊緣密集。本文采取Prewitt算子進行垂直邊緣檢測，利用像素點上下、左右鄰點的灰度差，在邊緣處達到極值檢測，去掉部分偽邊緣，對噪聲具有平滑作用。其基本原理是在圖像空間方向利用兩個模板與圖像進行鄰域卷積來完成的，一個檢測水平邊緣，一個檢測垂直邊緣。Prewitt算子公式為：

然后對得到的邊緣圖像進行閉運算和開運算以使牌照區域相通，得到牌照的候選區域;閉運算利用膨脹、腐蝕來填充物體內細小空洞，平滑圖像邊界，連通車牌區域，以便于提取輪廓;開運算是通過在腐蝕、膨脹的過程中消除細小的噪聲，平滑較大物體的邊界;結構形狀選取方形，由于車牌區域的形狀是長方形的（也可以使用水平和垂直直線），所以選取方形的結構元素進行形態學操作;結構元素內容選取字符的標準寬度、高度、車牌的標準寬度、標準高度、圖片測量的車牌寬度和高度，來大概確定結構元素的長和寬，再經過多次調試進一步確定結構元素的長和寬。預處理圖像如圖2所示。

1.2? 基于混合特征的車牌定位

在經過形態學處理以后，處理后的圖像中會有多個連通區域作為車牌的候選區域，此時我們的命令行會顯示車牌候選區域的數量，如圖3所示。這時使用車牌的先驗知識（混合特征，比如車牌顏色特征、面積特征、長寬比特征）來篩選出唯一的車牌區域。

通過以下三種方法的結合最終確定出車牌的定位圖像：

（1）顏色判斷[13]。首先將rgb圖像轉化為hsv顏色模型，然后統計每個候選車牌的藍色像素點數量（先驗知識，在整個車牌中，藍色背景像素占整個車牌的70%），當藍色像素點數量大于設定的閾值時，該候選區域被判斷為車牌區域，但是不能單憑顏色特征來判斷車牌區域，因為實際場景中的環境變量較多，例如馬路上行駛的車輛（有車牌）、藍色電瓶車、護欄上的藍色貼紙等都有可能對車牌定位造成影響。

色彩判斷部分核心代碼為：

function index = color_judge（stats，img）

j = 1;

for i=1：length（stats）

bb = stats（i）.BoundingBox; % 取預判斷的區域

I=img（floor（bb（2））+1：floor（bb（2）+bb（4）），floor（bb（1））+1：floor（bb（1）+bb（3）），：）;

figure（8）;imshow（I）;

hsv = rgb2hsv（I）;

[height，width，～] = size（hsv）;

count = 0; % 統計藍色像素值的數量

for h=1：height

for w=1：width

h_judge = （hsv（h，w，1）>0.65） && （hsv（h，w，1）<0.73）;

s_judge = （hsv（h，w，2）>0.03）? && （hsv（h，w，2）<0.7）;

v_judge = （hsv（h，w，3）>0.23） && （hsv（h，w，3）<0.7）;

if h_judge

count = count + 1;

end

end

end

（2）面積判斷[14]。一般情況下，車輛的頭部在經過第一個減速帶和第二個減速帶之間時才會觸發攝像機拍攝車輛圖片，通過多次實驗，可得知車牌在圖片中的最小像素面積和最大像素面積，通過設定一定的面積閾值，再次篩選候選車牌區域。

（3）長寬比判斷[15]。車牌的標準尺寸為440 mm× 140 mm，標準的長高比約為3.1，通過把候選車牌區域標記成一個方形，計算方形的長和寬，通過設置一定的長寬比閾值，再次篩選候選車牌區域。進行方形標記的時候采用的是WarpAffine函數，WarpAffine要求輸入原始圖的左上點、右上點、左下點以及輸出圖像的左上點、右上點、左下點，如圖4所示。然后建立一個映射關系以將原始圖像的標記點映射到目標圖像上。我們的目標是把車牌區域中的平行四邊形映射為一個矩形。選取車牌區域中的平行四邊形車牌的三個關鍵點，再確定我們希望將車牌扭正后的矩形的三個關鍵點。此時的扭轉變化如圖5所示。

如果出現了視框的偏移問題，我們可以選擇偏移xidff/2的長度，偏移后的圖像如圖6所示。

視框往右偏移的意義就是將目標圖像的原點進行右偏移。如果原點偏移的話，那么仿射后圖像的三個關鍵點的坐標需要重新進行計算，都需要減去xidff/2。經過混合特征提取后車牌的定位圖像如圖7所示。

2? 仿真結果分析

為了檢驗本文所提出算法的有效性，選擇在多場景、復雜環境下進行測試，并且與其他算法進行對比。

2.1? 不同環境下的測試

眾所周知，車牌定位對于環境中的某些變量較為敏感，比如光照，車牌相同顏色信息等，如果不對這些變量進行控制和矯正的話，那么車牌定位的準確度將會受到很大影響。為了驗證本文所提出算法的有效性，分別在正常、傾斜、有顏色干擾和光照變化等條件下進行測試，首先選用100張正常圖片進行識別，然后選擇100張帶有傾斜角度的圖片進行識別，最后采集一百張包含與車牌相同顏色的圖片進行識別。在進行光照測試的時候將一百張圖片分為兩部分，選50張在光暗條件下進行識別，選50張在光亮條件進行識別，仿真結果如表1所示。

通過實驗可知，在正常情況下車牌定位是最準最快的，成功率可達97%，平均定位時間為576 ms。在光照條件下，由于車身噴漆和車牌反光會導致車牌識別率略有不足。雖然系統具有車牌傾斜校正功能，但是對傾斜度較大的車牌，系統的車牌定位準確度會有所下降。但是不管在正常環境下還是有光照和車輛角度偏移以及受顏色干擾等外在因素影響下，本文算法都具有較高的定位準確率、較快的定位速度以及較強的環境適應能力。

2.2? 不同算法下的測試

為了證明本文算法的優越性，通過在不同環境下將具有代表性的車牌定位算法與本文算法進行對比，例如算法3是基于形狀回歸的算法[3]，算法4是基于色彩紋理的算法[4]，算法5是基于字邊緣點提取的算法[10]。隨機選取100張圖片，其中在正常情況下、傾斜情況下、顏色干擾情況下各選20張，在光暗、光亮的光照強度下各選20張進行測試，不同算法的測試結果如表2所示。

通過對比結果可知，本文所采用方法的車牌定位平均成功率達到96%，平均定位時間為621 ms，與算法3、算法4和算法5相比較，本文算法無論是在定位速度還是在定位成功率上都是最佳的。算法3在常規條件下和車牌傾斜時的識別率很好，但是其容易受光線影響，在受光線影響的條件下識別成功率較低。算法4以邊緣投影的方式確定車牌邊界，并且能夠檢測到變形邊界，但是其對外界影響因素較為敏感，算法較為復雜，所以定位效率最低。算法5對車牌圖像進行字符邊緣檢測，而且不受車身噴漆顏色的影響，具有良好的魯棒性，定位速度快，最接近于本文算法的速度，但是它對傾斜圖片的識別率低下且對邊緣要素提取過多。

3? 結? 論

針對車牌定位算法過于單一以及在特殊條件下識別率低下的問題，提出一種基于混合特征的車牌定位算法。使用多種特征進行判定，并對傾斜圖片進行調整以增強定位的準確性。相較于其他算法，本文算法綜合性強，可以在不同的場景下使用。但是本文算法也有一個很明顯的問題就是在光強條件下，由于車牌本身的反光以及環境變量中其他物體反光導致識別精度不足。對于本算法在光強條件下以及在車牌受損情況下識別精度低，運行時間長等問題，我們將進行更為深入的研究，以期找到更為優化的方法。

參考文獻：

[1] 王曉群，劉宏志.基于自適應數學形態學的車牌定位研究 [J].圖學學報，2017，38（6）：843-850.

[2] 陳麗娟.基于脈沖神經網絡的車牌定位算法 [J].中國高新技術企業，2016（32）：13-14.

[3] 傅鵬，謝世朋.基于級聯卷積神經網絡的車牌定位 [J].計算機技術與發展，2018，28（1）：134-137.

[4] CAO X D，WEI Y C，WEN F，et al. Face Alignment by Explicit Shape Regression [J].International Journal of Computer Vision，2014，107（2）：177-190.

[5] 李宇成，楊光明，王目樹.車牌識別系統中關鍵技術的研究 [J].計算機工程與應用，2011，47（27）：180-184+209.

[6] 鐘偉釗，杜志發，徐小紅，等.基于字符邊緣點提取的車牌定位方法 [J].計算機工程與設計，2017，38（3）：795-800+ 813.

[7] XIE L L ，AHMAD T，JIN L W，et al. A New CNN-Based Method for Multi-Directional Car License Plate Detection [J].IEEE Transactions on Intelligent Transportation Systems，2018，19（2）：507-517.

[8] 曾毅.遺傳算法在車牌定位中的應用 [J].福建電腦，2015，31（7）：88-90.

[9] PARISI R，DI-CLAUDIO D I，LUCARELLI G，et al. Car plate recognition by neural networks and image processing [C]//1998 IEEE International Symposium on Circuits and Systems （ISCAS）.Monterey：IEEE，1998：195-198.

[10] 楊海廷.基于紋理特征的車牌識別系統的研究與實現 [D].成都：電子科技大學，2005.

[11] 馬飛.一種基于小波變換和Tophat變換的車牌定位算法 [J].電子設計工程，2016，24（22）：118-121.

[12] 鐘良建，張恕遠，成萬江.多特征車牌定位方法 [J].自動化應用，2020（11）：65-68.

[13] 潘思贛，李振.基于顏色空間與神經網絡車牌識別技術研究 [J].中國交通信息化，2020（S1）：132-136.

[14] 漆世錢.基于輪廓識別和BGR顏色空間的車牌定位 [J].計算機技術與發展，2020，30（12）：176-180.

[15] 賀秉東.基于深度學習的位圖字體矢量化系統的設計與實現 [D].濟南：山東大學，2020.

作者簡介：咸志杰（2000—），男，漢族，江蘇徐州人，本科在讀，研究方向：圖像處理;方芹芹（2000—），女，漢族，江蘇淮安人，本科在讀，研究方向：神經網絡;季偉偉（1999—），男，漢族，江蘇鹽城人，本科在讀，研究方向：圖像處理;通訊作者：李海霞（1983—），女，漢族，山東壽光人，講師，研究生，研究方向：微納器件。