一種基于色彩的車牌圖像定位算法

吳惟希趙 剛

(北京信息科技大學信息管理學院信息安全系 北京 100192)(wish0123@163.com)

?

一種基于色彩的車牌圖像定位算法

吳惟希趙 剛

(北京信息科技大學信息管理學院信息安全系 北京 100192)(wish0123@163.com)

現今的車牌圖像處理方法一般是先把圖像轉為灰度圖像，再基于字符的邊緣紋理來找尋特征進行定位.這類方法對于圖像內車牌附近的干擾不能較好處理，對不穩定的光照條件及浮灰導致的字符邊緣梯度不大的情況處理效果也欠佳，在大霧天更是無能為力.對此，提出了一種基于色彩的定位算法，在不同色彩空間根據像素色彩相似度及基色域來選出候選區域，再依據多種幾何特征篩選出車牌區域.算法實現了不同光照條件下及復雜背景強烈干擾下的定位，以及對受損車牌的定位，并在處理處于霧霾天氣下極度模糊的圖像也能表現優異.

定位；色彩空間；色彩相似度；帶權值的曼哈頓距離；光照條件；干擾；霧霾

隨著經濟的發展，人們的物質生活需求日益提高，私人擁有機動車輛數量已呈幾何增長態勢，機動車輛的普及已成為必然趨勢.給人們出行提供便利的同時，也給整個交通環境帶來許多控制和監管上的難題.傳統的人工管理已經愈來愈不能滿足實際工作的需求.要更高效地解決控制監管問題，建立完善的道路網絡，就需要大力發展智能交通系統.在智能交通系統中，車輛檢測系統無疑是一個重要組成部分.

由于機動車牌照是車輛唯一的管理標識符號，因此車牌照識別(license plate recognition, LPR)是車輛檢測系統中的一個重要環節，在交通管理中具有不可替代的作用.隨著模式識別技術的發展，車牌識別已成為智能交通系統的一個重要組成部分，它要求能從各種不同情況的背景中準確地抽取、識別汽車牌照信息，在交通控制和監管中起著很重要的作用，具有廣泛的應用前景.所以，車輛牌照的識別問題已經成為現代交通工程領域中的研究重點和熱點問題之一.

車牌識別一般包括車牌定位、車牌的字符分割、單個字符的識別這3個部分[1].其中車牌的定位是車牌識別中最重要的一個環節，其定位準確率和精度直接影響到后續的環節，甚至決定后續環節能否繼續執行.

目前的方法對于干擾較小的圖像較為有效，但對于車身臟污、背景復雜或車牌受損的情況都容易出現定位錯誤，可能將邊緣復雜的干擾處定位為車牌.另一方面，光照條件的不穩定也會導致定位出現誤差.在霧霾天甚至完全找不到車牌.

本文就車牌識別中的車牌定位這一環節提出了一種基于色彩的圖像定位算法.該算法能克服復雜背景的干擾，并在不同光照條件下準確定位車牌.

1 車牌識別系統

車輛牌照識別系統應具有很高的識別準確率，對環境光照條件、拍攝背景和車輛行駛速度等諸多因素的影響應有較大的容錯率，并要求滿足實時性.

該系統主要由牌照圖像的采集和預處理、牌照區域的定位和提取、牌照字符的分割和識別等幾個部分組成，如圖1所示.其基本步驟如下[2]：

步驟1. 當有行駛車輛經過時，將觸發在固定位置處埋設的傳感器，此時系統將被喚醒并處于工作狀態；一旦連接攝像頭快門的光電傳感器被觸發，安置在車輛前方、后方及側面的相機將同時拍下車輛圖像；

步驟2. 由攝像機或CCD 攝像頭拍攝下的包含有車輛牌照的圖像通過視頻卡輸入計算機，再進行預處理，圖像預處理包括圖像轉換、圖像增強、濾波和水平較正等；

步驟3. 對車牌區域定位；

步驟4. 將牌照字符分割，再對單個字符進行識別.

圖1 車輛牌照識別系統簡要流程

2 車牌識別系統中的定位技術

車牌定位是車牌識別系統中的重要環節，其作用是從包含有車輛的圖像中提取牌照區域(牌照的坐標)，以供下一步牌照字符識別使用，因此車牌定位的準確度對車牌識別結果有著重要影響.而在實際工作環境中，由于受光照條件、待識別車輛的背景復雜或車牌位置不固定等因素的影響，給車牌定位的算法選擇帶來了一定的困難.車身的臟污、車牌的損壞也會影響定位準確率.比如由于天氣不好或是路況不佳，使得車輛被泥土、灰塵沾染或貨車車廂因長時間風吹日曬而受損導致紋理復雜等.另外還有一些車輛的背景干擾較大的情況，比如車輛附近有餐館、商鋪的廣告牌等.這些干擾極有可能使定位直接出現錯誤，導致后續的環節無法進行.

對于這些不利因素給車牌定位造成影響的情況，選擇合理有效的車牌定位算法將至關重要.

常見的車牌定位算法有基于黑白二值圖像的車牌定位算法.基于黑白二值圖像的車牌定位算法的原理是先將彩色圖像轉換為灰度圖像，經過濾波處理后進行二值化處理(如式(1)(2)所示，式中，R,G,B為圖像的紅、綠、藍分量，Gray為灰度，BW為二值圖像的像素值，threshold為灰度閾值)，并利用數學形態學方法對二值圖像進行處理, 再根據車牌自身特征進行搜索，最后定位出車牌區域.

Gray=0.299×R+0.587×G+0.114×B，

(1)

(2)

比如，對拍攝的汽車圖像轉化后的灰度圖像, 利用Sobel算子進行邊緣檢測[3], 得出邊緣二值圖像，對該二值圖像使用數學形態學的膨脹算法，可以得到若干個封閉的區域，對這些封閉區域進行區域填充，然后再進行腐蝕，可以得到若干完整的車牌候選區域, 再對候選區域采用由面積、長寬比以及垂直投影特征等一系列因素組成的規則來排除非車牌候選區，達到確認車牌位置的目的.

這類方法對于清潔的圖像較為有效，但對于車身臟污或背景復雜的情況可能出現定位錯誤，會將邊緣復雜的臟污處定位為車牌.在光線昏暗且有大霧的情形下則完全無能為力.

還有一些用彩色邊緣檢測算子進行車牌定位的方法，這類方法相對比較復雜[2]，且對于光線過暗的情況很難定位.

針對這些車牌定位算法的不足之處，本文提出一種基于色彩的圖像定位算法.首先將圖像的色彩空間由RGB轉為HSL，再跟據先驗知識選擇基色.然后根據顏色相似度找出車牌候選區域，此時可能會有許多候選區域的顏色相似度滿足車牌定位第1層條件，那么再根據這些候選區域的外接矩形長寬比、面積填充率、面積大小、相對位置等數學形態特征來排除非車牌區域，完成定位.

3 車牌區域的定位

本文提出的車牌區域的定位算法流程如圖2所示：

圖2 車牌定位算法流程圖

3.1 由RGB轉為HSL

HSL色彩空間是美國色彩學家孟塞爾(H.A.Munseu)于1915年提出的，它反映了人的視覺系統感知彩色的方式，以色調、飽和度和亮度這3種基本特征量來感知顏色.色調H(hue)：與光波的波長有關，它表示人的感官對不同顏色的感受，如紅色、綠色、藍色等，它也可表示一定范圍的顏色，如暖色、冷色等.飽和度S(saturation)：表示顏色的純度，純光譜色是完全飽和的，加入白光會稀釋飽和度.飽和度越大顏色看起來就會越鮮艷，反之亦然.亮度L(lightness)：對應成像亮度和圖像灰度，是顏色的明亮程度.由RGB色彩空間到HSL色彩空間的轉換公式如下：

(3)

(4)

(5)

其中，R，G，B分別為圖像的紅色、綠色和藍色分量.Hmax為R，G，B中的最大值，Hmin為其中的最小值.

3.2 選出候選區域

由轉換公式及專家經驗可知，把原圖像從RGB轉為HSL色彩空間后，在光照條件不良或曝光不穩定的情況下，顏色的主要變動在亮度L，而色相H變動很小，這樣用色相這一特征作為基色標準能有效消除光照條件不同帶來的限制.

另外，RGB色彩模式也有優于HSL色彩模式的方面.比如，車牌上沾有較密集的灰塵的情況，此時的色相H可能發生偏離，但選取的高權值分量則變動較少，能將受灰塵影響而變化的顏色也納入選區.所以，最終的候選區域集合應為RGB色彩模式下選出的候選區域的集合與HSL色彩模式下選出的候選區域的集合的并集.

因此，也用RGB色彩空間下的色彩相似度來選擇候選區域.設基色的色彩向量為S=[Rs,Gs,Bs]，待比較顏色的向量為c=[R,G,B]，c應屬于一個基色域，該基色域是由R,G,B3個維度上的3個閾值及3個維度的上限255或下限0組成的有限色彩空間.再采用帶權重的曼哈頓距離(如式(6))作為相似度判斷標準:

(6)

其中，w為權重向量，L為色彩距離，Os為基色域.當像素點與基色的色彩距離L低于一個閾值時，該像素點就被納入選區.

根據先驗知識(我國車牌的底色)確定基色及基色域.將圖像中被納入選區的像素點標記為1，其他標記為0，如此形成一個與原圖像同像素大小的黑白二值圖(如圖3至圖5所示).將二值圖中的白色部分劃分成許多連通區域.隨后，對這些連通區域做外接矩形，這些外接矩形圍成的區域即是候選區域.

圖3 原圖示例

圖4 RGB色彩模式下選取的候選區域

圖5 HSL色彩模式下選取的候選區域

3.3 篩選候選區域

經過3.2節所述初選過程后，將得到若干個車牌候選區域，其中可能包括如車燈、商標或一些背景中的干擾區域.對各個候選區域分別以外接矩形區域進行提取以供進一步分析.在諸多車牌候選區中，通過某單一的參考特征，難以準確地確定車牌區域，所以本文采用多種特征綜合評價的方法來確定車牌區域.根據我國車牌的一些特征(如長寬比相對固定等等)，分別采用面積相對大小、面積填充率、區域相對位置與外接矩形長寬比進行綜合加權來確定車牌區域.在實際處理中，如式(7)所示, 給每個特征值帶來的可信度乘上一個影響權值, 進行加權得出總的置信度值.

(7)

其中，wi為權重，A為特征值.C為各個特征值帶來的可信度映射.S為外界矩形面積相對大小.實際工作中，攝像頭的位置已固定，車輛進出被拍時的位置也固定，那么外接矩形面積占整個圖像面積的比例也就較為固定，太小或太大都可能不是車牌.R為面積填充率，即連通域內的像素占的總面積與此候選區的外接矩形面積的比.面積填充率越大，該區域為車牌的可能性C就越大.loc為候選區域的位置，同樣，實際工作當中攝像頭的位置已固定，車輛進出被拍時的位置也固定，所以車牌區域在圖像中的位置也相對固定.那么，如果位置過高或過偏則不可能是車牌，lwr為該外界矩形的長寬比，長寬比lwr是車牌的一個明顯特征，雖然車牌反映在圖像中的大小不同，由于我國車牌長寬比相對固定，一般在720，那么該特征lwr應接近該比值，因此在圖像中車牌區域的長寬比也相對固定，所以越接近真實車牌長寬比的區域的可能性C就越大.

上述方法中綜合了面積、面積填充率、區域相對位置以及長寬比4個特征值進行綜合分析來剔除干擾區域，完成車牌定位，如圖6所示:

圖6 定位結果

用這樣的多特征綜合方法來確定選區，可以消除因僅使用某一參數進行評價可能帶來的誤差.例如，一張掉落在地的廣告傳單，若其設計色調與車牌底色接近，也有可能成為候選區域.并且由于拍攝角度的關系，其長寬比可能更接近車牌標準.但是，廣告傳單內容豐富，色彩復雜，故其面積填充率及面積大小這2個特征值將會有較低的可信度而把自己排除出候選區.

4 實驗分析

本文的實驗圖片主要來自各種情況下實際拍攝，極少量是從互聯網上搜集的汽車照片，有正常光照、光線較暗(天氣陰沉，或傍晚，或陰影)、車輛臟污、背景干擾較強、霧霾天等情況.在CPU 2.9 GHz的PC機Win10系統上進行實驗，程序代碼以Matlab R2014a版本編寫.

通過實驗可知，該算法對于光照條件昏暗(如圖7所示)、過曝(如圖8所示)、背景干擾較強(如圖9、圖10所示)等情況都能有效處理.車牌受損、附近紋理復雜干擾較大的情況(如圖11、圖12所示)，仍然能準確定位.另外，即使是在傍晚霧霾天這樣幾乎無法看清的嚴酷的條件下(如圖13所示)，該算法依舊表現優異.

但其他算法[3-6]，對于圖7的光照不良的情況可能難以找出車牌位置而定位在車燈上，或不能定位出整個車牌出現誤差；圖8的情形也可能定位不出完整車牌，出現誤差；圖9的情況則極有可能將車廂后板上的字符區域當作車牌；對于圖10的這類情形，餐館的廣告招牌是很強的干擾，會直接被定位為車牌；對于圖11、圖12的情形，車牌受損，且車牌的附近紋理較復雜，有極大概率定位出錯.而面對圖13的情形，目前的方法完全無法定位.

圖7 光線昏暗

圖8 曝光過度

圖9 車身強干擾

圖10 背景強干擾

圖11 受損車牌

圖12 車牌受損且車牌附近紋理復雜

圖13 傍晚霧霾天(為保證文檔的可讀性，該組圖已做處理)

本文收集了164幅圖像進行實驗，均能準確定位.在定位過程完成后即可繼續進行字符識別.該程序并未將照片轉為二值圖像，因此可在定位結果圖像上直接識別，這樣就保留了豐富的原始信息，為提高字符識別準確率提供了堅實基礎.

5 結 論

車牌定位是車牌識別流程中非常重要的一個環節，為后續步驟提供基礎.本文從不同色彩空間以色彩相似度來選出車牌候選區域，再通過候選區的面積相對大小、面積填充率、長寬比及相對位置等幾何特征加權綜合判定的方式篩選出車牌區域，完成定位.現實中遇到的情況不僅有各項條件良好、情景單一的情形，也往往有條件惡劣的狀況.本文提出的算法相對其他算法更能有利地處理這些惡劣條件下的情形，對嚴峻的光照條件、強烈的背景干擾、嚴重受損的車牌，以及可見度極低的霧霾天均能有效應對，為車牌識別的后續環節鋪平了道路.

[1]李志強, 李永斌. 車牌識別技術的發展及研究現狀[J]. 科技信息, 2012 (5): 110-110

[2]劉慶祥, 蔣天發. 智能車牌識別系統中圖像獲取技術的研究[J]. 武漢理工大學學報: 交通科學與工程版, 2003, 21(1): 127-130

[3]李剛, 曾銳利, 林凌, 等. 基于數學形態學的車牌定位算法[J]. 儀器儀表學報, 2007, 28(7): 1323-1327

[4]李波, 曾致遠, 周建中. 一種自適應車牌圖像定位新方法[J]. 中國圖形圖像學報, 2009, 14(10): 1978-1984

[5]吳舟舟, 李樹廣. 基于分級邊緣間距的實時車牌檢測[J].

中國圖形圖像學報, 2007, 12(2): 315-321

[6]劉慶祥, 朱昌平, 冉勇智. 能車牌識別系統中圖像定位算法[J]. 計算機工程, 2003, 29(15): 136-137

吳惟希

碩士研究生，主要研究方向為機器學習與人工智能.

wish0123@163.com

趙 剛

博士，副教授，主要研究方向為人工智能與信息安全.

zhaogang@bistu.edu.cn

A Colors Based Algorithm for License Plate Location

Wu Weixi and Zhao Gang

(InformationSecurityFaculty,SchoolofInformationManagement,BeijingInformationScienceandTechnologyUniversity,Beijing100192)

Nowadays processing methods for license plate usually convert photos to gray scale images at first, and then find the characteristics based on the character of the edge texture for positioning. These methods do not work well on some conditions that there are the disturbance near the license plate, the instability of the light illumination and character edge gradient caused by floating dust. Then if it is in the fog and haze, these methods are more powerless. For that, in this paper a color based location algorithm is proposed, which is to select the candidate region according to the pixel color similarity and color domain in different color spaces and then based on a variety of geometric features to select the license plate region. This algorithm realizes the location of being at different light conditions, the strong interference of complex background and damaged license plates. Even in the fog and haze, this method performs excellent for those extremely blurred image.

location; color space; color similarity; Manhattan distance with weight; illumination condition; interference; fog and haze

2015-12-30

國家自然科學基金項目(61272513)；北京市科委重大項目子課題(D151100004215003)

趙剛(zhaogang@bistu.edu.cn)

TP309