基于色差的車牌快速定位算法研究

鄭楷鵬 鄭翠環 郭山紅 陳康宇

(南京理工大學電子工程與光電技術學院 江蘇 南京 210094)

基于色差的車牌快速定位算法研究

鄭楷鵬 鄭翠環 郭山紅*陳康宇

(南京理工大學電子工程與光電技術學院 江蘇 南京 210094)

針對現有車牌定位算法的抗干擾能力弱和速度較慢問題，提出基于色差的車牌快速定位算法。設計了提取藍色、黃色和白色像素點的色差公式，將車輛RGB圖像轉換到色差空間。利用迭代法對色差圖像進行閾值分割得到二值圖像，并利用形態學處理和標記連通域，最后結合車牌長寬比特征去除干擾定位車牌。對實際車輛視頻定位處理結果表明，提出的算法可以實現白天和夜晚藍牌車和黃牌車的車牌準確定位，定位準確率分別達到95.1%和92.5%，定位平均耗時0.026 s，優于傳統的基于HSV、HIS和YUV車牌定位算法。處理結果表明該定位算法可在實際普通道路交通中實現實時準確定位。

車牌定位 色差 閾值分割 形態學處理 標記連通域

0 引 言

車牌識別LPR(License Plate Recognition)系統是智能交通系統的一個核心子系統，它是在數字圖像處理的基礎上實現汽車牌照自動定位與識別的一個系統[1-2]。在此核心功能基礎上可以提供大量實用的交通管理服務：車輛信息的獲取與存儲、車輛信息的查詢對比、非法車輛識別與報警、高速公路與道路關卡的監控與收費、停車場的具體管理等服務[3-4]。

車牌定位是LPR系統的一個關鍵環節，定位的準確性和速度將直接影響LPR系統的整體性能。對于車牌定位算法，國內外研究較早也較多并提出了一些有效的定位算法[5-8，11，13]，常用的有基于車牌直觀特征的定位方法，直觀特征包括紋理、顏色、邊緣等特征；基于變換域特征的定位算法以及AdaBoost算法等。以上提到的算法在定位車牌時都有一定的局限性，單獨使用其中一種方法很難達到預期的定位準確性和實時性。本文重點研究基于視頻圖像的車牌定位，提出了基于色差的車牌快速定位算法，該算法可以提高白天和夜晚情況下車牌定位的準確性和實時性。

1 車牌定位方法與難點

1.1 常用車牌定位方法

目前常用的車牌定位方法有以下幾種：

(1) 基于紋理特征的定位方法

車牌的紋理特征是指字符的寬度、高度和筆畫寬度，字符之間的連通性等特征。對車牌部分的灰度圖像進行水平掃描得到灰度變化曲線，車牌區域與其他區域的灰度變化曲線不同，根據這一特征可以簡單快速地定位出車牌[5-7]。

(2) 基于顏色特征的定位方法

該類算法一般就是利用車牌的背景和字符的顏色搭配(例如藍底白字)提取出車牌區域，再經過形態學的操作來定位出圖像[5-7]。該算法簡單快速。

(3) 基于邊緣特征的定位算法

由于車牌區域的字符部分和底牌部分的灰度值有較大的對比度，即圖像的灰度值變化較大，即該區域相對于其他區域包含了更豐富的邊緣信息，故檢測圖像局部像素點是否變化明顯可以采用邊緣檢測算法[8]。通常用來檢測圖像灰度值變化的算子有Robert、Prewitt、Sobel算子等。

(4) 基于變換域特征的定位算法

該類方法首先將圖像進行某種變換后，例如DFT變換，再綜合其它特征進行車牌定位[13]，比較常見的方法有離散余弦變換法和小波變換法。

1.2 車牌定位的難點

在室外拍攝的普通道路上運動車輛視頻圖像受環境因素的影響較大，圖像質量較難保證，在夜晚光照不足的情況下定位準確率會下降；車牌被污染或者顏色嚴重失真時會導致車牌無法定位到。漏警概率增大；其他字符區域的干擾會導致車牌定位虛警概率增大[9]。

本文重點研究基于色差的車牌定位方法，該方法具有適應面廣、抗干擾強、速度快、定位準確和虛警低的特點[10，12]。首先從視頻圖像中提取出運動車輛圖像，然后計算車輛色差，并結合形態學處理[15，16]和車牌的長寬比特征進行車牌快速定位。

2 車輛圖像預處理

實際拍攝的視頻圖像包含了車輛和背景信息，為了更好地定位車牌，需要從視頻圖像中提取出車輛圖像，其具體過程如圖1所示。

圖1 基于背景差分和虛擬線圈的運動車輛檢測流程圖

事先在視頻圖像上設定虛擬線圈，確定尋找運動車輛的區域。隨著視頻圖像的輸入，首先對圖像進行灰度化，然后進行背景差分處理。背景圖像是通過對視頻圖像多次平均獲得的動態背景圖像。接著統計虛擬線圈區域內灰度變化的平均值，若超過閾值則表明有車輛駛入，則取出虛擬線圈附近的運動車輛圖像。 可以根據需要在視頻圖像設置多個虛擬線圈，觀測不同車道的情況。

實際的車輛視頻圖像都是在露天情況下采集的，難免受到天氣及光照的影響，因此在車牌定位之前要進行圖像增強預處理。圖像增強有各種方法[10，12]，綜合考慮各種噪聲的影響，這里選取高斯低通濾波器對圖像進行濾波增強處理。

3 基于色差的車牌快速定位算法

根據車輛的運動方向，選取運動車輛圖像的底部或頂部1/3圖像作為車牌定位研究對象。根據我國車牌的顏色特征[14]，我們主要要獲取車輛圖像中具有一定長寬比例的藍色、黃色或白色矩形區域。

3.1 色差計算

(1) 藍色色差

在RGB空間中，針對最常見的藍底白牌的車輛，我們采用式(1)的顏色轉換公式來突出藍色的像素點從而抑制其他區域的像素點[3]。

Cx,y=Bx,y-min{Rx,y,Gx,y}

(1)

式中Cx,y為轉換之后坐標點(x,y)的像素值，Rx,y，Gx,y，Bx,y分別為紅，綠，藍三個通道的像素值。這種轉換可以增強藍色區域并且可以很好地抑制非藍色區域的像素點的值，與原彩色圖像相比，藍色區域得到了增強，這正是我們需要的。

(2) 黃色色差

對于黃底黑字的車牌，基于在RGB圖像中，黃色區域的R通道和G通道像素值相差不大且接近255，而B通道的像素值比其他兩個通道的值都要小很多，根據上述規律，我們設計了式(2)的黃色轉換公式。

(2)

(3) 白色色差

若車輛本身即為藍色，只提取藍色像素點是不夠的，我們知道在RGB空間中白色像素點的值是很特別的，它的R、G、B三個通道的值都接近255且相差無幾，故我們設計了式(3)來判斷白色的像素點。

(3)

所有滿足以下兩個約束條件之一即可認為該像素點是車牌區域的像素點：

i)f(i-1,j-1)、f(i,j-1)、f(i+1,j-1)滿足藍色像素點約束條件；同時f(i-1,j+1)、f(i,j+1)、f(i+1,j-1)滿足白色像素點約束條件。

ii)f(i-1,j-1)、f(i,j-1)、f(i+1,j-1)滿足白色像素點約束條件；同時f(i-1,j+1)、f(i,j+1)、f(i+1,j-1)滿足藍色像素點約束條件。

3.2 閾值分割

對于普通藍牌車，原圖在經過顏色轉換之后，可以很明顯地看到，藍色區域的亮度明顯比圖像中其他區域的亮度要高,并且藍色區域的亮度在整幅圖像中是最高的,而非藍色區域的像素被很好地抑制了，像素值接近0。根據上述特征，可以取顏色轉換之后的圖像的像素點最大值(Tmax)和最小值(Tmin)的中間值作為閾值T的初始值，采用迭代法求得最終的閾值對圖像進行二值化。迭代法取閾值的方法如下：

(1) 為T選取一個初始值。

(4)

(2) 使用T分割圖像，這將產生兩組像素：像素值≥T的所有像素點組成的G1，像素值

(3) 計算G1和G2范圍內的像素的平均像素值μ1和μ2。

(4) 計算一個新的閾值：

(5)

(5) 重復2到步驟4，知道連續迭代中的T的差比預先指定的參數T0小為止。

在經過顏色轉換之后的圖像中，任何滿足f(x,y)>T的點(x,y)置為1，其他的則置為0，得到二值圖像。

3.3 形態學處理和標記連通域

提取特殊顏色并采用閾值分割后的圖像，常常出現多個空洞，為了便于后續要根據形狀來判斷車牌，故需對圖像進行形態學處理[15-16]。根據實際視頻圖像大小和車牌相對位置，選擇合適的模板尺寸進行形態學運算。

在對二值圖像進行形態學處理之后，為了得到每個區域形狀特征，必須對每個區域進行連通域標記，本文采用8鄰域標記法，并獲得連通域的外接矩形。

3.4 去除偽車牌

這里我們根據車牌的長寬比去除偽車牌，在得到連通區域的外接矩形之后，獲得矩形框的長和寬，計算長寬比的比值。

(1) 根據我國中小型車牌的標準[13]，普通車牌的大小為440 mm×140 mm,實際拍攝的車輛圖像中車牌的長寬比例會略微變大，故可取ratiomin=2.5，ratiomax=3.5，根據上述規則可以去除一部分偽車牌。

(2) 根據連通區域的灰度圖像區域的紋理一致性去除偽車牌，根據式(6)計算紋理一致性:

(6)

其中，U為圖像區域的紋理一致性，L為可能出現的灰度級(一般為0～255)，p(z)為灰度圖像的歸一化灰度直方圖。

4 車牌定位處理結果及性能比較

4.1 車牌定位處理結果

圖2為采用3.1節中式(1)基于藍色色差定位的處理結果。圖2(a)為晴朗天氣下在天橋上拍攝的行車道上多輛照片，圖2(b)為采用式(1)對車輛圖像進行藍色色差處理結果，由圖2(b)可以看到，藍色車牌區域亮度明顯高于其他顏色。取顏色轉換之后的圖像的像素點的最大值和最小值的中間值作為閾值T的初始值，采用迭代法求得最終的閾值對圖像進行二值化。

圖2(c)顯示了對色差處理之后的圖像進行閾值分割和形態學處理效果。本文中采集的視頻圖像的大小為700×900，針對采集到的圖像數據庫，選取大量的圖像進行試驗，發現一般分割得到的孔洞大小不會超過50個像素，而且車牌之間的間距相對孔洞而言則是會大很多，所以我們只需要選取比孔洞大2～3倍的結構元素對二值圖像進行閉運算即可以填充孔洞。這里我們選取大小為16×8的長方形結構元素來進行形態學閉運算處理。

圖2(d)為采用8鄰域標記法獲得標記連通域效果圖。圖2(e)為去除偽車牌后車牌定位結果圖。通過對大量樣本數據分析，最后取U=0.7。當候選區域中的某塊區域紋理一致性小于該值的就會被去除，這樣就能更準確地定位車牌區域。

(a) 原圖(車牌為藍色) (b) 藍色色差圖像

(c) 閾值分割和形態學處理 (d) 標記連通域

(e) 車牌定位結果圖2 車牌定位結果

圖3(a)-(h)分為白天拍攝的藍色車身藍牌出租車、白天拍攝的車后身為大面積藍色的黃牌公交車、夜晚拍攝的藍牌小轎車和白天拍攝的車身覆蓋較厚塵土的污染藍牌車圖像及其對應車牌定位結果。對于從視頻圖像中獲取的運動車輛圖像，首先判斷車輛的主體顏色，若藍色區域<1/5，則采用藍色色差進行處理，定位藍牌矩形區域；若藍色區域≤1/5，則采用白色色差處理定位白色矩形區域；若未能定位，則采用黃色色差處理，定位黃牌區域。

(a) 藍牌藍車(車身顏色為全藍色) (b) 車牌定位結果

(c) 黃牌藍色公交車(車后身大部分區域為藍色) (d) 車牌定位結果

(e) 夜晚藍牌小轎車車輛 (f) 車牌定位結果

(g) 污染藍牌車輛(車身覆蓋較厚塵土) (h) 車牌定位結果圖3 不同情況下的車牌定位處理結果

由圖3定位處理結果可以看出，采用色差法對藍車藍牌、有藍色干擾的黃牌公交車、夜晚藍牌小轎車和污染嚴重的藍牌小轎車都能準確定位其車牌位置。可見，文中提出的基于色差的車牌定位方法對光線昏暗、污染車牌、以及顏色干擾有較好的定位效果。

4.2 車牌定位處理結果

本文針對在戶外不同天氣狀況下拍攝到的視頻圖像，對白天和夜晚的各種車輛進行了定位測試，表1列出了基于色差的車牌定位算法耗時， 表2統計了不同天氣狀況下各種車牌定位的準確率統計結果。表3列出了白天晴朗天氣狀況下基于其他算法的車牌定位的準確率統計結果，可見基于色差的車牌定位算法耗時小，且定位準確率較高，抗干擾能力強，定位性能優于傳統的基于HSV、HIS和YUV的車牌定位算法[12,17-19]。處理結果表明該定位算法可在實際普通道路交通中實現實時準確定位。

表1 基于色差的車牌定位算法的定位耗時統計 s

表2 基于色差的車牌定位算法的結果統計

表3 基于其他車牌定位算法的結果統計

5 結 語

本文針對基于視頻圖像的車牌定位算法進行了深入研究，提出了基于色差的車車牌快速定位算法，提高了車牌在各種情況下的定位準確率和定位速度。文中對白天常規車輛、藍牌藍車、公交車及污染車牌進行了檢測，結果發現采用該方法定位具有很高的準確率，對夜晚車輛也有較高的定位準確率。該車牌定位方法沒有復雜的計算公式，計算量小，可以滿足實時監測系統的要求。下一步針對大霧、雪天等惡劣天氣繼續研究車牌定位算法，使其具有更好的適用性。

[1] Liakou H M. An overview on transports and ITS[C]//Third World Summit on the Knowledge Society, 2010: 343-345.

[2] Gu H, Zhao G, Qi D, et al. Priori embedding and character segmentation for license plate recognition[J]. Journal of Image and Graphics, 2010, 15(5): 749-756.

[3] 王璐. 基于MATLAB的車牌識別系統研究[D]. 上海：上海交通大學, 2009.

[4] 王豐元, 孫壯志, 周一鳴. 計算機視覺技術在交通工程測量中的應用[J]. 中國公路學報, 1999, 12(1): 90-94.

[5] Gonzalez R C, Woods R E. 數字圖像處理[M]. 阮秋琦, 阮宇智, 譯. 3版. 北京：電子工業出版社, 2011.

[6] 徐勤燕. 復雜背景中基于紋理和顏色的車牌定位研究[D]. 上海：東華大學, 2013.

[7] 萬燕, 徐勤燕, 黃蒙蒙. 復雜背景中基于紋理和顏色的車牌定位研究[J]. 計算機應用與軟件, 2013, 30(10): 259-262,316.

[8] Zhou Z, Hu X, Tan M. The license plate location method based on the log operator for edge detection[J]. Automation and Instrumentation, 2009(2):90-92.

[9] 劉攀. 復雜光照條件下的通用車牌定位系統的研究與實現[D]. 成都：電子科技大學, 2013.

[10] 張震, 楊曉. 基于OpenCV實現多特征融合的移動車牌定位算法[J]．計算機應用與軟件, 2014, 31(4): 289-292．

[11] 黃澤鋒. 基于Adaboost的車牌定位方法的研究與實現[D]. 廣州：華南理工大學, 2012.

[12] 鄭成勇. 一種RGB顏色空間中的車牌定位新方法[J]. 中國圖象圖形學報, 2010, 15(11): 1623-1628.

[13] 劉雄飛, 龍巧云, 李根, 等. 基于行掃描和小波變換的車牌定位算法[J]．計算機應用與軟件, 2013, 30(5): 279-282.

[14] 中華人民共和國公安部.GA 36-2007 中華人民共和國機動車號牌[S]. 2007-09-28.

[15] Yang F, Ma Z. Vehicle license plate location based on histogrammming and mathematical morphology[C]//Proceedings of the Fourth IEEE Workshop on Automatic Identification Advanced Technologies, 2005: 89-94.

[16] Li W, Zhu L, Kong X, et al. A new fast vehicle license plate location algorithm on mathematical morphology and color feature[J]. Bulletin of Science and Technology, 2009, 25(2): 214-219,242.

[17] Quan S, Xue Z, Wang Q. Implementation and research of vehicle license-plate locating method based on the distributed character of projection image[J]. Journal of Wuhan University of Technology (Transportation Science & Engineering), 2005, 29(6): 879-882.

[18] 程增會, 戴祥, 唐大鵬, 等．一種基于HSI和YUV顏色模型的車牌定位方法[J]．計算機應用與軟件, 2011, 28(12): 132-134,231．

[19] 常巧紅, 高滿屯. 基于HSV色彩空間與數學形態學的車牌定位研究[J]. 圖學學報, 2013, 34(4): 159-162.

RESEARCH ON FAST LOCATION ALGORITHM OF LICENSE PLATE BASED ON COLOR DIFFERENCE

Zheng Kaipeng Zheng Cuihuan Guo Shanhong*Chen Kangyu

(SchoolofElectronicEngineeringandOptoelectronicTechnology,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

Aiming at the problem of weak anti-interference ability and slow speed of the existing license plate location algorithm, a fast location algorithm of license plate based on color difference is proposed. The color difference formula of the blue, yellow and white pixels is designed to convert the RGB image into the color difference space. The iterative method is used to obtain the binary image by threshold segmentation, and the morphological processing and the mark connected domain are used. Finally, combined with the license plate aspect ratio feature to remove interference and locate the license plate. The results of real vehicle location show that the proposed algorithm can accurately locate the license plates of daytime and night blue and yellow cards with the accuracy of 95.1% and 92.5% respectively, and the average positioning time is 0.026 s, which is superior to the traditional based on the HSV, HIS and YUV license plate location algorithm. The results show that the algorithm can achieve real-time and accurate location in practical road traffic.

License plate location Color difference Threshold segmentation Morphological processing Mark connected domain

2016-04-25。鄭楷鵬，碩士生，主研領域：數字圖像處理。鄭翠環，碩士。郭山紅，副研究員。陳康宇，碩士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.05.034