基于車尾檢測和語言學顏色空間的車牌定位*

王　拴

(南京理工大學計算機科學與工程學院　南京　210094)

?

基于車尾檢測和語言學顏色空間的車牌定位*

王拴

(南京理工大學計算機科學與工程學院南京210094)

摘要車牌定位是從拍攝的含有車牌的圖像中定位出車牌的準確位置，是智能交通系統中車牌識別的首要任務。論文提出一種基于車尾檢測的車牌定位方法，首先利用車底陰影來得到車尾的候選區域，再采用SVM分類器驗證這些候選區域是否車尾，將非車尾剔除，最后利用基于語言學顏色空間的方法得到最終的車牌區域。實驗結果表明，上述方法在白天能有效檢測車尾，定位車牌區域，并且對光強變化，周圍干擾陰影具有很好的魯棒性。

關鍵詞車尾檢測; SVM分類器; 車牌定位; 顏色空間

Class NumberTP391.41

1引言

智能交通系統已經應用到生活中的各個領域，對于減少交通違章，追蹤肇事逃逸車輛，高效合理地解決交通問題有著非常重要的意義，車牌識別是其中的關鍵技術之一，而車牌定位則是車牌識別的首要任務，車牌能否準確定位關系到整個車牌識別系統的性能。國內外學者在這個領域做了大量的研究，目前車牌定位的主要方法有：基于顏色信息的車牌定位方法[2,9]、基于邊緣的車牌定位方法[1]、基于混合特征的車牌定位方法[6]以及基于神經網絡[7]等機器學習的定位方法。

基于顏色的車牌定位方法利用顏色特征，文獻[9]將RGB色彩空間轉換到LAB色彩空間進行車牌定位，當車身或者周圍環境顏色和車牌區域顏色接近，或者車牌顏色褪色時，該方法很難定位，而且該方法只能區分黃色和藍色車牌，并且對閾值的選取要求較高；基于邊緣的車牌定位方法利用車牌區域邊緣特征明顯的特點，通常先提取圖像的垂直邊緣，經形態學處理，再利用連通域、寬高比等限制確定車牌區域，該方法對車牌的對比度、邊緣要求較高，文獻[1]采用了Krisch邊緣檢測來增強邊緣，該方法也很容易被其他邊緣特征明顯的非車牌區域影響，從而產生虛假目標；基于混合特征的定位方法綜合邊緣和顏色信息，結合了兩種方法的優點，但并不能完全克服彼此的缺點，需要研究如何有效利用多種信息；基于神經網絡的定位方法利用了機器學習的優勢，該方法一般需要預先準備大量的訓練樣本，文獻[7]利用滑動窗口得到每個候選區域作為神經網絡的輸入，檢索整幅圖像非常耗時，無法滿足實時性要求。

本文基于以上分析，提出一種基于車尾檢測的車牌定位方法，在白天情況下，利用車底陰影找到車尾候選區域，采用SVM分類器[5]識別車尾候選區域，對識別為車尾的區域，采用基于語言學顏色空間的方法在車尾區域內車牌進行定位。

圖1　車牌定位算法流程

2車牌定位流程

本文車牌定位的算法流程如圖1，首先將原始圖像轉換為灰度圖像，通過車底陰影分割、陰影線的提取、合并得到車尾候選區域。使用SVM分類器結合車尾圖像的HOG特征[5]對候選區域進行分類驗證，剔除非車尾區域，得到所有場景中包含車牌的車尾圖像，最后將車尾圖像轉換到語言學顏色空間中，提取其中的藍色通道，經閾值分割后尋找連通區域，對車牌寬高比和位置加以限制，得到車牌圖像。

3車尾檢測原理

在白天條件下，車底陰影是車輛的一個明顯特征，如何有效地提取車底陰影是能否準確檢測車尾的關鍵，車尾檢測過程分兩步：第一步提取車尾候選區域，3.1節采用圖像閾值分割方法分割出車底陰影；3.2節提取合并車底陰影線，從而確定車尾的位置；第二步驗證候選車尾區域，3.3節采用SVM分類器對候選區域識別，剔除非車尾區域。

3.1車底陰影分割

閾值分割的方法有許多，全局閾值分割中的最大類間方差OTSU[4]是較為常用的陰影分割方法，OTSU是一種全局自適應閾值分割算法，由日本學者大津于1979年提出，當目標和背景之間差距越明顯，類間方差越大，OTSU對目標和背景區分度較高的圖像能夠有效分割，對于目標與背景對比度不明顯的圖像分割效果差。本文采用文獻[3]中提出的改進的陰影分割方法，采用兩次閾值分割方法提取車底陰影，能抑制周圍陰影干擾，分割效果較好。

圖像的均值μ和方差σ定義為

(1)

(2)

其中g(x,y)表示圖像的某點的灰度值，M、N表示圖像的寬和高。根據圖像的均值μ1和方差σ1，按照式(3)得到第一次分割的閾值T1。

T1=μ1-σ1/a

(3)

T1排除了圖像中亮度較高區域的干擾，然后找出圖像中灰度值低于T1的像素點，統計它們的均值μ2和方差σ2：

T2=μ2-σ2/b

(4)

T2的目的在于進一步抑制周圍環境的干擾，參數a和b取a=μ1/σ1，b=μ2/σ2可以更好地適應各種環境。

本文在不同光照條件下用兩種分割方法進行了實驗，圖2和圖3分別是在弱光和強光條件下的原圖；圖4和圖5是OTSU方法在兩種光照條件下的分割結果；圖6和圖7是本文方法在兩種光照條件下的分割結果。

圖2　弱光下原圖

圖3　強光下原圖

結果表明本文所采用的方法相比OTSU方法在弱光條件和強光條件下都能夠極大地抑制圖像中的干擾信息，分割效果較好，能夠滿足后續提取車尾的條件。

圖4　弱光下OTSU方法

圖5　強光下OTSU方法

圖6　弱光下本文方法

圖7　強光下本文方法

3.2提取并合并車底陰影線

從圖6和圖7可以看出，分割后的圖像中除了車底陰影外，還有一些周圍環境形成的干擾陰影，本文采用三次陰影線合并的方法，第一次根據車輛在圖像中的所在行的不同導致車輛寬度不同這一點，根據車輛實際寬度(本文只針對小轎車)、路口攝像機高度，結合式(5)可以將大部分水平線段剔除。

Wi=Wr/Hcam*Y

(5)

其中Wi表示車輛在圖像中某一行應有的寬度，Wr表示車輛實際寬度，Hcam表示路口攝像機架設高度，本文中所使用的圖像均由架設高度為7m的攝像機拍攝，Y表示陰影線在圖像中所在的行。滿足式(6)的線段均可保留。

Wi*0.8

(6)

對于某輛車提取到的陰影線會有多條，我們只需要保留能夠標注這輛車的最合適的那一條陰影線，因此第二次合并根據陰影線上下關系，首先對于滿足|Line1y-Line2y|<20pixel的線段結合圖8四種不同情況進行合并。

圖8　陰影線上下關系

合并時左端點取最左邊的點，右端點取最右邊的點，由于一些黑色車輛后車窗也會產生陰影線，形成干擾區域，因此再對陰影線進行第三次合并，由于原始圖像尺寸較大(2448×2048)，根據實驗分析，針對本文中所使用的數據集，可以合并的陰影線條件需滿足上下距離|Line1y-Line2y|<250pixel。

最后根據實際車輛寬高比，可以得到車尾候選區域。圖9是場景原圖；圖10是閾值分割結果；圖11是未合并陰影線前；圖12是第一次水平方向合并結果；圖13是第二次垂直方向合并結果；圖14是第三次合并結果；圖15用矩形框標注出了最終得到的車尾候選區域。

圖9　原圖

圖10　閾值分割結果

圖11　陰影線合并前

圖12　第一次合并結果

圖13　第二次合并結果

圖14　第三次合并結果

圖15　車尾候選區域

3.3車尾驗證

圖15場景中周圍的樹木、房屋、行人、對面駛來的汽車也被標記出來，這些區域并不是車尾，需要剔除。本文采用支持向量機(Support Vector Machine,SVM)分類器[5]對車尾進行分類驗證，目前的實驗僅針對白天情況下小轎車車尾進行分類驗證。針對其它不同車型的車尾，也可以通過同樣的方法訓練得到不同的分類器，識別不同類型的車尾。

本文在現有的圖像數據集上收集了包含有500幅正樣本和700幅負樣本的訓練樣本，部分正樣本如圖16，負樣本如圖17。

圖16　小轎車正樣本

圖17　負樣本

本文提取了車尾圖像的HOG(Histogram of Oriented Gradient)特征[5]，即方向梯度直方圖，是一種特征描述子，通過計算和統計圖像局部區域的梯度方向直方圖來構成特征。

圖像中某個像素點(x,y)的梯度為

Gx(x,y)=H(x+1,y)-H(x-1,y)

(7)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(8)

式中Gx(x,y)，Gy(x,y)，H(x,y)分別表示圖像中像素點(x,y)處的水平、垂直方向梯度和該點像素值。該點的梯度值和梯度方向為：

(9)

(10)

提取特征的過程是將圖像劃分成小cells，統計每個cell梯度直方圖，作為該cell的描述子，將若干個cell組合成一個block，一個block內所有cell的描述子連接起來就是該block的描述子，將圖像內所有block塊的描述子連接起來就是整幅圖像的HOG特征。

本文中的樣本在訓練時統一調整大小為(200×125)，每幅圖像最終得到12096維的HOG特征。分類器采用SVM分類器，本文經過多次訓練識別，目前對于小轎車車尾的識別準確率平均可以達到96.68%，精度為98.24%，召回率為97.09%，F值為97.45%，實驗結果滿足后續車牌定位需求。

4車牌定位原理

4.1語言學顏色空間

常見的顏色空間有RGB、YUV、HSV、LAB、CMY等，文獻[2]和文獻[9]分別在RGB和LAB顏色空間進行車牌定位。學者Berlin和Kay[10]認為在語言學里有11種基本顏色(黑、藍、棕、綠、灰、橙、粉、紫、紅、白、黃)，文獻[8]從Google已經標注的圖像數據集中收集了這11種顏色的樣本(如圖18)，其中用矩形框標注的圖像是一些負樣本。

圖18　Google已標注的11種顏色樣本

基于Berlin和Kay的理論[10]，采用PLSA-bg[8]模型可以學習出一種基于語言學的顏色命名方法，該方法是對概率潛在語義分析模型(Probability Latent Semantic Analysis,PLSA)[12]方法的改進，PLSA最初用于文檔的潛在語義主題分析。

在PLSA模型中，給定一組文檔D={d1,…,dN}，每個文檔可以用一個詞匯表W={w1,…,wM}描述，這些詞匯是由一組潛在的主題Z={z1,…,zk}生成的，對于詞匯w在文檔d中的概率為

(11)

式(11)中P(w|z)和P(z|d)都是離散的，能用最大期望算法(Expectation Maximization,EM)[12]來估計。PLSA的標準模型不能利用圖像的標注信息，因此作者提出了改進的PLSA-bg模型，將圖像d分為前景和背景，前景由該圖像的顏色標記ld決定，背景由所有圖像共享。

P(w|d,ld=z)=αdP(w|ld=z)

+(1-αd)P(w|bg)

(12)

式(12)中P(w|ld=z)是單詞w由主題ld生成的概率，記P(w|d,ld=z)=pwd、P(w|z)=βwz、P(w|bg)=θw。為了學習模型，需要估計前景和背景的混合比率α、顏色名稱分布β以及背景模型θ。對于每個在文檔中的單詞用一個隱含變量的兩種狀態來關聯，表示這個單詞是在前景主題還是背景主題中，狀態的后驗概率為

(13)

(14)

通過最大化式(15)中所有數據的對數最大似然估計，得到其中q的值，就可以用式(16)重新估計參數αd。

(15)

(16)

用新的α更新pwd后可以得到：

(17)

(18)

其中Dt是標注ld等于t的一組文檔，cwd是每個文檔歸一化后的單詞數量。我們用生成的單詞主題分布來將顏色名稱的概率對應到圖像中的每個像素值。第一種方法是僅基于像素值的一一對應，用PLSA-bg表示，第二種方法是將像素點所在區域考慮進來，用PLSA-bg*表示。

給定一個像素，它對應的顏色名稱的概率是：

PLSA-bg:P(z|w)∝P(z)P(w|z)

(19)

給定一個區域，它對應的顏色名稱的概率是：

PLSA-bg*:P(z|w,d)∝P(w|z)P(z|d)

(20)

采用上述方法結合圖像樣本，可以學習得到一個顏色命名方法，稱之為Color Name。它將RGB顏色空間映射到包含11個通道的顏色空間，該顏色空間稱為語言學顏色空間。對任意一個像素，每個通道的值表示它取該通道對應的顏色值(11種)的概率。圖19(b)是用Color Name對圖19(a)標注的結果，車身被標記為黃色，天空為藍色，地面為白色；圖19(c)是Benavente用基于顏色塊方法[11]標注的結果，車身被標記成了灰色和黃色，地面被標注成了粉色和綠色，可以看出Benavente標注的效果并不理想。

圖19　場景、Color Name標注結果以及Benavente色塊標注結果

4.2基于語言學顏色空間的車牌定位

基于上述顏色命名理論得到了語言學顏色空間，本文嘗試將該顏色空間應用于車牌定位中，如果我們將檢測到的車尾彩色圖像依據Color Name顏色表轉換到含有11個通道的顏色空間下，取每個像素點11個通道中的最大值對應的顏色作為該像素點的顏色，得到的標注結果如圖21，可以看出原圖(圖20)車牌區域被標記為藍色，后警示燈被標記為紅色，車身部分被標記為灰色和黑色。

圖20　車尾原圖

圖21　顏色標注結果

本文采取的方法具體的過程是先通過Color Name對車尾進行顏色空間轉換，提取其中的藍色通道(圖22)，然后對原圖進行窗口大小為3×3的高斯濾波進行去噪，再對該灰度圖進行閾值分割，分割采用OTSU方法，結果如圖23。在分割后的圖像中尋找所有的連通區域，根據實際車牌寬高比、車牌大小、車牌在圖像中的位置(本文車牌定位是在車尾區域內，車牌在圖像中位置水平方向居中)等條件加以限制，就可以準確定位車牌，定位結果如圖24。圖25是提取的車牌圖像。

圖22　RGB藍色通道圖

圖23　Color Name藍色通道

圖24　OTSU分割結果

圖25　車牌定位結果

圖26　提取出的車牌區域

本文用在語言學顏色空間下所提取的藍色通道圖(圖23)和在RGB顏色空間下提取的藍色通道圖(圖22)相比，車牌在圖像中是一個顯著區域，可以采用合適的閾值分割方法將車牌準確的提取出來。

實際場景存在藍色車輛，車身和車牌顏色接近，一些白色車身受光照影響也會成為干擾信息。本文依據藍色成分占原圖大小的比例判斷原圖是否包含較多藍色分量，該比例如果超過設定值r，則認為該圖像為包含藍色信息較多的車尾。對這類車尾采取的方法是在OTSU方法的結果上增加t作為閾值進行分割，可以將大部分干擾區域剔除，r和t為在本實驗數據集上經過多次實驗得到的閾值。

分割之后再對二值圖像在水平方向進行膨脹運算，找到所有的連通區域后，對大小、位置加以限制就可以得到車牌位置。圖27(a)是藍色車尾原圖；圖27(b)是車尾在語言學顏色空間下的藍色通道圖；圖27(c)是閾值分割之后的結果；圖27(d)是水平膨脹運算結果；圖27(e)紅色矩形框是檢測到的車牌候選區域；圖27(f)是最終確定的車牌位置；圖28是提取的車牌圖像。

圖27　藍色車輛車牌定位結果

圖28　提取出的車牌區域

5實驗結果分析

本文實驗環境為VS2010和Matlab2013，實驗中用到的圖像分辨率大小均為(2448×2048)，是在原始圖像上經過截取的結果，為了對本文提出的方法進行有效地評估，選取了500幅白天路口圖像，其中包含不同類型的車輛，不同顏色的車輛，不同光照條件下的車輛。

本文統計了文獻[1]和文獻[9]以及本文方法在同一圖像數據集上的實驗結果，如表1。實驗結果表明本文的方法能夠有效地檢測出車尾中的車牌，在500幅含有車牌的車尾圖像中成功檢測出494張車牌，漏檢6張，檢測率達到98.80%，漏檢率1.20%，車牌定位部分結果如圖29。文獻[9]將原圖從RGB空間轉換到LAB空間下，根據B通道中像素值區分車牌是黃色還是藍色，利用閾值分割定位車牌，能夠較好地抑制光照影響，但該方法易受車身周圍顏色的干擾，對閾值的選取要求較高，需要根據實際場景而定，該方法在本文的數據集上達到91.80%的檢測率。文獻[1]利用紋理特征檢測車牌，采用了Krisch算法，對8方向的邊緣信息統計，能夠取得較好的邊緣圖像，但是該方法在車牌邊緣不清晰、背景復雜時會產生漏檢，且易受車身文字和車身標志的干擾，檢測到虛假目標，在本文數據集上達到了96.20%的檢測率。

表1　不同車牌定位方法結果對比

圖29　車牌定位結果

6結語

本文針對車牌識別系統中車牌定位這一關鍵環節，提出了一種基于車尾檢測結合語言學顏色空間的車牌定位方法，采用車輛檢測的思路提取車尾，縮小了車牌檢測的范圍，減少了周圍環境帶來的影響，再將車尾圖像轉換到本文的顏色空間下結合車牌的顏色信息進行車牌定位。實驗結果表明本文提出的方法能夠有效地檢測車輛位置，對光照影響和周圍環境的干擾有較好的魯棒性，同時能準確定位出車牌位置。

參 考 文 獻

[1] 劉廣起,鄭曉勢,張曉波.基于圖像紋理特征提取的車牌定位算法[J].中國圖象圖形學報,2005,10(11):1419-1422.

LIU Guangqi, ZHENG Xiaoshi, ZHANG Xiaobo. License Plate Location Based on Texture Characteristic of Image[J]. Journal of Image and Graphics,2005,10(11):1419-1422.

[2] 鄭成勇.一種RGB顏色空間中的車牌定位新方法[J].中國圖象圖形學報,2010,15(11):1623-1628.

ZHENG Chengyong. A novel license plate location method on RGB color space[J]. Journal of Image and Graphics,2010,15(11):1623-1628.

[3] 齊美彬,潘燕,張銀霞.基于車底陰影的前方運動車輛檢測[J].電子測量與儀器學報,2012,26(1):54-59.

QI Meibing, PAN Yan, ZHANG Yinxia. Preceding moving vehicle detection based on shadow of chassis[J]. Journal of Electronic Measurement and Instrument,2012,26(1):54-59.

[4] Otsu N. A threshold selection method from gray-level histograms[J]. Automatica,1975,11(285-296):23-27.

[5] Cao X, Wu C, Yan P, et al. Linear SVM classification using boosting HOG features for vehicle detection in low-altitude airborne videos[C]//2011 18th IEEE International Conference on Image Processing,2011:2421-2424.

[6] 趙兵,魯敏,匡綱要,等.基于混合特征的車牌定位算法[J].計算機工程與設計,2007,28(23):5668-5670.

ZHAO Bing, LU Ming, KUANG Gangyao, et al. License plate location based on mixed characteristics[J]. Computer Engineering and Design,2007,28(23):5668-5670.

[7] 陳建坤,范春年.一種基于神經網絡的車牌定位方法[J].遼寧工程技術大學學報(自然科學版),2005,24(1):97-100.

CHEN Jiankun, FAN Chunnian. Neural network based vehicle license plate location[J]. Journal of Liaoning Technical University,2005,24(01):97-100.

[8] Joost V D W, Schmid C, Verbeek J. Learning Color Names from Real-World Images[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2007:1-8.

[9] Chen C, Ren M. The significance of license plate location based on Lab color space[C]//International Conference on Information, Electronics and Computer,2014:78-81.

[10] B. Berlin, P. Kay. Basic color terms: their universality and evolution[M]. Colifornia: University of California Press,1969.

[11] R. Benavente, M. Vanrell, R. Bladrich. A data set for fuzzy colour naming[J]. COLOR research and application,2006,31(1):48-56.

[12] T. Hofmann. Probabilistic latent semantic indexing[C]//22nd annual international ACM SIGIR conference on Research and development in information retrieval,1999:50-57.

收稿日期:2016年1月6日,修回日期:2016年2月26日

作者簡介:王拴,男,碩士研究生,研究方向：數字圖像處理，模式識別。

中圖分類號TP391.41

DOI:10.3969/j.issn.1672-9722.2016.07.034

License Plate Location Based on Detection of Vehicle Rear and Linguistic Color Space

WANG Shuan

(School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing210094)

AbstractLicense plate location is to find the exact location in an image which contains license plates, which is the primary mission in license plate recognition(LPR) for intelligent transport system. A method based on the detection of vehicle rear to locate license plate is proposed in this paper. First the shadow of vehicle is used to get the candidates of vehicle rear. Then the areas which are not recognized as vehicle rear we need by means of a SVM classifier. To get the final location of license plate, the method based on linguistic color space is used. The experimental results show that the proposed method can detect the vehicle rear and locate license plate effectively, and demonstrate the robustness on the change of light and the shadow around.

Key Wordsvehicle rear detection, SVM classifier, license plate location, color space