基于NSCT變換的車牌定位算法研究

張博

基于NSCT變換的車牌定位算法研究

張博

在汽車牌照識別系統中，車牌定位是整個識別模塊實現的前提，目前車牌定位的方法多種多樣，各有所長，但存在著計算量大或定位準確率不高等問題。為了實現對車牌區域的精確定位，提出了一種基于非下采樣Contourlet變換的車牌定位算法。首先，對圖像進行非下采樣Contourlet變換，得到車輛圖像的8個方向的高頻分量子圖；然后，通過一定的結合規則將這些高頻子圖合成一幅能突出車牌區域的高頻圖；最后，運用數學形態學和連通域分析定位出車牌。實驗結果表明，其算法不僅能成功提取車牌圖像邊緣，而且能很好地濾除噪聲，從而實現準確車牌定位。

車牌定位；非下采樣Contourlet變換；數學形態學；車牌識別系統

0 引言

汽車牌照自動識別系統是以數字圖像處理、模式識別，計算機視覺等技術為基礎的智能識別系統[1]，通過攝像機所拍攝的視頻序列或者車輛圖像進行車牌號碼的識別，其核心是利用自動化技術來減輕公路汽車安全管理系統的難度。車牌識別系統( LPR)廣泛地應用在道路交通監控、交通事故現場偵察、交通違章自動記錄、高速公路自動收費系統、停車場自動安全管理和智能園區管理等方面。車牌識別系統主要包括圖像采集、車牌定位、字符分割和

字符識別，而車牌的準確定位是車牌識別系統的首要步驟，是進行后續分割和識別的先決條件，它的準確率和穩定性極大地影響了整個系統的準確率和穩定性[2-3]。車輛圖像采集大都處于外部環境，光照、復雜背景等的影響導致準確定位車牌位置較為困難。因此，如何進行有效的車牌定位一直都是研究的熱點，同時也是實現后續字符分割與車牌識別的重要前提與關鍵技術。

目前所使用的車牌定位算法一般可以劃分為3類：基于灰度邊緣檢測的算法[4-5]，該類算法主要是利用物體邊緣處灰度變化劇烈這一特點來檢測圖像的邊緣，該算法簡單快速，但當光照不均，或圖像對比度不高時，需針對環境變化選擇合適的算子，對圖像進行邊緣檢測，才能達到好的效果；基于彩色圖像的算法[6-7]，該類算法主要利用車牌圖像的顏色特征進行分割，正確率較高，但當車身顏色與車牌區域顏色接近或車牌褪色時，需要附加較多判別，也很難準確定位；基于圖像紋理特征分析的車牌定位[8]，該類算法對于牌照傾斜或變形以及光照不均、偏弱或偏強有很好的效果，但對噪聲極為敏感。以上這些方法都只有在良好的外部條件下才能獲得較好的定位結果，而一個成功的定位系統應該能夠在光照變化、視點和距離變化、車輛運動、復雜背景噪聲等情況下都能得到良好的檢測結果。

1 算法思想和基本理論

現有的基于邊緣檢測的車牌定位方法通過對車輛圖像進行垂直邊緣檢測，利用車牌區域文字垂直邊緣十分豐富，而車輛圖像中其他部分往往相對平緩，邊緣較少的特點將車牌從圖像中突出出來；然后，利用數學形態學將檢測出的車牌邊緣連接起來，成為候選區域，再根據我國車牌寬高比特性（寬高比約為22:7），在候選區中選出最符合車牌性質的區域。這種方法的缺點是如果圖像中存在除車牌以外的邊緣密集區，如車燈和車前端散熱片等，利用邊緣檢測的方法有時未必能將這些區域和車牌區域分離開，使定位效果受到干擾，導致定位錯誤或不精確。

車牌區域的邊緣較強，且車牌字符的各個方向邊緣均很豐富，而車燈的邊緣較弱，散熱片的邊緣雖強，但邊緣方向往往是朝著一個方向（水平或垂直）的。因此，只要能抑制車燈的弱邊緣和提取出圖像的各個方向的邊緣，就能把車牌區域與車燈和車前端散熱片等區域區分出來。

Contourlet變換是一種有效的信號處理方法，它不僅繼承了小波變換的多分辨率時頻分析特征，而且擁有良好的各向異性特征。非下采樣Contourlet變換是Contourlet變換的一種改進，它具有良好的濾波和方向性邊緣檢測特性，利用非下采樣Contourlet變換可以把車牌區域與車燈和車前端散熱片等區域區分開來。

1.1 非下采樣Contourlet變換（NSCT）及分析

在傳統Contourlet變換基礎上，Cunha等人[9]提出一種具有多尺度、多方向和具有平移不變性的非下采樣Contourlet變換（NSCT），用于圖像分解和分析。NSCT變換具有很好的頻率選擇性和正則性，可用于圖像的降噪、增強和輪廓提取，并可減少Gibbs偽影的出現。NSCT變換的構造是結合拉普拉斯塔式分解（ nonsubsampled pyramid，NSP）和非下采樣方向濾波器組（ nonsubsampled directional filter bank，NSDFB），利用拉普拉斯塔式濾波器組對圖像的多尺度非下采樣分解，之后利用非下采樣方向濾波器組對各尺度的高頻子帶進行分解，從而得到各尺度和方向的分解子帶。4方向4層的NSCT變換的分解頻域分布示意圖如圖1所示：

圖1 NSCT變換的分解頻域

NSCT變換采用的非下采樣方向濾波器組，取消了下采樣和插值過程，并通過若干兩通道的扇型濾波器組的樹狀迭代實現精細的頻率方向選擇。由2組扇型濾波器組構成的4個方向 NSDFB結構如圖2所示：

圖2 四個方向NSCT變換的方向濾波器組結構

由于NSCT變換具有良好的多尺度多方向的信號表示能力，車輛圖像中所包含的關鍵信號，會以大幅度值的系數出現在NSCT變換的高頻子帶中。

1.2 數學形態學基本原理和算法

數學形態學是分析幾何形狀和結構的數學方法，是建立在集合代數基礎上，用集合論方法定量描述幾何結構的科學。其基本思想是用一個結構元素作為基本工具來探測和提取圖像特征，看這個結構元素是否能夠適當有效地放入圖像內部。數學形態學的基本運算有腐蝕、膨脹、開啟和閉合。下面介紹基本的用于二值圖像處理的四種數學形態學運算，設F表示給定的待處理二值圖像，B為結構元素，則：

腐蝕可以定義為公式（1）：

膨脹可以定義為公式（2）：

式中：

Θ表示腐蝕運算；

⊕表示膨脹運算。

開啟和閉合運算是膨脹和腐蝕的代數運算和集合操作組成的。開啟運算是先對圖像進行腐蝕然后再進行膨脹，閉合運算是先對圖像進行膨脹再進行腐蝕，即：

開運算定義為公式（3）：

閉運算定義為公式（4）：

腐蝕表示某個結構元素對一個圖像進行探測，以便找出在圖像內部可以放下結構元素的區域，是一種消除邊界點過程，結果是使目標縮小，空洞增大，可有效消除孤立噪聲點。膨脹可以通過相對結構元素的所有點平移輸入圖像，然后計算其并集得到，結果使目標增大，空洞縮小，可填補目標物體中空洞，形成連通域。開啟運算通過先腐蝕后膨脹的操作可消除邊緣的突起，使圖像的邊界得以平滑，具有濾去小于結構元素的細節的功能。而閉合運算則是通過先膨脹后腐蝕的處理方法填充圖像內部空隙并連接鄰近的物體，具有填補小于結構元素的細節的功能。因此，形態學運算常用于提取圖像的邊緣，同時也能起到降噪作用。

2 基于非下采樣Contourlet變換的車牌定位算法

2.1 車輛圖像預處理

在實際環境下，由于各種客觀原因，如拍攝時的天氣、光照、機器、車牌的模糊等，都使得原始車輛圖像需要經過一系列的處理才能進行下一步的邊緣檢測。這些處理包括圖像的灰度變換、灰度增強、二值化、去噪、濾波等。本文采用灰度變換、灰度拉伸、二值化和中值濾波相結合的預處理方法。由于彩色圖像的顏色種類較多，不利于圖像處理，因此本文首先將彩色圖像轉換為灰度圖像；然后進行灰度拉伸，使圖像明暗更加清晰，對比度增強；再用典型的全局閾值法Ostu對圖像進行二值化處理，使圖像變為只有黑白二色的二值圖像，把車牌特征更加清晰地突顯出來；中值濾波是較常用的能夠有效去除噪聲并能減少邊緣模糊的非線性平滑方法，最后用中值濾波來有效去除噪聲。

2.2 車輛圖像的非下采樣Contourlet變換

分析車輛圖像可以發現，車牌字符區包含著大量的紋理，而這些字符紋理是多方向的。車牌以外部分主要是汽車車身和背景，往往水平紋理也較為豐富，因此可以通過提取水平邊緣以外的邊緣突出車牌區域。車牌字符區的主要特征是高頻信息相對于其余區域突出，對車輛圖像進行非下采樣Contourlet變換可以提取其高頻信息，但是僅進行1層非下采樣 Contourlet變換，圖像中仍留有部分車牌區域以外的中高頻信息，不能完全突出車牌區域。但是由于車牌字符區域的高頻信息絕大部分情況下比圖像中其余部分頻率更高，如車燈區域，對車輛圖像進行3 層非下采樣Contourlet變換后，大部分車牌區域以外的高頻信息將被抑制。因此選用分解方式為[0，0，3]，即選用前兩層都為1個方向，第三層為8個方向的濾波器組，這樣可以檢測出比普通邊緣檢測和小波變換更高頻率和更多方向的信息，濾除大量弱邊緣并突出更多方向的邊緣。

2.3 邊緣圖合成和形態學處理

設8個方向的高頻子帶圖分別為D(i),i=1,2,…,8。D(6)、D(7)中存在大量車牌區以外的高頻信息，這是因為D(6)、D(7)主要包含水平高頻信息，而車輛圖像中背景也存在著大量水平紋理，這些水平高頻信息可能會對車牌定位產生較大干擾。分析其它子圖可以發現，雖然車牌區域較為突出，卻仍有一些背景干擾，值得慶幸的是對于不同的子圖，突出的背景往往各不相同，因為這些背景的紋理方向不同。為了突出車牌區，同時抑制非車牌區，將除D(6)、D(7)以外的高頻信息子圖綜合起來，根據各方向高頻信息可能包含車牌區信息的多少，按一定規則合成一幅高頻圖。這里所選用的規則應該盡量突出車牌的垂直方向和字符筆畫方向的邊緣，而盡量抑制普遍車輛圖像中的占比例最多的水平方向的邊緣。

若設合并后的高頻圖為F，則本文選取如下表達式對高頻信息子圖進行組合公式（5）：

對合成后的高頻圖進行二值化，結果如圖3所示：

圖3 高頻結合圖

由圖3可見，經過上述處理，車牌區域的邊緣在整幅邊緣圖中較為明顯，這些邊緣并未形成一個連通的整體區域，用數學形態學方法可將車牌區域的邊緣點連接起來。車牌字符間有一定距離，二值化后整個車牌區域通常不完全連通，膨脹的目的是將分離的部分連接起來，對于大小為480×640像素大小的車輛圖像，一般選取1×10的水平結構元素。這對下一步快速檢測連通域有至關重要的作用，處理后的結果如圖4所示：

圖4 形態學處理

由圖4可見，數學形態學處理后車燈和前端散熱片對定位的干擾影響已經不大。

2.4 數學形態學后的連通域合并

由圖4可見，在膨脹后的二值圖中，雖然車牌區邊緣點大部分已經相連，但仍有空洞甚至斷裂的現象存在。采用連通域分析和連通域外接矩形合并方法可以連通整個車牌區域，這種方法不需要知道車牌大小，比用窗口搜索法有更好的適應性，并提高了速度。

首先，對圖4中的白點進行連通域分析，將連通域外接矩形內的所有點置為白點。結果如圖5所示：

圖5 連通域分析

從圖5中可以看出這樣得到的矩形區域很多，為簡化處理，把一些面積特別小的，小到不可能是車牌區的區域去除，不同大小的圖像所選的面積閾值也不同，以480×640的車輛圖像為例，將面積小于40的矩形去除。

其次，車牌區某些字符之間（如第二個和第三個字符之間）距離較大，使得車牌區出現斷裂，處理后車牌區可能會包含幾個矩形區。因此將水平距離小于一定像素（一般取整個車輛圖像水平寬度的3%），且垂直方向重合長度大于一定像素（一般取這個車輛圖像垂直高度的3%）的區域合并為一個矩形區，把面積、長度、寬度較小的區域去除。一般最多留下 3～5個區域，結果如圖6所示：

圖6 連通域合并

所提定位算法的具體步驟如下：

Step1：對彩色車輛圖像進行灰度化；

Step2：對車輛圖像進行中值濾波以去除噪聲；

Step3：對車輛圖像進行非下采樣Contourlet變換以提取其高頻信息；

Step4：對高頻信息圖進行合并，合成一幅邊緣圖；

Step5：對邊緣圖進行數學形態學處理；

Step6：對數學形態學后的連通域進行合并；

Step7：確定車牌區的位置。

3 實驗結果與分析

在迅馳酷睿2處理器、3.10GHz主頻、8GB RAM的計算機上用Matlab 7.1仿真實現該算法，并與基于顏色特征定位、普通邊緣檢測定位及基于小波變換的車牌定位方法比較，對300幅480×640像素的不同車輛圖像進行測試。實驗結果如表1所示：

表1 四種車牌定位算法的實驗結果對比

實驗結果表明，本文提出的方法可靠，準確率可達96.7%，比基于顏色特征定位、普通邊緣檢測定位及基于小波變換的定位方法有了較大提高，且實驗的平均定位時間低于1s，用VC++實現該算法平均定位時間為190ms，能符合實時性要求，有很好的應用前景。

4 總結

本文提出了基于非下采樣Contourlet變換的車牌定位算法，創新點在于將非下采樣 Contourlet變換引入了車牌定位步驟中，更好的抑制了車燈和環境中的弱邊緣；提取了各個方向的邊緣，充分利用了車牌字符區域各方向邊緣豐富的特點，去除了散熱片等單方向邊緣豐富的區域的干擾，提高了車牌定位的準確性和魯棒性。

由于車牌背景的復雜性與車牌特征的多樣性，比如牌照的傾斜、光照的干擾及噪聲的影響等，到目前為止，仍沒有一個完全通用的智能化車牌定位方法。大多數定位方法離實際應用尚有比較大的距離。因此，車牌定位的內容仍然還有許多工作值得我們去研究。

[1] Li Y C, Liu Y S, Wang M S. Study and realization for license plate recognition system[C]. Proceedings-2009, Asia-Pacific Conference on Information Processing. Shenzhen, China, 2009: 501-504.

[2] KwaSnicka H, Wawrzyniak B. License plate localization and recognition in camera pictures[J].Artificial Intelligence Methods. 2002, 11: 13-15.

[3] Wenjing Jia, Huaifeng Zhang, Xiangjian He. Region-based license plate detection[J]. Journal of Network and Computer Applications. 2007, 30: 1324-1333.

[4] 陳寅鵬, 丁曉青. 復雜車輛圖像中的車牌定位和字符分割方法[J]. 紅外與激光工程, 2004, 33(1): 30-33.

[5] 張浩鵬, 王宗義. 基于灰度方差和邊緣密度的車牌定位算法[J]. 儀器儀表學報, 2011, 32(5) : 1095-1101.

[6] 耿鑫, 肖謹, 胡曉光. 基于物理模型的彩色圖像邊緣檢測與分類[J]. 儀器儀表學報, 2010, 31(8): 1782-1786.

[7] 雷博, 蘭蓉, 范九倫. 基于特征顏色邊緣檢測的車牌定位方法[J]. 儀器儀表學報, 2008, 29(12) : 2673-2677.

[8] 王眩明, 張曉林, 景曉軍. 基于改進型的三角模準則的融合濾波算法[J]. 電子學報, 2011, 24(6): 256-263.

[9] DA CUNHA A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101.

[10] LALIMI M A, GHOFRANI S, MCLERNON D. A vehicle license plate detection method using region and edge based methods[J]. Computers and Electrical Engineering, 2012(26): 230-231.

[11] CHEN Rongbao, LUO Yunfei. An improved license plate location method based on edge detection[J]. Physics Procedia, 2012(24): 1350-1356.

[12] 魏娜, 王振臣, 張聰, 等. 一種新型車牌定位算法的研究[J]. 激光與紅外, 2012, 42(8): 936-939.

[13] 張浩鵬, 王宗義. 基于灰度方差和邊緣密度的車牌定位算法[J]. 儀器儀表報, 2011, 32(5): 1095-1101.

Car License Plate Location Algorithm Research Based on NSCT Transformation

Zhang Bo
(The Department of Electronics and Information Engineering , Changsha Normal University, Changsha 410100, China)

In car license plate identification systems, license plate positioning is the precondition of the whole identification module. Now various methods are applied and each of which has its own advantage. However, problems such as large amount of calculation or the low positioning accuracy are still remained. To implement accurate positioning of license plate, an algorithm of license plate location based on Nonsubsampled Contourlet Transform (NSCT) is presented. Firstly, the license plate picture is processed with Nonsubsampled Contourlet Transform (NSCT) to get 8 oriented high-frequency components pictures of the original picture. Next, the high frequency subgraphs are merged into one High frequency chart which can highlight the plate through a certain combination rule. Finally, the license plate is positioned with mathematical morphology and connected components analysis. The experimental results indicate that the algorithm can not only extract the image edge of car license plate, but also can greatly reduce the noise. It is able to implement car license plates’ accurate positioning.

Car License Plate Location; Nonsubsampled Contourlet Transform; Mathematical Morphology; License Plate Recognition System

TP391.41

A

2014.11.12）

1007-757X(2015)01-0032-04

湖南省教育廳科學研究項目（13C1070）

張 博（1980-），男，湖南長沙人，長沙師范學院，電子與信息工程學院講師，研究方向：模式識別、人工智能、圖像處理，長沙，410100