一種車牌自動識別系統設計方法

摘 要：通過對連續視頻流分析的方法判斷并捕獲車牌圖像幀；基于數學形態學方法和邊緣特征分析來進行車牌定位，進行二值化、引入多指標聯合評價函數判斷反色等處理；最后基于連通體分析的方法切分字符。實驗表明本系統設計方法是可行的。

關鍵詞：車牌識別；數學形態學；車牌定位；字符切分

中圖法分類號：TP391．41 文獻標識碼：A 文章編號：1001-3695(2006)10-0156-03

Algorithm for Automatic License Plate Recognition System

LI Bo，ZENG Zhiyuan，ZHOU Jianzhong，LUO Qin

(Digital Engineering Emulation Research Center， Huazhong University of Science Technology， Wuhan Hubei 430074， China)

Abstract:In this paper， license plate frame is captured from video image sequences. Based on mathematical morphology and edge characteristic analysis， license plate orientation is conducted. After binarization and the adoption of multiple indexes evaluation function for color reverse， characters are segmented on the basis of connected component analysis. The experiment indicates that it is feasible to adopt this algorithm in LPR system.

Key words:License Plate Recognition；Mathematical Morphology； License Plate Orientation；Character Segmentation

牌照是車輛的身份標志，車牌自動識別系統作為現代社會智能交通系統的核心部分之一，應用已經越來越普及。車牌識別系統主要分為車牌圖像采集、車牌定位、字符切分和字符識別四部分。一種車牌識別系統的優劣主要可以用識別率、識別速度、適應性以及學習能力來衡量。

車牌識別技術存在的難點主要有：①含有豐富的自然背景及車身背景信息，同時易受照明、天氣條件及運動失真和模糊的影響；②由于在野外環境下使用，所以車牌會有不同程度的磨損、污跡干擾、變形；③中國車牌的特殊性，如牌照由漢字、字母、數字組成，多種格式、懸掛位置不唯一等。這些問題給車牌識別帶來了難度。

1 車牌圖像采集

目前的車牌識別系統中，一般通過地感線圈或紅外觸發方式來進行車牌圖像采集。但是，這類觸發方式需要安裝固定的外觸發設備，且地感線圈還會破壞路面。隨著應用需求的發展，采用連續視頻流分析的方法進行車牌圖像幀判斷并捕獲車牌幀，即所謂視頻線圈的方法，應該是今后發展的方向。

本文基于背景重建和背景差法來判斷并捕獲車牌圖像幀。假設攝像機位置保持不變， 在一個較短時間段內， 可認為拍攝到的背景圖像基本保持不變；又假設對于一個圖像序列， 在時間軸上提取某個圖像位置上的像素得到一個關于時間軸的一維信號， 這個過程稱為像素過程。對于某個特定的位置{x，y}， 在t時間段內，像素過程可以寫為

{X1，X2，…，Xt}={I(x，y，i)｜1≤i≤t}

設上述像素過程滿足某一特定的高斯分布，則可以得到圖像序列的統計信息， 估計出所有像素過程的分布均值和方差， 從而建立高斯背景模型。在精確度要求不高的情況下， 對于該位置， 背景也可以被簡單地估計為

Bt=t-1tBt-1+1tXt

背景重建完成后，再應用與背景求差檢測運動目標的方法來判斷視頻流當前幀是否有車輛到達。視頻序列中圖像亮度的時域變化是運動目標檢測的基礎，變化檢測一般分為圖像求差分和差分圖像二值化兩步；其輸出是一個二值圖像，取值255 和0 分別對應于運動目標區域和背景。設B (x，y)（即Bt）表示經背景重建得到的背景圖像，則變化檢測可表示為

T(x，y)=255 if |fk (x， y)-B(x， y)|>Thresh

0otherwise

其中，fk為第k幀圖像，Thresh為閾值， 絕對差分值大于閾值Thresh的像素點就認為屬于運動目標區域。Thresh選擇的準確性直接影響到二值圖像的質量，如果閾值Thresh選得太高，二值圖像中判定為運動目標的區域會產生空洞；如果選得太低，又會引入一些噪聲。本文采用Otsu算法［1］自適應確定閾值。當變化檢測結果達到一定量值（即車輛到達）時，捕獲當前幀，則該幀中含有車牌，作為后續處理的輸入。一般認為前后連續兩輛車之間有一段間隔，故當變化檢測未恢復為0時認為再次檢測的運動目標為同一輛車，此時圖像幀不予捕獲。

考慮實時性，每幀圖像處理區域可設定為一較小區域。為適應外界條件變化，背景模型可以每隔一段時間應用卡爾曼濾波方法進行一次更新。

2 車牌圖像預處理及定位

車牌定位方法一般有基于黑白圖像和基于彩色圖像的兩類定位方法。其中基于黑白圖像定位的方法包括:①基于車牌特征的定位方法，如根據車牌區紋理及灰度跳變等特征來定位［2］，或基于掃描行經過車牌區域時會產生有規律的起伏特點定位［2］。這些傳統方法受圖像質量和背景的影響可能較大。②基于遺傳算法、神經網絡等數學工具的車牌定位方法［2］， 該方法可以對傳統方法進行較好的改進，具有一定抗噪性，但計算量較大。

由于車牌具有與車身、背景不同的底色，因此考慮利用顏色信息來研究車牌定位是車牌識別領域的一種新思路［2，4］。不過該方法在車牌區域顏色與附近區域顏色非常相似時，車牌的定位誤差會有所增加。經過實踐摸索，本文設計了一種先利用數學形態學運算根據車牌整體特點進行粗定位，然后根據字符邊緣特征進行精定位的車牌定位方法。經過對大量車牌圖像的分析可以發現，車牌特征可以分為宏觀整體特征和微觀紋理特征。前者如車牌區域基本呈矩形或平行四邊形，且長高比變化有一定范圍；后者如車牌區域內呈規則的縱向紋理變化，通過字符一維灰度特征圖（圖1）可反映出來。字符的紋理特點可以通過求方差圖［5］、提取字符筆畫［6］等方法來反映，本文利用邊緣提取的方法。

2．1 數學形態學及基本運算

數學形態學是20世紀90年代新興的圖像處理技術［7］，其基本思想是利用一個稱作結構元素的探針收集圖像信息，當探針在圖像中不斷移動時便可以考察圖像各部分間的相互關系，從而了解圖像結構特征。結構元素可直接攜帶知識（形態、大小、灰度和色度信息）來探測研究圖像結構的特點。

數學形態學的基礎是腐蝕和膨脹運算，以及由此產生的開、閉運算。 以下簡要介紹數學形態學的基本運算。設B(x)代表結構元素，對工作空間E（被處理的圖像）中每一點x有以下定義：

（1）腐蝕。EB=∩{E-b:b∈B}，一種消除邊界點的過程，結果是使目標縮小、空洞增大，可有效消除孤立噪聲點。

（2）膨脹。E⊕B=∪{E+b:b∈B }，它是將與目標物體接觸的所有背景點合并到物體中的過程，結果使目標增大、空洞縮小，可填補目標物體中的空洞，形成連通域。

（3）開運算。E○B=(EB)⊕B，具有濾去小于結構元素的細節的功能。

（4）閉運算。E●B=(E⊕B)B，具有填補小于結構元素的細節的功能。

2．2 車牌圖像預處理

經過視頻捕獲的含有車牌的圖像幀一般為24位真彩色的BMP圖像，將彩色BMP圖像灰度化，根據圖像灰度分布決定是否采用灰度拉伸和灰度均衡等操作。對圖像進行中值濾波和Sobel 縱向邊緣檢測，即增強車牌縱向邊緣。邊緣檢測后進行二值化（0和255兩種灰度），這里采用Ostu算法［1］。

2．3 基于數學形態學的車牌區域粗定位

經過縱向邊緣檢測和二值化后的車牌圖像中，車牌區域特征得到了加強，但同時也加強了背景中部分噪聲。數學形態學中的腐蝕運算具有使目標縮小、目標內孔增大［7］以及外部孤立噪聲消除的效果。由于車牌區域內主要是一種縱向邊緣，因此對預處理后的圖像E1，先采用基于垂直方向結構元素的腐蝕運算來進行濾波，得到E2=E1Ba×1（Ba×1為a×1的垂直結構元素）。由于閉運算具有填充物體影像內細小孔洞［7］、連接鄰近物體和平滑邊界的作用，采用閉運算來增強車牌區，使車牌區域成為一個連通區域，得到E3=E2●Bm×n=( E2⊕Bm×n)Bm×n（Bm×n為m×n的結構元素）。因為如果B=B1⊕B2，則A⊕B=(A⊕B1) ⊕B2，AB=(AB1) B2，考慮運算效率，將二維結構元素Bm×n拆為水平和垂直方向的兩個一維元素來運算。

接著進行連通區域搜索，常規方法是利用遞歸加連通區域標記搜索［8］，但比較費時，這里采用了一種簡便的基于行掃描的搜索方法。先估計車牌高度和寬度，設分別為plateH，plateW。圖像自底向上，每隔plateH/3的高度進行一次行掃描（這樣既可確保掃描行必經過車牌區，又可提高搜索效率）。統計各行經過的連續灰度值為255的像素點數目total_pixel，如果第i行滿足條件P：total_pixel≥ plateW，則記下該行下標i并分別向i+1，i-1行擴展，繼續判斷i+1，i-1行是否也滿足該條件。直到滿足條件的連續行數總和≥plateH，則搜索停止，找到一個候選車牌區，保存相應值，結束；否則繼續搜索。如果一次未找到目標區域，則放寬閾值，重新再搜索一次。對獲得區域適當向四周放寬若干像素，作為精定位的輸入。一般由于車牌區為圖像最下端的候選車牌區，第一個搜索到的目標區基本上為車牌區。 為提高車牌定位速度，可根據圖像統計規律進行分區優選搜索，如可設圖像下半部為優選區域，當發現目標后搜索停止。

2．4 基于字符邊緣特征的車牌區精定位

粗定位后，一般在水平方向上將車牌定位得比較準確了，這一步主要是根據車牌的微觀邊緣特征來進行縱向精確定位。車牌區域內，由于字符縱向排列的規律性，經邊緣檢測后則縱向邊緣在車牌寬度范圍內按一定間距呈緊密排列。設車牌寬度為plateW，字符縱向邊緣平均間距為Jianju，粗定位確定的區域內，自底向上掃描，只要找到某一行滿足車牌邊緣間距分布特征，即可確定車牌左右精確范圍。如掃描結束未找到目標，則放寬閾值再次搜索一次；如第二次搜索無目標，則轉回粗定位搜索下一個粗定位候選區域。

精定位可以對粗定位起到一定的檢驗和修正作用，當精定位無相應特征區域找到時，可認為粗定位區域錯誤，則重新轉向粗定位，尋求下一候選區域。這樣也收到了將車牌宏觀整體特征與微觀紋理特征相結合的效果。考慮圖像特點和算法效率，限定區域搜索循環均不超過兩次，一般均可找到目標。

3 字符切分

車牌定位后的結果一般可以限制在車牌區域，但是為了識別字符，還要去除車牌邊框部分，并將字符逐一切分。

3．1 車牌字符切分前預處理

字符切分前的預處理工作主要有去除邊框及離散噪聲、傾斜度校正、反色操作、二值化。鑒于本系統現場獲取的車牌樣本傾斜度不大，因此本文暫不考慮傾斜度校正。

車牌區域二值化的方法很多，如結合邊緣檢測的二值化方法［9］、基于牌照字符空間分布知識的全局動態閾值法［10］等。本文根據車牌區域的特點，受P片法啟示采用了一種簡便方法，首先將車牌定位的輸入結果進行一次粗略二值化，即將灰度值前20％的像素點賦值255，其他點賦值為0。中國車牌分為藍底白字、黃底黑字、白底黑字、黑底白字幾種。經實驗發現，這種粗略的二值化方法均可以將上述車牌圖像較粗略地二值化，即將車牌區域字符和背景基本區分開如圖2、圖3所示。

下面在上一步結果基礎上進行反色判斷（統一為白底黑字車牌）。有研究人員根據車牌第二、三個字符隔（俗稱大間隔）來判斷［9］，亦有根據灰度直方圖等來判斷。本文依據四個指標綜合判斷，引入評價函數f(t1，t2，t3，t4)。

（1）車牌上、下邊界處的像素變化過渡情況(t1)。分為由黑—白（圖2），黑—白—黑兩種變化情況（圖3）。若為黑—白過渡，則為白底黑字車牌，t1＝0；否則為黑底白字車牌，t1＝1。

（2）車牌上邊框的下一行黑點像素占該行像素總數比值 (t2)。如果統計值≥60％，t2＝1；否則t2＝0。

（3）車牌下邊框的上一行黑點像素占該行像素總數比值(t3)。如果統計值≥60％，t3＝1；否則t3＝0。

（4）利用對前二值圖進行差分求得的邊緣圖（圖4）判斷底色(t4)。對差分邊緣圖，去掉左右兩端（因為兩端圖像可能受干擾較大），計算黑點像素數目與像素總數比值，若該比值≥60％，則t4＝1；否則t4＝0。

令f(t1，t2，t3，t4)＝a×t1+b×t2+c×t3+d×t4，其中a+b+c+d=1（a，b，c，d為權值，可根據t1，t2，t3，t4參數的重要程度調節）。如果f(t1，t2，t3，t4)≥3，則需要反色，統一為白底黑字。用一變量先記下車牌圖像是否要反色，反色操作放到后面進行。

去除車牌四周邊框這一步可以通過逐行和逐列掃描，利用車牌區字符的紋理和灰度跳變特點來實現。在原灰度圖像基礎上保存去除邊框后的車牌區域圖像G，在此基礎上本文進行第二次二值化，并實現反色。

分析車牌區域字符和車牌區域背景的平均灰度差應該是比較明顯的，雖然受外界條件影響，車牌圖像的明暗程度可能會有很多變化，但字符和車牌區背景的平均灰度差是始終存在的。當將車牌邊框和邊框與字符間的背景區域去除后，車牌字符區域面積大約占整個車牌區域的35％~40％，因此，如果上一步判斷結果車牌圖像需要反色，則將圖像G的灰度值較高35％范圍的像素賦值為0，其余為255；否則將灰度值較低的35％范圍的像素賦值為0，其余為255。由此得到圖像G1。

3．2 字符切分

字符切分的一般方法是投影法［11］，該方法較簡單。但由于統一的閾值往往難以確定，效果常常不很理想，如圖5所示。

本文在圖像G1的基礎上進行連通體判斷，可以通過遞歸方法找出各個連通體，并記下每個連通體的上下左右邊界和像素總數。由于采用遞歸法，判斷并輸出的連通體需要根據左邊界排序，這樣就可以得出正確的字符連通體序列。同時，由于車牌字符可能有部分粘連情況，因此可能有兩個字符甚至三個字符相連的情況（圖6），這時需要根據連通體的左、右寬度來判斷是否需要拆分連通體，得到單個字符。

當完成字符切分后，還需要進行字符歸一化，本文采用插值法進行。歸一化后，即可將字符送入識別模塊了。識別的方法一般有人工神經網絡、模板匹配和支持向量機等方法。

4 實驗結果及結論

為了驗證算法效果，從收費站不同條件下汽車通過的視頻中獲得125張、大小為320×240的車牌圖像。采用VC++ 6.0編程（微機主頻CIV 1.7GHz，256MB內存），形態學腐蝕運算采用3×1結構元素，閉運算采用19×17結構元素（拆為19×1，1×17兩個結構元素，轉為先膨脹后腐蝕運算）。粗定位區域搜索時plateH取4，plateW取50，精定位時Jianju取5。

經測試，準確定位123張，定位率為98.4%，字符切分成功112張，成功率為89.6％。其中初始背景重建時間約為2s，以后每幀判斷處理時間約為70ms，每張圖像車牌定位及字符分割處理時間約為150ms。絕大多數圖像經一次粗定位搜索和一次精定位均可比較準確地確定車牌區域。分析兩張定位不成功的圖像，是因為形態學閉運算后車牌區長度過短，達不到閾值要求，造成粗定位不準確所致；字符切分中由于存在噪聲及部分字符粘連，產生了部分字符分割不精確。系統算法處理流程如圖7所示。

實驗表明，該設計方法在實際應用中是可行的，但算法需要根據收費站攝像機位置等實際情況調整部分閾值。在以后的研究工作中，應該逐步完善算法的適應性。

參考文獻：

［1］Otsu N.A Threshold Selection Method from GrayLevel Histograms［J］.IEEE Transactions， Systems， Man and Cybernetics，1979，9(1)：62-66.

［2］嚴寶民，于萬波，魏小鵬.汽車牌照定位研究綜述［J］.大連大學學報，2002，23（2）：610.

［3］劉偉銘，趙雪平.一種基于掃描行的汽車牌照定位算法［J］.計算機工程與應用，2004，40（6）：223-225.

［4］ 趙雪春，戚飛虎.基于彩色分割的汽車自動識別技術［J］.上海交通大學學報，1998，32（10）：4-9.

［5］燕鵬，劉長松，丁曉青. 復雜背景下的汽車牌照自動識別系統［J］. 電視技術，2005，（6）：90-93.

［6］葉茂亮，劉長松，丁曉青，等. 基于筆畫分析和形態學的汽車牌照定位算法［J］. 電視技術，2005，（5）：85-87.

［7］崔屹.圖像處理與分析——數學形態學方法及應用［M］.北京:科學出版社，2000.1-50.

［8］JunWei Hsieh， ShihHao Yu，et al. Morphologybased License Plate Detection from Complex Scenes［C］.IEEE，2002.176179.

［9］周妮娜，王敏，黃心漢，等.車牌字符識別的預處理算法［J］.計算機工程與應用，2003，39(15)：220-221，232.

［10］張引，潘云鶴.面向車輛牌照字符識別的預處理算法［J］.計算機應用研究，1999，16(7)：85-87.

［11］張玉姣，史忠科.一種新的車牌識別預處理算法［J］.西北工業大學學報，2002，20（1）：83-86.

作者簡介：

李波(1975-)，男，湖北宜都人，碩士研究生，主要研究方向為圖像處理、模式識別；曾致遠(1957-)，男，湖北武漢人，教授，主要研究方向為視頻技術、圖像處理；周建中(1959-)，男，湖北武漢人，教授，博導，主要研究方向為工業控制及自動化系統、模糊控制與人工智能理論；羅勤(1978-)，男（土家族），碩士研究生，主要研究方向為視頻監控、圖像處理。

注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文