一種基于內容檢索的多車牌定位方法

鐘鈺

【摘要】 本文提出了一種基于圖像內容查詢（CBIR）的多車牌定位方法。該方法利用SIFT算法對車牌字符的局部不變特征進行檢測、提取與描述，再與特征數據庫中已設計好的模版的SIFT特征向量進行匹配，而從得到眾多匹配點對，然后用K-means聚類算法將匹配點對自適應劃分為多個區域，對每個區域用RANSAC算法去除誤匹點后，用仿射變換進行初步定位，最后用線性回歸的方法進行二次傾斜矯正。實驗表明，該方法對各種復雜環境具有魯棒性，并且可以實現多車牌的定位。

【關鍵詞】 CBIR技術 多車牌定位 K-means聚類算法 二次傾斜矯正

CBIR技術很早就在車牌檢索技術中得到應用并且已經取得了一些成果，因為車牌本身包含豐富且獨特的特征信息。圖像內容大致可以分為三個語義層次，底層是最基本的視覺信息包括顏色、紋理等；中層是對象空間關系，一般表現為圖像的局部特征信息；高層是圖像的抽象特征。目前CBIR在車牌檢索技術中的應用還停留在圖像的底層特征。

目前車牌識別技術面臨車牌多樣性與環境復雜性的問題。已有的車牌檢索方法大多基于圖像內容的底層特征，這類特征只適用于簡單環境中標準車牌的檢索，而面對車牌自身的傾斜、旋轉，遮擋和模糊等狀況以及環境中光照、雨雪和偽車牌（斑馬線、廣告牌和樹木等）等影響缺乏適應性。因此人們開始把注意力轉移到圖像內容的第二層語義特征上，即局部不變特征。局部不變特征包括角點、邊緣、區域和blob等。其中SIFT算子是眾多局部不變特征描述子中的佼佼者，它的特征描述信息量充足，對旋轉、尺度變化、亮度、噪聲和遮擋等干擾具備極好的魯棒性，本文將用其提取車牌字符特征。

車牌識別的標準步驟有四個，它們是車牌圖像預處理、車牌定位、字符分割和字符識別。其中車牌定位一直是車牌識別系統中最重要的一個環節，它的定準率直接影響到系統是否能正確識別出車牌信息。車牌定位也是最容易受到干擾的一個步驟，復雜的路況、惡劣的天氣、多樣的拍攝角度以及車牌自身的不確定性都會對其產生影響。因此SIFT算法在這一環節更能凸顯其優勢，本文就提出一種利用SIFT算法進行特征匹配，并結合K-means聚類算法實現的多車牌定位方法。

一、CBIR技術與SIFT特征匹配

1.1 基于內容的圖像檢索技術（CBIR）

20世紀90年代初基于內容的圖像檢索技術（CBIR）作為一種新的圖像檢索技術應運而生。與傳統的文字檢索技術相比較，CBIR突破了對圖像進行文字標注描述的局限，直接分析圖像的內容，從中提取特征并建立索引。因此其具備了如下特點。第一，CBIR是一種近似匹配而非傳統的精確匹配，它在數據庫中找出與查詢圖像相似的圖像，系統根據查詢結果的相似度進行排序，然后返回結果列表；第二，檢索過程中，用戶可以不斷的提供反饋信息，從而對檢索方式進行修正，構成一個交互式過程，從而提高檢索的準確度。第三、整個檢索過程中完全無需人工參與，全部由計算機自動完成，這就克服了人工描述的主觀性問題，提高了系統的自動化程度，從而提高了檢索效率。

1.2 SIFT特征匹配

SIFT特征匹配是CBIR中常用到的技術，具體步驟如下：

（1）特征點的檢測與提取。SIFT將DOG金字塔檢測出的空間極值點作為特征點。

DOG的處理流程如下：①圖像利用高斯卷積模版做平滑，然后組合計算相鄰的平滑后圖像，得到高斯差分圖像。②在得到的差分圖像中找尋尺度和空間上的極值，并利用二次迭代以及非極大值抑制對檢測到的特征位置做篩選并精確定位。③因為拉普拉斯對邊緣有較強的響應，所以用Hessian矩陣特征值地相對強弱去除邊緣點。

（2）特征點的過濾與精確定位。

用DOG函數的二階泰勒（Taylor）展開式D（x）插值得到尺度坐標的精確值以及特征點的位置。

（3）特征點的方向分配

為了使得檢測特征點具備旋轉不變性，利用關鍵點鄰域像素地梯度方向為每個關鍵點設定方向參數。用圖像梯度的方法來求局部結構的穩定方向。

選擇主峰的值做檢測特征點的主方向，再選峰值超過主峰值80%的局部峰值為輔助方向，如此一個特征點具有多方向，能增強匹配魯棒性。

（4）生成特征描述符

上述三個步驟獲取了每個檢測特征點的尺度、位置和方向信息，我們要將這些信息描述成一個特征向量，步驟如下：①將坐標軸旋轉到檢測特征點的主方向，來保證生成特征向量的旋轉不變性；②計算以檢測特征點為中心的16×16鄰域窗口內所有像素點的梯度方向和模值；③將16×16的矩形窗口均勻劃分為16個4×4個子區域。然后采用高斯加權使離特征點越近的鄰域權重值增加，越遠地鄰域權重值減少。最后計算每個區域中8個方向的梯度方向直方圖，繪制出梯度的累加值；④根據②、③獲得4×4×8=128維的描述符。

（5）特征匹配

在匹配的過程中涉及到兩方面問題，一個是選取合適的相似性度量方法，一個是選取高效的匹配策略。

在相似性度量的選擇中，SIFT算法通常選擇歐氏距離，因為歐氏距離適用于每個分量之間要保持著正交無關并且特征向量各個維度的關鍵程度相同的情況。

在匹配策略的選擇中，選取基于K-D樹的優化算法BBF算法，這是Lowe等人于1997年提出的。

二、多車牌定位與傾斜矯正

我國汽車車牌最大的特點就是字符中包含漢字（共37個），而且漢字大多做為車牌的首個字符（本文僅針對普通車牌），并且漢字相對于數字與英文字母特征明顯，能提取更多的特征點。借助這一特點，我們訓練漢字字符樣本集并建立其特征數據庫用于車牌的定位。具體步驟如下：

（1）首先我們搜集各省市以及直轄市還未使用的全新車牌的正面照片。拍攝的過程中要求車牌左下方的直角，與照相機成像十字第一象限的直角相重合。這樣做的目的是獲取正放沒有旋轉的標準實際車牌圖像。

（2）統一所有拍攝到的車牌的尺寸大小，再以相同的矩形框截取車牌的第一個漢字字符，要求漢字字符完全包含于矩形框內，并位于中心位置。

（3）已相同的方式獲取0～9十個阿拉伯數字的矩形框。

（4）對所有截取的字符圖像做灰度化處理，再將灰度圖像增強后進行二值化，得到二值圖像。

（5）對（4）中得到的二值圖像，組合成如圖1所示模版。對于37個漢字制作出37組模版。

（6）用SIFT算法提取上述模版中的SIFT特征向量，并存入備選特征數據庫。

特征數據庫建立完成之后就開始實現多車牌的識別具體步驟如下：

（1）以特征數據庫建立的相同方法，即用SIFT算法提取待檢測圖像的128維特征向量；

（2）將（1）中特征向量與特征數據庫的特征向量進行匹配。匹配過程中采用棋盤距離與街區距離的線性組合代替歐氏距離，降低計算量，并使用基于K-D樹的改進算法BBF作為匹配策略，來提高匹配效率；

（3）用K-means聚類算法對目標圖像上生成的匹配點對自適應分類，找出密集點區的中心點，以中心點為圓心，以某圓心到離其最近圓心距離的一半為半徑做圓，如此就將多個車牌候選區域粗定位了；

（1）

（5）經過初次仿射變換定位之后我們發現，車牌圖像可能還存在小角度的傾斜，這是不可避免的，因為目標圖像中的車牌可能存在形變或視角過大的問題。我們需要進行進一步的精確定位來矯正傾斜。這里我們考慮用線性回歸的方法將車牌二值圖像中下邊框的像素點集擬合成一條直線，并計算其斜率，從而得出傾斜角θ。

（6）繼續用仿射變換中旋轉變換矩陣將圖像區域進行二次的傾斜矯正，新的仿射變換矩陣可以表示為：M=M2M1，其中M2為旋轉變換矩陣。

將上述車牌精確定位的方法用于每一個車牌候選區域，并輸出所有區域內的圖像，就實現了多車牌的定位。

三、實驗結果與分析

筆者采集了大量實時圖片來驗證本文多車牌定位方法的可行性與效果。現選取其中一個典型實驗用作結果展示和分析，圖2為采集的目標圖片，圖3為特征匹配結果，圖4為初次獲得的車牌區域，圖5為二次傾斜矯正后的車牌區域。

四、結束語

本文提出了一種基于內容查詢的多車牌定位方法。該方法的特點在于抓住了車牌字符的局部不變特征，如此可以提高對于圖片質量以及復雜環境的魯棒性，并且通過K-means聚類算法實現了多車牌的定位。實驗結果驗證了本文方法的可行性與優越性。

參 考 文 獻

[1] 趙偉，張姝，李文輝. 改進K-means的空間聚類算法[J]. 計算機應用研究. 2008.7 vol.25 NO.7：1995-1997

[2] 李永森，楊善林，馬溪駿等. 空間聚類算法中的K值優化問題研究[J]. 系統仿真學報. 2006.3 vol.18 NO.3：573-576

[3] Kutner M H. Applied linear statistical models[M]. Chicago：Irwin，1996