一種基于內(nèi)容檢索的多車牌定位方法

鐘鈺

【摘要】 本文提出了一種基于圖像內(nèi)容查詢（CBIR）的多車牌定位方法。該方法利用SIFT算法對車牌字符的局部不變特征進(jìn)行檢測、提取與描述，再與特征數(shù)據(jù)庫中已設(shè)計好的模版的SIFT特征向量進(jìn)行匹配，而從得到眾多匹配點(diǎn)對，然后用K-means聚類算法將匹配點(diǎn)對自適應(yīng)劃分為多個區(qū)域，對每個區(qū)域用RANSAC算法去除誤匹點(diǎn)后，用仿射變換進(jìn)行初步定位，最后用線性回歸的方法進(jìn)行二次傾斜矯正。實(shí)驗(yàn)表明，該方法對各種復(fù)雜環(huán)境具有魯棒性，并且可以實(shí)現(xiàn)多車牌的定位。

【關(guān)鍵詞】 CBIR技術(shù) 多車牌定位 K-means聚類算法 二次傾斜矯正

CBIR技術(shù)很早就在車牌檢索技術(shù)中得到應(yīng)用并且已經(jīng)取得了一些成果，因?yàn)檐嚺票旧戆S富且獨(dú)特的特征信息。圖像內(nèi)容大致可以分為三個語義層次，底層是最基本的視覺信息包括顏色、紋理等；中層是對象空間關(guān)系，一般表現(xiàn)為圖像的局部特征信息；高層是圖像的抽象特征。目前CBIR在車牌檢索技術(shù)中的應(yīng)用還停留在圖像的底層特征。

目前車牌識別技術(shù)面臨車牌多樣性與環(huán)境復(fù)雜性的問題。已有的車牌檢索方法大多基于圖像內(nèi)容的底層特征，這類特征只適用于簡單環(huán)境中標(biāo)準(zhǔn)車牌的檢索，而面對車牌自身的傾斜、旋轉(zhuǎn)，遮擋和模糊等狀況以及環(huán)境中光照、雨雪和偽車牌（斑馬線、廣告牌和樹木等）等影響缺乏適應(yīng)性。因此人們開始把注意力轉(zhuǎn)移到圖像內(nèi)容的第二層語義特征上，即局部不變特征。局部不變特征包括角點(diǎn)、邊緣、區(qū)域和blob等。其中SIFT算子是眾多局部不變特征描述子中的佼佼者，它的特征描述信息量充足，對旋轉(zhuǎn)、尺度變化、亮度、噪聲和遮擋等干擾具備極好的魯棒性，本文將用其提取車牌字符特征。

車牌識別的標(biāo)準(zhǔn)步驟有四個，它們是車牌圖像預(yù)處理、車牌定位、字符分割和字符識別。其中車牌定位一直是車牌識別系統(tǒng)中最重要的一個環(huán)節(jié)，它的定準(zhǔn)率直接影響到系統(tǒng)是否能正確識別出車牌信息。車牌定位也是最容易受到干擾的一個步驟，復(fù)雜的路況、惡劣的天氣、多樣的拍攝角度以及車牌自身的不確定性都會對其產(chǎn)生影響。因此SIFT算法在這一環(huán)節(jié)更能凸顯其優(yōu)勢，本文就提出一種利用SIFT算法進(jìn)行特征匹配，并結(jié)合K-means聚類算法實(shí)現(xiàn)的多車牌定位方法。

一、CBIR技術(shù)與SIFT特征匹配

1.1 基于內(nèi)容的圖像檢索技術(shù)（CBIR）

20世紀(jì)90年代初基于內(nèi)容的圖像檢索技術(shù)（CBIR）作為一種新的圖像檢索技術(shù)應(yīng)運(yùn)而生。與傳統(tǒng)的文字檢索技術(shù)相比較，CBIR突破了對圖像進(jìn)行文字標(biāo)注描述的局限，直接分析圖像的內(nèi)容，從中提取特征并建立索引。因此其具備了如下特點(diǎn)。第一，CBIR是一種近似匹配而非傳統(tǒng)的精確匹配，它在數(shù)據(jù)庫中找出與查詢圖像相似的圖像，系統(tǒng)根據(jù)查詢結(jié)果的相似度進(jìn)行排序，然后返回結(jié)果列表；第二，檢索過程中，用戶可以不斷的提供反饋信息，從而對檢索方式進(jìn)行修正，構(gòu)成一個交互式過程，從而提高檢索的準(zhǔn)確度。第三、整個檢索過程中完全無需人工參與，全部由計算機(jī)自動完成，這就克服了人工描述的主觀性問題，提高了系統(tǒng)的自動化程度，從而提高了檢索效率。

1.2 SIFT特征匹配

SIFT特征匹配是CBIR中常用到的技術(shù)，具體步驟如下：

（1）特征點(diǎn)的檢測與提取。SIFT將DOG金字塔檢測出的空間極值點(diǎn)作為特征點(diǎn)。

DOG的處理流程如下：①圖像利用高斯卷積模版做平滑，然后組合計算相鄰的平滑后圖像，得到高斯差分圖像。②在得到的差分圖像中找尋尺度和空間上的極值，并利用二次迭代以及非極大值抑制對檢測到的特征位置做篩選并精確定位。③因?yàn)槔绽箤吘売休^強(qiáng)的響應(yīng)，所以用Hessian矩陣特征值地相對強(qiáng)弱去除邊緣點(diǎn)。

（2）特征點(diǎn)的過濾與精確定位。

用DOG函數(shù)的二階泰勒（Taylor）展開式D（x）插值得到尺度坐標(biāo)的精確值以及特征點(diǎn)的位置。

（3）特征點(diǎn)的方向分配

為了使得檢測特征點(diǎn)具備旋轉(zhuǎn)不變性，利用關(guān)鍵點(diǎn)鄰域像素地梯度方向?yàn)槊總€關(guān)鍵點(diǎn)設(shè)定方向參數(shù)。用圖像梯度的方法來求局部結(jié)構(gòu)的穩(wěn)定方向。

選擇主峰的值做檢測特征點(diǎn)的主方向，再選峰值超過主峰值80%的局部峰值為輔助方向，如此一個特征點(diǎn)具有多方向，能增強(qiáng)匹配魯棒性。

（4）生成特征描述符

上述三個步驟獲取了每個檢測特征點(diǎn)的尺度、位置和方向信息，我們要將這些信息描述成一個特征向量，步驟如下：①將坐標(biāo)軸旋轉(zhuǎn)到檢測特征點(diǎn)的主方向，來保證生成特征向量的旋轉(zhuǎn)不變性；②計算以檢測特征點(diǎn)為中心的16×16鄰域窗口內(nèi)所有像素點(diǎn)的梯度方向和模值；③將16×16的矩形窗口均勻劃分為16個4×4個子區(qū)域。然后采用高斯加權(quán)使離特征點(diǎn)越近的鄰域權(quán)重值增加，越遠(yuǎn)地鄰域權(quán)重值減少。最后計算每個區(qū)域中8個方向的梯度方向直方圖，繪制出梯度的累加值；④根據(jù)②、③獲得4×4×8=128維的描述符。

（5）特征匹配

在匹配的過程中涉及到兩方面問題，一個是選取合適的相似性度量方法，一個是選取高效的匹配策略。

在相似性度量的選擇中，SIFT算法通常選擇歐氏距離，因?yàn)闅W氏距離適用于每個分量之間要保持著正交無關(guān)并且特征向量各個維度的關(guān)鍵程度相同的情況。

在匹配策略的選擇中，選取基于K-D樹的優(yōu)化算法BBF算法，這是Lowe等人于1997年提出的。

二、多車牌定位與傾斜矯正

我國汽車車牌最大的特點(diǎn)就是字符中包含漢字（共37個），而且漢字大多做為車牌的首個字符（本文僅針對普通車牌），并且漢字相對于數(shù)字與英文字母特征明顯，能提取更多的特征點(diǎn)。借助這一特點(diǎn)，我們訓(xùn)練漢字字符樣本集并建立其特征數(shù)據(jù)庫用于車牌的定位。具體步驟如下：

（1）首先我們搜集各省市以及直轄市還未使用的全新車牌的正面照片。拍攝的過程中要求車牌左下方的直角，與照相機(jī)成像十字第一象限的直角相重合。這樣做的目的是獲取正放沒有旋轉(zhuǎn)的標(biāo)準(zhǔn)實(shí)際車牌圖像。

（2）統(tǒng)一所有拍攝到的車牌的尺寸大小，再以相同的矩形框截取車牌的第一個漢字字符，要求漢字字符完全包含于矩形框內(nèi)，并位于中心位置。

（3）已相同的方式獲取0～9十個阿拉伯?dāng)?shù)字的矩形框。

（4）對所有截取的字符圖像做灰度化處理，再將灰度圖像增強(qiáng)后進(jìn)行二值化，得到二值圖像。

（5）對（4）中得到的二值圖像，組合成如圖1所示模版。對于37個漢字制作出37組模版。

（6）用SIFT算法提取上述模版中的SIFT特征向量，并存入備選特征數(shù)據(jù)庫。

特征數(shù)據(jù)庫建立完成之后就開始實(shí)現(xiàn)多車牌的識別具體步驟如下：

（1）以特征數(shù)據(jù)庫建立的相同方法，即用SIFT算法提取待檢測圖像的128維特征向量；

（2）將（1）中特征向量與特征數(shù)據(jù)庫的特征向量進(jìn)行匹配。匹配過程中采用棋盤距離與街區(qū)距離的線性組合代替歐氏距離，降低計算量，并使用基于K-D樹的改進(jìn)算法BBF作為匹配策略，來提高匹配效率；

（3）用K-means聚類算法對目標(biāo)圖像上生成的匹配點(diǎn)對自適應(yīng)分類，找出密集點(diǎn)區(qū)的中心點(diǎn)，以中心點(diǎn)為圓心，以某圓心到離其最近圓心距離的一半為半徑做圓，如此就將多個車牌候選區(qū)域粗定位了；

（1）

（5）經(jīng)過初次仿射變換定位之后我們發(fā)現(xiàn)，車牌圖像可能還存在小角度的傾斜，這是不可避免的，因?yàn)槟繕?biāo)圖像中的車牌可能存在形變或視角過大的問題。我們需要進(jìn)行進(jìn)一步的精確定位來矯正傾斜。這里我們考慮用線性回歸的方法將車牌二值圖像中下邊框的像素點(diǎn)集擬合成一條直線，并計算其斜率，從而得出傾斜角θ。

（6）繼續(xù)用仿射變換中旋轉(zhuǎn)變換矩陣將圖像區(qū)域進(jìn)行二次的傾斜矯正，新的仿射變換矩陣可以表示為：M=M2M1，其中M2為旋轉(zhuǎn)變換矩陣。

將上述車牌精確定位的方法用于每一個車牌候選區(qū)域，并輸出所有區(qū)域內(nèi)的圖像，就實(shí)現(xiàn)了多車牌的定位。

三、實(shí)驗(yàn)結(jié)果與分析

筆者采集了大量實(shí)時圖片來驗(yàn)證本文多車牌定位方法的可行性與效果?，F(xiàn)選取其中一個典型實(shí)驗(yàn)用作結(jié)果展示和分析，圖2為采集的目標(biāo)圖片，圖3為特征匹配結(jié)果，圖4為初次獲得的車牌區(qū)域，圖5為二次傾斜矯正后的車牌區(qū)域。

四、結(jié)束語

本文提出了一種基于內(nèi)容查詢的多車牌定位方法。該方法的特點(diǎn)在于抓住了車牌字符的局部不變特征，如此可以提高對于圖片質(zhì)量以及復(fù)雜環(huán)境的魯棒性，并且通過K-means聚類算法實(shí)現(xiàn)了多車牌的定位。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的可行性與優(yōu)越性。

參 考 文 獻(xiàn)

[1] 趙偉，張姝，李文輝. 改進(jìn)K-means的空間聚類算法[J]. 計算機(jī)應(yīng)用研究. 2008.7 vol.25 NO.7：1995-1997

[2] 李永森，楊善林，馬溪駿等. 空間聚類算法中的K值優(yōu)化問題研究[J]. 系統(tǒng)仿真學(xué)報. 2006.3 vol.18 NO.3：573-576

[3] Kutner M H. Applied linear statistical models[M]. Chicago：Irwin，1996