基于先驗(yàn)信息和射影幾何變換的車牌圖像矯正
2008-12-31 00:00:00張勇金學(xué)波
計(jì)算機(jī)應(yīng)用研究 2008年7期
摘 要：為了便于字符分割、識別，車牌識別系統(tǒng)需要將車牌的傾斜圖像矯正為無傾斜和旋轉(zhuǎn)的標(biāo)準(zhǔn)圖像。目前多數(shù)文獻(xiàn)采用Hough變換檢測傾斜角度并直接進(jìn)行矯正，但存在的缺陷。為此從射影幾何的觀點(diǎn)提出了新算法：利用車牌固有的先驗(yàn)信息，將車牌與車牌圖像之間的透視變換矯正為仿射變換，再將仿射變換矯正為相似變換，將此相似變換看做是對原車牌進(jìn)行旋轉(zhuǎn)和全局縮放的結(jié)果，消除其中的旋轉(zhuǎn)因素，就得到一個與車牌僅差一個縮放因子的標(biāo)準(zhǔn)車牌圖像，以便于后續(xù)的字符處理。
關(guān)鍵詞：先驗(yàn)信息;霍夫變換;透視變換;仿射變換;相似變換;
中圖分類號：TP391.41 文獻(xiàn)標(biāo)志碼：A
文章編號：1001-3695(2008)07-2210-03
License plate image rectification based on prior knowledgeand projective geometric transform
ZHANG Yong，JIN Xue-bo
( School of Informatics Electronics， Zhejiang Sci-Tech University， Hangzhou 310018，China )
Abstract:For characters segmenting and recognizing conveniently， the tilt license plate image should be converted to standard image without tilt and rotation. At present， most of papers detect tilt angle by Hough transform and rectify it directly. This paper analyzed the shortcoming of this strategy and then proposed a new correction algorithm based on the viewpoint of projective geometry. The developed algorithm was as follows: By using the given prior knowledge of license plate， converted the perspective collineation between license plate and its image to affine transformation. Then converted the obtained affine transformation to similarity transformation， which contained a rotation and global scaling. After removing the influence of rotation factor， obtained a standard license plate image， which only had a scale factor compared with real license plate and was ready to following character processing.
Key words：prior knowledge;Hough transform;perspective transform; affine transform;similarity transform
攝像機(jī)正對車牌拍攝的、無傾斜和旋轉(zhuǎn)的圖像稱為標(biāo)準(zhǔn)車牌圖像。它是車牌平面的特殊透視變換，與車牌的正投影相差一個全局縮放因子，是字符分割、識別的最佳對象，但是在車牌識別系統(tǒng)工作時，監(jiān)控?cái)z像機(jī)與汽車車牌總是形成一定的拍攝角度，因此得到的車牌圖像可能是平行四邊形、梯形或者任意四邊形，這就需要對它們進(jìn)行矯正以便下一步的字符分割、識別。目前多數(shù)文獻(xiàn)[1~4]先用Hough變換檢測出車牌邊框所在的平行直線，由直線的斜率確定車牌的傾斜角度并進(jìn)行矯正。
上述算法雖然在很多情況下有效，但隱含了一個不合理的假設(shè)：車牌圖像必須近似于平行四邊形，這就要求車牌與其圖像之間近似于仿射變換，車牌識別系統(tǒng)實(shí)際使用時，攝像機(jī)與車牌的距離常常遠(yuǎn)大于車牌尺寸，因此這一要求是滿足的。但是，當(dāng)車牌和攝像機(jī)距離較近時，拍攝的圖像會表現(xiàn)出明顯的透視變換特征，原車牌平面上的字符寬度、字符間距和其他特征都發(fā)生了變化，圖像上的車牌邊框不再平行，直接矯正傾斜角度的算法不再有效。
本文從射影幾何觀點(diǎn)出發(fā)，使用兩條車牌固有的先驗(yàn)信息，將拍攝到的透視圖像逐步矯正成與真實(shí)車牌僅相差一個縮放因子的標(biāo)準(zhǔn)車牌圖像[5]，為后續(xù)的字符處理提供了便利。
1 算法的幾何原理
為了描述準(zhǔn)確，特定義如下。
車牌：車牌平面上包含待識別字符的矩形區(qū)域，用I(xiàn)表示。
標(biāo)準(zhǔn)車牌圖像：攝像機(jī)正對車牌拍攝的、無旋轉(zhuǎn)和傾斜，與車牌正投影僅相差一個縮放因子的圖像稱為標(biāo)準(zhǔn)車牌圖像，也就是車牌的正投影圖像，用I(xiàn)′表示。
仿射車牌圖像：與I(xiàn)存在仿射變換的圖像稱為仿射車牌圖像，用I(xiàn)(a)表示。
相似車牌圖像：與I(xiàn)存在相似變換的圖像稱為相似車牌圖像，用I(xiàn)(s)表示。
透視車牌圖像：與I(xiàn)存在透視變換（射影變換）的圖像稱為透視車牌圖像，用I(xiàn)(p)表示，實(shí)際拍攝到的車牌圖像便隸屬于此類。
需要使用的先驗(yàn)信息包括：
a）車牌上至少有兩組平行線;
b）車牌上至少有兩組互相垂直的直線。
由于車牌是一個包圍了字符串的矩形框，顯然滿足以上條件。
算法思路是：先使用信息a)，將I(xiàn)(p)矯正到與I(xiàn)相差一個仿射變換的I(xiàn)(a)；再利用信息b)，將I(xiàn)(a)矯正到與I(xiàn)相差一個相似變換的I(xiàn)(s)，最后I(xiàn)(s)將矯正為與I(xiàn)相差一個縮放因子λ的標(biāo)準(zhǔn)車牌圖像I(xiàn)′。
本文符號約定：I(xiàn)、I(a)、I(s)I(p)，I′上的點(diǎn)、直線和多邊形均有相應(yīng)的上標(biāo)表示其隸屬的平面。
2 算法具體步驟
2．1 圖像預(yù)處理
為了去除噪聲的干擾，本文使用快速的自適應(yīng)中值濾波算法去噪[6，7]。另外，由于攝像機(jī)成像并非理想的小孔成像模型，拍攝到的圖像I(xiàn)(p)存在徑向和切向畸變，有必要對I(xiàn)(p)進(jìn)行畸變校正，校正后的I(xiàn)(p)與車牌平面之間會表現(xiàn)為更精確的透視變換關(guān)系。
2．2 透視變換矯正為仿射變換
2．2．1 預(yù)備知識
先驗(yàn)信息 車牌I(xiàn)的矩形框的四個頂點(diǎn)分別為A、B、C、D，四條邊分別為AB、AD、CD、BC且AB//CD，AD//BC。
命題1 世界坐標(biāo)系中的平面I(xiàn)0經(jīng)透視變換后成為圖像I(xiàn)1，p0、p1分別表示I(xiàn)0、I(xiàn)1上的對應(yīng)點(diǎn)，l0、l1分別是I(xiàn)0、I1上的對應(yīng)直線，則有
其中：H是點(diǎn)射影變換矩陣。將I(xiàn)1、I0看做兩個平面上的對應(yīng)點(diǎn)集。則可以寫成
命題2 任何一個射影變換矩陣H均可分解為以下形式：
其中：K是歸一化的上三角矩陣；Hp、Ha、Hs分別是射影變換矩陣、仿射變換矩陣、相似變換矩陣，由于本文只關(guān)心圖像矯正，所以強(qiáng)制Hs中的平移分量t為零向量，Hs只包含縮放因子和平面旋轉(zhuǎn)角度θ兩個自由度。
定理1 無窮遠(yuǎn)直線l∞在射影變換H下仍為l∞的充要條件是H的仿射變換。
若能找到一個射影變換矩陣Hx，使得Hx×Hp×Ha×Hs成為仿射變換矩陣，則新圖像I(xiàn)2=Hx×Hp×Ha×I0與原平面I0之間為仿射變換關(guān)系，這樣就將I1與I0之間存在的透視變換矯正為I2與I0之間存在的仿射變換，Hx的值不惟一，只要找到一個即可。
2．2．2 具體實(shí)現(xiàn)
在車牌透視圖像I(p)上，車牌邊框的像為ABCD(P)，AB(P)相交CD
由公式（6）得出結(jié)論：(Hx×H)-T將平面I(xiàn)中的無窮遠(yuǎn)直線l∞轉(zhuǎn)換為平面I(xiàn)(a)上的無窮遠(yuǎn)直線l∞。根據(jù)定理1得出結(jié)論：Hx×H是I(xiàn)與I(xiàn)(a)之間的點(diǎn)仿射變換矩陣。
由上可知，雖然無法求出I(xiàn)與I(xiàn)(p)之間的透視變換矩陣H，但是只要求出了Hx，令I(xiàn)(a)=Hx×I(p)=Hx×H×I，就找到了與I(xiàn)之間存在仿射變換關(guān)系的圖像平面I(xiàn)(a)。
2．3 仿射變換矯正為相似變換
2．3．1 預(yù)備知識
先驗(yàn)信息 在車牌I(xiàn)上，AB⊥BC、AD⊥DC。
定義1 絕對二次曲線定義。它是無窮遠(yuǎn)平面π∞上的一個虛二次曲線，在任何三維相似變換下都是不變的。它由滿足下列方程的點(diǎn)X=(x1，x2，x3)T構(gòu)成。
定義2 圓環(huán)點(diǎn)。任何有限遠(yuǎn)空間平面π交無窮遠(yuǎn)平面于一條直線，該直線稱為平面π的無窮遠(yuǎn)直線l∞。無窮遠(yuǎn)直線l∞與絕對二次曲線交于一對共軛圓點(diǎn)，稱為圓環(huán)點(diǎn)，它可以表示為
二次曲線的射影變換：在點(diǎn)變換x′=H×x下，點(diǎn)二次曲線C和其對偶（線）二次曲線C*的射影變換為
與圓環(huán)點(diǎn)對偶的二次曲線C*∞=I(xiàn)JT+JIT是由兩個圓環(huán)點(diǎn)構(gòu)成的退化的對偶（線）二次曲線，C*∞在點(diǎn)相似變換Hs下仍為C*∞，即
需要最后的標(biāo)準(zhǔn)車牌圖像I(xiàn)′，I(xiàn)(a)和I(xiàn)(s)上的直線可以根據(jù)式（2）由I(xiàn)(p)上的直線與矩陣相乘得到，所以與傳統(tǒng)的圖像傾斜矯正算法相比，本算法幾乎沒有額外的空間和時間開銷。需要注意的是，在求解矩陣Hx和K時，要提高算法的穩(wěn)定性。
4 結(jié)束語
以射影幾何作為理論基礎(chǔ)，本算法具有較高的成功率和穩(wěn)定性。筆者用數(shù)碼相機(jī)拍攝了7幅標(biāo)準(zhǔn)的車牌圖像，每幅圖像被透視變換成12幅不同實(shí)驗(yàn)圖像，采用本文算法對這84幅圖像進(jìn)行了矯正，成功率達(dá)到94.05%。其中兩組實(shí)驗(yàn)結(jié)果如圖5所示，為了加快計(jì)算速度，中間圖像I(xiàn)（a）、I(xiàn)(s)沒有求出，矯正后的標(biāo)準(zhǔn)車牌圖像（圖5(b)和（d））經(jīng)過了放大、插值和濾波處理。
少數(shù)圖像矯正失敗的原因是求解式（11）時采用的矩陣分解算法不夠穩(wěn)定，如能選擇更好的分解算法，就會有更高的成功率。上述算法也可以用來矯正其他類別的透視圖像，只要被矯正圖像的原平面滿足兩條先驗(yàn)信息即可。例如：LED數(shù)字顯示屏圖像、帶有表格的文本圖像和中文名片圖像等。
參考文獻(xiàn)：[1]周景超， 陳鋒. 車牌字符分割的研究與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程，2006，32(5):238-240.
[2]陳振學(xué)， 汪國有. 一種新的車牌圖像字符分割與識別算法[J]. 微電子學(xué)與計(jì)算機(jī)， 2007， 24 (2):42-44.
[3]潘武模， 焦陽. Hough變換在中文名片圖像傾斜校正中的應(yīng)用[J]. 中文信息學(xué)報(bào)， 2001， 15(3):50-57.
[4]楊立剛， 張興會. 車牌照字符傾斜校正方法的研究[J]. 儀器儀表學(xué)報(bào)，2004，25(4)70-74.
[5]張?jiān)苿偅?張長水. 利用Hough變換和先驗(yàn)知識的車牌字符分割算法[J]. 計(jì)算機(jī)學(xué)報(bào)， 2004， 27(1):130-135.
[6]HARTLEY R I. Multi viewpoint geometry in computer vision[M]. Cambrige， UK: Cambrige University Press， 2000.
[7]張麗. 均值加速的快速中值濾波算法[J]. 清華大學(xué)學(xué)報(bào)，2004，44(9):1157-1159.
[8]倪臣敏，葉懋冬. 一種改進(jìn)的自適應(yīng)中值濾波算法[J]. 中國圖象圖形學(xué)報(bào)， 2006， 11(5): 672-678.
注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。”
