基于滅點的傾斜畸變車牌圖像快速校正方法研究

摘 要：由于相機與汽車牌照之間的方位關系導致了拍攝圖像發生傾斜畸變，極大影響了車牌識別率。針對這一問題，利用畸變圖像所蘊涵的滅點信息，提出了一種快速校正方法：首先對圖像進行預處理，提取車牌的四條邊框來產生滅點；然后根據滅點信息快速標定相機內參數并計算空間平面重建矩陣；最后進行空間坐標變換和灰度插值完成畸變圖像的校正。實驗表明，該方法對于傾斜畸變車牌有良好的校正效果，并有效提高了識別率。

關鍵詞：畸變校正；車牌；滅點；相機標定；平面重建

中圖分類號：TP391.41 文獻標志碼：A 文章編號：1001-3695(2008)08-2405-02

Rapid skew distortion rectification for vehicle licenses plate

images based on vanished points

XU Xiao-wei， WANG Zhi-yan ， CAO Xiao-ye， LIANG Ying-hong

(School of Computer Science Engineering， South China University of Technology， Guangzhou 510641， China)

Abstract:The skew distortion was the crucial problem that influenced the procession for the vehicle licenses plate image recog-nition. However， as a result of the skew distortion， the vanishing points provided valuable information concerning the camera model used to capture the image. This paper put forwarda robust and fast algorithm for skew distortion correction in vehicle licenses plate images based on vanishing points. This method included three steps: detecting vanishing points in an image， calibrating camera model coefficients and correcting skew distortion. Experimental results show this method performs well and increase the recognition rate.

Key words：skew distortion rectification; vehicle licenses plate; vanishing points; camera calibration; plane recovering

0 引言

車牌自動識別(ALPR)技術在智能交通系統中起著重要作用，可廣泛用于城市街道、港口、高速公路、停車場等場所的交通監控和管理、車輛安全防盜等領域。車牌識別系統主要包括圖像獲取、牌照區域定位、車牌中字符分割和識別等部分。理想情況下相機拍攝的車牌圖像是一個矩形，但由于相機與車牌之間方位關系的變化，使得所拍攝的牌照圖像發生傾斜畸變：從矩形變成梯形或平行四邊形或不規則四邊形，不僅會給字符分割帶來困難，最終也會影響字符識別的正確率。因此對畸變圖像進行校正是車牌定位和字符識別之間的一個重要步驟。目前常用的校正方法主要有基于Hough變換的方法^[1，2]、基于主方向檢測的方法^[3]和基于車牌字符中心走勢線的方法^[4]等。這些方法大體上可分為兩類。一類通過求取車牌的邊框，進而確定其水平和垂直傾斜角，然后進行旋轉：

x′

y′=cos(θ)sin（θ）

-sin(θ)cos(θ)x

y(1)

另外一類方法是在提取邊框后，使用先驗知識求解車牌矩形的四個頂點，然后通過雙線性空間變換對圖像進行畸變校正：

x′=a0+a1x+a2y+a3xy；y′=b0+b1x+b2y+b3xy(2)

對于傾斜角度較小或僅在平面內（圍繞一個或兩個坐標軸）發生旋轉傾斜的車牌圖像（梯形或平行四邊形），這些方法的校正效果較好，但是對于那些在三維空間內發生旋轉傾斜的幾何畸變圖像（不規則四邊形）則無能為力。為有效解決這一難題，文獻[5]提出了一種實時幾何畸變校正方法，利用四對控制點坐標，對成像系統進行線性標定，建立圖像平面和車牌物理平面之間的二維——二維關系式：

x=（L1u+L2v+L3）/（L7u+L8v+1）

y=（L4u+L5v+L6）/（L7u+L8v+1）(3)

在筆者的前期工作中采用了一種標準直線圖案的方法^[6，7]，先對相機進行標定，然后對圖像的非線性畸變進行精確校正。這些空間平面重建方法的缺點是：均需要標定物體和選擇控制點坐標，因此不適于實際的實時交通監控應用。本文提出了一種新的車牌傾斜畸變校正方法，該方法利用矩形車牌成像得到的不規則四邊形，提取滅點和影滅線信息，標定相機內參數并重建車牌空間平面，并對平面重建后產生的空格點進行雙線性插值。實驗表明，該方法簡單實用，校正效果好，而且不需要任何標定物和控制點坐標。1 相機模型

采用齊次坐標表示，世界坐標系下三維空間中的某一點M=[X Y Z 1]T 與其在像素坐標系下成像平面上的投影點m=[u v 1]T滿足如下關系：

 sm=PM(4)

其中：s是一個比例因子；P是一個3×4 投影矩陣，表示了相機成像系統的小孔透視模型^[8]，它又可以分解成相機內參數矩陣K和外參數(R，t)兩部分。

P=K[R|t]；K=fxγu0

0fyv0

001（5）

其中：fx、fy為在成像平面u軸和v軸方向上的鏡頭焦距；γ為u軸和v軸之間的傾斜因子；(u0，v0)為相機中心在圖像像素坐標系中u和v方向的主點坐標；R為世界坐標系到相機坐標系的旋轉矩陣；t為世界坐標系到相機坐標系的位移矢量。目前高性能相機的內參數非常接近于理想值：主點坐標近似圖像的中心，近似為零，fx=fy。在精度要求不是非常高的場合，如實時的傾斜畸變車牌校正應用，不考慮相機鏡頭畸變，可以使用這些理想值，僅需要標定相機的焦距f，以簡化計算提高速度。2 基于滅點的空間校正算法

眾所周知，一對平行線經過透視成像后匯聚而形成滅點。如圖1所示，相機中心O投影在成像平面上一點P，矩形車牌ABCD有兩對平行線，其投影是一個不規則四邊形abcd，分別形成了兩個滅點Fu和Fv。因此，可利用滅點信息對相機進行標定^[9]。根據三角幾何和透視幾何，相機焦距的計算公式為

f=OP=OP2uv-PP2uv=FuPuv×FvPuv-PP2uv=

-(Fxu×Fxv+Fyu×Fyv)（6）

其中：Puv是P在影滅線(Fu， Fv)上的垂直投影；Fxu 、Fxv、，Fyu、，Fyv 分別是滅點Fu和Fv的x軸和y軸坐標。當同一成像平面上有多個車牌圖像時，則可以產生多對滅點，分別用來計算焦距，然后取其平均值，以減少標定誤差。不同于文獻[9]，筆者不能確定直線的長度和位移矢量，而且本文的目標是校正圖像的畸變而不是重建車牌的真實位置坐標，所以無須直接計算相機外部參數。

通常情況下，可以假設在世界坐標系下車牌物理平面的z軸坐標等于零，由式（4）（5）可以得到

Su

v

1=K[r1 r2 r3 t]X

Y

0

1＝K[r1 r2 t]X

Y

1（7）

車牌上的一點X′= [X，Y，1]T與它在成像圖像上的投影點x = [u，v，1]T之間的關系可由一個單應性矩陣H來描述：

 x=HX′； H=K[r1 r2 t]（8）

空間平面與其投影圖像之間的這種單應性關系獨立于場景布局，并且單應性矩陣H是一個非奇異矩陣，因此可以在校正算法中，在相差一個比例因子意義下從投影圖像中恢復車牌平面真實幾何形狀。為獲得度量校正，單應性矩陣H可進一步分解為^[10]

H=EHeHp； He=1/β-α/β0

010

001； Hp=100

010

l1l21（9）

其中：E是一個相似變換矩陣；Hp為仿射重建矩陣；He為度量重建矩陣。圖2中，左邊是一個畸變的不規則四邊形，仿射重建Hp 將它映射成平行四邊形，并將影滅線L∞ 映射到無窮遠，度量重建He將平行四邊形映射成矩形。這里的仿射重建矩陣Hp由穿過滅點(Fu， Fv)的影滅線L∞來計算：

L∞=[l1 l2 1]T=Fu×Fv（10）

度量重建矩陣He則可以利用投影不變量—絕對二次曲線 ω和影滅線L∞通過下列公式計算得到：

ω=(KKT)-1=K-TK1(11)

ITωI=0； I=α-iβ

1

-l2-αl1+il1β (12)

其中：I是絕對二次曲線 ω和影滅線L∞的交點，將式（11）代入式（12）可以得到：

(1+l21f2)x2+2l1l2f 2x+(1+l22f 2)=0（13）

式（13）的解是一對共軛復數根， α、 β分別取其實部和虛部。3 校正過程及實驗

如圖3所示，傾斜畸變車牌圖像校正過程包括三個步驟：a)通過車牌定位算法^[6]獲得車牌的四個邊框和頂點，然后估計傾斜畸變程度，判斷是否需要采用基于滅點的空間校正方法。b)提取滅點和影滅線，標定相機內參數，計算重建矩陣，將畸變圖像不規則四邊形中的所有像素點映射到矩形圖像中。由于通過計算得到的坐標是非整數的，映射得到的矩形圖像中必然存在空格點。c)為保證校正后圖像特征的連續性，采用了雙線性灰度插值算法^[11]，根據空格點附近像素點的灰度值來估計該點的灰度：

f(x，y)=[f(1，0)-f(0，0)]x+[f(0，1)-f(0，0)]y+[f(0，0)+

f(1，1)-f(0，1)-f(1，0)]xy+f(0，0)（14）

其中：(x，y)是空格點P的相對坐標;(0，0)、 (0，1)、 (1，0) 和(1，1)是位于空格點P周圍四個點的相對坐標，其灰度值分別是f(0，0)、 f(0，1)、 f(1，0) 和f(1，1)。

利用本文提出的方法從車牌圖像庫2 540幅圖像中抽取了283幅的傾斜畸變圖像進行校正實驗，均收到了良好的效果：單幅圖像處理速度小于0.4 s（P4 2.6 GHz，1GMB），校正率達到了90%以上，并且車牌識別率有了較大提高。部分校正前后的實驗圖像如圖4所示。

4 結束語

傾斜畸變圖像校正是車牌識別系統中的關鍵步驟。通常的校正方法包括基于平面內的旋轉或純雙線性變換均不能處理三維空間范圍內的嚴重傾斜畸變。本文提出的方法利用由車牌邊框獲得的滅點信息進行快速標定和校正計算，實驗結果表明校正效果是令人滿意的，并且顯著地提高了車牌識別率。下一步的工作主要集中在改進空格點的灰度插值方法上。

參考文獻：

［1］ 郝永杰，劉文耀，路爍.畸變汽車牌照圖像的空間校正[J].西南交通大學學報，2002，37(4):417-420.

［2］芮挺，沈春林，張金林.車牌識別中傾斜牌照的快速矯正算法[J].計算機工程，2004，30(13):122-124.

［3］吳德會，朱程輝.基于主方向檢測的畸變車牌字符圖像校正方法[J].模式識別與仿真技術，2005，24(4):16-24.

［4］蔣治華，陳繼榮，王衛.一種非傳統車牌傾斜矯正方法[J].計算機應用研究，2006，23(3):175-177.

［5］葉青，張春華.汽車牌照實時幾何畸變校正方法[J].紅外與激光工程， 2004，33(2):181-184.

［6］XU Xiao-wei， WANG Zhi-yan， ZHANG Yan-qing ，et al.A method of multi-view vehicle license plates location based on rectangle features[C]// Proc of the 8th International Conference on Signal. 2006:2131-2134.

［7］ZHANG Yan-qing， WANG Zhi-yan ， WANG Bin. A new approach for nonlinear distortion correction in computer vision images [C]// Proc of the 8th Joint Conference on Information Sciences. 2006:640-643.

［8］FAUGERAS O D. Three-dimensional computer vision [M].Massachusetts: MIT Press， 1993.

［9］GUILLOU E， MENEVEAUX D， MAISEL E， et al . Using vanishing points for camera calibration and coarse 3D reconstruction from a single image [J].Image，2000，16(7):396-410.

［10］LEIBOWITZ D， CRIMINISI A ， ZISSERMAN A. Creating architectural models from images[C]// BRUNET R， SCOPIGNO R . Proc of EuroGraphics. [S.l.]: Black-well Publishers，1999:39-50.

［11］SONKA M， HLAVAC V， BOYLE R. Image processing， analysis， and machine vision [M]. 2nd ed.[S.l.]:Brochs/Cole，2000.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文