基于低秩紋理變換不變性的車牌傾斜校正方法

許 超, 劉金陽, 凌 翔

(合肥工業大學 汽車與交通工程學院,安徽 合肥 230009)

基于低秩紋理變換不變性的車牌傾斜校正方法

許 超, 劉金陽, 凌 翔

(合肥工業大學 汽車與交通工程學院,安徽 合肥 230009)

文章提出一種適用范圍更廣的基于低秩紋理變換不變性的車牌傾斜校正方法。首先將車牌圖像看成一個矩陣,然后利用對稱規則結構的低秩特性把經過旋轉、仿射等變換的圖像恢復成低秩紋理。根據不同的環境條件,對隨機拍攝的傾斜車牌圖像進行校正,實驗表明即使面對一些如無邊框、車牌污染、環境光遮蔽、噪聲大等惡劣條件,采用所提出的方法也得到了很好的校正結果。文中提出了一種借助于圖像整體信息進行傾斜校正的新思路,該方法摒棄了以往考慮角點、邊緣等局部特征的思路,具有更高的精確度和魯棒性。實驗結果證實所提出的方法是有效的,且滿足整個識別系統的實時要求。

車牌;傾斜校正;低秩紋理;變換不變性;仿射變換

在自動車牌識別系統中,由于相機的角度變化,鏡頭的透視造成了圖像在一定程度上不可避免地傾斜和變形,而且實際環境中天氣情況不同、光照不均、車牌污染、車牌圖像不完整等影響因素勢必會對后續的字符分割和識別帶來一定的負面影響。文獻[1-2]利用霍夫變換(Hough transform,HT)對車牌圖像進行直線檢測,獲取車牌的邊框線條以確定傾斜角,最終得到車牌的校正圖像;文獻[3-4]對車牌圖像進行旋轉,將車牌上的像素點向坐標軸上投影,統計出每次旋轉的最大值,取旋轉投影最大值對應的角度為最終傾斜角度;文獻[5]結合了霍夫變換與旋轉投影,取得了一定的改進;文獻[6]提出一種基于主成分分析(principle component analysis,PCA)的車牌圖像畸變快速校正方法,將搜索圖像傾斜角度轉化為求取協方差矩陣的特征值和特征向量,簡化了計算過程,提高了效率;文獻[7-8]提出一種基于K-L變換(Karhunen-Loeve transform)的校正方法,該方法對特征空間分布的樣本特征向量實行K-L變換,找到位數較少的組合特征,從而達到降低維度的目的,K-L變換本質上也屬于PCA。這些方法都各有優點,同時也有一些局限性與不足之處。霍夫變換法需要對車牌圖像進行多次邊緣檢測,但現實環境中獲取的圖像會由于噪聲、光照、污染等原因,使得車牌邊框不清楚甚至不存在,而且霍夫變換參數空間的峰值過于分散,因此使用霍夫變換法的校正效果并不理想；旋轉投影法需要對車牌圖像進行多次旋轉投影,找到最佳傾斜角度,計算量較大；主成分分析法與前2類方法相比有很大的改進,卻無法很好地校正錯切變換后的圖像。

低秩紋理變換不變性(Transform Invariant Low-rank Textures,TILT)[9]是矩陣低秩稀疏分解的一種推廣。本文將其引入圖像傾斜校正,提出一種基于低秩紋理變換不變性的車牌傾斜校正方法。TILT可用于提取二維圖像中的低秩紋理,即使圖像中存在嚴重的缺失或形變,TILT方法也能達到很好的預期效果,在經過合適的仿射或投影變換后,圖像所對應的場景中有規則的模式尤其是具有某種對稱性的紋理結構可以構成一個低秩矩陣,而遮蔽、污染等誤差可以構成一個稀疏矩陣。實驗表明,利用圖像整體的低秩紋理結構建立數學模型，尋找最優變換恢復,可以提高圖像傾斜校正的精確度和魯棒性。

1 低秩紋理變換不變性

1.1 低秩紋理

一幅平面內的灰度圖像可用數學表達式描述為一個二維函數f(x,y),將圖像看成一個平面內的矩陣。在矩陣理論中,矩陣A的秩等價于A行向量(或列向量)的極大線性無關組中向量的個數。當矩陣的秩rank(A)≤k(其中k為較小的正整數)時,稱該矩陣為低秩矩陣。低秩紋理則是滿足低秩矩陣結構的圖像場景。建筑物、文本、車牌、商標等符合或近似符合對稱規則模式的物體表面圖案稱為具有低秩紋理,如圖1所示;巖石、草地等物體表面圖案具有隨機性,可稱之為隨機紋理,如圖2所示,通常這類紋理都是滿秩的,故隨機紋理不屬于本文的討論范疇。

圖1 低秩紋理

圖2 隨機紋理

1.2 低秩紋理的變換與稀疏分解

在實際圖像中,很難得到完美或近似完美的低秩紋理圖像,主要有2個原因:

(1) 相機角度、鏡頭透視導致的傾斜變形。假設低秩紋理圖像為A,觀測得到的圖像D一般不具有低秩紋理,若要將矩陣D恢復成具有低秩紋理的圖像A,則需要有合適的逆轉換τ,方程為:

其中,τ:R2→R2屬于某一變換群,本文只討論旋轉、尺度、偏移變換,因此僅考慮仿射變換群。

(2) 噪聲、環境光遮蔽和背景干擾等因素造成的像素采樣值的變化。對這類因素可以引入稀疏誤差矩陣E,表示為:

D=A+E。

2 車牌傾斜校正算法

2.1TILT數學模型的建立

假設D為原始觀測圖像矩陣,A為其低秩紋理部分,E為其稀疏誤差。若要將D恢復出低秩部分A,則需要找到最優逆轉換τ。因此根據TILT建立如下模型:

(1)

其中,‖E‖0為稀疏矩陣E非零元素的個數;λ為折中因子,且0≤λ≤1。

2.2TILT數學模型的求解

對于(1)式,交替方向方法[10]是目前較為流行的求解方法,為保證TILT中內循環理論上的絕對收斂和解決由奇異值分解帶來的計算速度問題,本文采用自適應懲罰的線性化交替方向方法[11](Linearized Alternating Direction Method with Adaptive Penalty,LADMAP)和奇異值分解熱啟動[12]相結合的思路。

在 (1) 式中,由于矩陣秩和l0范數是離散的、非凸優化問題,屬于NP難題,不能直接進行求解,因此將矩陣秩與l0范數分別轉換成核范數[13]與l1范數[14]，并對約束條件線性化[9],則目標函數可轉變為:

(2)

其中,‖A‖*為矩陣A的核范數,即矩陣A的所有奇異值之和;‖E‖1為矩陣E所有元素絕對值之和;J為雅可比矩陣。

考慮到Δτ沒有出現在目標函數內,因此當(A*,E*)滿足最優化條件時,最優Δτ必將滿足:

(3)

則(2)式可轉變為:

(4)

其中,J⊥=I-J(JTJ)-1JT,且‖J⊥‖=1,(J⊥)T=J⊥,J⊥J⊥=J⊥;I為單位矩陣。

利用TILT模型求解車牌傾斜校正問題算法,即LADMAP算法,由外循環和內循環構成,具體如下所述。

輸出:(A*,E*,τ*)。

初始化:A0=Dτ0,E0=0,Y0=0,i=0。

外循環:

(1) 圖像規范化(包括灰度化、尺寸調整)和計算雅可比矩陣。

(2) 求解線性凸優化問題(5)式,即

(5)

初始值滿足(6)式,即

(6)

執行內循環,即

k←k+1。

結束內循環直至滿足迭代終止條件。

(4) 更新變換,即τi+1=τi+Δτ*,i←i+1。

結束外循環直至凸優化問題收斂。

(7)

(8)

其中,U為m階正交矩陣,其列由XXT的特征向量組成;V為n階正交矩陣,其行由XTX特征向量組成;Σ為m×n階對角矩陣,對角元素為X的奇異值;Θ為收縮算子。

2.3TILT車牌圖像校正算法實例

根據上述低秩紋理變換不變性原理以及求解算法,傾斜車牌圖像的校正步驟大致可以歸納如下:

(1) 車牌圖像以矩陣形式表示。首先對傾斜車牌圖像灰度化,以像素(x,y)坐標為數據值,則一幅灰度車牌圖像可表達為矩陣Dm×n,如圖3所示。

圖3 圖像灰度化

(2) 根據TILT建立對應的模型并求解。建立(1)式模型,在約束條件下尋找最優逆變換τ,求解目標函數。其中內循環中A與E是通過交替的方式達到最優直至滿足迭代條件,外循環是通過判斷目標函數是否收斂來不斷更新逆變換τ直至收斂。

(3) 獲取結果。根據算法流程,實現圖像的校正,得到最優逆變換τ,即

以及校正后低秩圖像A和稀疏噪聲E。TILT校正結果如圖4所示。

圖4 TILT校正結果

3 實驗結果與分析

3.1 算法對比分析

由矩陣理論可知,矩陣的秩是該矩陣行向量(或列向量)的極大線性無關組向量的個數,矩陣中其他向量均可由該線性無關組線性表示,而且矩陣的秩與非零特征值的個數又有著密切的關系。圖像處理領域中,圖像矩陣并非都是方陣,因此通過矩陣奇異值分解中的奇異值來代替特征值。而那些小于η(也就是1/μk)的奇異值及其對應向量無需求出,原因是根據(8)式這些奇異值都被收縮為0,對Ak+1的值沒有作用。由于懲罰因子μ與數據降維相關,初始值μ0的選取要盡可能適中。μ0不能太大,應該滿足μ在前幾次迭代就開始增長;μ0也不能太小,應盡可能滿足μ隨著迭代過程的進行穩步增長。本文μ0取值為:

其中,σmax(D)為D的最大奇異值。這樣通過收縮算子Θ一方面可以降低數據維度,另一方面可以保留矩陣的有用信息。TILT模型正是基于圖像矩陣的秩來建立的,而不是利用角點、邊緣或其他局部特征,這樣可以最大限度地獲取圖像已有的信息以及弱化噪聲的干擾。同時只要原圖像D本質上滿足低秩紋理,在經過一系列的變換后,都將維持其原本的低秩特性,也就是低秩紋理圖像A,因此傾斜車牌的校正并不依賴車牌中的字符內容,僅僅和原圖像是否具有低秩特性(也就是圖像是否符合或近似符合對稱規則模式)有關。

采用霍夫變換法、旋轉投影法以及主成分分析法校正傾斜的車牌圖像時,都是通過獲得最佳傾斜角度來校正圖像,其根本上是對車牌圖像作旋轉變換,即

其中,θ為最佳傾斜角度。而大多數設備獲取的車牌圖像不僅會發生旋轉,還或多或少會發生水平和/或垂直方向上的偏移,如圖5所示。

圖5 偏移圖像旋轉示例

也就是說車牌圖像不僅發生旋轉變換,而且有偏移變換,即

其中,sh為水平方向上的偏移;sv為垂直方向上的偏移。因此,僅以傾斜角度對圖像作旋轉就不能從根本上保證圖像校正的準確性。本文TILT模型中將τ延伸至仿射變換,即使車牌圖像在水平和/或垂直方向發生偏移也能獲得較好的校正。

3.2 實驗效果對比

選取隨機拍攝的車牌圖像300張,圖像傾斜角度范圍為(-π/6,π/6)且都有不同程度的偏移,車牌圖像類型分布見表1所列。

表1 傾斜車牌圖像分類個數

對這些圖像采用霍夫變換法、旋轉投影法、主成分分析法及本文基于TILT的方法在Matlab 8.3平臺上進行求解,PC機的配置為Intel Core i5-2400 CPU@3.10 GHz,內存為4.00 GB,操作系統為Windows7(32位)。車牌圖像傾斜校正對比如圖6所示。由圖6可見,本文方法獲得了較好的校正結果。本文方法平均運行時間為0.12 s,滿足車牌識別實時性要求。

需要特別指出的是,本文方法在車牌圖像處于某些特殊條件下也可以獲取不錯的處理效果。圖6a所示的原始圖像并沒有車牌邊框的完整信息,圖6d所示的車牌圖像區域甚至字符處受到不同程度的污染,圖6g所示為夜晚拍攝獲取的圖像,清晰度較低,噪聲也較大,但通過本文方法都得到了較好的傾斜校正,由此可以得出本文方法具有較高的魯棒性,其他3種方法均不能很好地校正發生偏移的車牌圖像。

圖6 車牌傾斜校正對比

4 結 論

從本文實驗結果和分析中可以看出,用低秩紋理變換不變性(TILT)模型來校正傾斜車牌圖像是一種行之有效的方法。該方法對噪聲等一些不確定因素帶來的干擾具有很強的魯棒性,對于傾斜度較大、無邊框、車牌污染的圖像具有較好的處理效果;在運算速度方面,通過合理的程序優化,可以完全滿足車牌識別中的實時要求。本文方法為利用圖像整體信息進行傾斜校正提供了新思路。另外,本文方法也存在一些不足:① 仔細觀察校正后的車牌圖像可以發現,遠距端車牌寬度小于近距端,這是由于在校正過程中未能考慮遠近視距的深度信息,導致車牌呈現微梯形,今后將研究如何在校正過程中添加深度信息,例如,利用雙目視覺獲取圖像深度等;② 傾斜校正的結果僅是從視覺效果上進行定性的評價,下一步將研究設計一種定量的評價標準。

[1] WEN C Y,YU C C,HUN Z D.A 3D transformation to improve the legibility of license plate numbers[J].Journal of Forensic Sciences,2002,47(3):578-585.

[2] 楊立剛,張興會,李蘭友.車牌照字符傾斜校正方法的研究[J].儀器儀表學報,2004,25(4):696-697.

[3] 李文舉,梁德群,崔連延,等.一種新的車牌傾斜校正方法[J].信息與控制,2004,33(2):231-235.

[4] 吳麗麗,余春艷.基于Sobel算子和Radon變換的車牌傾斜校正方法[J].計算機應用,2013,33(增刊1):220-222.

[5] DENG H Y,ZHU Q X,TAO J S,et al.Rectification of license plate images based on Hough transformation and projection[J].Indonesian Journal of Electrical Engineering and Computer Science,2014,12(1):584-591.

[6] 吳德會,朱程輝.基于主元分析的車牌圖像傾斜校正新方法[J].公路交通科技,2006,23(8):143-146.

[7] 吳一全,丁堅.基于K-L展開式的車牌傾斜校正方法[J].儀器儀表學報,2008,29(8):1690-1694.

[8] PAN M S,XIONG Q,YAN J B.A new method for correcting vehicle license plate tilt[J].International Journal of Automation and Computing,2009,6(2):210-216.

[9] ZAHNG Z D,GANESH A,LIANG X,et al.TILT: transform invariant low-rank textures[J].International Journal of Computer Vision,2012,99(1):1-24.

[10] 史加榮,鄭秀云,魏宗田,等.低秩矩陣恢復算法綜述[J].計算機應用研究,2013,33(6):1601-1605.

[11] LIN Z C,LIU R S,SU Z X.Linearized alternating direction method with adaptive penalty for low-rank representation[C]//Proceedings of the Neural Information Processing Systems Conference.Granada,Spain:[s.n.],2011:612-620.

[12] WEN Z W,YIN W T.A feasible method for optimization with orthogonality constraints[J].Mathematical Programming,2013,142(1/2):397-434.

[13] CANDES E J,LI X D,MA Y,et al.Robust principal component analysis?[J].Journal of the ACM,2011,58(3):1-37.

[14] DONOHO D L.For most large underdetermined systems of linear equations the minimall1-norm solution is also the sparsest solution[J].Communications on Pure and Applied Mathematics,2006,59(6):797-829.

(責任編輯 張淑艷)

Vehicle license plate tilt correction approach based on transform invariant low-rank textures

XU Chao, LIU Jinyang, LING Xiang

(School of Automobile and Traffic Engineering, Hefei University of Technology, Hefei 230009, China)

A vehicle license plate tilt correction approach based on transform invariant low-rank textures is proposed, which has a wider range of applications. Firstly, considering the license plate image as a matrix, the low-rank characteristic of regular structures and symmetric patterns is utilized to restore the image undergoing rotation and affine transformation into a low-rank textures. According to different environmental conditions, the tilt correction for license plate images which are randomly shot is carried out. Experimental results show that even in the face of some harsh conditions, such as borderlessness, pollution, ambient occlusion and image noise, excellent correction results are obtained by the proposed method. A new idea of tilt correction by means of the image overall information is put forward, which abandons the previous point of view from the corner, edge and other local features, and therefore it has a higher robustness and accuracy. Experimental results demonstrate that the proposed method is effective and can satisfy the demands of the whole vehicle license plate recognition system in real time.Key words:vehicle license plate; tilt correction; low-rank texture; transform invariance; affine transform

2015-10-28；

2016-03-18

許 超(1991-),男,安徽蕪湖人,合肥工業大學碩士生; 凌 翔(1983-),男,安徽宣城人,博士,合肥工業大學副教授,碩士生導師.

10.3969/j.issn.1003-5060.2017.05.012

TP391.41

A

1003-5060(2017)05-0633-05