運動模糊車輛圖像復原方法研究

史海玲，邱曉暉

(南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

運動模糊車輛圖像復原方法研究

史海玲，邱曉暉

(南京郵電大學 通信與信息工程學院，江蘇 南京 210003)

在獲取車輛圖像過程中，有很多因素會影響車輛圖像的質量，如攝像機與車輛之間的相對運動引起的運動模糊，會導致車牌識別系統識別出來的車牌是錯誤的甚至識別不出車牌。根據運動模糊圖像的特點，分析了運動模糊圖像的退化模型，提出了基于改進的點擴散函數估計和全變分(TV)正則化的綜合圖像復原算法。利用改進的Radon變換法進行粗略計算，得到運動方向的近似解；通過雙譜模型進行粗略計算，得到運動長度的近似解。得到上述兩項結果后，通過TV正則化方法的應用，復原出模糊的圖像，并采用梯度追蹤算法求解該問題。從全方位的角度出發，對通過不同的方法得到的復原圖像的質量進行評估。實驗結果表明，經過優化的綜合算法，不但能夠提供較為準確的運動模糊參數，而且通過其復原出的車輛圖像效果也是比較令人滿意的。

運動模糊；點擴展函數；Radon變換；雙譜模型；圖像復原；TV正則化

0 引 言

對于智能交通系統領域而言，過去所發明的車牌識別技術基本上只能用于研究速度比較緩慢乃至于靜止狀態下被拍攝到的車輛圖像，這樣獲得的車輛圖像通常比較清晰。不過在具體生活中拍攝車輛圖像時，如果以攝像機為參照物的話，車輛是處于運動狀態的，并且曝光時間比較短暫，因此最終得到的圖像基本上都是較為模糊的。從而給后續一系列的工作，比如車牌定位、字符區分和鑒定等工作帶來不必要的麻煩，甚至產生錯誤或無法識別車牌。因此，在對車牌識別技術進行研究時，應該將模糊車輛圖像復原當作一項重點進行分析[1]。

目前，運動模糊圖像復原的方法主要包括兩類[2]：系統點擴散函數(PSF)確定的圖像非盲復原法(如差分復原法、約束最小二乘法、逆濾波復原法等)；系統點擴散函數尚未確定的圖像盲復原法。在具體實踐中，模糊圖像的退化十分復雜，如果要徹底了解這一過程幾乎是不可能的。因此相比而言，第二種方法在實踐中有著更大的應用價值。從復原具體流程的角度來看，圖像盲復原法包括兩種：

(1)以模糊圖像的特點為依據進行粗略計算，得到PSF的近似值，接著通過圖像非盲復原法完成圖像的復原。這種方法包含了兩步，計算量并不大，不過若第一步得到的PSF值的誤差過大的話，就會使得最終復原的圖像存在嚴重的誤差。

(2)把PSF的粗略計算和復原當做數學問題，在此基礎上利用數值算法對該問題進行求解，最終獲取復原圖像。應用神經網絡、遺傳算法的方法，都屬于此類方法。它們的共同點在于計算量大，應用過程更為復雜。

文中研究的是勻速直線運動造成的模糊車輛圖像的復原問題，因此其對應的的模糊核應該是時空不變的。而且車輛作為一剛體，其區域內所有的點在模糊的過程中方向和長度都相同。所以采用盲復原方法的第一類方法來實現運動模糊車輛圖像的復原，先估算出PSF，再運用非盲復原算法復原圖像。在分析常見的圖像復原方法存在的問題的基礎上，首先利用改進的Radon變換法和雙譜模型估算出運動模糊參數，然后根據估算得到的PSF，通過應用TV范數的正則化方法得到復原后的圖像。

1 運動模糊圖像的退化模型

在攝像機拍攝照片的過程中，考慮到二者之前并不是相對靜止的，這一事實就會導致圖像中的車輛目標不夠清晰，這樣的模糊現象即為運動模糊。主要成因是：

(1)成像系統的光敏原件和微處理器的處理速度在拍攝瞬間小于被拍攝車輛在那時刻運動的速度，造成圖像畫面延滯重疊，使圖像模糊難以辨認。

(2)由于環境因素，光照亮度降低，成像系統需要更多的光通量進入，使光敏原件處理時間延長。

就算車輛并不超速，也會出現圖像模糊的現象。從某種程度來看，能夠將一段時間內發生的速度和方向均有所變化的無規律運動當作很多一瞬間勻速直線運動的集合，因此在攝像機拍攝的曝光時間內，以攝像機為參照物的話，車輛保持勻速直線狀態。圖1即為運動模糊圖像的退化模型[3]。

圖1 運動模糊圖像的退化模型

用數學表達式表示為：

g(x,y)=f(x,y)*h(x,y)+n(x,y)

(1)

其中，“*”為卷積；g(x,y)為退化圖像；f(x,y)為最初的清晰圖像；n(x,y)為加性噪聲，一般為高斯白噪聲；h(x,y)為模糊核，也叫做點擴散函數，其定義為：

(2)

其中，L為運動模糊長度，是指拍攝物體和攝像機之間相對移動的距離，一般用圖像的像素數表示；θ為運動模糊方向，是指拍攝物體的運動方向和水平正方向的夾角。

2 運動模糊參數的估算

對式(2)進行分析可知，要通過計算得到更為準確的點擴散函數，最重要的參數是L以及θ。常見的運動模糊參數估算方法包括兩大類：以空域為基礎的方法和以頻域為基礎的方法。在應用第一種方法時，把圖像描述成所有位置的灰度值，然后從中選擇相對比較完美的特征為依據展開分析求解，這種方法的應用過程十分復雜，并且計算量很大。如果采用第二種方法，就要粗略地計算出運動模糊參數，首先必須確定圖像的頻譜特征以及運動模糊參數的關系，該方法不但大大降低了計算量，而且估算結果誤差更小。頻域零點法、倒譜辨識法都屬于此類方法。文中在研究模糊圖像的頻譜特征和模糊參數彼此間的關系和噪聲污染情況下模糊圖像存在的問題的基礎上，提出了一種改進的算法來估算運動模糊參數。

在不考慮噪聲的情況下，聯立式(1)、(2)，然后展開傅里葉變換就可以得到模糊圖像在頻域中的計算式，也就是：

G(u,v)=F(u,v)×H(u,v)=F(u,v)× ?h(x,y)e-j2π(ux+vy)dxdy=F(u,v)×sinc[πL(ucosθ+vsinθ)]e-jπL(ucosθ+vsinθ)

(3)

其中，G(u,v)、F(u,v)、H(u,v)分別為運動模糊圖像、原始圖像、PSF的頻域響應。

文中先使用改進的Radon變換法來估算運動模糊方向，再利用雙譜模型來估算運動模糊長度。

圖2 模糊圖像的頻譜特性

2.1 運動模糊方向θ的估算

無噪聲影響的運動模糊圖像的頻譜圖中存在等間距的平行暗條紋，且實驗表明這些暗條紋的方向與運動模糊方向有一定聯系[6]：

(4)

其中，θ為拍攝物體的運動方向和水平正方向的夾角；α為暗條紋的方向，即平行直線的斜率所對應的角度；M、N為圖像大小。

所以要估算出運動模糊方向，可通過檢測運動模糊圖像的頻譜圖中的暗條紋方向來實現。特別是當M=N時，暗條紋的方向與運動模糊方向是垂直的。

在具體實踐過程中，很多噪聲都會導致運動模糊圖像發生變化。在這種情況下運動模糊圖像的頻譜圖里面的暗條紋的數量就會低于正常情況，甚至完全不見，不過同時會出現一條白帶，其方向正好和暗條紋是相同的[7]。因此如果模糊圖像被噪聲影響后，難以直接判斷模糊方向的話，可以通過白帶方向進行估算。

目前在粗略地計算運動模糊方向時，應用最為廣泛的方法是以Radon為基礎的方法，并且都是以該變換的上限值為依據進行估算。如果模糊長度比較長，采用該方法得到的估算結果的誤差較小，但對45°等特定角度，其估算準確度較低。文中利用一種改進方法來估算運動模糊方向：通過計算得到Radon變換結果的一階導數，將其絕對值全部相加，然后確定總和的上限值所對應的角度，這一角度就是運動模糊方向。整個過程如下：

(1)對于模糊圖像g(x,y)，通過計算得到其二維傅里葉變換：G(u,v)=fft2(g(x,y))；

(2)進一步縮小傅里葉變換的區域：D(u,v)=log[1+|G(u,v)|]；

(3)對上述結果展開多次的移位，確保低頻成分和譜圖中心是相對的:C(u,v)=fftshift(D(u,v))；

(4)計算C(u,v)的Radon變換：R(x,θ)=Radon(C(u,v))；

(5)計算出變換結果的一階導數，并計算出其絕對值的總和；

(6)確定絕對值總和的上限值所對應的角度，將其代入式(4)中進行計算，得到最終的運動模糊方向。

對二維圖像而言，Radon變換是指圖像g(x,y)在角度為θ、距離原點為r(其中r=xcosθ+ysinθ)的直線上的投影。其定義如下：

R(r,θ)=?g(x,y)δ(r-xcosθ-ysinθ)dxdy

(5)

其中，δ()為脈沖沖激函數。

2.2 運動模糊長度L的估算

實驗表明，無噪聲影響的運動模糊圖像的頻譜圖中相鄰暗條紋的距離與運動模糊長度成反比[6]。所以，無噪聲影響的運動模糊圖像的運動模糊長度的估算，可通過檢測頻譜圖中相鄰暗條紋的距離來實現。而受噪聲影響的運動模糊圖像的頻譜圖中的暗條紋會變少甚至消失，就不能利用相鄰暗條紋的距離與運動模糊長度之間的反比關系來估算出運動模糊長度。傳統的運動模糊長度估算方法是先去除噪聲(如濾波法)，然后在去噪后的圖像上估計模糊參數。但去除噪聲的同時也會去除圖像中一些可以用于估算模糊參數的重要信息，影響復原效果。因此文中利用雙譜模型來估算運動模糊長度。

雙譜屬于高階譜范疇，它最主要的特點是階數低、計算過程簡單且高效，因此在高斯噪聲的剔除中得到了廣泛的應用。假定有一雙譜表達式的信號序列：

(6)

如果是運動圖像的話，能夠根據運動模糊方向，把圖像里面的所有行都當做彼此不相干的序列，并通過計算得到所有行的雙譜[8]：

(7)

其中，Gi、Fi、Ni依次代表模糊圖像序列、原始圖像序列和噪聲序列的傅里葉變換。

在式(7)中，只有第一項不受到噪聲的影響，并且這種噪聲主要是均值為零的高斯噪聲，因此從理論的角度來看，剩余項的平均值都是零。因此能夠得到運動模糊圖像的雙譜平均值：

(8)

對式(8)進行分析可知，運動模糊圖像的雙譜有著和點擴散函數的頻域響應特點比較相似的特征。也就是其結構和sinc函數存在共同點，雙譜的中央主峰寬度會隨著運動模糊長度的縮短而增大。對一幅像素為512×512的圖像進行分割處理，得到1×512的子序列，該序列的雙譜模型見圖3(a)。實驗結果顯示，若疊加次數達到一定值時，雙譜的中央主峰寬度基本上不會受到噪聲的影響，見圖3(b)。因此可以首先進行檢測，得到雙譜中央主峰寬度，然后根據公式d=2N/R得到運動模糊長度。其中，R代表正中間主峰的寬度，N代表圖像的列數。

3 基于TV正則化的圖像復原

3.1 經典的圖像復原算法

點擴散函數估算出來后，接著就能夠通過圖像非盲復原法實現圖像的復原了。這里可以采用的方法有很多：逆濾波法[9]是最早應用于圖象復原的一種復原技術，該算法抗噪能力較差，當噪聲較大時，圖像的復原效果就會很差。維納濾波法[10]最大的優勢在于能夠有效地抵抗噪聲的影響，不過該方法使用了一項新的常數K來替代噪聲功率和最初圖像功率的比值，因此導致復原圖像質量并不理想。約束最小二乘法[11]是一種基于線性表達的恢復方法，盡管從數學層面上分析得到的結果是最理想的，不過如果用主觀感受進行評價的話，通過該方法復原出的圖像的質量并非最理想，并且結果中往往伴隨振鈴問題。R-L算法[12]的應用十分復雜，在迭代次數上升的過程中，噪聲會被放大，而且對點擴展函數很敏感，一旦點擴展函數估算錯誤，則RL算法復原出來的圖像會有嚴重的振鈴現象。

綜上所述，傳統的圖像復原方法通常在噪聲較低、PSF估計精度較高以及迭代次數較多的情況下才能獲得較為理想的復原效果。在過去的幾年間，部分學者認為可以采用稀疏表示來解決圖像復原的問題，如基于正則化的圖像復原方法，使模糊圖像的復原效果不斷提高。

3.2 基于TV正則化的圖像復原算法

圖像的退化過程實際上也是g=Hf+n。其中，g、f、n依次為退化圖像、最初的清晰圖像以及加性噪聲逐行串接獲取的列向量；H為依據點擴展函數得到的矩陣。圖像的復原，實際上就是反卷積的過程，它屬于病態問題。所以，Tikhonov及其研究小組認為，可以引入正則化方法，創建額外的約束或調整求解策略，從而讓問題擁有不變且唯一的解，簡單來說就是把病態問題轉變成良態問題[13-14]：

(9)

為了解決這一問題，Rudin及其研究小組[15]創建了總變分正則化(TotalVariation，TV)方法。這一正則項不但能夠降低噪聲影響，并且不會將圖像邊緣信息剔除出去，從而保障復原不會產生太過平滑的圖像。

(10)

考慮到TV范數具有不可微的特點，但F范數屬于兼具可微和光滑特點的函數，此時就能夠利用式(11)將圖像復原問題轉變成壓縮感知問題[16]：

(11)

要得到以上壓縮感知問題的解，可以選擇梯度追蹤算法，計算過程為：

(1)用x0表示x的最初值，x(k)=x0；

(2)計算f的梯度值：g=F(x)；

(3)通過計算確定步長α，此項計算通過前或后向線搜索實現；

(4)更新：x(k+1)=x(k)-αg；

(5)k=k+1，查看結果有沒有違背終止準則，如果沒有違背的話，就提供輸出值x(i+1)，如果違背的話，重新回到步驟(1)。

4 實驗結果與分析

實驗主要使用的是基于人工生成的運動模糊車輛圖像。首先選取一幅大小為256×256的清晰車輛圖像，如圖4(a)所示。對其加模糊長度為10像素、模糊方向為45°的運動模糊，并加SNR=10dB的高斯噪聲，如圖4(b)所示。用文中的點擴散函數估算方法，其運動模糊長度、運動模糊方向的估算值分別為10像素、46°，從而可發現其估計精度較高。然后將文中的復原算法與經典復原算法—維納濾波法、約束最小二乘法、R-L算法的復原效果進行比較，如圖4(c)～(f)所示。

圖4 實驗圖像的復原效果圖

表1第一列均為評價指標。其中，PNSR代表峰值性噪比，復原得到的圖像的質量和它的值之間呈正相關關系，也就是說它的值越大，證明復原算法性能越突出；MSE代表均方誤差，復原得到的圖像的質量和它的值之間呈負相關關系，也就是說它的值越小，證明復原算法性能越突出[17]。

表1 不同方法對含噪運動模糊圖像復原性能對比

對圖4和表1進行分析可知，采用文中實施的復原方法可以得到質量較高的復原圖像，無論是從主觀還是客觀的層面來看，該方法都有助于提高復原圖像的質量。

5 結束語

結合運動模糊車輛圖像的特征，詳細分析了圖像復原過程，并在此基礎上提出了一種基于改進的點擴散函數的估算和TV正則化的運動模糊圖像復原方法。通過優化的Radon變換方法粗略地計算出運動模糊方向，利用雙譜模型計算出運動模糊長度的近似解。得到點擴散函數的近似解后，通過TV正則化方法完成運動模糊圖像的復原。最后從主觀及客觀的角度評價并分析了各種復原算法所復原圖像的質量。實驗結果表明，提出的算法在計算運動模糊參數近似解方面誤差較小，而且最終能夠得到質量較高的復原圖像。

[1] 陳建功,李其申,肖冬杰.運動模糊車牌圖像的恢復與定位[J].信息通信,2012(4):37-38.

[2] 付曉莉.運動模糊車牌圖像的恢復、定位、校正及分割方法研究[D].南京:南京航空航天大學,2008.

[3] 范群貞.運動模糊圖像復原方法的研究[J].電子測量技術,2013,36(6):73-76.

[4]ShuaiJia,JieWen.Motionblurredimagerestoration[C]//Procofthe6thinternationalcongressonimageandsignalprocessing.[s.l.]:[s.n.],2013:384-387.

[5]MoghaddammME,JamzadM.Motionbluridentificationinnoisyimagesusingradontransformandpowerspectrummodeling[C]//Procofthe12thinternationalworkshoponsystems,signalandimageprocessing.[s.l.]:[s.n.],2005:347-352.

[6] 李俊鶴.運動模糊圖像復原技術研究[D].武漢:武漢理工大學,2012.

[7] 趙志剛,程 姝,呂慧顯,等.含噪運動模糊圖像恢復[J].青島大學學報:自然科學版,2014,27(1):77-82.

[8]MoghaddamME,JamzadM.Motionbluridentificationinnoisyimagesusingmathematicalmodelsandstatisticalmeasures[J].PatternRecognition,2007,40(7):1946-1957.

[9] 陳華玲,馮 桂,寥家亮.數字圖像的逆濾波復原[J].電視技術,2010,34(2):17-18.

[10] 金 飛,張 彬,司 璇,等.基于維納濾波的圖像復原[J].中國傳媒大學學報:自然科學版,2011,18(4):19-23.

[11] 郝 明,方 亮.有約束最小平方復原在圖像復原中的應用[J].實驗科學與技術,2010,8(5):21-23.

[12]TaiYuwing,BrownMS.Richardson-Lucydeblurringforscenesunderaprojectivemotionpath[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,33(8):1603-1608.

[13] 唐 夢,彭國華,鄭紅嬋.基于正則化方法的圖像盲去模糊[J].計算機應用研究,2014,31(2):596-599.

[14]TikhonovAN,ArseninVY,JohnF.Solutionsofill-posedproblems[M].WashingtonDC:VHWinston&Sons,1977.

[15]RudinLI,OsherS,FatemiE.Nonlineartotalvariationbasednoiseremovalalgorithms[J].PhysicaD,1992,60(4):259-268.

[16] 郭玉錦.基于壓縮感知的模糊車牌圖像預處理及其識別研究[D].西安:長安大學,2012.

[17] 王鵬飛.運動模糊圖像復原算法研究[D].重慶:重慶大學,2013.

Research on Method of Image Restoration of Motion Blur Vehicle

SHI Hai-ling，QIU Xiao-hui

(College of Communications and Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

In the process of taking vehicle images,there are many factors which can influence the quality of the vehicle images,such as motion blur caused by relative motion between video cameras and vehicles.It leads to the results that the license plate to identify by recognition system is wrong,and even that the system couldn’t recognize the license plate.According to the characteristics of the motion blur image,the degradation model of motion blurred image is analyzed,and an image restoration algorithm is proposed based on point spread function estimation and TV regularization method.Improved Radon transform is used to estimate the motion blur direction,and bi-spectrum model is applied to evaluate the motion blur length.After estimating the point spread function,the TV regularization method is used to recover the blurred image,and the gradient tracking algorithm is utilized to solve the problem.It evaluates and analyzes the quality of restored images from the perspective of subjective and objective in this paper.The experiment shows that the improved comprehensive algorithm can estimate the blurred parameter of motion-blurred images accurately and obtain satisfied effect.

motion blur;point spread function;Radon transform;bi-spectrum model;image restoration;TV regularization

2014-12-29

2015-06-08

時間：2016-07-29

江蘇省自然科學基金(BK2011789)；東南大學毫米波國家重點實驗室開放課題(K201318)

史海玲(1989-)，女，碩士研究生，研究方向為圖像處理與模式識別；邱曉暉，教授，研究方向為信號與信息處理及圖像處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160729.1833.004.html

TP301

A

1673-629X(2016)08-0060-05

10.3969/j.issn.1673-629X.2016.08.013