空間尺度信息的運動模糊核估計方法?

唐 述, 萬盛道, 楊書麗, 謝顯中, 夏 明, 張 旭

(計算機網絡和通信技術重慶市重點實驗室(重慶郵電大學),重慶 400065)

由于成像系統的像差、散焦、大氣湍流、噪聲以及成像鏡頭與所拍攝場景的相對運動等眾多因素的影響,不可避免地會導致拍攝到的圖像出現模糊.近幾年,隨著相機的成像分辨率不斷提高以及焦距范圍的不斷擴大,在引起圖像模糊的眾多因素中,由成像設備與被拍攝物體之間的相對運動所造成的圖像運動模糊已成為圖像模糊最主要的因素之一,因此,本文將主要針對場景靜止,由相機的平面內平移所造成的單幅運動模糊圖像的盲復原方法進行研究.在運動模糊圖像的盲復原研究中,能否準確估計出引起圖像模糊的運動模糊核(motion blur kernel,簡稱MBK)是能夠復原出原始清晰圖像的關鍵,而其中,圖像有利邊緣的準確提取和正則化約束項的合理設計,又是實現MBK準確估計的關鍵.2008年,Shan等人在算法的初始階段先利用較強的正則化約束來選擇幅值較大的強邊緣來引導MBK的估計,然后隨著迭代的進行再逐漸減小正則化的強度從而復原出豐富的圖像細節,同時在對MBK的約束方面則采用了空間域的L1范數稀疏性約束[1].2009年,Cho等人采用雙邊濾波器、shock濾波器和一種梯度閾值策略來提取圖像中幅值較大的強壯邊緣,然后僅利用提取的強壯邊緣對MBK進行估計,同時,Cho等人僅利用了簡單的L2范數來對MBK進行稀疏性約束[2].2011年,Krishnan等人提出了一種L1/L2的正則化策略.該方法利用先前估計的潛在圖像梯度的L2范數作為當前潛在圖像梯度的L1范數的權重,可以被認為是一種歸一化的L1范數[3].2012年,Li等人對MBK進行了全變差的正則化約束,并結合分裂的布雷格曼迭代,提出了一種擴展的分裂布雷格曼迭代盲復原算法[4].2010年,Xu等人的研究發現,與圖像邊緣的幅值相比,圖像邊緣的空間尺度更能決定MBK估計的準確性[5]——只有當圖像中邊緣的空間尺度大于MBK的尺度時,這樣的邊緣才會有利于MBK的估計(圖像邊緣的空間尺度是指圖像中邊緣的寬度,而MBK的尺度是指MBK的支持域的大小).2013年,Xu等人提出了一族損失函數來選擇圖像中的有利邊緣,雖然這些損失函數能夠較好地近似稀疏性最強的L0范數,但是在所選擇的有利邊緣中,絕大多數仍是由圖像邊緣的幅度值所決定的[6],并且該方法同樣也是僅利用了簡單的L2范數來對MBK進行稀疏性的約束.2013年,Pan等人將圖像邊緣的空間尺度信息結合到全變差的圖像去噪模型中,實現有利圖像邊緣的準確提取,并提出了一種雙重正則化約束模型來同時對MBK的稀疏性和連續性進行約束:空間域的超拉普拉斯分布約束MBK的稀疏性和梯度域的L0范數保證MBK的連續性[7].2016年,Pan等人根據圖像暗信道的稀疏性,提出了一種基于暗信道先驗的模糊圖像盲復原方法[8].2015年,Ma等人提出了一種時間區域選擇策略來提取模糊視頻中每幅幀的有利圖像結構,能夠在有效去除視頻運動模糊的同時實現視頻的超分辨率重建[9].但是該方法仍然僅對MBK進行了簡單的L2范數約束.2015年,Perrone等人提出了一種基于最大邊緣分布的模糊圖像盲復原方法,該方法通過在所有可能的潛在圖像上進行最大化邊緣分布來估計MBK[10].雖然該方法能夠估計出較為合理的MBK,但是其計算量太大.2016年,Zuo等人提出了一種逐迭代的p范數正則化方法,并結合一種數據驅動策略來自適應地選擇有利的圖像邊緣[11],該方法對于MBK則采用了超拉普拉斯分布來約束其稀疏性.2017年,Pan等人通過同時在圖像的空間域和梯度域進行L0的稀疏性正則化約束來提取圖像中的有利邊緣,該方法同時也僅利用了簡單的L2范數來對MBK進行稀疏性約束[12].

綜上所述,現有方法存在的問題主要有:

· 一方面,在圖像有利邊緣的提取階段,現有的絕大多數方法都是基于圖像邊緣的幅度值而非圖像邊緣的空間尺度信息[1?4,6,11,12].雖然Xu等人[5]提出了一種基于空間尺度的邊緣提取策略,但是該方法對于用該策略計算出的邊緣地圖,僅采用了一種簡單的閾值法(文獻[5]中的公式(2)和公式(3)),從中選擇出大尺度的有利邊緣(在本文中,將空間尺度大于MBK尺度的圖像邊緣稱為有利的圖像邊緣或者大尺度邊緣;反之,將空間尺度小于MBK尺度的圖像邊緣稱為有害的圖像邊緣或者小尺度邊緣),因而并不能實現有利邊緣的最優提取.另外,雖然Pan等人[7]也提出了一種結合空間尺度信息和全變差圖像去噪模型的邊緣提取方法,但是該方法的空間尺度信息地圖僅是從觀察到的模糊圖像中計算得到的,而并沒有在后續的迭代中進行更新(文獻[7]中的公式(4)),并且該方法還存在計算量大和耗時多的問題.由此可見,現有的方法并不能真正準確地提取出圖像的有利邊緣.

· 另一方面,現有方法針對MBK正則化約束項的設計都過于簡單,僅僅考慮了MBK的稀疏性[1?6,9,11,12],而忽略了MBK的連續性.雖然Pan等人[7]提出了一種雙重正則化約束模型來同時對MBK的稀疏性和連續性進行約束,但是如前所述,該方法計算量太大,耗時太多.

由此可見,現有的方法并不能真正實現對MBK的準確估計,尤其是在嚴重運動模糊或者圖像中紋理細節較為復雜的情況中,進而不能得到高質量的復原圖像.

針對現有方法存在的兩方面缺陷,本文提出了一種基于空間尺度信息的運動模糊核估計方法:首先,為了準確地提取有利的圖像邊緣,移除有害的圖像結構,本文提出了一種基于圖像空間尺度信息的圖像平滑模型,提出的模型能夠被有效的最優化求解,從而能夠快速而準確地提取出最優的有利圖像邊緣;然后,從運動模糊退化函數的內在特性出發,提出了一種結合L0先驗和L2先驗的新的雙重正則化約束模型來對MBK的稀疏性和連續性進行較好的約束,實現運動模糊核的準確估計,而且提出的雙重正則化約束模型同樣能夠被有效地最優化求解.本文在客觀的評價指標和主觀的視覺效果上進行了大量實驗,結果證明了提出的方法能夠估計出更準確的MBK和復原出更高質量的去模糊圖像.

1 提出的模糊核估計方法

圖像的運動模糊可用如下的數學模型來表示:

其中,y為觀察到的模糊噪聲圖像;k為未知的線性退化函數(blur kernel,簡稱BK);x為原始的清晰圖像;n為零均值,方差為σ2的加性高斯噪聲;*表示卷積運算.本文提出的方法采用了模糊圖像盲復原領域常用的一種從粗到精的多尺度策略,并在每個尺度上都循環地執行以下3個步驟.

1) 有利的圖像邊緣的提取(useful image edges extraction,簡稱UIEE);

2) MBK的估計(motion blur kernel estimation,簡稱MBKE);

3) 中間潛在圖像的復原(interim image restoration,簡稱IIR).

本文提出方法的流程如圖1所示.

Fig.1 Overall process of our method圖1 本文提出方法的流程

Fig.1 Overall process of our method (Continued)圖1 本文提出方法的流程(續)

由圖1可知,UIEE,MBKE和IIR是本文提出方法的關鍵.因此在接下來的章節中,本文將分別對UIEE,MBKE和IIR進行詳細介紹.

1.1 有利的圖像邊緣的提取

如前所述,圖像邊緣的空間尺度更能決定MBK估計的準確性[5],因此,本文提出了一種基于圖像空間尺度信息的圖像平滑模型以實現圖像有利邊緣的準確提取:

其中,

·S表示結果圖像;

·I表示輸入圖像,初始輸入即為觀察到的模糊噪聲圖像;之后,隨著迭代的進行,輸入則為中間的潛在復原圖像;

·?hS表示圖像S在水平方向上的一階梯度;

·?vS表示圖像S在垂直方向上的一階梯度;

·ε為一個很小的正數,以防止分母等于0的情況產生;

·R(p)表示以像素點p為中心的局部矩形圖像塊.

從公式(2)的右邊(第2項和第3項)可以得到:在圖像塊R(p)中,寬度小于R(p)寬度的圖像邊緣將會產生較大的Rh(Sp)值和Rv(Sp)值(因為在Rh(Sp)和Rv(Sp)的分母中,寬度小于R(p)寬度的圖像邊緣會產生成對的正負梯度值,這些成對的正負梯度值會在Rh(Sp)和Rv(Sp)的分母中正負相消);反之,寬度大于R(p)寬度的圖像邊緣會得到較小的Rh(Sp)值和Rv(Sp)值.因此,最小化Rh(Sp)和Rv(Sp)即可將寬度大于R(p)寬度的圖像邊緣準確地提取出來.由此可見,最小化Rh(Sp)和Rv(Sp)是一種基于圖像邊緣空間尺度的而非幅度值的圖像邊緣提取方法.于是我們得到:只要將圖像塊R(p)的寬度設置為等于或略大于MBK支持域的寬度,就能夠通過最小化公式(2)將圖像中的有利邊緣準確地提取出來.公式(2)的第1項是為了保證輸出圖像和輸入圖像在內容上不會有較大的偏差.關于該模型的最優化求解,會在第2節詳細給出.

1.2 MBK的估計

除了圖像有利邊緣的準確提取之外,正則化約束項的設計是影響MBK估計的另一個重要因素.Cai等人已經證明[13],運動模糊退化函數具有兩種重要的特性:支持域的稀疏特性和連續特性.但是現有的方法針對MBK正則化約束項的設計幾乎都僅僅只考慮了MBK的稀疏特性[1?6,8,9,11,12],而忽略了MBK的連續特性.雖然Cai等人提出了一種雙重正則化約束模型來同時約束MBK的稀疏特性和連續特性,但是對于連續特性的約束,Cai等人卻是對MBK進行像素值強度的高斯分布約束,即.然而,這類約束仿佛卻更加偏向于稀疏的特性[2,5,6,12].雖然Pan等人也提出了一種雙重正則化約束模型來同時對MBK的稀疏性和連續性進行約束,但是如前所述,該方法耗時太多[7].

通過對現有正則化約束項的分析,我們發現:直接對MBK的像素值強度進行稀疏特性的約束較為有效,例如,其中,0<α<1,;而對于連續特性的約束,在梯度域進行則比較有效,例如.即使L0范數是最稀疏的表示,但仍能夠在梯度域中保證MBK的連續性[7].基于以上的分析,本文提出一種結合L0先驗和高斯先驗的新的雙重正則化約束模型,對MBK的稀疏性和連續性進行較好的約束.

其中,γkc和γks分別表示連續性正則化參數和稀疏性正則化參數.由公式(3)可知:提出的模型將最稀疏的L0范數直接運用到MBK的像素值強度上,同時將具有平滑漸變特性的高斯先驗運用到MBK的梯度域.因此,提出的模型能夠很好地同時保證MBK的稀疏性和連續性.同樣,在第2節會詳細給出對該模型的最優化求解.

1.3 中間潛在圖像的復原

在IIR階段,本文采用了Krishnan等人提出的超拉普拉斯先驗[14]來對中間的潛在圖像進行復原:

其中,γI為正則化參數.本文直接采用了文獻[14]中的方法來對公式(4)進行最優化求解.

2 對提出模型的最優化求解

2.1 基于空間尺度信息的圖像平滑模型的求解

我們將分子中的|(?hS)q|提取出來,并重新排列像素,得到:

其中,εs為一個很小的正數,防止分母等于0.接下來,令

2.2 雙重正則化約束模型的求解

由公式(3)可知,提出的雙重正則化約束模型引入了一種離散的計數測量,即||k||0=#{p||kp|≠0},因此,我們采用了一種與文獻[16]相類似的半二次性分裂的交互式最優化策略對提出的模型(公式(3))進行最優化求解.首先引入一個輔助變量bk,并引入一個額外的約束:bk=k,那么公式(3)被轉換為

其中,βk為懲罰參數.接下來,我們將交互式地迭代求解k和bk.

· 固定bk,那么k可通過求解下式得到:

公式(13)對于k是二次性的,因此可在頻率域求其閉合式解:

其中,F(?)和F?1(?)分別表示快速的傅里葉變換和快速的傅里葉逆變換,表示F(?)的復共軛,?表示逐元素相乘操作.

· 固定k,那么bk可以通過求解下式得到:

公式(15)是一種逐元素的最小化問題,因此bk由下式可得:

同時,還在每次迭代中對MBK進行了歸一化和非負的約束:

其中,D表示模糊核支持域的大小,kmax表示k中最大的元素.

本論文的方法將最低尺度的模糊噪聲圖像ycoarsest作為算法的初始輸入值;同時,bk的初始值設為0.最終,一旦MBK被最終估計得到,我們就采用文獻[14]中提出的基于超拉普拉斯先驗的非盲復原方法來得到最終的清晰復原圖像.

3 實驗及分析

本文在客觀的評價指標和主觀的視覺效果上進行了大量的比較實驗(分別與文獻[2]、文獻[3]、文獻[5?7]和文獻[11]的方法進行了比較)來驗證提出方法的優越性.在客觀的評價指標方面,本文分別采用了峰值信噪比(peak signal-to-noise ratio,簡稱PSNR)[6]和逆卷積錯誤比率(ratio between deconvolution error,簡稱RBDE)[6]來衡量所有盲復原方法的性能.實驗所用的計算機具有8G內存和2.3GHz的雙核Intel處理器.所有圖像的像素值都被歸一化到0～1之間.由公式(4)、公式(7)和公式(12)可知,提出的方法一共涉及到6個參數:εs,εs,γkc,γks,βk和γI.對于參數γkc和γks而言,參數γkc決定了MBK的連續平滑擴散的程度,而參數γks決定了MBK的稀疏程度,因此,γkc和γks共同決定了MBK估計的準確性.因為模糊圖像中含有MBK的信息,因此在本文中,我們將γkc和γks的設置直接與模糊圖像聯系起來.經過反復實驗,我們得到:在本文的所有實驗中,γkc和γks分別被設置為參數βk控制著輔助變量bk與k之間的相似程度.在這里,本文采用了文獻[16]中的方法來對參數βk進行設置:在算法的初始階段,對參數βk設定一個較小的初始值;然后,在每次迭代之后對βk的值加倍,直到達到βk的最大值為止.參數βk的初始值為βk_ini=2γks,最大值為βk_max=105.ε和εs分別被設置為0.001和0.02.參數γI則遵循文獻[14]的方法進行設置.為了實驗的公平性,在MBK的估計階段,實驗中所有方法的實驗結果都經過了大量實驗,通過對每種方法中參數的反復調試而得到的最佳實驗結果;而在最終的清晰圖像復原階段,所有方法均統一采用文獻[14]的非盲復原方法來得到最終的清晰復原圖像.

3.1 人造運動模糊圖像的實驗

在人造運動模糊圖像的實驗中,本文采用了文獻[6]所使用的測試圖像數據集和文獻[17]的測試數據集.其中,文獻[6]所使用的數據集為4幅255×255大小的灰度級清晰測試圖像(如圖2所示).而文獻[17]的數據集為80幅大小不一的灰度級清晰測試圖像.它們均采用了圖3所示的8種不同的MBK來代表8種不同的運動模糊,共產生出了672幅人造的運動模糊圖像.同時,本文在文獻[6]的32幅運動模糊圖像上還加入了均值為0、標準差為0.001的加性高斯噪聲,而在文獻[17]的640幅運動模糊圖像上則加入了均值為0、標準差為0.01的加性高斯噪聲.為了驗證提出方法的優越性,將提出的方法與Cho等人的方法[2]、Krishnan等人的方法[3]、Xu等人的方法[5,6]以及Pan等人的方法[7,11]進行了比較.

Fig.2 Four grayscale test images of Ref.[6]圖2 文獻[6]所采用的4幅灰度級標準測試圖像

Fig.3 Eight different MBKs圖3 8種不同的運動模糊核

本文對所有的672幅人造模糊圖像進行了比較實驗,但是因為篇幅有限,在主觀視覺效果的比較上,本節僅給出了Face圖像在MBK4(最大的MBK)上的實驗結果,如圖4所示.

如圖4所示,因為文獻[2,6]中的方法是基于梯度的幅值來選擇有利的圖像邊緣,同時,它們又只考慮了MBK的稀疏特性,因此,估計的MBK存在一定程度的噪聲瑕疵,尤其是對于含有較多高對比度細邊緣的Face圖像.因此,文獻[2,6]的方法所復原出的圖像存在較多的ringing瑕疵(如圖4(c)和圖4(f)所示).基于L1/L2范數的盲去模糊方法所估計的MBK存在較為嚴重的間斷,其復原圖像存在較為嚴重的振鈴瑕疵(圖4(d)).雖然文獻[5]中的方法是基于空間尺度的大小來測量圖像中的有利邊緣,但是所采用的硬閾值法并不能準確地提取出圖像中所有的有利邊緣,而且文獻[5]也只考慮了MBK的稀疏特性,因此,文獻[5]中方法所估計得到的MBK同樣存在一定程度的噪聲瑕疵和拖尾瑕疵,導致最終獲得的復原圖像不可避免地也存在一定程度的ringing瑕疵(如圖4(e)所示).雖然文獻[7]中的方法也是基于空間尺度來提取圖像中的有利邊緣,但是該方法仍然不能估計出準確的MBK:對于含有較多高對比度細邊緣的Face圖像,用該方法估計出的MBK趨向于delta函數,導致得到的復原圖像沒有任何的去模糊效果(如圖4(g)所示).文獻[12]中的方法也是一種基于圖像梯度幅值的邊緣選擇策略,因此該方法所估計的MBK與文獻[6]中方法估計的MBK相似,失真較為嚴重,因此其最終復原出的圖像也不可避免地存在較多的ringing瑕疵(如圖4(h)所示).相比之下,本文提出的方法因為實現了圖像中大尺度有利邊緣的最優化求解,同時利用L0先驗和高斯先驗很好地約束了MBK的稀疏特性和連續特性,因此本文提出的方法能夠在很好地保證MBK稀疏性和連續性的同時有效地去除噪聲和拖尾等瑕疵,估計出最準確的MBK,進而能夠獲得最高質量的復原圖像(如圖4(i)所示).

Fig.4 Recovered results and estimated MBKs of all methods with test image Face and MBK4圖4 所有方法在Face圖像和MBK4實驗中的復原圖像結果以及估計的運動模糊核

在客觀的評價指標方面,本文分別采用了PSNR和RBDE來比較實驗中所有盲復原方法的性能.圖5表示所有方法在所有672幅人造運動模糊圖像上的RBDE值.表1則表示在所有的672幅人造運動模糊圖像中,每種方法在每個MBK上所得到的平均PSNR值.

圖5中,橫坐標上的數字2表示在所有的32幅人造模糊圖像的實驗中,滿足RBDE<2的所有復原圖像所占的百分比.已經證明:只有當RBDE<2時,得到的復原圖像的質量才是可以接受的[6,7,17].如圖5所示:本文提出的方法在RBDE<2的情況下達到了最高的70.7%,明顯優于其余的6種盲復原方法.表1列出了在所有的672幅人造運動模糊圖像中,每種方法在每個MBK上所得到的平均PSNR值.由表1可以明顯地看到:在絕大多數情況下,本文所提出的方法能夠獲得最高的平均PSNR值(在所有的672幅人造模糊圖像的盲復原實驗中,6種MBK所獲得的平均PSNR值達到了最高),明顯優于其余6種盲復原方法.圖5和表1從客觀的評價指標方面證明了本文提出方法的有效性.

Fig.5 Percentages of the RBDEs of all the methods on all the 672 synthetic blurred images圖5 所有方法在所有672幅人造模糊圖像上的RBDE統計百分比

Table 1 Average PSNR (dB) values of each method for each MBK on all the 672 synthetic blurred images表1 在所有的672幅人造運動模糊圖像中,每種方法在每個MBK上所得到的平均PSNR值

3.2 真實運動模糊圖像的實驗

除了人造的模糊圖像之外,在本節中還將提出的方法運用到真實運動模糊圖像的盲復原中.圖6(a)為一幅大小為247×265的真實模糊圖像(“structure”),MBK的大小為45×45個像素.該幅模糊圖像包含有復雜的結構和豐富的小尺度邊緣,具有一定的挑戰性.

如圖6所示,因為僅考慮了MBK的稀疏性,文獻[2,5,6]中方法所估計的MBKs都含有或多或少的噪聲瑕疵,其最后的復原圖像具有顯而易見的陰影瑕疵(如圖6(b)、圖6(d)和圖6(e)所示).文獻[3]無法估計出一個合理的MBK,導致最后的復原圖像出現嚴重的失真(如圖6(c)所示).文獻[12]中方法估計出的MBK含有較為明顯的噪聲瑕疵,其最后的復原圖像也存在于有顯而易見的陰影瑕疵(如圖6(g)所示).雖然文獻[7]的方法能夠估計出一個較好的MBK,但其最后的復原圖像中仍含有一定程度的陰影效應(如圖6(f)所示).相比之下,本文提出的方法在MBK的估計和最終圖像的復原上都明顯優于其余的6種方法.在MBK的估計中,本文的方法能夠有效去除噪聲等瑕疵,很好地保證MBK的稀疏性和連續性,因此能夠復原出更加銳化的邊緣和更多的細節,同時有效抑止陰影等瑕疵(如圖6(h)所示).

Fig.6 Restoration results,estimated MBKs and the zoomed in regions of the real motion blurred image with complex structures and rich thin edges圖6 含有復雜結構和豐富小尺度邊緣的真實運動模糊圖像盲復原結果,估計的MBK和局部放大圖

圖7(a)和圖8(a)所示為兩幅真實的嚴重運動模糊圖像.圖7(a)為一幅大小為728×470的真實運動模糊圖像(“postcard”),其MBK的支持域為75×91個像素.圖8(a)為一幅大小為685×561的真實運動模糊圖像(“toy”),其MBK的支持域為95×95個像素.復原圖像則呈現出令人不太舒服的過度銳化瑕疵(如圖7(f)所示);相比之下,本文提出的方法能夠在有效去除MBK噪聲的同時,很好地保證其連續性,獲得最準確的MBK,得到最高質量的復原圖像(如圖7(g)所示).

Fig.7 Restoration results,estimated MBKs and the zoomed in regions of the real large motion blurred image圖7 嚴重的真實運動模糊圖像盲復原結果,估計的MBK和局部放大圖

Fig.8 Restoration results,estimated MBKs and the zoomed in regions of the real large motion blurred image圖8 嚴重的真實運動模糊圖像盲復原結果,估計的MBK和局部放大圖

如圖8所示,文獻[2,5,6]中方法所估計的MBKs都含有噪聲和斷裂等瑕疵,其最終的復原圖像也存在明顯的ringing瑕疵(如圖8(b)、圖8(d)和圖8(e)所示).文獻[3]仍然無法估計出一個合理的MBK,導致最后的復原圖像出現嚴重的振動(如圖8(c)所示).雖然文獻[7,12]的方法分別能夠估計出較好的MBK,但是其最后得到的復原圖像中仍含有一定程度的ringing瑕疵(如圖8(f)和圖8(g)所示).相比之下,本文提出的方法不僅能夠估計出準確合理的MBK,而且能夠明顯抑制復原圖像中的ringing瑕疵(如圖8(h)所示);并且從局部放大圖中可見,本文提出方法所復原出的邊緣和細節也更加的清晰.

圖6～圖8從主觀的視覺效果上證明了本文提出方法的優越性.接下來,我們將采用一種無參考的圖像質量評價方法[18],從客觀的評價指標方面進一步驗證本文提出方法在真實運動模糊圖像上的性能.表2為所有方法在真實運動模糊圖像上采用文獻[18]所得到的客觀評價值,其中,數字越高,說明圖像質量越好.

Table 2 Objective metric values of the methods[2,3,5?7,12] and the proposed methods for real motion blurred images Fig.6～Fig.8 by using Ref.[18]表2 文獻[2,3,5?7,12]和本文提出方法在真實運動模糊圖像上采用文獻[18]方法所得到的客觀評價值

由表2可知,本論文提出方法在真實的運動模糊圖像(如圖6和圖8所示)中均能獲得最高的客觀測量值;在圖7中則略低于文獻[12]的方法.結合復原圖像圖7(f)和圖7(g)可知,這或許是因為本文提出方法所得到的復原圖像的對比度較文獻[12]方法的復原圖像的對比度較低所致.

除了主觀和客觀的比較之外,表3為文獻[3,5?7,12]和本文提出方法在真實運動模糊圖像的實驗中估計MBK的時長.

Table 3 Processing times of MBK estimation of the methods[3,5?7,12] and the proposed methods for Fig.6～Fig.8表3 文獻[3,5?7,12]和本文提出方法在圖6～圖8的實驗中估計MBK的運行時間

由圖6～圖8、表2和表3可知,雖然本文提出方法估計MBK所需的時間略高于文獻[5]中的方法,但是估計和復原的效果都有較大地提升.而相比其余的4種方法(文獻[3,6,7,12]),本文提出的方法無論是在運行時間上還是在估計和復原的效果上都優于這4種方法,尤其是相比于文獻[7]中的方法,運行時間呈數量級的減少.

3.3 散焦模糊圖像的實驗

為了驗證本文提出方法的普適性,在本節中,將提出的方法運用到散焦模糊圖像的盲復原中.在本次實驗中,我們僅利用了人造的散焦模糊圖像來驗證本文方法的有效性,并且利用高斯核來模擬散焦的情況.實驗采用了9×9個像素點大小,標準差為3個像素點的高斯模糊核和Kids圖像(如圖2(a)所示),結果如圖9所示.

如圖9所示,在散焦模糊的情況下,本文提出的方法并不能估計出準確的模糊核,也并不能復原出清晰銳化的圖像邊緣和細節.這有可能是因為對于散焦模糊而言,大部分的圖像高頻成分信息已經在模糊的過程中丟失了,而公式(2)只是對給定圖像中大尺度邊緣的提取,因此對于信息已經丟失了的散焦模糊圖像,其提取出的也只能是不完整或錯誤的邊緣信息,因此不能實現模糊核的準確估計,進而也就不能復原出高質量的清晰銳化圖像.

Fig.9 Restoration experiment of defocus blurred image圖9 散焦模糊圖像的復原實驗

4 結 論

本文提出了一種基于空間尺度信息的運動模糊核估計方法.首先建立一種基于圖像空間尺度信息的圖像平滑模型,并通過對約束項進行分解,實現了對圖像有利邊緣的最優化求解;其次,提出了一種結合空間L0先驗和梯度L2先驗的新的正則化約束模型來對MBK的稀疏性和連續性進行較好的約束,實現了MBK的準確估計.本文的方法在客觀的評價指標和主觀的視覺效果上進行了大量實驗,結果證明了所提出方法的優越性.

但是,提出的方法還存在一定的局限性,例如含有飽和像素區域的模糊圖像或者空間變化的運動模糊圖像等,本方法就會失效,因為它們的模糊原理均違反了公式(1)中的均勻卷積操作.另一方面,本文提出的方法對于散焦模糊的圖像也不能得到令人滿意的復原結果.因此,將提出方法的思想運用到處理飽和像素區域和空間變化的模糊以及散焦模糊圖像的復原,是我們接下來研究工作的重點.

致謝感謝Sunghyun Cho、Seungyong Lee、Li Xu、Jiaya Jia和Jinshan Pan等人提供了他們的方法的程序代碼.