多正則化混合約束的模糊圖像盲復原方法

唐 述謝顯中

(重慶郵電大學計算機網絡與通信技術重慶市重點實驗室 重慶 400065)

多正則化混合約束的模糊圖像盲復原方法

唐 述*謝顯中

(重慶郵電大學計算機網絡與通信技術重慶市重點實驗室 重慶 400065)

圖像復原是一個長期的且極具挑戰性的逆問題。為了實現模糊圖像的盲復原，該文提出一種多正則化混合約束的模糊圖像盲復原方法。首先，運用一種圖像的局部結構提取策略(Local Structure Extraction Scheme, LSES)將圖像中的大尺度圖像邊緣準確地提取出來。然后，在模糊核(Blur Kernel, BK)的估計階段，將提取的大尺度圖像邊緣與前期研究中所提出的一種結合稀疏性和平滑特性的雙重正則化約束模型相結合，實現模糊核更加準確的估計。在圖像的復原階段，為了得到高質量的復原圖像，提出一種結合全變差(Total Variation, TV)模型和Shock濾波器不變特性的多正則化約束模型，從而實現模糊圖像的清晰化復原。最后，通過半二次性的變量分裂策略對提出的模型進行最優化求解，能夠在準確地估計出BK的同時得到高質量的復原圖像。在人造的模糊圖像和真實的模糊圖像中進行了大量的實驗，證明了所提方法的有效性，且與近幾年的一些極具代表性的模糊圖像盲復原方法相比，不僅主觀視覺效果得到了顯著的增強，而且客觀評價指標也得到了明顯的改進。

圖像盲復原；多正則化混合約束；局部結構提取策略；全變差(TV)模型；Shock濾波器不變特性

1 引言

在成像過程中，由于外部環境條件的限制和成像設備自身的物理局限性等眾多因素的影響，不可避免地會導致拍攝得到的圖像出現模糊。本文主要針對線性空間不變系統的模糊圖像的盲復原問題進行了研究，即模糊核(Blur Kernel, BK)是線性的且空間不變的。

模糊圖像的盲復原就是在BK未知的情況下，僅利用觀察到的模糊圖像來對BK進行準確的估計，同時復原出原始的清晰圖像。2006年，Fergus等人[1]首先利用自然圖像梯度的統計特性和變分貝葉斯估計方法對由相機抖動所造成的模糊核進行了準確的估計，然后再利用Richardson-Lucy(RL)算法和估計的BK對模糊圖像進行復原。但是因為RL算法的引入，導致該方法最終得到的復原圖像會出現一定程度的振鈴瑕疵。2008年，Shan等人[2]提出了一種連續的分段函數來近似自然圖像梯度的嚴重拖尾分布，同時對BK進行了像素值強度的L1范數的稀疏性約束。該方法利用幅值較大的圖像邊緣對BK進行估計，并隨著迭代的進行再逐漸豐富圖像的邊緣細節。2009年，Cho等人[3]利用雙邊濾波器，Shock濾波器和梯度閾值法直接提取出圖像中幅值較大的強壯邊緣，然后僅利用提取的強壯邊緣對BK進行估計。2011年，Krishnan等人[4]提出了一種L1/L2的圖像正則化約束項。該方法利用前一次迭代得到的復原圖像的梯度的L2范數來作為L1范數的權重。2012年，Li等人[5]將分裂的布雷格曼迭代方法引入到了對BK的估計中，提出了一種擴展的分裂布雷格曼盲復原方法。在我們前期的研究成果中，提出了一種稀疏平滑特性的多正則化混合約束圖像盲復原方法[6]。該方法很好地融合了BK的稀疏性和連續平滑特性，不僅能夠估計出更加準確的BK，而且還能夠很好地適用于多種不同類型的模糊。2010年，Xu等人[7]的研究發現，實際上，BK的估計結果與圖像中邊緣的尺度有著更加密切的聯系：只有當圖像中邊緣的尺度大于BK的尺度時，這樣的邊緣才更有利于BK的估計(圖像邊緣的尺度即是指圖像中邊緣的寬度，而BK的尺度即是指BK的支持域的寬度)。2013年，Xu等人[8]提出了一種L0的稀疏表示方法來實現模糊圖像的盲復原。但是L0的稀疏表示是根據圖像邊緣幅值的大小而定，因此該方法主要利用圖像中幅值較大的邊緣來實現對BK的估計。2013年，Patil等人[9]提出了一種基于Canny邊緣檢測的圖像盲復原方法。雖然該方法在測試庫圖像上具有一定的復原效果，但是它卻并不適用于實際的模糊圖像。2014年，Ohkoshi等人[10]提出了一種結合全變差(Total Variation, TV)模型和Shock濾波器的圖像盲復原方法。因為該方法只利用了TV模型來移除圖像中的紋理成分，因此，該方法仍然是基于幅度值的大小來提取圖像邊緣。2014年，Oliveira等人[11]基于模糊圖像的頻譜，提出了一種針對勻速直線運動模糊圖像的盲復原方法。但是該方法只能適用于簡單的勻速直線運動模糊圖像，而不能適用于不規則的復雜運動模糊圖像。

由以上的分析可知，現有的方法主要存在兩方面的缺陷：一方面，在BK的估計階段，幾乎都是根據圖像邊緣的幅值而非圖像邊緣的尺度來進行BK的估計[2,3,7,8]。因此，現有的方法并不能真正實現對BK的準確估計(在本論文中，將尺度大于BK尺度的圖像邊緣稱之為有利的圖像邊緣；反之，將尺度小于BK尺度的圖像邊緣稱之為有害的圖像邊緣)。另一方面，在圖像的復原階段，現有方法針對圖像復原所提出的代價函數在面對過大尺度的BK時并不能復原出高質量的清晰圖像[2,4?8]。

針對現有方法存在的兩方面缺陷，本文提出了一種多正則化混合約束的模糊圖像盲復原方法。為了實現更加準確的BK估計，本論文首先利用一種圖像的局部結構提取策略[12](Local Structure Extraction Scheme, LSES)將有利的圖像邊緣準確地提取出來，并將提取的有利邊緣與我們前期研究中所提出的一種結合稀疏性和平滑特性的雙重正則化約束模型相結合[6]，實現了對BK更加準確的估計。接下來，在圖像的復原階段，本論文提出了一種結合TV模型和Shock濾波器不變特性[13]的多正則化約束模型，克服了現有方法中存在的不能復原出高質量清晰圖像的問題。大量的實驗結果證明，與近幾年的一些較為成功的圖像盲復原方法相比，不僅主觀的視覺效果得到了明顯的改進，而且客觀的評價指標也得到了明顯的增加。

2 提出的盲復原方法

其中，f為觀察到的大小為M×N的模糊噪聲圖像，k為未知的模糊核(BK), u為原始的大小為M×N的清晰圖像，n為零均值的加性高斯噪聲，?表示卷積運算。本文提出的模糊圖像盲復原方法采用了圖像盲復原領域通用的一種從粗到精的多層圖像金字塔策略。由粗到精的多層圖像金字塔策略能夠有效地避免局部最優化解的產生，保證得到的解趨近于全局最優化，尤其是在模糊程度較為嚴重的大尺度BK的情況下，該策略的優勢就尤為明顯[1?3]。該策略的主要思想是：首先，利用雙線性下采樣對模糊噪聲圖像f建立多層圖像金字塔，下采樣因子為2；然后在圖像金字塔的每個分辨率層都循環地執行以下3個步驟(每層的循環次數均為7次)：(1)有利的圖像邊緣的提取和銳化(Favorable Image Edges Extraction and Sharpening, FIEES)；(2)BK的估計(Blur Kernel Estimation, BKE)；(3)原始清晰圖像的復原(Image Restoration, IR)。接下來本文將分別對FIEES, BKE和IR進行詳細的介紹。

2.1 有利邊緣的提取和銳化

圖像的模糊退化模型可由式(1)表示：

為了能夠真正準確地提取出有利的圖像邊緣，在步驟FIEES中，本文首先利用LSES逐局部地對圖像進行有利邊緣的提取操作。LSES是一種圖像編輯方法，它首先定義一個窗口，然后提出了一種相對全變差的測量方法對一幅圖像進行局部窗口的操作。LSES可以將寬度大于窗口寬度的圖像邊緣準確地提取出來，是一種基于圖像邊緣的尺度而非幅值的圖像邊緣提取方法。因此我們想到：只要將圖像窗口的寬度設置為等于或略大于BK支持域的寬度，就可以利用LSES將圖像中所有的有利邊緣準確地提取出來。在本文方法中，假設BK支持域的寬度是已知的。在得到了一幅只含有有利邊緣的圖像之后，再利用復數的Shock濾波器[14](Complex Shock Filter, CSF)對提取的有利邊緣進行進一步的銳化，從而一幅銳化的有利邊緣圖像將被運用到對BK的估計中。

2.2 模糊核的估計

為了進一步促進BK的準確估計，在我們前期研究的基礎上，本論文對BK進行了稀疏平滑的雙重正則化約束[6]。本文提出的針對BK估計的雙重正則化約束的代價函數為

2.3 清晰圖像的復原糊的復原圖像，最極端的情況則是u=f，即得到的復原圖像完全沒有任何的去模糊效果。為了有效地克服這一問題，本文利用Shock濾波器的不變特性[13]，提出了一種針對復原圖像的新的正則化約束項：

正如引言中所討論的，如果只利用全變差模型來對復原圖像進行正則化約束，則會傾向于得到模

其中，μ為正則化參數，u*表示真實的原始清晰圖像，SF(u*)表示對u*進行Shock濾波處理。由Shock濾波器的不變特性可知，如果u接近u*，那么u中就會包含正確的，銳化的圖像邊緣，那么就會很小[13]；相反，模糊的，有瑕疵的u就會產生出錯誤的圖像邊緣，從而導致較大。因此，最小化會得到正確的清晰銳化圖像。由此可見，本文提出的正則化約束項式(3)能夠很好地補償全變差模型中出現的模糊效應，有效地克服了現有方法中存在的不能復原出高質量清晰圖像的問題。結合式(3)和全變差模型，本文提出的針對圖像復原的多正則化約束的代價函數為

因為真實的原始清晰圖像u*無法得到，因此本文采用在第m?1次迭代中所得到的um?1來近似u*。

3 本文方法的求解

3.1 半二次性的變量分裂策略

本節將利用一種半二次性的變量分裂策略[2]對提出的模型進行最優化求解。引入兩個約束項：b1=k和b2=?u，那么本文提出的模型式(2)和模型式(4)將分別轉化成兩個非約束的最優化問題：

接下來，將采用一種交互式的迭代方法來對式(5)和式(6)進行求解：

(1)固定u和b1，求解k： 首先將式(5)表示為矩陣與向量相乘的形式：

然后利用矩陣和向量的求導運算，在式(7)中求關于模糊核k的導數，并令該導數為0，可得

其中，F(·)和F?1(·)分別表示快速傅里葉變換和逆變換，F*(·)表F(·)的復共軛，°表示逐元素相乘。

(2)固定k和b2，求解u：類似于k的求解，同樣利用快速傅里葉變換，可以得到

對于變量b1和b2的更新問題，本文采用了一種廣義的收縮方法來對變量b1和b2進行更新：

3.2 時間復雜度分析

本文方法采用了一種從粗到精的多層圖像金字塔策略，假設在第l層圖像的大小為Ml×Nl，那么本文方法的時間復雜度為

其中，nk為估計BK時所需的循環次數，nu為圖像復原時所需的循環次數，L為圖像金字塔的層數。

4 實驗結果及分析

為了驗證本文方法的有效性，在實驗結果及分析部分，本文分別在人造的模糊圖像和真實的模糊圖像上進行了大量的實驗。所有的方法均是在Windows7的操作系統上運行的，仿真軟件為Matlab7.0版本。

4.1 人造模糊圖像的實驗

在人造模糊圖像的實驗中，本文采用了6種不同的模糊核(圖1)和3幅255×255大小的灰度級標準測試庫圖像(圖2)，一共可產生18幅人造的模糊圖像來模擬實際應用中存在的真實模糊情況。

在人造模糊圖像的實驗中，本文方法將分別與文獻[4]和文獻[8]中的方法進行比較。本文對所有的18幅人造模糊圖像均進行了比較實驗，但是因為篇幅的原因，本節只給出了測試圖像Face和其中一種模糊核的人造模糊圖像的主觀比較實驗結果，見圖3。如圖3所示，文獻[4]中的方法所估計的BK會產生出類似拖尾的瑕疵，同時該方法所得到的復原圖像也并沒有達到較好的去模糊效果(圖3(b))。與文獻[4]相比，雖然文獻[8]中的方法能夠得到更好的結果，但是它們所估計的BK仍然具有較多的瑕疵，因此仍然不能得到具有較高質量的復原圖像(圖3(c)：具有一定程度的振鈴瑕疵并且像素值明顯偏暗)。相比之下，本文方法所估計的BK(圖3(d)的右下角)最接近真實的BK(圖3(a)的右下角)，并且能夠得到最高質量的復原圖像(圖3(d))。圖4證明了在人造的模糊圖像中，本文方法能夠得到最好的主觀視覺效果。

表1從客觀的評價指標方面對3種方法進行了比較。表1所示為3種方法在所有人造模糊圖像的實驗中所需的平均運行時間和逆卷積錯誤比率值[8](Ratio Between Deconvolution Error, RBDE)。文獻[8]已經證明只有當RBDE＜2時，得到的復原圖像的質量才可以接受[8]。表1列出了3種方法在所有的18幅人造模糊圖像的盲復原實驗中，滿足RBDE＜2的所有復原圖像所占的百分比和3種方法各自的平均運行時間。如表1所示，本文方法明顯優于其余的兩種盲復原方法，在RBDE＜2的情況下達到了最高的98.87%。在運行時間方面，本文方法所需的運行時間遠小于文獻[4]中的方法，而僅略大于文獻[8]中的方法。因此相對于文獻[8]而言，本文方法只花費了較少的時間代價，卻換來了較大的性能的提升；而相比于文獻[4]，本文方法則遠遠優于文獻[4]中的方法。

4.2 真實模糊圖像的實驗

圖1 模糊核BKs

圖2 3幅灰度級標準測試圖像

圖3 3種方法在人造模糊圖像中的比較試驗

表1 3種方法在18幅人造模糊圖像的實驗中所需的平均運行時間(s)和RBDE＜2的復原圖像的統計百分比

圖4 真實模糊圖像“Tree”的盲復原結果

為了進一步驗證本文方法的性能，在本節中，本文方法將被運用到真實模糊圖像的盲復原中，并與文獻[4]和文獻[8]中的方法進行比較。

圖4(a)為一幅大小為454×588的真實模糊圖像(“Tree”)，估計的BK的支持域被設定為35×35個像素。如圖4所示，在BK的估計方面，文獻[4]和文獻[8]所估計的BK均含有或多或少的瑕疵。而在模糊圖像的復原方面，文獻[4]和文獻[8]會產生過度平滑的復原圖像(圖4(b)和圖4(c))。相比之下，本文方法不僅能夠估計出最準確的BK，而且還能在有效抑制其它方法瑕疵的同時復原出更多的圖像邊緣細節，得到高質量的清晰復原圖像(圖4(d))。

圖5所示為大尺度BK的真實模糊圖像示例。在圖5中，真實模糊圖像的大小為685×561 (“Toy”)，對應的估計BK的支持域被設定為95×95個像素。針對大尺度BK的真實模糊圖像而言，文獻[4]不能估計出正確的BK，從而導致該方法得到的復原圖像總是會出現嚴重的瑕疵(圖5(b))。文獻[8]似乎能夠估計出較為合理的BK，但是在復原圖像方面，該方法仍然會引入過多的振鈴瑕疵(圖5(c))。相比之下，本文方法不僅能夠合理的估計出準確地BK，而且還能在有效抑制其它方法中存在的各種瑕疵的同時得到更加清晰的高質量復原圖像(圖5(d))。圖4和圖5證明了針對真實的模糊圖像，本文方法也能得到最好的主觀視覺效果。

5 結束語

本文針對現有方法存在的缺陷，提出了一種多正則化混合約束的模糊圖像盲復原方法。首先，在模糊核的估計階段，利用LSES和CSF實現了對有利圖像邊緣的準確提取和銳化，并與前期研究中所提出的一種稀疏平滑的雙重正則化約束模型相結合，實現了對BK的準確估計。然后，在模糊圖像的復原階段，利用Shock濾波器的不變特性，提出了一種結合全變差模型和Shock濾波器不變特性的多正則化約束模型來強制得到的解趨向于清晰的銳化圖像。

分別在人造的模糊圖像和真實的模糊圖像上進行了大量的實驗，實驗結果證明了本文方法的可行性和有效性，且與近幾年的一些較為成功的模糊圖像盲復原方法相比，主觀的視覺效果和客觀的評價指標均得到了明顯的提升。將本文方法運用到對模糊視頻序列的清晰化復原和對空間變化的模糊核的準確估計是接下來研究工作的重點。

圖5 真實模糊圖像“Toy”的盲復原結果

[1] Fergus R, Singh B, Hertzmann A, et al.. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(3): 787-794.

[2] Shan Q, Jia J, and Agarwala A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3): 73:1-73:10.

[3] Cho S and Lee S. Fast motion deblurring[J]. ACM Transactions on Graphics, 2009, 28(5): 145:1-145:8.

[4] Krishnan D, Tay T, and Fergus R. Blind Deconvolution using a normalized sparsity measure[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, 2011: 233-240.

[5] Li W H, Li Q L, Gong W G, et al.. Total variation blind deconvolution employing split Bregman iteration[J]. ELSEVIER Journal of Visual Communication and Image Representation, 2012, 23(3): 409-417.

[6] 唐述, 龔衛國, 仲建華. 稀疏平滑特性的多正則化約束圖像盲復原方法[J]. 軟件學報, 2013, 24(5): 1143-1154. Tang Shu, Gong Wei-guo, and Zhong Jian-hua. Sparsity and smoothing multi-regularization constraints for blind image deblurring[J]. Journal of Software, 2013, 24(5): 1143-1154.

[7] Xu L and Jia J. Two-phase kernel estimation for robust motion deblurring[C]. The 11th European Conference on Computer Vision (ECCV), Crete, 2010(6311): 157-170.

[8] Xu L, Zheng S C, and Jia J. Unnatural L0 sparse representation for natural image deblurring[C]. IEEE Conference on Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Portland, 2013: 1107-1114.

[9] Patil P and Wagh R B. Implementation of restoration of blurred image using blind deconvolution algorithm[C]. Tenth International Conference on Wireless and Optical Communications Networks (WOCN), Bhopal, 2013: 1-5.

[10] Ohkoshi K, Sawada M, Goto T, et al.. Blind image restoration based on total variation regularization and shock filter for blurred image[C]. IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, 2014: 217-218.

[11] Oliveira J P, Figueiredo M A T, and Bioucas D J M. Parametric blur estimation for blind restoration of natural image: linear motion and out-of-focus[J]. IEEE Transactions on Image Processing, 2014, 23(1): 466-477.

[12] Xu L, Yan Q, Xia Y, et al.. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics, 2012, 31(6): 139:1-139:10.

[13] Xu L and Jia J. Depth-aware motion deblurring[C]. IEEE International Conference on Computational Photography (ICCP), Seattle, 2012: 1-8.

[14] Gilboa G, Sochen N A, and Zeevi Y Y. Regularized shock filters and complex diffusion[C]. 7th European Conference on Computer Vision (ECCV), Copenhagen, 2002(2350): 399-413.

唐 述： 男，1981年生，博士，講師，研究方向為信息獲取與處理、圖像處理等.

謝顯中： 男，1966年生，博士，教授，研究方向為無線通信技術、通信應用軟件等.

Multi-regularization Hybrid Constraints Method for Blind Image Restoration

Tang Shu Xie Xian-zhong
(Chongqing Key Laboratory of Computer Network and Communications Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

Image restoration is a long-standing and challenging inverse issue. In order to recover an image from its blurry version blindly, a multi-regularization hybrid constraints method is proposed. First, the large scale edges are extracted from the image with a Local Structure Extraction Scheme (LSES). Then, in the Blur Kernel (BK) estimation step, the extracted large scale edges are used for BK estimation, and a sparsity and smoothness dual-regularization constraints model proposed in the previous study, is also employed for estimating BK more accurately. In the image restoration step, a multi-regularization constraints model, which combines the Total Variation (TV) model and Shock filtering invariance, is proposed for obtaining high-quality restoration image. Finally, in order to exactly estimate the BK and simultaneously obtain high-quality restoration image, the proposed models are addressed with a half-quadratic variables splitting scheme. A large number of experiments are performed on both synthetic blurred images and real-life blurred images. The experimental results demonstrate the effectiveness of the proposed method, while in comparison with several recent representative image blind restoration methods, not only the subjective vision, but also the objective numerical measurement has obvious improvement.

Blind image restoration; Multi-regularization hybrid constraints; Local Structure Extraction Scheme (LSES); Total Variation (TV) model; Shock filtering invariance

TN911.73

： A

：1009-5896(2015)04-0770-07

10.11999/JEIT140949

2014-07-07收到，2014-12-09改回

國家自然科學基金(61271259, 61301123)，重慶市自然科學基金(CTSC2011jjA40006)，重慶市教委科學技術研究項目(KJ120501, KJ120502, KJ110530)，重慶郵電大學青年科學研究項目和重慶郵電大學科研基金項目(A2014-10)資助課題

*通信作者：唐述 tangshujay@163.com