聯合梯度預測與導引濾波的圖像運動模糊復原

朱 明，楊 航，賀柏根，魯劍鋒

（中國科學院長春光學精密機械與物理研究所，吉林長春130033）

聯合梯度預測與導引濾波的圖像運動模糊復原

朱 明，楊 航*，賀柏根，魯劍鋒

（中國科學院長春光學精密機械與物理研究所，吉林長春130033）

針對由相機與所攝景物之間發生相對位置移動所導致的圖像運動模糊，提出了一種魯棒的基于單幅運動模糊圖像的盲反卷積算法。該方法首先通過預測圖像中的較強邊緣信息，實現用簡單、易于求解的優化問題在傅里葉域中快速、準確地估計出點擴散函數。然后利用得到的點擴散函數，使用基于梯度約束的非盲反卷積算法復原清晰圖像，同時采用一種新的邊緣保持濾波器—導引濾波來消除噪聲并抑制振鈴效應。實驗結果表明：本文的算法能夠快速地從單幅運動模糊圖像復原出具有清晰邊緣和紋理的高質量圖像，并且運算時間不超過20 s。

梯度預測；運動模糊圖像；圖像復原；導引濾波

1 引 言

圖像運動模糊復原是圖像處理領域的重要組成部分和基本任務之一。近年來，隨著數碼相機，拍照手機等電子數碼產品的普及，以及計算機處理能力的提升，數字信號/圖像處理在天文、醫療、軍事以及日常生活中有著越來越重要的應用，其中圖像復原方法已成為圖像處理領域中的研究熱點之一。

在圖像拍攝過程中，如果相機與所拍攝景物之間發生了相對位置移動，例如：拍攝者在拍攝時相對于景物運動，拍攝者在拍攝較長曝光時間的照片時以及拍攝的景物正在高速運動時，手持相機未使用三角架等原因，使得所拍攝的照片產生運動模糊，以上這些情況在人們日常使用小型高分辨率相機時是很常見的。如何從模糊圖像中復原清晰圖像在理論和實際中都有著十分重要的價值。

一般情況下，學者們認為單幅運動模糊圖像具有統一的點擴散函數（PSF），此時圖像運動模糊的模型可以描述成真實清晰圖像與點擴散函數的卷積再加上干擾噪聲。在大多數情況下，只有模糊圖像是已知的，而點擴散函數和清晰圖像都是未知的，因此圖像運動復原問題就成為一個盲反卷積問題。

在研究圖像運動復原的早期，因為不能夠對PSF和圖像進行較好的建模，所以大部分算法只能處理極為特殊的運動模糊圖像。例如，假定運動為勻速直線運動或變速直線運動［1］，或假定真實圖像在傅里葉域內的能量譜滿足某種約束，而這些假設與實際中復雜的PSF相差甚遠，因此不能夠很好地恢復出圖像空間域上的特征以及精確的PSF。Kundur在1996年對早期的圖像運動模糊復原有較完整的介紹［2］。

2006年，麻省理工學院的Fergus等人首次利用圖像的統計信息等先驗知識較好地從較嚴重的單幅運動模糊圖像中復原出清晰圖像［3］，在一般條件下對PSF進行估計，取得了較好的實驗結果，開創了圖像運動模糊復原研究新的里程碑。Shan等人［4］建立了和Fergus類似的模型，對圖像及其一階、二階導數進行約束，并利用快速Fourier變換在頻域內進行優化，但由于其采用內點法優化點擴散函數，導致計算量很大。2011年，Levin等人對單幅圖像運動模糊復原算法進行了總結［5］，不僅從實驗上，更是從理論上指出傳統最大后驗概率方法的缺陷，即僅僅利用統一模型嘗試恢復清晰圖像和點擴散函數的方法是不可靠的，而是要利用圖像維度比PSF維度大得多的這種基本性質，盡可能地從圖像中提取有用信息估計出PSF，而后再利用非盲反卷積算法估計清晰圖像。其他的圖像運動模糊復原算法［6-12］還有很多。

本文提出了一種魯棒的聯合梯度預測與導引濾波的單幅運動模糊圖像復原算法。該方法首先預測模糊圖像對應清晰圖像的強邊緣，該預測可在頻域中快速準確地計算出PSF，之后通過簡單的基于全變差的優化問題估計清晰圖像，并使用一種高效的邊緣保持濾波器—導引濾波［10］抑制振鈴效應以及圖像的噪聲。實驗結果表明，本文提出的方法可以魯棒地從單幅運動模糊圖像中恢復出具有清晰邊緣和紋理、極少噪聲和振鈴的高質量清晰圖像。

2 利用梯度預測的迭代盲復原方法

運動模糊圖像的形成可以用如下數學公式描述：

式中：B表示模糊圖像，h為PSF，L為真實目標圖像，n為干擾噪聲，*為卷積運算符。

在PSF未知的情況下，圖像運動模糊復原是一個盲反卷積問題。問題的關鍵是如何快速、準確地估計出PSF，之后進行非盲反卷積，同時有效地保持圖像的邊緣特征并抑制圖像中殘留的噪聲。Levin等人提出要利用圖像具有的更多已知的重要條件求取PST，因此我們采用圖像中的強邊緣信息來計算PSF。

本文通過迭代法估計PSF和目標圖像的方法來進行圖像運動模糊復原，每一次的迭代過程分為以下3個步驟（見圖1）。

圖1 圖像運動模糊復原流程圖Fig.1 Overview ofmotion blurring restoration process

（1）計算圖像中的強邊緣，利用這些強邊緣和模糊圖像中的邊緣，計算出點擴散函數的整體輪廓。

（2）利用得到的點擴散函數，采用非盲反卷積的方法估計目標圖像。

（3）使用導引濾波去除迭代復原圖像中的噪聲和振鈴效應。

2.1 基于強邊緣預測的PSF估計方法

在圖像盲反卷積的過程中，估計PSF是核心工作，因為PSF的估計準確與否直接影響到恢復圖像的清晰程度、噪聲干擾，以及振鈴失真等現象。本文主要依靠圖像中的強邊緣信息來估計PSF，因為圖像中平滑區域無論模糊與否，都對圖像質量影響不大，但是圖像中的強邊緣經過模糊后則有了較大的改變，所以研究如何將模糊圖像的強邊緣用于運動模糊復原中具有重要的意義。

首先計算目標圖像的梯度（Px，Py），保留其中的顯著邊緣，而其他值設為0。即

式中，Lx，Ly表示當前估計圖像的x方向和y方向偏導數，T為一個閾值。

在得到強邊緣信息（Px，Py）后，采用如下方法估計PSF：

式中，（Bx，By）表示圖像B的梯度。用到PSF的兩個先驗知識，即h的每一個元素均不小于零（hi，j≥0），且h中所有元素的和為1）。對于上述極值問題，可以采用最速下降方法來求解。對于式（3）中的卷積運算，可以利用卷積定理使用快速傅里葉變換及其逆變換在頻域上快速計算。與其他的解法相比，這種方法不僅速度快而且占用內存要少得多，這樣就可以處理更大的圖像。

2.2 反卷積

在反卷積步驟中，使用得到的PSF h的估計和模糊圖像B，計算目標清晰圖像L。最小化能量泛函如下：

式中，正則項‖ΔL‖保證L具有光滑的梯度，ω和β是權重。這個最小化問題可以在頻域中快速地求解，僅僅需要兩次快速Fourier變換。

這個優化的結果不會產生高質量的結果，因為這個方法會放大圖像中的噪聲，而且在圖像強邊緣附近會產生比較明顯的振鈴效應。但是由于估計PSF只用到圖像的強邊緣，拋棄一些小的細節，因此這個結果對PSF估計精度的影響不會很大。

2.3 導引濾波

在復原過程中，為了更加精確地估計PSF和得到高質量的復原圖像，需要去除圖像中殘留的噪聲，抑制振鈴效應，同時保持圖像的邊緣不被模糊［13-14］，本文使用導引濾波器［15］來達到這個目的。

導引濾波是一種新的可以在保持圖像邊緣不被模糊的前提下，平滑圖像的非線性濾波器，同時也可以有效地除去圖像的噪聲以及振鈴。導引濾波包括一幅導引圖像LI，濾波圖像Lp，以及一幅輸出圖像L。假設導引濾波輸出圖像L是導引圖像LI的一個局部線性模型，在一個以點s為中心的窗口ωs內，假設：

式中：as和bs是在窗口ωs內的線性系數，它們可以由下式計算得到：

式中：μs和σ2s是LI在窗口ωs內的均值和方差，ps是濾波圖像Lp在ωs內的均值。

對于那些重疊的像素（被多個窗口包含，計算多次），最終的取值為所有值的加權平均值，即：

與傳統的濾波函數相比，導引濾波具有較好的邊緣保持和細節增強的性能，對其性能的理論分析，文獻［15］有著詳細的描述。在本文提出的算法中，為了方法的簡捷，設LI=Lp。

3 圖像運動模糊復原實驗

利用本文提出的算法和Fergus［3］，Shan［4］等人的算法對運動模糊退化圖像進行了復原對比實驗，圖2為復原結果。可以看出，本文算法與其他兩個算法相比，得到了較好的恢復效果，驗證了本文算法的有效性。

圖2 圖像運動復原對比實驗結果Fig.2 Results of different restorationmethods

圖2中，Fergus的方法對一些細節造成了模糊，Shan的方法有較為明顯的震蕩波紋，而本方法得到的復原圖像，不僅能恢復出清新的邊緣和紋理細節，同時也抑制了振鈴效應。

圖3與Fergus的方法進行了對比，可以看出本文的方法復原出的效果在圖像的對比度上要好于Fergus的結果。

在點擴散函數方面，本文方法得到的PSF比Fergus和Shan的結果略顯模糊，這也是我們試圖恢復出具有清晰邊緣的圖像，同時也是恢復的結果更為清晰的一個原因。

本文算法使用的開發工具是Matlab，在計算時間方面，計算PSF的時間為5～6 s，而后的非盲反卷積的時間為7～9 s，總的計算時間不超過20 s，而Shan等人雖然使用了更高效的C語言實現算法［4］，但是其計算時間也超過了120 s。

圖3 圖像運動復原對比實驗結果Fig.3 Results of different restorationmethods

4 結 論

本文提出了一種魯棒的，聯合梯度預測和導引濾波的單幅圖像運動模糊復原方法。該方法首先預測清晰圖像的強邊緣，基于預測得到的結果，使用簡單而有效的優化方法快速準確地計算點擴散函數，之后通過基于全變差的非盲反卷積算法復原清晰圖像，并且利用導引濾波去除圖像中殘留的噪聲，抑制振鈴效應并且保持邊緣不被模糊。實驗結果表明，本文提出的方法可以快速、魯棒地從單幅運動模糊圖像恢復出具有清晰邊緣和紋理、極少噪聲和振鈴的高質量清晰圖像，總體運算時間不超過20 s。

［1］ 孫輝，李志強.基于相位相關的勻速直線運動模糊圖像位移參數估計［J］.中國光學，2012，5（2）：174-180. SUN H，LIZH Q.Estimation of displacement parameters for uniform linearmotion-blurred images based on phase-only correlation［J］.Chinese Optics，2012，5（2）：174-180.（in Chinese）

［2］ KUNDUR D，HATZINAKOSD.Blind image deconvolution［J］.IEEE Signal Processing Magazine，1996，13（3）：43-64.

［3］ FERGUSR，SINGH B，HERTZMANN A，et al..Removing camera shake from a single photograph［J］.ACM Trans.on Graphics，2006（25）：787-794.

［4］ SHAN Q，JIA J，AGARWALA A.High-qualitymotion deblurring from a single image［J］.ACM Trans.on Graphics，2008，27（3）：73-78.

［5］ LEVIN A，WEISSY，DURAND F，et al..Understanding blind deconvolution algorithms［J］.IEEE Trans.Pattern Anal. and Mach.Intell.，2011，33（12）：2354-2367.

［6］ JIA J.Single imagemotion deblurring using transparency［C］//IEEE Conf.on Computer Vision and Pattern Recognition，June 17-22，2007，Minneapolis，MN，2007.

［7］ 石明珠，許廷發，張坤.運動成像混合模糊的全變分圖像復原［J］.光學精密工程，2011，19（8）：1973-1981. SHIM ZH，XU T F，ZHANG K.Total variation image restoration for mixed blur in moving image［J］.Opt.Precision Eng.，2011，19（8），1973-1981.（in Chinese）

［8］ 馮亮，王平，許廷發，等.運動模糊退化圖像的雙字典稀疏復原［J］.光學精密工程，2011，19（8）：1982-1989. FENG L，WANG P，XU T F，et al..Dual dictionary sparse restoration of blurred images［J］.Opt.Precision Eng.，2011，19（8）：1982-1989.（in Chinese）

［9］ JOSHIN，SZELISKIR，KRIEGMAND J.Psf estimation using sharp edge prediction［C］//IEEE conf.on Computer Vision and Pattern Recognition，June 23-28，2008，Anchorage，AK，2008.

［10］ 溫博，張啟衡，張建林.應用自解卷積和增量Wiener濾波實現迭代盲圖像復原［J］.光學精密工程，2011，19（12）：3049-3055. WEN B，ZHANG Q H，ZHANG JL.Realization of iterative blind image restoration by self deconvolution and increment Wiener filter［J］.Opt.Precision Eng.，2011，19（12）：3049-3055.（in Chinese）

［11］ 郭永彩，王婀娜，高潮.空間自適應和正則化技術的盲圖像復原［J］.光學精密工程，2008，16（11）：2263-2267.GUO Y C，WANG EN，GAO CH.Blind image restoration algorithm based on space-adaptive and regularization［J］.Opt. Precision Eng.，2008，16（11）：2263-2267.（in Chinese）

［12］ 楊航.圖像反卷積算法研究［D］.長春：吉林大學，2012. YANG H.Study on image deconvolution algorithm［D］.Changchun：Jilin University，2012（in Chinese）.

［13］ YANG H，ZHANG ZH B.Fusion ofwave atom-based wiener shrinkage filter and joint non-iocalmeans filter for texturepreserving image deconvolution［J］.Opt.Eng.，2012，51（6）：67-75.

［14］ HUANG H Y，YANG H，MA S L.Gradient based image deconvolution［J］.J.Electronic Imaging，2013，22（1）：013006.

［15］ HE K，SUN J，TANG X.Guided image filter［J］.IEEE Trans.Pattern Anal.Mach.Intell.，2013，35（6）：1397-1409.

Imagemotion blurring restoration of joint gradient prediction and guided filter

ZHU Ming，YANG Hang*，HE Bai-gen，LU Jian-feng
（Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）
*Corresponding author，E-mail：yhang3109@163.com

Tomodify the imagemotion blurring induced by the relative positionmotion between a camera and a subject，a robust blind deconvolution method based on single imagemotion blurring was proposed.Firstly，the strong edges of a latent imagewas predicted.By constraining image gradient，the point spread function in frequency domain was estimated fast and robustly by thismethod.After that，the non-blind deconvolution algorithm based on the gradient constrain was used to restore the latent image.Meanwhile，a new edge preserving filter-guided filterwas used to suppress the ringing and noise.Experiments show that the proposedmethod can restore a high quality imagewith clear edges and tissues from singlemotion blurring image，and the operation time is less than 20 s.

gradient prediction；motion blurring image；image restoration；guided filter

TP391.4

A

10.3788/CO.20130606.0850

朱 明（1964—），男，江西南昌人，研究員，博士生導師，1985年于南京航空航天大學獲得學士學位，1991年于中國科學院長春光學精密機械與物理研究所獲得碩士學位，主要從事圖像處理和光電成像測量技術以及目標識別與電視跟蹤技術方面的研究。E-mail：zhu_ mingca@163.com

楊 航（1985—），男，吉林農安人，博士后，2009年、2012年于吉林大學分別獲得碩士、博士學位，主要從事圖像復原，圖像融合，模式識別等方面的研究。E-mail：yhang3109@163.com

賀柏根（1983—），男，山西平遙人，助理研究員，2007年于吉林大學獲得學士學位，2012年于中國科學院長春光學精密機械與物理研究所獲得博士學位，主要從事模式識別、景象匹配、視頻跟蹤等方面的研究。E-mail：hebaigen@sohu. com

魯劍鋒（1978—），男，吉林長春人，副研究員，2001年于吉林大學獲得學士學位，主要從事嵌入式系統的設計、圖像模式識別等方面的研究。E-mail：pc80586@sina.com

1674-2915（2013）06-0850-06

2013-09-11；

2013-10-17

國家自然科學基金資助項目（No.11071103）