一種新的圖像去模糊清晰化方法

王文豪，嚴云洋，姜明新，于永濤，趙文東

?

一種新的圖像去模糊清晰化方法

王文豪，嚴云洋，姜明新，于永濤，趙文東

(淮陰工學院計算機與軟件工程學院，江蘇 淮安 223003)

針對在實際環境中很難得到圖像去模糊所需要的大量先驗知識，諸如退化模式、點擴散函數等，提出了一種新的圖像去模糊清晰化方法。首先利用高斯差分算子獲得圖像輪廓信息，然后根據輪廓信息預測清晰圖像過渡區，再利用清晰圖像過渡區、退化圖像和點擴散函數之間的關系建立目標函數，為了克服噪聲的影響，在目標函數中加入了非負性懲罰項和空間相關性約束項，并使用滯后迭代的極小化方法來求解點擴散函數；最后通過已有的非盲目圖像復原算法復原圖像。實驗結果表明，該方法無需知道圖像退化模式，對各種因素引起的退化圖像都能有效地復原。

圖像去模糊；清晰化；過渡區；點擴散函數

圖像在獲取、傳輸和保存過程中，由于目標運動、大氣擾動、對焦不準、散射等各種因素的影響，會導致圖像退化，出現模糊、細節丟失的情況，使得目標無法識別[1-2]。圖像復原技術是解決此類問題非常有效的手段。圖像復原技術按照是否需要點擴散函數可分為非盲目圖像復原和盲目圖像復原，非盲目圖像復原需要在點擴散函數已知的情況下對圖像復原，而盲目圖像復原是在點擴散函數未知的情況下直接對圖像復原。

在非盲目圖像復原方法中主要有維納濾波算法[3-4]、最大熵復原算法[5]和Richardson- Lucy(R-L)復原方法[6]，其中R-L方法應用較廣泛，其是一種基于泊松分布的最大似然圖像復原算法，通過迭代求解原始清晰圖像，但該方法對噪聲具有放大的缺陷。針對此問題，很多學者對R-L算法進行了改進，李勇等[7]提出了阻尼R-L算法，通過修正似然函數，以減少噪聲的影響。YUAN等[8]提出一種基于雙邊R-L的多尺度細化方法。這些方法在實際應用中雖然取得一定的效果，但需要事先知道點擴散函數，由于引起圖像退化因素很多，且在實際環境中點擴散函數往往是未知的，因而這類方法的使用受到很大限制。于是人們開始轉向盲目圖像復原[9]。AYERS和DAINTY[10]提出迭代盲目去卷積方法(iterative blind deconvolution, IBD)，該方法利用點擴散函數的非負性和真實圖像估計的約束，使用快速傅立葉變換，在時域和頻域上交替迭代來還原圖像，該方法運算時間復雜度較高，對初始值較敏感，不夠穩定。TV復原算法引入了正則化思想，通過抑制圖像的梯度變化的總和來復原圖像[11-12]。該方法能在一定程度上保護圖像細節，主要適用于分片光滑的圖像，對于不滿足此要求的圖像，復原結果不夠好。NAS-RIF復原算法[13]將估計圖像投影到支撐域，通過計算投影圖像和估計圖像之間的誤差大小來評判點擴散函數，該方法對散焦模糊的退化圖像復原較好，對運動模糊及其他復雜退化圖像復原不夠好。FERGUS等[14]復原算法利用圖像梯度的“拖尾分布”作為先驗知識，并通過混合高斯模型擬合此分布，該方法對相機抖動這類運動模糊圖像可以取得較好的效果，對其他類型的退化圖像復原結果較差。上述各種盲目復原方法僅對特定圖像退化模式有效，對不同退化模式的圖像需使用不同的復原方法。在實際應用中圖像退化通常是由多種因素綜合造成的，含有多種退化模式，各種退化模式對目標圖像的退化影響程度也是各不相同的，如果只考慮單一因素，忽略其他因素的影響，勢必會影響圖像的復原結果。

基于以上分析，本文提出了一種新的圖像去模糊清晰化方法，該方法利用模糊圖像的輪廓來預測清晰圖像過渡區，再根據清晰圖像過渡區、退化圖像和點擴散函數之間的關系建立目標函數，在目標函數中加入了非負性約束項和空間相關性約束項以抑制噪聲的影響，最后通過已有的非盲目圖像復原算法來復原圖像。該方法優點是不需要知道圖像退化模式，對任何因素造成的模糊圖像都可以復原。

1 圖像退化數學模型

圖像退化原因多種多樣，主要包括空間退化和點退化兩種類型。空間退化主要是由于電子元件的失常、圖像傳感器與目標之間的相對運動、對焦不準、大氣湍流等原因造成的。點退化通常指噪聲，產生于電子元件和圖像數字化過程中。圖像的退化過程如圖1所示。其中，(,)為未退化的清晰圖像；(,)為模糊核(即點擴散函數)；(,)為各種類型噪聲(主要包括高斯噪聲和椒鹽噪聲)；(,)為退化圖像。

圖1 圖像退化模型

用數學式描述為

2 圖像去模糊清晰化算法

退化圖像可以分成背景區、目標區和兩者之間的過渡區(輪廓周圍區域)，背景區和目標區比較平坦，包含的退化信息比較少，圖像退化信息主要隱藏在過渡區中。不同的退化模式，過渡區的變化是不一樣的，同一退化模式，退化越嚴重，過渡區變化也越大，清晰圖像被模糊后，其過渡區域的位置沒有發生改變[15]。因此，可以利用過渡區主要信息空間分布的變化來復原圖像。基于此本文提出了一種圖像去模糊清晰化的方法，具體流程如圖2所示。首先利用高斯差分算子獲得模糊圖像輪廓信息，然后利用模糊圖像輪廓信息預測清晰圖像過渡區，再利用清晰圖像過渡區、退化圖像和點擴散函數之間的關系建立目標函數，并求解點擴散函數，最后通過非盲目圖像復原算法來復原圖像。

圖2 圖像去模糊清晰化流程

2.1 模糊圖像輪廓檢測

圖像中輪廓屬于高頻區域，本文利用高斯差分算子(difference of Gaussian, DoG)檢測模糊圖像輪廓，其數學式為

其中，和是高斯濾波器方差。DoG算子與圖像做卷積運算，結果會得到一條波峰到波谷的曲線，如圖3所示，過零點處為圖像的輪廓位置，利用這一特性來提取模糊圖像輪廓。為了保證過渡區信息的有效性，本文不提取所有的過渡區，只提取明顯的主要過渡區，因此，需要有一個指標來度量過渡區。為此本文提出輪廓測度的概念，利用輪廓測度來選擇主要的過渡區。本文將輪廓測度定義為圖3中從波峰到波谷的距離p，因此可以利用p值控制輪廓強度，提取出所需的主要輪廓。

2.2 清晰圖像過渡區預測

圖像被模糊后，圖像輪廓的位置并沒有改變，改變的只是輪廓區域像素灰度值的空間分布。因此可以通過定位模糊圖像輪廓位置來預測清晰圖像過渡區。具體方法如下：

(1) 沿著輪廓，在輪廓垂直方向上尋找像素灰度值的上限值和下限值，將所有搜索過的區域作為模糊圖像過渡區。因為只有輪廓附近的值是可靠的，所以只使用輪廓兩側附近區域(即過渡區)作為有效區域，如圖4所示。

圖4 過渡區預測

(2) 搜索到模糊圖像過渡區域后，向此區域填充特定的值以達到預測清晰圖像過渡區的目的。具體方法如下：

①對處于輪廓上的像素用最大值和最小值的平均加權來填充，加權值依據像素所在位置到中心像素的距離來確定。

②對最大值區域用對應的最大值填充，最小值區域用對應的最小值填充。

③若出現填充不完全的現象，進行插值以保證輪廓線兩側區域填充完全。

2.3 點擴散函數——求解模型

由式(1)可知，在預測到清晰圖像過渡區后，根據退化圖像可以求解出點擴散函數，一旦得到點擴散函數，就可用現有的非盲目復原方法來復原圖像。因此如何從三者關系模型中求解出較準確的點擴散函數是關鍵。

無噪聲時，預測的清晰圖像過渡區、原退化圖像、點擴散函數三者的關系可以表示為

其離散形式如下

在實際環境中，噪聲的影響是不可避免的，其對實際圖像的估計會造成很大的影響，為了削弱噪聲的影響，提高復原算法的穩定性，可加入非負性約束條件；同時為了保證點擴散函數相鄰點之間的光滑性，加入空間相關性約束，其目標函數如下

采用基于松弛滯后迭代極小化方法來求解式(6)，即

根據式(12)可得到的迭代求解關系為

2.4 復原圖像

為了避免出現各向同性正則化得到過光滑的圖像邊緣現象，使用各向異性正則化方法，對大梯度使用小平滑系數，而對小梯度使用大的平滑系數。其代價函數如式(16)

將其加入對數似然函數式(15)中，即可得到帶有保邊緣正則化項的似然函數，即

3 實驗與分析

為了驗證本文提出的圖像去模糊高清晰化算法的有效性，在Intel M460 I5雙核處理器、主頻為2.53 GHz，內存為4 GB的硬件環境進行測試，編程軟件為VC++6.0。

圖5 同退化模式的仿真圖像

圖6 實際點擴散函數(PSF)

圖7 本文方法求解得到的點擴散函數(PSF)

實驗2.仿真圖像復原實驗及分析。圖8~10分別是運動模糊仿真圖像的復原、散焦模糊仿真圖像的復原和氣動模糊仿真圖像的復原。從圖8~10可發現NAS-RIF復原方法對散焦模糊退化圖像復原有效果，對運動模糊和氣動模糊退化圖像恢復效果較差，沒有復原出真實的圖像；TV復原方法雖然有復原效果，但不夠清晰；本文復原方法不論對那種模糊退化圖像都能夠較好地復原，且復原出的圖像輪廓比較清晰。這主要原因是本文的點擴散函數求解是通過主要輪廓的邊緣區域信息獲得的，避免了圖像平坦區冗余的信息對點擴散函數的求解帶來不利的影響。同時在目標函數中融入了非負性約束和空間相關性約束，并在迭代過程中采用各項異性正則化方法保留圖像的邊緣，對大梯度使用小平滑系數，對小梯度使用大的平滑系數，使得恢復出來的圖像較清晰。

圖8 運動模糊仿真圖像的復原比較

圖9 散焦模糊仿真圖像的復原比較

圖10 氣動模糊仿真圖像的復原比較

表1列出了本文算法和TV算法對圖8~10中的模糊圖像估算的點擴散函數歸一化均方誤差，從表中可發現本文算法估算的點擴散函數歸一化均方誤差較小。表2列出了3種算法分別對圖8~10中模糊圖像復原的PSNR值，通過比較可以發現本文的PSNR值最大，進一步說明了本文算法優越性。

實驗3.實際圖像復原實驗及分析。為了驗證本文算法對實際圖像復原效果，本文進行了大量的測試，圖11是其中的幾幅圖像，其中圖11(a)從上到下依次是運動模糊，大氣湍流和退化原因未知的模糊圖像。從復原結果可以看出，圖片上的字符，道路兩旁的交通護欄、路燈、樹木，鋼板圓孔等都變得較清晰，從而證明了本文提出的復原算法具有一定的通用性，可以獲得比較好的復原效果。

表1 PSF估算的歸一化均方誤差

表2 不同復原結果的PSNR比較(dB)

圖11 實際圖像復原

4 結束語

針對目前的圖像復原技術受到各種條件的限制，需要知道大量的先驗知識，比如點擴散函數、退化模式、點擴散函數支持域大小等。本文在目前國內外圖像復原技術的研究基礎上，提出了一種在無需知道退化模式的情況下的實際圖像去模糊清晰化方法。利用圖像過渡區包含較多退化信息，建立關于點擴散函數的方程，同時，加入了非負懲罰項和空間相關性約束項以降低噪聲的影響，并給出點擴散函數的迭代求解方程。最后對各種退化模式的圖像進行了復原實驗，并與現有的復原算法進行了比較。實驗結果表明本文復原算法具有通用型，恢復效果較好。但是本文算法仍有很多之處值得研究和改進，即如何獲得更加準確的模糊圖像輪廓，在預測清晰圖像過渡區時，如何更為有效的對細節進行控制，排除噪聲的干擾等。

[1] 李旭超, 宋博. 改進的正則化模型在圖像恢復中的應用[J]. 中國圖象圖形學報, 2014, 19(12): 1730-1742.

[2] 黃超, 劉傳毅, 劉偉. 基于PSF參數估計與后處理的圖像去模糊算法[J]. 計算機工程與設計, 2016, 37(9): 2485-2489.

[3] 楊東. 模糊降質圖像恢復技術研究進展[J]. 計算機應用研究, 2016, 33(10): 2881-2888.

[4] SHI J P, XU L, JIA J Y. Discriminative blur detection features [C]//Proceedings of the Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 2965-2972.

[5] 陳春濤, 黃步根, 高萬榮, 等. 最大熵圖像復原及其新進展[J]. 光學技術, 2004, 30(1): 36-43.

[6] RICHARDSON W H. Bayesian-based iterative method of image restoration [J]. Journal of the Optical Society of America, 1972, 62(1): 55-59.

[7] 李勇, 范承玉, 時東封, 等. 基于加速正則化RL算法的大氣湍流退化圖像盲復原方法[J]. 大氣與環境光學學報, 2011, 6(5): 342-350.

[8] YUAN L, SUN J, LONG Q, et al. Image deblurring with blurred/noisy image pairs [J]. ACM Transactions on Graphics, 2007, 26(3): 1-10.

[9] 吳曉旭, 劉秀平, 劉宇, 等. 局部加權全變差下的盲去模糊[J]. 計算機輔助設計與圖形學學報, 2014, 26(12): 2173-2181.

[10] AYERS G R, DAINTY J C. Iterative blind deconvolution method and its applications [J]. Optics Letters, 1988, 13(7): 547-549.

[11] HE C, HU C H, ZHANG W, et al. Box-constrained total-variation image restoration with automatic parameter estimation [J]. Acta Automatica Sinica, 2014, 40(8): 1804-1811.

[12] 任福全, 邱天爽. 基于二階廣義全變差正則項的模糊圖像恢復算法[J]. 自動化學報, 2015, 41(6): 1166-1172.

[13] KUNDUR D, HATZINAKOS D. A novel blind deconvolution scheme for image restoration using recursive filtering [J]. IEEE Transactions on Image Process, 1998, 46(2): 375-390.

[14] FERGUS R, SINGH B, HERTZMANN A, et al. Removing camera shake from a single photograph [J]. ACM Transactions on Graphics, 2006, 25(25): 787-794.

[15] HONG H Y, LI L C, ZHANG T X, et al. Universal deblurring method for real images using transition region [J]. Optical Engineering, 2012, 51(4): 1-9.

A New Method for Image Deblurring and Clearness

WANG Wenhao, YAN Yunyang, JIANG Mingxin, YU Yongtao, ZHAO Wendong

(Faculty of Computer & Software Engineering, Huaiyin Institute of Technology, Huaian Jiangsu 223003, China)

Due to the various limitations in real restoration process, it is difficult to get the image blur mode or point spread function (PSF). A new method for image deblurring is proposed in this paper. At first, the proposed deblurring method uses the different of Gaussian operator (DoG) to detect the counters of blur image. Then the information of transition region of original image can be predicted according to the contours of blur image. Then the objective function is established according to the original image, transition region, and point spread function. In order to overcome the influence of noise, the nonnegative penalty term and space correlation penalty term with anisotropic features are added in objective function, and the PSF is solved using the minimization method of hysteresis iteration. Finally, the clear image can be gained by the existing the non-blind image restoration methods. Experimental results show that the proposed method can effectively restore the blur images caused by various factors. It does not need to know the image blur model.

image deblurring; clearness; transition region; point spread function

TP 391

10.11996/JG.j.2095-302X.2018020193

A

2095-302X(2018)02-0193-08

2017-06-20；

2017-07-18

國家自然科學基金項目(61403060，61603146)；江蘇省六大人才高峰項目(XYDXXJS-012)

王文豪(1973-)，男，江蘇淮安人，副教授，碩士。主要研究方向為圖形圖像處理、模式識別。E-mail：wangwenhao1407@163.com