基于改進復擴散耦合非局部均值濾波器的圖像放大

海　　　濤，席　志　紅

（1.哈爾濱工程大學信息與通信工程學院，黑龍江　哈爾濱 150001；2.南陽師范學院物理與電子工程學院，河南　南陽 473000；3.石油裝備智能化控制河南省工程實驗室，河南　南陽 473000）

基于改進復擴散耦合非局部均值濾波器的圖像放大

海濤1，2，3，席志紅1

（1.哈爾濱工程大學信息與通信工程學院，黑龍江哈爾濱 150001；2.南陽師范學院物理與電子工程學院，河南南陽 473000；3.石油裝備智能化控制河南省工程實驗室，河南南陽 473000）

為了提高偏微分方程放大算法對紋理細節的放大效果，利用改進的復擴散模型耦合均值濾波器，提出了一種圖像放大算法。改進的非線性復擴散模型能夠很好的定位圖像邊緣，通過沖激濾波器對邊緣進行銳化，同時耦合非局部均值濾波器，保持圖像內部的自相似特性，利用非局部信息重建高分辨率圖像，提高小邊緣、細節放大效果。算法結合非局部信息和局部信息對圖像進行放大，增強紋理細節，使圖像更加自然，同時減弱對邊緣的過度增強，具有較好的放大效果，仿真實驗驗證了算法的優良性能。

圖像放大；非線性復擴散；非局部均值濾波器；沖激濾波器

網址：www.sys-ele.com

0　引　言

隨著信息技術的發展，數字圖像得到更加廣泛的應用，圖像分辨率增強是圖像處理技術中的一個重要內容，又稱為圖像放大。圖像放大中的線性插值放大，存在圖像邊緣部分重建模糊的不足［1］；非線性圖像放大能夠很好增強邊緣部分，如基于邊緣插值［2］，基于變換域正則化方法圖像放大［3］，基于偏微分方程方法的圖像放大［4 7］。

二階偏微分方程具有較好的邊緣增強特性［4，8 9］，本質上基于像素的局部信息還原圖像，難以區分小細節，小邊緣和噪聲，因此對小細節和小邊緣處理效果不佳［10］。文獻［11］提出了運用非局部均值濾波器去除噪聲的方法，由于利用了圖像全局信息，去除噪聲效果顯著。把非局部處理方法與其他局部處理技術結合，成為圖像處理領域的熱點：非局部方法與主成分分析結合，非局部方法和自回歸模型結合等，非局部方法也被引入圖像偏微分方程處理方法中，主要有兩種，通過圖譜理論把非局部處理方法和偏微分方程結合［12 14］，其中文獻［14］采用非局部TV進行圖像放大，這種方法中所有像素采用非局部方法計算節點之間的相似度權重，計算量比較大；另一種偏微分方程直接和非局部濾波器通過正則化方法耦合，文獻［15］線性逆擴散和非局部濾波器相結合，逆擴散增強邊緣，非局部濾波器增強紋理，由于線性逆擴散對圖像的紋理和小邊緣產生較大失真，耦合效果并不好。

非局部均值濾波器雖然能夠很好處理圖像中的紋理細節和平坦部分［16］，但是對于強邊緣附近噪聲處理效果較差，文獻［17-18］提出了復擴散耦合沖激濾波器的圖像增強算法，利用復擴散能夠準確定位圖像邊緣與沖激濾波器能有效增強邊緣的優點，具有較好的處理效果。本文對復擴散耦合沖激濾波器進行改進，同時耦合非局部均值濾波器，提出一種圖像放大算法。

1　非局部均值濾波器正則化實現

式中，x∈Ω，y∈Ω；u（x+·）是以x為中心的固定大小鄰域的像素，一般鄰域選矩形；Ga是高斯核函數；h是濾波器參數；C（x）是一個歸一化常數：

非局部均值濾波器［11，16］表達式如下：

x像素點的去噪利用了圖像中與之相似像素的加權平均，相似度越大，權重越大，因此濾波器具有全局特性，對具有較多相似結構的紋理和小邊緣有較好的處理效果。

改進文獻［16］對局部鄰域模型的建模，得到式（2）實現非局部均值濾波器的正則化最小能量泛函：

式（4）對u的變分為

2　改進的復擴散耦合非局部均值濾波器放大模型

高倍數的圖像放大，圖像的先驗模型對放大效果影響較大，文獻［4-5］對于通過光電轉換設備得到的圖像進行建模，如式（1）所示，模型中光電轉換對場景的低通效應主要是由光電硬件的點擴散函數造成，用h表示，u為場景圖

式中，h，u均為連續函數不利于數字化處理。文獻［6-7］對模型式（5）進行了研究，通過高分辨率數字圖像和低分辨率圖像獲取模型的對比，提出了直接由高分辨率圖像到低分辨率圖像的模型，如式（6）所示，并給出了獲取h（i，j）的一種方法，本文設定h（i，j）已知，采用式（6）模型：

復擴散具有能夠準確定位圖像邊緣的優點，提出新的復擴散改進了原復擴散擴散初期為線性擴散和不能對不同圖像結構自適應改變擴散閾值缺點［17］。偏微分方程可以通過正則化能量泛函理論得出，易于和其他正則化函數疊加，因此可直接實現非局部均值濾波器和偏微分方程的耦合。

2.1改進復擴散模型

文獻［17］把線性復擴散和沖擊濾波器結合，得到復擴散沖擊濾波器，增強被模糊的邊緣部分，同時解決了邊緣在沖擊濾波器的作用下的錯位問題，其擴散方程如下：

像，↓M為下采樣矩陣，υ（i′，j′）為低分辨率圖像。式中，arctan（）反正切函數；Im（）取虛部運算；a為正實數；θ的取值保證實部為正；θ很小時擴散圖像的虛部滿足下式［17］：

λ=|λ|ejθ，θ∈（-π/2，π/2），為實正數，式（7）沖激濾波器是對邊緣進行銳化，復擴散在切向和梯度方向都是線性正擴散，以達到消除邊緣噪聲的同時銳化邊緣。對于圖像分辨率增強，復擴散對邊緣的正向擴散，容易模糊邊緣，而且在擴散初期t接近于零，沖激濾波器基本不發揮作用，因此對式（7）進行改進，即

其他參數同式（7）。用一個變閾值k的梯度方向的非線性復擴散系數代替了原來常模值的λ，k由局部方差約束變化，邊緣細節部分局部方差較大，k變小，平滑部分k變大，由圖像的虛部與θ的比值除以擴散時間t，使圖像二階拉普拉斯導數的逼近更加準確，不再受擴散時間t的影響，復擴散能夠準確地實現圖像二階拉普拉斯導數，以此進行邊緣判定能夠準確地定位圖像邊緣。～λ在同位線切向擴散為正常數，用來減小插值圖像的鋸齒波效應。

2.2改進復擴散耦合非局部均值濾波器模型

一般的偏微分方程的正則化最小能量泛函為Ω

結合式（4）得到偏微分方程和非局部均值濾波器耦合模型的最小化能量函數為

因此在式（6）約束條件下，可以得到分辨率增強的模型為

變分法求解式（11），保真項采用文獻［9］的雙正交映射操作，實現模型式（6）的約束，可得

結合第2.1節中的復擴散非局部均值濾波器耦合沖激濾波器，替代式（12）中的第一項得到本文的圖像分辨率增強模型如式（13）所示：

3　改進的復擴散耦合非局部均值濾波器算法實現

復擴散通過最速下降法實現式（8），非局部均值是式（4）最小化的靜態解，在式（13）中，采用復擴散和非局部均值濾波器交替進行的實現方法。文獻［18］探討了非線性復擴散的穩定性問題，提出了保證穩定性的離散化方法，最大擴散步長不大于0.05，如果采用一次復擴散迭代后實現一次非局部均值濾波器，整體計算量非常大，由于非均值濾波器是式（2）的靜態解，因此，實現時相對復擴散可采用長步長實現，復擴散步長為Δt，采用文獻［18］的離散化方法，采用Neumann邊界條件，非局部均值濾波器步長為TI。算法實現流程如下：

步驟1設定TI，T0=0，n1=0，初始化圖像u0，采用濾波器G對低分辨率圖像插值，u0=（（（v）↑M）*g），u0= u0，n=0，G為給定的H雙正交濾波器［9］。

步驟2如果TI＞T0執行式（14），否則執行式（15）。

式中，Re（）為取實部運算。

步驟3如果T＞n TI，返回步驟2，否則，算法結束。

實驗參數為4倍放大時，參數取值為c0=0.5，α∈［1，2.5］，θ≤0.1π，d（Im（u））中|λ|∈［0.2，0.5］，λ1=1可取得較好效果。仿真中本文算法參數為：局部方差窗口為7× 7，c0=0.5，α=1，θ=0.1π，|λ|=0.2，λ1=1，4倍放大擴散總時間為T=2 s，為了保證參數一致性，16倍放大采用兩次4倍放大級聯實現，每次參數不變，非局部均值的參數為：搜索窗口13×13，鄰域窗口5×5，h=4。

4　仿真結果及比較

為驗證算法的有效性，設定仿真方案如下：給定高分辨率自然圖像，利用給出的低通濾波器h低通濾波后下采樣，得到低分辨率圖像，對得到的低分辨率圖像進行分辨率增強，增強后的圖像和給定的高分辨率圖像進行比較，通過主觀視覺效果、峰值信噪比（peak signal to noise ratio，PSNR）和平均結構相似性測度（mean structural similarity measure，MSSIM）［19］進行比較。在仿真中設定h 已知，為σ=0.5的高斯低通濾波器：

h由一維濾波器h1=（0.106 3，0.787 4，0.106 3）的張量積得到，h1關于2倍下采樣雙正交濾波器為［9］：g1=（-0.033 9，0.251 1，0.565 6，0.251 1，-0.033 9），g是g1的張量積為二維濾波器，考慮2倍的上采樣后的矩陣表示為G。

仿真分兩部分：第一部分為在雙正交映射下，分別單獨使用非局部均值濾波器和單獨使用改進的復擴散對圖像進行放大，把這兩種算法和本文的耦合算法進行比較；第二部分為耦合算法和其他方法進行比較，選文獻［4］，文獻［9］，文獻［20］，文獻［21］進行比較。文獻［4］和文獻［9］都是基于偏微分方法，本文中分別簡稱為RM算法和XH算法，文獻［20］基于樣值訓練和稀疏分解相結合的一種單幅圖像放大方法，簡稱為ZE算法，文獻［21］是采用凸集映射耦合BM3D濾波器的圖像放大算法，簡稱為XL算法。PSNR和MSSIM以圖1中3幅圖像為原始圖像進行計算，視覺效果通過圖像中的白色方框內的圖像進行放大顯示。

圖2為4倍部分Lena放大圖像，首先比較圖2（a），圖2（b）和本文算法的圖2（c），容易看出，采用非局部均值法放大的圖像強邊緣鋸齒波很嚴重，改進的復擴散邊緣效果比較好，定位準確，和原圖像圖2（d）比較，明顯銳化過度，本文的算法改進了這一不足，本文雙方視覺效果更加逼近原圖像，并且眼睛瞳孔邊緣效果明顯好于圖2（a）和圖2（b）。比較本文算法和其他幾種算法可以看出，無論是帽沿的前邊緣，還是臉和帽子之間的邊緣，本文算法的處理效果都要好于其他幾種算法，而且眼睫毛和眼瞼附近的小邊緣，本文算法的視覺效果也是最好的。

圖1　仿真圖像

圖2四倍方法部分Lena圖像比較

圖3～圖5分別為16倍部分Lena、部分Pepper、部分Flower放大圖像。從圖3可以看出，圖3（a）帽沿前邊緣的鋸齒波效應很嚴重，圖3（b）的邊緣很清晰，Lena的鼻梁上小邊緣被過度銳化，并且Lena的臉部被過度平滑了，本文耦合算法改善以上的不足，具有較好的效果。和其他算法相比，本文算法處理的Lena圖像無論是在頭發部分的小邊緣，還是強邊緣都比其他算法視覺效果要好。XL算法在強邊緣處存在鋸齒波效應，但其帽沿上小邊緣效果較好，ZE算法強邊緣和頭發細節都不如本文算法，XH算法強邊緣處有鋸齒波效應，RM算法強邊緣被過度增強。

從圖4可以比較出強邊緣和小邊緣，本文算法處理的Pepper圖像中柄上右側強邊緣效果最好，改進了圖4（a）邊緣鋸齒波效應，改善了圖4（b）邊緣過度增強的不足，以及平滑部分存在過平滑的視覺感受；和其他算法比較，除柄上正面的邊緣不如ZE算法外，其他視覺表現都是最好的，ZE算法正面的邊緣恢復的很直，但其他邊緣表現不如本文算法。

圖5為花瓣圖像，圖5（a）邊緣鋸齒效應非常明顯，圖5（b）中分片的階梯效應更加明顯，而本文算法則有較好的改善，邊緣部分在繼承了復擴散定位準確優點的同時，也改進了強邊緣容易過度增強的不足。和其他算法比較，可以看出本文算法視覺效果是最好的。

表1為各種算法對圖1中部分Lena圖像4倍放大時的PSNR和MSSIM對比。首先容易看出，本文耦合算法均大于單獨放大的PSNR和MSSIM；比較和其他幾種算法的PSNR和MSSIM，本文算法也是最高。表2為各種算法對圖1圖像16倍放大時的PSNR和MSSIM對比，從表2可以看出，非局部均值放大算法和復擴散算法單獨的PSNR和MSSIM都不如本文的兩者耦合算法，比較其他幾種算法，本文的PSNR和MSSIM均為最高。本文算法具有較好的視覺效果，較高的PSNR和MSSIM值，仿真實驗驗證了本文算法的有效性。

圖3 16倍方法部分Lena圖像比較

圖4 16倍方法部分Pepper圖像比較

圖5 16倍部分Flower圖像比較

表2 16倍放大PSNR和　MSSIM　對比

5　結　論

本文提出一種局部處理方法和非局部處理方法相結合的圖像分辨率增強算法，充分利用改進復擴散對邊緣定位準確和易于對邊緣增強的優點，同時耦合非局部均值濾波器，通過非局部均值濾波處理，利用圖像中的非局部信息，對放大圖像進行進一步處理，保持和增強圖像的小邊緣細節部分，仿真實驗證明了本文算法具有較好的性能。非局部方法和經典的局部處理方法相結合是圖像信息處理的一個研究方向［22 23］，相對于非局部偏微分方程，本文的耦合方法既有不足也有優點，不足是兩種方法沒有同時進行迭代，優點是對兩種處理方法直接權重選擇比較靈活，避免了非局部方法繁雜運算的缺陷，本文算法只探討了整數倍的圖像放大，任意倍數的圖像放大是進一步的研究方向。

［1］Malgouyres F，Guichard F.Edge direction preserving image zooming：a mathematical and numerical analysis［J］.Society of Industrial and Applied Mathematics Journal on Numerical Analysis， 2001，39（1）：1-37.

［2］Li X，Orchard M T.New edge-directed interpolation［J］.IEEE Trans.on Image Processing，2001，10（10）：1521-1527.

［3］Mallat S，Yu G S.Super-resolution with sparse mixing estimators［J］.IEEE Trans.on Image Processing，2010，19（11）：2889 2900.

［4］Roussos A，Maragos P.Reversible interpolation of vectorial images by an anisotropic diffusion-projection PDE［J］.International Journal of Computer Vision，2009，84（2）：130-145.

［5］Belahmidi A，Guichard F.A partial differential equation approach to image zoom［C］//Proc.of the International Conference on Image Processing，2004：649-652.

［6］Aly H A，Dubois E.Design of optimal camera apertures adapted to display devices over arbitrary sampling lattices［J］.IEEE Trans.on Signal Processing Letters，2004，11（4）：443-445.

［7］Aly HA，Dubois E.Specification of the observation model for regularized image up-sampling［J］.IEEE Trans.on Image Processing，2005，14（5）：567-576.

［8］Aly HA，Dubois E.Image up-sampling using total-variation regularization with a new observation model［J］.IEEE Trans.on Image Processing，2005，14（10）：1647-1659.

［9］Xi Z H，Hai T，Xiao Y H.Reversible image interpolation based on hybrid anisotropic partial differential equation diffusion［J］. Systems Engineering and Electronics，2013，35（5）：1098-1103.（席志紅，海濤，肖易寒.基于混合非線性擴散偏微分方程的可逆圖像放大［J］.系統工程與電子技術，2013，35（5）：1098-1103.）

［10］Jagtap S H，Patil M M，Ruikar S D.Multiscale geometric representation for single image super-resolution［J］.International Journal of Engineering&Adυanced Technology，2012，1（4）：219-224.

［11］Buades A，Coll B，Morel J M.A review of image denoising algorithms，with a new one［J］.Multiscale Modeling and Simulation，2005，4（2）：490-530.

［12］Gilboa G，Osher S.Nonlocal linear image regularization and supervised segmentation［J］.Multiscale Modeling and Simulation，2007，6（2）：595-630.

［13］Gilboa G，Osher S.Nonlocal operators with applications to image processing［J］.Multiscale Modeling and Simulation，2008，7（3）：1005-1028.

［14］Yang Y F，Wu T T，Pang Z F.Image-zooming technique based on Bregmanized nonlocal total variation regularization［J］.Optical Engineering，2011，50（9）：62-65.

［15］PeyréG，Bougleux S，Cohen L.Non-local regularization of inverse problems［C］//Proc.of the European Conference on Computer Vision，2008：57-68.

［16］Kindermann S，Osher S，Jones P W.Deblurring and denoising of images by nonlocal functionals［J］.Multiscale Modeling and Simulation，2005，4（4）：1091-1115.

［17］Gilboa G，Sochen N A，Zeevi Y Y.Regularized shock filters and complex diffusion［C］//Proc.of the European Conference on Computer Vision，2002：399-413.

［18］Bernardes R，Maduro C，Serranho P.Improved adaptive complex diffusion despeckling filter［J］.Optics Ex press，2010，18（23）：24048-24059.

［19］Wang Z，Bovik A C，Sheikh H R.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans.on Image Processing，2004，13（4）：600-612.

［20］Zeyde R，EladM，Protter M.On single image scale-up using sparse-representations［C］//Proc.of the International Conference on Curυes and Surfaces，2012：711-730.

［21］Li X.Patch-based image interpolation：algorithms and applications［C］//Proc.of the International Workshop on Local and Non-Local Approximation in Image Processing，2008：127-132.

［22］DongWS，Zhang L，Shi GM，et al.Nonlocal centralized sparse representation for image restoration［J］.IEEE Trans.on Image Processing，2013，22（4）：1620-1630.

［23］Dong W S，Zhang L，Lukac R，et al.Sparse representation based image interpolation with nonlocal autoregressive modeling［J］.IEEE Trans.on Image Processing，2013，22（4）：1382-1394.

席志紅（1965-），通訊作者，女，教授，博士，主要研究方向為非線性信號處理。

E-mail：xizhihong@hrbeu.edu.cn

Image enlargement based on improved complex diffusion coupling to nonlocal means fitler

HAI Tao1，2，3，XI Zhi-hong1
（1.College of Information and Communication Engineering，Harbin Engineering Uniυersity，Harbin 150001，China；
2.Physics and Electronic Engineering College，Nanyang Normal Uniυersity，Nanyang 473000，China；
3.Oil Equipment Intelligent Control Engineering Laboratory of Henan Proυince，Nanyang 473000，China）

In order to improve the zoomed effect of the method based on partial differential equation，combining the improved complex diffusion model and the nonlocal means filter，the image enlargement method is proposed.Having the advantage of precision location of the edges，with the edges sharpened by the shock filter，the improved anisotropic complex diffusion couples to the nonlocal means filter to keep with the similarity of the diffused image，the high resolution image is reconstructed.Not only using the local information of the image but the image's nonlocal information，the method makes the zoomed image more natural，at the same time，attenuates the edge's over-sharpen，therefore the enlarged image has better visual effective.The simulations prove the prominent performance of the proposed method.

image enlargement；anisotropic complex diffusion；nonlocal means filter；shock filter

TN 911

A

10.3969/j.issn.1001-506X.2016.05.32

1001-506X（2016）05-1182-07

2015-07-23；

2015-08-31；網絡優先出版日期：2015-12-23。

網絡優先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20151223.1019.004.html

國家自然科學基金（60875025）；河南科技廳項目（142102310562）；南陽師范學院校級項目（ZX2015004）資助課題

海濤（1974-），男，講師，博士，主要研究方向為基于偏微分方程的圖像分辨率增強、復原、去噪。

E-mail：nytcht@163.com