基于改進復擴散自適應耦合非局部變換域模型的圖像放大

海 濤,張 雷,劉旭焱,張新剛

(1.南陽師范學院 機電工程學院,河南 南陽 473061; 2.石油裝備智能化控制河南省工程實驗室(南陽師范學院),河南 南陽 473061;3.南陽師范學院 圖像處理與模式識別研究所,河南 南陽 473061; 4.南陽師范學院 物理與電子工程學院,河南 南陽 473061;5.南陽師范學院 計算機與信息技術學院,河南 南陽 473061)(*通信作者電子郵箱nytcht@163.com)

0 引言

圖像放大是把一個低分辨率圖像重建成為高分辨率圖像,在工業、醫藥、公共安全、計算機視覺和消費電子領域有廣泛的應用。由低分辨率圖像重建高分辨率圖像是一個病態逆問題,其處理方法可以分為以下三類:插值方法,基于模型重建方法和基于學習方法。插值算法中,基于邊緣插值方法相對于線性插值具有更好的邊緣處理效果,這種方法不考慮圖像的退化函數,處理速度快,在邊緣處理上效果受限制[1];基于模型方法則是利用圖像的先驗特征進行建模,消除重建過程的病態,是圖像分辨率增強的一種重要方法[2-4],本文算法屬于此種方法；學習方法基于對在線或者離線的大量圖像樣本進行不同特征訓練,得到低分辨率到高分辨率的對應關系,根據當前圖像的特征,利用對應關系實現高分辨率圖像重建,但這種方法為了得到低分辨率到高分辨率的對應關系需要對大量樣品進行訓練,計算速度較慢[5]。

偏微分方程以圖像亮度強度及各階導數為變量構建先驗模型,本質上屬于對圖像局部信息進行建模,對圖像的邊緣有較好的處理效果,而在小細節部分和平滑部分的處理效果較差,如全變差模型存在丟失細節和階梯效應明顯的缺點。文獻[6]中提出非局部均值濾波器,利用了圖像全局信息,能較好地保存細節紋理,取得了較好的去噪效果。在此基礎上,非局部信息在圖像處理中取得廣泛應用[5-10],文獻[11]中提出了塊匹配三維濾波(Block Matching 3D filtering,BM3D),把非局部相似特性通過三維變換域的稀疏特性實現,取得了優良的去噪效果,這種方法處理效果更好而且速度較快[12-14]。非局部信息在圖像處理中取得廣泛應用[5-14],多是空域非局部方法與現有模型相結合[5-10],文獻[15-16]把這種結合應用到圖像分辨率增強取得了較好效果。本文也考慮變換域的非局部模型與現有模型相結合來進行圖像分辨率增強。基于改進復擴散模型的局部圖像模型能夠很好地增強圖像相關性強的邊緣部分[17],然而在圖像紋理細節處理效果欠佳,利用非局部特性則能夠很好解決這一問題,因此，本文利用改進復擴散模型耦合非局部變換域模型對低分辨率圖像進行分辨率增強。

1 改進復擴散模型

1.1 基于偏微分方程圖像放大的變分模型

文獻[18]給出了離散域的圖像退化模型:

((h(i,j)*u(i,j))↓M=v(i′,j′)

(1)

其中:h(i,j)是低通濾波器,取決于圖像獲取硬件特性,即硬件的點擴散函數(Point Spread Function,PSF);u(i,j)、h(i,j)為高分辨率圖像;↓M為下采樣矩陣;v(i′,j′)為待處理的低分辨率圖像。各項以字典排序方法轉換為向量表示法:u(i,j)用u表示;v(i′,j′)用v表示;H表示包涵下采樣操作的h(i,j),可得到模型的矩陣表示為v=Hu。

偏微分方程的變分模型通過像素亮度幅度及幅度的各階導數為變量構建正則化模型,如式(2)所示:

(2)

考慮高分辨率圖像和低分辨率圖像之間的關系,得到偏微分方程圖像放大的變分模型式(3):

(3)

1.2 改進復擴散正則模型

考慮式(3)中的第一項即正則項,通過梯度下降法實現能夠得到偏微分方程的擴散實現,如式(4)所示：

(4)

文獻[19]中提出非線性復擴散模型擴散形式,為增強邊緣，文獻[17]中提出局部方差改進復擴散,并且耦合了沖擊濾波器進行圖像分辨率增強,如式(5)所示：

d(Im(u))uηη+λ1uξξ

(5)

其中:

λ2=|λ2|ejθ

式(5)消除了擴散時間的影響,采用了自適應閾值提高細節紋理增強,邊緣定位準確,對強邊緣增強效果最好,對弱邊緣和細節具有一定的增強效果,平滑部分出現階梯效應。式(5)在二階導數的兩個方向擴散值均為正值,擴散部分對應的能量泛函是凸函數[20],沖擊濾波器具有不改變局部最小值的特點[21],因此整個模型存在全局最小值。采用式(5)的改進復擴散模型的擴散形式,取代式(3)中正則項的擴散實現,可以得到改進復擴散的放大模型。

2 自適應耦合非局部變換域模型算法

BM3D濾波器本質是利用變換域硬閾值收縮方法實現圖像自相似特性約束,在保持和恢復紋理和弱邊緣部分有顯著效果,變換域硬閾值收縮方法是變換域零階稀疏模型的實現[12-22]。本文對非局部特性進行變換域建模,得到圖像非局部自相似特性的變換域約束模型,在建立模型基礎上,自適應耦合第1章復擴散耦合沖激濾波器模型,實現以上兩個局部和非局部模型耦合,得到一種空域和變換域的混合正則化模型。

2.1 非局部變換域模型

文獻[11]通過把多個相似塊組成三維的組,通過對其三維變換系數進行硬閾值處理,在變換域實現了非局部自相似信息的處理。三維組的塊之間的相似性導致組在三維變換中是稀疏的,通過對這種稀疏特性進行建模可以得到其非局部變換域模型。

(6)

對ω進行同樣的逆變換,可以得到三維變換的綜合表達式如式(7)所示：

u=WΨ3Dω

(7)

其中：Ψ3D為Φ3D的逆變換,W=(PJr)*為PJr的對偶操作,把三維相似圖像群組轉換為二維圖像,實現把存在于不同塊中同一像素的強度聚合為一個數值,聚合方法為根據像素在不同塊中的相似度進行歸一化加權,在正交變換下,PJu是對應二維圖像塊均為相似塊組成的三維圖像,因此第三維方向的變換系數是稀疏的,對應群組內相似度越高其稀疏度也越高,三維變換系數非零的個數也越小,因此非局部變換域模型如式(8)所示：

J2(ω)=τ‖ω‖0

(8)

s.t.u=Ψω

ω=Φu

其中:Φ=Φ3DPJ;Ψ=WΨ3D。

利用通過稀疏特性模型能很好地重建圖像邊緣細節特征,如采用最優基提高變換稀疏特性[14],本文采用正交三維變換,注重于圖像的自相似性所對應的稀疏性。

2.2 改進復擴散自適應耦合變換域模型

偏微分方程的正則化函數具有可以和其他目標函數耦合的優點,耦合式(3)和式(8)兩種模型,并考慮圖像獲取約束模型式(1)可得本文放大的耦合模型式(9):

(9)

s. t.u=Ψω

ω=Φu

(10)

最小化變分模型(式(10)),求解得到高分辨率圖像u*,根據文獻[23]對兩個變量進行去耦合處理,把式(9)中前兩項看作一個部分,后一項為變換域懲罰項,依次對式(10)獨立變量u、ω最小化處理,逐次逼近求解極小值,其迭代實現如式(11)～(12)所示：

(11)

(12)

可以看出,式(11)的作用是對圖像銳化增強,式(12)是去除噪聲。

在此放大模型中,λ取決于觀察圖像引入的噪聲,噪聲越大λ值也應越大,γ1參數決定引入由上次迭代中變換域模型估計得到的Ψω與u的差值,γ1越大則非局部模型影響就越大,決定了非局部模型耦合強度,本文考慮采用自適應系數γ1,保證在強邊緣耦合強度低,Im(u/(tθ))表示圖像二階導數:

其中：γ為常數。式(12)中第一項為正則項即非局部模型變換域模型,第二項為保真項,ω與式(11)得到Φui差值越大,τ越大而ξ越小。本文用于圖像分辨率增強,噪聲較小,希望保持增強的邊緣,因此τ取值較小。

2.3 改進復擴散自適應耦合非局部變換域模型實現

放大模型(式(9))的求解,通過迭代式(11)和式(12)實現,迭代初始圖像采用文獻[15]中雙正交濾波器差值圖像,即u0=Gv,G是H的雙正交濾波器,即滿足HG=1,得到的插值放大初始圖像滿足式(1)。

迭代式(11)采用梯度下降法實現,中間一項采用1.2節介紹的改進復擴散模型耦合沖擊濾波器實現如式(13)所示：

uk+1=uk+Δt{-G(Huk-v)+

(13)

式(12)采用文獻[16]中的變換域硬閾值去噪法實現(ξ=0.5),如式(14)所示：

(14)

本文三維圖像群組實現參數為:圖像塊尺寸8×8,以3×3間隔劃塊,圖像塊搜索范圍45×45。相似度閾值取100,每組圖像塊數為16,群組中圖像塊二維變換為離散余弦變換,相似塊方向采用一維Haar小波變換,聚合實現為不同塊中同一像素取均值恢復圖像,計算式(13)時步長采用自適應變步長[15]。

實現流程的偽代碼如下。

輸入 點擴散函數矩陣H,對應H的雙正交矩陣G,低分辨率圖像v。

輸出 高分辨率圖像u。

Begin

Do

k←k+1;

//變步長計算

//自適應耦合系數

γ1(uk-Ψωk)};

//復擴散銳化

//硬閾值收縮實現,其中Φ=Φ3DPJ,如式(6)

uk+1←Ψω;

//Ψ=WΨ3D,如式(7)

Whileuk+1-uk<ε1

Outputu←uk+1;

End

3 實驗與分析

實驗設計如下:給定高分辨率圖像,利用給出的低通濾波器h低通濾波后下采樣,得到低分辨率圖像,進行按給定倍數進行分辨率增強，并與給定的高分辨率圖像進行比較,比較主觀視覺效果、相應的峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和平均結構相似性測度(Mean Structural SImilarity Measure, MSSIM)[24]。設h為σ=0.5的高斯低通濾波器,取3×3模板(若為2×2模板則對應取均值):

h是一維濾波器h1=(0.106 3, 0.787 4,0.106 3)的張量積, 求出h1的雙正交濾波器g1=(-0.033 9,0.251 1,0.565 6,0.251 1,-0.033 9),g1張量積得到二維濾波器g,初始圖像u0=(((v)↑M)*g)，其中↑M為上采樣操作。

選擇文獻[5,13,15-17]算法對比算法進行仿真實驗。文獻[5]為基于稀疏分解耦合非局部自回歸模型的圖像放大算法，屬于基于學習算法和非局部算法相結合;文獻[13]是采用凸集映射耦合BM3D濾波器的圖像放大算法,屬于基于非局部變換域處理方法;文獻[15-16]是利用局部二階偏微分模型耦合空域非局部模型的圖像放大算法;文獻[17]是基于改進復擴散放大算法,這種算法基于二階偏微分方程,反映局部算法的特點。通過與這些算法的對比,驗證本文算法局部空域模型和非局部變換域模型相結合的有效性。

仿真圖像采用圖1所示的高分辨率圖像,其中部分Lena圖像包含豐富的細節紋理、邊緣和平滑部分，為綜合圖像；Pepper圖像以強邊緣和平滑部分為主；Flower圖像包含豐富的弱邊緣和細節圖像。圖1(a)和(c)中的矩形框為后面部分實驗的剪切區域。

圖1 仿真圖像

圖2為4倍放大部分Lena圖像的眼部區域。觀察帽檐的邊緣可以看出：本文算法處理后最接近原始圖像,效果最好；文獻[17]算法處理后存在銳化過度的效果；其他算法圖像都存在模糊的問題。可見改進復擴散耦合非局部變換域模型后,解決了過度銳化問題。對比本文算法處理后的方框區域，僅文獻[17]算法處理后存在階梯效應。觀察Lena的上眼睫毛,可以看出其中文獻[16]算法、文獻[17]算法和本文算法的效果最好。本文算法綜合了二階微分方程對強邊緣處理的優勢和非局部變換域模型對平滑部分和弱邊緣細節的處理優勢,消除了平滑部分的階梯效應。

圖2 不同算法部分Lena圖像矩形框區域4倍放大比較

圖3是部分Lena圖像16倍放大圖像。觀察強邊緣部分可以看出：本文算法處理效果最好；文獻[16]算法不能消除由于大倍數放大而造成的鋸齒效應,強邊緣有起伏；采用BM3D放大的文獻[13]算法的邊緣同樣效果不好；文獻[5]算法的邊緣存在模糊；文獻[17]算法的邊緣過度銳化。觀察頭發弱邊緣以及臉部的平滑部分可看出：本文算法的效果最好；文獻[17]算法的效果最差；其他算法弱邊緣和平滑部分放大效果較好,說明基于非局部方法在弱邊緣和細節處理的良好效果。

圖3 不同算法部分Lena圖像16倍放大比較

圖4～5是Pepper圖像的9倍和16倍放大。觀察強邊緣部分可以看出：本文算法處理效果最好；文獻[5]算法相對本文算法稍顯模糊；文獻[17]算法的邊緣過于銳化；其他算法強邊緣存在鋸齒波效應。觀察辣椒紋理部分,本文算法、文獻[16]算法和文獻[13]算法的效果最好；文獻[15]算法的次之；文獻[5]算法的更次之；文獻[17]算法的效果最差。由此可見,本文算法結合二階偏微分方程和非局部算法各自的優點,效果最好。

表1 不同放大算法PSNR和MSSIM對比

圖4 Peppers圖像9倍放大比較

圖6為部分Flower圖像的花朵部分16倍放大圖像。可明顯看出,無論花朵上面的紋理、花蕊的莖，以及花朵邊緣部分,本文算法的效果都更好。文獻[15]算法處理后的花朵強邊緣稍好于文獻[16]算法；文獻[5]算法的邊緣較好,但花朵的紋理及花蕊的莖的弱邊緣較差;文獻[17]算法處理后的花朵的紋理及弱邊緣效果最差。說明本文算法在紋理細節和弱邊緣部分有較好處理效果。

圖5 不同算法Peppers圖像16倍放大比較

圖6 不同算法部分Flower圖像16倍放大比較

對圖1的圖像分別采用低通濾波器h低通濾波，然后下采樣得到低分辨率圖像，對此低分辨率圖像按照不同算法放大后，計算其PSNR和MSSIM,其結果如表1所示。本文算法的PSNR和MSSIM都是最高,尤為明顯的是Flower圖像和部分Lena圖像,進一步說明本文算法在處理弱邊緣和細節方面具有良好效果。文獻[16]算法的PSNR和MSSIM在Flower圖像和部分Lena圖像比文獻[5]算法的略好，僅在Pepper圖像的PSNR稍低于文獻[5]算法,但比其他算法都要高,進一步證明了非局部處理方法在處理弱邊緣細節上的效果。

4 結語

本文提出了一種基于偏微分方程自適應耦合非局部變換域模型的圖像放大算法,偏微分方程采用自適應的復擴散模型。本文算法利用二階偏微分方程,對圖像強邊緣具有較好處理效果,非局部變換域模型利用圖像中的相似性對弱邊緣和紋理具有較好的處理效果,通過正則化模型耦合實現兩種方法各自的優點,取得較好的放大效果。通過仿真實驗,在直觀視覺效果和客觀評價指標(PSNR和MSSIM)上,表明本文算法的具有較好性能。需要指出,本文算法的二階偏微分方程利用了圖像空域的相關特性,非局部變換域模型利用頻域的全局特性是能夠取得較好效果的理論保證。如何進一步完善算法中的各個參數,以便實現全局信息和局部信息的結合以及空域和變換域的最佳結合是需要進一步努力的方向。

參考文獻(References)

[1] MALGOUYRES F, GUICHARD F. Edge direction preserving image zooming: a mathematical and numerical analysis[J]. SIAM Journal of Numerical Analysis, 2001, 39(1): 1-37.

[2] TSIOTSIOS C, PETROU M. On the choice of the parameters for anisotropic diffusion in image processing[J]. Pattern Recognition, 2013, 46(5): 1369-1381.

[3] ALYH A, DUBOIS E. Image up-sampling using total-variation regularization with a new observation model [J]. IEEE Transactions on Image Processing, 2005, 14(10): 1647-1659.

[4] CHEN D, MACLACHLAN S, KILMERM. Iterative parameter-choice and multigrid methods for anisotropic diffusion denoising[J]. SIAM Journal on Scientific Computing, 2011, 33(5): 2972-2994.

[5] DONG W S, ZHANG L, LUKAC R, et al. Sparse representation based image interpolation with nonlocal autoregressive modeling[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1382-1394.

[6] BUADES A, COLL B, MOREL J M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530.

[7] DONG W S, ZHANG L, SHI G M, et al. Nonlocal centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1620-1630.

[8] GILBOA G, OSHER S. Nonlocal linear image regularization and supervised segmentation[J]. Multiscale Modeling and Simulation, 2007, 6(2): 595-630.

[9] GILBOA G, OSHER S. Nonlocal operators with applications to image processing[J]. Multiscale Modeling and Simulation, 2008, 7(3): 1005-1028.

[10] YANG Y F, WU T T, PANG Z F. Image-zooming technique based on Bregmanized nonlocal total variation regularization[J]. Optical Engineering, 2011, 50(9): 62-65.

[11] DABOV K, FOI A, KATKOVNIK V. Image denoising by sparse 3D transform-domain collaborative filtering [J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080-2095.

[12] DANIELYAN A, KATKOVNIK V, EGIAZARIAN K. BM3D frames and variational image deblurring [J]. IEEE Transactions on Image Processing, 2012, 21(4): 1715-1728.

[13] LI X. Patch-based image interpolation: algorithms and applications [EB/OL]. [2017- 05- 10]. http: //citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.141.1512.

[14] ZHANG J, ZHAO D B, GAO W. Group-based sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3336.

[15] ZHAN Y, LI S J, LI M. Local and nonlocal regularization to image interpolation[J]. Mathematical Problems in Engineering, 2014, 2014: Article ID 230348.

[16] 海濤, 席志紅. 基于改進復擴散耦合非局部均值濾波器的圖像放大[J]. 系統工程與電子技術, 2016, 38(5): 1182-1188.(HAI T, XI Z H. Image enlargement based on improved complex diffusion coupling to nonlocal means filter[J]. Systems Engineering and Electronics, 2016, 38(5): 1182-1188.)

[17] 席志紅, 海濤. 基于非線性復擴散耦合沖激濾波器的圖像放大算法研究[J]. 通信學報, 2014 35(2): 1-8.(XI Z H, HAI T. Image enlargement research baised on anisotropic complex diffusion coupling to shock filter[J]. Journal on Communications, 2014 35(2): 1-8.)

[18] ALY H A, DUBOIS E. Specification of the observation model for regularized image up-sampling [J]. IEEE Transactions on Image Processing, 2005, 14(5): 567-576.

[19] GILBOA G, SOCHEN N, ZEEVI Y Y. Image enhancement and denoising by complex diffusion processes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(8): 1020-1036.

[20] YOU Y L, XU W Y, TANNENBAUM A, et al. Behavioral analysis of anisotropic diffusion in image processing[J]. IEEE Transactions on Image Processing, 1996, 5(11): 1539-1543.

[21] OSHER S, RUDIN L I. Feature-oriented image enhancement using shock filters[J]. SIAM Journal on Numerical Analysis, 1990, 27(4): 919-940.

[22] ELAD M, FIGUEIREDO M A T, MA Y. On the role of sparse and redundant representations in image processing[J]. Proceedings of the IEEE, 2010, 98(6): 972-982.

[23] WEN Y W, NG M K, CHING W K. Iterative algorithms based on decoupling of deblurring and denoising for image restoration[J]. SIAM Journal on Scientific Computing, 2008, 30(5): 2655-2674.

[24] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

This work is partially supported by the National Natural Science Foundation of China (61702289), the Key Project of Science and Technology Research of Henan Provincial Education Department (14A520057, 15B520022), the Key Research Projects of Henan Colleges and Universities (17A510016, 16B510005), the Project of Nanyang Normal University (ZX2015004).