一種自適應耦合TV和高階PDE的圖像放大模型

張穎,劉曉春,周琳

摘 要：針對TV模型存在分塊效應，而四階PDE模型具有保持平坦區域光滑性的特點，提出自適應耦合TV和四階PDE的正則化圖像放大模型。根據圖像內容合理調整耦合系數，在圖像漸變和平坦區域運用四階PDE擴散，消除分塊效應；而在圖像的突變區域運用TV模型濾波，保持突變邊緣。實驗結果表明，該算法是一種有效的圖像放大方法。

關鍵詞：圖像放大； 偏微分方程； 總變分； 高階PDE

中圖分類號：TN911-34

文獻標識碼：A

文章編號：1004-373X(2011)09-0080-03

Image Zooming of Adaptive Coupling TV and High-order PDE

ZHANG Ying, LIU Xiao-chun, ZHOU Lin

(School of Information Engineering, Changan University, Xian 710064, China)

Abstract： A regularized image zooming model of adaptive couple TV and fourth-order PDE is proposed according to that the fourth-order PDE model can maintain the smoothness of flat areas and the total variation model has blocky effects. Based on the above considerations, the coupling coefficients were reasonably adjusted according to area contents. In the flat areas, the fourth-order PDE model was emphasized to eliminate block effects; where as in fast changing region, TV model was stressed to enhance the large gradient edges. Experimental results show that the algorithm is an effective image enlargement method.

Keywords： image zooming； partial differential equations (PDE); total variation; higher-order PDE

0 引 言

圖像放大指增大圖像尺寸或提高其分辨率，同時保持較高的質量，以得到一個較好的視覺效果，或突出某些細節。圖像放大通常可分兩步進行：首先對圖像進行空間變換；其次對圖像進行灰度級插值、處理。

傳統的線性插值算法有最近鄰法、雙線性插值法以及三次樣條插值法等［1］。這些方法用一些已知的簡單函數根據一定的光滑性要求逼近原圖像。它們有其固有的缺點，如放大后的圖像邊緣模糊化和邊緣鋸齒化，而且放大倍數越大，這些現象越明顯。自適應插值方法［2］在空間上使插值系數較好地匹配邊緣附近的局部圖像結構，但在選擇和估計感興趣的邊緣時會導致誤差。邊緣指導的插值方法［3］利用有限的對于邊緣的方向和幅度的量化來擬合圖像的亞像素邊緣，阻止跨邊緣的插值，因而能夠產生尖銳的邊緣，但對于邊緣的擬合過于簡單和粗糙，且會丟失一些圖像特征。其他還有基于凸集投影的迭代方法，基于小波變換和數學形態學的方法等，這些方法在性能上仍然有待提高，特別是在圖像含有噪聲的情況下。

基于偏微分方程(Partial Differential Equations, PDE)的圖像放大方法是在插值圖像的基礎上，通過迭代演化求解擴散方程，從而得到高分辨率圖像，并去除噪聲和人工痕跡等的影響［4］。由于可以很方便地引入先驗知識，其獲得了良好的處理性能，已引起了廣泛關注［5-9］，其中主流是基于正則化的PDE方法。各向同性擴散的PDE模型［5］放大圖像時容易出現邊緣模糊、細節特征丟失等現象。而各向異性擴散的PDE雖然能在某種程度上保持放大圖像的細節特征［6］，但隨著迭代求解次數的增加，圖像部分重要信息會偏離原圖像，導致圖像模糊。采用總變分(Total Variation, TV)模型進行圖像放大，能夠有效保持突變邊緣，且收斂速度快［7］，但在平坦區域和漸變區域會產生分塊效應。而四階PDE模型具有保持平坦區域光滑度的優點，將其用于圖像放大會避免分塊效應［8］，但卻降低了邊緣等重要幾何結構的清晰度。

為充分運用四階PDE模型保持漸變區域光滑度的優點，彌補總變分TV模型存在分塊效應的不足，同時也保留了TV模型保持圖像中不連續邊緣的優點，本文提出了自適應耦合總變分TV和四階PDE的正則化圖像放大模型。根據圖像內容合理調整耦合系數，在圖像漸變區域和平坦區域主要運用四階模型進行平滑，消除階梯效應和分塊效應；在圖像的突變區域著重運用TV模型進行平滑，保持突變邊緣。仿真實驗證明，本文算法能夠有效提高放大圖像的主觀視覺質量和客觀保真度。

1 自適應耦合TV和四階PDE的正則化圖像放大模型

TV模型最初用于圖像恢復中。設g,u分別表示低分辨率圖像和高分辨率圖像，根據極大似然原理，圖像放大可以歸結為如下不帶約束的正則化能量方程的極小化問題：

minuλ2Du－g2+R(u)

(1)

式中:D為圖像分辨率退化模型矩陣，刻畫了圖像獲取中的低通濾波和下采樣過程;式中第一項為逼近項，表示圖像和退化圖像的差異；第二項為圖像的正則化函數，它依賴于圖像，函數R(?)對圖像u加以約束，一般取為梯度的L琾(p>0)范數；λ>0為Lagrange乘子，在逼近項和正則化函數之間起平衡作用。

如果選擇圖像梯度的L2范數作為正則化函數，則因為拉普拉斯算子具有很強的各向同性擴散特性，造成邊緣保持特性較差。總變分TV模型［9］用圖像梯度的L1范數代替L2范數，具有很好的邊緣保持特性。圖像的TV定義為：

TV(u)謾姚斧齯dxdy

(2)

式中:Ω是圖像區域。于是圖像放大問題就轉化成為如下無約束極小化問題：

min Eu(u)=∫(齯+λ2Du－g2)dxdy

(3)

式中:等式右端第一項為圖像的總變分范數(TV范數)，它依賴于圖像的變分幅度。

TV模型的優勢在于它并不要求圖像是連續的，它在放大圖像的同時，可以保持圖像中的不連續邊緣。TV模型的不足在于其穩態解中往往存在分塊效應。采用TV模型處理后圖像的平坦區域和漸變區域內灰度非常接近或相同，整個圖像似乎是由不同亮度的區域組成，且其輪廓顯得過分尖銳，有時會產生額外的邊緣。

在式(1)中，若取正則化函數R(u)=f(2u)時，可得如下最小化能量函數［10］：

min Eφ=∫Ω(f(2u)+λ2Du－g2)dxdy

(4)

此即四階PDE模型，其中,2表示拉普拉斯算子；f是非負且嚴格單調遞增函數。最小化式(4)相當于找一個最小的2u，即平滑圖像u，同時又保持u與初始u0接近。

對于灰度漸變的區域，四階PDE模型式(4)并不會像TV模型那樣把圖像變為幾個灰度值不同的塊，而是將它平滑成一個灰度漸變的區域，雖然這和真實圖像不一定相同，但它一般不會產生額外的邊緣，與TV模型的結果相比，四階PDE模型克服了TV模型存在的圖像分塊這一不足，具有保持平坦區域光滑度的優點，但卻降低了邊緣等重要幾何結構的清晰度。

為充分發揮這兩種PDE模型的優點，本文提出自適應耦合TV和四階PDE的圖像放大模型。其基本思想就是根據圖像的局部特征，自適應調整這兩種正則化模型的權重。在圖像漸變區域和平坦區域主要運用四階PDE進行平滑，消除分塊效應；而在圖像的突變區域重點用TV模型進行平滑，保持突變邊緣。其最小化能量函數為：

min Eφu=∫Ω(λ2Du－g2保真項+(1－p)?φ(齯)TV+

p?f(2u)四階PDE)dxdy

(5)

式中:λ>0為Lagrange乘子；p∈［0,1］，決定了TV和四階模型的權值，可根據圖像內容自適應調節。在突變區域，要求p等于或接近于0，這樣就主要采用二階TV模型對圖像進行平滑；在圖像的漸變區域和平坦區域，要求0頿<1，這樣該模型中就包含了四階模型的特性，克服了TV模型存在的不足。

式(5)對應的Euler-Lagrange方程為：

F=礔祏－氮祒礔祏x－氮祔礔祏y+氮祒2礔uxx+氮祔2氮祏yy

=λD琓(Du－g)－(1－p)?divφ′(齯)齯齯+

p?2f′(2u)2u2u=0

(6)

在此設φ(齯)=齯,g(2u)=f′(2u)2u。運用梯度下降法，得到模型如下：

祏祎 = (1-p)?div齯齯-

p?2(g(2u)2u)-λD琓(Du-g)

u(x,y,0)=u0(x,y)

祏祅鄲=0

(7)

為了使g(齯)在圖像的平坦和漸變區域遠大于0，在此，選取g(s)=11+(s/k)2，且k的取值相對較大，以使函數g(齯)下降速度較慢。

對于p的選擇，初步選擇p=g(齯)。根據邊緣停止函數g(s)的性質［6］，可知:

(1) 齯較大，對應圖像的突變區域，g(齯)=0；

(2) 齯較小，對應圖像的平坦區域和漸變區域，0頶(齯)<1。

同時為了避免噪聲等的干擾，取p=g((Gσ*u))，此時，PDE模型式(7)對應的數值迭代格式為：

u琻+1=u琻+Δt?［(1－g)?div齯齯TV－

g?2(g(2u)2u)四階PDE－λD琓(Du－g)保真項］

(8)

2 實驗結果與分析

本文實驗主要與傳統的雙線性插值方法、TV模型和四階PDE模型放大方法進行比較。算法性能由放大圖像的峰值信噪比(Peak Signal to Noise Rate, PSNR)及主觀視覺效果評價。

本組實驗中，對512×512的不同內容的標準圖像，進行4倍率平滑下采樣，得到分辨率為128×128的低分辨率圖像，然后采用不同的方法放大。實驗參數為：λ=0.01，Δt=0.001，T=100，k=20，g(s)=11+(s/k)2，σ=5。采用不同方法對5幅標準圖像放大的PSNR比較見表1。從PSNR的角度看，本文耦合模型達到了最高的PSNR值。

表1 四種方法放大不同圖像的PSNR比較dB

Image PSNR

雙線性插值TV模型四階PDE本文模型

Lena26.6828.38228.50629.905

Girl26.35828.23228.35428.781

Pepper26.15528.56228.50929.338

Toys23.98525.91625.96426.255

Cameraman26.07127.56427.34427.967

圖1,圖2分別為對Cameraman,Lena圖像及其部分細節用TV模型及本文耦合模型放大結果比較圖。

圖1 Cameraman處理結果

圖2 Lena處理結果圖像及關注部分放大圖

從細節放大圖的對比可見，TV模型復原的圖像存在嚴重的分塊效應，而本文耦合模型將圖像平滑成了一個灰度漸變的區域，消除了分塊效應，得到了視覺效果較好的圖像。

3 結 論

通過將TV模型和四階PDE自適應結合，充分運用四階PDE模型保持漸變區域光滑度的優點彌補總變分TV模型存在分塊效應的不足，同時也保留了TV模型保持圖像中不連續邊緣的優點。實驗結果表明了本文模型的良好性能，同時也證明了PDE方法用于圖像處理的優越性。進一步的研究包括彩色圖像的PDE處理等。

參考文獻

［1］UNSER M, ALDROUBI A, EDEN M. Enlargement or reduction of digital images with minimum loss of information [J]. IEEE Trans. on Image Proc., 1995, 4(3): 247-258.

［2］CARRATO S, RAMPONI G, MARSI S. A simple edge-sensitive image Interpolation filter [J]. Proc. of IEEE Int. Conf. on Image Processing, 1996, 13: 711-714.

［3］ALLEBACH J, WONG P W. Edge-directed interpolation [J]. Proc. IEEE Int. Conf. on Image Processing, 1996, 13: 707-710.

［4］TORONTO N, VENTURA D, MORSE B S. Edge inference for image interpolation [C]// Proceedings of International Joint Conference on Neural Networks. Montreal, Canada: [s.n.], 2005: 1782-1787.

［5］朱寧,吳靜,王忠謙.圖像放大的偏微分方程方法［J］.計算機輔助設計與圖形學學報,2005,17(9):1941-1943.

［6］李蘭蘭,吳樂南.基于各向異性擴散的圖像去噪并放大［J］.信號處理,2005,21(1):106-107.

［7］石澄賢,王元全,李朝峰,等.基于總變差的圖像放大和增強方法［J］.計算機工程與應用,2004(2):95-98.

［8］吳霖芳,王海明.插值與高階微分方程聯用的圖像放大模型［J］.閩江學院學報,2009,30(5):58-61.

［9］RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms [J]. Physica D, 1992, 60(11): 259-268.

［10］YOU Yu-li, KAVEH M. Fourth-order partial differential equations for noise removal [J]. IEEE Trans. on Image Proc., 2000, 9(10): 1723-1730.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文