基于自類推的NSCT域單幅圖像超分辨率重建

程倩倩 范新南 李慶武

(河海大學計算機與信息學院 常州 213022)

1 引言

圖像在獲取、傳輸過程中，由于成像條件和天氣條件的影響，使得實際圖像分辨率低，質量較差。傳統的插值法作用于單幅圖像，由于無法利用額外信息，導致重建圖像的輪廓模糊，高頻信息受損。為了解決該問題，人們研究了多種自適應圖像插值方法，圖像質量有一定程度的提高，但邊緣模糊現象仍然存在，為此人們又提出了邊緣保持的自適應圖像插值方法，但該方法需要消耗大量時間和存儲空間，并且在干擾嚴重的情況下會錯判邊緣[1]。

圖像超分辨率重建(Super-resolution Reconstruction,SR)技術[2-17]突破傳統方法的束縛，利用一幅或者多幅具有互補信息的低分辨率圖像來重構一幅高分辨率圖像，該技術已被廣泛應用于圖像壓縮、安全監控和遙感等領域。目前，超分辨率重建技術主要分為基于重構的[2-11]和基于學習的[12-17]兩大類。基于重構的SR方法又分為頻域法和空域法。相比于頻域法，空域法具有更大的靈活性，最常用的有凸集投影法[8,9]和最大后驗概率估計法[10,11]。基于重構的方法通常需要輸入多幅圖像，由于只能從輸入的多幅圖像中獲得所需要的信息，而需要增加的信息本質上是無法預測的，故對于大的放大倍數，通常不能很好地重構圖像的高頻信息。2001年紐約大學的Herzmann等人[13]提出了基于學習的圖像類推算法，并可以通過圖像類推來實現超分辨率重建。文獻[13]為了獲得更準確的細節信息，采用的訓練集合中的樣本數量往往較大，導致算法運行速度較慢；同時由于圖像的灰度值變化范圍比較大，導致類推過程產生較大的誤差。文獻[14,15]提出采用自類推的方法來提高圖像的清晰程度，該方法比一般的圖像類推算法的速度快，并能夠產生較為合理的細節，但是由于學習樣本只有自身，超分辨率重建的圖像會產生一定的人工痕跡，圖像的邊緣視覺過硬。文獻[16]提出一種將圖像類推技術與立方插值相結合的方法，該方法直接對高分辨率圖像的高頻細節信息進行學習，圖像變清晰的同時人工痕跡也有一定程度的減少，但該算法運行速度較慢，需要合適的訓練集合，可是在很多實際應用中很難獲得適當的圖像訓練集。

NSCT[18-20]在線和超平面的奇異性表示上具有各向異性特點，不僅能將圖像各頻帶區分開，且多向和平移不變性可以增強細節的保護能力。考慮到NSCT可以解決插值法存在的邊緣輪廓模糊的問題，自類推可以解決一般圖像類推算法對訓練集合的依賴和速度較慢的問題，本文融合圖像自類推技術[14,15,17]和NSCT[18-20]的優點，提出一種基于自類推的NSCT域單幅圖像超分辨率重建方法。對標準Lena圖像進行實驗，并與文獻[15,16]提出的方法進行比較，實驗表明本文方法可以獨立進行，具有較強的邊緣細節保持能力，圖像更逼真。

2 NSCT

由于Contourlet變換在拉普拉斯金字塔和方向濾波器中都存在下采樣操作，造成Contourlet變換不具有平移不變性，不可避免地會引起偽吉布斯現象。為了消除Contourlet變換[21,22]的頻譜混疊現象，增強方向選擇性和平移不變性，Cunha等人[19]利用非下采樣塔式分解和非下采樣濾波器組構造出了NSCT。NSCT[18-20]不但具有多尺度，多方向，平移不變性和良好的空域、頻域局部特性，而且各子帶圖像之間的尺度大小相等。NSCT由非下采樣塔式分解和非下采樣濾波器組兩部分構成，圖1給出了NSCT的分解示意圖，首先通過非下采樣塔式濾波器(NSP)將圖像分解為低頻部分和高頻部分，然后由非下采樣方向濾波器組(NSDFB)將高頻部分分解為2的任意次冪個方向。

圖1 非下采樣Contourlet變換

3 圖像類推

圖像類推的基本思想來源于多分辨紋理合成技術，它將關鍵的風格映射定義為一個近似最近搜索問題，從而把風格的生成換成紋理合成[14]。

3.1 圖像類推問題描述

已知一組圖像A,A'和B，其中A為未經濾波的源圖像，A'為源圖像A濾波后的圖像，B為一幅未經濾波的圖像，通過學習A和A'的映射關系f，利用關系f作用在目標圖像B上，從而類推出一幅濾波后的目標圖像B'，記作：A：A'B：B'(f(B))，如圖2所示，從視覺上看B到B'的轉變類似于A到A'的轉變。

圖2 圖像類推示意圖

3.2 圖像類推算法

為了達到最佳匹配搜索的目的，Hertzmann等人[13]采用鄰域最佳匹配來衡量目標像素點q與源像素點p之間的差距，并且采用相似最近鄰域搜索算法來加速像素的搜索匹配。為了避免在合成過程中目標圖像的結構發生變化，采用高斯金字塔[16]來保持目標圖像的結構。

圖像類推算法流程可用以下步驟來描述：

步驟1 對源圖像A，源圖像A濾波后的圖像A'和目標圖像B進行預處理，計算像素的特征向量；

步驟2 創建A,A'和B的高斯金字塔，在B的基礎上構建f(B)的高斯金字塔；

步驟3 初始化搜索算法的數據結構；

步驟4 按照金字塔的結構，從頂層到最底層，逐層逐像素點合成目標圖像f(B)中的每個像素點，搜索過程中運用相鄰域搜索算法進行加速，像素之間根據鄰域最佳匹配原則進行匹配，最后保存目標圖像f(B)。

3.3 圖像自類推算法

圖像類推必須依賴訓練集合，但是在很多實際應用中很難獲得適當的圖像訓練集。圖像自類推[14,15]算法的優點就是不需要訓練集合，完全可以獨立進行。設輸入圖像為I，退化算子為φ，則理想的超分辨率算子為φ-1，根據圖像局部結構的自相似性和可傳遞性[17]，可認為φ-1在相鄰的尺度上是一個不變算子。通過退化模型[12]產生退化算子φ，則I與φ(I)構成了一對具有超分辨率關系的圖像對，即I=φ-1(φ(I))。通過學習它們之間的關系，并將之傳遞給I，即可實現對I的超分辨率重建。圖像超分辨率問題被轉化成一個特殊的圖像類推問題，其中φ(I)和I分別相當于類推問題訓練集合中的A和A',φ-1是學習的風格，I同時又是待處理對象B，目標是B'=φ-1(I)。

4 NSCT域的自類推算法

4.1 低通子帶系數非線性增強

對于低對比度的光學圖像，其分解后的低通子帶系數的模值相差較小，為了實現增強效果，需要進行灰度值的拉伸。低通子帶系數關系到圖像的整體對比度，包含了圖像的基本信息，噪聲較少。本文對低通子帶系數采用歸一化的非完全 Beta函數來提高整體對比度，通過調整參數z和w使圖像的整體灰度過渡較為平緩。Tubbs提出的歸一化非完全Beta函數[23]可以實現典型灰度變換曲線的自動擬合。歸一化的非完全Beta函數定義為

4.2 算法原理框圖

圖3給出了基于自類推的NSCT域單幅圖像超分辨率重建算法的原理框圖。首先對源圖像和退化圖像進行多尺度、多方向的NSCT分解，得到用于學習的低通子帶對和各帶通方向子帶對，接著通過圖像自類推技術學習低通子帶對與帶通方向子帶對之間的非線性映射關系，并將該映射關系作用于低分辨率的低通子帶和各帶通方向子帶，得到高分辨率的低通子帶和各帶通方向子帶，接著對高分辨率的低通子帶進行非線性增強，最后經過NSCT重構得到超分辨率重建圖像。

4.3 算法步驟

步驟1 設輸入的源圖像為I，退化算子為φ，本文φ是一個高斯模糊過程，則退化圖像記作φ(I)，對I進行J級NSCT變換，得到各帶通方向子帶Cj,k(I)和低通子帶C0(I)，接著對φ(I)也進行J級NSCT變換，得到各帶通方向子帶Cj,k(φ(I))和低通子帶C0(φ(I))，其中1≤j≤J,1≤k≤2lj,j表示尺度，k表示帶通子帶方向，2lj表示尺度j上分解的方向數；

步驟2 將C0(I)和C0(φ(I))組成一對具有超分辨率關系的圖像對，再將Cj,k(I)和對應的Cj,k(φ(I))構成一對具有超分辨率關系的細節圖像對；

步驟3 通過自類推學習C0(I)和C0(φ(I))的映射關系f0，學習Cj,k(I)與對應Cj,k(φ(I))的映射關系fj,k；

步驟4 將映射關系f0和fj,k依次作用于C0(I)和Cj,k(I)，生成高分辨率的低通子帶和高分辨率的各帶通方向子帶；

步驟5 對高分辨率的低通子帶采用式(1)和式(2)進行非線性增強：

圖3 NSCT域的自類推算法原理框圖

其中C和分別是增強前和增強后的低通子帶系

0數，M0是增強前的低通子帶系數的最大值，k為常數(k＞1),z=7,w=10；

步驟6 對高分辨率的低通子帶和高分辨率的各帶通方向子帶進行NSCT重構，得到超分辨率重建圖像。

主要模塊可用下面的偽語言進行更詳細地描述：

函數：自類推(C0(φ(I)),Cj,k(φ(I),C0(I),Cj,k(I))

令A=(C0(φ(I)),Cj,k(φ(I))),A'=(C0(I),Cj,k(I)),B=(C0(I),Cj,k(I))，完成訓練集合構建；

S(V)=函數基于方塊的圖像類推(A,A',B)；

初始化最佳能量E=MAX_E；

初始化最佳解G=NULL；

循環：從第一塊至最后一塊，遍歷ni

循環：從最佳匹配至第k佳匹配，遍歷k計算當前解G'的能量E(G')；

如果E(G')＜E

E=E(G'),G←G'

B←G

函數：基于方塊的圖像類推(φ(W),W,W)

對W進行分塊，使W={bi}，并初始化圖G，使

計算bi的中心位置pi對應的在φ(W)上的位置φ(pi)；

循環：從左上角像素至右下角像素，遍歷φ(pi)的相鄰搜索域；

前k個與bi距離最近的方塊φ()←函數ANN(Almost Nearest Neighbour)搜索(k,bi)；

將φ()對應的W的圖像塊φ-1(φ())作為圖案；

ni=∪;

S(V)=∏ni

5 實驗結果與分析

為了驗證本文方法的有效性，將本文方法與立方插值，文獻[14,15]提出的自類推算法和文獻[16]提出的改進的圖像類推算法進行對比實驗。實驗中選擇的圖像是常用的標準測試圖像Lena，圖像大小為512×512。由于頁面空間有限，同時為了避免丟失圖像信息，只截取顯示了整幅圖像的四分之一，大小為256×256，如圖4(a)所示。對圖4(a)進行2倍下采樣和高斯模糊(Hsize取為3,Sigma取為0.849)后得到本實驗的源圖像圖4(b)；圖4(c)是對圖4(b)進行立方插值放大后的圖像；圖4(d)是對圖4(b)采用文獻[15]提出的基于自類推算法重建的圖像；圖4(e)是對圖4(b)采用文獻[16]提出的改進的圖像類推算法重建的圖像；圖4(f)是對圖4(b)采用本文方法重建的圖像，其中NSCT分解層數為2，從低分辨率層到高分辨率層，方向分解數依次取為4和8，尺度分解采用‘9-7’濾波器，方向分解采用‘dmaxflat’濾波器。

圖4 Lena圖像的超分辨率重建結果圖

從圖4中可以明顯看出，圖4(c)的視覺效果最差，邊緣模糊；圖4(d)的邊緣比圖4(c)清晰，生成的細節較為合理，缺點是局部區域有塊狀現象，邊緣視覺過硬，有明顯的人工痕跡；圖4(e)的人工痕跡比圖4(d)有一定程度的減少，克服了局部塊狀現象，缺點是人工痕跡依然存在，邊緣呈現輕微的鋸齒狀，同時視覺較硬；圖4(f)的邊緣比圖4(e)更清晰，紋理更豐富，產生的細節更合理，人工痕跡很弱，視覺效果最佳，圖像更逼真。

圖5(b)是源圖像的某帶通方向子帶(圖5(b))，圖5(a)是對應的退化圖像的帶通方向子帶，圖5(c)是采用本文方法重建的高分辨率帶通方向子帶。

為了更清晰地說明重建效果，對超分辨率重建圖像的局部區域進行了放大比較，如圖6所示。圖6(a)和圖6(b)的邊緣最模糊，紋理最弱；圖6(e)和圖6(f)的邊緣比圖6(c)和圖6(d)的邊緣清晰，同時區域過渡自然，人工痕跡很弱，紋理信息更豐富，更逼真。如圖6(d)的人臉輪廓不連續，局部區域呈現鋸齒狀，紋理較粗糙；圖6(f)的人臉輪廓較清晰，局部紋理光滑細致，圖像更逼真，分辨率更高。

圖5 某帶通方向子帶的超分辨重建結果圖

圖6 超分辨重建圖像的局部對比

由于目前圖像超分辨率重建領域尚無統一的定量評價標準，定量評價結果只能在一定程度上說明算法的有效性。本文選用標準偏差、平均梯度和信息熵作為超分辨率重建效果的測度指標，如表1所示。通常，標準偏差越大，圖像的灰度級分布越均勻，目視效果越好；平均梯度越大，圖像的細節反差越大，紋理特征更為突出，清晰度較高；信息熵越大，圖像的信息量越豐富。本文方法具有最高的標準偏差值和信息熵值，表明采用本文方法重建的圖像灰度分布更均勻，信息量更多，目視效果更好。需要注意的是，明顯的人工痕跡和過硬的邊緣導致采用文獻[15,16]所提算法超分辨率重建圖像的梯度值較大，然而過硬的邊緣與明顯的人工痕跡也降低了重建圖像的質量，影響了圖像的逼真度。表1的定量分析與前面的主觀視覺效果相一致，說明本文方法的有效性。

表1 超分辨率重建圖像的質量參數

6 總結

針對單幅圖像超分辨率重建中存在的問題，本文提出一種基于自類推的NSCT域單幅圖像超分辨率重建方法。首先對源圖像和退化圖像進行NSCT分解，得到用于學習的低通子帶對和各帶通方向子帶對，再通過尺度自類推生成高分辨率的低通子帶和各帶通方向子帶，最后進行NSCT重構得到超分辨率重建圖像。實驗結果表明，該方法可以獨立進行，具有較強的邊緣細節保持能力，人工痕跡弱，圖像更逼真。

[1]孫春鳳,袁峰,丁振良.一種新的邊緣保持局部自適應圖像插值算法[J].儀器儀表學報,2010,31(10)：2279-2284.Sun Chun-feng,Yuan Feng,and Ding Zhen-liang.New locally adaptive image interpolation algorithm based on edge preserving[J].Chinese Journal of Scientific Instrument,2010,31(10)：2279-2284.

[2]Van Ouwerkerk J D.Image super-resolution survey[J].Image and Vision Computing,2006,24(10)：1039-1052.

[3]Tian Jing and Ma Kai-kuang.A survey on super-resolution imaging[J].Signal,Image and Video Processing,2011,5(3)：329-342.

[4]Park Sung-cheol,Park Min-kyu,and Kang Moon-gi.Superresolution image reconstruction：a technical overview[J].IEEE Signal Processing Magazine,2003,20(3)：21-36.

[5]沈煥鋒,李平湘,張良培,等.圖像超分辨率重建技術與方法綜述[J].光學技術,2009,35(2)：194-199.Shen Huan-feng,Li Ping-xiang,Zhang Liang-pei,et al..Overview on super resolution image reconstruction[J].Optical Technique,2009,35(2)：194-199.

[6]浦劍,張軍平,黃華.超分辨率算法研究綜述[J].山東大學學報(工學版),2009,39(1)：27-32.Pu Jian,Zhang Jun-ping,and Huang Hua.A survey of super resolution algorithms[J].Journal of Shandong University(Engineering Science),2009,39(1)：27-32.

[7]韓玉兵,吳樂南,張冬青.基于正則化處理的超分辨率重建[J].電子與信息學報,2007,29(7)：1713-1716.Han Yu-bing,Wu Le-nan,and Zhang Dong-qing.Superresolution reconstruction based on regularization[J].Journalof Electronics＆Information Technology,2007,29(7)：1713-1716.

[8]Patti A J,Sezan M I,and Tekalp A M.Superresolution video reconstruction with arbitrary sampling lattices and onzero aperture time[J].IEEE Transactions on Image Processing,1997,6(8)：1064-1076.

[9]Patti A J and Altunbasak Y.Artifact reduction for set theoretic superresolution image reconstruction with edge adaptive constraints and higher-order interpolants[J].IEEE Transactions on Image Processing,2001,10(1)：179-186.

[10]張磊,楊建峰,薛彬,等.改進的最大后驗概率估計法實現單幅圖像超分辨率重建[J].激光與光電子學進展,2011,48(1)：78-85.Zhang Lei,Yang Jian-feng,Xue Bin,et al..Modified MAP algorithm for single frame super-resolution reconstruction[J].Laser＆Optoelectronics Progress,2011,48(1)：78-85.

[11]彭旭俊,張桂林.基于 Gibbs模型的提高圖像分辨率方法[J].紅外與激光工程,2003,32(6)：613-616.Peng Xu-jun and Zhang Gui-lin.Restoration of high resolution image based on Gibbs model[J].Infrared and Laser Engineering,2003,32(6)：613-616.

[12]喬建蘋,劉琚,閆華,等.基于Log-WT的人臉圖像超分辨率重建[J].電子與信息學報,2008,30(6)：1276-1280.Qiao Jian-ping,Liu Ju,Yan Hua,et al..A log-WT based super-resolution algorithm[J].Journal of Electronics＆Information Technology,2008,30(6)：1276-1280.

[13]Hertzmann A,Jacobs C E,Oliver N,et al..Image analogies[C].Proceedings of Computer Vision and Pattern Recognition,San Juan,Puerto Rico,1997：554-560.

[14]古元亭,吳恩華.基于非線性卷積的可控圖像類推和自類推技術[J].計算機輔助設計與圖形學學報,2008,20(3)：332-336.Gu Yuan-ting and Wu En-hua.Non-linear convolution based controllable image analogies and self analogies[J].Journal of Computer-Aided Design＆Computer Graphics,2008,20(3)：332-336.

[15]古元亭,吳恩華.基于圖像類推的超分辨技術[J].軟件學報,2008,19(4)：851-860.Gu Yuan-ting and Wu En-hua.Image-analogies based super resolution[J].Journal of Software,2008,19(4)：851-860.

[16]喻繼業,吳煒,滕奇志,等.基于圖像類推的遙感圖像超分辨率技術[J].計算機應用,2010,30(1)：61-67.Yu Ji-ye,Wu Wei,Teng Qi-zhiet al..Image-analogies based super resolution for remote sensing images[J].Journal of Computer Applications,2010,30(1)：61-67.

[17]韓華,王洪劍,彭思龍.基于局部結構相似性的單幅圖像超分辨率算法[J].計算機輔助設計與圖形學學報,2005,17(5)：941-947.Han Hua,Wang Hong-jian,and Peng Si-long.A new superresolution algorithm for a single image based on local structure similarity[J].Journal of Computer-Aided Design＆Computer Graphics,2005,17(5)：941-947.

[18]吳煒,楊曉敏,陳默,等.基于改進的非下采樣 Contourlet變換的超分辨率復原算法[J].光學學報,2009,29(6)：1493-1501.Wu Wei,Yang Xiao-min,Chen Mo,et al..Super-resolution restoration algorithms based on improved nonsubsampled Contourlet transform[J].Acta Optica Sinica,2009,29(6)：1493-1501.

[19]Cunha A L,Zhou J,and Do M N.The nonsubsampled Contourlet transform：theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10)：3089-3101.

[20]沙宇恒,劉芳,焦李成.基于非下采樣Contourlet變換的SAR圖像增強[J].電子與信息學報,2009,31(7)：1716-1721.Sha Yu-heng,Liu Fang,Jiao Li-cheng.SAR image enhancement based on nonsubsampled Contourlet transform[J].Journal of Electronics＆Information Technology,2009,31(7)：1716-1721.

[21]婁帥,丁振良,袁峰.基于Contourlet變換的迭代圖像復原算法[J].光學學報,2009,29(10)：2768-2773.Lou Shuai,Ding Zhen-liang,and Yuan Feng.Iterative image restoration algorithm based on Contourlet transform[J].Acta Optica Sinica,2009,29(10)：2768-2773.

[22]Do M N and Vetterli M.The Contourlet transform：an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing,2005,14(12)：2091-2106.

[23]Tubbs J D.A note on parametric image enhancement[J].Pattern Recognition,1987,20(6)：617-621.