基于Gabor變換的圖像鄰域嵌入超分辨率放大

武曉敏, 徐 健,2, 范九倫, 王彥梓

(1.西安郵電大學 通信與信息工程學院， 陜西 西安 710121; 2.西安交通大學 電子與信息工程學院， 陜西 西安 710049)

基于Gabor變換的圖像鄰域嵌入超分辨率放大

武曉敏1, 徐 健1,2, 范九倫1, 王彥梓1

(1.西安郵電大學 通信與信息工程學院， 陜西 西安 710121; 2.西安交通大學 電子與信息工程學院， 陜西 西安 710049)

為了改善圖像超分辨率放大的效果，提出一種基于Gabor變換的超分辨率放大算法。通過將圖像塊與多方向、多尺度的Gabor濾波器求卷積，來提取圖像塊的局部特征；利用歐幾里得距離度量標準，為提取了Gabor特征的測試圖像塊尋找準確的近鄰圖像塊，并通過聯合學習高、低分辨率圖像塊對的方法，求出圖像塊對之間的關系；將尋找到的近鄰圖像塊進行線性組合，求得所需的高分辨率圖像塊。實驗結果顯示，圖像的Gabor特征能夠幫助測試圖像塊找到更準確的近鄰圖像塊，從而提高超分辨率算法的性能。

超分辨率放大；Gabor特征；鄰域嵌入；聯合學習；映射矩陣

圖像的超分辨率放大(Super-resolution, SR)就是從一幅或幾幅低分辨率(Low-resolution, LR)圖像中恢復其高頻信息來得到其對應的高分辨率(High-resolution, HR)圖像。超分辨率技術在生物醫療、軟硬件民用設備、刑偵圖像和遙感圖像處理等方面都有廣泛應用。SR方法主要分為三大類，即基于插值的方法[1-3]、基于重建的方法[4-7]和基于學習的方法[8-19]。

基于學習的SR方法利用圖像在高頻細節上的相似性，即通過學習LR圖像和對應HR圖像之間的關系來指導圖像超分辨率放大的過程[20]。

文[11]將HR圖像塊和相應的LR圖像塊作為樣本，利用馬爾可夫網絡模型描述在高分辨率重建過程中原始圖像與樣本塊之間的關系，這種算法的結果與訓練樣本有著密切的聯系，且會引入一些較明顯的人工痕跡。

文[12]提出一種典型的基于鄰域嵌入(Neighbor Embedding，NE)算法，此算法從流型學習引入了局部線性嵌入(Locally Linear Embedding, LLE)[21]，即LR圖像塊與它對應的HR圖像塊在結構上是局部相似的。但是，一個LR圖像塊可能對應多個HR圖像塊，影響了此算法的重建效果。

文[13]在文[12]的基礎上利用分組圖像塊對(Grouping Patch Pairs，GPPs)來尋找近鄰點的位置，并結合了聯合學習的方法來實現圖像的超分辨率放大，此算法能較好地解決一對多的問題。但是，它是基于提取圖像的梯度特征來尋找近鄰圖像塊的，而梯度特征只能代表圖像兩個方向(垂直和水平)的紋理信息，對于所選近鄰塊的準確性有一定影響。

為了提取更能代表圖像紋理信息的特征，本文將嘗試利用Gabor濾波器來提取圖像多方向多尺度的局部信息，提出一種基于Gabor變換的圖像鄰域嵌入超分辨率放大(GTNE-SR)算法。由于Gabor小波與人類視覺系統中簡單細胞的視覺刺激響應非常相似，即Gabor濾波器的頻率和方向表示接近人類視覺系統對于頻率和方向的表示，常常被用來表示和描述圖像紋理，因此，提取圖像的Gabor特征也許能幫助找到更準確的近鄰圖像，進而提高圖像超分辨率放大的性能。

1 GTNE-SR算法

GTNE-SR算法的具體流程如圖1所示。

圖1 算法流程

1.1 算法分解

1.1.1 訓練過程及尋找近鄰點位置

基于NE的SR本質上是利用機器學習的方法得到高低分辨率圖像間的映射關系。為了讓機器模擬圖像生成的過程，需要有能供學習的訓練樣本，且訓練樣本不僅要包含LR圖像，還要有對應的HR圖像。這樣在輸入一張LR測試圖時，就可以通過學習到的映射關系生成對應的HR圖像。

雖然圖像的Gabor濾波特征對外界環境如光照、圖像旋轉等具有較強的魯棒性，但當濾波器個數較多時，其構成的Gabor特征維數太高。比如選取W個濾波器，其實部與虛部一共就有2W個濾波器，這樣若圖像在分塊時的尺寸為q×q時，那么一個圖像塊所有的Gabor特征級聯后，其特征維數就為q×q×2×W，很明顯維數較高，這樣就會使得存儲困難、計算量加大而耗時。故考慮將Gabor小波特征僅用以尋找近鄰點的位置，而其后的重建過程則采用維數較低(q×q×4)的梯度特征。

首先定義LR梯度特征訓練集

它對應的HR圖像訓練集為

對于輸入的低分辨率測試圖像，首先定義其梯度特征集為

它對應的高分辨率圖像塊

對于Gabor特征集中的每一個低分辨率測試圖像塊，可以求出其與低分辨率訓練集中每個圖像塊的距離

(1)

1.1.2 訓練圖像塊對的聯合學習

假設Li∈d×K(i=1,2,…,M)是由K個d維的列向量按列排放在一起的矩陣，這些向量是第i個測試圖像塊的近鄰點集合Ni中K個近鄰位置所對應的訓練樣本塊，即}r∈Ni。同樣可得其對應的Hi∈m×K(i=1,2,…,M)和}r∈Ni。

根據先驗知識，訓練集中同一索引對應的高低分辨率塊在結構上應該是相似的，但由于特征向量維數的不一致，無法直接判斷其相似性，所以將它們分別通過兩個不同的映射函數映射到維數相同的子空間后，就可以直接比較其相似性。為了求解

(2)

需要計算出映射函數

fl:d→p,

fh:m→p。

假設用映射矩陣Pl∈d×p和Ph∈m×p來代替映射函數fl和fh，式(2)可以寫成

(3)

將式(3)的求和部分展開可得[13,24]

tr{[(Li)TPl-(Hi)TPh]T[(Li)TPl-(Hi)TPh]}=

其中I是一個K×K的單位矩陣，假設

則式(3)可以簡寫成

s.t.PTQQTP=I,PTQl=0.

(4)

這里l表示一個2K維的全1向量。令

E=QAQT,F=QQT,

這樣P就可以由

EP=λFP

經特征值分解的方法求得。

為了更有效地解決上述的特征值分解問題，可將EP=λFP變化為

Li(Li)TPl-Li(Hi)TPh=λLi(Li)TPl,

(5)

Hi(Hi)TPh-Hi(Li)TPl=λHi(Hi)TPh。

(6)

根據式(6)，可以得到

(7)

把式(7)入式(5)，就可以得到

Li(Hi)T[Hi(Hi)T]-1Hi(Li)TPl=

(1-λ)2Li(Li)TPl。

(8)

假設

G=Li(Hi)T[Hi(Hi)T]-1Hi(Li)T,

J=Li(Li)T,

則式(8)就可寫成

GPl=(1-λ)2JPl,

(9)

這樣，只要根據式(9)求出Pl，將其代入式(7)就可以求出對應的Ph。它們將高、低分辨率圖像塊映射到了同樣維數的子空間。這里有一點需要注意，由于Hi(Hi)T不一定可逆，為了防止其奇異，一般可取

Hi(Hi)T=Hi(Hi)T+τI,

其中τ是一個極小的正數(如10-6)[24]，I是一個單位矩陣。

1.1.3 后處理過程

由于初始生成的圖像可能受到噪聲等的降質影響，為了使圖像更適合人類視覺系統，需要對最初生成的高分辨率圖像先經過去除噪聲，然后再進行圖像增強。

假設X是高分辨率圖像，Y是其對應的低分辨率圖像，它是X經過模糊B，下采樣D和受到噪聲η干擾后所生成的降質圖像，即

Y=DBX+η。

(10)

首先，采用全變分法(Total Variation, TV)[22]法進行圖像去模糊，然后用反投影迭代法(Iterative Back-projection, IBP)[23]的方法進行圖像增強，IBP過程可表示為

其中μ是用來均衡平滑先驗和反投影迭代的約束因子(不妨設其為1)，X0是去噪后的高分辨率圖像，可以采用梯度下降法等優化方法求得最優解X*。

1.2 算法描述

根據此前的流程分解，可把GTNE-SR算法總結如下。

輸入

(1) 低分辨率測試圖像Y和圖像塊尺寸q×q。

(2) 訓練數據集

(3) 近鄰數K,映射矩陣的維數p。

(4) Gabor濾波器參數,包括核方向變量個數

V=3 (v=0,1,2)，

尺度變量個數

U=4 (μ=0,1,2,3),

Gabor小波的窗口大小h×w，其余參數參考文獻[25]。

輸出 HR圖像X*。

步驟1 將Y的梯度圖像和Gabor特征圖像分別有重疊地分割成q×q的圖像塊(重疊像素可以是1個或者2個)，構成測試數據集

步驟2.3 利用Nj中位置處對應的訓練圖像塊構成矩陣L和Hi，然后通過式(6)(7)(8)計算出映射矩陣Pl和Ph。

步驟2.5 為使重建的誤差達到最小，用最小二乘的方法求出最優的權值向量

步驟2.6 運用最優權值重建

步驟4 用TV法對X0進行去噪，用IBP法對圖像進行增強，最后輸出高分辨率圖像X*。

2 實驗參數設置及實驗結果

2.1 實驗參數設置

實驗所用訓練樣本下載自Yang[14]的主頁，共69幅具有各種類型的圖像作為高分辨率訓練圖，另外8幅不同類型的測試圖是很多研究者常用來做實驗的標準圖像，如圖2所示，為了后面描述方便，將這些測試圖像從1到8依次編序。

(a) 第1幅 (b) 第2幅(c) 第3幅(d) 第4幅

(e) 第5幅(f) 第6幅(g) 第7幅(h) 第8幅

圖2 測試圖像

為了模仿圖像從LR圖像形成HR圖像的過程，將HR訓練樣本進行4倍下采樣作為本實驗的LR訓練圖像。由于人類視覺系統對于亮度的敏感性比色度要強，我們將所有的圖像先進行彩色空間的轉化，即將RGB彩色空間轉化到YCbCr彩色空間。對于最初輸入的LR測試圖像，將其亮度部分先通過插值方法放大2倍得到其中低頻信息，并以此時得到的圖像Y0作為低分辨率測試圖像，在此基礎上進行超分辨率放大至4倍來恢復其高頻信息。對于其色度部分，直接進行插值放大至4倍即可。對于LR訓練圖像，其亮度部分也先放大兩倍得到插值后的圖像Y1。

提取圖像的Gabor特征時，首先選取Gabor濾波器的個數W為12(因為當濾波器個數增加至40時，第7幅測試圖像的峰值信噪比(Peak Signal to Noise Ratio, PSNR)的值只增加了0.001 7 dB，但運行時間卻為濾波器個數為12時的3倍，見圖3)，將低分辨率圖像通過與Gabor核卷積運算分別生成24幅Gabor特征圖像，其中包含12幅實部特征圖像和12幅虛部特征圖像；然后將所有的低分辨率Gabor特征圖像分成4×4的圖像塊，將每個低分辨率圖像塊的Gabor特征按列排放，即為4×4×24=384維的列向量。Gabor特征的維數較高，若使用Gabor特征來計算映射矩陣和最優權值，計算量很大，這也是只選擇用Gabor特征來找近鄰點位置的一個重要原因。

圖3 第7幅測試圖像的峰值信噪比及對應運行時間

接下來提取圖像的梯度特征，對于高、低分辨率訓練圖像和2倍插值后的LR測試圖像，將其與式

f1=[-1,0,1],

f3=[1,0,-2,0,1],

(11)

的4個一維濾波器卷積可得到每幅圖像的4幅梯度特征圖像。

為了保證訓練集中圖像塊的有效性，需要將每個訓練圖像塊去直流,同時，還要進一步篩選含有紋理(方差大于90，見圖4)的圖像塊作為訓練樣本。這樣實驗的訓練集中就有55 829個高低分辨率圖像塊對。為了保證放大后圖像的連續性，在對圖像分塊的時候要有重疊部分。

圖4 第4幅測試圖在不同方差時的峰值信噪比值

2.2 近鄰數對實驗的影響

近鄰圖像塊的數目對實驗有一定的影響。為了測試GTNE-SR算法中近鄰數K的最佳值，將近鄰數的范圍設為從1～20，Gabor濾波器窗口大小設為5×5，映射矩陣維數為10，實驗結果如圖5所示。從圖5(a)可見，隨著近鄰數K的增加，均方根誤差(Root-mean-square Error, RMSE)的整體變化趨勢是逐漸減小，直至K=19的時候達到最小。圖5(b)中的峰值信噪比(Peak Signal to Noise Ratio，PSNR)曲線呈現出相反趨勢，最終在K=19的時候達到最大值。綜上所述，近鄰數K=19的時候性能較好。

(a) 第5幅測試圖像近鄰數與RMSE的關系

(b) 第5幅測試圖像近鄰數與PSNR的關系

2.3 Gabor小波核窗口大小對實驗的影響

Gabor小波核窗口的大小對實驗的結果也是有一定影響的。窗口太大可能會將大量細節模糊，而窗口過小可能引入一些非細節的噪聲等。因此，為了驗證核窗口大小對實驗的影響，我們將窗口的高度h設為3、5、7、9，窗口寬度w與高度h一致。實驗結果如圖6所示，它們分別是第6幅測試圖像的實驗結果。從圖6(a)可見Gabor核窗口的高度為5時，其RMSE為最小，從圖6(b)可見Gabor核窗口的高度為5時，其PSNR達到峰值。因此，當Gabor窗口大小為5×5時，性能達到最好。

(a) Gabor核高度與RMSE的關系

(b) Gabor核高度與PSNR的關系

另外，實驗過程中還考慮了映射矩陣維數和Gabor濾波器的個數這兩個參數對本實驗的影響，實驗結果證明，當映射矩陣維數較高或濾波器個數增加時，算法的復雜度增加且耗時，但對實驗的結果卻無明顯改善。

2.4 實驗結果對比

為了評估GTNE-SR算法的性能，現將其與雙三次插值、Freeman[11]、NESR[12]、JLSR[13]4種算法進行對比。為了公平對比，幾種算法選用同樣的訓練圖像，且每一種算法的參數設置都按照原文獻中所設置的最佳參數，并選擇RMSE、PSNR、結構相似性(Structural Similarity Index Measurement，SSIM)[26]和特征相似性(Feature Similarity Index Measurement, FSIM)[27]作為4種客觀標準，相關數據見表1。

表1 測試圖經過不同方法4倍放大的客觀標準對比

從表1可見,GTNE-SR算法的每幅測試圖的SSIM和FSIM比其他4種算法都高，大部分測試圖的PSNR也高于其他4種算法，而其對應的RMSE大部分低于其他算法。

各算法4倍放大視覺圖像對比結果如圖7和圖8所示，3倍放大的對比結果如圖9所示，其中圖9(c)為ASDS(Adaptive Sparse Domain Selection)算法[18]的實驗結果。由此可見GFNE-SR算法的有效性，即GTNE-SR算法振鈴少，邊緣清晰，紋理細節較多且人工痕跡較少。

(a) 雙三次插值 (b)Freeman (c)NESR

(d)JLSR (e)GTNE-SR (f)原始高分辨率圖

圖7 第2幅測試圖像不同方法的4倍放大結果

(a)為雙三次插值

(b)Freeman

(c)NESR

(d)JLSR

(e)GTNE-SR

(f)原始高分辨率圖

圖8 第5幅測試圖不同方法的4倍放大結果

(a) 雙三次插值 (PSNR: 30.3286) (b) JLSR (PSNR: 30.6965) (c) ASDS (PSNR: 32.6098) (d) GTNE-SR(PSNR: 32.1820)

圖9 第3幅測試圖像不同方法的3倍放大效果

3 結論

利用二維Gabor濾波器具有在空間域和頻率域同時取得最優局部化的特性，提取圖像多方向多尺度的紋理信息作為特征來尋找近鄰點的位置,隨后利用聯合學習的思想構建兩個映射矩陣，將不同維數的高低分辨率圖像塊映射至同一維數的特征空間，從而可以構建最優權值。從實驗結果可以看出，GTNE-SR算法比雙三次插值、Freeman、NESR和JLSR算法有更好的性能。

尋找能夠更加有效地度量近鄰塊位置的距離標準將是未來工作的主要方面，另外，還可以考慮引入模糊C-均值聚類[28]或其他聚類，以降低算法的復雜度。

[1] Mallat S, Yu Guoshen, Super-resolution with sparse mixing estimators[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2889-2900.

[2] Chaves-Roman H, Ponomaryov V. Super resolution image generation using wavelet domain interpolation with edge extraction via a sparse representation[J].IEEE Geoscience and Remote Senssing Letters, 2014, 11(10): 1777-1781.

[3] Zhang David, Wu Xiaolin. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2226-2238.

[4] Huang T S, Tsai R Y. Multi-frame image restoration and registration[J]. Advances in Computer Vission and Image Processing, 1984, 1(2): 317-339.

[5] Li Xuelong, Hu Yanting, Gao Xinbo, et al. A multi-frame image super-resolution method[J]. Signal Processing, 2010, 90(2): 405-414.

[6] Protter M, Elad M, Takeda H, et al. Generalizing the nonlocal-means to super-resolution reconstruction[J]. IEEE Transactions on Image Processing, 2009, 18(1): 36-51.

[7] Gao Xinbo, Wang Qian, Li Xuelong, et al. Zernike-moment-based image super resolution[J]. IEEE Transactions on Image Processing, 2011, 20(10): 2738-2747.

[8] Dong Weisheng, Zhang Lei, Shi Guangming and Li Xin. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1620-1630.

[9] Timofte R, de Smet V, Gool L V. Anchored neighborhood regression for fast example-based super-resolution[C]//Proceeding of international Conference on Computer Vision. New York: IEEE, 2013: 1920-1927.

[10] Chen Xiaoxuan, Qi Chun. Low-rank neighbor embedding for single image super-resolution[J]. IEEE Signal Processing Letters, 2014, 21(1): 79-82.

[11] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[12] Chang Hong, Yeung Dit-Yan, Xiong Yimin. Super-resolution through neighbor embedding[C]//Proceeding of Conference on Computer Vision and Pattern Recongnition. New York: IEEE, 2004: 274-282.

[13] Gao Xinbo, Zhang Kaibing, Tao Dacheng. Joint learning for single-image super-resolution via a coupled constraint[J]. IEEE Transactions on Image Processing, 2012,21(2): 469-480.

[14] Yang Jianchao, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[15] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representation[C]//International Conference on Curves and Surfaces. Berlin:Springer, 2010: 711-730.

[16] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]//Proceeding of International Conference on Computer Vision. New York: IEEE, 2009: 349-356.

[17] Yang Chih-Yuan, Huang Jiabin, Yang Ming-Hsuan. Exploiting self-similarities for single frame super-resolution[C]//Proceeding of Asian Conference on Computer Vision.Berlin:Springer,2010: 497-510.

[18] Dong Weisheng, Zhang Lei, Shi Guangming, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2011, 20( 7): 1838-1857.

[19] Zhang Kaibing, Gao Xinbo, Tao Dacheng, et al. Single image super-resolution with multiscale similarity learning[J]. IEEE Transactions on Neural Networks and Leaning Systems, 2013, 24(10): 1648-1659.

[20] 卓力，王素玉，李曉光.圖像/視頻的超分辨率復原[M].北京：人民郵電出版社，2011：253-266.

[21] Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5500): 2323-2326.

[22] Lloyd S. Least squares quantization in PCM[J]. IEEE Transactions on Information Theory, 1982, 28( 2): 129-137.

[23] Irani M, Peleg S, Improving resolution by image registration[J]. Graphical Models and Image Processing, 1991, 53(3), 231-239.

[24] Li Bo, Chang Hong, Shan Shiguang, et al. Low-resolution face recognition via coupled local preserving mappings[J]. IEEE Signal Processing Letters, 2010, 17(1): 20-23.

[25] Liu Chengjun, Wechsler H. Gabor Feature Based Classification Using the Enhanced Fisher Linear Discriminant Model For Face Recognition[J]. IEEE Transactions on Image Processing, 2002, 11(4): 467-476.

[26] Wang Zhou, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing., 2004, 13(4): 600-612.

[27] Zhang Lin, Zhang Lei, Mou Xuanqin, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386 .

[28] 范九倫. 抑制式模糊C-均值聚類研究綜述[J]. 西安郵電大學學報，2014，19(3)：1-5.

[責任編輯:王輝]

Image super-resolution based on Gabor-transformed-neighbor-embedding

WU Xiaomin1, XU Jian1,2, FAN Jiulun1, WANG Yanzi1

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China；2.Image Processing and Recognition Center, Xi’an Jiaotong University, Xi’an 710049, China)

An algorithm based on Gabor transformation is proposed to improve the performance of image super-resolution (SR). In this algorithm, the local features of images can be obtained by the convolutions of the image patches and the multi-scale and multi-orientation Gabor filters. The K-nearest-neighbors (KNNs) can be found out for each test image patch by computing the Euclidean distances between it and image patches in the training set. The relationships between the low-resolution (LR) and the high-resolution (HR) image patch pairs can be obtained by joint learning method. The required HR image patch can be computed by the linear combination of the corresponding KNNs. Experimental results show that the Gabor features which extracted from image patch can help the test image patch to find its more accurate KNNs and thus improve the performance of SR.

super-resolution, Gabor feature, neighbor-embedding, joint learning, projection matrix

10.13682/j.issn.2095-6533.2014.06.008

2014-06-18

國家自然科學基金資助項目(61102095，61202183，61340040)

武曉敏(1989-),女,碩士研究生,研究方向為圖像處理和模式識別。E-mail:wuxiaomin_0110@163.com 徐健(1981-),女,副教授,從事數字圖像處理研究。E-mail：xujian_paper@126.com

TP391.4

A

2095-6533(2014)06-0038-10