改進的基于鄰域嵌入的圖像超分辨率重構

李　強，劉　哲，南炳炳，顧淑音

(西北工業(yè)大學 理學院，西安 710129)

改進的基于鄰域嵌入的圖像超分辨率重構

李強，劉哲*，南炳炳，顧淑音

(西北工業(yè)大學 理學院，西安 710129)

摘要：為了提高傳統(tǒng)的基于鄰域嵌入的圖像超分辨率重構算法的時間效率，采用了一種利用圖像塊方向信息進行鄰域選擇和訓練集分類的新方法。該方法首先利用圖像塊方向的不同對訓練集進行分類，然后在分類后的子訓練集中選擇與待重構圖像塊的方向相似的圖像塊作為鄰域進行重構，并對重構結(jié)果進行迭代反投影全局后處理，進一步提高重構質(zhì)量，最后對改進方法進行數(shù)值實驗驗證。結(jié)果表明，該方法不僅把超分辨率重構的時間效率提高了10倍以上，而且重構質(zhì)量也得到了改善，具有較好的實際應用價值。

關鍵詞：圖像處理；超分辨率重構；鄰域嵌入；方向；迭代反投影

*通訊聯(lián)系人。E-mail: liuzhe@nwpu.edu.cn

引言

在信息技術空前發(fā)展的今天，人們對高分辨率圖像的需求越來越大，通過硬件技術提升分辨率的方法難以突破物理瓶頸，因此，利用圖像超分辨率重構算法來提高分辨率成為解決這個問題的突破口。

CHANG等人[1]首次把流形學習[2]的思想引入超分辨率重構中，在假設低分辨率(low-resolution,LR)圖像塊和對應的高分辨率(high-resolution,HR)圖像塊在特征空間上具有相似局部幾何結(jié)構的流形的前提下，提出了基于鄰域嵌入(neighbor embedding,NE)的超分辨率方法。FAN等人[3]提出了基于NE的圖像幻構方法，采用了新的圖像塊特征，發(fā)展了此類方法。CHAN等人[4]利用相位一致性[5]邊緣檢測方法將圖像塊分為邊緣塊和非邊緣塊，兩種圖像塊區(qū)別處理;同時，他們聯(lián)合能更好地保持鄰域關系的標準亮度信息[6]和包含高頻信息的1階梯度信息作為圖像塊特征進行重構，提高了重構質(zhì)量。LIAO等人[7]則采取聯(lián)合標準亮度和代表高頻信息的穩(wěn)定小波變化系數(shù)來表征圖像塊特征。CAO等人[8]采用離散余弦變換系數(shù)來表示圖像塊特征，重構過程中自適應地選擇鄰域圖像塊數(shù)目，重構效果進一步提高。

目前基于NE的超分辨率算法的研究幾乎都是通過選擇更好的特征表示方法來提高算法的重構質(zhì)量，算法的時間效率卻沒有提高，并且忽略了圖像塊的幾何特征。本文中將圖像塊的方向信息[9]這一幾何特征引入到基于NE的超分辨率算法中，利用圖像塊的方向不同來對訓練集分類，得到代表不同方向信息的子訓練集；相應地，在選取鄰域時選擇方向特征最接近的K個圖像塊作為鄰域；最后，為了進一步提高重構質(zhì)量，把重構圖像作為原始圖像進行迭代反投影[10](iterative back-projection,IBP)后處理。實驗結(jié)果表明，本文中算法的時間效率提高明顯，同時，重構質(zhì)量也有了很大提高。

1基于鄰域嵌入的超分辨率重構

基于NE的超分辨率重構[1]假設LR圖像塊和對應的HR圖像塊有相似的局部幾何流形，通過尋找LR圖像塊的K近鄰表示得到相應的HR圖像塊K近鄰表示，然后把HR圖像塊的K近鄰表示按權值線性組合得到重構圖像塊。以下分別以Xt表示待重構的LR圖像，Yt表示預期的重構圖像，Xs表示訓練集中的LR圖像，Ys表示訓練集中相應的HR圖像，以xt,q,yt,q,xs,p,ys,p分別表示圖像Xt,Yt,Xs,Ys的圖像小塊向量，其中，p,q=1,2…。

對于任意一個LR圖像Xt中的局部塊xt,q，首先要在整個訓練集中搜索到與xt,q的歐式距離最近的K個圖像塊組成鄰域集Nq。在得到鄰域后，計算Nq中每個圖像塊的重構權值，重構權值是通過求解重構誤差最小化問題得到的：

那么Yt中相應的圖像塊yt,q可以通過下式計算：

在得到Y(jié)t中所有圖像塊的初始估計值后，通過平均相鄰圖像塊間重疊區(qū)域的像素值來保證圖像塊間的兼容性和平滑性。

2改進的鄰域嵌入算法

基于NE的超分辨率重構算法搜索鄰域的方式是計算待重構圖像塊與訓練集中所有圖像塊的歐式距離，選擇距離最小的K個圖像塊作為鄰域。計算一個歐式距離包含多個平方運算、多個加法運算和一個開方運算，并且訓練集中往往有上萬個圖像塊，而一幅待重構低分辨率圖像又可以分成上千個圖像塊，可想而知，搜索鄰域所包含的運算量是非常大的，導致該類算法的時間效率低。因此，要提高該類算法的時間效率，必須選擇更好的鄰域搜索方式。本文中將圖像塊的方向引入進來，利用方向的不同來搜索鄰域和對訓練集分類，大大減少了運算量，提高了時間效率。

2.1　局部圖像塊的方向

對于局部圖像塊，根據(jù)其方差的大小可以把它劃分為平滑塊和非平滑塊，當方差小于某個閾值Tth時，判定其為平滑塊；否則判定為非平滑塊。非平滑塊又可以分為隨機塊和方向塊[9]，圖像塊的方向是對其梯度圖像進行奇異值分解(singular value decomposition,SVD)計算得到的。

小于某個閾值R*時，該圖像塊則被看作是隨機塊，否則該圖像塊為方向塊。其中，S1,1,S2,2分別是S的對角元素。圖像塊的方向γ可以通過下式估計[12]：

2.2　本文中的改進算法

本文中的改進之處主要有兩點：利用圖像塊方向的不同對訓練集分類，以減小每次搜索鄰域的范圍，提高搜索效率；選取與待重構圖像塊xt,q的方向最接近的K個訓練集圖像塊作為鄰域，這種選取方式只需要計算減法運算，減小了運算量。

在建立訓練集時，計算訓練集中每一個LR圖像塊xs,i的方差為vs,i，判斷vs,i>Tth是否成立，如果不成立，則把該圖像塊從訓練集中刪除；否則，利用(3)式計算xs,i的主方向測度Rs,i,判斷Rs,i

在選取鄰域時，原來的利用歐式距離選取的方法計算量太大，本文中利用圖像塊方向的相似程度來選取鄰域。對于任意一個LR圖像Xt中的方向塊xt,q，假設其方向角度為γt,q，計算下式：

式中，γs,i是與角度γt,q相對應的子訓練集內(nèi)圖像塊的方向角度。di越小，則表示方向角度越接近，因此，選取di最小的前K個圖像塊作為xt,q的鄰域。在重構時，首先根據(jù)平滑性及方向特征對每一個圖像塊歸類，如果是平滑塊直接進行雙三次插值放大；如果是方向塊或隨機塊，則利用(5)式在相應的子訓練集內(nèi)搜索鄰域，然后通過計算(1)式和(2)式獲得估計塊。為了進一步提高重構質(zhì)量，把重構結(jié)果作為原始圖像，進行迭代反投影全局后處理。

2.3　本文中的算法步驟

通過以上分析，本文中的重構算法步驟可以總結(jié)如下。

輸入：訓練集中的HR圖像Y和LR圖像X，待處理LR圖像Xt。

步驟(1)：對Y和X進行特征提取和分塊，刪除平滑塊并利用(4)式計算剩余塊的方向，方向的角度范圍取0°~180°，為方便處理，定義隨機塊的方向為a(a<0)。

步驟(2)：對圖像塊按照角度分類，隨機塊分為一類，方向塊每間隔一定的角度分為n類，每類之間保持一定角度的重疊，以此建立HR訓練集Ys和LR訓練集Xs。

步驟(3)：對LR圖像Xt提取特征并分塊，利用(3)式和(4)式計算圖像塊的方向。

步驟(4)：對于任意一個圖像塊xt,q，如果是平滑塊則直接進行雙三次插值放大；否則，通過(5)式選取其鄰域，利用(1)式計算鄰域塊的權值，最后利用(2)式得到估計的HR圖像塊yt,q。

步驟(5)：由所有的HR圖像塊yt,q組合得到初步的重構圖像，然后進行IBP后處理獲得最終的重構HR圖像Yt。

輸出：HR重構圖像Yt。

3實驗結(jié)果及分析

實驗中的計算機配置為：Intel(R)Core(TM)2QuadCPUQ6600@2.4GHz，主頻2.39GHz，3.37GB內(nèi)存，WindowsXP操作系統(tǒng)。編程環(huán)境和運行平臺為MATLAB2012b。

Fig.1　Training images in the test

Fig.2　Reconstruction result of girl image

a—LRimageb—reference[1]c—reference[4]d—reference[8]

e—ourmethodf—ourmethod+IBPg—HRimage

為了驗證本文中算法的有效性以及實驗參量和訓練集的大小對本文中算法重構結(jié)果的影響，分別進行了以下4組實驗。實驗中，訓練集共分為19類，其中方向塊每隔10°分為一類，每類之間保持3°的重疊；重構時選取LR圖像塊像素大小為3×3，放大倍數(shù)為3倍，相鄰圖像塊間的重疊像素為2，閾值Tth和R*分別取20和0.3。實驗中用到的圖像同參考文獻[1]中的一樣，如圖1所示。

3.1　重構效果及時間效率比較

為了驗證本文中算法的重構效果及時間效率，選取像素大小為280×280的girl圖像和像素大小為255×384的plant圖像用本文中算法進行超分辨率重構，并與參考文獻[1]、參考文獻[4]和參考文獻[8]中的算法進行比較，結(jié)果如圖2和圖3所示。其中，本文中算法選取的鄰域大小K=100，圖像特征選擇聯(lián)合標準亮度和1階梯度[8]。訓練集的建立過程是可以離線進行的，所以建立訓練集的時間不計入在內(nèi)。

圖像的重構質(zhì)量使用均方根誤差(root-mean-squareerror，RMSE)、峰值信噪比(peaksignal-to-noiseratio，PSNR)[13]和結(jié)構相似度(structuralsimilarity，SSIM)[14]來衡量，RMSE越小、PSNR和SSIM越大，則表示圖像質(zhì)量越好。為了更好地和參考文獻[1]、參考文獻[4]比較，本文中的算法和參考文獻[4]中算法的訓練集圖像與參考文獻[1]中的保持一致，girl圖像用的訓練集由圖1中第1行的兩幅圖像組成，plant圖像用的訓練集由第2行的兩幅組成。4種算法的重構效果如圖2、圖3和表1所示。

Fig.3　Reconstruction result of plant image

a—LRimageb—reference[1]c—reference[4]d—reference[8]

e—ourmethodf—ourmethod+IBPg—HRimage

首先從算法的時間效率來看，由表1中的數(shù)據(jù)可以看到，其它3種算法所耗費的時間都比較長，時間效率很低；而本文中算法對訓練集進行了分類，并選取了計算量很小的鄰域選擇方法，時間效率提高了10倍以上。從算法的重構質(zhì)量來看，無論是圖2和圖3的視覺效果還是重構質(zhì)量評價指標，在沒有經(jīng)過IBP后處理的情況下，本文中算法的重構結(jié)果也明顯優(yōu)于其它算法，原因是因為本文中的算法采用了更適合表征鄰域的鄰域選擇方式，選取了更多的鄰域塊來提高重構質(zhì)量?？梢钥吹剑瑢χ貥嫿Y(jié)果進行IBP后處理，重構質(zhì)量又進一步得到了改善。

Table 1　Comparison between our method and other methods

3.2　鄰域圖像塊數(shù)目K對重構結(jié)果的影響

基于NE的超分辨率方法根據(jù)歐氏距離，選擇最相似的K=5個圖像塊作為待處理圖像塊的鄰域；本文中算法是根據(jù)圖像的方向信息相似程度來選擇鄰域塊，如果選擇K=5，本文中的重構效果不理想。為了驗證K對本文中算法重構效果的影響，分別選取K=10,20，…，200，然后對girl圖像和plant圖像進行超分辨率重構，實驗結(jié)果如圖4所示。

Fig.4　Effect of different K on reconstruction result

a—PSNR with differentKof the girl imageb—PSNR with differentKof the plant imagec—time with differentKof the girl and plant images

由圖4a和圖4b可以看出，重構結(jié)果的PSNR指標隨著K值的增加而增加，但是當K>100時PSNR增幅變得很??；由圖4c可以看出，算法的時間效率隨著K值的增加降低。考慮到重構效果和時間效率的平衡，選取K=100時，重構效果比較理想，同時時間效率也比較高。

3.3　訓練集的大小對重構結(jié)果的影響

從理論角度分析，訓練集越大，所包含的圖像塊種類和圖像信息越豐富，重構的效果會越好；但同時使得搜索范圍擴大，時間效率降低。為了驗證訓練集大小對本文中算法重構效果的影響，采用 girl圖像和plant圖像進行實驗。實驗中，分別選取訓練集的圖像塊個數(shù)為104,2×104，…，6×104塊，取K值的大小為100。實驗結(jié)果如表2所示。

從表2中的數(shù)據(jù)可以看到，當訓練集的大小為104塊時，本文中算法的重構質(zhì)量已經(jīng)比較理想；隨著訓練集的變大，重構質(zhì)量慢慢變好，幅度很小，可以忽略不計。由此可知，本文中算法的另外一個優(yōu)勢就是,只需要少量的訓練集圖像就能獲得比較理想的重構結(jié)果，對數(shù)據(jù)量的要求較小。

Table 2　Effect of train-set size on reconstruction results

4結(jié)論

針對基于NE的超分辨率算法的時間效率低和重構效果不理想的不足，本文中的算法在NE的理論框架下對其進行了改進，把圖像塊的方向特征引入到基于NE的超分辨率方法中。實驗結(jié)果證明，本文中算法的時間效率提高了10倍以上，重構結(jié)果圖像的細節(jié)更加豐富、清晰。由于本文中算法的重構效果和時間效率與K和訓練集的大小及分類有關，因此在實際應用中，可以通過選取典型的、有代表性的、同時又包含適中數(shù)目的圖像建立訓練集，重構時選擇適當?shù)腒值來實現(xiàn)效果更好的超分辨率重構。另外，對訓練集的分類更細致，可進一步提高算法的時間效率。

參考文獻

[1]CHANG H, YEUNG D Y, XIONG Y. Super-resolution through neighbor embedding[C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York,USA:IEEE,2004:1-8.

[2]SEUNG H S, LEE D D. The manifold ways of perception[J]. Science, 2000, 290(5500): 2268-2269.

[3]FAN W, YEUNG D Y. Image hallucination using neighbor embedding over visual primitive manifolds[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2007.New York, USA:IEEE, 2007: 1-7.

[4]CHAN T K, ZHANG J P, PU J,etal. Neighbor embedding based super-resolution algorithm through edge detection and feature selection[J]. Pattern Recognition Letters, 2009, 30(5): 494-502.

[5]KOVESI P. Image features from phase congruency[J]. Journal of Computer Vision Research, 1999, 1(3): 1-26.

[6]SU K, TIAN Q, XUE Q,etal. Neighborhood issue in single-frame image super-resolution[C]// IEEE International Conference on Multimedia and Expo, 2005.New York,USA:IEEE, 2005:4.

[7]LIAO X X, HAN G Q, WO Y,etal. New feature selection for neighbor embedding based super-resolution[C]// 2011 International Conference on Multimedia Technology (ICMT). New York, USA:IEEE, 2011: 441-444.

[8]CAO M M, GAN Z L, ZHU X C. Super-resolution algorithm through neighbor embedding with new feature selection and example training[C]// 2012 IEEE 11th International Conference on Signal Processing (ICSP). New York, USA:IEEE, 2012: 825-828.

[9]YANG S Y, WANG M, CHEN Y G,etal. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding[J]. IEEE Transactions on Image Processing, 2012, 21(9): 4016-4028.

[10]WAN B, MENG L, MING D,etal. Video image super-resolution restoration based on iterative back-projection algorithm[C]// IEEE International Conference on Computational Intelligence for Measurement Systems and Applications, 2009.New York, USA:IEEE, 2009: 46-49.

[11]EDELMAN A. Eigenvalues and condition numbers of random matrices[J]. SIAM Journal on Matrix Analysis and Applications, 1988, 9(4): 543-560.

[12]BIGUN J, GRANLUND G H, WIKLUND J. Multidimensional orientation estimation with applications to texture analysis and optical flow[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(8): 775-790.

[13]SAYOOD K. Statistical evaluation of image quality measures [J]. Journal of Electronic Imaging, 2002, 11(2):206-213.

[14]WANG Z, BOVIK A C, SHEIKH H R,etal. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing,2004, 13(4): 600-612.

Improved image super-resolution reconstruction based neighbor embedding

LIQiang,LIUZhe,NANBingbing,GUShuyin

(School of Science, Northwestern Polytechnical University, Xi’an 710129, China)

Abstract：In order to improve the time-efficiency of traditional super-resolution reconstruction based on neighbor embedding, a new method was proposed using direction information of image patches to choose neighborhood and classify the training set. Firstly, the training set was classified through the differences of patches directions. Secondly, the neighborhood used to reconstruct was chosen in the sub-sets by selecting training patches with the similar direction, and then the iterative back-projection was applied during the reconstruction to further enhance the super-resolution image quality. Finally, numerical experiments were conducted to verify the new method. The results show that the proposed algorithm increases time-efficiency more than 10 times and super-resolution performance is improved. The new method has better practical value.

Key words:image processing；super-resolution; neighbor embedding; direction; iterative back-projection

文章編號：1001-3806(2015)01-0019-04

收稿日期：2014-01-07；收到修改稿日期：2014-02-17

作者簡介：李強(1989-)，男，碩士研究生，現(xiàn)主要從事圖像超分辨率重構的研究。

中圖分類號：TN911.73

文獻標志碼：A

doi:10.7510/jgjs.issn.1001-3806.2015.01.003