結合壓縮感知與非局部信息的圖像超分辨率重建

陳偉業　孫權森

摘要：

針對現有的超分辨率重建算法只考慮圖像塊的灰度信息，而忽略了紋理信息，并且大多數非局部方法在強調非局部信息的同時，沒有考慮局部信息的問題，提出一種結合壓縮感知與非局部信息的圖像超分辨率重建算法。首先，根據圖像塊的結構特征計算像素之間的相似性，同時考慮了圖像塊的灰度信息和紋理信息；然后，合并圖像的局部和非局部信息來估計相似像素的權重，構造結合局部和非局部信息的正則項；最后，將圖像的非局部信息引入到壓縮感知框架中，通過迭代收縮算法求解稀疏表示系數。實驗結果表明，所提算法與現有的基于學習的超分辨率算法相比，重建圖像的峰值信噪比和結構相似度取值更高，并且在恢復圖像紋理細節的同時有效抑制了噪聲。

關鍵詞：

超分辨率重建；壓縮感知；非局部信息；稀疏表示；結構特征

中圖分類號：

TP391.41

文獻標志碼：A

Abstract：

The existing superresolution reconstruction algorithms only consider the gray information of image patches， but ignores the texture information， and most nonlocal methods emphasize the nonlocal information without considering the local information. In view of these disadvantages， an image superresolution reconstruction algorithm combined with compressed sensing and nonlocal information was proposed. Firstly， the similarity between pixels was calculated according to the structural features of image patches， and both the gray and the texture information was considered. Then， the weight of similar pixels was evaluated by merging the local and nonlocal information， and a regularization term combining the local and nonlocal information was constructed. Finally， the nonlocal information was introduced into the compressed sensing framework， and the sparse representation coefficients were solved by the iterative shrinkage algorithm. Experimental results demonstrate that the proposed algorithm outperforms other learningbased algorithms in terms of improved Peak SignaltoNoise Ratio and Structural Similarity， and it can better recover the fine textures and effectively suppress the noise.

英文關鍵詞Key words：

superresolution reconstruction； compressed sensing； nonlocal information； sparse representation； structural feature

0引言

隨著軟硬件技術的發展，圖像的空間分辨率越來越高。高分辨率圖像不僅可以給人們帶來視覺上的享受，而且能夠提供豐富的圖像細節信息。然而，在圖像獲取過程中，有許多因素會導致圖像分辨率的下降。通過改進硬件系統的性能來提高圖像分辨率，主要受到當前制造技術的限制，而且高精密的光學元件和傳感器價格昂貴，并不適合一般的商業應用。為了克服制造工藝和生產成本的限制，利用圖像處理技術提高圖像分辨率的方法受到了越來越多的關注，相關的算法被稱為圖像超分辨率重建。

目前，圖像超分辨率算法主要有三類，包括基于插值的算法、基于重建的算法和基于學習的算法。基于插值的算法有雙線性插值、雙三次插值等，它們計算復雜度小、運行速度快，但容易導致嚴重的模糊，并且丟失大量細節信息。基于重建的算法[1-3]結合圖像的降質模型，利用先驗信息約束超分辨率重建過程，該類算法重建圖像的質量比插值算法有所提高，但可能丟失部分高頻信息。基于學習的算法[4-7]是目前的研究熱點。該類算法的目的是尋找高分辨率圖像和低分辨率圖像之間的對應關系，常用的手段有根據訓練樣本學習字典來表示圖像或建立高、低分辨率圖像在特征空間中的某種映射。Yang等[4]提出了基于稀疏編碼的超分辨率算法，該算法為高、低分辨率圖像塊分別訓練對應的字典，并且使它們具有相同的稀疏表示，但當訓練樣本和測試圖像差距較大時，字典的性能會隨之下降。Zeyde等[5]將測試圖像自身作為訓練樣本學習字典，使用K奇異值分解（KSingular Value Decomposition， KSVD）求解低分辨率字典，再利用最優方向法求解高分辨率字典，但該算法很難得到能夠稀疏表示所有

圖像塊的全局字典。Chang等[6]受流形學習思想的啟發，提出了基于鄰域嵌入的超分辨率算法，但高、低分辨率塊之間存在一對多的映射關系，因此流形假設不一定成立。為了解決該問題，Gao等[7]在鄰域嵌入法的基礎上，同時訓練兩個投影矩陣，將高、低分辨率圖像的特征空間映射到一個統一的特征子空間中，但該算法要求低分辨率圖像塊相似的同時，要求高分辨率圖像塊也相似，這導致算法的適用范圍受到限制。

在圖像超分辨率重建中，利用圖像的非局部信息進行高頻細節恢復是另一種研究思路。該類算法使用圖像自身結構的相似性來定義像素之間的差異，并根據相似圖像塊之間提供的互補信息重建高分辨率圖像，從而更有效地保護圖像的結構信息。近年來，已有學者將壓縮感知理論與圖像的非局部相似性引入到圖像超分辨率重建領域[8-11]。Pan等[8]提出了一種結合壓縮感知框架和結構自相似性的圖像超分辨率算法，該算法利用圖像結構自相似性所提供的附加信息，通過壓縮感知框架實現圖像重建，并在重建過程中僅使用了待處理低分辨率圖像的插值圖像作為KSVD字典學習的樣本。在該算法的基礎上，潘宗序等[9]利用非局部方法和基于圖像金字塔的KSVD字典學習算法，提出了基于多尺度結構自相似性的算法，將蘊含在相同尺度和不同尺度相似圖像塊中的附加信息加入重建圖像。Dong等[10]提出了自適應字典選取與正則化算法，該算法對圖像庫中的樣本進行聚類，并對每一類分別訓練字典，將非局部信息作為正則化約束項加入到圖像重建過程中。Dong等[11]進一步提出了非局部集中稀疏表示算法，該算法將降質圖像的稀疏編碼與未知原始圖像的稀疏編碼之差定義為稀疏編碼噪聲，并利用圖像的非局部信息來減小稀疏編碼噪聲，從而提高圖像的重建質量。上述算法在計算像素相似性時，只考慮圖像塊的灰度信息，而忽略了紋理信息。紋理特征也會影響像素相似性的計算，灰度值相同的兩個像素鄰域結構可能存在較大差別。此外，大多數非局部方法在強調非局部信息的同時，沒有考慮局部信息，只是簡單地將兩者等同看待，這可能導致在一些特征變化較明顯的區域，如邊緣部分，重建的圖像過度平滑。為了解決現有算法中存在的問題，本文提出了一種新的結合壓縮感知與非局部信息的圖像超分辨率重建算法。該算法在計算像素相似性時，同時考慮了圖像塊的灰度特征和紋理特征，并且合并了圖像的局部和非局部信息，從而利用了更加豐富的先驗知識；接著，將改進后的非局部正則項加入到壓縮感知超分辨率重建框架中；最后，通過與其他圖像超分辨率算法的比較驗證了該算法的有效性。

1理論基礎

圖像超分辨率重建是指根據一幅或者多幅低分辨率圖像獲得高分辨率圖像的過程，屬于維數增加問題，其解通常是不確定的。在壓縮感知理論[12-14]中，由測量值獲得原始信號也是一個從低維到高維的維數增加問題，與超分辨率重建類似。因此，借鑒壓縮感知的相關思想研究圖像超分辨率算法具有實質性的意義。圖1給出了使用傳統方法與使用壓縮感知理論獲取和處理圖像信號的對比。

3實驗分析

為了驗證本文算法的有效性，將所提出的算法與其他典

型的圖像超分辨率算法進行比較，并討論了輸入噪聲的影響。對于測試的高分辨率圖像，先使用標準差為1.6，大小為7×7的高斯模糊核對高分辨率圖像進行模糊操作，然后按照縮放因子3對模糊圖像在水平和垂直方向下采樣，獲得對應的低分辨率圖像。與其他算法比較時，用于相似性估計的圖像塊大小設置為3×3，局部信息和非局部信息的調節參數設置為0.8，搜索窗口的大小設置為9×9，相似性閾值設置為0.8，小于該閾值時，像素之間的相似性設置為0。為了抑制邊緣效應，對實驗圖像進行重疊分塊，低分辨率圖像按照3×3分塊，在相鄰塊之間存在1個像素的重疊部分，對應了9×9分塊的高分辨率圖像，在相鄰塊之間重疊3個像素，對于重疊部分，取平均值作為重建結果。為了客觀評價各種算法的重建效果，使用峰值信噪比（Peak SignaltoNoise Ratio， PSNR）和結構相似度（Structural Similarity， SSIM）作為評價指標。

3.1不同算法重建結果的比較

本節選取8幅常見的自然圖像，給出不同算法間的對比實驗結果，并進行客觀評價指標下的定量分析。選取的對比算法包括雙三次插值（Bicubic），Yang等[4]的稀疏編碼超分辨率算法（Sparse Coding SuperResolution， SCSR），潘宗序等[9]的多尺度結構自相似性超分辨率算法（Multiscale Structural Selfsimilarity SuperResolution， MSSSR）和Dong等[11]的非局部集中稀疏表示算法（Nonlocally Centralized Sparse Representation， NCSR）。其中，文獻[9]與文獻[8]中的算法相比，有所改進，文獻[11]與文獻[10]中的算法相比，有所改進，作者在原文的實驗中已經予以證明，因此，本文使用文獻[9]和文獻[11]中的算法進行對比。由于文獻[4]中的算法不能同時提高分辨率和去模糊，按照作者的建議，實驗中對該算法重建的圖像使用迭代反向投影來去除模糊。

圖5給出了Lena圖像使用五種超分辨率算法重建的結果，其中第一行為整幅圖像，第二行為局部細節圖。從圖中可以看出，雙三次插值算法重建的圖像模糊嚴重且很多細節無法分辨，尤其紋理復雜的區域，如人物的頭發；SCSR算法一定程度上提高了邊緣的銳度，恢復了部分高頻信息，但是紋理保持能力較差，圖像仍然較模糊；后三種算法均同時考慮了圖像的稀疏性和非局部相似性，從整幅圖像上來看，重建圖像的質量均明顯提高，視覺效果更加舒適。但從局部細節圖來看，MSSSR算法和NCSR算法放大圖像后部分區域過度平滑，尤其是紋理結構相差較大的邊緣部分，這是因為這些區域特征變化明顯， MSSSR算法和NCSR算法在計算相似像素權重時沒有很好地權衡局部信息和非局部信息之間的關系；相比其他算法，本文算法重建平滑和紋理區域都十分有效，能夠恢復更多和更整潔的細節信息。

3.2對噪聲的魯棒性分析

由圖2給出的圖像降質過程可知，在圖像獲取過程中不可避免地受到噪聲干擾。在圖像中由于噪聲和邊緣都對應著高頻成分，因此在超分辨率重建過程中保持邊緣細節和抑制噪聲是一對矛盾，需要受到更多關注。在圖像超分辨率重建中抑制噪聲的影響主要有兩種思路，其一是將重建過程分成不相交的兩個步驟：先去噪，再超分辨率。然而，這種策略重建圖像的質量很大程度上取決于具體的去噪算法，并且在去噪時低分辨率圖像中的任何破損都將保持甚至擴大到后面的超分辨率過程。另一種思路是同時完成超分辨率和去噪，基于壓縮感知的算法和基于非局部相似性的算法都采用了這種思路，如文獻[11]提出的NCSR算法既適用于圖像超分辨率重建，又適用于圖像去噪。本文算法在壓縮感知框架下將非局部信息引入圖像超分辨率重建，同時考慮了圖像的稀疏性和非局部相似性，即算法在超分辨率重建的同時，既能有效抑制圖像中的噪聲，又能較好地保護邊緣細節信息。

為了測試本文算法對噪聲的魯棒性，選取Bridge圖像和Milk圖像進行實驗，其中，Bridge圖像紋理結構復雜，Milk圖像紋理結構簡單。在低分辨率輸入圖像中添加不同程度的高斯噪聲，高斯噪聲標準差的范圍從0遞增到12，每次增加2，共7組取值。圖6、7分別給出了Bridge圖像和Milk圖像在不同噪聲水平下重建結果的PSNR和SSIM值的變化情況。從圖中可以看出，隨著噪聲的增加，各種算法重建圖像的PSNR和SSIM值均有所下降，但本文算法（Proposed）的下降程度最小，并且在相同噪聲的情況下，本文提出的算法可以獲得相對更高的PNSR和SSIM取值，這說明了在圖像含噪的情況下，本文算法的重建效果更好，抗噪性能更佳。

4結語

本文將圖像的非局部信息用于超分辨率重建，在基于壓縮感知的圖像重建模型中引入合并了圖像局部和非局部信息權重的正則項，并通過迭代收縮算法求解稀疏表示系數。該算法在求取圖像塊特征時，同時考慮了灰度信息和紋理信息，提高了像素相似性計算的準確性。與其他幾種基于學習的算法相比，本文算法重建圖像的PSNR和SSIM值均有所提高，紋理細節更加清晰，抗噪性能更佳。在后續的工作中，可以研究如何根據圖像的特征自適應地設置參數，從而進一步提高算法的有效性。

參考文獻：

[1]

FATTAL R. Image upsampling via imposed edge statistics [J]. ACM Transactions on Graphics， 2007， 26（3）： 1-8.

[2]

SUN J， XU Z， SHUM H. Image superresolution using gradient profile prior [C]// CVPR 2008： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2008： 1-8.

[3]

TAI Y， LIU S， BROWN M S， et al. Super resolution using edge prior and single image detail synthesis [C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 2400-2407.

[4]

YANG J， WRIGHT J， HUANG T S， et al. Image superresolution via sparse representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2681-2873.

[5]

ZEYDE R， ELAD M， PROTTER M. On single image scaleup using sparserepresentations [C]// ICCS 2010： Proceedings of the 7th 2010 International Conference on Curves and Surfaces. Berlin： Springer， 2010： 711-730.

[6]

CHANG H， YEUNG D， XIONG Y. Superresolution through neighbor embedding [C]// CVPR 2004： Proceedings of the 2004 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004，1： 275-282.

[7]

GAO X， ZHANG K， TAO D， et al. Joint learning for singleimage superresolution via a coupled constraint [J]. IEEE Transactions on Image Processing， 2012， 21（2）： 469-480.

[8]

PAN Z， YU J， HUANG H， et al. Superresolution based on compressive sensing and structural selfsimilarity for remote sensing images [J]. IEEE Transactions on Geoscience and Remote Sensing， 2013， 51（9）： 4864-4876.

[9]

潘宗序，禹晶，胡少興，等.基于多尺度結構自相似性的單幅圖像超分辨率算法[J].自動化學報，2014，40（4）：594-603.（PAN Z X， YU J， HU S X， et al. Single image super resolution based on multiscale structural selfsimilarity[J]. Acta Automatica Sinica， 2014， 40（4）： 594-603.）

[10]

DONG W， ZHANG L， SHI G， et al. Image deblurring and superresolution by adaptive sparse domain selection and adaptive regularization [J]. IEEE Transactions on Image Processing， 2011， 20（7）： 1838-1857.

[11]

DONG W， ZHANG L， SHI G， et al. Nonlocally centralized sparse representation for image restoration [J]. IEEE Transactions on Image Processing， 2013， 22（4）： 1620-1630.

[12]

DONOHO D L. Compressed sensing [J]. IEEE Transactions on Information Theory， 2006， 52（4）： 1289-1306.

[13]

TSAIG Y， DONOHO D L. Extensions of compressed sensing [J]. Signal Processing， 2006， 86（3）： 549-571.

[14]

CANDES E J， WAKIN M B. An introduction to compressive sampling [J]. IEEE Signal Processing Magazine， 2008， 25（2）： 21-30.

[15]

DAUBECHIES I， DEFRISE M， DE MOL C. An iterative thresholding algorithm for linear inverse problems with a sparsity constraint [J]. Communications on Pure and Applied Mathematics， 2004， 57（11）： 1413-1457.

[16]

ZHANG X， BURGER M， BRESSON X， et al. Bregmanized nonlocal regularization for deconvolution and sparse reconstruction [J]. SIAM Journal on Imaging Sciences， 2010， 3（3）： 253-276.

[17]

ZHANG Z， RAO B D. Extension of SBL algorithms for the recovery of block sparse signals with intrablock correlation [J]. IEEE Transactions on Signal Processing， 2013， 61（8）： 2009-2015.

[18]

ZHOU H， ZHENG J， WEI L. Texture aware image segmentation using graph cuts and active contours [J]. Pattern Recognition， 2013， 46（6）： 1719-1733.