基于非局部稀疏編碼的超分辨率圖像復原

劉 哲 楊 靜陳 路

(西北工業大學理學院 西安 710129)

基于非局部稀疏編碼的超分辨率圖像復原

劉 哲 楊 靜*陳 路

(西北工業大學理學院 西安 710129)

基于壓縮感知的超分辨率圖像復原方法通常采用局部稀疏編碼策略，對每一圖像塊獨立編碼，易產生人工的分塊效應。針對上述問題，該文提出一種基于非局部稀疏編碼的超分辨率圖像復原方法。該算法在字典訓練和圖像編碼過程中分別運用圖像的非局部自相似先驗知識，即利用低分辨率圖像的插值圖像訓練字典，并通過計算相似塊局部編碼的加權平均，得到每一圖像塊的非局部稀疏編碼。仿真實驗表明，所提算法能夠獲得更優的復原效果，并且對于含噪圖像具有較強的魯棒性。

超分辨率圖像復原；壓縮感知；非局部自相似；非局部稀疏編碼；單字典訓練

1 引言

隨著信息技術的發展，高質量、高清晰度的圖像日益成為遙感、醫學和生物識別等領域的普遍需求。然而，在圖像獲取過程中，由于成像系統自身的局限性，所獲得的圖像往往分辨率較低，無法反映真實場景的信息。因此，圖像的超分辨率復原方法被提出并迅速成為國內外學者的研究熱點。

壓縮感知(Compressive Sensing, CS)[1]理論的發展為超分辨率圖像復原提供了新的思路。CS理論指出：在適當條件下，高分辨率(High Resolution, HR)圖像可由其下采樣產生的低分辨率(Low Resolution, LR)圖像以高概率復原[2]。2009年，Sen等人[3]將CS理論應用于超分辨率圖像復原，利用HR圖像在小波基下可被稀疏編碼的先驗知識，加入模糊濾波器降低下采樣矩陣與小波基間的相關性，并在CS理論框架下求解HR圖像。然而由于一般自然圖像細節豐富、結構復雜，小波基無法為其提供最優的稀疏編碼。文獻[4,5]使用隨機選取的成對高、低分辨率圖像塊來稀疏表示圖像，提高了復原圖像的視覺效果，但為了實現精確重構需要大量成對的圖像塊構造高、低分辨率字典，計算復雜度高。

為了降低該類算法的計算復雜度，Yang等人[6,7]通過設計退化矩陣，將雙字典(高、低分辨率字典)訓練改進為單字典訓練，僅運用少量HR圖像塊訓練高分辨率字典。文獻[8]運用聚類和多任務學習的思想同時訓練多個只含少量原子的字典。2013年，Liu等人[9]進一步將圖像的形態學分解思想應用于字典訓練過程中，運用形態學構成分析方法將訓練集圖像分解為不同的形態學部分，針對每一部分構造相應的字典，提高了復原圖像的質量。

然而，基于壓縮感知的復原方法[6]對每一圖像塊獨立編碼，未考慮不同圖像塊之間的聯系，使得復原圖像存在人工的分塊效應和模糊。近年來有關圖像冗余的研究成果表明，自然圖像具有非局部的自相似性質(Non-local Self-Similarity, NSS)[10]，即圖像中存在大量相似的圖像塊結構，而這些相似塊的空間距離可能較遠。利用這種圖像冗余對相似塊進行相關操作，有利于保持圖像的邊緣，已被廣泛應用于求解各類圖像處理中的反問題[10-14]。

為了消除復原圖像中存在的人工分塊效應及模糊，本文基于圖像的NSS性質，引入基于NSS的字典訓練方法，并通過將相似塊的局部編碼作加權平均，對每一圖像塊進行非局部稀疏編碼，實現了一種基于非局部稀疏編碼的超分辨率圖像復原算法。

2 基于壓縮感知的超分辨率圖像復原

基于壓縮感知的超分辨率圖像復原方法[6]通過設計退化矩陣，在壓縮感知理論框架下求解復原圖像，將復雜的雙字典訓練過程[4,5]改進為單字典訓練，算法的時間效率明顯提高。

首先，利用隨機選取的HR圖像塊通過K奇異值分解(K-means Singular Value Decomposition, K-SVD)算法訓練高分辨率字典Dh[15]。將LR圖像Y分塊，對每一圖像塊y，復原旨在求解其相應的HR圖像塊x，其中y可看作是由x經過退化矩陣H和噪聲N作用得到的，即

上述圖像退化方程的求解是一個高度不適定的病態反問題，其解并不唯一。CS理論指出，若x在某個與H不相關的過完備字典Dh下可被稀疏編碼，即

那么上述不適定問題可轉化為求解式(3)所示的優化問題：

式中α為圖像塊x的稀疏編碼，||α||0＜＜K (||α||0表示α中非零元素的個數，K為α所含元素的總數)，λ為正常數，用于平衡兩項約束條件所占的比重。運用基追蹤算法求解優化問題式(3)，再由式(2)即可得到HR圖像塊x，組合HR圖像塊得到HR圖像X。

上述算法充分利用了自然圖像的稀疏性質，且只進行單字典訓練的思想使得算法的計算復雜度有效下降。然而該方法對每一圖像塊進行獨立復原，忽略了相似圖像塊的稀疏編碼之間的聯系，使得復原圖像中存在不同程度的人工分塊效應，在圖像邊緣處容易出現鋸齒現象。為克服以上不足，本文在上述復原方法的基礎上，綜合利用圖像的局部稀疏與非局部自相似性質進行復原。

3 基于非局部稀疏編碼的超分辨率圖像復原

3.1 基于NSS的字典訓練

圖像復原效果的優劣依賴于字典的選擇。利用大量隨機選取的HR圖像塊訓練成字典來稀疏表示圖像，能夠充分利用訓練集圖像所提供的高頻信息[4-9]。然而由于HR圖像是隨機選擇的，它們在外觀上與待復原的LR圖像有較大的差別，因此這些HR圖像為復原提供的細節信息可能是不準確的。

由于自然圖像具有非局部自相似性，LR圖像及其相應的插值圖像中相似的圖像塊結構能夠為復原提供必要的細節信息。本文首先利用雙三次(Bicubic)和雙線性(Bilinear)兩種插值算法對LR圖像進行插值，再將插值圖像作為訓練集進行字典訓練，這樣就充分利用了圖像的冗余特性，使得訓練出的字典Dh有更強的表現力。雙三次與雙線性算法是兩種常見且簡單易行的圖像插值算法，由于插值算法不同，其產生的插值圖像便能夠提供不同的細節信息。使得訓練集圖像更豐富，得到的字典能更準確地稀疏表示圖像?；贜SS的字典訓練過程如下：

(1)分別用雙三次與雙線性插值算法插值LR圖像Y，得到訓練集圖像X1,X2；

(2)將X1,X2分塊，組成訓練集Qh=[x1x2…xq](其中xi為第i個圖像塊的向量形式)，記B=[b1b2…bq]為相應的稀疏編碼矩陣，利用K-SVD算法求解以下優化問題：

得到高分辨率字典Dh=[d1d2…dK]；

(3)標準化Dh，使得||dj||2=1,j=1,2,…,K。

3.2 非局部稀疏編碼

在文獻[6]算法框架的基礎上，對圖像塊的局部編碼系數作非局部處理。首先對每一圖像塊xi，用正則化正交匹配追蹤(Regularized Orthogonal Matching Pursuit, ROMP)[16]算法求解優化問題式(3)得到其局部稀疏編碼αi；之后在整幅圖像中搜索圖像塊xi的相似塊xj，并通過式(5)計算xi的非局部稀疏編碼βi：

3.3 本文算法步驟

綜合以上分析，本文算法流程如圖1所示。

具體步驟總結如下：

輸入：LR圖像Y，放大倍數s，退化矩陣H。

步驟1 用Y的插值圖像作為訓練集，并利用K-SVD算法訓練字典hD；

步驟 2 對每一圖像塊yi，由ROMP算法求解式(3)，得到其局部稀疏編碼；

步驟4 迭代執行以下步驟，更新X(t)得到X(t+1),t=0,1,2,…。

(1)在X(t)中搜索的相似塊，并由計算的非局部稀疏編碼；

(3)對X(t+1)進行迭代反投影計算，進一步減小誤差。

輸出：HR圖像X。

4 仿真實驗及結果分析

為檢驗本文算法的有效性，對多類圖像進行超分辨率復原實驗。實驗中LR圖像塊的大小取為22×。為保持復原圖像中塊與塊間的一致性，塊與塊之間有一個像素的重疊?？紤]到人眼對彩色圖像的亮度通道較為敏感，只對亮度通道采用上述算法，其余通道利用Bicubic插值算法復原。

為比較不同算法的復原質量，采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和結構化自相似程度(Structural SIMilarity, SSIM)兩種客觀評價標準。PSNR指標通過計算復原圖像與原圖像的歐式距離來評價重構質量，計算公式為

這里(,)mnf,(,)mng分別代表原始圖像與復原圖像，圖像大小為MN×。PSNR值越高，復原圖像與原圖像越接近，復原質量越好；SSIM指標與人眼的視覺感知系統相關，計算公式為

μx,μy表示原始圖像與復原圖像的均值，σx,σy為圖像標準差，σx,y為原始圖像與復原圖像的協方差。SSIM值介于01～之間，越接近1，說明復原圖像與原圖像結構化相似程度越高，復原效果越好。

4.1 自然圖像實驗

為驗證本文算法的有效性，對多幅不同類型、不同特點的圖像(實驗LR圖像如圖2)進行復原實驗，放大倍數為2。將本文算法與雙三次插值、基于壓縮感知的復原算法[6,7]進行比較，部分實驗結果的局部放大圖如圖3所示，實驗圖像的PSNR與SSIM指標如表1所示，表中最后一列給出了不同算法下評價指標的平均值。

無論從主觀視覺效果還是客觀評價指標來看，本文算法都取得了更好的復原效果。由局部放大圖可知，雙三次插值算法生成的復原圖像過于平滑，文獻[6]算法圖像在邊緣處有鋸齒效應和模糊，而本文算法具有更加清晰的邊緣和細節。由客觀評價指標可知，本文算法復原效果略優于文獻[7]算法，這是由于本文算法中基于NSS的字典訓練方式使用LR圖像的插值圖像訓練字典，更有利于保護圖像的細節信息。圖表中本文算法1為去掉本文算法中非局部稀疏編碼部分(即步驟4(1)，步驟4(2))的實驗結果。由本文算法1與本文算法的對比結果可以看出，非局部稀疏編碼策略帶來了很大的性能提升。這是由于非局部稀疏編碼策略充分利用了相似圖像塊所提供的信息，加強了圖像塊稀疏編碼間的聯系，使得每一圖像塊的編碼不再彼此獨立。

圖1 基于非局部稀疏編碼的超分辨率圖像復原算法流程圖

圖2 實驗圖像

圖3 自然圖像復原實驗結果局部放大圖

4.2 含噪圖像實驗

由于受到環境因素的影響和成像系統自身的局限性，人們所獲得的圖像往往含有不同程度的噪聲。為驗證本文算法對噪聲的魯棒性，對含噪圖像進行超分辨率復原實驗。選取Lena和遙感2105含噪圖像進行仿真實驗，實驗中通過加入均值為0，標準差σ為5, 10, 15的高斯白噪聲來模擬實際獲取的圖像中所含的噪聲，復原圖像的PSNR與SSIM指標如表2所示。圖4為噪聲標準差10σ=時的實驗結果。

分析圖表數據可知，在對含噪圖像進行復原時，文獻[6]算法的復原結果有時并不如傳統的雙三次插值算法好，而本文算法的復原效果較優。由于非

局部稀疏編碼本質上相當于對圖像的稀疏編碼系數進行濾波，而濾波過程是圖像去噪的重要手段，因此本文算法針對含噪圖像具有較強的魯棒性，能夠在放大圖像的同時抑制圖像中的噪聲。這也使得本文算法更加適用于實際應用。

表1 不同算法下自然圖像復原結果比較

表2 不同算法下含噪圖像復原結果比較

圖4 含噪圖像復原實驗結果

4.3 不同放大倍數下各算法復原效果的比較

超分辨率圖像復原要求復原算法能夠對低分辨率圖像進行不同倍數的放大，放大倍數越高，復原所需添加的細節信息就越多，復原工作越復雜。實驗選取9696×的Child圖像，分別用雙三次插值、文獻[6]算法和本文算法對其進行1.5, 2.0, 2.5, 3.0, 4.0, 5.0倍放大，并對實驗結果描點繪圖，如圖5所示。由曲線變化圖可知，隨著放大倍數的增加，復原效果逐漸變差。放大5.0倍時，文獻[6]算法相比于雙三次插值算法效果較差，而本文算法卻能取得較好的復原效果。這是由于稀疏編碼理論能夠從少量的采樣值中抓住圖像的關鍵信息進行圖像復原，并且本文算法充分利用了圖像的非局部自相似先驗知識。

5 結束語

壓縮感知與稀疏編碼理論可實現低維信號到高維信號的精確重構，基于稀疏編碼的超分辨率圖像復原方法也成為近年來的研究熱點[17,18]。本文在此基礎之上，將圖像的非局部自相似性質作為先驗知識，在訓練字典和圖像編碼過程中分別運用這一先驗知識，提出了一種基于非局部稀疏編碼的超分辨率圖像復原方法，并進行了仿真和對比實驗。實驗結果驗證了算法的有效性和魯棒性。在非局部稀疏編碼的過程中，圖像塊的相似度判斷起著關鍵作用。本文采用歐式距離判斷相似程度，其優點是簡單易行，但也存在不能反映塊結構特點的不足。在未來的工作中，設計更加有效的相似塊評判標準、結合更多的圖像先驗知識進行復原，是值得進一步研究的問題。

圖5 不同算法下評價指標隨放大倍數變化曲線圖

[1] Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306.

[2] Kulkarni N, Nagesh P, Gowda R, et al.. Understanding compressive sensing and sparse representation-based super-resolution[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(5): 778-789.

[3] Sen P and Darabi S. Compressive image super-resolution[C]. 2009 Conference Record of the Forty-Third Asilomar Conference on Signals, Systems and Computers, Pacific Grove, CA, 2009: 1235-1242.

[4] Yang J, Wright J, Huang T S, et al.. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[5] Lu J, Zhang Q, Xu Z, et al.. Image super-resolution by dictionary concatenation and sparse representation with approximate L0norm minimization[J]. Computers & Electrical Engineering, 2012, 38(5): 1336-1345.

[6] Yang S, Sun F, Wang M, et al.. Novel super resolution restoration of remote sensing images based on compressive sensing and example patches-aided dictionary learning[C]. 2011 International Workshop on Multi-Platform/Multi-Sensor Remote Sensing and Mapping (M2RSM), Xiamen, 2011: 1-6.

[7] Yang S, Wang M, Sun Y, et al.. Compressive sampling based single-image super-resolution reconstruction by dual-sparsity and non-local similarity regularizer[J]. Pattern Recognition Letters, 2012, 33(9): 1049-1059.

[8] Yang S, Liu Z, Wang M, et al.. Multitask dictionary learning and sparse representation based single-image super-resolution reconstruction[J]. Neurocomputing, 2011, 74(17): 3193-3203.

[9] Liu W and Li S. Multi-morphology image super-resolution via sparse representation[J]. Neurocomputing, 2013, 120(23): 645-654.

[10] Buades A, Coll B, and Morel J M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530.

[11] Yu H, Chen F, Zhang Z, et al.. Single infrared image super-resolution combining non-local means with kernel regression[J]. Infrared Physics & Technology, 2013, 61: 50-59.

[12] Dong W, Zhang D, Shi G, et al.. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[13] Romano Y, Protter M, and Elad M. Single image interpolation via adaptive non-local sparsity-based modeling[J]. IEEE Transactions on Image Processing, 2014, 23(7): 3085-3098.

[14] Dong W, Shi G, Zhang L, et al.. Super-resolution with nonlocal regularized sparse representation[C]. Visual Communications and Image Processing 2010, Huangshan, China, 2010: 77440H-77440H-10.

[15] Aharon M, Elad M, and Bruckstein A. K-svd: an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[16] Needell D and Vershynin R. Uniform uncertainty principle and signal recovery via regularized orthogonal matching pursuit[J]. Foundations of Computational Mathematics, 2009, 9(3): 317-334.

[17] Yang S, Wang M, Chen Y, et al.. Single-image superresolution reconstruction via learned geometric dictionaries and clustered sparse coding[J]. IEEE Transactions on Image Processing, 2012, 21(9): 4016-4028.

[18] Tang Y, Yuan Y, Yan P, et al.. Greedy regression in sparse coding space for single-image super-resolution[J]. Journal of Visual Communication and Image Representation, 2013, 24(2): 148-159.

劉 哲： 女，1970年生，教授，博士，主要研究方向為圖像處理、壓縮感知和信息融合等.

楊 靜： 女，1990年生，碩士生，研究方向為圖像復原、壓縮感知.

陳 路： 男，1991年生，碩士生，研究方向為圖像去塊效應、圖像處理.

Super-resolution Image Restoration Based on Nonlocal Sparse Coding

Liu Zhe Yang Jing Chen Lu

(School of Science, Northwestern Polytechnical University, Xi’an 710129, China)

Super-resolution image restoration methods based on Compressive Sensing (CS) generally adopt local sparse coding strategy. Such strategy encodes each image block independently, which easily induces artificial blocking effect. To overcome this problem, a super-resolution image restoration method based on nonlocal sparse coding is proposed. The nonlocal self-similarity of image is considered as a prior in the dictionary training and image coding processes, respectively. Specifically, the proposed algorithm trains the dictionary with interpolated low-resolution images, and calculates the weighted average local code of similar patches, in order to obtain the nonlocal sparse code of each image block. Numerical experiments suggest that the proposed algorithm has a good recovery performance, and is robust to image noise.

Super-resolution image restoration; Compressive Sensing (CS); Nonlocal self-similarity; Nonlocal sparse coding; Single dictionary training

TP391

A

1009-5896(2015)03-0522-07

10.11999/JEIT140481

2014-04-11收到，2014-09-11改回

國家自然科學基金(61070138)資助課題

*通信作者：楊靜 yangjing199002@163.com