一種基于MOD字典學習的圖像超分辨率重建新算法

鄒建成， 張文婷

（北方工業大學圖像處理與模式識別研究所，北京 100144）

一種基于MOD字典學習的圖像超分辨率重建新算法

鄒建成， 張文婷

（北方工業大學圖像處理與模式識別研究所，北京 100144）

將低分辨率圖像重建成高分辨率圖像是圖像處理領域中的一個重要課題。Yang提出一種基于聯合字典學習的圖像超分辨率重建算法，其算法樣本選取與字典訓練方法較為復雜。提出一種基于MOD字典學習的圖像超分辨率重建新算法，首先采用少量的訓練樣本代替Yang的大量訓練樣本，然后使用MOD字典學習算法代替Yang的FFS字典學習算法，最后利用字典對圖像進行稀疏表示與重建。實驗結果表明，所提出的算法速度較快，并且重建圖像的質量較高。

圖像處理；圖像重建；聯合字典；超分辨率重建；MOD

隨著科技的發展，圖像在人類傳遞信息中越來越重要。由于受成像系統中自然條件與硬件設備的限制，人們往往無法輕易獲取清晰的高分辨率圖像。圖像超分辨率重建算法可以把低分辨率圖像重建為高分辨率圖像，該算法無需改進硬件設備且使用成本較低。因此在醫學圖像、安全監控、衛星圖像等領域有非常重要的應用價值。

最早的重建方法是插值法[1]，這種方法簡單快速，其缺點是沒有足夠的先驗知識，重構出來的圖像質量較差。蔡念等[2]對插值算法進行改進，并應用在圖像超分辨率重建技術中。Irani和 Peleg[3]在1991年提出迭代反投影法(iterative back-projection, IBP)，該算法的優點是運算量小，缺點是結果不唯一，因此在實際應用中價值較小。此后出現的還有凸集投影法、正則化法[4-5]、圖像金字塔法[6]等。

Dong等[7]提出一種基于自適應稀疏域選擇的重建方法，對訓練圖像塊進行分類，訓練多對字典進行選擇并重建，重建速度相對較快，但在重建細節豐富的圖像時效果不夠理想。Yang等[8]利用圖像具有稀疏性，提出了一種圖像超分辨率重建算法，該算法約束高低分辨率圖像在對應的高低分辨率字典下有相同的稀疏表示，其重建效果相對較好，并且聯合字典的思想對圖像超分辨率重建研究具有很好的指導意義，其缺點是須從較多的圖像中提取大量的圖像塊，因此字典訓練花費的時間較長，并且在圖像邊緣會出現重建噪聲。

本文在聯合字典思想的基礎上提出一種基于MOD字典學習的圖像超分辨率重建新算法，首先從低分辨率圖像中提取少量圖像塊，并對圖像塊進行字典學習獲得一對高低分辨率字典，這里采用的字典學習算法是 Engan等[9]的最優方向(method of optimal directions, MOD)算法，它代替Yang算法中使用的 Lee等[10]提出的 FFS(feature-sign search)算法，然后利用字典對低分辨率圖像塊進行稀疏表示與重建，最后對重建結果做進一步優化，以達到更好的重建效果。實驗結果表明，本文算法選取訓練樣本較少，字典訓練與重建的速度較快，且重建后圖像具有更高的質量。

1 圖像的稀疏表示

假設D=［d1,d2,…,dm］∈Rn×m（n＜m）是一個過完備字典，其中 dm為D的基元。y∈Rn為一個列向量表示的圖像塊，y可以用D中的基元線性表示，表達式如下：

其中，x=［x1,x2,…,xm］T∈Rm為圖像塊y的稀疏表示，x僅含有限個非零元素，其余均為0。式(1)沒有唯一解x，現在的目的是求圖像塊y的稀疏表示x，表達式如下：

式(2)意為找到包含非零元素個數最小的x并且滿足Dxy=，其中非零元素個數可以用稀疏度表示。但是求解0范數的問題已被證明是一個NP難問題[11]，計算復雜，不易求出。1999年，Chen等[12]研究發現，在信號足夠稀疏的條件下，0l范數可以轉化為1l范數進行稀疏求解，把式(2)從非凸轉化為凸優化求解，即：

實際應用中，圖像會有噪聲存在，因此結果會有稀疏表示誤差，式(3)可以轉化為：

其中，ε表示稀疏誤差或噪聲強度。

2 MOD算法

其中，k0表示圖像塊的稀疏度，即稀疏表示系數 xi中的非零元素個數。

MOD算法：

步驟2. 主要迭代過程：從k=1開始迭代。

由式(6)獲得一個稀疏系數矩陣X(k)。

字典更新階段：根據樣本 Y與稀疏系數矩陣X(k)更新字典D。足夠小，則停止。否則，進行下一次迭代。

步驟3. 輸出結果D(k)。

停止條件：如果

3 一種基于MOD字典學習的圖像超分辨率重建新算法

本文算法的過程大體可以分為3步：①訓練樣本提取；②聯合字典學習；③圖像的稀疏表示與重建。首先，對低分辨率圖像提取少量的圖像塊作為訓練樣本；然后，在聯合字典思想的基礎上對圖像樣本采用MOD算法進行字典學習，獲得一對高低分辨率字典；最后利用獲得的低分辨率字典對低分辨率圖像進行稀疏表示，結合高分辨率字典與稀疏系數得到清晰的高分辨率圖像。

3.1 訓練樣本提取

為了得到良好稀疏表示能力的字典，訓練樣本的獲取十分重要。本文在樣本提取過程中把輸入圖像X看作高分辨率HR圖像，對圖像X進行下采樣與插值操作，得到與X大小相同的圖像Y，表達式如下：

其中，H表示插值操作，S為下采樣操作，把圖像Y看作樣本提取的低分辨率LR圖像。

由于圖像的結構特征主要表現在高頻部分，所以獲得LR圖像的高頻特征十分重要。本文使用的特征提取算子為一階和二階梯度算子[13]：

通過算子對圖像Y進行特征提取，獲得四幅低分辨率特征圖像｛Y11,Y12,Y21,Y22｝。從圖像X的位置k處提取一個大小的圖像塊，表達式如下：

3.2 聯合字典學習

本節目的是利用MOD算法學習一對高低分辨率字典，其約束高分辨率樣本hX與低分辨率樣本Yl具有相同的稀疏表示α。通常情況下，單獨訓練一個高分辨率字典Dh和低分辨率字典Dl的表達式如下：

其中， k0表示稀疏度。為了保證樣本Xh和Yl具有相同的稀疏表示α，本文根據聯合字典生成的思想，把式(11)、(12)合并為：

由上式可以看出，聯合字典的學習方法與單個字典的學習方法相似。本文采用MOD字典學習算法求解表達式(13)，由結果Dc分解得到需要的高分辨率字典Dh和低分辨率字典Dl，其中Dl用來求解輸入圖像的稀疏系數，Dh用來與稀疏系數重建高分辨率圖像。

3.3 圖像的稀疏表示與重建

根據上一節獲得的字典對輸入圖像進行稀疏表示與重建，在圖像稀疏表示部分借鑒 Lee等[10]提出的 FSS算法，利用低分辨率字典Dl對輸入圖像求解稀疏系數α，利用高分辨率字典Dh與稀疏系數α進行重建。

算法流程：

(1) 輸入：低分辨率圖像X，字典Dh，Dl。

(2) 對圖像X進行雙三次插值放大得到圖像X1。

(3) 循環過程：從圖像X1左上角依次取出大小為55×的圖像塊x。同樣，從圖像X1的四幅特征圖像的相同位置分別取大小為55×的圖像塊，合并成列向量。

步驟1. 計算圖像塊x的平均值m。

其中，λ表示正則化參數，用于平衡重建誤差逼近項與稀疏約束正則項，根據經驗通常取值在0到1之間。

(4) 輸出：高分辨率圖像Z0。

為了進一步提高重建圖像Z0的分辨率，本文使用迭代反投影算法[14]對重建結果進行優化處理，即求解優化問題：

對式(15)采用迭代的方法求出誤差圖像并更新重構圖像：

其中，Z0k表示由高分辨率圖像Z0第k次迭代的結果，X表示輸入圖像，L表示降質因子，↑s表示放大s倍，p表示反投影濾波器，實驗中采用的是拉普拉斯濾波器。

4 實驗結果與分析

實驗在CPU為雙核2.0 GHz，內存為2.0 GB的計算機上運行。實驗中對RGB彩色圖像進行測試，處理圖像時將其轉化為YUV圖像，由于人眼對亮度信息更加的敏感，因此只對亮度分量進行稀疏重建，圖像放大倍數為2，其他分量采用雙三次插值算法放大。實驗中選擇把大小為128×128的低分辨率圖像重建成大小為 256×256的高分辨率圖像，測試圖像如圖1所示。字典學習過程對低分辨率圖像不重疊的提取大小為5×5的圖像塊作為訓練樣本，初始字典選取高斯隨機矩陣，大小為512，迭代次數10次，稀疏度k0=4。圖像重建過程中，為了保持重建后的圖像塊之間的緊密性，相鄰圖像塊之間有4個像素的重疊，稀疏正則項48.0=λ。迭代反投影算法的迭代次數為20。實驗中的Yang算法與Dong算法均從其相應的網站下載[15-16]。

圖1 大小為128×128的低分辨率測試圖像

表1為插值算法、Dong算法[7]、Yang算法[8]與本文算法分別對每幅低分辨率圖像重建的效果。定義峰值信噪比(peak signal to noise ratio, PSNR)為性能指標。由表1可知，插值算法的PSNR值最低，依次為Dong和 Yang的算法，本文算法比其他 3種算法具有更高的PSNR值。

表2為Dong算法與本文算法對不同圖像重建分別所需要的時間，這里的本文重建時間包括字典訓練的時間，而Dong算法重建時間不包括字典學習時間，Dong算法中字典學習過程是單獨進行的，其實驗需要47 min。Dong算法重建過程迭代900次，本文算法字典訓練過程僅提取676個相關圖像塊，迭代10次，本文算法相對簡單。由表2可知，明顯本文算法速度比較快。

表1 4種不同算法對不同圖像的重建效果

表2 對不同圖像超分辨率重建的時間(s)

圖2 4種算法對Butterfly圖像超分辨率重建結果

圖3 4種算法對Bike圖像超分辨率重建結果

圖4 4種算法對Plants圖像超分辨率重建結果

如圖2～4所示，其分別對圖1中大小為128×128的Butterfly、Bike、Plants三幅低分辨率圖像使用4種不同算法重建成大小為 256×256的高分辨率圖像。插值算法由于沒有足夠的先驗知識，重構出來的圖像效果較差，整體較為模糊；Dong算法與Yang算法都可以更好地恢復一定的細節，但是圖像邊緣仍會出現一些鋸齒效應；而本文算法是提取少量相關的圖像塊來進行字典學習，有足夠的先驗知識，因此保證了在重建速度較快的基礎上圖像質量有所提高，重建圖像的邊緣比其他方法相對的平滑清晰，細節更加豐富。

5 結 論

本文提出一種基于MOD字典學習的圖像超分辨率重建新算法，對一幅圖像提取少量樣本采用MOD算法進行字典學習，利用對應字典對輸入圖像進行稀疏表示與重建。該算法有效地降低了Yang字典訓練中的時間消耗，并且提高了重建圖像的質量。本文是針對一幅圖像單獨進行字典學習與重建，如何根據一幅圖像訓練的字典重建另一幅不相關的圖像將是以后研究的重點。

[1] Nguyen N, Milanfar P. A wavelet-based interpolationrestoration method for super-resolution [J]. Circuits Systems and Signal Processing, 2000, 19(4): 321-338.

[2] 蔡 念, 張海員, 張 楠, 等. 基于小波的改進加權拋物線插值的圖像超分辨率算法[J]. 圖學學報, 2012, 33(1): 50-55.

[3] Irani M, Peleg S. Improving resolution by image registration [J]. CVGIP: Graphical Models and Image Processing, 1991, 53(3): 231-239.

[4] Nhat N, Milanfar P, Golub G. A computationally efficient super resolution image reconstruction algorithm [J]. IEEE Transactions on Image Processing, 2001, 10(4): 573-583.

[5] Hardie R C, Barnard K J, Armstrong E E. Joint MAP registration and high- resolution image estimation using a sequence of under-sampled images [J]. IEEE Transactions on Image Processing, 1997, 6(12): 1621-1633.

[6] Yang C, Huang J, Yang M. Exploiting self-similarities for single frame super-resolution [C]//Lecture Notes in Computer Science, Springer Berlin Heidelberg, 2011: 497-510.

[7] Dong Weisheng, Zhang Lei, Shi Huangming, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization [J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[8] Yang Jianchao, Wright J, Huang T S, et al. Image super-resolution via sparse representation [J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[9] Engan K, Aase S O, Husoy J H. Method of optimal directions for frame design [C]//Proceedings of IEEE International Conference on Acoustic, Speech, and Signal Processing, Phoenix, AZ, USA, 1999: 2443-2446.

[10] Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms [J]. Advances in Neural Information Processing Systems, 2007, 19: 801.

[11] Davis G, Mallat S, Avellaneda M. Adaptive greedy approximation [J]. Constructive Approximation, 1997, 13(1): 57-98.

[12] Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basispursuits [J]. SIAM Journal on Scientific Computing, 1999, 20: 33-61.

[13] Zeyde R, Elad M, Protter M. On single image scale-up using sparse representation [C]//Proceedings of the 7thInternational Conference on Curves and Surfaces, Avignon, France, 2012: 711-730.

[14] Tibshirani R. Regression shrinkage and selection via the lasso [J]. Journal of the Royal Statistical Society, 1996, 58(1): 267-288.

[15] Yang Jianchao. Image super-resolution via sparse representation [EB/OL]. (2010-11-01) [2014-09-26]. http://www.ifp.illinois.edu/～jyang29/codes/.

[16] Dong Weisheng. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization [EB/OL]. (2011-07-28) [2014-09-26] http://www4. comp.polyu.edu.hk/～cslzhang/ASDS_AReg.htm/.

A New Algorithm of Image Super-Resolution Reconstruction Based on MOD Dictionary-Learning

Zou Jiancheng, Zhang Wenting

(Institute of Image Processing and Pattern Recognition, North China University of Technology, Beijing 100144, China)

It is an important topic to reconstruct a high resolution image from a low resolution image. Yang proposed an image super-resolution reconstruction algorithm based on the joint dictionary-learning, which needs large samples, and dictionary training methods are complicated. In this paper, a new algorithm of image super-resolution reconstruction based on MOD dictionary-learning is proposed, a small amount of training samples is firstly used to replace large numbers of training samples of Yang′s, then the MOD dictionary-learning algorithm is used instead of Yang′s FFS dictionary-learning algorithm, at last, the resulted dictionary is applied to the image sparse representation and super-resolution reconstruction. The experimental results show that the image reconstruction speed is improved greatly with better reconstruction quality.

image processing; image reconstruction; joint dictionary; super-resolution reconstruction; MOD

TP 319

A

2095-302X(2015)03-0402-05

2014-10-08；定稿日期：2014-10-24

國家自然科學基金資助項目(61170327)，國家科技重大專項支持資助項目(2014ZX02502)

鄒建成(1966-)，男，貴州遵義人，教授，博士，博士生導師。主要研究方向為圖像處理、模式識別。E-mail：zjc@ncut.edu.cn

張文婷(1990-)，女，安徽亳州人，碩士。主要研究方向為圖像超分辨率重建。E-mail：1007897269@qq.com