基于結構自相似性和形變塊特征的單幅圖像超分辨率算法

向文 張靈 陳云華 姬秋敏

摘 要：針對單幅圖像超分辨率（SR）復原樣本資源不足和抗噪性差的問題，提出一種基于結構自相似和形變塊特征的單幅圖像超分辨率算法。首先，該方法通過構建尺度模型，盡可能地擴展搜索空間，克服單幅圖像超分辨率訓練樣本不足的缺陷;接著，通過樣例塊的幾何形變提升了局限性的內部字典大小;最后，為了提升重建圖片的抗噪性，利用組稀疏學習字典來重建圖像。實驗結果表明：與Bicubic、稀疏字典學習（ScSR）算法和基于卷積神經網絡的超分辨率（SRCNN）等優秀字典學習算法相比，所提算法可以得到主觀視覺效果更為清晰和客觀評價更高的超分辨率圖像，峰值信噪比（PSNR）這種描述過于籠統，需明確說明是哪種評價指標？英文摘要處作相應修改平均約提升了0.35dB。另外所提算法通過幾何形變的方式擴展了字典規模和搜索的準確性，在算法時間消耗上也得到了一定提升在算法時間消耗上平均約提升減少了時間消耗應該是“減少”吧，不能是“提升”吧？請明確。英文摘要翻譯得是否正確？請明確。回復：沒有問題，是減少不是提升，英文翻譯沒問題。80s描述過于籠統，需具體量化一下。英文摘要處作相應修改。

關鍵詞：形變塊;塊匹配;字典學習;自相似性;組稀疏

中圖分類號： TP391.413

文獻標志碼：A

Abstract： To solve the problem of insufficient sample resources and poor noise immunity for single image Super Resolution （SR） restoration， a single image super-resolution algorithm based on structural self-similarity and deformation block feature was proposed. Firstly， a scale model was constructed to expand search space as much as possible and overcome the shortcomings of lack of a single image super-resolution training sample. Secondly， the limited internal dictionary size was increased by geometric deformation of sample block. Finally， in order to improve anti-noise performance of reconstructed picture， the group sparse learning dictionary was used to reconstruct image. The experimental results show that compared with the excellent algorithms such as Bicubic， Sparse coding Super Resolution （ScSR） algorithm and Super-Resolution Convolutional Neural Network （SRCNN） algorithm， the super-resolution images with more subjective visual effects and higher objective evaluation can be obtained， the Peak Signal-To-Noise Ratio （PSNR） of the proposed algorithm is increased by about 0.35dB on average. In addition， the scale of dictionary is expanded and the accuracy of search is increased by means of geometric deformation， and the time consumption of algorithm is averagely reduced by about 80s.

Key words： deformation block; block matching; dictionary learning; self-similarity; group sparseness

0 引言

圖像超分辨率（Super Resolution， SR）算法從性質上分為插值、重建和學習三類方法。現大多數現代單幅圖像超分辨率方法專注于學習外部數據庫中低分辨率（Low Resolution， LR）和高分辨率（High Resolution， HR）圖像補丁之間的關系。現有的學習這種LR到HR的映射關系的外部數據庫算法包括最近鄰域方法[1]、流形學習[2]、字典學習[3]、局部線性回歸[4-6]和卷積網絡[7]等。然而從外部數據庫學習LR/HR映射的方法有一定的缺點：首先，為達到令人滿意的復原效果所需的訓練圖像的數量和類型并不清楚;其次，通常需要大規模訓練集才能學習足夠富有表現力的LR/HR詞典。

為了避免使用外部數據庫及其相關問題，出現了一系列基于自然圖像的斑塊在相同圖像存在尺度內和跨尺度重現的方法[8-11]。這些方法的內部LR/HR補丁數據庫可以使用給定圖像本身的縮放空間金字塔來構建。與外部字典相比，內部字典已被證明包含更多相關的訓練補丁[12]，這是提取內部數據庫的理論基礎。

采用縮放空間金字塔去提取尺度內和跨尺度的重現字塊，這意味著提取了自然圖像的另一個重要屬性——結構自相似性。有研究表明，結構相似性可以與卷積神經網絡模型聯系起來達到更好的效果[13-14]，但是此算法時間復雜度過高。采用內部樣例字典會出現內部數據訓練樣本過少而導致的訓練效果不佳等問題，但是盲目地增加樣本數就會增加算法的時間消耗。于是，本文針對外部數據庫匹配度不高和內部訓練數據樣本過少兩大問題，提出了一種基于結構自相似性和形變塊特征的單幅圖像超分辨率算法。該算法采取內部字典學習的方式，構建縮放空間金字塔，提取其結構自相似性，避免了外部字典學習的一系列問題。另外利用幾何變換圖像塊，大幅度擴展了所搜索空間，增強字典的表現力大小，卻不會產生過多的時間消耗，最后利用組稀疏學習的方式，增強了其抗噪性。

1 形變塊估計模型

設Ω是輸入LR圖像I的像素索引的集合。對于以I中位置ti=（txi;tyi）為中心的每個目標小片P（ti），我們的目標是估計在下采樣的圖像ID中將P（ti）補丁映射到其最近鄰居的映射目標的變換矩陣Ti。為了估計變換矩陣而不使得算法復雜性過高就必須解決密集最近鄰域分片搜索形成最近鄰域估計問題。這里采用一個輸入LR圖像中的第i個像素進行參數化的變換域。最近鄰域（Nearest-Neighbor Field， NNF）估計問題的目標函數用下面的形式：

其中：θi是用于構建模型需要估計的變換矩陣Ti的未知參數集（稍后解釋）。模型的目標函數包括三種能量消耗：1）呈現能量呈現能量成本Eapp;2）平面能量平面能力成本Eplane;3）尺度能量尺度能量成本Escale。下面首先描述這些成本。

1）呈現能量呈現能量成本Eapp。此成本衡量抽樣目標和源補丁之間的相似程度。在RGB空間中使用高斯加權平方和距作為本文的度量：

其中：矩陣Wi是σ2=3的高斯權重，Q（ti;θi）表示使用具有參數θi的Ti矩陣變換從ID采樣的塊。

2）平面兼容性成本平面能力成本Eplane這兩處的描述，與前面的“;2）平面能量;3）尺度能量”不匹配，請作相應調整。對于人造圖像，模型通常可以使用標準的消失點檢測技術可靠地定位場景中的平面，檢測到的3D場景幾何可以用來指導貼片搜索空間。在使用平面結構指導算法[15]中修改平面局部化代碼，并添加平面兼容性代價以鼓勵對源補丁和目標補丁的概率性平面標簽進行搜索：

其中：Pr[mij（x;y）]是在像素位置（x;y）處分配標簽mi的后驗概率。

3）比例成本尺度能量成本Escale。由于允許連續幾何變換，因此會觀察到最近鄰域通常收斂于平凡解，即在下采樣圖像ID中將目標補丁與自身進行匹配，這樣的外觀競爭成本會很小。這種平凡解的解決方案導致了圖像超分辨率的傳統雙三次插值。通過引入規模成本尺度能量成本此處又為“規模成本”，請與前面的保持統一Escale來避免這些瑣碎的解決方案：

其中SRF指示期望的超分辨率重建因子，例如2x、3x或4x，并且函數Scale（·）表示投影變換矩陣的尺度估計。函數模型用一階泰勒展開式近似地描述了用Ti進行采樣的源塊尺度[16]：

其中：Tu，v表示變換矩陣Ti中的第u行第v列的值，T3，3歸一化為1。直觀地說，如果源補丁的規模太小，模型會受到懲罰，因此，方法最大化地搜索與目標貼片相似的源貼片，同時在輸入LR圖像空間中具有更大的比例尺，因此能夠為圖像超分辨率提供更多的高頻細節。當源補丁的規模足夠大時，將懲罰閾值降為零。

2 組稀疏理論

組稀疏理論使用所有的補丁對來學習一個字典與它們的稀疏組，以捕獲所有的高分辨率或低分辨率補丁之間的關系。

為了訓練這個詞典，首先從低分辨率的補丁和類似于文獻[17]的高分辨率補丁中提取特征。從低分辨率片中提取的特征是沿著水平和垂直軸的兩個一階圖像梯度和兩個二階圖像梯度，即[1，0，-1]、[1，0，-1]、[-1，0，2，0，-1]、[-1，0，2，0，-1]。對于每個高分辨率片，每個特征向量是通過減去該片的平均值之后像素值的光柵掃描形成的。

對于每個高分辨率/低分辨率補丁對，組成一個級聯特征向量。由于低分辨率貼片特征和高分辨率貼片特征的尺寸不同，為了平衡它們的貢獻，在將它們連接成單個矢量之前，將兩個特征矢量獨立地歸一化。所有級聯的特征向量用單位范數向量標準化，以用于具有組稀疏性約束的字典學習。

由于特征設計，有可能高分辨率特征向量和低分辨率特征向量都為零。在這種情況下，這些特征向量被丟棄。

為了利用塊對之間的組相似度，通過K均值聚類將具有相似特征向量的對分組為聚類。選擇的特征是由低分辨率補丁生成的圖像梯度。

用給定的字典D，解決和式（6）求解“解決”二字放在這里不通順，請作相應調整每個群集Ui的群組稀疏系數：

其中‖A‖1，2這個表達式，是否應該改為||A||1，2（1，2為下標），即與式（6）的書寫保持一致？回復：下標1，2放在雙豎線外面;另外，這里公式沒有i，上面已經說過i是用來標記群組的，所以對于單個群組用下面公式已經可以描述清楚了，每個群組按這個解釋公式執行即可。=∑nk=1‖RK‖2和RK是A稀疏的第k行;Yi是簇Ui中的列方向特征向量，ni是Yi的列號;‖*‖F是Frobenius范數，并且δ是控制從原始特征向量構造重建特征向量的相似程度的閾值。使用SPGL1包來解決上述優化問題。

由于群組稀疏系數在分離聚類內求解，并且在求解上述式（5）之前給出字典，需要更新字典以進行全局優化。于是將A表示為所有系數Ai和Y的并集，作為所有特征向量Yi的并集。字典D由K次迭代的奇異值分解（Singular Value Decomposition of K iterations， K-SVD）算法[18]更新：

其中Dj是D的第j列。迭代求解式（6）和式（7）中的組稀疏系數，直到A和D都收斂。字典D和系數A的乘積不僅包含每個集群內的所有集群，還包含所有集群內由塊相似性產生的特征向量。使用這些特征向量來生成輸出的高分辨率圖像。

3 基于結構自相似性和形變塊特征的SR算法

3.1 資源塊獲取

3.1.1 資源塊的結構自相似性特征提取

給定一個低分辨率圖像I，首先對它進行模糊和二次采樣以獲得其n層的下采樣版本，設置n為6。為方便表述，只用2層結構來表述，則命名為ID1和ID2。

使用I、ID1和ID2，獲得高分辨率圖像IH的算法由以下步驟組成：

1）對于低分辨率圖像I中的每個補丁P（目標補丁），計算一個變換矩陣T（單應矩陣），將P縮減為下采樣圖像ID1和ID2中的最佳匹配補丁Q1或者Q2（源補丁），如圖1所示。為了獲得這種變換的參數，使用修改的塊匹配算法估計I和ID1或者I和ID2之間的最近鄰域（詳見第1章—形變塊估計模型）。

2）然后從圖像I中提取QH1或者QH2，這是源補丁Q1或者Q2的HR版本。

3）使用計算出的變換矩陣T的逆矩陣來“逆轉換”高分辨率補丁QH1或者QH2，以獲得自我評估PH1或者PH2值，這是估計的目標貼片P的HR版本。將PH粘貼在HR圖像IH中對應于LR補丁PH1或者PH2。

4）對所有目標貼片重復上述步驟以獲得高分辨率圖像IH的補丁塊估計。

根據公式exp（-‖P-Qk‖2/σ2）的相似性來計算目標補丁P和源補丁Q之間的相似程度來給予匹配的源補丁相應的權重以平均重疊的高分辨率片，其中σ控制相似度。本文規定每個目標補丁P匹配4個源補丁Q，如果搜索不到用0來表示。在這里由于圖片的不同會導致匹配搜索得到的字典大小也不一樣，故本文將字典的訓練樣本數量設定為100000個5×5的小塊。

3.1.2 資源塊的形變塊特征提取

已有研究[9]證明：如果允許適當的補丁的幾何變換，跨尺度的自相似性將會更好，于是便對資源塊進行形變并提取了資源塊的形變特征。

現在介紹如何根據估計的參數θi設計和構造變換矩陣Ti以對源補丁Q（ti;θi）進行采樣。通常，貼片的幾何變換可具有多達8個自由度（即投影變換）;然而本文采用的仿射變換本身在模擬人造圖像、結構化場景中的外觀變化方面效果較差。在本文算法中，檢測和局部化平面來計算平面化參數，如圖2所示，展示了消失點檢測的可視化，所以本文通過θi=（si;mi）來參數化Ti，其中si=（sxi;syi;ssi;sqi;sai;sbi）是6維的仿射運動參數，mi是檢測到平面的指數[16]。

其中矩陣H捕獲了目標和源補丁位置以及平面參數的透視變形。下面給予矩陣S和矩陣A的表達形式，矩陣S通過縮放參數ssi和2×2旋轉矩陣R（sθi）捕獲相似變換：

矩陣A捕獲仿射變換中的剪切映射：

所提出的組合變換模型類似于將投影變換矩陣經典分解為三個獨特矩陣的串聯：相似性、仿射性和純粹的透視變換。

這里提出的方法是一個通用的圖像超分辨率算法，在一個框架中處理人造和自然場景。另外，對于沒有任何檢測到的平面結構的情況下，本文算法自動退回到僅搜索仿射變換的自我示例的圖像超分辨率塊匹配算法。

本文方法的目標是“合成”，而不是“分解”用于采樣源補丁的變換Ti。所提出的式（8）可以有效地分解出目標ti和源塊位置（sxi;syi）的位置依賴，以估計H（ti;sxi;syi;mi），并且可以使用（ssi;sqi;sai;sbi）估計矩陣S和A的仿射形狀變形參數，那么就可以利用自然圖像中的分段平滑特征來進行有效的最近鄰域估計。

本文方法需要估計所有重疊目標片上的7維最近鄰域解。與傳統的基于自我樣本的方法相比，只需要估計2D平移場，本文方法式（8）中的解空間更難以搜索，因此本文方法在以下詳細步驟中修改了塊匹配[21]算法。

初始化 本文方法不是在塊匹配[18]中進行隨機初始化，而是使用零位移初始化最近的鄰域，并且縮放等于所需的超分辨率重建因子。這受到文獻[22]的啟發，表明良好的匹配塊通常可以在局部的區域中找到，發現這個初始化策略為更快的收斂提供了一個好的開始。

傳播 這一步有效地向鄰居傳播良好的匹配。與直接傳播變換矩陣Ti相反，傳播變換矩陣的參數Qi=（si;mi），以便仿射形狀變換對源補丁位置不變。

隨機化 在每次迭代中傳播后，執行隨機搜索以改進當前解決方案;同時根據后驗概率分布繪制平面指數的隨機樣本，隨機擾動仿射變換和隨機樣本位置（以粗到細的方式）來搜索源補丁的最佳幾何變換并減少匹配誤差。

3.2 資源塊的分類學習

用形變塊匹配后的資源塊，將對資源塊來進行分類學習：一類用來構建高分辨率字典;一類則用來系數學習。

高分辨率字典 這里將利用到字典資源塊對，字典資源塊對是由變換矩陣T的逆矩陣來“逆轉換”高分辨率補丁的PH值和低分辨率補丁P值組成。首先，利用組稀疏理論中的處理將字典資源塊對進行聚類處理，如圖3所示;然后，利用K-SVD[18]算法來學習得到高分辨率字典。

稀疏學習 這里將利用到形變資源塊對，形變資源塊對由變換矩陣T形變的高分辨率補丁QH值和變換矩陣T形變的低分辨率補丁Q值組成。這里直接利用組稀疏理論對形變資源塊對進行組稀疏處理。對于每個高分辨率/低分辨率補丁對，組成一個級聯特征向量。在將它們連接成單個矢量之前，將兩個特征矢量獨立地歸一化。所有級聯的特征向量用單位范數向量標準化，以用于具有組稀疏性約束的字典學習。通過K均值聚類將具有相似特征向量的高低分辨率塊對分組。最后，用式（6）和式（7）迭代求解組稀疏系數A。

3.3 算法流程

本文提出的結構自相似性道德神經網絡算法本文提出的結構自相似性和形變塊特征的超分辨率算法此句不通順，“道德”二字是否應該刪除？具體步驟如下：

步驟1 輸入外部數據庫中的高分辨率圖像，將其尺度縮小，獲得n層低分辨率圖像，構建尺度金字塔。

步驟2 利用變換矩陣T，對尺度金字塔進行形變。

步驟3 利用形變塊匹配算法進行塊匹配，具體可見3.1節。

步驟4 提取PH/P字典資源塊對進行聚類，利用K-SVD[18]字典學習構建高分辨率字典。

步驟5 提取QH/Q資源塊對進行聚類，利用式（6）和式（7）進行組稀疏系數學習。

步驟6 利用高分辨率字典和組稀疏系數來超分辨率重建。

3.4 算法示例

為了更加清晰、明確地說明本文算法，給出算法流程，如圖4所示。

3.5 實驗設置

為了驗證所提方法的有效性，選取四個國際公開的SR數據庫：Set5、Set14、BSD100和Urban100，這四個數據庫非常地具有代表性，前三個數據庫是比較通用的數據庫含有人物、動物、植物、建筑等標志性的圖片，可以很直觀地展現通用圖片的復原能力，而第四個數據庫Urban100數據庫都是建筑類圖片有明顯的結構性能。這四個數據庫的選擇能充分展示出本算法的優劣，并在兩種常用放大因子（2和4此句表述不一致，“2和4”是表示三種情況呢？還是表示放大因子？都需要三種情況（不大于3，而4>3？）或三個因子值吧？請作相應調整。回復：這里改成兩種吧，原本是想用三種的，但是在三倍放大中遇到了點小麻煩，就沒有放上去。）情況下進行實驗驗證。實驗中以雙三次插值（Bicubic）方法作為基準對比方法，并選擇Kim等[23]提出的算法、稀疏字典學習（Sparse coding Super Resolution， ScSR）[3]和基于卷積神經網絡的超分辨率（Super-Resolution Convolutional Neural Network， SRCNN）[7]這三個典型的字典學習算法作為對比實驗，以檢驗本方法的重建性能。利用主觀視覺上的表現，數值上的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和結構相似性（Structural SIMilarity， SSIM）評價不同圖像超分辨率方法的性能。

3.6 實驗結果

通過實驗結果來驗證本文方法的有效性。為了評價圖像重建的質量，同時從主觀視覺和客觀評價兩個方面衡量對比結果。以數據庫Set5中的娃娃圖像為例，圖5為放大2倍情況下，不同方法的主觀視覺圖和相應峰值信噪比，圖5的四張圖片是從四個數據庫中分別隨機抽取的一張作為代表顯示。主觀上，可以看出本文方法的視覺效果最好，優于現有方法中的稀疏字典方法ScSR[3]、Kim等[23]算法和SRCNN算法[7];其他對比方法，在重構的圖像容易產生偽影效應，一些細節沒有較好地恢復出來。本文方法恢復的局部細節信息清晰細膩，整體效果更接近原始圖像。由于本文方法考慮了內在圖像塊結構自相似特性，因此恢復的視覺效果最好，產生的邊緣也更清晰。客觀指標評價上，本文是從四個數據庫中所有圖片的峰值性噪比（PSNR）的平均值按不同的尺度顯示如表1中所示，在Set5數據庫中放大2倍的情況下，雙三次插值方法的平均峰值信噪比最低，只有33.64dB，對比SRCNN算法只能36.28dB左右，本文方法在峰值信噪比上是最好的，能夠達到36.52dB。從四個數據庫中所有圖片SSIM的平均值按不同的尺度顯示如表21中所示，相比其他算法本文方法的SSIM值最大，說明本文算法失真最少，與原圖片最相似，而對于另一種結合結構自相似性和卷積網絡的單幅圖像超分辨率算法[13]，視覺效果上差距不大故沒有作出主觀效果圖的對比，但是時間復雜度上減少了不少。比起時間消耗，結合結構自相似性和卷積網絡的單幅圖像超分辨率算法平均消耗時間為120s，本文算法平均時間為40s。

另外，對比Urban100數據庫和其他三個數據庫發現：在Urban100數據庫中，本文方法比SRCNN方法平均高0.75dB，而其他三個數據庫平均只提升了0.25dB，因此在Urban數據庫中的重建效果更加優秀，也就說明此方法對于各類圖片都有一定的效果，尤其是建筑等結構性比較明顯的圖片重建效果更好。

4 結語

本文算法從塊形變的角度來考慮單幅圖像的超分辨率問題，提出了一種基于結構相似性和形變塊特征單幅圖像超分辨率重建算法。該算法通過圖像的尺度分解獲得自身結構相似性特征和通過塊變換提取形變塊特征，避免了使用外部數據庫出現的數據類型和數量不清楚等一系列相關問題。資源塊數據通過字典資源塊和形變塊資源分類處理，利用不同的約束來學習得到高分辨率字典和組稀疏系數，增強了圖像的抗噪性。本文算法與Bicubic、Kim等[23]算法、ScSR[3]算法和SRCNN[7]等經典算法相比，可以得到更好的超分辨率重建效果。這種方法雖然提高了抗噪性，在時間復雜度上也得到了不少提高，但是面對不同的圖片上會存在不同的表現，在實驗中發現，這種結構性的方法會在建筑等結構性比較明顯的圖片上重建效果更好，因此，如何去針對不同類型的圖片進行提高重建效果便成了進一步的研究方向。

參考文獻 （References）

[1] FREEMAN W T， JONES T R， PASZTOR E C. Example based super resolution [J]. IEEE Computer Graphics and Applications， 2002， 22（2）：56-65.

[2] CHANG H， YEUNG D Y， XIONG Y. Super-resolution through neighbor embedding[C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004： I-275-I-282.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via spare representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2861-2873.

[4] YANG C Y， YANG M H. Fast direct super-resolution by simple functions[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 561-568.

[5] TIMOFTE R， SMET V， GOOL L. Anchored neighborhood regression for fast example-based super-resolution[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 1920-1927.

[6] TIMOFTE R， SMET V， GOOL L. A+： adjusted anchored neighborhood regression for fast super resolution[C]// Proceedings of the 2014 Asian Conference on Computer Vision. Berlin： Spring， 2014： 111-126.

[7] DONG C， LOY C C， HE K， et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）： 295-307.

[8] MEHRAN E， VRSCAY E R. Solving the inverse problem of image zooming using “Self-Examples”[M]// Image Analysis and Recognition. Berlin： Springer， 2007： 117-130.

[9] GKASNER D， BAGON S， IRANI M. Super-resolution from a single image[C]// Proceedings of the 2009 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 349-356.

[10] FREEDMAN G， FATTAL R. Image and video upscaling from local self-examples [J]. ACM Transactions on Graphics， 2011，30（2）：1-11.

[11] SINGH A， AHUJA N. Super-resolution using sub-band self-similarity [C]// ACCV 2014： Proceedings of the 2014 Asian Conference on Computer Vision. Berlin： Springer， 2014：552-568.

[12] ZONTAK M， IRANI M. Internal statistics of a single natural image[C]// CVPR 11： Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011：977-984.

[13] 向文，張靈，陳云華，等.結合結構自相似性和卷積網絡的單幅圖像超分辨率[J].計算機應用，2018，38（3）：854-858.（XIANG W， ZHANG L， CHEN Y H， et al. Combined with structural self-similarity and convolution of a single image super resolution[J]. Journal of Computer Applications， 2018， 38（3）： 854-858.）

[14] 肖進勝，劉恩雨，朱力，等.改進的基于卷積神經網絡的圖像超分辨率算法[J].光學學報，2017，37（3）：103-111.（XIAO J S， LIU E Y， ZHU L， et al. Improved image super-resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica，2017，37（3）：103-111.）

[15] HUANG J B， KANG S B， AHUJA N， et al. Image completion using planar structure guidance [J]. ACM Transactions on Graphics， 2014， 33（4）：1-10.

[16] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution [J]. IEEE Computer Graphics & Applications， 2002， 22（2）：56-65

[17] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution as sparse representation of raw image patches[C]// CVPR 2008： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2008：1-8.

[18] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： an algorithm for designing overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing， 2006， 54（11）：4311-4322.

[19] DARABI S， SHECHTMAN E， BARNES C， et al. Image melding： combining inconsistent images using patch-based synthesis[J]. ACM Transactions on Graphics， 2012， 31（4）：1-10.

[20] HACOHEN Y， FATTAL R， LISCHINSKI D. Image upsampling via texture hallucination[C]// Proceedings of the 2010 IEEE International Conference on Computational Photography. Piscataway， NJ： IEEE， 2010：1-8.

[21] BARNES C， SHECHTMAN E， FINKELSTEIN A， et al. PatchMatch：a randomized correspondence algorithm for structural image editing[J]. ACM Transactions on Graphics， 2009， 28（3）：1-11.

[22] YANG J， LIN Z， COHEN S. Fast image super-resolution based on in-place example regression [C]// Proceedings of the 2013 Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013：1059-1066.

[23] KIM K I， KWON Y. Single-image super-resolution using sparse regression and natural image prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010，32（6）： 1127-1133.