圖像超分辨率重建算法綜述

龍 超

（江西科技師范大學通信與電子學院，江西 南昌330013）

0 引言

超分辨率圖像重建[1]是指由同一場景的低分辨率退化圖像重建出一幅清晰的高分辨率圖像。它借助信號估計理論，很好地解決了固有的傳感器陣列排列密度限制引起的圖像分辨率低的問題，彌補了傳感器硬件方面的不足。同時，超分辨率重建可以有效地克服圖像獲取過程中的模糊、噪聲等退化因素的影響，在工業控制、醫學成像、遙感、安全監控、視頻信號傳輸等領域具有廣闊的應用前景。超分辨率重建技術具有重要的理論意義和應用價值，成為圖像處理、計算機視覺和應用數學等領域研究的國際熱點問題。經過近30年的研究與發展，出現了大量關于圖像超分辨率技術的研究成果。一般說來，圖像超分辨技術主要分為三種類型：基于插值的方法、基于重構的方法和基于學習的方法。

1 基于插值的超分辨率方法

基于多幀圖像插值技術的方法是超分辨率研究中最直觀的方法。這類方法首先估計各幀圖像之間的相對運動信息，獲得高分辨率圖像在非均勻間距采樣點上的像素值，接著通過非均勻插值得到高分辨率圖像柵格上的像素值,最后采用圖像恢復技術來去除模糊和降低噪聲。典型的方法包括：Rajan和Chaudhuri[2]通過分解、插值和融合3個步驟實現的通用插值方法；Taohj等[3]提出的小波域的雙線性插值；Lertrat-tanapanich和Bose[4]提出的使用基于光滑性約束的Delaunay三角化插值算法等。

插值法雖能實現快速重構、有效地保持圖像邊緣，但通常實際圖像的降質信息不可能準確已知，從而設定的先驗模型是不穩定的，所以實際的超分辨水平并不理想?？傮w來看，插值法重構的優點是算法簡單從而易實時處理，缺點是重構的圖像邊緣模糊、超分辨能力有限。

2 基于重建的超分辨率方法

基于重建的方法是得到最廣泛研究的方法，主要分為頻域法和空域法兩類。頻域法通過在頻率域消除頻譜混疊來改善圖像的空間分辨率。Tsai和Huang于1984[1]年提出在傅里葉變換域內由多幀圖像恢復出額外高頻信息的超分辨重構，由此拉開多幀圖像SRR的序幕。Irani和Peleg提出了迭代反向投影 (Iterative back projection)算法[5]，這就是空域法的一種，即投影初始估計得到LR模擬圖像，計算與低分辨率觀測圖像的誤差并反向投影，迭代地更新輸出估計。凸集投影法采用集合論把超分辨圖像解空間投影在各約束凸集的交集中，迭代地收縮可行解空間，最終獲得估計的HR圖像。概率論法以MAP準則建立由高分辨率到低分辨率的條件概率方程，圖像先驗和噪聲統計分別作為先驗知識和條件概率項，通過最優化得到重構邊緣較好的超分辨圖像。正則參數平衡最優問題中的逼近項與正則項的基于正則化技術的超分辨是一子類優秀的方法。吸收不同算法優勢的MAP/POCS等混合法是目前重建法中超分辨效果最佳的一類[6]。

3 基于學習的超分辨率方法

基于學習的超分辨率方法是近年來超分辨率研究的熱點，它采用機器學習技術，通過事先給定的范例學習得到低分辨率和高分辨率圖像塊間的映射先驗。超分辨率重建中圖像的建模與表示是圖像處理領域一個根本性的問題，模型的選取直接影響到后續圖像處理的開展，過完備圖像稀疏表示是一種新興的圖像表示模型，過完備稀疏表示理論認為在合適的冗余字典的條件下，圖像存在最為稀疏的表示，即能夠用很少量的大系數捕獲圖像中的重要信息。

3.1 最近鄰搜索

這種方法簡單、直接，但只考慮到樣本圖像塊本身的局部特征信息，穩定性很差。

3.2 K-NN算法

為提高NN算法的魯棒性，Freeman等[7]提出一種馬爾可夫網絡(Markov Network)模型，采用馬爾可夫網絡學習樣本庫中低分辨率圖像塊與高分辨圖像塊的對應關系，再利用學習到的關系估計圖像的細節信息，該方法開創了基于學習的超分辨率重建研究的先河。該算法將圖像塊作為馬爾可夫網絡上的一個節點，并假定節點間在統計量上相互獨立，生成訓練庫，最終應用傳播算法求解馬爾可夫網絡問題，這種模型相當于最大后驗概率問題，在公式（1）基礎上加入先驗約束，加強相鄰圖像塊間匹配約束，其目標函數為：

Datsenko等[8]提出基于MAP的框架，將K-NN方法提取的高、低分辨率樣本圖像塊作為先驗信息，融入到全局MAP的懲罰函數中，有利于剔除不相干的樣本，進一步提高了超分辨率重建質量。 這類KNN方法相對NN算法質量有一定提高，但有限；如果采用不適當的樣本，超分辨率重建效果可能會更差。

3.3 流形學習方法

相對NN算法，K-NN提高了最終估計值的魯棒性，但它只是從K個樣本中選取一個作為最終估計值。Chang等[9]對此進行了改進，將K個優選結果{pmk}進行加權組合并采用局部線性嵌入的流形學習算法對加權系數{xk}，進行估計，假設圖像中頻分量m和高頻分量h有相同的局部相關性，高頻圖像塊的估計可以從低分辨率圖像塊估計的加權系數進行計算加權系數的優化問題可表示為：

Chan等[10]考慮樣本圖像對超分辨率重建算法的影響，對上述模型進行改進，他們考慮到不同類型的圖像直方圖也不同，利用直方圖來篩選樣本圖像，之后再通過上述LLE模型進行超分辨率重建。Sung等[11]將流形學習理論中的局部保持投影方法用于人臉虛幻，更有效地學習輸入圖像與樣本圖像間的對應關系。

3.4 稀疏表示法

2008年，Yang等[12]人提出了使用圖像塊的稀疏表示來實現超分辨率重建。這種方法是通過隨機選取圖像塊的方式組成一個超完備字典，然后對于每一個測試塊，通過線性規劃的方法求得該測試塊在這個過完備字典下的稀疏表示，最后以這組系數加權重構出高分辨率的圖像。這種方法克服了鄰域嵌入方法中對于鄰域大小的選擇問題，即在求解稀疏表示的時候，無需指定重構所需要基的個數，其表示系數和基的個數將同時通過線性規劃求解得到。然而，該方法的缺陷在于如何隨機選擇通用圖像超分辨率效果較好的過完備字典。Yu等[13]在方向插值方法中引入稀疏先驗約束，提出空間匹配追蹤的稀疏超分辨率方法。Mallat等[14]利用圖像的多種先驗信息，融合多個線性反演估計方法，并采用稀疏優化方法估計系數，提出了一個自適應的超分辨率重建框架。Wang等[15]將中頻和高頻圖像塊進行稀疏編碼，對圖像損失的高頻信息進行估計。朱勝火等[16]人提出了一種迭代學習冗余字典的方法，提高了超分辨率重建的效率。在超分辨率重建快速算法方面，孫玉寶等[17]人提出了基于前向后向算子分裂法和兩步迭代算法的超分辨率重建，Elad等[18]人提出了基于收縮學習方法的超分辨率重建。為了更好地保留圖像的幾何和紋理結構，孫玉寶等[19]人提出了多形態稀疏性正則化的圖像超分辨率算法。

4 總結與展望

本文綜述了各類超分辨率重建算法，并對其進行比較。三大類超分辨率重建算法各有其優缺點：基于插值的算法簡單、快速，但容易產生模糊，效果最差。基于重建的方法針對圖像的空間信息比較多，在一定情況下能夠取得不錯的效果。但是隨著圖像分辨率的提高，其重建方法的性能也急劇下降，出現細節丟失、邊緣模糊等問題?；谙∈璞硎镜某直媛手亟ǚ椒ㄊ悄壳把芯康臒狳c和重點，這種方法是從大量的訓練樣本集中獲取先驗知識來進行字典訓練，因為加上了先驗知識，它的效果是最好的，但訓練樣本的選擇非常重要。雖然圖像超分辨率重建算法近年來越來越多，但是仍然還有許多具有挑戰性的問題存在，亦值得研究。例如圖像的配準和運動估計，這兩者是基于重建的前提和基礎，對重建的成功具有直接的影響；圖像去噪研究，圖像處理不管用何種算法及儀器去處理總會產生噪聲，一個良好的噪聲模型對于超分辨的求解也是有著非常關鍵的作用的；還有就是重建的效率及魯棒性方面。這些都是比較典型，同時也是比較有難度的問題，對于重建效果也是有很大影響的，因此也值得我們研究。

［1］S.Farsiu,D.Robinson,M.Elad,and P.Milanfar.Advanced and Challenges in Super-Resolution[J].International Journal of Imaging Systems and Technology,2004,14(2)：47-57.

［2］D.Rajan,S.Chaudhuri.Generalized interpolation and its application in super-resolution imaging[J].Image and Vision Computing,2001,19(13)：957-969.

［3］Tao H.J,Tan G.X,Liu.J.Super resolution remote sensing image processing algorithm based on wavelet transform and interpolation[C]//Proceedings of SPIE.Hangzhou,China：Society of Photo-Optical Instrumentation Engineers,2003：259-263.

［4］S.Lertrattanapanich,N.K.Bose,High resolution image formation from low resolution frames using Delaunay triangulation[J].IEEE Transactions on Image Processing,2002,11(12)：1427-1441.

［5］M.Irani,S.Peleg.Improving resolution by image registration[J].CVGIP：Graphical Models and Image Processing,1991,53(3)：231-239.

［6］R.R.Schultz,R.L.Stevenson.Extraction of high-resolution frames form video sequences[J].IEEE Transactions on Image Processing,1996,5(6)：996-1011.

［7］H.Chang,D.-Y.Yeung,Y.Xiong.Super-resolution through neighbor embedding[C]//IEEE Computer Society Conference on Computer Vision Pattern Recognition.Washington,DCUSA：IEEE Computer Society,2004(1)：275-282.

［8］T.Chan,J.Zhang.An improved super-resolution with manifold Learning and Histogram Matching[C]//Proceedings of IAPR International Conference on Biometric：Springer Verlag,2006：756-762.

［9］S.W.Park,M.Savvides.Breaking the limitation of manifold analysis for superresolution of facial images[C]//IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP).Washington,DC USA：IEEE Computer Society,2007(1)：573-576.

［10］J.C.Yang,J.Wright,T.Huang,Y.Ma.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,2010,19(11)：2861-2873.

［11］G.Yu,S.Mallat.Sparse super-resolution with space matching pursuits[J].Signal Processing with Adaptive Sparse Structured Representations(SPARS'09),2009：1-6.

［12］S.Mallat,G.Yu.Super-resolution with sparse mixing estimators[J].IEEE Transaction on Image Processing,2010,19(1)：2889-2900.

［13］J.Wang,S.Zhu,Y.Gong.Resolution enhancement based on learning the sparse association of image patches[J].Pattern Recognition Letters,2010,31(1)：1-10.

［14］R.Zeyde,M.Elad,and M.Protter.On Single Image Scale-Up using Sparse-Representations[J].Curvesffamp;Surfaces,Avignon-France,June 24-30,2010.

［15］J.J.Wang,S.H.Zhu,Y.H.Gong.Resolution enhancement based on learning the sparse association of image patches[J].Pattern Recognition Letters,2010,31(1)：1-10.

［16］浦劍,張軍平.基于詞典學習和稀疏表示的超分辨率方法[J].模式識別與人工智能,2010,23(3)：335-340.

［17］孫玉寶,費選,韋志輝,肖亮.基于前向后向算子分裂的稀疏性正則化圖像超分辨率算法[J].自動化學報,2010,36(9)：1232-1238.

［18］孫玉寶,韋志輝,肖亮,張錚嶸.基于稀疏表示的圖像超分辨率重建快速算法[J].系統工程與電子技術,2010,32(12)：2696-2700.

［19］孫玉寶,韋志輝,肖亮,張錚嶸,呂戰強.多形態稀疏性正則化的的圖像超分辨率算法[J].電子學報,2010,38(12)：2898-2903.