超分辨率圖像恢復算法綜述*

黃巧潔（廣東農工商職業技術學院，廣東廣州 510507）

超分辨率圖像恢復算法綜述*

黃巧潔
（廣東農工商職業技術學院，廣東廣州 510507）

圖像超分辨率是指從一序列低分辨率觀測圖像中恢復高分辨率圖像，廣泛用于視頻監控、模式識別、軍事偵察、遙感檢測和醫學診斷等領域，已成為圖像處理領域最為活躍的研究方向之一。介紹了超分辨率圖像恢復的經典算法，對比分析了各方法的優缺點，提出了超分辨率圖像恢復的研究方向與展望，為其進一步發展提供了一定的理論基礎。

超分辨率 高分辨率圖像 低分辨率圖像 恢復

圖像超分辨率（Super-resolution： SR）技術是一種提高圖像空間分辨率的“軟處理”方法，在不改變現有硬件設備條件的基礎上通過信號處理方法獲取更高分辨率、更高清晰度的圖像，由一系列低分辨率（Low-resolution： LR）、低質量圖像序列恢復出高分辨率（High-resolution： HR）、高質量圖像的處理過程。圖像超分辨率是通過對HR圖像一系列降質處理（相當于低通濾波器）后得到的觀測圖像進行反求原HR圖像的過程，屬于圖像逆問題，也屬于數學病態問題。

自Harris和Goodman提出SR重建概念以來，該技術就受到廣泛關注，主要經歷了靜態圖像、單視頻和多視頻SR重建三個階段，主要算法有基于頻域插值的方法、非均勻采樣內插法、迭代反投影法、凸集投影法、正則化重建法、最大后驗概率/凸集投影混合法和基于學習的方法。SR圖像恢復應用廣泛，已成為圖像處理領域最為活躍的研究方向之一。通過SR圖像恢復能有效提高現有監控設備的分辨率水平和監控能力，對推進智能視頻監控的發展［1］，對“數字城市”、“平安城市”建設等，都具有重要意義。

1　超分辨率圖像恢復算法

1.1基于頻域插值的方法

先使用傅里葉變換將圖像變換到頻域，再利用位移特性觀測模型解決圖像的內插問題。在處理過程中，假設LR圖像序列無噪聲，且原始模擬圖像的頻率帶限，利用多幅圖像間離散和連續傅里葉變換間的平移特性以及混疊關系來獲得HR圖像。此方法理論簡單，運算復雜度低，但忽略了觀測模型中光學系統的諸多因素的影響，僅局限于全局平移運動模型下應用。很多學者對此進行改進，Tekalp等［2］考慮了線性空不變點擴散函數和觀測噪聲的影響，采用最小二乘法計算系統方程的解；Kim等［3］也考慮了噪聲的情況，用加權最小二乘法進行計算；Rhee和Kang［4］提出采用離散余弦變換代替傅里葉變換，減少存儲資源的需求，提升了計算效率。但始終無法突破Tsai中整體平移相似的假設，僅含有限的空域先驗知識，因此只能在全局平移運動和線性空間不變模糊模型中使用。因此，實際工程應用中難以實用。

圖1　基于配準、插值的重建過程

1.2非均勻采樣內插法

屬于空域插值放大法，包括運動估計、非均勻內插、圖像去模糊和去噪三個方面［5］。在運動估計中，選擇一幅參考圖像，根據某一運動模型，求出其他圖像與參考圖像之間的運動參數，并根據此參數將所有LR觀測圖像投影到參考圖像對應的高分辨率網格上，得到非均勻分布的空間采樣圖，然后用非均勻內插法內插出所有整數格網的像素值，接著進行去模糊和去噪處理，得到HR的圖像，如圖1所示。

此方法計算量小、模型簡單，但需要假定所有的LR圖像的噪聲和模糊特征一致，不使用先驗約束，恢復效果不佳，不能保證最優性。

1.3迭代反投影法（IBP：Iterative back-projection）

首先，利用待求HR圖像的一個初步估計作為當前結果，通過觀測模型投影到LR觀測圖像上，從而獲得LR模擬圖像，然后計算LR模擬圖像與實際觀測圖像之間的差值，并由此差值更新當前估計，如此循環，得到最終結果［6］。S. Mann等［7］對圖像的配準作了改進；Irani等［8］使用該方法實現了包含多運動目標的視頻圖像的SR恢復。IBP法容易理解和實現，但由于問題的不適定性導致它的其解不唯一，嚴重依賴于反投影矩陣，難以引入先驗約束，收斂速度慢。

1.4凸集投影法（POCS：Projection onto convex sets）

最早由H. Stark和P. Oskoui［9］提出，把HR圖像的每一個約束條件都定義為向量空間中的一個凸集合，所求的HR圖像包含于這些凸集合中，取其交集，即可得到HR圖像的解。約束條件包括觀測數據一致性、能量有界性、正定性、光滑性等，但H.Stark和P. Oskoui在對數據一致性約束定義的投影算子中忽略了觀測模型中噪聲的影響；Tekalp等［10］進行了擴展，考慮了噪聲的影響；Patti等［11］考慮了任意采樣網和運動模糊；隨后，又通過修改約束集合減少邊緣噪聲［12］。POCS法原理直觀、實現算法簡單，容易加入先驗知識；但它的解依賴于初始估計，且不唯一，收斂速度慢且穩定性不高，運算量大。

1.5正則化重建法

1.5.1確定性正則化

SR重建問題是一個不適定問題，確定性正則化通過加入先驗知識約束把不適定問題適定化，是解決病態問題的經典方法。最終迭代結果主要受限于迭代過程中所加入的正則項，其一般形式可表示為：

M.C. Hong等［13］提出一種多通道正則化SR算法，在每次迭代過程中無需先驗知識計算正則化系數；M.G. Kang［14］構造了一種通用多通道反卷積方法，也包含了多通道正則化SR算法；R.C. Hardie［15］提出最小化正則化代價函數方法，采用迭代梯度正則化和共軛梯度下降法優化處理最小化代價函數；P.C. Hansen等［16］使用L曲線求解最優正則化參數。

1.5.2隨機正則化

R.R. Schulz 和 R.L. Stevenson［17］最早提出利用最大后驗概率方法MAP進行HR重建，把HR圖像和觀察得到的LR圖像當作兩個不同的隨機過程，利用隱馬爾可夫隨機場先驗模型，將SR問題變為一個具有唯一解的條件最優問題。由于MAP提供了先驗約束，為SR重建提供了有效的正則化估計。MAP具有確定性正則化的一切優點，還具備選擇噪聲模型和圖像先驗模型的穩健性和靈活性，使其成為研究的熱點。Tom等［18］提出了最大似然估計來同時估計亞像素位移、觀測圖像噪聲及HR圖像，采用最大期望來求解；Tom和Hardie等［19］提出了運動參數與HR圖像的聯合求解；Rudin等［20］首先提出了一種有效的全變分正則化方法；Farsiu等［21］提出了SR圖像重構雙邊全變差正則化，更好地保護了圖像的邊緣。

1.6MAP/POCS混合法

MAP法推導嚴謹，POCS法更容易加入先驗約束，將兩者結合起來將是一個不錯的途徑。Keightley等［22］提出了一個MAP和POCS相結合的方法，在最大后驗概率方法的迭代優化過程中加入先驗約束，以便對圖像像素值的范圍進行約束。Elad等［23］提出了一種通用的最大似然估計凸集投影SR方法。

表1　SR圖像恢復方法比較

1.7基于學習的方法

該方法是空域法的一種，前提是認為LR圖像完全擁有用于推理預測其所對應的高分辨率部分的信息。具體重建過程如下：準備匹配所需的由高低分辨率圖像塊組成的訓練集，對觀測到的LR圖像塊進行匹配，從而得出最匹配的高/低圖像塊組，利用塊組中的HR圖像塊重建出HR圖像。目前，常用的學習算法有Chang等［24］提出的基于鄰域嵌入的方法；Karl等［25］提出的基于支持向量回歸的方法；Yang等［26］提出的使用圖形塊的稀疏表示的方法。

2　方法比較

縱觀SR圖像恢復技術的國內外研究進展，各種算法均有優劣，目前難以有一個很好的統一評價標準，如表1所示。在具體應用中，需根據特定的圖像或者視頻特點，選擇針對性的研究算法，使系統設計最優。

3　研究方向和展望

本文對SR圖像恢復算法進行了全面綜述，對比分析了各算法的優劣。雖然SR恢復取得了不少研究成果，但在特定應用場合中，特別是在視頻監控系統中還有很多熱點問題需要探究。

（1）減少運算量并提升算法效率。雖然已經研究出很多恢復算法，但大部分算法的計算量都很大，如MAP、POCS、基于學習的方法等，需要做更多的研究。

（2）視頻序列間的運動參數估計。當前，針對視頻序列間的運動估計還沒有得到有效的討論與研究，需要尋找快速、準確、可靠地獲得多幀離散圖像和多組視頻序列間的運動估計參數的算法。這也是SR圖像恢復中需要解決的關鍵問題。

（3）根據監控視頻畫面內容的特點尋找適合監控視頻畫面的表述方法。在視頻監控中，各種復雜時空因素對成像質量清晰度影響很大，需研究監控視頻中被加性噪聲污染后的監控視頻圖像的退化模型以及監控視頻畫面的特點。

（4）實時性電路結構的實現。在監控視頻中，由于監控畫面是運動的目標，圖像畫面連續變化，必須做到實時處理，才能滿足實際應用。但監控視頻數據量大，對海量視頻數據的處理涉及復雜的計算過程，需要大量的計算開銷，內存間涉及龐大的數據吞吐量；加之SR圖像處理算法的復雜性，進一步加重了計算負擔，使得圖像處理電路設計面臨著巨大的挑戰，需研究SR圖像處理質量效果及電路資源、實時性三者間的約束關系。

［1］卓力，王素玉，李曉光.圖像/視頻的超分辨率復原［M］.北京：人民郵電出版社，2011.

［2］Tekalp A.M.，Ozkan M.K.，Sezan M.I.，High-resolution image reconstruction from lower-resolution image sequences and spacevarying image restoration ［A］，In IEEE International Conference on Acoustics，Speech， and Signal Processing，1992：169-172.

［3］Kim S.P.， Bose N.K.， Valenzuela H.M.， Recursive reconstruction of high resolution image from noisy under sampled multiframes ［J］.IEEE Transactions on Acoustics，Speech，and Signal Processing，1990，38（6）：1013-1027.

［4］Rhee S.H. and Kang M.G.， Discrete cosine transform basedregularized high-resolution image reconstruction algorithm，1999，38（8）：1348-1356.

［5］Park SC， Park MK and Kang MG. Super-resolution image reconstruction a technical overview. Signal Processing Magazine，IEEE.2003，20（3）：21-36.

［6］張良培等著.圖像超分辨率重建［M］.北京科學出版社，2012.

［7］Mann S.and Picard R.W.，Virtual bellows：Constructing high quality stills from video，in Proc. IEEE Int.Conf.Image Processing，Austin，TX，1994：13-16.

［8］Irani M.and Peleg S.，Motion analysis for image enhancement resolution，occlusion，and transparency， J. Visual Commun. Image Represent，1993，4：324-335.

［9］Stark H.and Oskoui P.，High resolution image recovery from image-plane arrays，using convex projections，J. Opt. Soc. Am. A，1989，6： 1715-1726.

［10］Tekalp A.M.，Ozkan M.K.and Sezan M.I.，High-resolution image reconstruction from lower-resolution image sequences and space varying image restoration，in Proc.IEEE Int.Conf.Acoustics，Speech and Signal Processing （ICASSP），San Francisco，CA.，1992，3：169-172.

［11］Patti A.J.，Sezan M.I.and Tekalp A.M.，Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time，IEEE Trans.Image Processing，1997，6（8）：1064-1076.

［12］Patti A.J.and Altunbasak Y.，Artifact reduction for set theoretic superresolution image reconstruction with edge adaptive constraints and higher-order interpolants，IEEE Trans.Image Processing，2001，10（1）：179-186.

［13］Hong M.C.，Kang M.G.，and Katsaggelos A.K.，A regularized multichannel restoration approach for globally optimal high resolution video sequence，in SPIE VCIP，San Jose，CA，1997，3024：1306-1317.

［14］Kang M.G.，Generalized multichannel image deconvolution approach and its applications，Opt.Eng.，1998，37（11）：2953-2964.

［15］Hardie R.C.，Barnard K.J.，Bognar J.G.，Armstrong E.E.and Watson E.A.，High-resolution image reconstruction from a sequence of rotated and translated frames and its application to an infrared imaging system，Opt.Eng.，1998，37（1）：247-260.

［16］Hansen P.C.and Prost O'Leary D.，The use of the L-curve in the regularization of discrete ill-posed problems，SIAM J.Sci. Comput.，1993，14（6）：1487-1503.

［17］Schulz R.R.and Stevenson R.L.，Extraction of high-resolution frames from video sequences，IEEE Trans.Image Processing，1996，5：996-1011.

［18］Tom B.C.and Katsaggelos A.K.，Reconstruction of a highresolution image by simultaneous registration，restoration，and interpolation of low-resolution images，Proc.1995 IEEE Int.Conf. Image Processing，1995，2：539-542.

［19］Hardie R.C.，Barnard K.J.and Armstrong E.E.，Joint MAP registration and high-resolution image estimation using a sequence of undersampled images，IEEE Trans.Image Processing.，1997，6：1621-1633.

［20］Rudin L.，Osher S.and Fatemi E.，Nonlinear total variation based noise removal algorithms，Phys.D，1992，60：259 268.

［21］Farsiu S.，Elad M.and Milanfar P.，Multi-frame demosaicing and super-resolution of color images，IEEE Transactions on Image Processing，2006，15（1）：141 159.

［22］Keightley Dand Hunt BR，A rigid POCS extension to a Poisson super-resolution algorithm.Image Processing，International Conference，1995，2：508 511.

［23］Elad M.and Feuer A.，Restoration of a single superresolution image from several blurred，noisy，and undersampled measured images，IEEE Trans.Image Processing，1997，6（12）：1646-1658.

［24］CHANG H，YEUNG D Y and XIONG Y.Super resolution through neighbor embedding［C］，Proceedings of IEEE Conf CVPR.Washington，DC：IEEE Press，2004：275-282.

［25］NI K and NGUYEN T Q.Image superresolution using support vector regression［J］.IEEE Transactions on Image Processing，2007，16（6）：1596-1610.

［26］YANG J C，WRIGHT J，MA Y，et al.Image super-resolution as spar se representation of raw image patches［C］，Proceedings of IEEE Conf CVPR.Anchorage，Alaska：IEEE Press，2008：1-8.

Overview on Superresolution Image Restoration Algorithms

Huang Qiaojie
（GUANGDONG AGRICULTURE INDUSTRY BUSINESS POLYTECHNIC， Guangzhou 510507， China）

Super-resolution image restoration is widely used in video surveillance， pattern recognition， military reconnaissance， remote sensing，medical diagnosis etc.， which has become one of the most active research areas in image processing. Firstly， classical algorithms of Super-resolution image restoration were introduced. Secondly， advantages and disadvantages of the above methods were compared and analyzed. Thirdly， research directions and prospects were proposed. It is hoped to provide some theoretical basis for further development.

Super-resolution；high-resolution image； low-resolution image； restoration

黃巧潔（1981—），女，廣東佛山人，研究生，講師，畢業于華南理工大學，就職于廣東農工商職業技術學院，研究方向：數字圖像處理與計算機通信。