超分辨率圖像恢復方法綜述

向海燕

(重慶郵電大學信號與信息處理重點實驗室，重慶 400065)

超分辨率圖像恢復方法綜述

向海燕

(重慶郵電大學信號與信息處理重點實驗室，重慶 400065)

由于成像技術及工藝的限制，從硬件方面提高超分辨率需要花費高昂的費用，因此考慮從軟件方面實現圖像的超分辨率。對現有的超分辨率圖像技術進行了介紹，然后在此基礎上提出了算法的研究方向和展望，對超分辨率圖像恢復技術的研究有一定意義。

超分辨率;高分辨率圖像;低分辨率圖像;圖像恢復

圖像超分辨率可以被理解為圖像放大之后細節仍然清晰可見。現有的超分辨率圖像恢復一般是指恢復出一幅圖像邊緣清晰，細節、輪廓等較為清晰、合理的算法。超分辨率恢復技術通過一幅或者多幅低分辨率圖像，經由重建的方法來獲得一幅高分辨率圖像［1］。由于目前成像器件分辨率的限制，從硬件上提高圖像的分辨率需要高昂的費用和代價，因此從軟件方面來實現圖像的超分辨率具有較大的研究意義和價值。

自Tsai和Huang［2］于1984年第一次提出超分辨率重建問題以來，出現了很多超分辨率恢復方法。超分辨率圖像恢復方法主要分為3種:第一種是基于插值的超分辨率恢復算法;第二種是基于重建約束的超分辨率圖像恢復算法;最后一種是基于學習的超分辨率圖像恢復方法。基于插值的算法主要包括雙線性插值，雙三次插值等，算法簡單但效果差，特別是當放大倍數較大的時候，重建效果會急劇下降。基于重建約束的超分辨率圖像恢復算法是研究較多的算法，主要包括迭代反投影(IBP)［3］，最大后驗概率大(MAP)［4］，凸集投影法(POCS)［5］等。這些方法在低分辨率圖像足夠多的情況下，只要低分辨率圖像配準精度足夠高就能恢復出具有較高質量的圖像。基于學習的超分辨率圖像恢復方法［6］是目前研究的熱點和難點，它打破了奈奎斯特采樣頻率的極限，即使采樣率小于等于2倍的奈奎斯特頻率，仍然能夠恢復出原始圖像。而在基于學習的超分辨率算法中，基于稀疏學習的超分辨率圖像恢復［7，13］是目前研究中效果最佳的算法，后續很多研究都是在此基礎上進行擴展。

1 超分辨率圖像恢復方法

圖像插值技術是一種比較簡單的數學問題，它是利用周圍像素或者鄰近點之間的關系對高分辨率圖像網格中未知像素的估計，使得這個估計值接近最理想的結果。常見的插值算法有最近鄰插值、雙線性插值、三線性插值、以及樣條插值和分形插值。插值技術比較簡單，但是插值技術會因為放大因子的增大而出現立即下降的情況，因此很少考慮插值技術。下面主要介紹兩種圖像恢復的超分辨率技術:基于約束重建和基于學習的超分辨率圖像恢復技術。

1.1 基于約束重建的超分辨圖像恢復技術

實際應用中，所獲得的低分辨率圖像是由成像器件采集到的圖像。而由于受成像器件的限制以及成像水平的影響，獲得的圖像一般是模糊、分辨率低且含有噪聲的圖像，故一般實現圖像恢復算法采用的低分辨率圖像都是將高分辨率圖像經過退化模型模擬產生。

1.1.1 圖像退化模型

式(1)中:Dr為采樣矩陣，大小為ab×q2ab，由于選擇的采樣率一樣，所以直接用D表示即可;Mr為模糊矩陣，大小為q2ab×q2ab，模糊矩陣也是相同的，也用M表示;Fr為運動矩陣，大小為q2MN ×q2MN;n為噪聲，和原始圖像大小一樣即為a× b，此處利用H=DMP來表示整個過程。超分辨率圖像恢復就是在已知觀測的一系列低分辨率圖像的條件下，恢復出超分辨率圖像，所以圖像恢復是一個反問題，其求解是一個病態逆問題［8－9］。

1.1.2 對重建模型的求解

1)迭代反投影(IBP)算法

迭代反投影［10］是出現比較早的算法，它的基本思想是:首先通過插值方法估計出一幅高分辨率圖像，之后利用通過下采樣、模糊操作模擬低分辨率圖像。迭代反投影就是利用模擬的低分辨率和給定低分辨率圖像之間Y的差值來不斷更新當前估算，而迭代操作過程中有一個反迭代矩陣HBP，它近似為H－1，即有

反迭代投影強調重建的結果要和原始的觀測數據匹配，但是由于重建結果的病態問題的存在，重建的結果不是唯一的，且在IBP中沒有加入先驗知識，因此解的結果可能不穩定、不唯一，而且HBP的選擇也是一大難點。

2)最大后驗概率(MAP)

最大后驗概率是在IBP出現之后發展起來的，最經典的算法是由Russell C.Hardie提出的MAP圖像重建［11］。該算法對未知圖像的估計是通過最大化給定的一系列觀測圖像Y對理想圖像X的條件概率密度函數P(X|Y)而得到的，即有

由于P(Y)與X是無關的，對上面取對數，因此可以簡化為下面的式子:

從式(4)可以看出:該算法有效地利用了圖像的先驗知識，因此能對解進行約束，從而實現解的唯一。但是目前而言，圖像的先驗信息選取不準確會對圖像的效果有很大影響，而且該算法的時間代價也較高，不利于視頻和圖像的實時處理。

3)凸集投影(POCS)

凸集投影［12］使用集合理論把需要恢復的圖像的各種先驗信息，例如正定、能量有界、數據可靠、光滑等定義為約束凸集，滿足這些約束的值就是圖像解集。POCS是一種迭代過程，在給定超分辨率圖像空間中任意一點的前提下，它可以定位滿足所有凸約束集條件的點，即收斂解。

POCS的解集是一個凸集，該凸集可以定義如下:

其中:yj(x，y)表示第j幅低分辨率圖像的像素值; rj(x，y)表示殘差;(x1，y1)表示高分辨率圖像的估計;hj(x，y;x1，y1)表示對圖像的下采樣和模糊等操作。

該方法沒有唯一解，而且最后的解依賴圖像的初始估計，具有收斂速度較慢且解不穩定等缺點。

1.1.3 小結

上面的方法各有優缺點，后續有很多研究給出了各種改進。改進后的圖像效果和速度有所改善，但是當圖像的放大因子達到飽和時，不論增加多少低分辨率圖像都不能再改善圖像的效果，因此基于學習的超分辨率圖像恢復技術應運而生。

1.2 基于學習的超分辨率圖像恢復技術

基于學習的超分辨率圖像恢復技術是目前圖像恢復技術研究的熱點。它通過學習高、低分辨率圖像塊之間的關系，并將這個關系作為先驗信息指導低分辨率圖像進行重建，這個關系就是需要學習的。目前基于學習的方法大致可以分為兩種:基于樣本的方法和基于稀疏表示的方法。下面主要圍繞這兩種超分辨率圖像恢復進行說明。

1.2.1 基于樣本的超分辨率圖像恢復方法

Freeman［13］于2002年首次提出基于樣本的超分辨率方法。通過建立高分辨率塊與對應低分辨率塊和鄰近塊之間的關系，引入了馬爾可夫先驗場。其基本思想是:讓每一個低分辨率圖像塊y成為一個觀測節點，選擇16個或者是與之非常靠近的樣本作為隱藏節點x的不同狀態，這個x就是需要估計的值。條件概率分布建模為

其中:Z為歸一化常數。

其中:dij(xi，xj)表示候選塊xi，xj重疊區域的平方差之和;σ為噪聲參數。同樣利用相同的馬爾科夫網絡來說明φi(xi，yi)。由于需要構建數十萬個高分辨率與低分辨率圖像塊對來計算馬爾科夫網絡，因此計算量大。為了改善這種情況，針對這個樣本的恢復，Yang［14］提出了基于in－place樣本回歸的超分辨率算法，該算法的主要實現可以用圖1來表示。

圖1 重建模型

圖1中:y代表輸入低分辨率圖像Y上面的小塊，y0代表對Y進行高斯濾波之后的低分辨率圖像上取得小塊，x0同樣也是從X0上面提取的圖像。學習算法主要是對一階回歸函數▽F進行學習，不需要直接對回歸函數F(F是指低分辨率圖像塊y空間到高分辨率圖像塊x空間的映射)進行學習，這樣得到的結果不僅更加精確，而且效率也有所提高。利用該算法，基本上能夠實現實時處理，實現了5倍放大效果的超分辨率圖像效果仍較好。

1.2.2 基于稀疏表示的超分辨率圖像恢復

Olshausen［15］于1996年首次提出了學習字典的概念，并指出:“當稀疏編碼應用于二維圖像時，學習到的基與哺乳動物視覺皮層V1區內各種神經元的反應特性類似，并且證明了基于學習的字典比經典的字典表達更精確，更接近人類反應，自適應性較強”。稀疏特性充分考慮了人眼的視覺特性，利用該算法恢復的圖像效果較好。Yang［16］提出了一種基于稀疏編碼的學習算法，該算法是從外部圖像樣本直接選取高低分辨率圖像塊作為高低分辨率字典，之后利用字典求解稀疏系數進行超分辨率圖像恢復。該算法的缺陷是高低分辨率圖像塊之間并沒有稀疏關聯，而且選擇樣本時很難選擇合適的樣本，因此運行時間相對較長。后來Yang［17］又提出了一種稀疏聯合來求解高低分辨率字典，它的基本思想是將圖像的高分辨率塊和低分辨率塊的特征進行聯合稀疏求解，特征的選擇一般選用一階和二階因子來提取，這樣學習得到目標字典對，使得高低分辨率圖像具有相同的稀疏表示。該算法大大提高了運算速度以及重建效果，由于算法仍然采用的是線性求解，因此算法收斂較慢。之后又有研究者對這個字典訓練進行改進［18］，改進的算法在選擇字典時速度仍然較慢，而字典的選擇對于恢復圖像的效果至關重要。Zeyde［19］對文獻［18］使用了不同的訓練方法，從而在算法結構和復雜度上都進行了改進，最終恢復圖像的效果有了很大改善。而后，廖秀秀［20］提出了雙稀疏字典的超分辨率圖像重建算法，這種恢復算法不僅在性能方面有所提升，而且速度也大大加快。

2 后續研究和展望

本文介紹了現有的一些超分辨率圖像恢復算法的優缺點。基于插值的恢復算法簡單，一般作為初始的高分辨率估計。基于重建約束的超分辨率圖像重建一般要考慮多幅具有位移的低分辨率圖像進行匹配，融合去求解高分辨率圖像，這個過程中配準程度精度對圖像是否出現偽邊緣影響很大。而且當放大因子達到一定程度時，即使有多幅低分辨率圖像仍然不能改變其效果。因此，綜合考慮，在目前基于稀疏的超分辨率圖像恢復已經能夠做出很好的效果且時間代價也不是很大的情況下，基于稀疏的超分辨率圖像恢復算法是最具研究前景的。綜上所述，目前超分辨率圖像恢復方法研究包括:

1)如何讓圖像的細節更加清晰。當放大因子較大時，仍然能夠恢復出和原始圖像接近的圖片。

2)稀疏聯合字典的求解。讓求解的稀疏系數更加完備且更加滿足人眼視覺特性要求。

3)文獻［21］指出，雖然稀疏重建和樣本算法都已經達到了較好的效果，但是如果把回歸模型考慮到圖像恢復中，那么重建質量將會有更大的改進和提升。基于樣本的選擇和回歸模型的結合在文獻［14］中已實現了就目前而言相對較好的效果，因此考慮若將稀疏和回歸模型結合也許能達到較好的恢復效果。

4)軟硬有機結合實現超分辨率圖像恢復。考慮將前端的硬件實現并做出改進，使硬件實現時達到一定的效果，再利用恢復算法實現超分辨率，使方法倍數達到更大。

5)圖像質量評價。如何找到一個比較符合人眼視覺效果的評判標準對圖像的研究有重要意義。

［1］蒲劍，張軍平，黃華.超分辨率算法研究綜述［J］.山東大學學報:工學版，2009(1).

［2］Tsai R Y，Huang T S.Uniqueness and estimation of three－dimensionalmotion parameters of rigid objects with curved surfaces［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，1984(1):13－27.

［3］郭偉偉，章品正.基于迭代反投影的超分辨率圖像重建［J］.計算機科學與探索，2009，3(3):321－329.

［4］肖創柏，禹晶，薛毅.一種基于MAP的超分辨率圖像重建的快速算法［J］.計算機研究與發展，2009(5): 872－880.

［5］肖杰雄.基于POCS算法的超分辨率圖像重建［D］.上海:上海交通大學，2009.

［6］劉琚，喬建蘋.基于學習的超分辨率重建技術［J］.智能系統學報，2009，4(3):199－207.

［7］Yang J，Wright J，Huang T，et al.Image super－resolution as sparse representation of raw image patches［C］//Computer Vision and Pattern Recognition，2008.CVPR 2008. IEEE Conference.USA:IEEE，2008:1－8.

［8］鄒謀炎.反卷積和信號復原［M］.北京:國防工業出版社，2001.

［9］劉志文，潘曉露，李一民.L1范數的總變分正則化超分辨率圖像重建［J］.微處理機，2012，33(3):37－39.

［10］Irani M，Peleg S.Super resolution from image sequences［C］//Pattern Recognition，1990.Proceedings，10th International Conference.USA:IEEE，1990，2:115－120.

［11］JointMAPRegistration and High－Resolution Image Estimation Using a Sequence of Under－sampled Images［Z］.

［12］王學玲.基于POCS算法的序列圖像超分辨率復原技術研究［D］.青島:中國海洋大學，2007.

［13］Freeman WT，Jones T R，Pasztor E C.Example－based super－resolution［J］.Computer Graphics and Applications，IEEE，2002，22(2):56－65.

［14］Yang J，Lin Z，Cohen S.Fast Image Super－Resolution Based on In－Place Example Regression［C］//Computer Vision and Pattern Recognition(CVPR)，2013 IEEE Conference.USA:IEEE，2013:1059－1066.

［15］Olshausen B A.Emergence of simple－cell receptive field properties by learning a sparse code for natural images［J］.Nature，1996，381(6583):607－609.

［16］Yang J，Wright J，Huang T，et al.Image super－resolution as sparse representation of raw image patches［C］//Computer Vision and Pattern Recognition，2008.CVPR 2008. IEEE Conference.USA:IEEE，2008:1－8.

［17］Yang J，Wright J，Huang T S，et al.Image super－resolution via sparse representation［J］.Image Processing，IEEE Transactions on，2010，19(11):2861－2873.

［18］Yang S，Wang M，Chen Y，et al.Single－image super－resolution reconstruction via learned geometric dictionaries and clustered sparse coding［J］.Image Processing，IEEE Transactions，2012，21(9):4016－4028.

［19］Zeyde R，Elad M，Protter M.On single image scale－up using sparse－representations［M］.Curves and Surfaces. USA:Springer Berlin Heidelberg，2012:711－730.

［20］廖秀秀.基于學習的圖像超分辨率重建算法研究［D］.廣州:華南理工大學，2013.

［21］Kim K I，Kwon Y.Single－image super－resolution using sparse regression and natural image prior［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(6):1127－1133.

(責任編輯 楊黎麗)

Review of Super-resolution Image Restoration Method

XIANG Hai－yan
(Key Laboratory of Signal and Information Treatment，Chongqing University of Posts and Telecommunications，Chongqing 400065，China)

As the limitation of imaging technology，improving super－resolution from the hardware needs expensive cost，so we consider implementing super－resolution image from the software.Firstly，this paper is a brief introduction of the previous super－resolution restoration technology，and then based on this，this paper puts forward the algorithm research direction and development in the future.

super－resolution;high resolution image;low resolution image，image restoration

TP13

A

1674－8425(2014)09－0072－05

10.3969/j.issn.1674－8425(z).2014.09.016

2014－05－18

國家自然科學基金項目(61275099)，信號與信息處理重慶市市級重點實驗室建設項目(CSTC，2009CA2003)，重慶市自然科學基金項目(CSTC，2010BB2398)和重慶市科技攻關計劃項目(CSTC，2011AB2008)

向海燕(1990—)，女，重慶萬州人，碩士研究生，主要從事圖像處理方面的研究。

向海燕.超分辨率圖像恢復方法綜述［J］.重慶理工大學學報:自然科學版，2014(9):72－76.

format:XIANG Hai－yan.Review of Super－resolution Image Restoration Method［J］.Journal of Chongqing University of Technology:Natural Science，2014(9):72－76.