超分辨率復(fù)原方法相關(guān)原理研究

陳 健,高慧斌,王偉國,張振東,路 明

(1.中國科學(xué)院 長春光學(xué)精密機械與物理研究所,吉林 長春 130033；2.中國科學(xué)院大學(xué),北京 100049；3.吉林大學(xué) 通信工程學(xué)院,吉林 長春 130012)

超分辨率復(fù)原方法相關(guān)原理研究

陳 健1,2,3,*,高慧斌1,王偉國1,張振東1,路 明1

(1.中國科學(xué)院 長春光學(xué)精密機械與物理研究所,吉林 長春 130033；2.中國科學(xué)院大學(xué),北京 100049；3.吉林大學(xué) 通信工程學(xué)院,吉林 長春 130012)

介紹了超分辨率復(fù)原方法的概念和理論基礎(chǔ)；重點總結(jié)了常用的超分辨率復(fù)原方法，并對相關(guān)的理論依據(jù)、優(yōu)缺點和適用范圍進行了詳盡分析；對超分辨率復(fù)原方法的未來發(fā)展進行了展望。超分辨率復(fù)原方法分為頻域法和空域法。頻域復(fù)原法原理簡單清楚，計算方便，但是所建立的運動模型都是平移模型，不具有一般性，同時難以利用正則化約束，因而導(dǎo)致難以使用圖像的先驗信息進行超分辨率復(fù)原。空域復(fù)原法可以很方便地建立復(fù)雜的運動模型，同時考慮了幾乎所有的圖像降質(zhì)因素，例如噪聲、降采樣、由非零孔徑時間造成的模糊、光學(xué)系統(tǒng)降質(zhì)和運動模糊等，還可以加入更完善的先驗知識，相比于頻域復(fù)原法，空域超分辨率復(fù)原模型更符合實際的圖像退化過程，是目前應(yīng)用最廣泛的一類超分辨率復(fù)原方法。

超分辨率復(fù)原；頻域法；空域法；凸集投影約束

1 引言

“超分辨率”一詞的定義，經(jīng)歷了一系列的發(fā)展過程。成像系統(tǒng)可以看作是一個低通濾波器，經(jīng)歷了降采樣和低通濾波的過程，原始圖像中的一些高頻信息被濾除掉了，所成的圖像不是十分清晰。傳統(tǒng)的圖像復(fù)原方法只能在系統(tǒng)的極限衍射頻率范圍內(nèi)去估計圖像信息，無法突破硬件條件的限制，為此超分辨率復(fù)原方法應(yīng)運而生。最初學(xué)者們認為超分辨率復(fù)原方法指的就是估計超過成像系統(tǒng)衍射極限范圍的圖像信息的復(fù)原方法。隨后，學(xué)者們發(fā)現(xiàn)對同一個場景所成的圖像序列包含的信息是不盡相同的，結(jié)合這些低分辨率圖像序列，采用圖像處理的方法就可以獲得視覺效果較好的高分辨率圖像。隨著超分辨率方法的進一步發(fā)展，超分辨率復(fù)原方法將越來越多的圖像降質(zhì)因素考慮在內(nèi)，包括序列圖像的亞像素位移、紅外相機的動態(tài)響應(yīng)范圍、成像系統(tǒng)的固有噪聲和圖像的運動模糊等，越來越接近于實際的降質(zhì)模型。

從圖像處理角度，所謂的超分辨率復(fù)原，就是利用一幅或者多幅低分辨率的圖像，結(jié)合特定的方法，來估計頻率信息大于光學(xué)成像系統(tǒng)截止頻率的高分辨率圖像的過程，該過程主要克服的困難有光學(xué)系統(tǒng)的像差、大氣擾動和目標與光學(xué)系統(tǒng)之間的相對運動產(chǎn)生的模糊、成像系統(tǒng)噪聲、紅外相機降采樣丟失的信息和光學(xué)系統(tǒng)離焦等。超分辨率復(fù)原是圖像融合的一個分支，同樣是一個病態(tài)問題，也就是說輸入圖像參數(shù)的輕微擾動都會導(dǎo)致估計圖像產(chǎn)生較大的偏差，學(xué)者們一直都在致力于解決這個問題。

目前，超分辨率復(fù)原已經(jīng)應(yīng)用于多個領(lǐng)域，也已經(jīng)成為圖像配準方面發(fā)展比較活躍的一個分支。例如法國的SPOT和美國的EarthSat公司已經(jīng)成功地將超分辨率復(fù)原技術(shù)應(yīng)用于商業(yè)領(lǐng)域，在衛(wèi)星圖像復(fù)原中取得較好的效果。

2 超分辨率復(fù)原方法中的圖像退化模型

要研究超分辨率復(fù)原方法，首先必須了解圖像退化的機理，也就是低分辨率降質(zhì)圖像的成因，建立合適的降質(zhì)模型。如果將質(zhì)模型建立的足夠精確，那么根據(jù)其逆過程則可以很容易地恢復(fù)出高質(zhì)量地高分辨率圖像。

自然圖像可以看作是一個在所有頻段都有分量的連續(xù)信號，由于發(fā)生幾何形變和運動模糊，經(jīng)過光學(xué)系統(tǒng)降采樣后離散化，加上前面分析的加性噪聲，最后形成了降質(zhì)圖像。由同一光學(xué)系統(tǒng)對同一場景采集的連續(xù)多幀圖像序列，可以看作是自然原始圖像經(jīng)過不同的形變、模糊、降采樣和噪聲參數(shù)作用之后得到的不同圖像。在傳統(tǒng)的圖像復(fù)原過程中，考慮的一般只有運動模糊和加性噪聲，而超分辨率復(fù)原過程中考慮的因素顯然更多。在成像系統(tǒng)中，只有光子散粒噪聲是乘性的，這種小的噪聲可以忽略，因此整個噪聲模型可以用加性的高斯噪聲近似得到。

根據(jù)考慮的主要退化因素不同，可以建立不同的退化模型。假設(shè)獲得的低分辨率圖像為｛lp1，lp2，…，lpn｝，如果退化過程滿足以下條件：幾何形變?yōu)橹饕耐嘶蛩兀荒：虿灰韵鄬\動為主，而是以光學(xué)系統(tǒng)的離焦、大氣抖動為主要成因；幾何形變發(fā)生在模糊之前。則建立基于形變的退化模型。

基于形變的圖像退化模型如圖1所示。

圖1 基于形變的圖像退化模型Fig.1 Image degradation model based on deformation

相應(yīng)地，基于形變的圖像退化模型的數(shù)學(xué)表達式如式(1)所示。

式中：為了計算和表示方便，假設(shè)自然圖像場景的長寬比為1，尺寸為L×L，則X是一個L2×1的一維列向量，表示對自然圖像進行行堆砌得到的矢量，Ci為L2×L2的系統(tǒng)模糊矩陣，F(xiàn)i為L2×L2的幾何形變矩陣，可描述各種幾何變換如平移、旋轉(zhuǎn)和尺度縮放等，Di為×L2的紅外相機降采樣矩陣，最后生成的低分辨率圖像Lpi也是×1維的。

如果考慮運動模糊為主要的退化因素，或者模糊過程發(fā)生在形變過程之前，則建立基于運動模糊的退化模型。

基于運動模糊的圖像退化模型如圖2所示。

圖2 基于運動模糊的圖像退化模型Fig.2 Image degradation model based on motion blur

相應(yīng)地，基于運動模糊的圖像退化模型的數(shù)學(xué)表達式如式(2)所示。

為了表示方便，也可以將式(1)和式(2)簡單寫為：

式中：Hi=DiFiCi或者Hi=FiDiCi，這便是所熟悉的經(jīng)典圖像退化模型。在上述模型中，大寫字母表示的是信號的傅里葉變換。由式(1)、式(2)和式(3)可以得到一維列向量X如式(4)所示。

因為Hi是一個低通濾波器，高頻部分趨于0，因此在高頻上，Ni的一個細小的擾動都有可能導(dǎo)致X發(fā)生較大的變化，解空間不存在連續(xù)性。同時，較大的噪聲容易導(dǎo)致觀測到的低分辨率圖像與高分辨率圖像嚴重不符，無法進行估計。再者，在約束條件不同的情況下，得到的解也不盡相同。因此稱超分辨率復(fù)原問題是一個病態(tài)問題。直接利用式(3)進行逆變換是不可行的，因為超分辨率復(fù)原的目的是恢復(fù)出超過光學(xué)系統(tǒng)截止頻率的原始信號，這種直接進行逆變換得到的結(jié)果顯然不可能超過光學(xué)系統(tǒng)的截止頻率。

超分辨率復(fù)原的目標，就是研究如何從這一組低分辨率圖像｛lp1，lp2，…，lpn｝中，找到原始圖像信號X的近似估計。為了引出超分辨率復(fù)原模型的一些經(jīng)典方法，下面首先介紹超分辨率復(fù)原的3個理論基礎(chǔ)：信息疊加理論、解析延拓理論和非線性操作理論。

2.1 信息疊加理論

無論是可見光相機還是紅外相機成像，采用的都是非相干成像機理，圖像中不存在乘性相干斑噪聲。同時，可以認為圖像中的目標具有固定的大小。對于某一個目標信號f(x)，可以表示為：

式(5)中：rect(x/X)可以表示為：

式(6)中：X表示目標的尺寸。式(5)表示在特定的范圍內(nèi)，目標是有信號的，而一旦超出了這個范圍，目標信號就可以認為是0。光學(xué)系統(tǒng)相當于一個低通濾波器，假設(shè)其截止頻率為Fc。對目標信號f(x)作傅里葉變換得到其頻譜F(u)，假設(shè)其在截止頻率之外和截止頻率之內(nèi)的頻譜分別為Fa(u)和Fb(u)，則頻譜F(u)可以表示為：

相應(yīng)地，對式(5)作傅里葉變換，得到頻譜F (u)可以表示為：

sinc(Xu)的頻譜覆蓋了整個頻段，則式(8)中的Fa(u)*sinc(Xu)表示目標信號的低頻分量會出現(xiàn)在光學(xué)系統(tǒng)截止頻率以上，而Fb(u)* sinc(Xu)表示目標信號的高頻分量會出現(xiàn)在光學(xué)系統(tǒng)的截止頻率以下。也就是說，通過光學(xué)成像系統(tǒng)獲得的低分辨率圖像中，既包含目標的低頻分量的信息，又包含目標高頻分量的信息，如果能將所有這些頻率信息都完整分離出來，就可以完全復(fù)原出高分辨率的目標圖像。

2.2 解析延拓理論

解析延拓理論認為：一個解析函數(shù)一旦給定其在某一個連續(xù)區(qū)間上的值，則這個解析函數(shù)完全確定，換言之，不存在兩個不同的解析函數(shù)，在某一區(qū)間上的取值處處相同。

根據(jù)上一小節(jié)的分析可知目標信號在空域有界，則其在頻域上為解析函數(shù)。而根據(jù)式(2)可知從觀測圖像可以得到原始圖像的低頻分量(因為系統(tǒng)傳遞函數(shù)Hi是一個低通濾波器)，則根據(jù)低頻區(qū)間的函數(shù)值，完全可以復(fù)原整個頻域的傅里葉變換，這就是超分辨率復(fù)原的任務(wù)和目標。

2.3 非線性操作理論

根據(jù)式(2)可知，降質(zhì)過程受到噪聲影響，由此得到的式(4)中f(x)的估計值可能包含負數(shù)，或者不滿足有界性。因此一般的圖像復(fù)原均需要強制添加約束條件，對估計出的解進行截斷，只保留滿足有意義和非零的那部分解。截斷是一個非線性操作，會對解附加高頻分量，因此只要約束條件足夠合理，便可以恢復(fù)出原始圖像的高頻分量，實現(xiàn)超分辨率復(fù)原。

本節(jié)論述了從觀測到的低分辨率圖像恢復(fù)高分辨率圖像的可能性，下面著重介紹目前較為成熟的一些超分辨率復(fù)原方法。

3 常用的超分辨率復(fù)原方法分析

在超分辨率復(fù)原這個概念提出后的最初幾年，學(xué)者們一般是使用單幀圖像復(fù)原的方法，將其歸為一般的圖像復(fù)原問題，代表性的方法包括：基于解析延拓原理的外推法、基于長球函數(shù)的外推法、Papoulis-Gerchberg迭代法和一步外推法等。這類復(fù)原問題都是病態(tài)問題，觀測誤差和噪聲的引入會對解產(chǎn)生很大影響，因此單幀圖像復(fù)原法復(fù)原圖像質(zhì)量不能令人滿意，難以應(yīng)用在實際工程中，已逐漸淡出了人們的視野。

目前采用的超分辨率復(fù)原方法，基本上均使用了多幀的低分辨率圖像，從不同圖像中提取相互補充的信息，從而恢復(fù)出高分辨率圖像［1］。多幀序列圖像的超分辨率復(fù)原方法，一般可以分為圖像配準、降晰參數(shù)辨識和復(fù)原3個步驟，因為利用到了豐富的信息和先驗知識，所以復(fù)原效果優(yōu)于單幀圖像復(fù)原方法。基于多幀序列圖像的超分辨率復(fù)原方法可以分為頻域方法和空域方法，頻域方法包括遞歸最小二乘法(Recursive Least Squares，RLS)、遞歸整體最小二乘法(Recursive Total Least Squares，RTLS)、消混疊復(fù)原法和廣義采樣定理法等，空域方法包括非均勻空間樣本插值法、濾波器法、迭代反向投影法、代數(shù)濾波后向投影法、凸集投影(POCS)法、統(tǒng)計復(fù)原法和混合最大后驗概率估算和凸集投影(MAP/POCS)法等，其中尤以空域復(fù)原方法使用最為廣泛。

圖3 超分辨率復(fù)原方法體系Fig.3 Methodology of super-resolution restoration

超分辨率復(fù)原方法體系見圖3。

3.1 頻域超分辨率復(fù)原方法

頻域法的主要思想是假設(shè)序列圖像之間存在位移變化，對序列圖像首先進行傅里葉變換，并根據(jù)傅里葉變換的平移特性，消除序列圖像之間的頻譜混疊，獲得更多原始圖像的高頻信息，從而得到高分辨率圖像。頻域法的基礎(chǔ)是Tsai和Huang等提出的消混疊復(fù)原法，其余諸如RLS、WTLS和廣義采樣定理法都可以看作是對消混疊復(fù)原法的改進。

頻域超分辨率復(fù)原方法的一般步驟如圖4所示。

圖4 頻域超分辨率復(fù)原方法的一般步驟Fig.4 General steps of frequency domain super-resolution restoration

3.1.1 消混疊復(fù)原法

原始的高分辨率圖像信號是二維連續(xù)信號，記為x(t1，t2)，它的傅里葉變換為X(w1，w2)。觀測得到一系列低分辨率圖像yk［n1，n2］，k=1，…，p是由這個信號經(jīng)過平移和光學(xué)系統(tǒng)降采樣得到的。假設(shè)第k個位移圖像為：

式(9)中：δk1和δk2為已知位移量，k=1，2，…，p。由傅里葉變換的位移性質(zhì)，位移圖像xk(t1，t2)的傅里葉變換如式(10)所示。

光學(xué)成像系統(tǒng)對位移圖像xk(t1，t2)分別以T1和T2為周期進行離散采樣，最終得到低分辨率圖像序列yk［n1，n2］。根據(jù)傅里葉變換的頻譜混疊性質(zhì)，下式為：

式(11)可以簡寫為：

式(12)中：Y是p×1的列向量，第k個元素為yk［n1，n2］，X為L1L2×1的列向量，Φ是p×L1L2的變換矩陣。因為觀測圖像Y已知，平移關(guān)系可以通過圖像配準方法得到，所以通過解上述方程組并經(jīng)過傅里葉逆變換，就可以得到高分辨率圖像。

消混疊復(fù)原法模型簡單，實現(xiàn)起來也較為容易，但缺點是假設(shè)較為嚴格，只能處理序列圖像之間是平移關(guān)系的情況，并且沒有考慮光學(xué)系統(tǒng)的離焦、運動模糊和噪聲等因素，實用性較差。

3.1.2 遞歸最小二乘法

Kim等［2-3］對傳統(tǒng)的消混疊復(fù)原法進行了深入的研究，在復(fù)原過程中考慮了線性不變模糊、線性移變模糊和加性噪聲等因素，將觀測方程改寫為更加復(fù)雜的形式，使用RLS和WRLS求解，并引入Tikhonov正則化方法，正則化方程如下：

式(13)中：γ為正則化方程，c為解的估計值，γ為正則化系數(shù)。式(13)正則化方程的解如下：

式(13)正則化方程可以通過最小二乘和遞歸最小二乘進行求解。

文獻［4］對觀測圖像進行分塊，重疊運動子塊進行運動補償，將消混疊復(fù)原法從整體運動模型推廣到局部運動模型，使之具有一般性，但是只局限于平移運動，而沒有推廣到更加復(fù)雜的情況。

3.1.3 遞歸整體最小二乘法

考慮到由于模型系數(shù)的誤差導(dǎo)致RLS求解對于某些系數(shù)可能不收斂的問題，文獻［5］重新改寫了文獻［4］的方程組，并提出使用WRLS［6］進行求解(Weighted Recursive Least Squares，WRLS)的思路。

假設(shè)模型系數(shù)Φ的誤差為EΦ，噪聲的傅里葉變換為N，則觀測模型可以改寫為：

式(15)的方程可以使用遞歸整體最小二乘法進行求解。

3.1.4 廣義采樣定理法

廣義采樣定理法認為降質(zhì)過程可以描述為一種線性退化模型，并將復(fù)原過程分為兩個步驟，首先將不同的低分辨率圖像信號合成，然后再對合成信號進行去模糊，該類方法的缺點是對所有的低分辨率圖像都使用同一個點擴散函數(shù)(Point Spread Function，PSF)，并且圖像之間的相對運動還是局限于平移。

綜上所述，頻域法的優(yōu)點包括：原理簡單清楚，大多數(shù)是基于離散傅里葉變換和連續(xù)傅里葉變換；計算方便，可以通過并行處理來提高處理速度；理論發(fā)展清晰，大多數(shù)是由消混疊復(fù)原法發(fā)展而來。但是缺點也同樣明顯：所建立的運動模型都是平移模型，不具有一般性；在頻域中，難以利用正則化約束，這樣就導(dǎo)致難以使用圖像的先驗信息來幫助進行超分辨率復(fù)原。因此，人們對頻域復(fù)原方法的研究越來越少。發(fā)展最快，應(yīng)用最廣的是下面將要介紹的空域復(fù)原方法。

3.2 空域超分辨率復(fù)原方法

空域超分辨率復(fù)原方法是指在像素空間內(nèi)，直接進行圖像配準以計算序列圖像之間的變換關(guān)系，然后使用一系列的約束來描述模糊和噪聲等降質(zhì)過程，進行迭代復(fù)原的方法。與頻域復(fù)原方法目前只局限于平移運動模型不同，空域復(fù)原方法可以很方便地建立復(fù)雜的運動模型，包括全局運動模型和局部運動模型。同時空域復(fù)原方法很好地描述噪聲、降采樣、由于非零孔徑時間造成的模糊、光學(xué)系統(tǒng)降質(zhì)和運動模糊等眾多復(fù)雜的過程，還可以加入更完善的先驗知識，如Markov隨機場理論和集合理論約束等。因此，空域超分辨率復(fù)原模型更符合實際的圖像退化過程，能夠得到很好的復(fù)原效果，是目前應(yīng)用最廣泛的一類超分辨率復(fù)原方法。

常用的空域復(fù)原方法包括非均勻空間樣本插值法、濾波器法、迭代反向投影法、代數(shù)濾波后向投影法、凸集投影POCS法、統(tǒng)計復(fù)原法和混合MAP/POCS法等。

空域超分辨率復(fù)原方法的一般步驟如圖5所示。

圖5 空域超分辨率復(fù)原方法的一般步驟Fig.5 General steps of space domain super-resolution restoration

3.2.1 非均勻空間樣本插值法

非均勻空間樣本插值的思想比較簡單，首先對圖像序列進行配準，在非均勻采樣間隔的網(wǎng)格點上產(chǎn)生采樣值，這些采樣值形成了一系列的復(fù)合圖像，對這個圖像進行降采樣，最后解卷積進行模糊復(fù)原，就可以得到清晰的高分辨率圖像。

文獻［7］建立了整體平移和旋轉(zhuǎn)的運動模型，進行迭代的內(nèi)插和修正求解，解決了頻域法中無法描述復(fù)雜運動模型的問題，但缺點是內(nèi)插方式過于簡單，對于頻譜混疊不具有抑制作用。文獻［8］提出一種新的內(nèi)插方法，但是這種方法仍然無法滿足需求，導(dǎo)致復(fù)原的高分辨率圖像沒有包含全部的高頻信息，視覺效果無法令人滿意。文獻［9］引入了一種性能較好的圖像復(fù)原技術(shù)，取得令人滿意的復(fù)原效果。文獻［10］將小波插值方法應(yīng)用于超分辨率復(fù)原中，首先對低分辨率圖像序列進行小波變換，在不同尺度的小波空間同時進行圖像復(fù)原，最后合成得到高分辨率圖像，取得很好的復(fù)原效果。

非均勻樣本空間的插值方法原理直觀，計算簡便，速度較快的方法甚至能夠做到實時處理。總的來說，非均勻插值方法的優(yōu)勢是它具有相對較低的計算負荷，并能進行實時應(yīng)用。但是，該方法較為簡單，沒有涉及高頻分離技術(shù)，復(fù)原之后的圖像頻率成分并沒有超過成像系統(tǒng)的截止頻率，同時當前的方法也沒有考慮到圖像序列模糊和噪聲參數(shù)不一致的情況。

3.2.2 濾波器法

一些應(yīng)用場合比如電視信號變換、超分辨率影視成像，不僅要求較好的復(fù)原精度，同時也要求復(fù)原的時間要短。濾波器法便是適用于這樣場合的方法。

濾波器法認為視頻序列是平穩(wěn)因果圖像序列［11］，假設(shè)低分辨率圖像序列為y(t)，高分辨率圖像序列為f(t)，序列之間存在相對運動，經(jīng)過運動補償后存在獨立同分布的高斯噪聲，則低分辨率圖像序列y(t)為：

式(16)中：D表示降采樣，C(t-i)表示第i幀低分辨率圖像的降晰函數(shù)，E(t，i)表示幀間相對運動，N(t-i)表示模型中的噪聲，噪聲的自相關(guān)矩陣為W(t-i)-1。

定義誤差函數(shù)為：

誤差函數(shù)最小化的解就是復(fù)原得到的高分辨率圖像。對式(17)進行求導(dǎo)，可得：

式(18)中：P(t)和R(t)分別如式(19)和式(20)所示。

式(18)可以采用不同的方法求解，例如文獻［11］中的梯度下降迭代算法，充分利用了前一幀的復(fù)原結(jié)果，具有很快的處理速度。Alam等［12］引入維納濾波用以抑制噪聲，對紅外圖像視頻序列的復(fù)原結(jié)果證明了該方法的有效性和快速性。

總的來說，濾波器法應(yīng)用到幀間信息較少，因此復(fù)原出的高分辨率圖像質(zhì)量并不能超過其他幾種復(fù)原方法，但是該方法在計算效率上有很大優(yōu)勢，適用于一些特定的場合。

3.2.3 迭代反向投影法

迭代反向投影法是一個逆過程，該方法首先將估計的高分辨率圖像投影到低分辨率的圖像空間中，獲得低分辨率圖像的估計接著計算真實低分辨率圖像和估計低分辨率圖像的模擬誤差，直到誤差能量小于規(guī)定的閾值為止。迭代過程如式(21)所示。

Irani在文獻［13］中詳細描述了迭代反向投影法。國內(nèi)方面，郭偉偉、覃鳳清、張永育等［14-16］對迭代反向投影法提出了一些改進，例如郭偉偉等引入傅里葉變換以估計幀位移，覃鳳清等使用子像素配準方法，張永育等引入Keren改進配準算法，提高了配準精度。Maan［17］和Tom［18］等使用迭代反向投影法重建視頻序列的高分辨率圖像，取得了很好的復(fù)原效果。

迭代反向投影的復(fù)原方法首先需要確定反向投影操作數(shù)，當操作數(shù)選取不當時，算法有可能不收斂，即便收斂，不同操作數(shù)也會得到不同復(fù)原結(jié)果。同時，該方法的投影誤差決定于先驗約束條件，將先驗約束引入是一個復(fù)雜的過程，大大增加了該方法的復(fù)雜度。

3.2.4 代數(shù)濾波后向投影法

代數(shù)濾波后向投影法是為了解決使用線性成像陣列對固定的場景多次一維掃描，然后進行三維復(fù)原這一課題而提出的，推廣到二維圖像的超分辨率復(fù)原中，只需要將傳遞函數(shù)由線積分改成面積分就可以。文獻［11］中詳細描述了這種方法。代數(shù)濾波后向投影法的優(yōu)點是使用了層析圖像領(lǐng)域中的復(fù)原技術(shù)，提高了超分辨率復(fù)原的效果，但是這種方法在建模中沒有考慮觀測噪聲，在逆濾波過程中頻率越高，響應(yīng)越大，帶來的問題就是這種方法對噪聲非常敏感。盡管有明顯缺陷，但這種由層析成像推廣到二維超分辨率復(fù)原的方法仍然值得借鑒。

3.2.5 凸集投影POCS法

嚴格來說，凸集投影POCS法是集合理論復(fù)原的一類代表性方法，該方法的思想是使用一系列的凸約束集合來描述超分辨率復(fù)原方法中的一些特性和先驗信息，例如圖像正則化、數(shù)據(jù)可靠性和能量有界性等，這些凸約束集合會有一個相交的區(qū)域，這個區(qū)域就被定義為超分辨率復(fù)原圖像的解空間。接著通過一定的約束條件在解空間中確定一個點，作為原始高分辨率圖像的估計。凸集投影方法是一種迭代方法，通過不停的迭代計算可以定位解空間中所有的收斂解，直至滿足條件。

式中：Pj表示對應(yīng)于第j個凸集的投影算子。顯然，這是一個迭代方法，給定合適的初始迭代值，可以收斂到唯一解，從而最終獲得滿足要求的超分辨率復(fù)原圖像，而如果沒有限定初始迭代值，并且凸集滿足緊致性，則解空間的任意一個值都是滿足條件的復(fù)原結(jié)果。

凸集投影迭代方法的示意圖如圖6所示。

圖6 凸集投影法示意圖Fig.6 Diagrammatic sketch of POCS

POCS法擁有以下兩個性質(zhì)：

性質(zhì)1：POCS法的解集也是凸集如下所示：

式(23)和式(24)中：f(x1，y1)為原始高分辨率圖像為高分辨率圖像的估計；hk(x， y；x1，y1)為觀察圖像在(x1，y1)處所對應(yīng)的系統(tǒng)PSF；δk=cσ≥0為f(x1，y1)在Ck(x1，y1)內(nèi)的統(tǒng)計置信度。

性質(zhì)2：如果需要調(diào)整收斂速度，可以加入松弛迭代算子如下：

如果加入一些額外的約束條件，可以進一步加快收斂速度，例如加入幅度約束條件如下：

式中：α、β是可調(diào)整的常數(shù)，通常取α=0，β= 255。

最終得到的高分辨率復(fù)原圖像估計如式下所示：

如果加入松弛迭代算子，則上式變?yōu)椋?/p>

公式中：k=0，1，…，K，0≤x1≤N1-1，0≤y1≤N2-1。

一般而言，約束條件越多，迭代初始值選取得越準確，則這種方法的收斂速度越快。

Youla等［19］首次將POCS理論引入到圖像復(fù)原中，而Stark等［20］首次將該理論用于超分辨率復(fù)原。但是，該方法復(fù)原結(jié)果中有可能出現(xiàn)振鈴效應(yīng)和吉布斯效應(yīng)，文獻［21-22］分別引入線過程模型和模擬-迭代過程，抑制了這兩種效應(yīng)，使復(fù)原圖像更加清晰。Patti等［23］提出一種新的運動模型，該運動模型包含了空間變化的點擴散函數(shù)，考慮了光學(xué)系統(tǒng)降采樣和相對運動模糊對圖像質(zhì)量產(chǎn)生的影響，隨后又在文獻［24-25］中優(yōu)化了該方法，引入了頻譜混疊和加性噪聲等進行建模。

POCS方法的優(yōu)點在于實現(xiàn)簡單，并且便于使用先驗知識，但是通常得不到唯一解，對邊緣細節(jié)的保護能力較差，迭代次數(shù)一般較大，計算時間較長，同時收斂結(jié)果很大程度上取決于初始值的選取。統(tǒng)計復(fù)原法

3.2.6 統(tǒng)計復(fù)原法

在統(tǒng)計學(xué)中，以事先和事后估計為分類標準，常用的估算方法包括MAP和最大似然估算(Maximum Likelihood，ML)，MAP的定義是在已知先驗知識的條件下，使事件出現(xiàn)的后驗概率達到最大，而ML則是先驗知識等概率出現(xiàn)的MAP的特例。在圖像的超分辨率復(fù)原中，所謂的統(tǒng)計復(fù)原方法，也就是通過引入一系列的先驗約束條件，把超分辨率復(fù)原問題轉(zhuǎn)化為一個統(tǒng)計估算問題，可以是MAP，也可以是ML。

把原始高分辨率圖像記為f(x，y)，把退化后的低分辨率圖像記為g(x，y)，并且認為f(x，y)和g(x，y)均為隨機場。根據(jù)Bayesian理論，在已知g(x，y)，f(x，y)出現(xiàn)的概率如下：

式中：P(f)和P(g)分別表示原始高分辨率圖像和低分辨率圖像的先驗概率。P(f/g)為已知g(x，y)，出現(xiàn)f(x，y)的后驗概率；P(f/g)為已知f(x，y)，出現(xiàn)g(x，y)的概率；適當?shù)剡x擇f，使P(f/g)達到最大，這時對應(yīng)的f就是復(fù)原的最佳估計表示如下：

也即如式下：

求解式(32)，可以使用上面提到的兩種估算方法，即MAP和ML。

MAP方法，對式(32)進行求導(dǎo)，得到如下：

代價函數(shù)的前一項表示觀察誤差，第二項則由先驗知識決定，這個代價函數(shù)的收斂性取決于先驗知識，加入先驗?zāi)Ｐ秃瘮?shù)足夠光滑并且是凸函數(shù)，那么代價函數(shù)就是收斂的，式(34)便可以求解。

ML方法則是先驗知識等概率出現(xiàn)的MAP的特例，因此忽略公式(33)的第二項。ML方法表示如下：求解公式(35)可以得到滿足條件的復(fù)原圖像。

Schultz等［26］首次將MAP方法應(yīng)用于圖像內(nèi)插中，隨后又將其推廣到超分辨率復(fù)原上，但是最初建立的模型比較粗糙，沒有考慮運動模糊；在接下來的工作中，Schultz等為了得到較精確的運動估計參數(shù)，將亞像素級運動估計方法引入到他們的方法中，提出了基于塊運動估計的投影模型和基于光流法的運動估計模型，較為精確的運動估計大大提高超分辨率復(fù)原的精度，但是這種運動估計是基于相鄰兩幀圖像的，如果使用多幀的運動信息，可以得到更加精確的估計。Hardie等［27］提出可以對運動估計和超分辨率復(fù)原同時進行計算的方法，這種方法雖然計算速度較慢，但卻克服了傳統(tǒng)的運動參數(shù)需要從低分辨率圖像中獲得的缺點，取得較好的復(fù)原效果。國內(nèi)方面，鮮海瑩等［28］提出將低分辨率序列的位移信息作為一種非冗余信息，與MAP復(fù)原方法相結(jié)合；王靜等［29］將MAP方法應(yīng)用于遙感圖像超分辨率復(fù)原，并提出一種頻域校正方法，復(fù)原結(jié)果令人滿意。

統(tǒng)計復(fù)原法目前已經(jīng)被人們廣泛接受，原因在于統(tǒng)計復(fù)原法可以很方便地引入各種先驗知識，建立直觀的模型，并且由于文獻［27］的工作，可以將運動估計和超分辨率復(fù)原同時進行計算，大大提高了復(fù)原精度。

3.2.7 混合MAP/POCS法

MAP方法和POCS方法是當前學(xué)者們研究最多的，應(yīng)用也是最廣泛的方法，這兩種方法都很容易在模型中加入先驗知識，但是各自存在的優(yōu)缺點也相當明顯：POCS法迭代次數(shù)一般較大，計算時間較長，同時收斂結(jié)果很大程度上取決于初始值的選取，難以收斂，通常得不到唯一解，同時對噪聲比較敏感；MAP法抗噪能力較強，收斂速度快且有唯一解，但是對邊緣的保留能力較差。因此研究者們考慮將二者進行結(jié)合，以期待新的方法能同時擁有二者的優(yōu)勢。混合MAP/POCS法的思想是將MAP的代價泛函約束在某些集合中如下式：

式中：x∈Ck，1≤k≤M，Rn是噪聲的自相關(guān)系數(shù)，S是拉普拉斯算子，加權(quán)矩陣V用以控制平滑程度，Ck為外加約束條件。

目前這類方法研究的人不多，Elad等［30］把MAP和非橢球約束結(jié)合在一起，該方法可以使用全部的先驗知識，并且能最終確定唯一的復(fù)原圖像。通過實驗表明，將二者相結(jié)合的方法確實能提高超分辨率復(fù)原的性能。

3.2.8 其他方法

除了以上介紹的幾種常用的空間域方法之外，學(xué)者們還提出了很多其他的方法，主要包括：基于小波變換的方法、基于學(xué)習(xí)的方法和基于壓縮域的方法。

基于小波變換的方法：小波變換采用不同的小波基近似逼近原始信號，在時域和頻域均具有良好的局部化性質(zhì)，尤其對高頻成分可以進行精確的描述。通常在小波域，圖像的高頻分量和低頻分量是分離的，圖像的主要信息集中在低頻分量，而細節(jié)信息集中在高頻分量，而噪聲通常是均勻分布在整個小波域的，因此小波變換可以方便描述圖像的性質(zhì)，目前已經(jīng)廣泛應(yīng)用于去噪、去模糊和自動目標識別等圖像處理的各個領(lǐng)域。由于小波變換良好的性質(zhì)，學(xué)者們將其引入到超分辨率復(fù)原方法中。基于小波變換的超分辨率復(fù)原方法可以分為兩大類：第一類是對低分辨率進行小波變換，在小波域?qū)D像進行配準和插值，再進行小波逆變換得到高分辨率圖像；第二類是使用低分辨率圖像的小波變換系數(shù)來估計高分辨率圖像的小波變換，最后進行逆變換。Tao等［31］提出將小波變換與雙線性插值相結(jié)合，實現(xiàn)圖像的邊緣增強。Nguyen等［10］提出的方法就是對低分辨率進行小波變換，在小波域?qū)D像進行配準和插值，開啟了小波域超分辨率復(fù)原的先河。目前小波超分辨率復(fù)原方法尚處于起步階段，具有廣闊的發(fā)展前景。

基于學(xué)習(xí)的方法：隨著人工神經(jīng)網(wǎng)絡(luò)在機器視覺和圖像處理方面的廣泛應(yīng)用，學(xué)者們提出了基于學(xué)習(xí)的超分辨率復(fù)原方法。該方法使用人工神經(jīng)網(wǎng)絡(luò)，通過大量的訓(xùn)練樣本學(xué)習(xí)，找到低分辨率圖像序列和高分辨率圖像的對應(yīng)關(guān)系。人工神經(jīng)網(wǎng)絡(luò)方法實際上是訓(xùn)練魯棒分類器的過程，并未過多地涉及超分辨率復(fù)原的概念。Hertzmann等［32］將神經(jīng)網(wǎng)絡(luò)引入超分辨率復(fù)原中，在不同的圖像之間進行類推計算。Baker和Kanade［33］研究的是圖像放大問題，使用神經(jīng)網(wǎng)絡(luò)進行分類訓(xùn)練。

基于壓縮域的方法：因為當前的視頻或者圖像都是采用某種壓縮方法進行存儲的，在壓縮編碼中可能會引入噪聲、塊效應(yīng)和振鈴效應(yīng)。因此研究基于壓縮域的復(fù)原方法具有現(xiàn)實意義，例如Gunturk［34］將壓縮過程中產(chǎn)生的量化噪聲和圖像自身的加性噪聲結(jié)合起來，用兩種方法進行建模處理。

4 總結(jié)比較

頻域法的主要理論依據(jù)是傅里葉變換的平移特性，通過在頻域內(nèi)進行插值復(fù)原。頻域法的優(yōu)點是：原理簡單清楚，計算方便，可以通過并行處理來提高處理速度；理論發(fā)展清晰，大多數(shù)是由消混疊復(fù)原方法發(fā)展而來。頻域法的缺點是：所建立的運動模型都是平移模型，不具有一般性；在頻域中，難以利用正則化約束，這就導(dǎo)致難以使用圖像的先驗信息來幫助進行超分辨率復(fù)原。目前，頻域法已經(jīng)不再是主流的超分辨率復(fù)原方法。

相比之下，空域復(fù)原方法可以很方便地建立復(fù)雜的運動模型，同時考慮了幾乎所有的圖像降質(zhì)因素，例如噪聲、降采樣、由于非零孔徑時間造成的模糊、光學(xué)系統(tǒng)降質(zhì)和運動模糊等，還可以加入更完善的先驗知識，如Markov隨機場理論和集合理論約束等。因此，空域超分辨率復(fù)原模型更符合實際的圖像退化過程，能夠得到很好的復(fù)原效果，是目前應(yīng)用最廣泛的一類超分辨率復(fù)原方法。

在空域超分辨率復(fù)原方法中，使用最多的是POCS法和MAP法。POCS法迭代次數(shù)一般較大，計算時間較長，同時收斂結(jié)果很大程度上取決于初始值的選取，難以收斂，通常得不到唯一解，同時對噪聲比較敏感。MAP法抗噪能力較強，收斂速度快且有唯一解，但是對邊緣的保留能力較差。為了提高POCS法的快速性，可以加入松弛迭代因子，同時，也可以將POCS法和MAP法相結(jié)合，得到混合MAP/POCS方法。混合方法具有兩種方法的優(yōu)勢，既能得到唯一解，又可以較好地保留圖像的邊緣細節(jié)。

POCS法和MAP法的復(fù)原結(jié)果比較如圖7所示。

圖7 凸集投影法與最大后驗概率法的復(fù)原效果比較Fig.7 Recovery effect contrast of POCS and MAP

圖7中，圖7(a)低分辨率序列圖像中的一幀圖像分辨率為256×256；圖7(b)POCS算法結(jié)果的圖像分辨率為512×512；圖7(c)MAP算法結(jié)果的圖像分辨率為512×512。

5 結(jié)束語

超分辨率復(fù)原方法經(jīng)過多年的發(fā)展，已經(jīng)形成了完整的理論體系，同時獲得了廣泛的應(yīng)用。在研究了眾多的超分辨率復(fù)原方法的基礎(chǔ)上，筆者認為未來超分辨率復(fù)原方法的發(fā)展方向主要有以下幾個方面［35］：

(1)探索有效的抑制噪聲的復(fù)原方法。在成像過程中，噪聲是一個重要的退化因素。傳統(tǒng)的超分辨率復(fù)原方法往往沒有考慮噪聲的影響，在圖像包含噪聲時復(fù)原性能迅速下降。因此研究抗噪性能較好的復(fù)原方法，以便從包含較多噪聲的低分辨率圖像中復(fù)原出清晰的高分辨率圖像，是超分辨率復(fù)原方法發(fā)展的一個重要方向。

(2)研究有效的超分辨率方法評價體系。超分辨率復(fù)原結(jié)果是好是壞，不僅需要人眼的主觀評價，更需要一個客觀的評價標準。目前人們常用峰值信噪比(Peak Signal to Noise Ratio，PSNR)、結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)等通用的評價指標以衡量復(fù)原效果，并沒有專門評價超分辨率復(fù)原效果的指標。如何才能有效地評價超分辨率復(fù)原方法的性能，既是超分辨率復(fù)原領(lǐng)域的一個亟待解決的問題。

(3)快速超分辨率復(fù)原方法。目前的超分辨率復(fù)原方法處理時間大多較長，并不能直接應(yīng)用于光電經(jīng)緯儀等對算法實時性要求較高的系統(tǒng)中。如何縮短算法的處理時間，提出快速超分辨率復(fù)原算法，是超分辨率復(fù)原實際應(yīng)用中不可繞過的一個難題。

(4)探索精確有效的運動估計方法。運動估計是否準確，將大大影響超分辨率復(fù)原的精度。雖然目前出現(xiàn)了眾多的運動估計模型，甚至有些方法已經(jīng)達到亞像素的運動估計精度，但是目前的運動估計方法均局限于在低分辨率圖像上進行估計，甚至于頻域法只能建立整體平移的運動模型。總的來說，現(xiàn)有的運動估計方法無法令人滿意，需要進行深入的理論研究和創(chuàng)新，提出新的運動估計模型。

(5)建立更加完善的圖像退化模型。從原理上來說，任何一種超分辨率復(fù)原方法，首先都需要建立圖像退化模型，然后對這種模型進行逆推，重新復(fù)原出高分辨率圖像。所建立的模型是否準確，對復(fù)原精度有著直接的影響。目前多數(shù)的圖像退化模型都只考慮了一部分因素，或者是模糊，或者是噪聲，或者是整體運動等，這樣的模型只是對現(xiàn)實場景的近似，如果采用這種降質(zhì)模型，無論使用何種理論方法都無法取得更好的超分辨率復(fù)原性能。但是另一方面，模型建立的太過復(fù)雜，又會影響該方法執(zhí)行的效率，甚至導(dǎo)致該方法不收斂。因此如何建立更加完善的圖像退化模型，在估計準確度和方法效率之間取得平衡，也是一個亟待解決的問題。

(6)在超分辨率復(fù)原方法中，考慮視頻壓縮和編解碼技術(shù)引入的噪聲、塊效應(yīng)和振鈴效應(yīng)，使超分辨率復(fù)原方法能夠很好地應(yīng)用于電視信號復(fù)原和壓縮圖像復(fù)原等領(lǐng)域。

(7)盲復(fù)原問題。在實際應(yīng)用中，光學(xué)系統(tǒng)的點擴散函數(shù)和噪聲分布并不是已知的，因此如何在這些參數(shù)無法獲得的情況下，對圖像序列進行盲復(fù)原，也是一個亟待解決的問題。

根據(jù)超分辨率應(yīng)用范圍的增加，必定會出現(xiàn)已有理論無法解決的難題。如何在理論上進行創(chuàng)新，始終是超分辨率復(fù)原方法的一個發(fā)展方向。

［1］李衍達，常迥.信號重構(gòu)理論及其應(yīng)用［M］.北京：清華大學(xué)出版社，1991.

LI Y D，CHANG J.Signal Reconstruction Theory and Its Application［M］.Beijing：Tsinghua University Press，1991.(in Chinese)

［2］KIM S P，SU W Y.Recursive high-resolution reconstruction of blurred multi-frame images［J］.IEEE，1993，2(4)：534-539.

［3］KIM S P，BOSE N K，VALENZUELA H M.Recursive reconstruction of high resolution image from noisy under sampled multiframes［J］.IEEE，1990，38(6)：1013-1027.

［4］SU W，KIM S P.High-resolution restoration of dynamic image sequences［J］.International J.Imaging Systems and Technology，1994，5(4)：330-339.

［5］BOSE N K，KIM H C.Recursive implementation of total least squares algorithm for image reconstruction from noisy，under sampled multiframes［J］.IEEE，1993，1：269-272.

［6］DAVILA C E.Recursive total least squares algorithms for adaptive filtering［J］.IEEE，1991，3：1853-1856.

［7］KEREN D，PELEG S，BRADA R.Image sequence enhancement using sub-pixel displacements［J］.IEEE，1988，1：742-746.

［8］AIZAWA K，KOMATSU T，SAITO T.Acquisition of very high resolution images using stereo cameras［J］.IEEE，1991，1：318-328.

［9］TEKALP A M，OZKAN M K，et al..High-resolution image reconstruction from lower-resolution image sequences and space-varying image restoration［J］.IEEE，1992，3：169-172.

［10］NGUYEN N，MILANFAR P.A wavelet-based interpolation-restoration method for super-resolution［J］.Circuits Systems Signal Process，2000，19(4)：321-338.

［11］ELAD M，F(xiàn)EUER A.Super-resolution restoration of an image sequence：adaptive Filtering approach［J］.IEEE，1999，8 (3)：387-395.

［12］ALAM M S，BOGNAR J G，HARDIE R C，et al..Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames［J］.IEEE，2000，49(5)：915-923.

［13］IRANI M，PELEG S.Improving resolution by image registration［J］.CVGIP：Graphical Models and Image Processing，1991，53：231-239

［14］郭偉偉，章品正.基于迭代反投影的超分辨率圖像重建［J］.計算機科學(xué)與探索，2009，3(3)：321-329.

GUO W W，ZHANG P ZH.Super-resolution image reconstruction with iterative back projection algorithm［J］.J.Frontiers of Computer Science and Technology，2009，3(3)：321-329.(in Chinese)

［15］覃鳳清，何小海，陳為龍，等.一種基于子像素配準視頻超分辨率重建方法［J］.光電子·激光，2009，20(7)：972-976.

TAN F Q，HE X H，CHEN W L，et al..A video super-resolution reconstruction method based on sub-pixel registration［J］.J.Optoelectronics Laser，2009，20(7)：972-976.(in Chinese)

［16］張永育，李翠華，余禮鈸，等.基于Keren改進配準算法的IBP超分率重建［J］.廈門大學(xué)學(xué)報（自然科學(xué)版），2012，51(4)：686-69.

ZHANG Y Y，LI C H，YU L B，et al..IBP super-resolution reconstruction based on improvement approach of Keren registration method［J］.J.Xiamen University，2012，51(4)：686-69.

［17］MAAN S，PICARD R W.Virtual bellows：Constructing high quality stills from video［A］.Proc.of International Conference on Image Processing，Austin，TX，1994，1：363-367.

［18］TOM B C，KATSAGGELOS A K.Resolution enhancement of video sequences using motion compensation［A］.Proc of IEEE Int.Conf Image Processing，Lausanne，Switzerland，1996，1：713-716.

［19］YOULA D C，WEBB H.Image restoration by the method of convex projections：part I，theory［J］.IEEE，1982，2：81-94.

［29］STARK H，OSKOUI P.High resolution image recovery from image-plane arrays，using convex projection［J］.JOSA A，1989，6：1715-1726.

［21］黃華，孔玲莉，齊春，等.基于凸集投影和線過程模型的超分辨率圖像重建［J］.西安交通大學(xué)學(xué)報，2003，37(10)：1059-1062.

HUANG H，KONG L L，QI CH，et al..Super-resolution image reconstruction based on projections onto convex sets and line process modeling［J］.J.Xi′an Jiaotong University，2003，37(10)：1059-1062.(in Chinese)

［22］肖創(chuàng)柏，段娟，禹晶.序列圖像的POCS超分辨率重建方法［J］.北京工業(yè)大學(xué)學(xué)報，2009，35(1)：108-113.

XIAO CH B，DUAN J，YU J.POCS super-resolution reconstruction from image sequences［J］.J.Beijing University of Technology，2009，35(1)：108-113.(in Chinese)

［23］PATTI J，SEZAN M，TEKALP A M.High-resolution image reconstruction from a low-resolution image sequence in the presence of time-varying motion blur［A］.Proc IEEE Int.Conf.Image Processing，Austin，TX，1994，1：343-347.

［24］PATTI J，SEZAN M，TEKALP A M.Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time［J］.IEEE，1997，6(8)：1064-1076.

［25］PATTI J，SEZAN M，TEKALP A M.Robust methods for high-quality stills from interlaced video in the presence of dominant motion［J］.IEEE，1997，7(2)：328-342.

［26］SCHULTZ R R，STEVENSON R L.A Bayesian approach to image expansion for improved definition［J］.IEEE，1994，3(3)：233-241.

［27］HARDIE R C，BARNARD K J，ARMSTRONG E E.Joint MAP registration and high-resolution image estimation using asequence of under-sampled images［J］.IEEE，1997，6(12)：1621-1633.

［28］鮮海瑩，傅志中，萬群，等.基于非冗余信息的超分辨率算法［J］.電波科學(xué)學(xué)報，2012，27(2)：216-221.

XIAN H Y，F(xiàn)U ZH ZH，WAN Q，et al..Super resolution algorithm based on non-redundant information［J］.Chinese J. Radio Science，2012，27(2)：216-221.(in Chinese)

［29］王靜，章世平，孫權(quán)森，等.基于MAP估計的遙感圖像頻域校正超分辨率算法［J］.東南大學(xué)學(xué)報，2010，40(1)：84-88.

WANG J，ZHANG SH P，SUN Q S，et al..MAP based remote sensing image super-resolution with frequency domain correction［J］.J.Southeast University，2010，40(1)：84-88.(in Chinese)

［30］ELAD M，F(xiàn)EUER A.Restoration of a single super-resolution image from several blurrd，noisy and under sampled measured images［J］.IEEE，1997，6(12)：1646-1658.

［31］HONGJIU T，XINJIAN T，JIAN L，et al.Super resolution remote sensing image processing algorithm based on wavelet transform and interpolation［J］.SPIE，2003，4898：259-263.

［32］HERTZMANN A，ANALOGIES A.Computer Graphics［M］.New York：Siggraph，ACM Press，2001.

［33］BAKER S，KANADE T.Limits on super-resolution and how to break them［J］.IEEE，2000，1：372-379.

［34］GUNTURK B K，ALTUNBASAK Y，MERSEREAU R M.Multiframe resolution enhancement methods for compressed video［J］.Signal Processing Letters，2002，9：170-174.

［35］陳健.基于POCS的紅外弱小目標超分辨率復(fù)原算法研究［D］.長春：中國科學(xué)院大學(xué)，2014.

CHEN J.Research on infrared dim-small target super-resolution restoration arithmetic based on POCS［D］.Changchun：University of Chinese Academy of Sciences，2014.(in Chinese)

Correlation theory of super-resolution restoration method

CHEN Jian1，2，3，*，GAO Huibin1，WANG Weiguo1，ZHANG Zhendong1，LU Ming1
(1.Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.University of Chinese Academy of Sciences，Beijing 100049，China；3.College of Communication Engineering，Jilin University，Changchun 130012，China)

Firstly，the basic concepts and theories of super-resolution restoration method are introduced.Secondly，some applications focused on common method of super-resolution restoration are summarized.Their theoretical basis，advantages and disadvantages，and scope of applications are exhaustively analyzed.Finally，the future development of super-resolution restoration method is prospected.Overall，the super-resolution restoration methods are divided into frequency domain method and space domain method.Frequency domain recovery method is simple in principle and easy in calculation.But its motion model is shift model and doesn′t have a general.Meanwhile it is difficult to use the priori information of the image to help super-resolution restoration. With space domain recovery method，a complex motion model can be easily established considering almost all of the imaging degradation factors，including noise，down sampling，fuzzy caused by non-zero aperture，degradation of optical system，and motion blur.As the same time，we could also add more perfect priori knowledge.Compared to the frequency domain method，space domain super-resolution restoration model is moreclose to actual degradation processes and is currently the most widely used super-resolution restoration method.

super-resolution restoration；frequency domain method；space domain method；projection onto convex sets(POCS)

TP751.1

A

10.3788/CO.20140706.0897

2095-1531(2014)06-0897-14

陳 健(1981—)，男，吉林長春人，博士，助理研究員，2005年、2007年于吉林大學(xué)分別獲得學(xué)士、碩士學(xué)位，2014年于中國科學(xué)院長春光學(xué)精密機械與物理研究所獲得博士學(xué)位，主要從事高精度快速數(shù)字伺服系統(tǒng)方面的研究。E-mail：chenjian4500@163.com

高慧斌(1963—)，男，吉林長春人，研究員，博士生導(dǎo)師，1985年、1990年于吉林工業(yè)大學(xué)分別獲得學(xué)士、碩士學(xué)位，主要從事光電測量和精密跟蹤控制技術(shù)方面的研究。E-mail：gaohuibin1@163.com

王偉國(1970—)，男，吉林通化人，博士，研究員，2002年于吉林大學(xué)獲得碩士學(xué)位，2006年于中國科學(xué)院長春光學(xué)精密機械與物理研究所獲得博士學(xué)位，主要從事光電經(jīng)緯儀精密控制及總體設(shè)計方面的研究。E-mail：wangwei5878@sina.com

張振東(1988—)，男，河南商丘人，研究實習(xí)員，2010年于武漢理工大學(xué)獲得學(xué)士學(xué)位，2013年于中國科學(xué)院大學(xué)獲得碩士學(xué)位，主要從事光電測量系統(tǒng)伺服控制方面的研究。E-mail：602202932@qq.com

路 明(1980—)，男，黑龍江綏化人，助理研究員，2003年于哈爾濱工程大學(xué)獲得學(xué)士學(xué)位，主要從事光電對抗系統(tǒng)計算機軟件設(shè)計方面的研究。E-mail：luminglk@163.com

2014-10-01；

2014-11-06

吉林省重大科技攻關(guān)資助項目(No.20126015)

*Corresponding author，E-mail：chenjian4500@163.com