視頻序列超分辨率重構技術綜述

吳 洋，樊桂花

?

視頻序列超分辨率重構技術綜述

吳 洋1，樊桂花2

（1. 裝備學院研究生院，北京 101416；2. 裝備學院光電裝備系，北京 101416）

視頻序列超分辨率重構技術可以利用來自一個或多個低分辨率視頻序列信息重構一個具有高空間分辨率或高時空分辨率的視頻序列。本文從視頻序列的空間超分辨率、時間超分辨率以及時空超分辨率重構三個方面對視頻序列超分辨率重構技術進行了詳細的闡述，對視頻序列超分辨率重構技術中的關鍵問題和應用前景進行了分析與展望。

視頻序列；超分辨率重構；空間超分辨率；時間超分辨率；時空超分辨率

0 引言

在諸如醫學成像，天文學，監視和遙感等許多應用中都需要捕獲高質量的圖像和視頻，然而視頻采集設備具有有限的空間和時間分辨率。空間分辨率由相機中的檢測器的空間密度和它們的引起的模糊來確定，造成了視頻序列的空間分辨率降低。時間分辨率由采集設備幀速率和曝光時間確定，這些因素限制了可以在視頻序列中觀察到的動態事件的最大速度。當高速速移動物體產生的軌跡特征高于相機的幀速率（即時間采樣率）時，會產生運動混疊現象，當視頻采集設備的曝光時間過長會產生運動模糊現象。超分辨率重構技術是一種通過數字圖像處理技術提高視頻時間和空間分辨率的方法。通過融合由于混疊、模糊和噪聲等因素導致的一個或多個低分辨率（LR）序列，復原成像過程過程中損失掉的高頻信息，重構出具有高空間分辨率和高時間分辨率的HR視頻序列。超分辨率重構技術的優點主要體現在以下三個方面：一是通過軟件實現，節約成本，代價較低；二是可以處理已經存儲的數據，這是硬件改進方法無法實現的；三是具有更好的去除噪聲的效果，尤其是對大氣湍流、圖像偏移、光學模糊、采樣失真和其他誤差的處理上，有更好的適應性和針對性。

1 視頻序列超分辨率重構技術

20世紀60年代Harris和Goodman利用頻譜外推恢復單幀圖像中超出光學系統傳遞函數（MTF）而丟失的極限頻率外的圖像信息，首次提出了超分辨率重構這一概念。本節從視頻序列空間超分辨率 重構、時間超分辨率重構和時空超分辨率重構三個部分對視頻序列超分辨率重構技術進行論述。

1.1 視頻序列空間超分辨率重構

視頻序列空間超分辨率重建的基本思想是結合滑動窗口模型[1]，基于視頻序列中的連續幀的相似度和一些先驗信息來獲得高空間分辨率。國內外研究人員對此進行了廣泛的研究，提出了大量的視頻序列重建方法，這些方法主要可以歸納為基于插值、基于重構和基于學習的超分辨率重構方法。

1.1.1 基于插值的超分辨率重構

非均勻圖像插值法（Non-uniform interpolation）計算復雜度低，易于理解，但適應性較差，相關的研究相對其他算法比較少，但非均勻圖像插值法的基本思想與其他方法有所不同，因此將其單獨列為一類。非均勻圖像插值法現階段的研究集中在提高重構結果的視覺效果和算法的穩定性上.文獻[2]采用B樣條（B-spline）基進行線性濾波。文獻[3]利用加權中值濾波來提高重構算法的穩定行。另外，由于非均勻圖像插值方法的運算速度較快，使其具有很好的實用價值，例如Lin等[4]將非均勻圖像插值法應用于車輛車牌圖像的識別。

1.1.2 基于重建的超分辨率重構

基于重構的超分辨率重構方法的基本思想是通過對視頻序列的獲取過程進行建模，用正則化方法構造高分辨率視頻序列的先驗約束條件，由低分辨率視頻序列估計出高分辨率視頻序列，最終將視頻序列超分辨率重構問題轉變為對在一個先驗約束條件下的代價函數求最優化的問題。基于重構的超分辨率重構方法可以分為頻域法和空域法兩大類。

頻域法是超分辨率重構中一類重要方法，其主要思想是利用Fourier變換在頻域消除頻譜混疊來恢復圖像截止頻率以外的高頻信息，最后利用Fourier逆變換轉換回空域，得到高分辨率圖像。頻域法具有簡單直觀，容易理解的特點，其主要包括解混疊重構方法[5]、遞歸最小二乘法[6]和基于多通道采樣定理[7]等方法。Nguyen等[8]提出基于小波變換（Wavelet transform）的超分辨率重構。文獻[9]對基于小波變換的超分辨率重構理論進行了系統研究，以全局運動的投影變換模型作為運動模型，獲得了比較好的效果。但是頻域法存在不能推廣到一般非平移的幀間運動模型和在重構過程中難以包含先驗約束信息的缺點。

與頻域法相比，空域法能夠建立包括復雜運動，運動模糊，非理性采樣等因素在內的全面的視頻序 列降質模型，例如基于Markov隨機場（MRF）理論的降質模型和其他非線性模型等，并且可以具有融合各種圖像先驗約束，具有更高的靈活性，表現出較好的重構性能。空域法主要包括凸集投影法（POCS）、迭代反投影法（IBP）、貝葉斯分析法（最大后驗概率方法（MAP）和最大似然估計方法（ML））、混合方法等。

1. 凸集投影法（POCS）

Ozkan[10]首次提出基于POCS的空間變換圖像復原方法，該方法的新穎性來自使用一組去卷積約束（每個像素一個），允許在每個像素處使用不同的模糊點擴散函數。Stark[11]首次將POCS算法應用到圖像的超分辨率重構中。

POCS方法[12]的基本思想是將目標高分辨率圖像的各種約束條件分別定義為在高分辨率圖像空間的閉凸集C（=1,…,）而這些閉凸集C的交C同樣是一個凸集，若交集C不是空集，則凸集中的所有元素都滿足約束條件，也就是目標高分辨率圖像的一個可行解。對于初始點0，設p表示將高分辨率圖像空間中的任一點投影到閉凸集C上的投影算子，則POCS法的迭代過程可以表示為：

Tekalp等[13]考慮傳感器模糊和觀測噪聲的存在將頻域方法和基于凸集投影的方法（POCS）進行了擴展。Eren[14]采用有效性圖或分割圖，利用凸集投影法（POCS）對多重運動目標進行高分辨率圖像重構。Patti等[15]運用高階插值方法描述連續圖像模型，通過修改限制集有效地抑制鄰近邊緣的振鈴現象。

凸集投影法（POCS）的優點在于算法的基本思想比較簡單，能構比較容易的加入先驗信息，但是凸集投影法計算復雜度高，收斂速率慢，而且目標解不唯一。

2. 貝葉斯分析法

貝葉斯分析法主要包括最大后驗概率方法（MAP）和最大似然估計方法（ML），其中最大后驗概率方法是被廣泛應用的一種方法。最大后驗概率方法的基本思想是利用條件概率，將已知的低分辨率序列作為先驗約束條件，對未知的高分辨率序列進行估計。最大后驗概率方法可以表示為：

可以適應性的在正則化項中加入約束條件。常用的正則項約束有Tikhonov正則項[16]、全變分（Totalvariation，TV）正則項[17]以及雙邊全變分（Bilat- eral TV，BTV）正則項[18]，還有較為復雜的Student-t正則項[19]等。

最大后驗概率法的優點在于其具有較好的靈活行，可以適用于各種成像模型（線性和非線性的成像模型），有唯一解，算法靈活性高，缺點在于計算復雜度大。

3. 混合法

混合MAP/ML/POCS法結合了兩種方法的優點，通過最小化最大后驗概率（MAP）或者最大似然估計（ML）代價函數，并將解約束在特定集合中來求高分辨率圖像的估計值就是最大后驗概率/最大似然估計/凸集投影（MAP/POCS）混合方法。Schultz和Stevenson[20,21]最早將MAP與POCS相結合，在最大后驗概率法的迭代優化中加入先驗約束對圖像像素值的范圍進行約束，在很大程度上提高了重構結果的質量。后來Elad和Feuer[22][23]提出了一種最大似然估計/凸集投影（ML/POCS）超分辨率方法。混合方法結合了MAP和POCS各自的優點，充分利用了先驗知識并且收斂的穩定性也比較好，與POCS方法相比能保證只有一個最優解。

此外，Irani[24]在已知圖像序列中的相對位移的條件下，提出了迭代反投影超分辨率重構算法，文獻[25,[26]中將迭代反投影法（IBP）擴展到更一般的模型，文獻[27]結合滑動窗口模型提出新的視頻分段重建模型，利用低分辨率視頻序列相鄰五幀的互補信息來重建出一幀高分辨率圖像，最后利用迭代反投影法（IBP）重構出一個高空間分辨率的單視頻序列。Elad[28]在最小均方（LMS）和遞歸最小二乘法（RLS）的基礎上，提出了基于自適應濾波理論的圖像序列超分辨率重構算法。

總的來說，基于重構的超分辨率重構方法發展比較成熟，主要針對視頻序列空間分辨率的提高和復原，在一些較理想情況下取得了不錯的效果。但還需要進一步改進，以達到減小運算量，加快運算收斂速度，擴大應用范圍的目的。

表1中，總結了基于重建的超分辨率重構各類算法的特點。

表1 基于插值和基于重建的超分辨率各類算法比較表

Tab.1 Comparison of various based on interpolation and reconstruction-based on super-resolution

1.1.3 基于學習的超分辨率重構

近年來一些研究者針對超分辨率重構問題突破原有的研究思路，提出了基于學習的超分辨率重構方法，基于學習的方法又稱為圖像幻感或基于例子的超分辨率。Baker和Kanade[30]針對圖像先驗模型提供的先驗信息有限以及對于足夠大的放大倍數會導致過高平滑的結果首次提出了一種基于識別的超分辨率重構算法。

算法模型的建立和訓練集合的選取是基于學習的超分辨率算法相關的核心問題。早期的研究者主要著重解決算法模型建立的相關研究，Freeman 等[31,32]提出利用馬爾可夫網絡建模高分辨率和低分辨率補丁之間的關系以及相鄰的高分辨率補丁之間的關系。Wang等[33]對馬爾可夫網絡模型進行了擴展，提出的概率框架聯合了全局參數模型和學習的本地非參數模型。除Markov網絡模型以外，QIU[34]針對單最近鄰法進行放大的圖像出現“塊狀”，以及通過線性和立方插值放大的圖像出現“模糊”的問題，使用傳統插值方法構建差分圖像金字塔，在此基礎上提出一種利用矢量量化器訓練樣本的方法，該方法的優點是可以與任何現有的方法結合使用，以提高其性能，是一種很有潛力的基于示例學習的超分辨率復原算法。

隨著這幾年稀疏表示相關理論的發展，基于稀疏表示的超分辨率重構算法得到了廣泛應用。2008年，Yang[35]等首次提出訓練樣本集以稀疏線性表達輸入的低分辨率塊，此后Adler等[36]在基于學習的超分辨率重構中引入稀疏在線收縮函數來提高目標圖像的分辨率。

基于學習的超分辨率重構方法起步較晚，但目前看來，該方法能夠彌補基于插值和基于重構的超分辨率重構方法的很多不足，結合計算機技術和 智能技術的發展，能在超分辨率重構領域發揮巨大優勢。

1.2 視頻序列時間超分辨率重構

在視頻序列的空間超分辨率重構過程中，往往都將運動模糊作為空間模糊處理，沒有考慮視頻序列動態場景中有限的時間分辨率，導致無法很好的消除運動模糊。因此研究者們提出采用視頻插幀技術提高視頻序列的時間分辨率，文獻[37]提出一種基于插值的幀速率上變換的運動對準自回歸（MAAR）模型來提高視頻序列的時間分辨率，文獻[38]提出一種自適應相關性的時間插值的方法。視頻插幀技術原理簡單，易于實現，但是沒有考慮視頻序列中運動物體的運動信息，為了彌補這個缺點，文獻[39]將運動信息加入到幀率提升過程，采用雙向估計得到更精確的運動矢量，利用前向和后向運動估計來估計運動矢量，提出基于時空運動矢量平滑的視頻序列時間插值算法。Yoo等[40]提出利用運動矢量平滑的視頻序列插幀方式。然而，通過使用基于運動補償的時間序列插值來提高視頻序列的時間分辨率有局限性，使用幀間運動補償來提高視頻序列的時間序列插值，只能提高低分辨率視頻序列的幀速率。不能消除快速運動引起的運動模糊和運動混疊，并且由于不準確的運動估計也可能生成移動物體的錯誤軌跡。文獻[41]利用視頻序列本身具有的局部自相似性先驗信息作為先驗信息模型，提出基于最大后驗概率（MAP）的單視頻序列時間超分辨率重構算法，該算法顯著提高了視頻序列的幀率，有效的解決了因為快速運動引起的運動模糊和運動混疊現象。但因為最大后驗概率估計運算復雜，計算量大的缺點，該方法的時間代價較大。文獻[42]創造性的對來自同一場景的多個低分辨率視頻序列進行超分辨率重構，重構出具有更高時間分辨率的視頻序列，同時在本文中討論了輸入視頻個數對時間超分辨率結果的影響，給出了能夠解決運動模糊和運動混疊現象的輸入視頻個數最小公式。文獻[43]指出在視頻序列實際重構過程中，時間分辨率重構倍數不僅與輸入視頻的個數有關，還和輸入視頻序列在時間重構上能提供的冗余有關。通過對視頻采集設備曝光時間的分析，提出了多視頻序列時間重構倍數的計算方法。文獻[44]在此基礎上，針對文獻[42]需要大量低分辨率視頻輸入的弊端，采用基于MRF-MAP的超分辨率重構方法對多視頻序列時間分辨率進行重構，突破了Shechtman等人所提方法的時間重構倍數。

1.3 視頻序列時空超分辨率重構

隨著視頻超分辨率重構技術的發展以及人們對視頻質量要求的不斷提高，許多的研究者開始利用超分辨率重構技術同時提高視頻序列的空間分辨率和時間分辨率，提出了視頻序列時空超分辨率的概念。現階段國內外對視頻序列時空超分辨率重構算法的研究主要可以歸納為兩類：一類方法是時間超分辨率重構的基礎上進行空間超分辨率重構，得到具有高時空分辨率的視頻。例如文獻[45]在Shec-tman等人的基礎上，提出利用文獻[42]的方法首先重構出一個具有高時間分辨率的臨時視頻序列，而后利用改進的迭代反投影法（IBP）對該臨時高時間分辨率序列進行空間超分辨率，從而獲得一個具有高時空分辨率的視頻序列。但是這一類方法對視頻序列本身的時空連續行沒有很好的利用。另一類方法是將時間和空間作為一個整體，在一個總體框架下對視頻序列進行時空聯合重構，得到具有高時空分辨率的視頻序列。文獻[46]在Glasner等[47]人提出的基于例子的圖像超分辨率重構的基礎上，利用單個“自然視頻”的小時空塊在多個時空尺度的同一視頻序列內重復出現多次的特點，提出以子幀精度組合來自多個時空補丁的信息來獲得時空超分辨率視頻的單視頻序列時空超分辨率重構方法。文獻[48]提出一種通過使用3D泰勒展開來對局部強度變化進行參數化建模的單視頻序列空間和時間分辨率增強的方法，但是該方法容易導致局部強度的平滑升高，對運動混疊現象不能很好的消除。單視頻序列時空超分辨率重構能夠在一定程度上解決因快速運動引起的運動模糊和運動混疊現象，然而，由于單個視頻序列中的相鄰幀之間的冗余信息是有限的，超分辨率重建中的空間和時間超分辨率的重構倍數受到限制，在多視頻超分辨率重建中，先驗信息的豐富性和視頻序列之間良好的時空聯合特征有利于獲得更好的重建效果并獲得更高的超分辨率重建倍數。

Shechtman等[42]通過融合相同的動態場景的多個低分辨率序列組合重構超分辨率視頻序列，提出了一種同時在時間和空間上進行超分辨率重構的算法，在多視頻序列時空超分辨率重構領域做了一個開創性的工作。Uma等[44]針對多視頻序列超分辨率重構過程中時間和空間重構倍數有效權衡的問題，提出一種采用基于MRF-MAP重構的方法，并利用圖切割的近似優化進行重構，在同一框架內對視頻序列時間和空間分辨率進行重構。Daniel Hazen等[49]針對多視頻監控問題，提出了一種基于壓縮視頻的多視頻序列超分辨率重構方法。

1.4 其他相關研究

與超分辨率重構問題相關的一個重要問題是序列圖像幀間配準，文獻[50]探討了光流法的準確度對輸入低分辨率視頻序列的超分辨率重構算法效果的影響。文獻[51]針對SIFT 算法運行速度較慢、時間效率不高的問題提出了一種與Harris 角點檢測算法相結合的快速圖像匹配算法。文獻[52]分析了基于特征匹配的配準流程中特征的定位準確與否直接影響到配準算法的有效性。文獻[53]提出了基于改進的 SIFT和 RANSAC的圖像配準算法。該方法采用 SIFT算子進行特征點提取和特征描述，利用改進的RANSAC閾值參數設置算法去除誤匹配點，進一步提高了配準算法的精度。

2 視頻序列超分辨率重構技術關鍵問題

2.1 視頻序列退化模型的建立

視頻序列的超分辨率重構依賴于準確、符合成像系統特性和成像條件的退化模型。現階段通常采用的簡單線性退化模型進行近似，但是視頻采集過程中成像系統會受到許多因素的影響，例如傳感器噪聲、物體與采集設備之間的相對移動以及大氣擾動、運動（包括物體的運動或視頻采集設備的運動）、散焦和噪聲等因素，這些都會導致視頻序列質量的降低，因此對采集到的低分辨率視頻序列的退化函數和噪聲進行準確的估計，建立符合實際退化情況的視頻序列退化模型，是需要進一步研究的關鍵問題。

2.2 視頻序列幀間配準

視頻幀間配準是進行視頻序列空間超分辨率重構的基礎，配準的精度將直接影響超分辨率重構質量。對視頻序列空間超分辨率進行重構前，需要對視頻序列進行視頻幀間配準。目前，視頻序列重構過程中使用的配準方法存在一些誤差，影響了重構視頻的質量。因此，改進視頻幀間配準算法提高算法的準確性在視頻超分辨率重構過程中起著重要的作用。

2.3 多視頻序列時空配準

在進行多視頻序列時空超分辨率時，由于各個視頻采集設備具有不同的外部和內部校準參數導致兩個序列之間需要對視頻序列進行空間配準，同樣當兩個輸入序列之間具有時移（如視頻采集設備未被同時激活）或當它們具有不同的幀速率（如PAL制式和NTSC制式）時需要對視頻序列進行時間配準。現階段國內外許多學者對多視頻序列時空配準進行了研究，但都將實際問題進行了簡化，一般假設場景為平面或視頻采集設備投影中心之間的距離相對于采集設備距離場景的距離可忽略，這種假設與實際情況存在一定差距。因此，準確的對多視頻序列進行時空配準，提高時空配準算法的精度和適用范圍在視頻超分辨率重構過程中起著關鍵作用。

2.4 視頻序列超分辨率重構方法

基于重構的方法可以取得較好的平滑和邊緣效果，但算法復雜度較高，通常情況下需要進行迭代求解，運算量較大，因此對于要求實時性較高的問題難以應用；基于學習的方法可以恢復獲得原來圖像中沒有的紋理細節，但這類算法運算速度較慢，并且需要大量的訓練數據。對于多視頻序列超分辨率重構，國內外現有的重建算法對視頻序列本身的時空連續性以及多視頻序列之間的聯合特性沒能充分利用，因此提出或改進一個穩定的算法利用好視頻序列間的時空聯合信息是未來研究中的一個重點。

3 視頻序列超分辨率重構技術應用前景

視頻序列超分辨率是不僅在理論上有重要意義，而且在實際應用中也有迫切需求，成為圖像處理、計算機視覺等領域的一個研究熱點。在日常生活中，例如在交通管理方面，由于監控攝像頭的視場較大，無法獲取快速行駛的車輛的細節信息，利用視頻序列超分辨率技術，可以在車輛肇事過程進行詳細重現，幫助案件的偵破；在體育運動方面，視頻超分辨率構技術可以獲得高速運動物體的細節，有助于在出現爭議時，裁判做出正確公平的判罰。同樣在軍事應用中，由于目前靶場現有的光學設備對高速運動目標實況記錄、導彈（火箭）起飛時的離架漂移量和姿態滾動量測量等難以滿足性能要求。視頻序列超分辨率成像技術可以擺脫對高性能探測器的依賴，打破時間和空間分辨率的相互制約，實現時空分辨率的同時提升，并且能夠抑制因高速運動引起的目標運動混疊和運動模糊效應，具有廣闊的軍事應用前景。

總之，隨著視頻超分辨率理論和技術的發展，視頻超分辨率重構技術必將在各個領域得到廣泛應用。

[1] Tsai R Y, Huang T S. Multi-frame image restoration and registration[J]. Advances in Computer Vision and Image Processing, 1984(1): 317-339.

[2] Sanchez-Beato A, Pajares G. Noniterative Interpolation- Based Super-Resolution Minimizing Aliasing in the Recon-structed Image[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2008, 17(10): 1817-1826.

[3] Nasonov A V, Krylov A S. Fast Super-Resolution Using Weighted Median Filtering[C]//International Conference on Patt--ern Recognition. IEEE Computer Society, 2010: 2230-2233.

[4] Lin S C, Chen C T. Reconstructing Vehicle License Plate Image from Low Resolution Images using Nonuniform Interpolation Method[J]. International Journal of Image Processing, 2007, 1(2): 21-28.

[5] Tsai R Y, Huang T S. Multi-frame image restoration and registration[J]. Advances in Computer Vision and Image Processing, 1984(1): 317-339.

[6] Kim S P, Su W Y. Recursive high-resolution reconstruction of blurred multiframe images[J]. IEEE Transactions on Im-age Processing, 1993, 2(4): 534-9.

[7] Ur H, Gross D. Improved resolution form subpixel shifted pictures[J]. CVGIP: Graphical Models and Image Processing, 1992, 54(2): 181-186.

[8] Nguyen N, Milanfar P. An efficient wavelet-based algorithm for image superresolution[J]. 2000, 2: 351-354 vol. 2.

[9] Ji H, Ller C. Robust Wavelet-Based Super-Resolution Reconstruction: Theory and Algorithm[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2008, 31(4): 649-660.

[10] Ozkan M K, Tekalp A M, Sezan M I. POCS-based restoration of space-varying blurred images[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 1994, 3(4): 450-454.

[11] Stark H, Oskoui P. High-resolution image recovery from image-plane arrays, using convex projections[J]. Journal of the Optical Society of America A, 1989, 6(11): 1715.

[12] Banham M R, Katsaggelos A K. Digital image restoration. IEEE Signal Processing Magazine, 1997, 14(2): 24-41.

[13] Tekalp A M, Ozkan M K, Sezan M I. High-resolution image reconstruction from lower-resolution image sequences and space-varying image restoration[J]. 1992, 3: 169-172.

[14] Eren P E, Sezan M I, Tekalp A M. Robust, object-based high-resolution image reconstruction from low-resolution video[J]. IEEE Transactions on Image Processing, 1997, 6(10): 1446-51.

[15] Patti A J, Altunbasak Y. Artifact reduction for set theoretic super resolution image reconstruction with edge adaptive constraints and higher-order interpolants[J]. IEEE Trans-a-ctions on Image Processing, 2001, 10(1): 179-86.

[16] A. N. Tikhonov, Regularization of incorrectly posed probl-ems, Soviet Mathematical Doklady 4 (1963) 1624– 1627.

[17] Marquina, S. J. Osher, Image super-resolution by TV-regul-arization and Bregman iteration, Journal of Scientific Comp-uting 37 (2008) 367–382.

[18] Farsiu S, Robinson M D, Elad M, et al. Fast and Robust Multiframe Super Resolution[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Proce-ssing Society, 2004, 13(10): 1327-1344.

[19] Chantas G, Galatsanos N P, Molina R, et al. Variational Bayesian image restoration based on a product of t-dis-tributions image prior[J]. IEEE Transactions on Image Processing, 2008, 17(10): 1795.

[20] Schultz R R, Stevenson R L. Video resolution enhan--cement[J]. Proc Spie, 1995: 23-34.

[21] Schultz R R, Stevenson R L. Motion-compensated scan conversion of interlaced video sequences[J]. Proceedings of SPIE - The International Society for Optical Engineering, 1996.

[22] Elad M, Feuer A. Restoration of single super-resolution image from several blurred[J]. IEEE Transactions on Image Processing, 1997.

[23] Elad M, Feuer A. Super-resolution reconstruction of an image[C]// Electrical and Electronics Engineers in Israel, 1996. Nineteenth Convention of. IEEE, 1996: 391-394.

[24] Irani M, Peleg S. Improving resolution by image regis-t-ration[J]. Cvgip Graphical Models & Image Processing, 1991, 53(3): 231-239.

[25] Irani M, Peleg S. Motion Analysis for Image Enhancement: Resolution, Occlusion, and Transparency[J]. Journal of Vis-ual Communication & Image Representation, 1993, 4(4): 324-335.

[26] Mann S, Picard R W. Virtual bellows: constructing high quality stills from video[C]// Image Processing, 1994. Proc-eedings. ICIP-94. IEEE International Conference. IEEE Xpl-ore, 1994: 363-367 vol. 1.

[27] 覃鳳清, 陳為龍, 余永松, 等. 視頻超分辨率重建技術研究[C]// 2007中國西部青年通信學術會議. 2007. QIN, CHEN, YU. Research on Video Super-Resolution Reconstruction Technology[C]// 2007 China Youth Acad-e-mic Conference in Western China. 2007.

[28] Elad M. On the origin of the bilateral filter and ways to improve it[J]. IEEE Transactions on Image Processing, 2002, 11(10): 1141.

[29] Pentland A, Horowitz B. A practical approach to fractal- based image compression[C]// Data Compression Conference. IEEE, 1991: 176-185.

[30] Baker S, Kanade T. Limits on Super-Resolution and How to Break Them[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2002, 24(9): 1167-1183.

[31] Freeman W T, Pasztor E C, Carmichael O T. Learning Low- Level Vision[J]. International Journal of Computer Vision, 2000, 40(1): 25-47.

[32] Freeman W T, Jones T R, Pasztor E C. Example-Based Super-Resolution[J]. Computer Graphics & Applications IEEE, 2002, 22(2): 56-65.

[33] Wang Q, Tang X, Shum H. Patch Based Blind Image Super Resolution[C]// Tenth IEEE International Conference on Computer Vision. IEEE, 2005: 709-716 Vol. 1.

[34] Qiu G. Interresolution Look-up Table for Improved Spatial Magnification of Image[J]. Journal of Visual Communication & Image Representation, 2000, 11(4): 360-373.

[35] Yang J, Wright J, Huang T, et al. Image super-resolution as sparse representation of raw image patches[C]// IEEE Com-puter Society Conference on Computer Vision and Pattern Recognition. DBLP, 2008: 1-8.

[36] Adler A, Helor Y, Elad M. A Shrinkage Learning Approach for Single Image Super-Resolution with Overcomplete Representations[M]// Computer Vision–ECCV 2010. Sprin-ger Berlin Heidelberg, 2010: 622-635.

[37] Zhang Y, Zhao D, Ma S, et al. A motion-aligned auto- regressive model for frame rate up conversion[J]. IEEE Transactions on Image Processing, 2010, 19(5): 1248-1258.

[38] Huang A M, Nguyen T. Correlation-based motion vector processing for motion compensated frame interpolation[J]. 2008: 1244-1247.

[39] Vinh T Q, Kim Y C, Hong S H. Frame rate up-conversion using forward-backward jointing motion estimation and spatio-temporal motion vector smoothing[C]// International Conference on Computer Engineering & Systems. IEEE Xplore, 2010: 605-609.

[40] Yoo D G, Kang S J, Lee S K, et al. Motion Vector Smoothing for Motion-Compensated Frame Rate Up-Conversion[J]. ??????? isocc, 2010: 358-359.

[41] Shimano M, Okabe T, Sato I, et al. Video Temporal Super-Resolution Based on Self-similarity[J]. Ieice Trans-actions on Information & Systems, 2010, 94(8): 1376-1386.

[42] Shechtman E, Caspi Y, Irani M. Space-time super-reso-lution[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005, 27(4): 531.

[43] 陳為龍, 郭黎, 雷剛, 等. 多視頻超分辨率的時間重建倍數[J]. 光學精密工程, 2014, 22(9): 2518-2527. CHEN, GUO, LEI. Time Reconstruction of Multi-Video Super-resolution[J]. Editorial Office of Optics and Precision Engineering, 2014, 22 (9): 2518-2527.

[44] Mudenagudi U, Banerjee S, Kalra P. On Improving Space- Time Super Resolution Using a Small Set of Video Inp-uts[C]// Computer Vision, Graphics & Image Processing, 2008. ICVGIP '08. Sixth Indian Conference on. IEEE, 2008: 320-327.

[45] 宋海英, 何小海, 陳為龍, 等. 多視頻的時空超分辨率重建算法[J]. 北京郵電大學學報, 2011, 34(4): 85-88. SONG, HE, CHEN. A Space-Time Super-Resolution Recon-struction Algorithm of Video Sequences[J]. Journal of Bei-jing University of Posts and Telecommunications, 2011, 34 (4): 85-88.

[46] Shahar O, Faktor A, Irani M. Space-time super-resolution from a single video[C]// Computer Vision and Pattern Reco-gnition. IEEE, 2011: 3353-3360.

[47] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]// IEEE, International Conference on Computer Vision. IEEE Xplore, 2009: 349-356.

[48] Takeda H, Milanfar P, Protter M, et al. Super-resolution without explicit subpixel motion estimation[J]. IEEE Trans--actions on Image Processing A Publication of the IEEE Signal Processing Society, 2009, 18(9): 1958.

[49] Hazen D, Puri R, Ramchandran K. Multi-camera Video Resolution Enhancement by Fusion of Spatial Disparity and Temporal Motion fields[C]// IEEE International Conference on Computer Vision Systems. IEEE Xplore, 2006: 38-38.

[50] Zhao W Y, Sawhney H S. Is Super-Resolution with Optical Flow Feasible?[M]// Computer Vision—ECCV 2002. Spri-n-ger Berlin Heidelberg, 2002: 599-613.

[51] 任忠良. 一種基于SIFT特征的快速圖像匹配算法[J]. 軟件, 2015, 36(6): 53-57. REN. A Fast Image Matching Algorithm Based on SIFT Features[J]. COMPUTER ENGINEERING & SOFTWARE, 2015, 36(6): 53-57.

[52] 黃全亮, 孫坤, 劉水清. 超分辨率技術對基于特征圖像配準算法的影響[J]. 新型工業化, 2011, 1(4): 1-7. HUANG, SUN, LIU. Infulence of using super-resolution in feature-based image registration[J]. New Industrialization Straregy, 2011, 1(4): 1-7.

[53] 王新年, 張濤, 張毓良. 改進的基于SIFT和RANSAC的圖像配準方法[J]. 新型工業化, 2011, 1(6): 72-77. WANG, ZHANGTao, ZHANG. An improved image regis-t-ration method based on SIFT and RANSAC[J]. New Indu-s-trialization Straregy, 2011, 1(6): 72-77.

Survey of Super-Resolution Reconstruction Techniques for Video Sequences

WU Yang1, FAN Gui-hua2

(1. Graduate School, Academy of Equipment, Beijing 101416, China; 2. Department of Photoelectric Equipment, Academy of Equipment, Beijing 101416, China)

The video sequence super-resolution reconstruction technique can reconstruct a video sequence with high spatial resolution or high temporal resolution from one or more low resolution video sequence information.In this paper, the concept of super-resolution reconstruction is introduced. The super-resolution reconstruction technique of video sequence is described in detail from three aspects: spatial super-resolution, temporal super-resolution and spatial-temporal super-resolution. Sequence super-resolution reconstruction technology in the key issues and application prospects were analyzed and prospects.

Video sequence; Super-resolution reconstruction; Spatial resolution; Temporal resolution; Spatial- temporal super-resolution

TN911.73

A

10.3969/j.issn.1003-6970.2017.04.030

吳洋(1992-)，男，碩士，主要研究方向：空間光學測量；樊桂花(1963-)，女，教授，碩士，主要研究方向：空間光學測量。

本文著錄格式：吳洋，樊桂花. 視頻序列超分辨率重構技術綜述[J]. 軟件，2017，38（4）：154-160