超分辨率重建算法綜述

李　欣，崔子冠，朱秀昌

(南京郵電大學 圖像處理與圖像通信實驗室，江蘇 南京 210003)

?

超分辨率重建算法綜述

李欣，崔子冠，朱秀昌

(南京郵電大學 圖像處理與圖像通信實驗室，江蘇 南京 210003)

隨著高分辨率移動設備和超高清電視的發展，對已有的低分辨率視頻進行超分辨率上采樣成為最近的一個研究熱點。對已有的超分辨率重建算法根據輸入輸出方式的不同，分為多圖像超分辨率重建、單圖像超分辨率重建、視頻超分辨率重建三大類，綜述了其中每類算法的發展情況及常用算法，并對不同算法的特點分析比較。隨后討論了多圖像超分辨率重建和單圖像超分辨率重建方法對視頻超分辨率重建方法的影響，最后展望了超分辨率重建算法的進一步發展。

超分辨率；超高清電視；配準；稀疏表示

人類獲取信息的主要途徑是視覺，大部分基于視覺的應用效果都依賴于圖像的質量。高分辨率(High Resolution，HR)圖像有助于在一個監控錄像中更好地識別犯罪嫌疑人的臉，在醫學X射線照片中更準確定位腫瘤，在高清晰度電視中產生更優質的視頻，在工業檢查時產生更清晰的圖像，獲得一個更好的遙感圖像等。超分辨率(Super Resolution，SR)技術是一種圖像處理程序。將退化的圖像或圖像序列作為輸入，生成更高質量的圖像或圖像序列。退化圖像的定義是主觀的，取決于應用程序。低分辨率(Low Resolution，LR)退化圖像可能是監控視頻，或者在很低輻射量下獲得的醫學X射線照片，或者壓縮比很高的壓縮圖像。圖像質量的概念也可以通過不同的方式定義，例如，在攝影照片中，圖像質量取決于人類觀察者的鑒賞感知力，而在目標檢測任務中圖像質量可能是指良好的邊緣定位。

超分辨率技術已經被應用于各種領域，如視頻監控、醫學成像、高清晰度電視、遙感、手機與數碼相機等。在視頻監控系統中，攝像頭監控的興趣點的位置用于檢測異常，視頻通常保存到視頻片段中，系統可以觸發各種警報，如發送電子郵件、引發警報，甚至讓用戶通過網絡來觀看視頻。由于數據量的龐大和帶寬的限制，視頻幀通常是在非常低的比特率下捕獲的。相機通常設置為廣角模式以期能捕捉盡可能多的場景，故而感興趣的對象分辨率往往都比較低。為了安全目的如個人身份識別和身份驗證，不論是時間上(速度)還是空間上(圖像分辨率)都需要超分辨率重建技術。

1　超分辨率重建的分類

單圖像輸入和多圖像輸入是超分辨率重建面臨的兩種不同情況。多圖像輸入意味著輸入的是一系列圖像(或視頻的一部分)，這些圖像間有著不同的亞像素平移，每幅圖像都包含著高度相關信息的信息(即相對場景運動)可以用于超分辨率重建一幅圖像[1]。實際中，很多情況下沒有足夠的相關輸入圖像來源，這就需要開發基于單圖像輸入的算法，即輸入源僅是一幅圖像。根據輸入圖像的多少可以將超分辨率重建問題分為三類：多圖像、單圖像和視頻。它們具有相同的核心任務即產生更多的圖像像素，但它們的定義各有不同：多圖像超分辨率(Multiple-Image Super-Resolution)重建指的是根據同一場景得到的多幅低分辨率圖像重建出一幅高分辨率圖像；而視頻超分辨率(Video Super-Resolution)除了在空域尋找重建方法外，還可以在時域通過增加圖像幀的方法提高整個視頻的質量；單圖像超分辨率(Single-Image Super-Resolution，SISR)重建可以看作為前兩種情況中的基本情況，如單圖像超分辨率可以直接用于視頻超分辨率的每一幀中來增加空間細節，此外，單圖像超分辨率也可以用于多種其他問題，如視頻監控中的檢測、分類和識別問題，超分辨率重建可以幫助其獲得更好的性能，醫學影像系統中超分辨率重建可以提高醫學檢查的準確度等。以下章節將分別對這三類超分辨率重建算法的發展情況分類討論。

超分辨率重建從重建的角度通常分為頻域的方法和空域的方法[2]。第一種超分辨率重建的方法就是頻域方法[3]，其主要是消除LR圖像中的混疊來重建HR圖像，這類技術主要是基于連續和離散傅里葉變換間的平移和混疊特性。這種方法的主要優點是理論簡單及并行實現的能力，但觀測模型僅局限于全局平移運動和線性空間不變(Linear Space Invariant，LSI)模糊，由于在頻域缺少數據相關性，目前該類方法已經不是研究熱點。空域的方法利用觀測模型中的全局和局部運動、空間可變點擴散函數、光學模糊、運動模糊等內容，空域的方法可以將空域的先驗約束用于正則化病態的超分辨率重建問題。本論文綜述的超分辨率重建方法主要是基于空域的方法。

2　多圖像超分辨率重建

多圖像超分辨率重建方法旨在整合多個LR圖像到一個HR圖像，其圖像觀測模型為

Yi=DBiWiX+ni,i=1,2,…，I

(1)

式中：X為待重建的高分辨率圖像；Yi為第i個觀察到的低分辨率圖像；D為下采樣算子；Bi為模糊算子；Wi為變形算子；ni為處理過程中的加性噪聲。

這類方法用了一個假設，即多個類似的圖像可以從一個成像設備中反復得到。該類方法一般包含3個步驟：圖像配準、插值和圖像恢復。考慮輸入的多個LR圖像間存在運動位移，對這種位移關系進行精確估計，將多個LR圖像配準到一個公共坐標下，通過非均勻插值(Non-uniformInterpolation)得到估計的高分辨率圖像，再根據式(1)的觀測模型對圖像超分辨率問題轉化為最優化問題求解。多圖像與單圖像超分辨率重建方法最主要的區別就在于運動估計和圖像配準過程，后續的最優化方法也常常用在單圖像超分辨率重建中。本節主要討論圖像配準及非均勻插值。

為了保證輸入的多個LR圖像中包含增加空間分辨率的足夠信息，通常要求各個LR圖像間存在亞像素平移。如圖1所示，LR圖像的像素首先根據其運動信息投影到HR圖像平面，然后通過插值對齊到統一的HR圖像網格上。這種方法的優點是其相對較低的計算量，可實時實現，然而，在這個方法受限于退化模型，即模糊和噪聲特征被假定為所有LR圖像是相同的。Zhou等[4]提出一種coarse-to-fine的框架通過估計變形參數用獨立視角運動來準確配準圖像的局部感興趣區域(RegionsofInterest，ROI)。Milchevski等[5]給出基于機器學習的SR算法，對配準誤差具有魯棒性。Vrigkas等[6]提出了一種最大后驗概率(MaximumaPosteriori，MAP)模型下的圖像超分辨率方法，其中圖像配準的部分由兩個步驟完成：首先，低分辨率圖像通過對應SIFT特征來配準；其次，在迭代過程中通過最大化互信息準則估計配準參數來精確地估計高分辨率圖像。

3　單圖像超分辨率重建

單圖像超分辨率重建(SISR)是架起輸入低分辨率圖像和輸出高分辨率圖像之間橋梁的重要技術，近年來獲得了更多的關注，由于僅僅只有一幅輸入圖像，式(1)的圖像觀測模型變為

Y=DBX+n

(2)

式中：X為待重建的高分辨率圖像；Y為輸入低分辨率圖像；D為下采樣算子；B為模糊算子；n為加性噪聲。

因此，單圖像超分辨率重建是欠定問題而不是多圖像超分辨率重建的超定問題。因為問題是不適定的，可用的圖像數量有限，在重建過程中往往需要利用圖像的先驗信息。單圖像超分辨率重建就是要利用一幅圖像中包含的豐富信息以及從樣本圖像中得到的視覺先驗，因此，單圖像超分辨率重建的挑戰主要包括：識別重要的視覺線索，填充細節，并盡可能忠實和美觀地呈現。目前單圖像的超分辨率重建一般可分為兩類：基于重建的方法(Reconstruction-Based)和基于樣本學習的方法(ExampleLearning-Based)。

3.1基于重建的方法

基于重建的方法旨在重建降質過程中丟失的高頻信號。Irani和Peleg[7]觀察到插值得到的HR圖像通過式(2)的下采樣過程生成的LR圖像與輸入的LR圖像是不同的。為了保證式(2)成立，用2范數約束表示超分辨率重建問題的解為

(3)

用反向投影在LR上的差值來完善HR圖像的方法求解式(3)，由于這個問題是病態的，有無窮多個解，因而采用迭代的方法，稱為迭代反向投影(Iterative Back-Projection， IBP)算法。因此，IBP重建出的HR圖像，若再次通過下采樣得到的LR圖像會隨著迭代次數的增加與輸入LR圖像更相似。IBP重建增強了HR圖像中的高頻分量，如邊緣兩邊的對比度，但該方法只是簡單地反向投影任何差值，HR圖像中的梯度可能會被過度放大而導致振鈴效應。由于該方法簡單有效，IBP算法在很多圖像超分辨率重建算法中作為一個后處理過程。

IBP算法求出的解仍不唯一，為了找到式(3)更優的解，通常需要考慮圖像的先驗信息來正則化SR問題，式(3)則可改寫為

(4)

Dai等[8]利用圖像邊緣處兩邊的對比度大而邊緣的一邊具有連續性的先驗知識，設計了中心像素和相鄰像素的差值加權和的正則化項。即求解式(4)的最優化問題得到高分辨率圖像能產生尖銳和光滑的邊緣，但該方法對于紋理區域總是生成模糊的結果，由于紋理處的圖像特征并不滿足先驗假設。另外，生成的高分辨率圖像質量與其中的參數設置有關，但又很難找到一個可用于大多數圖像的共同設置，必須手動調整，故實用性不強。

Zhang等[9]提出一種兩步超分辨率方法：首先，雙立方插值得到初始化高分辨率圖像，用非局部核回歸來減少圖像中的鋸狀效應，重建出的高分辨率圖像中邊緣是直且光滑的，但不尖銳；第二步再用反卷積，應用全變差(Total Variation ，TV)作為正則化先驗模型來增強邊緣的對比度。這種方法能夠重建尖銳和清晰的邊緣，但它對于細線和紋理仍然無法得到好的效果，這是因為細線在雙立方插值處理后變寬，但余下的流程卻無法再收窄，紋理經非局部核回歸處理后變得平滑，雖然在第二步中對比度有所增強，但結果與原始真實圖像還是會有很大不同。

Singh等[10]利用圖像邊緣處像素值通常滿足坡道(ramp)先驗，即是由一組強度不斷增加或減少的相鄰像素組成，該算法在邊緣方向上外推得到高分辨率圖像，較前兩種方法相比的優勢在于坡道除了在邊緣還可以在拐角(corner)和交叉(fork)處找到。但坡道需要多個像素才能確定，對于窄邊緣或復雜的紋理坡道仍然不能確定。

基于重建的超分辨率方法只是用了一些先驗知識來正則化重建過程，而沒有使用樣本圖像通過訓練得到訓練先驗。這類方法的優點是簡單、計算量低，但無法處理自然圖像中的復雜圖像結構。

3.2基于樣本學習的方法

與基于重建的超分辨率重建方法相比，由于加入了外部樣本圖像，基于樣本學習的方法有兩個優點：首先，通過對樣本圖像中多種圖像塊訓練學習可以得到各種復雜圖像結構而不僅僅是邊緣的先驗知識；其次，利用包含在樣本中的高頻分量在重建過程中可以生成高頻信息豐富的高分辨率圖像。因而，基于樣本學習的方法目前成為單圖像超分辨率重建的主流研究方向，前兩種算法一般作為基于樣本學習方法的輔助處理過程。

自然圖像內容千變萬化，基于樣本學習的方法都是針對圖像塊學習先驗知識，因此，重建約束變為

(5)

根據如何使用樣本圖像塊，基于樣本學習的方法可分為基于樣本(Example-Based)的方法和字典學習(Dictionary Learning)方法，前者直接從樣本圖像塊中尋找類似的實例(Instance)，而后者則是對樣本圖像中的大量實例通過學習的方法得到圖像的先驗信息。

3.2.1基于樣本的方法

由于樣本圖像中含有豐富的高頻信息，這些信息可用于重建超分辨率圖像中的高頻分量。基于樣本的方法沒有訓練階段，在重建過程中對樣本集搜索足夠的實例來完成重建，因此需要較高的計算量。

1)基于樣本

Freedman[11]觀察發現，兩個圖像塊如果在LR中相似，則它們對應的HR塊更可能是相似的，另外，兩個相鄰的HR塊中的重疊像素的值應該是相似的，基于這兩個觀察，選用馬爾科夫隨機場(Markov Random Field，MRF)來確定樣本圖像集中的最優候選。低分辨率圖像的降質過程是一個多對一的映射過程，對于輸入的LR圖像塊，在樣本集中找到多個與其最相近的樣本LR塊，將與之對應的HR樣本塊作為候選，應用馬爾科夫網絡在選擇最佳候選的同時最小化輸入LR塊與樣本LR塊的差值，并重疊HR像素的差值。與插值得到的高分辨率圖像相比，Freedman的結果含有豐富的高頻細節，但馬爾可夫網絡不能防止異常的候選存在，而人眼的視覺特性對異常高頻信號會很敏感，因此重建的圖像主觀感覺常常是含有噪聲的。Wang等[12]通過用條件隨機場(Conditional Random Field，CRF)取代MRF來改進Freedman的方法，MRF只計算了局部塊間的關系，CRF則計算任何塊對，缺點是模型會更加復雜、計算量更高。

2)鄰域嵌入

Chang等[13]提出一種鄰域嵌入(Neighbor Embedding，NE)算法，通過加權平均多個高分辨率候選塊而不是只選擇其中之一對Freedman的方法作改進。用局部線性嵌入計算一組最近鄰的樣本塊的權重來表示輸入LR塊，再用這些權值來平均相應的HR樣本塊生成輸出的HR塊。這種方法生成的圖像不會有明顯的噪聲存在，因為加權平均的方法就能抑制異常樣本的效果。針對Chang的方法中權重無限制導致的重建失真，Bevilacqua[14]等基于非負鄰域嵌入和最小二乘(Least Square，LS)近似LR塊，證明了非負權重選取的有效性。Yang等[15]提出雙幾何鄰域嵌入方法，利用多視角特征和圖像塊局部空間鄰域來找到特征-空間流型嵌入。

3)基于自相似塊

Glasner等[16]觀察到在超分辨率重建圖像中利用外部樣本圖像不容易出現重建銳利的邊緣，因為相似的圖像塊在不相關的圖片中并不多，相比之下，由于邊緣方向和對比度在下采樣過程中保持不變，類似的邊緣塊在輸入圖像的圖像金字塔中很容易找到。因而提出利用多尺度LR/HR塊對來重建圖像，重建的圖像邊緣銳利清晰，但由于多尺度圖像遍歷搜索，計算時間較長。給定LR塊在圖像金字塔的邊緣上找到最相似的塊，由于邊緣方向和對比度不變，因此在大多數情況下最相似的塊都是位于同一位置上。Freedman等[17]利用這個性質來加速Glasner的方法，用局部搜索代替全局塊搜索，并在GPU上實現搜索算法。為了找到有效的多尺度自相似塊，這兩種方法都使用一個小尺度因子生成圖像金字塔，并用小尺度因子迭代地放大輸入圖像直到生成圖像的大小達到所需高分辨率圖像的大小，因此LR輸入圖像中的小梯度塊可能被放大為輸出HR圖像中的短邊緣，如果輸入圖像包含不規則梯度紋理，將可能產生一些與高分辨率圖像內容不相關的局部塊。在Glasner方法基礎上，Cui等[18]利用深度學習的方法，提出一種深度網絡級聯來逐層上采樣LR圖像，由于在每一層級聯的自相似搜索過程的優化和自動編碼器是獨立的，因此該方法無法得到一個端到端的解決。

4)紋理重建

Tai[19]提出一種用統計先驗來重建邊緣而從樣本圖像中合成紋理的方法，首先需要高度相似的樣本圖像，并要創建一個模板來分段樣本圖像中的有效區域。雖然這種方法可以產生高質量的紋理，但高度相似的樣本圖像卻并不是總能找到的。HaCohen等[20]通過自動匹配測試和樣本段來弱化Tai的假設，并用多個段代替單一段，首先準備一個涵蓋多種紋理類的小圖像集，每個類中包含一些樣本紋理圖像，重建時與樣本圖像完全一致的紋理就不需要模板，其次通過訓練的每個紋理類的典型來對測試圖像分段，并從樣本圖像合成重建圖像中的紋理。該方法也能產生高質量的紋理，但仍然需要人工準備有效的樣本紋理圖像，因而適用面還是不廣。Sun等[21]提出一種全自動重建圖像中紋理的方法，先收集包含各種紋理類的大量自然圖像，通過Berkeley分段機制自動生成分段，再提取多尺度多方向梯度分布作為分段特征，并廣泛應用紋理描述符。對于給定的輸入LR圖像，將其分段與具有最近特征的LR樣本分段匹配，并用對應的HR樣本塊分段作為正則化項來產生HR圖像中豐富的高頻細節。如果分段和匹配步驟都工作正常，該方法能產生豐富的高質量紋理，然而，自然圖像的紋理是難以分段和匹配的，如果出現無效分割或匹配的，生成的結果將會包含不一致或不正確的紋理。

3.2.2字典學習的方法

由圖像降質模型可以看到，這是一個多對一的映射過程，也就是說很多不同的HR圖像會產生一幅相同的LR圖像，在基于樣本學習的方法中，由于圖像都是被劃為許多小的圖像塊，那這種映射關系就完全可能出現在樣本圖像塊集中，為了更有效地整合樣本圖像塊集中包含的信息，字典學習的方法通過對大量的樣本塊訓練來學習最可能的HR特征映射到LR圖像塊上。一旦學到先驗知識，則不再需要樣本圖像，這樣在重建階段也就不需要大的內存空間及搜索時間，與基于樣本的方法相比，字典學習的方法計算效率更高。

1)邊緣優先

相比較學習全局特性的先驗，Fattal[22]和Sun等[23]分別提出兩個類似的方法學習局部邊緣統計先驗，兩種方法都是在邊緣處重建梯度，不同主要在于特征提取部分和從LR到HR特性訓練映射函數部分。Fattal提取邊緣銳度作為3個力矩，Sun則將邊緣輪廓建模為廣義高斯分布模型；Fattal學習一個查找表來預測HR梯度，Sun為廣義高斯分布的銳度和形狀學習分段映射函數。由于使用的圖像結構和方法基本相同，因此兩種方法產生的圖像是相似的，邊緣清晰但紋理是模糊的。這兩種方法所使用的先驗對紋理都不起作用，因為紋理的高頻細節不能由邊緣輪廓建模。

2)基于稀疏表示

Yang等[24]為了覆蓋各種圖像結構提出從圖像塊而不是邊緣學習先驗。首先利用樣本圖像產生LR/HR訓練圖像對，提取一階、二階梯度作為LR塊特征，因為大梯度代表重要的視覺信息，提取訓練HR圖像和LR圖像雙立方插值圖像的差值作為HR塊特征。從大量的LR/HR特性塊對訓練集中，優化出一對共享相同系數并能產生最小重建誤差的稀疏字典，因此訓練字典對的過程實際上就是找到從LR特征到HR特征的復雜的非線性映射函數。重建時，為每LR塊用LR字典計算稀疏系數，再通過相同的系數在HR字典上生成HR特征，將估計的HR特征疊加到輸入圖像的雙立方插值圖像上就能得到最終的輸出圖像。因為字典訓練用于代表任何塊，故邊緣和紋理的高頻細節都可以重建。Zeyde等[25]改進了Yang的方法，引入投影矩陣訓練，通過主成分分析(Principle Component Analysis，PCA)選定特征，LR字典可以更準確地表示圖像塊。另外，經過PCA處理后特征維數降低，稀疏系數的計算量也隨之降低。Wang等[26]弱化了Yang的方法中對LR和HR字典稀疏系數相同的假設條件，引入稀疏域變換增加LR和HR字典系數之間的靈活性。與邊緣優先的方法相比，直接對樣本塊學習先驗對于重建HR圖像更通用且更有效。

3)基于回歸模型

基于字典學習的方法雖然在重建圖像的質量上有著優勢，但計算量仍然較高。為了解決這個問題，Kim和Kwon[27]通過訓練回歸函數來預測HR特征，Timofte等[28]和Yang[29]提出使用多個線性回歸函數代替一對字典對表示的單一映射函數，這3種方法的區別在于回歸函數的數量和類型。Kim和Kwon只訓練一個回歸函數，主要關注強邊緣周圍塊的重建，通過復雜的核脊回歸函數來生成準確的結果，通過使用一些回歸參考來減少計算復雜度，為了抑制不準確回歸引起的噪聲，他們用自然圖像的先驗來改善邊緣的對比度和連續性。相比之下，Timofte等和Yang的方法則是采取了各個擊破的策略，在劃分步驟中，把LR特征空間分割成許多子空間，為單獨的子空間收集實例，對每個子空間訓練特定的線性回歸函數，給定測試圖像塊時，找到覆蓋其特征的子空間，用子空間訓練的回歸函數估計HR的特征；在綜合步驟中，只需平均重疊像素值生成輸出圖像而無需任何后處理。由于每個子空間小且緊，通過線性回歸函數的準確預測類似于非線性回歸函數如支持向量回歸，但計算量會大大降低。Timofte[30]又合并了Yang的使用原始塊特征的方式進一步提出一種改進的方法，增加了回歸函數的有效性和重建圖像的質量。Dai等[31]又通過優化塊與回歸函數間的關聯改進了Timofte[30]的方法，提出直接訓練LR/HR塊對來優化整個回歸函數集，通過反復訓練回歸函數并重組訓練樣本進一步減少重建誤差；訓練回歸函數后，記錄每個塊對于每個回歸函數的重建誤差，重建是根據給定的LR塊，首先檢索類似的訓練塊，根據重建誤差記錄，他們確定最可能的回歸函數以產生最小的重建誤差。Zhang[32]等考慮到這些算法中錨點數量過高的問題，提出一種混合專家(Mixture of Experts，MoE)模型方法，可以通過期望最大(Expectation-Maximization，EM)算法求解空間部分和局部回歸的聯合學習。

4)基于深度學習

Dong等[33]提出在卷積神經網絡(Convolutional Neural Networks，CNN)的框架下訓練LR和HR映射函數，同時優化映射函數和卷積核來減少重建錯差，該方法在訓練階段計算量非常大，但在重建階段計算量很小，由于懲罰項是為了優化減小亮度差值而不是梯度，其生成的圖像在尖銳的邊緣可能包含鬼影。相較于訓練階段有高計算量的Dong方法，Schulter[34]提出利用隨機簇來減少訓練成本。隨機選擇的訓練塊用于產生多個二叉樹，基于塊相似性遞歸地將訓練樣本集分割成兩個子集，包含在每一個葉子節點的LR/HR塊對是用來訓練線性回歸函數，且Schulter方法中由不同的樹分割的子空間是重疊的，因此密集的和重疊的回歸函數可以產生高質量的圖像而且訓練階段的計算量低。Huang等[35]也是運用判決樹和分層判決樹進一步加速了Schulter的方法。

4　視頻超分辨率重建

視頻超分辨率重建不是多圖像超分辨率重建的直接擴展，多圖像超分辨率假設輸入圖像為同一場景，是統一的輸入，而視頻可以使用異構輸入，如視頻中通常包括I，B，P幀，也就是輸入的圖像可能是高分辨率圖像，也可能是降質的圖像，因而LR視頻可以有HR靜態圖像用于增加圖像大小[36-37]或減少量化噪聲[38]。另外，視頻超分辨率重建處理的移動對象，因此除了空域的重建方法，還可以在時域增加圖像幀的方法實現超分辨率重建，多圖像超分辨率重建則僅是空域的重建。空域的視頻超分辨率重建算法如果忽略幀間相關性[39]，則可看成是單圖像超分辨率重建的直接擴展，但這類方法的重建質量一般會比利用時間相關性如計算目標的運動信息的算法效果差[40-41]。根據目前視頻超分辨率的應用，可大致分為兩類：

取滿足上面等式的a0、b0作為回歸函數的參數估計，以作為回歸函數的估計，稱為Y關于x的一元經驗線性回歸方程，簡稱為一元線性回歸方程，其圖象稱為回歸直線．

1)基于傳統視頻超分辨率

近年來，電視技術以指數級的速度在快速發展，同時也面臨著顯示上的前所未有的挑戰，高清晰度電視(High Definition Television，HDTV)和超高清電視[42](Ultra-High-Definition Television，UHDTV)都對視頻分辨率提出了越來越高的要求，傳統視頻處理領域，SR通常是在一個混合分辨率視頻框架下，即視頻中包含LR或HR幀，如視頻編碼的相關應用。由于在視頻場景中的LR和HR幀間的相似是固有的特性，基于樣本的SR展示了良好的效果。在這種背景下，Song等[43]提出了使用低分辨率序列中已有的稀疏的高分辨率關鍵幀做重疊塊運動估計(Overlapped-Block Motion Compensation，OBMC)和字典訓練來完成重建。同時，Hung等[44]提出了通過使用碼本(codebook)來完成SR，同樣也是源于關鍵幀和OBMC，得到比Song更好的效果。Jeong等[45]提出一種多幀基于樣本塊選擇算法，結合基于低分辨率圖像退化模型的自相似性，提出的SR算法可顯著提高LR圖像的視覺質量，保留高頻圖像細節。Ruangsang[46]通過奇異值分解結合K均值聚類分析算法(分析K-SVD)和自適應追蹤彈性網(Elastic-Net)算法，分析K-SVD算法提高了學習過程，得到更好的字典生成系數，低分辨率和高分辨率塊之間的最優路徑的數據集；自適應彈性網算法用于解決稀疏表示問題估計高分辨率塊。

2)基于3D視頻的深度視頻超分辨率

三維電視(3DTV)和自由視點電視(Free-viewpoint，FTV)已經吸引了很多的關注。3DTV從不同的觀點用多個視角為觀眾提供真實場景的感知，FTV在一定范圍內可以由觀眾自由選擇場景中的任何視角。通過3D視頻提供的現實場景的互動和生動體驗依賴于大量的紋理和深度圖數據，因此，其在采集、存儲和傳輸過程提出新的要求，尤其是對有限的帶寬應用。對于這樣問題的一個有效的解決方案是使用混合分辨率(Mixed Resolution，MR)視頻，其中至少一個視圖捕捉的低分辨率，而其他視圖則捕獲全分辨率(Full Resolution，FR)。MR視頻與FR視頻相比顯著減少了捕獲的數量、數據傳輸、存儲和處理時間這些實時應用程序的瓶頸，然而，為了滿足高清晰度的要求，減少視覺不適感，使視頻格式更適合于FTV，在解碼器端LR視頻通常需要使用超分辨率技術恢復到FR尺度。

Garcia等[47]提出用鄰近FR的視點的高頻信息和相應的深度信息恢復LR視點中的高頻信息。Zhang等[48]融合了從FR視圖到LR視圖的映射，利用非局部塊加權和完成3D視頻SR。不同于以前只關注利用空間信息的方法，Jain等[49]提出一種3D MRF模型，在空域和時域從HR圖像庫中優化塊來重建LR幀。Jin等[50]提出一個新的虛擬視圖輔助SR的增強算法，開發虛擬視圖信息和內插幀有兩個好處：首先，FR視圖中包含的高頻信息可以正確用于重建LR視圖；其次，視圖間冗余將用于在超分辨率視圖中提高原始LR像素，并補償視圖間亮度都差異。Ismaeil等[51]提出一種動態多幀深度SR，但這個算法受限于橫向運動，在徑向變形情況下會失敗，另外在內存中緩存一定數量幀來累積運動估計過程也是不太現實的。之后，又提出一種用多個卡爾曼濾波器遞歸深度SR算法[52]，該算法把視頻看作一組一維信號，當達到一個近似的流量范圍，考慮徑向變形估計，由于充分保護了深度表面的平滑特性，并去除噪聲，使用一個多層次的迭代雙邊全變差正則化，取得了很好的深度預測。

5　小結

目前，超分辨率重建技術廣泛用于多個場合，稀疏表示思想的提出對單圖像超分辨率重建算法的飛速發展起到了重要作用，隨著單圖像超分辨率重建技術的快速進步，以及高分辨率移動設備和超高清電視的發展，視頻超分辨率重建技術也逐步成為研究的熱點。結合目前的發展情況，未來的超分辨率還可以在以下方面進一步提高：

2)基于字典學習的快速超分辨率重建也是近期的研究重點，該類算法的最主要缺點是運行速度慢，很難直接使用，近年來隨著計算機性能的提升，有一些算法中使用GPUs實現，可以在很短的時間完成超分辨率重建，但快速算法通常需要弱化重建約束中的部分條件，因此重建質量又可能下降。技術研究的目的最終是實用，快速算法必然是后續研究的重點。

3)視頻幀間運動信息的利用，是視頻超分辨率重建與單圖像超分辨率重建間最大的差別，在視頻超分辨率重建的后續發展中，利用亞像素運動估計可以明顯提高運動估計的準確性，但是隨之而來增加的運算量也是需要解決的問題。

[1]PARK S C，PARK M K，KANG M G. Super-resolution image reconstruction：a technical overview[J]. IEEE signal processing magazine，special issue of super-resolution image reconstruction，2003，20(3)：21-36.

[2]蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述[J]. 自動化學報，2013，39(8)：1202-1213.

[3]TSAI R Y，HUANG T S，TSAI R Y，et al. Multiframe image restoration and registration[C]// Advances in Computer Vision and Image Processing.[S.l.]：IEEE，1984：317-339.

[4]ZHOU F，YANG W，LIAO Q. A coarse-to-fine subpixel registration method to recover local perspective deformation in the application of image super-resolution[J]. IEEE transactions on image processing， 2012， 21(1)：53-66.

[5]MILCHEVSKI A， IVANOVSKI Z， MUSTAFA B. Machine learning based supper-resolution algorithm robust to registration errors[C]// Digital Signal Processing Workshop and IEEE Signal Processing Education Workshop (DSP/SPE).[S.l.]：IEEE，2011：326-331.

[6]VRIGKAS M， NIKOU C， KONDI L P. On the improvement of image registration for high accuracy super-resolution[C]//IEEE International Conference on Acoustics，Speech and Signal Processing (ICASSP) .[S.l.]：IEEE，2011：981-984.

[7]IRANI M，PELEG S. Improving resolution by image registration[J]. CVGIP：graphical models & image processing， 1991， 53(3)：231-239.

[8]DAI S，HAN M，XU W，et al. Soft edge smoothness prior for alpha channel super resolution[C]//IEEE Conference on Computer Vision & Pattern Recognition.[S.l.]：IEEE，2007：1-8.

[9]ZHANG H，YANG J，ZHANG Y，et al. Non-local kernel regression for image and video restoration[J]. Lecture notes in computer science，2010(3)：566-579.

[10]SINGHA，AHUJAN.Singleimagesuper-resolutionusingadaptivedomaintransformation[C]//IEEEInternationalConferenceonImageProcessing.[S.l.]：IEEE，2013：356-364.

[11]FREEMANWT，JONESTR，PASZTOREC.Example-basedsuper-resolution[J].IEEEcomputergraphics&applications，2002，22(2)：56-65.

[12]WANGQ，TANGX，SHUMH.Patchbasedblindimagesuperresolution[C]//IEEEInternationalConferenceonComputerVision.[S.l.]：IEEE，2005：709-716.

[13]CHANGH，YEUNGDY，XIONGY.Super-resolutionthroughneighborembedding[C]//IEEEConferenceonComputerVisionandPatternRecognition.[S.l.]：IEEE，2004：275-282.

[14]BEVILACQUAM，ROUMYA，GUILLEMOTC，etal.Low-complexitysingle-imagesuper-resolutionbasedonnonnegativeneighborembedding[J].BMVC，2012(2)：13-18.

[15]YANGS，WANGZ，ZONGL，etal.Dual-geometricneighborembeddingforimagesuperresolutionwithsparsetensor[J].IEEEtransactionsonimageprocessing，2014， 23(7)：2793-2803.

[16]GLASNERD，BAGONS，IRANIM.Super-resolutionfromasingleimage[C]//IEEEInternationalConferenceonComputerVision.[S.l.]：IEEE，2009：349-356.

[17]FREEDMANG，FATTALR.Imageandvideoupscalingfromlocalself-examples[J].ACMtransactionsongraphics，2011，30(2)：474-484.

[18]CUIZ，CHANGH，SHANS，etal.Deepnetworkcascadeforimagesuper-resolution[C]//ComputerVision-ECCV2014.[S.l.]：IEEE，2014：49-64.

[19]TAIYW，LIUS，BROWNMS，etal.Superresolutionusingedgepriorandsingleimagedetailsynthesis[C]//IEEEConferenceonComputerVisionandPatternRecognition.[S.l.]：IEEE，2010：2400-2407.

[20]HACOHENY，FATTALR，LISCHINSKID.Imageupsamplingviatexturehallucination[C]//IEEEInternationalConferenceonComputationalPhotography(ICCP).[S.l.]：IEEE，2010：1-8.

[21]SUNJ，ZHUJ，TAPPENMF.Context-constrainedhallucinationforimagesuper-resolution[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR).[S.l.]：IEEE，2010：231-238.

[22]FATTALR.Imageupsamplingviaimposededgestatistics[J].ACMtransactionsongraphics，2007，26(3)：95.

[23]SUNJ，SUNJ，XUZ，etal.Gradientprofileprioranditsapplicationsinimagesuper-resolutionandenhancement[J].IEEEtransactionsonimageprocessing，2010，20(6)：1529-1542.

[24]YANGJC，WRIGHTJ，HUANGT，etal.Imagesuper-resolutionviasparserepresentation[J].IEEEtransactionsonimageprocessing，2010，19(11)：2861-2873.

[25]ZEYDER，ELADM，PROTTERM.Onsingleimagescale-upusingsparse-representations[M].Berlin：Springer，2010.

[26]WANGS，ZHANGL，LIANGY，etal.Semi-coupleddictionarylearningwithapplicationstoimagesuper-resolutionandphoto-sketchsynthesis[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR) .[S.l.]：IEEE，2012：2216-2223.

[27]WANGK，YOUNGHEEK.Single-imagesuper-resolutionusingsparseregressionandnaturalimageprior[J].IEEEtransactionsonpatternanalysis&machineintelligence， 2010， 32(6)：1127-1133.

[28]TIMOFTER，DEV，GOOLLV.Anchoredneighborhoodregressionforfastexample-basedsuper-resolution[C]//IEEEInternationalConferenceonComputerVision(ICCV).[S.l.]：IEEE，2013：1920-1927.

[29]YANGCY，YANGMH.FastDirectsuper-resolutionbysimplefunctions[C]//IEEEInternationalConferenceonComputerVision(ICCV) .[S.l.]：IEEE，2013：561-568.

[30]TIMOFTER，SMETVD，GOOLLV.A+：adjustedanchoredneighborhoodregressionforfastsuper-resolution[M]. [S.l.]：SpringerInternationalPublishing，2014.

[31]DAID，TIMOFTER，GOOLLV.Jointlyoptimizedregressorsforimagesuper-resolution[C]//ComputerGraphicsForum.[S.l.]：IEEE，2015：95-104.

[32]ZHANGK，WANGB，ZUOW，etal.Jointlearningofmultipleregressorsforsingleimagesuper-resolution[J].IEEEsignalprocessingletters， 2016， 23(1)：102-106.

[33]DONGC，CHENCL，HEK，etal.Learningadeepconvolutionalnetworkforimagesuper-resolution[C]//ComputerVision-ECCV.[S.l.]：SpringerInternationalPublishing，2014：184-199.

[34]SCHULTERS，LEISTNERC，BISCHOFH.Fastandaccurateimageupscalingwithsuper-resolutionforests[C]//IEEEConferenceonComputerVisionandPatternRecognition.[S.l.]：IEEE，2015：3791-3799.

[35]HUANGJJ，SIUWC.Learninghierarchicaldecisiontreesforsingleimagesuper-resolution[J].IEEEtransactionsoncircuits&systemsforvideotechnology， 2015(7)：1-14.

[36]BHATP，ZITNICKCL，SNAVELYN，etal.Usingphotographstoenhancevideosofastaticscene[J].Eurographicssymposiumonrenderingjankautz&sumantapattanaik，2007(6)：327-338.

[37]WATANABEK，IWAIY，HAGAT，etal.Afastalgorithmofvideosuper-resolutionusingdimensionalityreductionbydctandexampleselection[C]//19thInternationalConferenceonPatternRecognition.[S.l.]：IEEE，2008：1-5.

[38]LIUF，WANGJ，ZHUS，etal.Noisyvideosuper-resolution[C]//ACMInternationalConferenceonMultimedia.[S.l.]：IEEE，2008：713-716.

[39]SHANQ，LIZ，JIAJ，etal.Fastimage/videoupsampling[J].ACMtransactionsongraphics，2008，27(5)：32-39.

[40]SHIMANOM，OKABET，SATOI，etal.Videotemporalsuper-resolutionbasedonself-similarity[J].Ieicetransactionsoninformation&systems，2010，94(8)：93-106.

[41]LIUC，SUND.Abayesianapproachtoadaptivevideosuperresolution[C]//IEEEConferenceonComputerVisionandPatternRecognition.[S.l.]：IEEE，2011：209-216.

[42]吳蔚華，阮衛泓，謝于迪. 超高清晰度電視技術概述[J]. 電視技術，2014，38(8)：69-71.

[43]SONGB，JEONGSC，CHOIY.Videosuper-resolutionalgorithmusingbi-directionaloverlappedblockmotioncompensationandon-the-flydictionarytraining[J].IEEEtransactionsoncircuitssystemvideotechnology，2011，21(3)：274-285.

[44]HUNGE，QUEIROZR，BRANDIF，etal.Videosuper-resolutionusingcodebooksderivedfromkeyframes[J].IEEEtransactionsoncircuitssystemvideotechnology，2012，22(9)：1321-1331.

[45]JEONGS，YOONI，PAIKJ.Multi-frameexample-basedsuper-resolutionusinglocallydirectionalself-similarity[J].IEEEtransactionsonconsumerelectronics，2015，61(3)：353-358.

[46]RUANGSANGW，ARAMVITHS.Super-resolutionforHDto4KusingAnalysisK-SVDdictionaryandadaptiveelastic-net[C]//IEEEInternationalConferenceonDigitalSignalProcessing(DSP).[S.l.]：IEEE，2015，1076-1080.

[47]GARCIADC，DOREAC，QUEIROZRL.Superresolutionformultiviewimagesusingdepthinformation[J].IEEEtransactionsoncircuitssystemvideotechnology，2012，22(9)：1249-1256.

[48]ZHANGJ，CAOY，WANGZ.Asimultaneousmethodfor3dvideosuper-resolutionandhigh-qualitydepthestimation[C]//20thIEEEInternationalConferenceonImageProcessing(ICIP).[S.l.]：IEEE，2013：1346-1350.

[49]JAINAK，NGUYENTQ.Videosuper-resolutionformixedresolutionstereo[C]//20thIEEEInternationalConferenceonImageProcessing(ICIP).[S.l.]：IEEE，2013：962-966.

[50]JINZ，TILLOT，YAOC，etal.Virtualviewassistedvideosuper-resolutionandenhancement[J].IEEEtransactionsoncircuits&systemsforvideotechnology， 2015， 25(2)：1-12.

[51]ISMAEILKA，AOUADAD，MIRBACHB，etal.Dynamicsuperresolutionofdepthsequenceswithnon-rigidmotions[C]//20thIEEEInternationalConferenceonImageProcessing(ICIP) .[S.l.]：IEEE，2013：660-664.

[52]ISMAEILKA，AOUADAD，SOLIGNACT，etal.Real-timenon-rigidmulti-framedepthvideosuper-resolution[C]//IEEEConferenceonComputerVisionandPatternRecognitionWorkshops(CVPRW).[S.l.]：IEEE，2015：8-16.

李欣(1981— )，女，講師，主要研究圖像處理與多媒體通信、數字電視處理與傳輸等；

崔子冠(1982— )，副教授，主要研究方向為視頻編碼與傳輸、圖像處理等；

朱秀昌(1947— )，教授，博士生導師，主要研究方向包括多媒體信息、圖像和視頻的采集、處理、傳輸和顯示。

責任編輯：時雯

Survey of super-resolution algorithms

LI Xin，CUI Ziguan，ZHU Xiuchang

(ImageProcessingandImageCommunicationLab.，NanjingUniversityofPostsandTelecommunications，Nanjing210003，China)

With the development of high-resolution mobile devices and ultra-high-definition televisions， applying super-resolution up-sampling to the existing low-resolution video has become a hot research topic recently. In this paper， according to the different way of input and output， the existing super-resolution reconstruction algorithms are divided into three categories：multiple-image super-resolution reconstruction， single-image super-resolution reconstruction， and video super-resolution reconstruction. The development and common usage of each category are reviewed， and the characteristics of different algorithms are compared. In the following， the impact of multi-image super-resolution reconstruction and single-image super-resolution reconstruction on video super-resolution reconstruction is discussed. Finally， the development prospect of super-resolution reconstruction algorithm is analyzed.

super-resolution； ultra-high-definition televisions； registration； sparse representation

TN911.73； TP391.4

A

10.16280/j.videoe.2016.09.001

國家自然科學基金青年基金項目(61501260)；江蘇省自然科學基金項目(BK20130867；BK20140891)；江蘇省普通高校研究生科研創新計劃項目(CXLX12_0474)

2016-01-25

文獻引用格式：李欣，崔子冠，朱秀昌.超分辨率重建算法綜述[J].電視技術，2016，40(9)：1-9.

LI X，CUI Z G，ZHU X C.Survey of super-resolution algorithms[J].Video engineering，2016，40(9)：1-9.