超分辨率圖像重建算法綜述

鐘夢圓，姜 麟

昆明理工大學 理學院，昆明650093

圖像是人類用于感知世界的直觀方式之一，而低分辨率（low resolution，LR）圖像往往阻礙人類獲取、傳遞、表達圖像的特征信息。

對此，研究LR 圖像重建實現高質量、高細節、高清晰度圖像的超分辨率圖像重建（super-resolution image reconstruction，SRIR）技術成為計算機視覺圖像處理領域的研究熱點。

Tsai 等人提出的“基于序列的超分辨率圖像重建算法”是SRIR 研究的開山之作，闡明了SRIR 技術是指借助相關算法將已有的LR 圖像向高分辨率圖像（high resolution，HR）轉換的技術。SRIR 技術致力于解決圖像放大任意倍數后仍舊清晰展現圖像紋理、結構、邊緣等信息的問題，在很大程度上滿足了時代發展過程中，醫學、工業、衛星遙感、道路監測、安全監控等領域對高質量圖像的需求。

近年來，國內外SRIR 技術得到迅速發展并取得許多優秀成果，同時也涌現出一些優秀的SRIR 綜述文章，對這些研究成果進行了歸納、總結、分析，比如：

（1）針對某方面圖像重建算法的綜述

鐘寶江等人針對圖像插值技術全面介紹圖像插值與圖像重建之間的異同，并給出主、客觀兩方面對插值圖像質量評價的方式；馬書紅對幾種經典的插值算法針對圖像放大效果進行比較；鄭璐等人介紹深度學習背景下SRCNN（super-resolution convolutional neural network）、VDSR（very deep super-resolution）、DRCN（deeply-recursive convolutional network）、SRDenseNet（super-resolution DenseNet）、SRGAN（superresolution generative adversarial network）五種算法所用的網絡結構和圖像重建的流程，并簡短給出這五種算法的實驗結果。此外，文獻[6-9]也針對深度學習背景下的部分超分辨率圖像重建算法進行歸納分析。

（2）針對傳統圖像重建方法的綜述

龍超以較為經典的圖像超分辨率方法（插值、重建、學習）進行綜述；王春霞等人以單幀圖像和多幀圖像、頻域和空域分別介紹超分辨率圖像重建技術的一些經典方法；蘇衡等人以超分辨率圖像重建問題分類入手，對基于重建的超分辨率方法、視頻超分辨率方法、單幅圖像超分辨率方法進行詳細綜述。

（3）針對傳統方法與深度學習方法的綜述

張芳等人從傳統方法和深度學習方法兩類方法入手，對單幅圖像的重建算法進行歸納分析，并給出兩類方法之間SR 重建本質的聯系與差異。董銀麗等人歸納分析頻域法、空域法、學習法，并給出圖像質量主觀評價和客觀評價方法的分析。Li 等人從單幅圖像的重建問題入手介紹超分辨率圖像重建方法、網絡結構、應用場景等方面。

本文從基于插值、基于重構、基于學習（深度學習前、深度學習后）入手，對到目前為止的超分辨率圖像重建方法進行系統分類，并對各方法下經典的、常用的算法進行綜述：（1）從運算速度、運算復雜度、圖像質量、解唯一性等方面對基于插值、基于重構的傳統算法進行對比分析；（2）從現有網絡結構方式入手介紹基于卷積神經網絡的深度學習圖像重建算法，從網絡結構修改方式入手介紹基于生成對抗網絡的深度學習圖像重建算法，并給出各算法在運用機制、適用場景、優化方向、學習策略、算法優勢、局限性等方面的特點與性能；（3）對超分辨率圖像重建技術所用數據集、質量評價方式進行了綜合分析；（4）在文末給出對超分辨率圖像重建這個方向未來研究發展的展望。

1 超分辨率圖像重建概述

超分辨率圖像重建利用已知的圖像信息建立LR圖像與HR 圖像之間的特征序列關系，其數學模型為：利用“系統成像模型”自身的一些變化手段對退化后的圖像實現重建。

“系統成像模型”過程：LR 圖像由HR 圖像經退化函數（如加噪、模糊、運動、降采樣等）作用后得到的不清晰圖像，即：

其中，表示LR 圖像，表示HR 圖像，表示退化函數，θ表示與退化函數相關的各種參數和退化因子，S為降采樣矩陣，為降采樣矩陣的比例因子，為模糊矩陣，為與HR 卷積相關的模糊核，為運動矩陣，n為添加的帶有標準差的噪聲，表示標準差。

超分辨率圖像重建問題為“系統成像模型”的逆過程，輸入LR 圖像重建出相應的HR 圖像：

其中，表示重建函數，σ表示與重建函數相關的各種參數與重建因子。

圖像退化過程和圖像重建過程如圖1 所示。

圖1 中，黑色箭頭表示圖像退化過程，黃色箭頭表示圖像重建過程。

圖1 超分辨率圖像重建技術圖解Fig.1 Illustration of super-resolution image reconstruction technology

本文根據超分辨圖像重建所采用的方法，將其分為基于插值的圖像重建方法、基于重構的圖像重建方法、基于學習的重建方法，而基于學習的圖像重建方法又可分為深度學習前的圖像重建算法和深度學習后的圖像重建算法。深度學習后的圖像重建算法又分為基于卷積神經網絡的超分辨率圖像重建算法和基于生成對抗網絡的超分辨率圖像重建算法，具體分類情況如圖2 所示。

圖2 圖像重建方法分類Fig.2 Classification of image reconstruction algorithms

2 基于插值的圖像重建方法

基于插值的圖像重建方法是超分辨率圖像重建問題中最原始、最直觀的方法，主要分為線性插值算法和非線性插值算法。插值法主要根據LR 圖像已知的像素點灰度信息，運用插值公式增強像素點間的灰度信息來實現圖像放大問題。一般情況下，插值法所需的圖像信息較少，算法復雜度較低，運行速度較快，且插值后的HR 圖像保留了原LR 圖像的像素點信息。

2.1 線性插值算法

最近鄰插值法指插值點直接以與其歐式距離最短的像素點的灰度值為自身插值后的灰度值。雖然它是最簡單的插值算法，難度系數低且易實現，但由于其他相鄰像素點沒有對目標插值點產生影響，當插值圖像分辨率較大時，容易出現鋸齒效應和圖像灰度不連續問題。

為解決最近鄰插值法忽視相鄰像素點間影響而造成圖像鋸齒效應現象，提出雙線性插值法。雙線性插值法主要從垂直、水平兩個方向對相鄰的四個像素點進行線性插值實現圖像插值問題。雖然雙線性插值法在圖像灰度不連續問題上有所改進，但插值后的圖像產生明顯的細節退化，圖像高頻信息受到損壞。

在雙線性插值法的基礎上提出雙三次插值法，將臨近區域內四個相鄰像素點擴充到十六個相鄰像素點，對其使用三次插值多項式后進行加權平均計算完成圖像插值重建。雙三次插值法充分考慮了各像素點對目標插值點的影響，提高了重建質量也使計算變復雜，運算量急劇增加。

2.2 非線性插值算法

邊緣導向插值法主要是對RGB 三色圖像的邊緣信息進行約束、放大，以便解決人眼視覺特性對圖像邊緣信息的捕捉造成的影響。

Li 等人提出基于邊緣引導的NEDI（new edgedirected interpolation）插值算法，利用LR 圖像的邊緣局部協方差來構建與HR 圖像相同的圖像邊緣信息來解決圖像邊緣銳化問題，但算法復雜度較高，實用性不強。Zhang 等人在NEDI 插值算法的基礎上改進，提出用自適應插值算法來優化分析LR 圖像和HR 圖像之間的結構信息，重建得到較為完整的圖像結構信息和邊緣信息。

梯度引導插值法是利用鄰域內一階梯度、二階梯度的信息調整梯度分布和像素分布，再結合邊緣導向插值法和雙三次線性插值法實現圖像重建。

小波變換插值法充分利用小波變換所具有的局部細化特點，將圖像特征信息分解到不同尺度上獨立研究與分析后，將提取的特征信息疊加融合后再用小波逆變換提高圖像分辨率。

Ford 等人利用小波變換的一維信號進行非均勻圖像采樣重建。Nguyen 等人在此基礎上拓展到二維信號，在多分辨率圖像框架下對LR 圖像進行重建。段立娟等人利用HR 圖像推算出其對應的小波系數，再借助多階段學習策略重建HR 圖像。

表1 給出了基于插值方法的各重建算法之間的比較。基于插值的圖像重建方法雖然簡單且容易實現，但圖像重建效果并不理想。其中，單幅圖像的重建速度和重建效果尚且能夠滿足部分領域的需求，但多幅圖像的圖像重建不能解決其在運算速度、運算復雜度以及圖像精度上所存在的問題。

表1 基于插值的圖像重建算法比較Table 1 Comparison of image reconstruction algorithms based on interpolation

3 基于重構的圖像重建方法

基于重構的超分辨率圖像重建方法在圖像處理領域使用較為廣泛，主要分為頻域法和空域法。利用多幅LR 圖像與未知HR 圖像提取所需的圖像特征信息，并估計HR 圖像特征信息后重建HR 圖像。

3.1 頻域法

Patti 等人最早提出在傅里葉變換頻域內消除LR 圖像的頻譜混疊，對多幅LR 圖像進行傅里葉變換實現超分辨率圖像重建。頻域法提高了運算速度和圖像精度，但只適合于整體平移和空間不變的模型，很難解決圖像噪音問題。

3.2 空域法

空域法指根據影響LR 圖像的空間域因素建立HR 圖像成像模型，包括非均勻內插法、迭代反向投影法、凸集投影法、最大后驗概率法等。

非均勻內插法對抽象出的非均勻分布的LR 圖像特征信息進行擬合或插值得到分布均勻的HR 圖像特征信息來實現超分辨率圖像重建。雖然該算法重建效率高，但需要充分的先驗信息，降低了靈活性。

Irani 等人提出迭代反向投影法（iterative backprojection approach，IBP）解決超分辨率圖像重建算法對圖像先驗信息的高依賴性問題，有效改善重建圖像質量問題和對圖像先驗信息依賴問題，但也使得重建圖像的唯一性不能得到保證。

凸集投影法（projections onto convex set，POCS）利用HR 圖像的正定性、有界性、光滑性等限制條件對重建圖像的邊緣信息和結構細節信息進行保留，但該算法運算復雜度高，收斂速度慢，且每次迭代對先驗信息都存在較強的依賴性。

最大后驗概率法（maximum a posteriori estimation，MAP）是指在已知LR 圖像序列信息和HR 圖像后驗概率達到最大的前提下，對HR 圖像進行圖像特征信息估計，保證圖像解唯一性的同時提高圖像清晰度，但圖像邊緣信息提取有待加強。

陳光盛等人將POCS 和MAP 結合，在MAP 迭代優化過程中加入POCS 約束凸集中的先驗條件，充分發揮出兩者的優勢，利用POCS 彌補MAP 收斂穩定性和降噪能力弱的缺點，MAP 彌補POCS 邊緣和細節保持差的缺點。

表2 綜合呈現基于重構的圖像重建方法在先驗信息依賴性、可行解唯一性、運算復雜度、運算速度、算法靈活性、重建圖像質量六方面的特點與性能。

表2 基于重構的圖像重建算法比較Table 2 Comparison of image reconstruction algorithms based on reconstruction

4 基于學習的圖像重建方法

近年來，隨著計算機技術的不斷發展，基于學習的圖像重建方法主要是集中學習給定圖像數據集的圖像特征信息，建立LR 圖像與HR 圖像之間的圖像序列先驗關系，再通過超分辨率圖像重建算法實現圖像重建，整體圖像重建思想流程如圖3 所示。

圖3 基于學習的圖像重建算法思想Fig.3 Idea of image reconstruction algorithm based on learning

圖中，黃色實線表示HR 圖像通過降采樣變為LR 圖像，綠色實線表示LR 圖像通過上采樣變為HR圖像，黑色實線表示HR 圖像與LR 圖像之間的圖像序列信息之間建立的圖像序列先驗關系。

目前，基于學習的圖像重建方法可分為深度學習前的圖像重建算法和深度學習后的圖像重建算法。

4.1 深度學習前的圖像重建算法

基于樣例學習法起源于Freeman 等人根據馬爾科夫網絡提出的單幅圖像重建算法，主要是通過對原始HR 圖像實施退化操作，建立訓練圖像特征信息庫來學習HR 圖像的先驗信息，以此來恢復圖像的高頻細節特征信息。

鄰域嵌入法以圖像塊為單位對圖像特征信息進行提取，構建特征信息庫對LR圖像塊和HR圖像塊進行加權求和以實現HR 圖像重建。鄰域嵌入法減弱模型對樣本的依賴性的同時也削弱了模型的靈活性。

Chang 等人利用LR 圖像和HR 圖像相同的局部結構線性性質來獲取相鄰點的權重以求最終的重建圖像，大幅度避免了模型運算過程中過擬合問題的出現。

稀疏表示法重點以字典學習和稀疏編碼為核心來實現圖像重建效率與重建質量的有效提升。用稀疏編碼對圖像塊進行表示，再從樣本圖像中抓取HR 圖像塊和LR 圖像塊，形成超完備字典，并根據字典得到樣本圖像的稀疏線性表示，最后根據稀疏系數重建HR 圖像，如圖4 所示。

圖4 稀疏表示法Fig.4 Sparse representation

傳統稀疏表示法是通過獨立考慮圖像塊之間的稀疏性后重建圖像空間結構的，這容易丟失圖像部分紋理細節和空間結構特征。對此，Timofte 等人將鄰域嵌入與稀疏編碼結合，在約束圖像塊與鄰域信息之間關系的同時降低了算法運算復雜度。Li 等人將非局部自相似與稀疏編碼結合提出自學習的超分辨率圖像重建算法，有效縮減了模型訓練時間和提高了模型魯棒性。檀結慶等人將局部結構相似融合于稀疏表示法之中，很好地解決了因傳統稀疏表示法所造成的圖像紋理結構信息缺失問題。沈瑜等人在PCA-Net 模型中加入稀疏優化算法，對圖像特征映射矩陣進行迭代優化，得到最優解后將LR圖像和HR 圖像的稀疏特征表示結合卷積得到高分辨率重建圖像，一定程度上使得圖像細節信息、邊緣紋理信息得到清晰保留。曾臺英等人提出用主成分分析法和層次聚類結合訓練得到不同于傳統稀疏表示法中的字典模型來提高重建圖像的質量評價。

4.2 深度學習后的圖像重建算法

由于深度學習在計算機視覺、自然語言處理、數據挖掘、機器翻譯等領域有著較好的應用。對此，不少學者將深度學習與SRIR 結合，使得SRIR 技術從最初小規模的三層訓練模型到如今大規模的深層訓練模型，運算速度、圖像精度、網絡結構深度都發生了質與量的變化。且深度學習在超分辨率圖像重建問題中的應用結果表明：該類型算法不僅是從深層次網絡結構去改變對圖像特征的提取與重建，而且還解決了網絡結構加深所帶來的過擬合、梯度消失或爆炸、模型參數量急劇增加、網絡不收斂或不穩定、參數不能自我優化等問題，使得圖像獲得多尺度、多細節的圖像信息。

通常，基于深度學習的超分辨率圖像重建算法是在原有的基礎網絡上融入新的網絡結構。比如：多個殘差塊堆疊而成的殘差網絡，多個跳躍長（短）連接與殘差塊組建的密集連接網絡，多個遞歸單元組成的遞歸神經網絡，集中學習各個通道特征、層特征、空間特征的注意力機制，加強圖像連續性學習、傳遞的記憶力機制以及低頻信息與高頻信息共享權重的反饋機制，如圖5 所示。

圖5 深度學習背景下的圖像重建網絡結構基本圖Fig.5 Image reconstruction network structure diagram under background of deep learning

表3 以表格的形式呈現出基于深度學習的超分辨率圖像重建算法深層次網絡結構的類型、相關作用和使用這些網絡結構的代表算法。

表3 深度學習背景下的部分網絡結構Table 3 Partial structure of network under deep learning background

本文主要從兩方面基于深度學習的超分辨率圖像重建算法進行詳細介紹：（1）基于卷積神經網絡（convolutional neural network，CNN）的深度學習圖像重建算法直接對LR 圖像和HR 圖像進行端到端映射學習，彌補以往算法對高頻細節信息丟失的缺陷，同時簡化其學習過程；（2）基于生成對抗網絡（generative adversarial network，GAN）的深度學習圖像重建算法利用“對抗博弈”思想，將模型訓練無監督化，借助反向傳播不斷優化模型來縮減原始圖像與重建圖像之間的差距。

Dong 等人首次將卷積神經網絡與超分辨率圖像重建技術結合，提出SRCNN 算法。通過大量卷積對輸入的LR 圖像進行特征提取，不斷學習眾多圖像的特征表達形式，其重建效果與重建效率遠超以往的圖像重建算法，且模型的泛化能力也更強。SRCNN網絡結構如圖6 所示。

圖6 SRCNN 網絡結構Fig.6 Network structure of SRCNN

隨后，Kim 等人針對SRCNN 算法處理圖像細節不足、網絡計算量大、網絡運算速率低等問題，在其基礎上提出FSRCNN（fast super-resolution convolutional neural network）算法。在網絡最后使用反卷積層實現圖像放大，避免如SRCNN 初始對LR 圖像進行上采樣操作而造成細節缺失問題；去掉SRCNN網絡中的非線性映射部分，采用相應的收縮、映射和擴展來達到相同的效果；選用多個小卷積核代替大的濾波器去處理尺寸較小的LR 圖像，提取不同感受野大小下的圖像特征。Lee等人利用教師網絡對HR圖像進行二次采樣提取圖像中間特征，再傳遞給學生網絡進行訓練，大幅度提高了FSRCNN的網絡性能。

（1）VGG 網絡

Kim 等人引入VGG 網絡結構來增加網絡層數，使用不同大小的感受野來全面提取淺層、中間層、高層的圖像細節信息，解決了SRCNN 算法依賴于小圖像區域特征信息的問題。

（2）亞像素層

Shi 等人提出用亞像素上采樣層來增加模型感受野范圍，提出ESPCN（efficient sub-pixel convolutional neural network）法直接對LR 圖像進行特征提取處理，減少每層網絡結構中的數據運算量，解決模型參數量急劇增加問題。

（3）殘差網絡

He 等人將多個殘差塊堆疊構成殘差網絡（residual network，ResNet）來解決卷積網絡結構過深而導致網絡退化問題，同時利用殘差塊之間的跳躍連接來加強不同層上的圖像特征信息傳遞和緩解模型梯度消失問題。

由于每一個殘差塊提取的特征信息需要經過跳躍連接才能傳遞到下一個模塊，且越往后傳遞，模塊得到的特征越復雜，反而丟失了原有的簡單特征，即網絡結構的性能在淺層特征、低頻信息的傳遞上有所欠缺。對此，在殘差網絡基礎上提出各種新穎的殘差網絡以解決上述問題：

①卷積殘差記憶網絡。在深度殘差網絡中添加長短期記憶連續提取圖像特征信息，加強圖像信息在不同層之間的連續傳播和使用。

②多尺度殘差網絡。在保持網絡深度不變的前提下，通過增加每個殘差塊中殘差函數的種類來提升網絡多樣性，便于網絡訓練過程中對圖像不同方面的特征信息進行提取與融合，解決了目前圖像重建算法圖像特征提取尺度單一問題。

③深度并行殘差網絡。通過對殘差網絡的局部結構進行改變，局部殘差學習圖像初始特征和全局殘差學習復雜融合特征相結合，提升網絡訓練速度的同時加強卷積神經網絡中圖像特征信息的傳播效率。

（4）注意力機制

隨著網絡結構的不斷加深，殘差網絡容易忽略圖像空間、結構、紋理之間的相關性，導致訓練重心偏向于一些價值不高的圖像區域，降低了重建圖像質量。

為此，Zhang 等人將通道注意力機制與殘差相結合來構造更深的網絡去削弱LR 圖像中的大量低頻信息對CNN 性能表達的阻礙，同時提出RIR（ResNet in ResNet）殘差結構使低頻信息繞過網絡，自適應縮放每個通道的特征來提高圖像特征信息處理效率和模型魯棒性。Woo 等人將通道注意力模塊和空間注意力模塊融合組成CBAM（convolutional block attention module）模型，使網絡重心移向特征信息較多的圖像區域，加強網絡有針對性地對圖像重點信息進行提取。徐永兵等人根據水下低質圖像特性，提出由雙層注意力機制和視差注意力機制引導的雙目圖像重建算法，保證圖像質量不受地理空間、人眼視覺差異等外界條件的影響，既提高了圖像空間分辨率，還保留了真實水下拍攝圖像的細節信息。盧正浩等人在網絡中添加混合注意力機制和長短跳躍連接來進一步加強圖像高頻信息重建和圖像多尺度特征的重復利用，很好地改善了重建圖像邊緣信息和紋理結構信息。

（5）遞歸神經網絡

傳統單一網絡下的超分辨率圖像重建算法主要通過單一網絡學習低分辨率圖像和高分辨率圖像之間的特征關系，其淺層部分的網絡容易造成圖像特征信息的丟失，而加深其網絡又會導致其訓練時間以及難度的增加。

Kim 等人提出將遞歸神經網絡運用到超分辨率圖像重建中的DRCN 算法，多次運用卷積和遞歸去不斷學習LR 圖像與HR 圖像之間的差異，使圖像信息在網絡中反復循環、遞歸以達到恢復圖像高頻信息的效果和解決參數量遞增問題。程德強等人提出多通道遞歸的殘差網絡模型，利用遞歸方法將殘差網絡重復利用后形成32 層的遞歸網絡，再引入交叉學習機制將不同通道進行排列組合以加速融合不同通道的圖像特征信息，提高網絡的重建性能。

（6）密集連接網絡

殘差網絡、遞歸神經網絡、注意力機制都需要在網絡中搭建低層與高層之間的連接，且每一個模塊將特征傳遞至下一個模塊之前均需使自身所提取的特征與之前模塊傳入的特征進行融合。

對此，為最大化網絡結構中各層特征信息的高效融合與傳遞，Huang等人提出密集連接網絡（densely connected convolutional network，DenseNet）。在層與層之間使用跳躍長（短）連接充分將不同級別層的特征信息融合，使其達到增強信號傳輸、減輕梯度消失、減少參數量、增強網絡穩定性等優點，并進一步加強網絡性能，提高圖像重建效果。

（7）混合網絡

但是過多的跳躍連接會增加模型的復雜度、參數量以及運行內存消耗量。對此，程玉等人利用密集殘差網絡和注意力機制提出基于密集殘差注意力網絡的超分辨率圖像重建算法，既加快了模型收斂速度，還減輕梯度消失問題，也因注意力機制的加入使得網絡對圖像有效的低頻、高頻信息準確學習提取，降低了運算成本和縮減了運算時間。Zhang等人構建稠密殘差網絡（dense residual network，RDN）對LR 圖像低級特征重復利用，還原圖像缺失的高頻細節信息，但由于模型中所含參數量過大而失去實際適用性。滿開亮等人提出基于稠密殘差網絡的ERDN（enhanced residual dense network）算法，使用多卷積核的稠密殘差塊提取圖像細節信息，再利用全局特征復用塊對圖像多層信息進行特征信息重組與綜合利用，使得模型參數量較RDN 減少50%的同時還提高了圖像4 倍重建質量。此外，DRRN（deep recursive residual network）、SRFBN（super-resolution feedback network）、SRDenseNet等算法也能夠保證圖像特征圖連續傳遞、重復利用的同時削減跳躍連接數量，減少運算成本。

（8）AdderNet

Song 等人利用加法運算解決卷積乘法運算的運行內存消耗和成本增加問題，提出AdderNet 來很好地提取紋理、顏色等低頻信息和高頻信息。

在Goodfellow等人提出GAN之后，出現了許多基于GAN 的超分辨率圖像重建算法，其在圖像重建效果、網絡運算量、運算速度等方面都有很好的結果。

SRGAN 算法首次將生成器網絡與判別器網絡對抗訓練應用到超分辨率圖像重建當中，它利用生成器產生HR 圖像，判別器判別重建HR 圖像和原始HR 圖像，并反向優化生成器網絡與判別器網絡，同時用“感知損失”代替傳統的MSE 損失函數來增強圖像細節信息恢復，確保重建圖像的高逼真性和高質量性，SRGAN 網絡結構如圖7 所示。

圖7 SRGAN 網絡結構Fig.7 Network structure of SRGAN

（1）去掉BN 層

SRGAN 算法雖然保留了較多的圖像細節特征，但網絡中使用的BN 層產生了大量參數，導致消耗了大量運行內存和降低了網絡性能。對此，Lim 等人去掉BN層而提出EDSR（enhanced deep superresolution）算法，發現網絡訓練并沒有產生惡性影響，減少了網絡運行參數的同時還獲得了更多的圖像紋理信息。

（2）改變卷積核大小

Wang 等人提出增強型的ESRGAN（enhanced super-resolution generative adversarial network）算法來提高網絡泛化能力，用殘差縮放加快深層網絡的訓練速度和縮減網絡運算參數量，使得重建HR 圖像具有更加豐富的紋理特征，且色彩亮度也更貼近原始HR 圖像。Shang 等人在ESRGAN 算法基礎上用小核卷積代替大的濾波器來進行細節特征提取，保證網絡性能的同時也減低了計算復雜度和噪聲輸入。Soh 等人也在ESRGAN 算法基礎上引入自然流行鑒別器（natural manifold discrimination），提出NatSR（super-resolution with natural manifold discrimination）算法，雖然NatSR 算法提高了圖像的PSNR值，但也導致了圖像崩潰和重復偽影現象。

（3）引入特殊網絡

Vu等人使用相對生成對抗網絡來替換SRGAN中的生成對抗網絡，使圖像細節的提取與融合更為合理，減少了噪音和模糊的影響。

Wang 等人提出SMSR（sparse mask super-resolution）網絡來標記圖像“無價值”的區域和精確定位圖像“有價值”的區域，動態跳過模型的冗余計算和精準提取圖像重點信息。

Park 等人利用一種可作用于特征域的判別網絡提出SRFeat（super-resolution with feature discrimination）算法，借助感知損失和對抗損失從成對的模擬數據中獲得圖像高頻細節。

Luo 等人根據輕量級網絡參數量小、運算速度快等特點提出輕量級晶格網絡——LatticeNet（lightweight super-resolution model），使網絡運算量減半后依舊能夠達到原有網絡的重建效果。

姜玉寧等人以VGG19 網絡搭建判別器網絡的基本框架，提高了重建圖像的清晰度和色彩亮度，豐富的細節紋理信息使之更貼近原始HR 圖像。

（4）改變采樣方式

通常情況下，為了節省存儲空間與運行成本，圖像重建模型會先對原始HR 圖像進行下采樣縮小，再進行上采樣放大，而這種先下采樣、后上采樣的方式容易導致圖像在逆放大過程中喪失原始圖像的精準信息和降低重建圖像的質量。

Kim 等人借助多卷積核的Fire 模塊提出輕量級的圖像重建算法SRAC（super-resolution using fire modules with asymmetric configuration），削減參數量的同時保證圖像細節信息的提取，但簡單的反卷積上采樣使圖像產生了棋盤效應。

Xiao 等人提出一種可逆的縮放網絡（invertible rescaling net，IRN）在水平、垂直、對角三個方向上對圖像采樣過程中丟失的圖像特征信息進行建模，實現圖像高度還原保真。Wei 等人提出組件分而治之（component divide-and-conquer，CDC）算法，決定網絡在圖像平面、邊緣、對角三個區域是否進行重點學習和重建。

LapSRN（super-resolution with deep Laplacian pyramid network）利用迭代上采樣方式對圖像進行先低倍放大再高倍放大來重建HR 圖像，在一定程度上緩解了網絡訓練中對圖像連續多次放大而丟失圖像細節信息的問題。

（5）融合注意力機制

蔣明峰等人提出在生成對抗網絡中融合自注意力機制的超分辨率磁共振圖像重建SA-SR-GAN 算法，提高重建圖像精度的同時保證網絡訓練的穩定性。

Niu 等人提出全注意力網絡（holistic attention network，HAN），利用層注意力塊自適應增強“高貢獻特征層”和抑制“冗余特征層”，利用空間注意力塊捕獲通道內與通道間的圖像細節特征信息。Lu等人提出MASA（matching acceleration and spatial adaptation）網絡解決HAN 網絡對LR 圖像和重建HR 圖像之間隱藏的差異性特征信息利用性較低問題，使之能夠在保持較強魯棒性的條件下處理不同尺度、不同形式的樣本圖像，大量的定量和定性實驗驗證了其提出的模型的有效性。

（6）適用場景

實際生活中，超分辨率圖像重建算法的輸入圖像不一定都是自然、正常的圖像，比如，Deng 等人使用曝光過強或不足的圖像作為輸入圖像，提出耦合反饋神經網絡對圖像進行端到端訓練，以實現圖像的融合與重建。Wang 等人提出基于“無監督的退化表示學習”的盲-超分辨率圖像重建算法，借助退化編碼器學習LR 圖像特征信息和圖像特征空間中的各種圖像退化信息，并抽象表示學習到的各類圖像特征，且將其輸入到退化感知網絡中預測卷積核和調制系數，以便靈活適應于各類真實場景的圖像重建。Kong 等人根據圖像塊復原難度的不同，提出Pipeline-ClassSR 網絡解決卷積操作帶來的圖像干擾問題（噪聲、模糊等）。且實際生活中，圖像放大的情況并不是限定的，即圖像所需的分辨率大小是任意性的（如×2.5、×3.5、×10、×a等）。對此，提出相應的算法實現圖像任意倍數放大后，仍舊清楚得知圖像內容信息也成為了研究的重點。比如：Chen 等人根據人眼連續呈現圖像的性質，借鑒3D 重建的隱式函數思想，提出局部隱式函數對自然圖像進行連續表達，將圖像表示成任意分辨率大小形式。

此外，SRwarp 算法和Meta-SR 算法也可實現LR 圖像任意尺寸大小的重建。深度學習后的各算法特點對比如表4 所示。

表4 深度學習后的各算法特點對比Table 4 Comparison of features of each algorithm after deep learning

5 實驗數據

深度學習前大部分圖像重建方法主要集中于小型數據集上的測試和驗證，其中文獻[100]對傳統圖像重建方法所用數據集進行了詳細介紹，本文著重以基于深度學習的超分辨率圖像重建算法常用的數據集以及相關內容進行歸納總結。

用于深度學習的超分辨率圖像重建的圖像數據集所涉及的領域較多，涵蓋人物、動植物、建筑、自然景觀等，且許多開源的數據集在圖像外部條件（分辨率大小、張數、格式等）和內部條件（內容、風格、紋理等）上存在著較大差異，具體情況如表5 所示。

表5 超分辨率圖像重建的開源數據集Table 5 Open source dataset for super-resolution image reconstruction

6 圖像質量評價

圖像質量評價（image quality assessment，IQA）的方式主要分為人眼視覺系統感知方面的主觀評價和實驗數值計算方面的客觀評價。

表6 從圖像特點、變化過程、適用場景、優勢、局限性五個維度對影響全參考圖像、半參考圖像、盲參考圖像這三類圖像重建效果的客觀因素進行歸納分析。

表6 影響不同圖像重建效果的客觀因素Table 6 Objective factors affecting different image reconstruction effects

6.1 主觀評價

主觀評價是指觀察者通過眼睛觀察重建的HR 圖像，主要依據觀察者在色彩、清晰度、噪音、質感等方面對圖像的綜合評價，但由于觀察者在生理、心理等方面對圖像顏色、結構、紋理的敏感度不同都會對圖像質量評價產生直接或間接的影響，這容易使對圖像質量的評價停留在圖像表面信息，而忽略圖像隱藏的深層信息。

6.2 客觀評價

客觀評價是指通過一定的指標衡量原始圖像與重建圖像之間的接近度。通常情況下，與人類的視覺感知高度相關的評價方式需要完全參考原始圖像的內容信息，即完全參考型評價方式（full-reference IQA，FR-IQA）。

（1）均方誤差（mean square error，MSE）指原始圖像和重建圖像之間像素值均方差，是FR-IQA 評價方式中運算最簡單的度量方法：

（2）峰值信噪比（peak-signal to noise ratio，PSNR）指通過計算原始圖像與重建圖像之間全局像素誤差的大小來衡量圖像質量，是FR-IQA 評價方式中使用最廣泛的度量方法：

其中，表示圖像像素最大值，PSNR的單位為dB，其值越大，說明重建圖像失真越小，重建圖像質量越高。

（3）結構相似性（structural similarity，SSIM）指充分考慮人類視覺系統對圖像結構信息的敏感程度，從結構、對比度、亮度三方面衡量原始圖像與重建圖像之間相似程度的度量方法：

其中，、、表示相似性控制參數，=1。、分別表示原始圖像和重建圖像的均值與方差，σ表示圖像和兩者之間的協方差。、、均為常數，=(×)/2，=(×)/2，=/2 。其值越大，說明原始圖像與重建圖像越相似，且重建圖像質量越高。

（4）多尺度結構相似性（mean structural similarity，MSSIM）指在保持其不變的情況下，對同一圖像進行低通濾波操作后得到不同分辨率大小圖像的、，然后對圖像進行綜合評價的度量方法：

（5）特征相似性指數（feature similarity，FSIM）指利用相位一致性特征提取高度相關的圖像特征信息和梯度幅度特征提取影響人眼視覺感受的對比度信息來綜合衡量圖像局部相似問題的度量方法。

（6）學習感知圖像塊相似度（learned perceptual image patch similarity，LPIPS）指利用不同層面的視覺表征所共享的感知相似性去衡量圖像在對比度、飽和度、噪聲、空間結構等方面的細微差別。

表7 給出部分基于深度學習的超分辨率圖像重建算法在部分數據集上PSNR 與SSIM 的測試結果。

表7 深度學習后各算法的重建效果對比Table 7 Comparison of reconstruction effects of each algorithm after deep learning

7 結束語

提高圖像質量主要有兩種方式：（1）對采集圖像的設備源硬件性能進行升級；（2）對圖像進行分辨率處理的軟件（或算法）進行改進。而超分辨率圖像重建研究主要針對圖像處理算法進行研究，是一個實用性、適用性超強的研究，尤其在引入卷積神經網絡和生成對抗網絡之后，在圖像特征提取與融合上愈發成熟。本文全面綜合介紹超分辨率圖像重建領域內的各類算法，發現其本質在于運用一定的算法來提高重建圖像的質量，以便LR 圖像恢復至含有更多細節信息的HR 圖像。另外，本文發現要想提出在各方面（網絡深度、運算速度、圖像精度、時間復雜度等）都高效的算法十分困難，且大多數算法使用的圖像都是特定的，導致其適用的范圍較窄。因此，未來超分辨率圖像重建算法可以從以下方向或者角度進行研究：

（1）均衡網絡訓練各方面的關系

①均衡速度與精度間的關系

現有的大部分超分辨圖像重建算法時常出現以犧牲網絡運算速度的代價來提高圖像的精度，緩解挖掘高分辨率圖像所需的低頻、高頻信息丟失的問題，如何有效、快速、準確地提取圖像顏色、邊緣等低頻信息和紋理、結構等高頻信息依舊是圖像重建領域的重點研究方向。

②均衡效率與深度間的關系

超分辨率圖像重建算法中加深網絡深度在一定程度上可以提升圖像細節，減少偽影等，但也容易導致網絡的計算量增大，從而降低網絡效率。如何保證網絡效率的前提下，適當增加網絡層數有待進一步的研究。

（2）傳統方法在深度學習方法中的延續

基于深度學習的超分辨率圖像重建算法能夠深層次挖掘圖像的細節特征，殘差網絡、密集連接網絡等復雜深層的網絡結構能夠提取不同層面的圖像細節，并通過跳躍連接等將其傳遞融合，使得一些簡單的圖像特征缺失，或者忽略了圖像特征域中的高頻信息。對此，可利用某些傳統算法特性來提高圖像重建性能，比如：利用小波變換獨立分析不同尺度信息特點，稀疏編碼對多個圖像塊協同提取圖像特征特點，基于樣例學習法對圖像信息預先學習特點來搭建豐富的圖像特征信息庫，又或者利用邊緣導向插值法提前將網絡訓練注意力集中于圖像邊緣信息，以此達到彌補LR 圖像邊緣紋理細節信息模糊不

清缺陷的目的。

（3）面向生活中各類真實場景

由于交通、醫學、航空等領域對圖像質量有著十分高的要求，無論是將超分辨率圖像重建運用在這些大領域，還是將其運用在人臉、指紋、車牌識別等小領域，它能夠很好地幫助研究者們解決該領域所存在的一些問題。如何將LR 圖像重建成更貼合人眼的HR 圖像，如何構建更適合真實場景圖像的算法也是值得深入研究的。

（4）重建圖像的質量評估方式

本文介紹的MSE、PSNR、SSIM、MSSIM、FSIM、LPIPS 等方法，是目前較為客觀的反映圖像重建質量的方法，但仍然不能準確反映圖像的重建質量。尋找到更貼合人眼視覺感知的圖像質量評估方法仍是未來研究的重點。