超分辨率圖像重建解析

董銀麗 任翠萍

摘要：超分辨率圖像（Super-Resolution Image， SRI）重建技術是圖像處理領域的熱點問題，在多種應用領域扮演重要角色。本文介紹了圖像超分辨率重建問題的數學模型，分析了典型的重建算法在重建中的優點及缺點，對重建的超分辨率圖像質量所采用的評價方法，進行了優劣對比，最后給出了在這一領域研究中亟待解決的問題。

關鍵詞：圖像超分辨率重建;高分辨率圖像;數學模型;重建算法;質量評價

中圖分類號：TP18 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2020）17-0188-03

Abstract： Image super-resolution （SR） reconstruction technology is a hot issue in the field of image processing， which plays an important role in many applications. This paper introduces the mathematical model of image super-resolution reconstruction， analyzes the advantages and disadvantages of typical reconstruction algorithms， and discusses and compares the evaluation methods of common image super-resolution reconstruction algorithms. Finally， some problems in this field are discussed.

Key words： image super-resolution reconstruction;low resolution image;high resolution image;mathematical model;reconstruction algorithm;quality evaluation

圖像的分辨率可精確描述一副圖像中物體細節的詳細程度，但圖像分辨率受傳感器中感光器件密度，傳感器與場景之間的運動、大氣的擾動等的影響，目前的研究重點是在不改變現有硬件條件下，如何提高圖像分辨率。

Tsai & Huang在1984年首次利用單幅低分辨率圖像（Low Resolution，LR）中的信息，重建出高分辨率圖像（High Resolution，HR）。圖像超分辨率（Image Super-Resolution， SR）重建技術的核心思想是利用 LR 圖像序列之間的冗余和互補信息，將相關的先驗信息作為重建過程的約束條件，重建后的高分辨率圖像，是要求解的目標函數，主要的難點在于細節的恢復。SR重建技術在圖像分析、醫療、刑偵等領域，存在重要的實際應用價值。

本文結構安排： 第1節超分辨率問題的數學模型描述;第2節圖像超分辨率重建算法簡介;第3節圖像超分辨率重建算法評價方法; 第4節總結與展望。

1超分辨率問題的數學模型描述

低分辨率圖像是由高分辨率圖像經過移動扭曲、模糊、降采樣以及噪聲污染得到，整個降晰過程可以近似表示成一個線性過程[1]， 圖像退化過程是從原始HR圖像，利用成像系統的自身存在的限定條件及一些方法，退化為LR圖像的過程，而SR重建過程是圖像退化過程的逆過程，利用退化所得LR圖像序列中的信息，重建出HR圖像的過程，SR重建過程的描述見圖1。圖像的 SR 重建實際是已知系統的輸出圖像（給定退化圖像和成像系統退化模型），求輸入圖像（原始 HR 圖像），是典型的反問題求解。

2圖像超分辨率重建算法

根據處理域的不同，圖像超分辨率重建算法分為基于頻域的算法和基于空域的算法。

2.1基于頻域的算法

20 世紀 80 ? 90 年代， 基于頻域的算法是圖像超分辨率重建的主要方法。頻域法是應用傅立葉變換（Discrete ?Fourier ?Transform， DFT）的時延（移位）性，在頻域中對圖像進行插值，利用DFT提取多幅欠采樣、具有亞像素位移圖像中的信息，獲得的高分辨率圖像是以第一幀圖像為基準。在1990年，Kim等人提出基于加權遞歸最小二乘法的求解算法，算法進一步考慮了噪聲和模糊的影響。在一些算法中，運用其他的頻域變換方法來替代DFT，例如Nguyen應用小波變換插值，Rhee應用余弦變換插值等。

基于頻域的算法在理論推導和計算上都有一定的優勢，計算較為簡單，容易實現并行處理。但存在以下缺點：（1）圖像空間不變的噪聲可以處理， 對過程中添加的先驗信息噪聲，無法處理;（2）對運用全局整體運動產生的低分辨率圖像可以處理，但對具有局部運動，也就是場景存在相對運動的情況，處理效果不理想;（3）基于頻域的理論模型太過于理想化，對噪聲過于敏感，不能充分利用空域先驗知識，在實際應用中不能有效實現。

2.2 基于空域的算法

基于空域的算法與基于頻域的算法相比較，其優點是運用的退化模型更簡單直觀，對于如運動、模糊、Markov 隨機場等先驗知識，可將其方便有效地添加為約束信息。根據實現方法分為基于插值、重構和學習三種方法。

2.2.1插值法

如最近鄰插值， 雙線性插值， 雙三次插值法，插值的過程中是簡單的利用了待插值像素點附近的有限多個像素點信息， 單純的增加了圖像的像素個數， 改變了圖像的尺寸，沒有恢復圖像在采樣的過程中損失的高頻細節信息，存在鋸齒偽影和紋理模糊等問題。

2.2.2重構法

重構法是由多幀LR圖像序列的信息重建HR的過程，重構的過程步驟為：1）從同一場景中獲取LR圖像序列;2）亞像素運動估計，計算序列中LR圖像與參考圖像之間的運動參數;3）選擇合適SR圖像重建算法，對LR圖像序列進行重建，得到分辨率增強的SR圖像。

重構算法是從低分辨率圖像到高分辨率圖像之間的映射，可應用不同的規整化方法對解的可行域進行約束。在相同的退化模型中，利用重建后的高分辨率圖像，再現真實到的低分辨率圖像，可稱之為經退化模型產生的低分辨率圖像，通過比較真實得到的低分辨率圖像與經退化模型產生的低分辨率圖像的差距，通過不斷迭代修改得到的高分辨率圖像，使兩個低分辨率圖像間的差距趨于足夠小，則高分辨圖像重建完畢。

其代表性方法主要有最大后驗概率估計（MAP）法、自適應濾波器法、凸影投影法（POCS）法、迭代反投影（IBP）法等[2][3]。算法缺點是因為添加約束信息，導致基于重構的方法通常計算量大， 求解困難， 耗時較長。

2.2.3學習法

基于學習的超分辨率算法，其基本原理是通過樣本學習，建立高分辨率與低分辨率圖像之間的共生模型，在此基礎上為低分辨率圖像“添加”出高頻細節的方法。學習法包括基于淺層學習與基于深度學習的兩種放方法。

淺層學習的方法主要是根據經典的機器學習算法衍生的，利用底層算法獲取數據的一部分特征，局部地估計輸出高分辨率圖片的細節， 如自相似算法， 基于樣例學習，利用稀疏編碼理論等。

基于樣例學習的超分辨率算法是由Freeman等人率先提出，算法核心在于指出在圖像局部空間鄰域中存在大量的自相似塊。圖像的自相似算法主要應用于自然圖像，由于大多數的自然圖像具有自相似性，也就是每個小局部圖像，在圖像自身的其他位置極易找到與之相似的圖像。在算法中利用圖像的自相似性特性，用輸入圖像本身構造訓練集合，重建高分辨率圖像。

自相似算法最主要的問題是樣本量不足，Huang等人通過對待放大圖像做空間幾何變形的方法來擴充圖像樣本空間。文獻[4]在圖像超分辨率重建過程中，運用多任務學習的思想，每一個任務是指運用每一個低分辨率圖像建立超分辨率圖像的過程。算法的優點在于，利用參數來描述相似圖像超分辨率過程中的共性及差異，算法中所有參數無須人工設置，都以最優化的方式求解。

Yang等提出的基于稀疏編碼理論的學習方法，將高分辨率圖像與低分辨率圖像塊進行聯合訓練，得到相應的高分辨率字典與低分辨率字典，利用低分辨率圖像塊，稀疏表示系數和高分辨率字典，通過學習字典之間的映射關系重構HR圖像。在求解稀疏系數的過程中，以隨機的方式選擇字典中的原子，會導致擬合中包含與輸入的HR圖像差異較大的原子，重建處出的HR圖像在顯著邊緣附近存在噪聲。同時，在稀疏表示的字典學習中，使用同一個字典對HR圖像進行重建，由于沒有考慮圖像塊的結構性及殘差，在重建HR圖像的細節信息方面存在缺陷。針對缺陷，文獻[5][6]中Ahmed 等和 Farhadifard 等提出定向結構字典學習方法，通過已知的圖像塊模板，對所有圖像塊進行聚類，訓練每類對應的字典。Yeganli 等和 Yang 等提出的算法中，圖像塊聚類是利用每個圖像塊的主方向角，訓練每類對應的字典。Nazzal提出在傳統的殘差字典學習基礎上，建立基于殘差的多方向字典學習法，深度學習通過深層網絡自動學習輸入數據的抽象特征，通過反向傳播算法來調整網絡參數，利用加深或者加寬網絡結構學習更為復雜的映射關系，處理大量或者高維的數據。

Dong等率先將卷積神經網絡應用于圖像超分辨率（SRCNN），算法中將輸入圖像放大到與輸出相同的尺寸后，將輸入圖像輸入網絡，這種設計使得卷積操作都在高分辨率圖像上進行。為了提升SRCNN算法的速度，Dong等在算法中，將反卷積操作加入算法，提出基于反卷積的快速圖像超分辨率重建算法，特征提取算法直接在LR圖像上進行，引入反卷積層在網絡輸出層，重構HR圖像，經過改進的算法速度是SRCNN的17.36倍，但重建效果與SRCNN相近[7-8]。

基于亞像素卷積神經網絡，Shi等建立了實時單圖像和視頻超分辨率（ESPCN）的高分辨率圖像重建算法，算法中運用亞像素卷積的上采樣方式，通過將低分辨率圖像中提取到的特征圖重新排列，得到高分辨率圖像，在保證較好視覺效果的前提下，滿足實時視頻處理的要求[9]。

3圖像超分辨率重建算法評價方法

3.1評價方法分類

由于 LR 圖像和重建圖像的尺寸不同，準確評價重建圖像的質量，研究出評價更快速且符合人類視覺感知的 SR重建圖像質量評價方法是目前研究的熱點。重建圖像的質量評價可檢驗SR 重建算法好壞，優化重建算法中的參數，常用評價方法包括主觀評價方法和客觀評價法。

主觀評價方法是指人們通過眼睛觀察和主觀感受兩方面，對圖像的質量好壞做出評價。由于主觀性較強，導致評價結果存在較大的差異。常用的主觀評價方法：ACR-HRR、SSCQE、DSCQS以及 DSIS;要得出符合大眾的評價結果，需要收集大量數據進行分析，所需時間成本和人力成本高的缺陷。

客觀評價方法通過一些客觀衡量指標對圖像質量進行定性度量，常用客觀評價方法：均方誤差法（Mean Square Error， MSE）、峰值信噪比法 （Peak-Signal-to-Noise， ?PSNR）、結構相似性度量法 （Structural ?Similarity ?Index Measurement， SSIM）、自然圖像評價質量法（Natural Image Quality Evaluator，NIQE）、知覺指數法（Perceptual Index，PI）、無參考圖像質量評價法（Distortion Identification-based Image Verity and INtegrity Evaluation ?DIIVINE）、信息保真度等[10]。

3.2客觀評價方法分析

MSE和PSNR的原理相同，失真圖像與原始圖像的相似性通過計算對應像素點之間的差距來衡量。優點是計算較為簡便，缺點是因為只考慮單個像素與單個像素的差異，沒有考慮影響人類視覺特性及圖像特征紋理的因素，大量的實驗結果表明，MSE 和 PSNR 的評價結果和主觀評價方法的結果無法完全一致。

結構相似度度量方法是運用結構相似度指標，量化失真圖像和原始圖像之間的差異，評價失真圖像的質量好壞，描述圖像的質量，用亮度、對比度、結構三項信息相結合，與 MSE和 PSNR相比較，結構相似度度量方法與人類視覺特性更符合。

Moorthy根據自然場景統計特性，提出無參考圖像質量評價 （Distortion Identification-based Image Verity and INtegrity Evaluation ?DIIVINE）方法，利用支持向量機模型鑒別圖像的失真類別，根據具體失真類別，使用支持向量回歸模型評價圖像的質量。實驗結果表明，該方法評價結果和主觀評價方法的結果具有很高的一致性，存在的問題是不能將把所有的失真類別都考慮在內。

NIQE 和 PI的方法基礎是人的視覺感受，有時直接用人眼的視覺感受作為指標，圖像敏銳度越高、越自然， NIQE 值或 PI 值就越大， PI 的值是在 NIQE 的基礎上計算得到。在近來的 SR 圖像質量評價研究中，直接用人眼的視覺感受作為指標逐漸成為主流的選擇， PI 也成為最主要的選擇。

4總結與展望

圖像超分辨率領域的理論框架已經建立，出現了很多研究成果，但還面臨以下方面的問題需要改進與解決：如何提升超分辨率系統的魯棒性;重建出高質量的高分辨率輸出圖像，建立與主觀評價法相一致，且易于操作的客觀評價法還有待改進;在超分辨率重建系統中，存在計算量很大的求逆過程，在實際應用中， 需要開發更快速SR算法，目前在平移運動模型下的頻率域已有高效算法，其他運動模型下的高效算法還未見報道;目前的重建算法在重建高分辨率圖像時，使用較小的放大倍數，在較大放大倍數條件下，得到的重建圖像存在平滑模糊的問題，目前深度學習研究超分辨率圖像重建的重點，在較大放大倍數條件下，如何利用深度學習增強算法的重建性能。

參考文獻：

[1] 董彬.圖像反問題中的數學與深度學習方法[J].計算數學，2019，41（4）：343-366.

[2] 杜玉萍，劉嚴嚴.基于POCS的微掃描超分辨率圖像重建算法研究[J].光電技術應用，2019，34（6）：25-28，44.

[3] 劉瑞.基于雙邊濾波器的圖像超分辨率重建[J].科技資訊，2013，11（18）：4-5.

[4] 李鍵紅，吳亞榕，呂巨建.基于自相似性與多任務高斯過程回歸的單幀圖像超分辨率重建[J].光學精密工程，2018，26（11）：2814-2826.

[5] 練秋生，石保順，陳書貞.字典學習模型、算法及其應用研究進展[J].自動化學報，2015，41（2）：240-260.

[6] 韓玉蘭，趙永平，王啟松，等.稀疏表示下的噪聲圖像超分辨率重構[J].光學精密工程，2017，25（6）：1619-1626.

[7] Dong C，Loy C C，He K M，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016，38（2）：295-307.

[8] Shi W Z，Caballero J，Huszar F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），June 27-30， 2016. Las Vegas， NV， USA. IEEE， 2016： 1874-1883.

[9] Wang X T，Yu K，Wu S X，et al.ESRGAN： enhanced super-resolution generative adversarial networks[M]//Lecture Notes in Computer Science. Cham： Springer International Publishing， 2019： 63-79.

[10] 伍新洲，袁寧徽，沈立.一種高效的多模型圖像超分辨率框架[J].集成技術，2019，8（5）：49-57.

【通聯編輯：唐一東】