圖像超分辨率技術研究

陳萱華，張靜，陶建平，顧帥楠

（武警海警學院情報偵察系，浙江寧波 315801)

0 引言

圖像超分辨率SR(Super Resolution) 指從低分辨率的圖像或圖像序列中恢復出高分辨率的圖像。將低分辨率的圖像用LR(Low Resolution)表示，恢復出的高分辨率的圖像用HR(High Resolution)表示。根據輸入圖像進行分類，輸入為單張圖像即為SISR(Single Image Super-Resolution)，輸入為圖像序列則稱作MFSR(Multi-Frame Super-Resolution)。

圖像超分辨率是計算機視覺中一個很經典的問題，在過去的十幾年中，在國內外都有非常廣泛和深入的研究。

獲得高分辨率圖像的最直接方法是使用高分辨率圖像傳感器得到，然而這種方式的成本較高，在很多場景下無法實現。由此，使用圖像超分辨率技術從低分辨率圖像中重建高分辨率的圖像細節十分重要。

1 問題建模

圖像超分的關鍵在于盡可能多地恢復出圖像中的高頻信息，即由高分辨率圖像退化為低分辨率圖像中丟失的圖像信息。如圖1所示，高分辨率圖像經過模糊、降采樣、加噪等步驟，退化為低分辨率的圖像，這個退化過程為圖像超分技術提供了技術原理基礎。很直觀地，若是按照這個過程直接反推，便可重建出高分辨率圖像，由此進一步發展出了圖像去模糊化、圖像上采樣、圖像去噪等不同研究分支。

圖1 高分辨率圖像(LR)和低分辨率圖像(LR)相互轉換的過程

2 方法研究

對于圖像超分辨率，存在各種各樣的解決方案。傳統方法中，一種常用的技術是插值，該方法易于實現，但在視覺質量和細節的保留上存在很多不足，重建的圖像較為模糊。一種更復雜的方法是利用圖像內部的相似性或者低分辨率圖像和對應的高質量圖像的數據集，通過某種方法學習二者之間的映射，而這就給了深度學習用武之地。由于深度學習模型可以很好地通過大量數據集學習這種映射，所以從2014年開始，計算機視覺領域的科學家們提出了許多開創性的深度學習模型，不斷刷新圖像超分辨率的表現。

2.1 傳統方法

2.1.1 基于插值的方法

圖像超分的傳統方法中最常用的是基于插值的方法將圖像放大，比如最近鄰(nearest)、雙線性(bilinear)、雙三次(bicubic)等不同的插值方法。這種方法的本質是用像素周圍相鄰像素的信息來推測當前像素的像素值。但該方法無法恢復出圖像中缺少的高頻信息，也難以處理圖像中的邊緣等像素值發生巨變的地方，導致恢復出的圖像整體較為模糊，物體邊緣不清晰。

2.1.2 基于回歸的方法

另一個常用的方法是將圖像超分的過程看作一個回歸問題，利用貝葉斯中的最大后驗概率模型，對退化模型進行反向求解（比如計算模糊矩陣的逆矩陣、構建映射關系等）。

2.1.3 基于淺層學習的方法

2004年，Chang等人[1]使用了流形學習中的locally linear embedding(LLE) 局部線性嵌入方法，假設低維空間中的低分辨率圖像內部特征之間的線性關系在高維空間中的高分辨率圖像中能夠保持。2008 年，Yang 等人[2]引入稀疏表示方法，將高分辨率圖像和低分辨率圖像分別用字典和原子進行表示，構建高-低分辨率圖像集進行字典的訓練，該訓練可以離線進行，訓練后的字典可以直接使用。2009年，Glasner 等人[3]使用示例學習方法，將圖像分為多個相互重疊的圖像塊，進行最近鄰搜索，只利用低分辨率圖像自身的信息進行重構，重構在低分辨率紋理信息豐富的部分效果較好，但受限于低分辨率圖像自身特性。

這些傳統方法都較為簡單直觀，重建質量較差，或是需要提供對圖像的先驗認知。其中，傳統方法中通過回歸、淺層學習等方式計算圖像內線性關系、高-低分辨率圖像之間的映射關系來恢復高分辨率圖像的方法的特性與深度學習的優勢非常適配，為深度學習方法的引入提供了很好的切口。

2.2 深度學習方法

基于深度學習方法進行圖像超分辨率的關鍵之一在于深度學習網絡的架構，隨著科學技術的發展，不同的新型網絡模型被提出，將它們運用在圖像超分辨率的問題中，圖像超分辨率的模型和性能也日新月異。

2.2.1 SRCNN

SRCNN是Dong等人在2014年發表的文章Learning a deep convolutional network for image superresolution[4]中提出的圖像超分辨率方法，是將深度學習的方法應用在圖像超分辨率問題上的開山之作。

SRCNN 是Super-Resolution Convolutional Neural Network 的縮寫，即超分辨率卷積神經網絡。與傳統方法相比，SRCNN 使用卷積神經網絡提取圖像特征（圖像塊）、學習低分辨率圖像與高分辨率圖像間的映射和高分辨率圖像重建。這三個步驟分別經過三個卷積層來實現。

在經過卷積層之前，SRCNN需要對輸入圖像進行預處理，利用雙三次插值方法將輸入的低分辨率圖像放大為與目標高分辨率圖像相同的尺寸。

如圖2 所示，SRCNN 的網絡結構非常簡單，只有三層神經網絡，按照輸入數據經過的順序分別為低分辨率圖像塊的提取和表示層、低-高分辨率圖像的特征非線性映射層和高分辨率圖像重建層。三個卷積層的卷積核的大小分別為9×9，1×1 和5×5，得到的低分辨率圖像、高分辨率圖像特征的特征通道數分別為64和32，文章中的實驗經過雙三次插值處理后的輸入到輸出的維度變化為：256×256 →256×256×64 →256×256×32 →256×256。

SRCNN在Timofte數據集（包含91幅圖像）和ImageNet數據集上進行訓練，損失函數為均方誤差MSE，使用峰值信噪比PSNR 作為圖像超分的質量評價標準。SRCNN 的成功證明了深度學習在圖像超分領域的可行性。

2.2.2 VDSR

2015年，ResNet的提出解決了深度學習中網絡太深時難以訓練的問題，更深層的網絡擁有更大的全局感受野，大幅提高了網絡的學習能力。VDSR[5]將殘差網絡的思想用于圖像超分辨率，與SRCNN 相比，VDSR不需要將大量的圖像信息從輸入端經過所有網絡層達到輸出端，而是學習圖像的殘差，極大地提升了效率。

如圖3所示，VDSR的網絡主要學習殘差，將經過插值得到的目標圖像大小的原低分辨率圖像與經過神經網絡學習到的殘差相加，得到最后的高分辨率圖像。

圖3 VDSR的模型框架

殘差的思想非常適用于圖像超分辨率。低分辨率圖像和高分辨率圖像中其實有大部分信息是相似的，即圖像中攜帶的低頻信息，而差異明顯的部分主要在于細節部分的高頻信息。因此，相較于直接學習低分辨率圖像到高分辨率的映射關系，讓網絡學習低分辨率圖像與高分辨率圖像內部高頻信息之間的殘差不但能夠減少開銷、增加網絡的深度，更能提高模型性能。感受野是指輸出圖像中每個像素能夠反映輸入圖像區域的大小，增加網絡深度能夠增大，使得網絡能夠利用更多的上下文信息，學習到更全局的映射。VDSR的網絡中有20層的卷積，網絡的學習和表示能力都比只有3層卷積的SRCNN有了顯著的提升。同時，殘差學習的圖像信息較為稀疏，大部分為0或很小的值，使得學習的收斂速度快。

除了學習殘差，VDSR 還提出了其他貢獻。比如對圖像進行補零操作，使得經過卷積層的各級特征保持和目標圖像一樣的大小，而不隨著卷積核大小和步長的變化而變小。VDSR還將不同尺度的圖像一起進行訓練，使得訓練得到的網絡具有解決不同超分辨率的能力。在VDSR 中，圖像被轉化至YCbCr 色彩空間，只使用亮度通道(Y)，網絡的輸出端合并輸入端經過插值圖像的CbCr 通道，得到最終的彩色圖像。基于的原理在于相較于色差，人類視覺對亮度變化更為敏感。另外，VDSR 使用了自適應梯度裁剪(Adjustable Gradient Clipping)策略，將梯度限制在某一范圍之內，加快了收斂速度。在VDSR 基礎上，后續提出的DRRN[6]中就使用了VDSR 的調整梯度裁剪策略和DRCN[7]的遞歸學習策略。

以上的幾種基于深度學習的圖像超分辨率方法都有對圖像進行預采樣的部分，即在將圖像輸入深度神經網絡之前，先使用插值方法將低分辨率圖像放大。但是這樣的處理會引入插值方法固有的問題，比如會使放大后的圖像較為平滑和模糊，丟失了邊緣等細節信息。并且，網絡一直傳遞高分辨率圖像大小的數據，增加了網絡的開銷。

針對這個問題，研究者們提出了對圖像超分辨率采用后上采樣框架，將上采樣模塊集成到網絡末端的可學習層，形成一個端到端的模型架構。這種方法令網絡能夠在低分辨率大小上進行學習，最后再使用上采樣方法得到目標大小的圖像，節省了開支，提高了效率和性能。

3 總結

圖像超分辨率是計算機視覺中的重要研究問題，運用范圍十分廣泛。經過較長時間的研究，圖像超分辨率無論是在傳統方法還是深度學習方法上，都已經形成了非常成熟的技術架構。本文按照傳統方法和深度學習方法兩種類型，對圖像超分技術進行了探究和分析。目前，圖像超分仍然需要解決大尺度、真實場景下的圖像超分，以及深度學習網絡輕量化的問題。