漸進式逐層密集連接網絡圖像超分辨率重建

摘要：針對現有基于深度神經網絡的圖像超分辨率重建，存在未完全考慮層次特征信息的提取和利用問題，本文提出了一種漸進式逐層密集連接網絡。通過設計一種逐層密集連接特征融合塊，以挖掘和利用圖像中不同層次的特征信息，并且利用一種漸進式特征融合機制，在全局層次上融合從逐層密集連接特征融合塊中提取到的特征信息，促進圖像紋理細節的重建。實驗結果表明，所提方法與其他方法相比，在客觀評價指標與主觀視覺效果上有著更加顯著的表現。

關鍵詞：超分辨率；卷積神經網絡；層次特征；逐層密集連接；漸進式特征融合

引言

單幅圖像超分辨率重建（SISR）是一種圖像增強技術，致力于從低分辨率圖像（LR）重建出對應的高分辨率圖像（HR），該技術已被廣泛應用于醫學成像[1]、安全監控[2]、遙感圖像[3]等領域。隨著深度神經網絡（DCNN）的顯著發展，越來越多開創性的超分辨網絡被提出，并取得了卓越的成就，深度神經網絡的發展主導了當前學者們對SISR的研究。

早期構建超分辨網絡模型的工作主要集中構建簡單模型以實現優越的性能。Dong等人[4]首次將卷積神經網絡（CNN）引入SISR任務中，稱為超分辨卷積神經網絡（SRCNN），是一種端到端的三層CNN方案。Shi等人[5]又提出了ESPCN，其在網絡末端包含一個亞像素卷積層，可以處理不同放大因子的圖像超分辨率重建問題，具有較快的處理速度。雖然簡單的線性模型參數量很小，但是面對紋理特征豐富的圖像時，難以滿足性能要求。為解決這些問題，學者們提出了許多深度更深、連接方式更加復雜的超分辨率重建模型。Simonyan等人[6]在VDSR方法中，通過拓展網絡深度來提高SR性能，從3個卷積層增加到20個卷積層，此外，該網絡還引入全局殘差學習來提升收斂速度。Lim等人[7]堆疊出一個更深更廣的殘差網絡稱為EDSR，雖然不斷增加網絡深度可以提取更加豐富的局部特征，但無法有效整合這些局部特征。為了使網絡能夠更好地學習和保留圖像的細節特征，Kim等人[8]提出在CNN模型中使用多個遞歸層來獲得SR圖像，這被稱為深度遞歸卷積網絡（DRCN）。Tong等人[9]通過SRDenseNet引入了密集塊，不再線性堆疊卷積層來獲取更優秀的性能，而是允許同一個密集塊內的任意兩個卷積層直接進行連接，有助于增強特征信息的傳遞和共享。

盡管上述模型在圖像重建性能方面表現出色，但這些模型未充分考慮不同層次特征信息的提取及整合問題，使得模型重建性能不足。為此，本文提出了一種漸進式逐層密集連接網絡，該網絡充分利用分層特征信息，提高特征表達能力，增強網絡的重建性能。

1. 漸進式逐層密集連接網絡

1.1 網絡框架概述

本文所提網絡模型框架如圖1所示。漸進式逐層密集連接網絡主要包括三部分，分別為淺層特征提取模塊、深層特征提取模塊、重建模塊。在模型中，淺層特征提取部分負責捕捉圖像的初始特征，而深層特征提取部分進一步挖掘圖像的高頻特征。最后，重建模塊將這兩個階段網絡提取到的特征用于構建最終的超分辨圖像。

1.2 漸進式逐層密集連接結構

在提取圖像的淺層特征時，本文提出的網絡采用了直接輸入小尺寸低分辨率圖像的策略。使用兩個3×3的卷積層作為淺層特征提取模塊，經過卷積操作后，淺層特征被傳輸到深層特征模塊。則

（1）

式中，F0代表從低分辨率圖像中提取到的淺層特征；HSF（.）表示淺層特征提取模塊；LLR表示輸入的低分辨率圖像；C3×3（.）表示3×3卷積運算。

在漸進式逐層密集連接網絡（progressive layer-by-layer dense connection network， PLDCN）中，深層特征提取模塊主要由多個相同結構的逐層密集連接特征融合塊（layer-by-layer dense connection feature fusion blocks，LDCFFB）通過漸進式特征融合機制（progressive feature fusion mechanism，PFFM）連接而成，具體來說，使用1×1卷積層逐步融合不同層次的特征信息，如圖1虛線框所示。漸進式特征融合機制能夠以全局方式利用不同層次的特征，從而更有效地捕捉和表達圖像的邊緣、紋理信息。

LDCFFB為網絡的核心模塊，主要包括逐層密集連接特征提取單元和特征融合單元。逐層密集連接特征提取單元結構如圖2所示，這個單元由三個并行分支組成，每個分支采用相同的結構，包括三個3×3卷積層、兩個1×1卷積層以及兩個級聯算子。這三個分支通過縱向交錯連接將各個分支的路徑相互連接，將前一行提取的特征作為下一行各個分支的輸入，實現了特征的分層傳遞。特征融合單元將三個不同分支處理后的特征信息級連在一起，然后利用局部殘差學習的方法將模塊的輸入和輸出相互連接，從而促使單個模塊內部的信息傳遞和優化。

在逐層密集連接特征提取單元提取到不同層次的特征后，通過特征融合單元來充分融合這些特征。利用殘差連接獲得最終的輸出特征Fi為

（2）

如圖1所示，重建模塊包含了兩個3×3普通卷積層和一個反卷積層，使用殘差模塊連接雙三次插值后的圖像并與卷積輸出的結果進行疊加，獲得最終的重建圖像。最后一個普通卷積層則用于恢復通道數，生成RGB三通道圖像。最終生成的高分辨率圖像FSR為

（3）

式中，Frec為重建模塊；HBI為雙三次插值后的圖像。

損失函數衡量了生成圖像和目標高分辨率圖像之間的差異，目的是使生成圖像盡可能接近真實高分辨率圖像。L1損失函數對誤差的絕對值進行懲罰，在一定程度上能夠更好地保留圖像的細節和紋理，產生更接近真實感覺的高分辨率生成圖像。因此所提方法使用L1損失函數，其定義如下：

（4）

式中，N為網絡訓練圖像數量；IPLDCN為模型重建后的圖像；IHR為原始真實圖像。

2. 實驗與分析

2.1 實驗細節設置

實驗系統為ubuntu20.04服務器，GPU為NVIDIA corporation GP102，使用PyCharm編譯平臺，利用Python語言、Pytorch框架實現了模型的構建。實驗采用高質量的2K圖像數據集DIV2K進行訓練，該數據集有800張訓練圖像。在訓練階段使用水平、垂直、翻轉和旋轉90°等數據增強技術，隨機裁剪48×48的LR小圖像作為網絡模型的輸入，以拓展數據集的多樣性和數量。在評估性能時采用了五個基準數據集，包括Set5，Set14，BSD100，Urban100和Manga109。在訓練過程中設置以下參數，網絡采用Adam優化器，初始學習率設置為0.0002，每經過200個epoch學習率降低一半，訓練批次的大小設置為16。為了客觀評價所提方法的性能，采用了圖像處理領域公認具有權威性的指標：峰值信噪比（PSNR）和結構相似性（SSIM）。

2.2 實驗結果對比

將本文提出的方法與經典的方法在五種基準數據集上進行定量對比，經典方法包括SRCNN、FSRCNN、VDSR、LapSRN[10]、IDN[11]、MSRN[12]。表1至表3展示了放大因子分別為×2、×3、×4時，不同方法在五種基準數據集中的PSNR和SSIM值。從表1至表3可以看出，所提算法與一些經典的算法相比，在不同放大因子上均有著良好的性能，在大多數情況下，PSNR和SSIM都明顯優于其他方法。放大因子×4時，所提方法與MSRN相比，在Set5、Urban100和Manga109數據集上分別增加了0.28dB、0.29dB、0.57dB。綜上，本文提出的模型相比其他方法展現出更加優秀的重建性能，尤其在放大因子較大的情況下，性能更加突出。

為了進一步證明所提方法的優越性，本文展示了圖像的視覺效果對比圖，如圖3所示。在“86000”圖像中，本文提出的方法重建出的圖像線條更加清晰，而其他方法重建出的圖像存在模糊和線條變形問題。以上視覺效果對比證明了提出的PLDCN模型在細節恢復和圖像保真方面的表現非常優異。

結語

針對部分網絡提取特征不充分、無法充分利用分層特征等問題，本文提出了一種漸進式逐層密集連接網絡圖像超分辨重建方法。逐層密集連接遞歸塊為主要模塊，采用對角交錯連接的方式，實現特征的級聯傳遞，引入殘差連接將淺層特征與深層特征通過跨層連接的方式進行整合，既減少了淺層特征信息向更深層次傳播過程中的丟失，又充分利用了各中間層次的特征。漸進式特征融合機制為主干連接方式，益于捕捉高頻特征信息，為高分辨率圖像的重建提供豐富的特征信息。在五種基準數據集中的實驗結果證明，本文提出的網絡模型與其他先進的網絡模型相比具有一定的優勢，并且在主觀視覺效果對比上，所提方法重建后的圖像更加清晰，保真度更高。

參考文獻：

[1]胡芬，林洋，侯夢迪，等.基于深度學習的細胞骨架圖像超分辨重建[J].光學學報，2020，40（24）：54-61.

[2]Zou W W W，Yuen P C.Very low resolution face recognition problem[J].IEEE transactions on image processing：a publication of the IEEE Signal Processing Society，2011，21（1）：327-340.

[3]黃碩，胡勇，顧明劍，等.基于深度學習的紅外遙感目標超分辨率檢測算法[J].激光與光電子學進展，2021，58（16）：288-296.

[4]Dong C，Loy C C，He K，et al.Learning a deep convolutional network for image super-resolution[C]//Computer Vision-ECCV 2014：13th European Conference，Zurich，Switzerland，September 6-12，2014，Proceedings，Part IV 13.Springer International Publishing，2014：184-199.

[5]Shi W，Caballero J，Huszár F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016：1874-1883.

[6]Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition[J].arXiv preprint arXiv：2014（1）：1409.1556.

[7]Lim B，Son S，Kim H，et al.Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition workshops.2017：136-144.

[8]Kim J，Lee J K，Lee K M.Deeply-recursive convolutional network for image super-resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016：1637-1645.

[9]Tong T，Li G，Liu X，et al.Image super-resolution using dense skip connections[C]//Proceedings of the IEEE international conference on computer vision.2017：4799-4807.

[10]Lai W S，Huang J B，Ahuja N，et al.Deep laplacian pyramid networks for fast and accurate super-resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2017：624-632.

[11]Hui Z，Wang X，Gao X.Fast and accurate single image super-resolution via information distillation network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2018：723-731.

[12]Li J，Fang F，Mei K，et al.Multi-scale residual network for image super-resolution[C]//Proceedings of the European conference on computer vision（ECCV）.2018：517-532.

作者簡介：韓小偉，碩士研究生，研究方向：圖像超分辨。