基于特征圖注意力機制的圖像超分辨率重建

魯 甜，劉 蓉，劉 明，馮 楊

（1.華中師范大學物理科學與技術學院，武漢 430079；2.華中師范大學計算機學院，武漢 430079）

0 概述

圖像超分辨率（Super-Resolution，SR）重建由HARRIS 等人于20 世紀60 年代提出，其按照重建時輸入所需低分辨率（Low-Resolution，LR）圖像數量可分為單幅重建和多幅重建。單幅圖像超分辨率（Single Image Super-Resolution，SISR）重建問題是一個不適定的逆問題，旨在將LR 圖像通過一定的算法重建到視覺較好的高分辨率（High-Resolution，HR）圖像上。

隨著深度學習的快速發展以及高性能GPU 的出現，以卷積神經網絡（Convolutional Neural Networks，CNN）為代表的學習方法［1-3］廣泛應用于SR 圖像中，通過學習LR 到HR 的非線性映射構造HR 圖像。文獻［1］將三層CNN 引入SR 圖像中，并構建基于CNN的超分辨率重建（Super-Resolution using CNN，SRCNN）模型，該網絡模型的3 個卷積層分別表示特征提取、非線性映射和圖像重建，其可直接學習LR圖像與HR 圖像之間端到端的映射關系，取得相較傳統方法顯著的改進效果。文獻［4］提出一種基于較深卷積網絡的精準超分辨重建模型，其將網絡深度增加到20 層，并通過殘差學習和自適應梯度裁剪來降低深度網絡的訓練難度。為控制模型的參數數量，文獻［5］提出一種通過遞歸監督和跳過連接的深度遞歸卷積網絡（Deep Recursive Convolutional Networks，DRCN），其相比SRCNN 取得顯著效果。在文獻［6］提出殘差網絡（ResNet）后，很多研究人員將殘差網絡引入基于CNN 的圖像超分辨率方法中。文獻［7］利用多層連接CNN 實現低層次特征和高級特征的級聯。文獻［8］通過使用簡化的殘差塊構建較寬網絡EDSR 和較深網絡MDSR（大約有165 層），EDSR 和MDSR 對超分辨重建圖像性能的顯著改進證明了網絡深度對SR 的重要性。文獻［9］提出一種深度遞歸殘差網絡（Deep Recursive Residuals Network，DRRN），采用權重共享策略滿足較深網絡中巨大的參數需求。為提升圖像超分辨效果，對網絡進行加深和擴大操作已經成為一種設計趨勢，但僅通過加深網絡層數會引起計算量大、消耗內存多以及訓練時間長等問題，不適用于移動和嵌入式視覺應用場景。然而，基于CNN 的方法［7-9］對各信道特征進行處理時，其在處理高頻信息和低頻信息時缺乏靈活性。

由于注意力機制在建模全局依賴關系與降低無關圖像域特征信息方面表現出良好的性能［10-12］，因此本文結合特征圖注意力機制，提出一種圖像超分辨率重建模型。該模型由特征提取塊、基于多特征圖注意力機制的信息提取塊和重建塊3 個部分構成。利用特征提取塊提取LR 圖像中的特征，通過信息提取塊逐步提取殘差信息，重建塊使用學習到的信息生成HR 圖像輸出。為更好地對特征圖中的高低頻信息進行處理，實現自適應地調整信道特征，在信息提取塊中使用多特征圖注意力機制來增強特征的表達能力。特征圖注意力機制由一個全局平均池化（Global Average Pooling，GAP）層和兩層全連接層構成的門控機制組成，GAP 可屏蔽空間上的分布信息，更加關注通道間的相關性，兩層全連接層構成的門控機制通過對各通道特征圖信息進行融合，利用通道間的相關性獲得特征圖權重值來自適應調整信道特征，以更好地恢復圖像細節。

1 本文網絡構建

本文設計的網絡由特征提取塊、多個基于特征圖注意力機制的信息提取塊和重建塊3 個部分組成，具體結構如圖1 所示。

圖1 基于特征圖注意力機制的圖像超分辨率重建網絡結構Fig.1 Super-resolution image reconstruction network structure based on attention mechanism of feature map

1.1 特征提取塊

特征提取塊用于從原始LR 圖像中提取特征，本文設計的特征提取塊由2 個3×3 的卷積構成，特征維度均為64。用ILR和ISR表示網絡的輸入和輸出，特征提取過程可用式（1）表示：

其中，HFE表示提取特征的函數，F0表示提取的特征和下一階段網絡的輸入。

1.2 基于特征圖注意力機制的信息提取塊

信息提取塊用于逐步提取殘差信息，它由4 個相同結構的特征圖注意力機制的信息提取塊組成。每個特征圖注意力機制的信息提取塊結構如圖2 所示，其分為結合注意力的信息增強單元和壓縮單元。該過程可用式（2）表示：

其中，Hk表示第k個信息提取函數，Fk-1和Fk分別表示第k個信息提取塊的輸入和輸出。

圖2 基于特征圖注意力機制的信息提取塊Fig.2 Information extraction block based on attention mechanism of feature map

1.2.1 特征圖注意力機制

在圖像的復原過程中，高頻通道特征對HR 的重建更為重要，因此本文通過引入注意力機制來更加關注該信道特征。想要實現對每個特征通道分配不同的關注資源，則需關注以下2 個問題：1）LR 空間中的信息具有豐富的低頻分量和有價值的高頻分量，低頻部分更為平坦，而高頻分量通常是充滿邊緣、紋理和其他細節的區域；2）卷積層中的每個濾波器只能接收局部感受野信息，因此卷積后的輸出無法利用局部之外的上下文信息。

針對上述問題，本文通過使用GAP 將空間上所有點的信息都平均為一個值，這樣可以屏蔽掉空間上的分布信息，以更好地關注通道間的相關性，該通道統計有助于表達整個圖像信息［13］。如圖3 所示，X=[x1，x2，…，xc，…，xC]作為輸入，C個特征圖大小為H×W，經過全局平均池化后的結果呈現C個特征圖之間的全局信息z，第c個特征圖的全局信息zc計算方法如式（3）所示：

其中，xc(i，j) 是第c個特征圖xc在位置(i，j) 處的值，HGAP表示全局平均池化功能函數。

圖3 特征圖注意力機制示意圖Fig.3 Schematic diagram of attention mechanism of feature map

為了從全局平均池化的結果z中學習到每個特征通道的特征權值，需要做到以下3 點：

1）網絡足夠靈活，保證學習到的權值具有價值。

2）網絡足夠簡單，不能增加網絡的復雜性以致訓練速度大幅降低。

3）網絡要學習通道之間的非線性相互關系，激勵重要的特征且抑制不重要的特征。

針對上述問題，本文設計兩層全連接層構成門控機制，以融合各通道的特征圖信息，門控單元s的計算方法可用式（4）表示：

其中：g和δ分別表示門控和ReLU 函數，W1乘以z表示一個全連接層操作，W1的維度為C/r，r為縮放因子，文中取值為16，經過一個ReLU 層后，輸出的維度不變，再和W2相乘，這也是一個全連接層的過程，W2的維度為C，因此輸出的維度為1×1×C；經過Sigmoid 函數得到特征圖的權重值，最后將獲得的特征圖權重值s用于重新調整輸入xc，具體如式（5）所示：

其中，sc和xc是第c個通道中的縮放因子和特征映射。這樣通過特征圖注意力機制可自適應調整通道特征，以增強網絡的表征能力。

1.2.2 信息增強單元

信息增強單元是多個特征圖注意力機制的信息提取塊核心，其可以分為局部淺層網絡和局部深層網絡2 個部分。每個部分均包含3 個卷積層和3 個注意力模塊，卷積核大小都設置為3×3，且每個卷積層的特征圖維度如圖2 所示。局部淺層網絡的3 個卷積層的特征維度分別為48、32 與64，局部深層網絡的3 個卷積層的特征維度分別為64、48 與80，每個卷積層后面都有一個非線性激活單元LReLU。為增加filter 之間的對角相關性并減少訓練參數，其前后2 個部分的中間卷積層均采用分組卷積的方式。考慮到深層網絡的表達能力更強，本文將第3 個注意力模塊的特征圖切分為2 個部分，假定該模塊的輸入為Fk-1，則模塊輸出可表示為：

其中，Fk-1是前一個信息提取塊的輸出，也是當前信息提取塊的輸入。Ca為鏈式卷積操作為第k個增強單元中前一部分卷積層的輸出。由于本文的特征圖注意力機制能自適應地調整通道特征，且不改變特征圖維度大小，則的維度為64中經過s=4進行切分后，維度為16 的特征圖和前一部分第一個卷積層的輸入在通道維度上相連接，該部分可被看作是保留的局部淺層網絡特征Rk，具體如式（7）所示：

其中，C和S分別表示連接Concatenate 操作和切片Slice 操作。

將剩下的維度為48 的特征圖作為后續模塊的輸入，這主要是進一步增強淺層網絡特征。相對于前一部分而言，該部分成為局部深層網絡特征，具體如式（8）所示：

其中，，Cb分別為輸出和后續模塊的堆疊卷積操作。信息增強單元可用式（9）表示：

其中，Pk是增強單元的輸出。局部深層網絡特征以及局部淺層網絡特征和未處理特征相結合的Rk都被壓縮單元所利用。

1.2.3 信息壓縮單元

信息壓縮單元主要是壓縮信息增強單元中特征的冗余信息。本文采用一層1×1 卷積層降維，并對增強單元中的特征信息進行融合。

1.3 重建塊

重建塊主要是利用上文卷積層學習到的信息，將LR 圖像重建成不同尺度的HR 圖像。通過比較反卷積層（也稱為轉置卷積）、最鄰近上采樣+卷積、亞像素卷積層ESPCN［14］這3 種可用的重建方法，結果發現ESPCN 在計算復雜度和性能方面均優于其他2 種方法。因此，本文網絡可以用式（10）表示：

其中，HREC，U分別表示重建塊和雙三次插值運算，ISR表示最終輸出。

1.4 損失函數

優化網絡的損失函數是整個網絡模型的調度中心，目前在圖像超分辨率重建中廣泛使用的損失函數是均方誤差（Mean Square Error，MSE）。它用來衡量預測的HR 圖像I^和相應的真實圖像I之間的差異，計算方法如式（11）所示：

文獻［8］通過實驗證明MSE 損失訓練不是最好的選擇，而平均絕對誤差（Mean Absolute Error，MAE）是另一種常用的損失函數，其計算方法如式（12）所示：

基于信息蒸餾網絡快速準確的單幅圖像超分辨率IDN［15］已經證明MAE 損失訓練對圖像超分辨有一定作用，因此本文先用MAE 損失函數訓練，再用MSE 損失函數微調。

2 實驗設置與結果分析

本文使用的平臺是CentOS 7.4 操作系統，雙核Intel 2.2 GHz CPU 64 GB 內存，Tesla V100 GPU，32 GB 內存和4 TB 硬盤，并在基于GPU 版本的Tensorflow1.13 深度學習框架下訓練本文模型。本文采用文獻［16］提出的方法初始化權重，偏差設置為0，并采用Adam［17］對網絡進行優化，設置批量數大小為16，初始學習率為2e-4，每迭代訓練2 000 次學習率降為原來的一半，總共迭代10 000 次。

2.1 數據集

實驗選擇用于圖像超分辨率的標準數據集DIV2K［18］為研究對象，該數據集是新發布的用于圖像復原任務的高質量圖像數據集，每張圖像具有2K的分辨率。DIV2K數據集包含800張訓練圖像、100張驗證圖像和100 張測試圖像，但是測試數據集目前尚未發布，因此本文采用Set5［19］、BSD100［20］、Urban100［21］和Manga109［22］4 個廣泛使用的基準測試數據集進行模型性能評估。在這些數據集中，Set5和BSD100 包含自然場景，圖片個數分別是5 和100，Urban100 包含100 張具有挑戰性的城市場景圖像，其中包含不同頻段的細節，Manga109 是由日本專業漫畫家繪制的109 幅漫畫組成。

2.2 數據集預處理

針對實際工程應用構建出有效訓練集是目前圖像復原中普遍存在的問題，當前主流的數據預處理方式有雙三次插值算法和最鄰近算法2 種。本文使用雙三次插值算法生成訓練LR/HR 圖像對，且為了和基于GAN 的網絡進行對比實驗，本文使用最鄰近算法進行預處理，2 種不同方式的預處理對基于特征圖注意力機制的超分辨重建都有一定的效果。

為了充分利用訓練數據，本文采用以下3 種方式對數據進行增強：1）將圖片旋轉90°、180°和270°；2）將圖片水平翻轉；3）以0.9、0.8、0.7 和0.6 的因子縮小圖像。

2.3 實驗結果分析

為了探究注意力機制對本文網絡的影響，對本文網絡與移除了注意力機制的超分辨網絡（SR-Net）在放大4 倍后的DIV2K 驗證集上的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）進行對比，結果如圖4 所示。從圖4 可以看出，2 個網絡都收斂很快，但本文網絡的PSNR 比SR-Net 網絡高出約0.15 dB。

圖4 本文網絡與SR-Net 的PSNR 對比Fig.4 PSNR comparison between SR-Net and the proposed network

將本文模型與Bicubic、SRCNN、VDSR、DRRN、IDN、SR-Net 模型在Set5 數據集上進行重建對比，結果如表1 與圖5 所示。從表1 可以看出，雖然SR-Net的PSNR 值比IDN 低0.2 dB，但是本文模型的PSNR值比IDN 模型高0.32 dB，且圖5（i）的輪廓比圖5（g）更加清晰，更符合原始圖像5（b）的細節，說明本文提出的基于特征圖注意力機制的圖像超分辨網絡可以增強特征的表達能力，能夠恢復出更多的高頻細節信息。

表1 7 種模型在Set5 數據集上的PSNR 和SSIM 對比Table 1 PSNR and SSIM comparison of seven models on Set5 dataset

圖5 7 種模型在Set5 數據集上放大4 倍后的重建效果對比Fig.5 Comparison of reconstruction effect of seven models on Set5 dataset after magnification of four times

將本文提出的基于特征圖注意力機制的超分辨重建網絡與SRCNN、VDSR、DRCN、DRRN、IDN 超分辨率模型進行定性和定量對比。表2給出了分別放大2倍、3 倍與4 倍這3 種不同尺度下，不同的圖像超分辨模型利用圖像的PSNR 和結構相似度（Structural Similarity，SSIM）這2 種廣泛使用的圖像質量評估指標的定量對比結果，其中，最優結果加粗表示。從表2 的數據可以看出，本文模型在Set5［19］、BSD100［20］、Urban100［21］和Manga109［22］數據集上的PSNR 與SSIM 多數都超過了其他超分辨率模型，雖然2 倍放大尺度下在Set5 上的結果略低于IDN 模型，但在其他數據集上的結果都優于IDN。隨著放大倍數的增大，圖片重建的難度也會隨之增大，在放大倍數為4 的情況下，本文模型相比SRCNN 模型在Manga109 數據集上PSNR 提升了2.66 dB，與本文模型PSNR 值相比差距最小的是IDN 模型，在B100 數據集上比本文模型PSNR 值低0.1 dB。

表2 7 種模型在不同尺度下的PSNR 與SSIM 對比Table 2 Comparison of PSNR/SSIM of seven models at different scales

從圖6 可知，多數重建模型沿水平線出現模糊偽影，圖6（d）和圖6（f）重建出的線條較模糊，而圖6（g）的重建效果比前兩者好，但窗戶玻璃的邊緣輪廓不清晰，且線條細節恢復不夠，而本文模型重建出的圖6（h）能重建出更多的細節，且線條和邊緣輪廓更清晰。當縮放因子較大時，超分辨重建效果較差在很大程度上是由高頻信息不足導致的，而本文模型利用特征圖注意力機制能從LR 空間中獲得更多有用的特征并產生較好的效果。

圖6 6種模型在Urban100數據集上放大4倍后的重建效果對比Fig.6 Comparison of reconstruction effect of six models on Urban100 dataset after magnification of four times

由于人像圖片中眼睛部分細節較多，因此本文對超分辨后的圖像右眼部分進行放大對比。實驗分別采用本文模型、Bicubic、VDSR、DRRN 和IDN 對實際圖片進行超分辨重建，結果如圖7 所示。從圖7 可以看出：相較于原始圖像7（a）而言，圖7（d）DRRN 模型重建的高分辨圖像視覺效果較差；圖7（c）和圖7（e）重建出的高分辨圖像在視覺上有所提升，但放大后的圖片邊緣輪廓仍然模糊；本文模型重建出的高分辨圖7（f）不僅在視覺上效果最佳，且放大后的眼睛部分具有較為銳利的邊緣和比較清晰的紋理細度。因此，本文模型重建后的效果在視覺上優于其他模型，實用性更強。

圖7 5 種模型在放大3 倍后的重建效果對比Fig.7 Comparison of reconstruction effect of five models after magnification of three times

基于對抗網絡的圖像復原是比較常見的，實驗對本文模型與SRGAN［23］進行對比實驗，結果如表3所示。從表3 可以看出，相比Bicubic 模型與SRGAN模型，本文模型的PSNR 更高。從圖8 網絡重建效果對比圖可知，SRGAN 模型構建生成的圖效果比本文模型好，該結果是通過10 個人對比觀察重建效果圖主觀感覺得出，其中6 個人認為中間SRGAN 模型生成的圖片8（b）和8（e）效果更好，3 個人認為本文模型生成的圖8（c）和圖8（f）更好，1 個人認為2 個模型效果相當。

表3 3 種模型在不同數據集下的PSNR 與SSIM 對比Table 3 PSNR and SSIM comparicon of three models in different datasets

圖8 SRGAN 模型與本文模型在放大4 倍后的重建效果對比Fig.8 Comparison of reconstruction effect between SRGAN model and the proposed model after magnification of four times

文獻［24］提出的圖像超分辨重建的圖像質量評價方法PSNR/SSIM 不能客觀反映圖像的主觀效果，而圖像超分辨重建的圖像質量評價方法平均主觀意見分（Mean Opinion Score，MOS）需要大量的人力成本且不能復現。因此，提出更加精確的圖像質量評價方法十分必要。但是在新的評價方法提出之前，本文沿用主流的PSNR/SSIM 圖像質量評價方法對模型進行評估，在該評估體系下，本文模型不僅在客觀定量評價指標上有所提高，且能重建出更多符合原始圖像的細節信息，這說明特征圖注意力機制在圖像超分辨重建中具有重要的作用。

3 結束語

本文設計一種基于特征圖注意力機制的圖像超分辨率重建網絡模型，對彩色圖像進行不同尺度的超分辨重建。該模型通過特征提取塊從原始LR 圖像中提取特征，再由多個基于特征圖注意力機制的信息提取塊自適應地調整特征通道信息，以增強特征的表達能力，有效恢復出更多輪廓紋理等細節信息。實驗結果表明，本文模型可有效提升圖像超分辨率重建效果。下一步將對基于CNN 和生成性對抗網絡構建的模型重建效果進行分析與研究，實現更為精確的圖像質量評估。