基于空間通道注意力機制的漸進式圖像超分辨重建算法

秦 玉，謝超宇，王曉明

（西華大學計算機與軟件工程學院，四川成都 610039）

近幾年來，對深度學習的研究越來越深入，在各個領域也都獲得了不少突破性的進展。其中，將視覺注意力（attention）機制與深度學習相結合的研究工作，是近年來深度學習研究的一個熱點。例如：1）將注意力機制用在分類問題上，在2017ILSVR競賽取得冠軍的SENet 網絡（squeeze-and-excitation networks）就是此類典型應用，Hu 等[1]還將其子結構SENet block 插入到現有多種分類網絡中，都取得了比較好的效果；2）將注意力機制用于改進激活函數，Zhao 等[2]提出了“自適應參數化修正線性單元”（adaptively parametric rectifier linear unit），也叫APReLU 激活函數，該激活函數借鑒SENet block中通過注意機制對特征進行調整的思想，通過注意力機制對PReLU 激活函數的斜率進行調整，使得固定的非線性變換能夠自動學習[3]。在計算機視覺（computer vision）中，注意力機制的基本思想是讓模型學會注意力，能夠忽略無關信息而關注重點信息。

在當前的單幀圖像超分辨率（SISR）算法研究中，注意力機制也被廣泛引入，例如在SEnet 基礎上Zhang 等[4]提出了RCAN 網絡（image superresoulution using very deep residual channel attention networks），它在更深層的網絡中加入殘差思想，并考慮到特征通道之間的相互依賴性，提出通道注意機制，進行通道上的特征自適應學習。還有基于視覺應用的自注意機制的非局部注意力機制用于SISR，例如Dai 等[5]提出的SAN（second-order attention network for single image super-resolution），其不再探索更深更寬的網絡，而是在網絡中加入非局部模塊同源殘差的思想來對網絡的中間特征進行探索。Mei 等[6]提出了CSNLN（image super-resolution with cross-scale non-local attention and exhaustive self-exemplars mining）,其將遠距離特征相似性考慮進網絡模型中，探索不同尺度特征之間的關系。

他們都取得了比較好的結果，但是也有一些不足。例如RCAN 注意了通道之間的關系，但是沒有注意到空間尺度上空間區域的關系，而且在統計全局信息時，由于捕獲長范圍特征依賴需要累積很多層的網絡，所以學習效率太低，此外，網絡累計過深，需要小心地設計模塊和梯度。CSNLN 的非局部注意力模塊雖然考慮到了長范圍特征依賴，但是在非局部注意力的計算中，存在計算量偏大等問題，而且只涉及到了位置。注意力模塊沒有涉及通道注意力機制。為了更好地解決上述問題，本文提出一個端到端的可訓練的網絡結構，即基于空間特征變換（spatial feature transform,SFT）層的空間通道注意力機制重構的漸進式網絡算法。其主要工作總結如下。

1）引入空間特征變換的思想，對提取的中間層特征進行仿射變換自適應調整，為圖像重建階段提供更多的空間不同且相似的特征信息。

2）利用空間特征變換的思想，對通道注意力模塊進行改進，提出基于空間特征變換的空間通道注意力機制，使注意力分配更加合理，從而使得網絡在重構時更合理地利用中間特征進行超分率圖像重建。

3）引入反投影的思想，在對特征進行融合時，讓融合特征更加注重差異性，使網絡在重構時，融合特征不至于過于冗余。

1 相關工作

1.1 通道注意力機制

SENet block[1]的核心思想是讓網絡根據損失函數去學習特征權重的分布，然后將學習出的權重施加在特征上，即SENet block 是采用有效特征的權重更大，無效或者效果小的特征權重更小的方式去訓練模型，以達到更好的重建結果。

如圖1 所示，它在只用卷積網絡連接的經典網絡中，加入Squeeze 和Excitation 結構。Squeeze 過程是對提取的特征進行全局平局池化，將W×H×C的特征擠壓成1×1×C，即圖中的Fsq操作。然后經過Excitation 過程，即圖中Fex操作。Fex由2 個全連接層組成，它融合了各通道的特征信息，學習出C個權重。最后通過Fscale操作將權重重新分配到各個通道。

圖1 通道注意力機制模塊

1.2 空間特征變換

Wang 等[7]在SFTGAN（recovering realistic texture in image super-resolution by deep spatial feature transform）中引入語義分割概率，用其對特征進行指導學習。受到SFTGAN 的啟發，Gu 等[8]提出SFTMD（blind super-resolution with iterative kernel correction），它利用SFT 模塊引入多個模糊核，模擬多種下采樣情況讓模型進行學習。前者將語義分割概率用空間特征變換（SFT）層進行傳遞，用語義指導特征學習和重建，后者將多種模糊核用SFT 層進行傳遞，讓網絡學習出兼容多種模糊核的模型。在SFTGAN 中SFT 學習一個映射M，輸出一對調制參數 β 和 γ，然后用得到的調制參數對，對輸入特征進行仿射變換。其模型可以表示為：

式中：ψ定義為語義分割后的概率；F為提取的特征；⊙代表像素之間的乘積。引入這樣一個設計，使輸出至少能夠回到輸入狀態，不至于降低模型的表現（當γ=1，β=0時）。

2 本文方法

RCAN 雖然成功引入通道注意機制，讓全局特征信息在通道間進行自適應調整，并最終取得了比較好的效果，但是忽略了中間特征圖在圖像重構時的作用。D-DBPN[9]雖然使用了稠密連接的思想防止梯度彌撒的問題，并且在最后將中間特征圖進行級聯以增強特征，但是忽略了不同中間特征圖在圖像重構時貢獻力度不同的問題。CSNLN 雖然使用跨尺度非局部注意模塊提取特征，并且在最后使用級聯的方式來重構圖像，但是非局部注意模塊存在計算量偏大的問題，且只考慮了長范圍特征依賴。

為此，受到SFTGAN[7]和SFTMD[8]思想的啟發，本文對RCAN[4]中的通道注意模塊進行改進，提出了一種新的注意力機制，即基于SFT 的空間通道注意力機制。它可以使網絡在重構階段，對聚合的中間特征在通道和空間上進行全局信息自適應調整，解決了RCAN 只注意通道的問題，解決了D-DBPN 忽略了不同特征層在重構時貢獻力度不同的問題，與CSNLN 的跨尺度非局部注意模塊相比計算量也相對偏小。此外，本文還結合LapSRN[10]的漸進式思想和SFTGAN、SFTMD 的特征變換的思想提出了基于SFT 的空間通道注意力機制重構的漸進式網絡。本文算法網絡主要分為3 個階段：圖像輸入階段、特征提取階段、圖像重構階段。其中，特征提取階段包含淺層特征提取單元、漸進式特征提取單元、偽仿射特征提取單元、SFT 單元，如圖2 所示。

圖2 本文算法網絡結構

為了對指定放大倍數的SR（super resolution）進行更好地重建，在特征提取階段，本文借鑒漸進式逐步放大至目標尺寸的策略，這不僅降低了預處理方法引入的噪聲，還減少了放大過程中高頻信息的丟失，減小了在圖像重建時造成可見重構偽影的可能[11]。同時，為了在重構階段重建出紋理細節更加豐富的圖像，使用SFT 層在特征層之間進行自適應調整空間特征。最后采用本文提出的SFT 空間通道注意力模塊（SFTCA 模塊）進行圖像重構，使網絡可以在通道和空間尺度上利用各層中間特征值進行超分辨圖像重建。

2.1 漸進式特征提取單元

在本網絡結構中，使用漸進式放大的思想進行特征提取。首先對輸入的LR 圖像進行淺層特征提取，然后經過一個級聯的卷積操作挖掘更深層次的特征信息，最后通過一個反卷積層，將其放大2 倍。

假設輸入圖片ILR大小為(H,W)，輸出圖片為ISR，大小為(sH,sW)，s為尺度因子，這里可以取2，4，8。漸進式上采樣模型可以表示為：

式中：F0定義為提取的淺層特征；Conv(·)定義為卷積操作；FC表示級聯卷積后的特征；D econv(·)表示反卷積操作；FP表示最后得到的漸進式特征。

在進行反卷積操作時，加入殘差連接的思想來增強特征學習，如圖3 所示。

圖3 漸進式特征提取單元

漸進式上采樣單元最后的輸出連接到2 個不同的層：一是將漸進式特征FP輸入到下一級漸進式上采樣單元中；二是將漸進式特征FP，作為SFT 層的一個輸入特征FP輸入到SFT 層。

2.2 空間特征變換單元

文獻[12]提出的U-net 網絡（convolutional network for biomedical image segmentation），對壓縮路徑的特征進行裁剪，并將其加入到擴展路徑進行歸一化操作，來增強網絡特征細節。本文用空間特征變換單元，代替特征壓縮進行裁剪來實現空間多尺度的紋理細節增強。

對于SFT 層的輸入，本文與SFTGAN 和SFTMD 采用的SFT 又有所不同，這里不再輸入語義分割概率 ψ或者模糊核H。受到U-Net 思想的啟發，本文先將LR 圖像送入類似于U-net 的壓縮路徑，將得到的特征再輸入到SFT 單元，進行空間特征相似性自適應，以此來加強特征。

空間特征變換單元（SFT 層），可以減少進行裁邊操作的開銷，這不僅減少了壓縮路徑和擴展路徑一一對稱對應操作的開銷，也降低了由不能完美裁剪和對應關系造成的特征累加或抵消的可能[13]。空間特征變換單元在不直接處理輸入圖片的情況下，利用仿射變換對中間特征層進行變換，最后影響輸出結果。空間特征變換單元如圖4 所示。

圖4 空間特征變換單元

在本網絡中作為特征提取階段時的空間特征變換模型可以表示為：

式中：γ為縮放因子；β為平移因子；⊙代表像素之間的乘法。

空間特征變換單元的另一個輸入，本文暫時稱為偽仿射特征Fω，其結構如圖5 所示。獲取它的操作可以看作VGG 網絡的語義提取[14]和自編碼解碼結構[15]對其降噪的結果。

圖5 偽仿射性特征提取單元

2.3 基于SFT 的空間通道注意力重構單元

多數超分辨方法，在圖像重構階段，使用一個卷積或者反卷操作。D-DBPN[9]、CSNLN[6]等網絡使用級聯操作，對中間特征進行融合。本文網絡結構會產生2 個分支，4 種特征。為了更好地融合中間特征，受到SFTGAN 和SFTMD的思想啟發，本文采用基于SFT 改進RCAN 后的通道注意力機制，即基于SFT 的空間通道注意力機制，來對中間特征層進行融合。這個新的注意力機制重構模塊，稱之為SFT空間通道注意力模塊（SFTCA 模塊），如圖6 所示。

圖6 SFTCA 模塊

首先，將網絡模型的中間特征進行級聯，對其進行Squeeze 操作，提取全局特征信息；然后使用SFT 結構代替Excitation 操作和注意力分配操作。這樣不僅在通道上進行注意力自適應，而且還在空間上進行特征自適應，以求得一種空間依賴關系。其過程可以表示為：

式中：FU定義為級聯的中間特征；ZC是全局平均池化后C個通道的全局信息的描述；γ為縮放因子，β為平移因子，是一對調制參數對；⊕代表矩陣加法；⊙代表像素之間的乘法；δ代表sigmoid 門控函數；H′是經過SFTCA 模塊后得到的重新分配注意力的特征；HR表示最后重建出的圖像。

在基于SFT 的空間通道注意力重構單元中，為了更好將模型的中間特征進行融合，重構單元不是簡單地將3 個特征進行級聯后送入SFTCA 模塊，而是采用部分迭代反投影的思想，對3 種特征進行進一步處理，讓級聯的特征不至于冗余。重構單元的結構如圖7 所示。

圖7 基于SFT 的空間通道注意力重構單元結構示意圖

文獻[16]指出，融合特征層數并不是越多越好。為此，本文在進行級聯特征時也做了簡單的特征層篩選。

在多數深度學習超分辨重構模塊中，大多使用單一卷積操作，忽略了不同特征層之間關系，或者將不同特征層之間的特征進行簡單級聯，這樣不僅忽略了不同特征層在重建時，其貢獻力度不同的特性，還忽略了空間特征層之間的自相似性。基于SFT 的空間通道注意力重構單元不僅學習不同特征層之間的在通道和空間上的依賴和差異性，還利用不同特征源進行殘差學習，從而使得特征更加具有鑒別性。

3 損失函數

大多數基于深度學習的超分辨重建算法使用的是L2損失函數或者L1損失函數作為網絡模型訓練時的損失函數。文獻[17]指出：L2損失函數忽略了圖像內容本身的影響，不可避免地產生模糊預測，恢復出的高分辨圖像往往過于平滑；L1損失函數可以忍受異常值，相較前者而言，沒有那么平滑且收斂效果也比較好。本文網絡大體結構類似于LapSRN，但是又有所不同。本文網絡中間結構加深，特征提取類型變多。為了選取更加適合本文模型的損失函數，本文4.1 節對3 種不同損失函數進行對比實驗。其結果表明，LapSRN損失函數比L1損失函數和L2損失函數的重建效果更好。LapSRN損失函數[10]的表達式為

式中：x是 輸入的低分辨圖像；y是真實圖像；是預測圖像；L是 放大級數；S為對應級數的因子（例如放大因子為2、4、8，對應級數為1、2、3）；N是輸入圖片的數量；ρ是懲罰函數，，這里設置ε=1×10?3。

4 實驗

實驗使用含800 張圖片的DIV2K 數據集[18]進行模型訓練，不做數據增強。實驗測試集采用Set5[19]、Set14[20]、BSDS100[21]以及Urban100[22]。在進行測試時，首先將模型輸出的結果，轉成YCbCr 格式，然后只計算Y通道上的2 個客觀評價指標：指標峰值信噪比（PSNR）和結構相似性（SSIM）[23]。同時，使用He等[24]提出的方法初始化網絡權重，batchsize 設置為20，訓練圖片裁剪大小為32×32。初始學習率為1×10?4，實驗一共迭代106次，并且在迭代訓練的過程中做學習率衰減以優化模型訓練，令每5×105次，學習率衰減10 倍[13]。實驗使用動量為0.9 的Adam 優化器[25]，使用L1損失函數驗證SFTCA 模塊的有效性，使用LapSRN損失函數驗證本文算法的有效性。實驗部署在Nvidia TITAN X(Pascal)GPU 以及Inter(R)Xeon(R)W-2125CPU 下。

4.1 L1、L2和L apSRN損失函數對比

在機器學習和深度學習模型中，損失函數的選取往往對模型結果影響較大。在SISR 任務中，大多使用的是L1損失函數和L2損失函數作為網絡訓練的損失函數。由于本文模型結構和LapSRN 相類似，同時為了選取更加適合本文模型的損失函數，因此，將LapSRN損失函數納入比較范疇，對3 種不同損失函數進行對比。

實驗將3 種損失函數分別作為本文所提網絡的損失函數進行模型訓練。為了方便展示效果，實驗選取了3 種損失函數訓練出的模型的中間結果，每隔5×104取樣1 次，共取樣8 次，并將取樣出的模型在Set5 與Set14 測試集上做測試，進行結果對比。實驗結果如圖8 所示，可以明顯地看出，L2損失函數相比L1損失函數、LapSRN損失函數而言，總體收斂效果比較差，而且訓練的模型也不穩定。就L1損失函數、LapSRN損失函數而言，2 種損失函數在Set5 上表現得差不多，但是在Set14 上，以LapSRN損失函數作為損失函數，模型在PSNR 上有一定提升，且穩定提升。因此，文本采用了LapSRN損失函數作為損失函數。究其原因，漸進式網絡將每層的梯度用于網絡更新權重，更加適合漸進式網絡的層次型結構。

圖8 不同損失函數在Set5，Set14 上的表現

4.2 SFT 空間通道注意力模塊實驗

為了驗證2.3 節所提模塊的有效性，本文做了2 組對比實驗。由于D-DBPN 在重構時，對中間特征進行融合比較簡單明了，在此基礎上實驗，能更好體現SFTCA 模型的有效性和模型層數對網絡的影響，所以選擇了D-DBPN 來測試SFTCA 模塊的功能而不是CSNLN。第1 組實驗用于驗證SFTCA模塊的有效性，設置了3 個模型，即模型Ⅰ、模型Ⅱ與模型Ⅲ。模型Ⅰ是D-DBPN 的原文模型；模型Ⅱ是在模型Ⅰ的基礎上，在網絡最后進行圖像重構時加入一個RCAN 網絡使用的通道注意模塊[4]（channel attention,CA）；模型Ⅲ是在模型Ⅰ的基礎上，在網絡最后進行圖像重構階段加入一個SFTCA 模塊。構建這3 個對照模型，是為了驗證2.3 節所提模塊的功能：SFTCA 模塊不僅在通道上對特征信息進行自適應學習，還在空間尺度上也學習到了特征信息。

實驗數據集是對DIV2K 數據集進行隨機裁剪13 次構成的集合，不做數據增強，每張大小為32×32，共1 萬400 張。所有模型縮放因子為4，損失函數采用的是L1損失函數，這是因為通過4.1 節對3 種損失函數的對比實驗，可以看出就重構后的PSNR 而言，LapSRN 損失函數最好，但是L1損失函數也比較相近，同時使用L1損失函數，計算量小，便于快速驗證SFTCA 模塊的有效性。實驗結果如表1 所示。

表1 不同注意機制模型在Set5，Set14 上的表現

從實驗結果看，在D-DBPN 后面接入一個CA 模塊（即模型Ⅱ），雖然在Set5 數據集上PSNR 值有一定的提高，但是在Set14 數據集上卻沒有提高。模型Ⅲ，無論是在Set5 還是Set14 上，PSNR 值都有所提升，分別提升了0.06dB 和0.02 dB。這驗證了本文提出的SFTCA 模塊的確有效，它學習到了中間特征在空間和通道上的依賴關系。但是其效果在SSIM 上似乎沒有明顯改進。

此外，對于中間特征的融合，本文做了進一步研究，即第2 組對比實驗。在重構階段，增加融合特征模塊數量的時候，模型參數會增大。文獻[16]指出融合的特征層數和重構效果并不成正比。為此，本文做了進一步實驗，驗證所提重構模塊是否滿足這一結論。實驗條件和第1 組實驗一致。實驗結果如圖9 所示。

圖9 不同特征層數Set5，Set14 上的表現

通過對特征層融合數量的調整實驗可以發現：在D-DBPN 實驗模型來看，對于Set5 而言，層數越多，效果越好，但是在Set14 上效果變化不是很明顯；在將本文提出的SFTCA 模塊加上時，在融合特征層數為5 層和6 層時，效果基本一致，實驗結果印證了文獻[16]的推論。為此在2.3 節中，本文選擇了網絡中能使重構效果達到最好的3 種特征，來重建圖像。這樣既可以減少級聯冗余特征，又可以減少網絡模型的參數量，并同時加速網絡收斂。

4.3 綜合實驗結果對比

將本文提出的算法與部分主流深度學習算法進行比較，并且給出綜合評價。所有算法采用的測試集是Set5、Set14、BSDS100 和Urban100。其中Set5、Set14和BSDS100數據集中包含了人物、動物、植物等多個自然場景，Urban100包含了不同角度、不同場景等城市場景。實驗結果對比算法有SRCNN[26]，FSRCNN[27]、VDSR[28]、EDSR[29]、Lap-SRN[10]、DBPN[9]、RDN[30]、RCAN[4]、SAN[5]、CSNLN[6]。采用公開代碼實驗，并且對這些算法的PSNR 和SSIM 指標在放大不同倍數時進行對比分析[31]。為了使實驗具有可比性，在訓練的時候，都采用同樣的數據集進行訓練，并且在測試集上對結果取平均值。

表2、表3 分別示出各個算法在放大倍數為4、8 倍時的結果。從表中實驗結果來看，本文算法比多數算法取得的重建效果好。從D-DBPN 與DDBPN+SFTCA的對比實驗結果來看，當放大4 倍時，在4 種測試 數據上，D-DBPN+SFTCA 的PSNR 值分別提高0.04、0.02、0.02、0.09dB；當放大8 倍時，PSNR 值分別提高0.02、0.04、0.00、0.06dB。可見，無論是在放大因子為4、還是8 時，SFTCA 模塊的確有效。該模塊在通道和空間尺度上學到了一定東西。此外，本文算法在放大4 倍時，在Set5、Set14 以及BSDS100 上，相比SAN 來說，2 個指標不相上下，但在Urban100 上有所提升，在放大8 倍時，有顯著提升。相比目前比較優秀CSNLN 而言，在放大因子為4 時，本文算法的2 個指標卻不及。

表2 各SISR 算法的x4 模型在不同數據集上的表現

表3 各SISR 算法的x8 模型在不同數據集上的表現

針對不同算法模型在測試數據下的表現，圖10 至圖13 展示了其中部分算法在縮放因子為4 時的實際預測結果。它們分別選自不同的測試數據集：Set5 中的“baby”、Set14 中的“foreman”、BSDS100 中 的“ 210088”以 及 Urban100 中 的“img_018”。觀測各種算法下重建圖像的局部放大圖，可以發現，從視覺角度主觀感受而言，各種算法（Bicubic 除外）在Set5 和Set14 上的重構結果基本沒有太大區別。在BSDS100 的“210088”（如圖12所示）的局部放大圖上可以明顯感覺到，本文算法的“發光觸手”的邊緣相比LapSRN、D-DBPN 等算法更加銳利，色澤也更加飽滿。在Urban100 測試數據集的“img_005”中，如圖13 所示，本文算法預測出的“磚頭之間的溝壑”也更加清晰，顯得有層次感。

圖10 測試集Set5 中的“baby”重建效果對比

圖11 測試集Set14 中的“foreman”重建效果對比

圖12 測試集BSDS 中的“210088”重建效果對比

圖13 測試集Urban100 中的“img_018”重建效果對比

從上面的客觀指標分析和主觀視覺效果分析來看，由本文算法重建出的結果，表現出了一定優越性，證明了網絡中所提結構模塊的有效性。本文算法在特征提取階段，利用經偽仿射性特征單元后得到的特征指導中間特征學習，在重構階段，利用空間變換的思想，使得重構模塊在空間和通道2 個維度對中間特征進行重構，從而使重構出的結果包含多角度的特征信息，效果更好。

5 結束語

本文首先利用SFT 思想對RCAN 中的CA 模塊進行改進，提出SFTCA 模塊，并在D-DBPN 上驗證了其有效性；然后將SFT 思想和漸進式思想融合與SFTCA 模塊進行結合，提出基于SFT 的空間通道注意力機制重構的漸進式網絡。網絡總體效果相對于基于通道注意機制的RCAN 網絡和基于非局部注意機制的SAN 有一定提升，但是相比CSNLN 有待提高。本文算法結構，相對于CSNLN而言卻比較簡單，且計算量偏低。此外，為了使得整個模型計算量最小，在空間變換單元使用SFT層的數量為1，這可以作為下一個研究方向進一步探索。