基于反饋生成對抗網絡的單圖像超分辨率重建

王永強，李 雪，范迎迎，錢育蓉,4+

(1.新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046；2.新疆大學 軟件學院， 新疆 烏魯木齊 830046；3.新疆大學 新疆維吾爾自治區信號檢測與處理重點實驗室， 新疆 烏魯木齊 830046；4.新疆大學 軟件工程重點實驗室，新疆 烏魯木齊 830046)

0 引 言

單圖像超分辨率重建(single image super-resolution，SISR)是用單個低分辨率圖像重建高分辨率圖像的任務，近年來在計算機視覺領域受到了廣泛的關注，主要應用領域有視頻監控[1]、生物特征識別[2]等。基于深度學習的SISR方法因其出色的重建性能而備受關注，最初Dong等[3]引入了淺層卷積神經網絡來實現圖像超分辨率重建技術。Kim等[4]為了取得更加卓越的重建性能，開始增加網絡的深度和參數量。Tai等[5]以前饋的方式采用遞歸結構，其在不影響性能的前提下有效減少網絡參數，如DRCN[6]和DRRN[5]。受益于遞歸結構的反饋連接能夠提供強大的早期重建能力，Li等提出一種具有反饋機制的超分辨率網絡GMFN[6]。然而，上述介紹的模型均是面向非GAN的模型，這類工作主要集中在最小化均方重建誤差，盡管重建的(super-resolution，SR)超分辨率圖像具有較高的峰值信噪比，但是其通常缺乏高頻細節，使得重建任務在視覺感知質量上仍存在很大進步空間。為了獲得感知質量較好的圖像，生成對抗網絡(GAN)被引入到圖像超分重建中，如SRGAN[7]、SFTGAN[8]、EnhancedNet[9]、NatSR[26]、ESRGAN[27]，然而現有面向GAN的SISR模型大多存在如下問題：

(1)現有基于GAN的SISR模型都是以前饋方式共享信息。然而，前饋方式使網絡的先前層不能從后層訪問有用信息；

(2)盡管基于GAN的SISR模型可以重建逼真度較高的SR圖像，但SR圖像會出現幾何失真以及尖銳的邊緣；

(3)現有的SISR模型忽略了在處理圖像高頻信息時反饋機制和GAN網絡具有優勢互補的特點。

基于上述問題，本文提出了一種基于反饋機制的超分辨率生成對抗網絡GFSRGAN。與現有模型對比，改進后的模型能恢復出更逼真自然的紋理。

1 相關理論

1.1 GMFN

最近的許多研究方法采用不同種類的跳躍連接來改善圖像SR的性能。這些網絡結構[5,12,13]中的跳躍連接都是以自下而上的方式使用特征信息，使得網絡的后層只能接收先前層的信息，由于接收域較小的限制，導致缺少足夠的上下文信息，進一步限制了網絡的重建性能。為了解決這個問題，Li等[7]提出一種通過反饋機制實現了低分辨率圖像重建高分辨率圖像的任務的超分辨率反饋網絡(GMFN)。GMFN可以迭代多次，其中，每一個迭代都計算一次損失迫使網絡每次迭代都重建圖像，每次迭代完成后將子網絡的輸出，即粗糙的SR圖像信息，與低分辨率(low-resolution，LR)圖像一起作為下一次迭代的輸入，將高級信息運回到下一次重建任務中，起到完善低層信息的作用。

GMFN是一種具有反饋連接的遞歸結構，這種結構提供了強大的早期重建能力，并且僅需要很少的參數。但GMFN在特征提取過程中，LR原始特征通道圖被平等對待，在此過程會浪費不必要的計算去獲得低頻特征，使得網絡缺乏跨特征通道的判別性學習能力，最終阻礙了網絡的表示能力。并且GMFN網絡的目標主要集中在最小均方誤差重構上，雖然網絡生成的SR圖像在客觀指標PSNR、SSIM上取得了較好的結果，但其SR圖像通常缺少高頻細節,較為模糊。

1.2 反饋機制

反饋機制使網絡直接使用上一次迭代輸出的結果以更新當前網絡的權值，反饋機制在SR中的工作原理如圖1(a)所示，反饋網絡使用循環結構去實現迭代的過程，并且將損失函數應用于每一次迭代，在每次迭代開始前都提供前一個SR圖像信息，用于完善每次迭代的淺層信息。與反饋網絡不同，前饋網絡只將損失函數用于最后一次迭代中，這就導致了網絡的先前的層不能從后層訪問有用的信息，工作原理如圖1(b)所示。近些年，許多網絡架構已經采用反饋機制來完成各種視覺任務[14]。對于圖像SR模型，反饋機制的加入使得性能更加優秀。大量研究工作[7,15,16]表明，反饋機制具有優秀的重建性能。

圖1 遞歸結構中反饋機制和前饋機制在SR中的工作原理

1.3 注意力機制

注意力機制已經廣泛的應用到計算機視覺相關領域[17,18]，范圍從圖像理解，到圖像超分任務[19]。神經網絡中的注意力機制是在計算能力有限的情況下，將計算資源分配給更重要的任務，以減小處理高維輸入數據的負擔。另外它能讓網絡更專注于找到輸入數據中與當前輸出相關的有用信息，從而提高輸出的質量。如Wang等[18]提出了一種殘差注意網絡用于圖像分類，該殘差注意網絡具有一個集群和掩碼注意機制。Hu等[17]提出了擠壓-激勵(SE)塊來建立通道關系的模型，圖像分類性能得到了顯著改善。

2 GFSRGAN

本實驗的單圖像超分辨率重建旨在恢復豐富的高頻特征，同時保持內容的一致性。本部分將重點介紹本文所提到的GFSRGAN模型和訓練使用的損失函數。

2.1 GFSRGAN網絡框架

GFSRGAN模型主要由生成器和鑒別器(VGG128)組成。該模型以具有通道注意力機制的反饋網絡作為生成器。其次使用RaLSGAN[20]損失引導判別器判斷“一幅圖像是否比另一幅更真實”，而不是“一幅圖像是真實的還是假的”，最后通過融合對抗損失、感知損失、內容損失作為生成器的損失函數。

2.2 基于反饋機制的生成器

圖2 GFSRGAN生成器結構

(1)

(2)

(3)

其中，fRB表示重建塊的函數。第t次迭代的輸出圖像可由下式表示

(4)

其中，fUP表示上采樣操作，本實驗用的是雙線性上采樣。

2.3 基于注意力機制的反饋塊(CAFB)

CAFB塊的結構如圖3所示，反饋塊是由6組上采樣下采樣投影組和一個殘差通道注意力塊RCAB組成，投影組之間有密集的跳躍連接。每個投影組包括一個上采樣層和下采樣層。為了降低計算量在每個投影組中的上采樣層前和下采樣層前用1*1卷積。每個投影組中上采樣層及下采樣層的卷積核尺寸為8，步數為4，卷積核數量為64，pading 為2。

圖3 注意力機制的反饋塊(CAFB)

為了使網絡專注更多特征信息，利用通道之間的相互依賴性，在投影組后側加入一個殘差通道注意力塊RCAB。如圖4所示，從殘差注意力塊RCAB中第二個卷積層中輸出的通道特征圖X=[x1,…,xc,…,xC] 作為通道注意力的輸入(xC代表第C個通道特征圖。C的值是根據殘差注意力塊RCAB中第二個卷積層中的卷積核的數量相同，本文第二個卷積層中的卷積核的數量為64，卷積層輸出的通道特征圖數量也為64，因此本文中C=64)，其中每個特征圖的尺寸為W×H，利用全局平均池化將通道特征圖X轉化為通道描述符Z，由此獲得了1×1×C的特征圖。Z的第c個通道的描述符zc公式為

(5)

其中，HGP(·) 表示全局平均池化函數，xc(i,j) 是第c個特征圖上 (i,j) 坐標的像素值。為了使從全局協方差匯總的信息充分利用特征的相互依賴性，采用了sigmoid函數來作為門控制函數,S是被sigmoid函數激活后的通道權重，其公式如下

S=f(GUσ(GD(z)))

(6)

(7)

圖4 殘差通道注意力模塊(RCAB)

2.4 損失函數

本文采用了類似ESRGAN[10]的損失函數，其中在對抗損失部分略微不同，本文的對抗損失使用RaLSGAN[20]。GFSRGAN中生成器的損失包含3部分：像素損失Lpix、 VGG感知損失Lpercer、 對抗損失Ladv。 其中像素損失Lpix， 目的是使SR圖像與LR圖像之間的低頻信息保持一致性，其使用L1損失作為模型的像素損失。VGG感知損失Lpercer目的是鼓勵網絡恢復高頻內容。對抗損失Ladv目的是充分恢復出低分辨率圖像中缺失的高頻部分，引導生成器恢復更細膩的紋理。

ISR=G(ILR)

(8)

像素損失是計算SR圖像ISR與真實高分辨率圖像IHR之間的曼哈頓距離，如式(9)所示

(9)

其中，K表示數據集。VGG感知損失的定義請參考文獻[10],其公式如式(10)所示

(10)

(11)

(12)

(13)

E[·] 代表對最小批次的數據求平均值的操作。GFSRGAN的生成器損失包括像素損失Lpix、 VGG感知損失Lpercer和對抗損失Ladv， 如式(14)所示

LG=λLpix+Lpercer+ηLadv

(14)

其中，在LG損失函數中λ=5×10-3，η=1×10-2，給定的兩個λ，η固定值源于ESRGAN[10]中的經驗值。

GFSRGAN的判別損失函數包含兩個部分：如等式(15)所示,真實損失LReal用于激勵真實圖像比假圖像更真實。如式(16)所示，假損失LFake用于鼓勵假圖像比真實圖像更假

(15)

(16)

判別器的損失函數如式(17)所示

LD=LReal+LFake

(17)

3 實 驗

3.1 實驗細節及環境

實驗的訓練過程分為兩個階段。第一階段，使用L1損失訓練一個面向失真的模型，初始學習率設置為2×10-4，并且每2×105批次訓練后學習率減半。第二階段是基于GAN的訓練，對面向PSNR的模型進行充分訓練后，生成器使用預先訓練好的面向PSNR的模型的參數進行初始化，使用像素損失Lpix、 VGG感知損失Lpercer、對抗損失Ladv進行訓練。實驗采用預訓練VGG19網絡用于計算感知損失中的特征距離。生成器與判別器初始學習率均設置為1×10-4，并分別在[50k，100k，200k，300k] 迭代次數時，學習率減半。

在基于GAN的方法上，訓練過程分成兩個部分的策略有助于生成器生成的圖片在視覺上獲得更逼真的效果。這種策略可以避免生成器的局部最優，并且使判別器能夠注意到更多的紋理細節[15]。本實驗使用Adam作為模型的優化器,其中β1=0.9，β2=0.999。生成器和判別器網絡交替更新，直至模型收斂。全部的模型實驗環境見表1。

表1 實驗環境的配置參數

3.2 數據集和實驗指標

本實驗以DIV2K[21]和Filckr2K[22]為訓練數據集。DIV2K數據集包含1000個超清圖像，其包含訓練圖像800個，驗證圖像100個，測試圖像100個。Flickr2K[22]數據集包含了2650張2 K的高分辨率圖像，這些圖像均是由Flickr網站搜集而來。為了全面的評估本文所提出的方法，在實驗中采用Set5[23]、Set14[24]、BSD100[28]和Urban100[26]這4個通用測試集進行測試。實驗中，低分辨率和高分辨率圖像之間的比例系數為4。

為了量化實驗重建出的圖像效果，本文采用了4種廣泛使用的圖像評估指標：峰值信噪比(peak signal to noise ratio,PSNR[27])、結構相似度(structural similarity index method,SSIM[27])、2018PIRM-SR的評價方法感知質量(perceptual index，PI[28])、學習感知圖像Patch相似度(learned perceptual image patch similarity，LPIPS[29])度量。前兩種評價指標測量兩幅圖像的失真程度和結構相似性度，兩個圖像之間的PSNR值(單位：dB)越高，重建后的圖像相對于原始參考圖像的失真度越小，SSIM值越接近1，兩幅圖像的結構越相似。后兩種評估方法則用于在真實圖像和重建圖像之間度量感知相似性距離，指標越低感知質量越好，重建圖像越逼真自然。

3.3 結果與分析

3.3.1 消融實驗

此部分的消融實驗旨在研究GFSRGAN模型中的殘差通道注意力模塊和RaLSGAN對抗損失函數模塊發揮的效果，實驗逐步修改基線GMFN模型，共分為5組不同的實驗。如圖5所示，0列分別代表注意力機制模塊(RCAB)，對抗損失(GAN)。第1組實驗表示使用DIV2K和Flickr2K兩個數據集訓練的基線GMFN模型，基線GMFN模型即沒有加入注意力機制模塊(RCAB)，也沒有加入對抗損失(GAN)。圖中的√表示在基線模型基礎上加入該部分，×表示在基線模型基礎上不加入該部分。圖片下方數字表示LPIPS指標，此指標值越低，重建的圖片感知質量越好，消融研究的詳細討論如下。

第2組實驗在第1組基線GMFN模型實驗基礎上僅引入殘差通道注意力機制(RCAB)，實驗結果表明，第2組的LPIPS值較第1組的值平均下降了0.0147，實驗結果圖片的視覺質量有輕微提升。第3組和第4組實驗分別在引入標準對抗損失的基礎上，前者不使用RCAB,后者使用RCAB，實驗結果表明第4組的LPIPS值較第3組的值平均下降了0.0370，第4組得到的實驗圖片在毛線紋理，辣椒花萼邊緣，建筑結構方向等圖像細節方面更細膩立體，清晰自然。實驗進一步說明了殘差通道注意力機制的優化效果，且與標準對抗損失的聯合使用，優化效果更加明顯。

第4組、第5組實驗分別在引入殘差通道注意力機制的網絡基礎上，前者使用StandardGAN損失，后者使用本文的RaLSGAN損失，實驗結果表明第5組的LPIPS值較第4組的值平均下降了0.0312。從實驗結果的圖和LPIPS值均表明，使用RaLSGAN損失有助于產生更加清晰的邊緣和更豐富的紋理，在圖像銳度和細粒度方面處理的更加自然，實驗驗證，相比于傳統的StandardGAN損失，RaLSGAN損失函數獲得更好的視覺感知質量。

圖5 消融實驗

對比第1組基線模型GMFN的實驗和第5組本文提出的模型，結果表明第5組的LPIPS值較第1組的值平均下降了0.1827，重建圖像的感知性能大幅提升，并且實驗圖片表明，在視覺效果優化效果突出。由此說明了殘差通道注意力機制與RaLSGAN損失函數具有顯著的加成效果，有助于生成器恢復更逼真的圖像紋理細節。

3.3.2 模型參數量對比

本實驗中選取近幾年以基于GAN的超分辨率模型EnhanceNet[9]、SRGAN[8]、ESRGAN[10]、NatSR[11]以及面向失真的基線模型GMFN作為對比，網絡參數和感知效果(LPIPS)的比較結果在圖6中給出。圖中的LPIPS指標數據是在比例因子為4的Set5數據集的評測結果。從圖中分析可知GFSRGAN與基線模型GMFN在網絡參數相差不多的情況下GFSRGAN在感知質量上獲得了較大的提升；與模型ESRGAN相比，GFSRGAN減少了原有50.51%的參數量，但獲得了更好的感知效果。在參數量小于10 000 K的模型中，GFSRGAN取得了最佳效果，與EnhanceNet、SRGAN和SFTGAN相比，GFSRGAN可以較好平衡參數數量和感知質量。綜上，GFSRGAN模型在不大幅增加參數的條件下使得感知質量獲得了較高的提升。

圖6 以基于GAN的超分辨率模型參數量-LPIPS關系

3.3.3 與現有方法對比

對本文所提模型進行實驗分析，選取面向失真的基線GMFN模型及近幾年來以基于GAN的超分辨率模型SRGAN[8]、EnhanceNet[9]、NatSR[11]進行對比。各模型在不同測試集上重建圖像的PSNR、SSIM、LPIPS和PI值見表2，各模型重建圖像的局部放大圖如圖7所示。

表2 與現有方法比較的結果

圖7 不同模型的生成圖像放大圖比較

定量分析：表2中最好的結果字體被加粗，從表2中的評價指標可以看出，基線模型GMFN[7]的PSNR和SSIM值是其它SR模型中最好的，因為GMFN[7]模型是一個面向失真的模型，其僅通過測量SR圖像與HR圖像之間像素級距離的均方誤差(MSE)進行優化。因此，這種方法通常可以獲得較高的PSNR和SSIM值，但其生成的圖像較為模糊。與基于GAN模型SRGAN[8]、EnhanceNet[9]、NatSR[11]相比，GFSRGAN在所有測試數據集中都達到了最佳的PSNR、SSIM、PI和LPIPS效果。因此，實驗結果表明，本文方法GFSRGAN可以在獲得良好的感知質量的同時獲得較小的失真。

定性分析：圖7可視化的展示了部分圖像在現有基于GAN和面向失真的GMFN模型上的運行結果,與基于GAN的SRGAN、EnhanceNet、NatSR、SFTGAN模型相比，GFSRGAN重建的圖像在細節和銳度方面都優于對比模型。如第1張圖中，GFSRGAN能產生更清晰自然的狒狒胡須，第2張結果圖中，GFSRGAN可以更加準確的推斷窗戶的內部結構。在其它行中，與其它SR方法相比，GFSRGAN重建圖像沒有嚴重的變形，取得了最佳的視覺效果。與基線GMFN模型相比，GFSRGAN重建的圖像清晰度更高，紋理細節更逼真。

以上結果分析表明，與現有基于GAN的模型比較，GFSRGAN能重建出更良好視覺效果和失真程度較低的超分辨率圖像。

4 結束語

本文基于GMFN提出一種具有反饋和注意力機制的圖像超分辨率對抗網絡(GFSRGAN)。首先，該模型利用反饋網絡作為生成器，其網絡的深層信息能重新傳回淺層，進而增強淺層信息的表達，緩解了SR圖像高頻率信息丟失的問題。其次，生成器中帶有注意機制的反饋塊(CAFB)能夠有效地處理反饋信息流，并通過考慮特征圖通道之間的相互依賴性自適應地調整通道特性。最后，利用RaLSGAN損失來引導判別器判斷一幅圖像是否比另一幅更真實，從而使生成器恢復更細膩的紋理。實驗結果表明，與現有的面向基于GAN的模型相比，GFSRGAN的網絡結構在較少的模型參數的條件下，能準確地恢復重建圖像的逼真紋理。本模型目前只適合SISR問題，后續將進一步研究如何將模型運用到多圖像重建和視頻重建中。