基于廣泛激活深度殘差網絡的圖像超分辨率重建

王凡超，丁世飛,2

（1.中國礦業大學 計算機科學與技術學院，江蘇 徐州 221116;2.礦山數字化教育部工程研究中心，江蘇 徐州 221116）

如今，圖像處理技術和信息交互快速發展，圖像作為極其重要的信息載體，在公共安防、醫學診療、衛星遙感等應用領域中愈發重要，但環境和噪聲等因素的干擾，導致圖像出現質量低或者細節的紋理信息缺乏等問題[1]。圖像超分辨率(super resolution,SR)，特別單圖像超分辨率(single image super-resolution,SISR)，幾十年來受到廣泛關注。單圖像超分辨率為了通過技術手段將低分辨率(low-resolution,LR)圖像重新構建為高分辨率(high-resolution,HR)圖像，使其具有良好的高頻、紋理和邊緣信息。經過幾十年發展，圖像超分辨率逐漸被分為基于插值[2-3]、基于重建[4]和基于學習[5]三大類。

基于插值和重建超分辨率算法屬于傳統算法，都運用經典的數學模型算法，但隨著放大因子的增大，這兩種算法提供的用于重新構建高分辨率圖像的細節信息資源不足的弊端逐漸顯露，使得這些傳統算法很難達到重建高頻信息的目的。

深度學習高速發展以來，圖像重建領域也開始使用深度學習模型來完成特定任務。2014 年，Dong 等[6]最先將卷積神經網絡應用到圖像超分辨率任務上，提出了超分辨率卷積神經網絡(super-resolution convolutional neural network，SRCNN)模型，該模型進行端到端的圖像對訓練，在當時大大提高了重建效果，同時也開辟了超分辨率技術的新時代。2016 年，Kim 等[7]將超分辨率任務與殘差思想進行結合，提出了使用非常深的卷積網絡超分辨率(super-resolution using very deep convolution network,VDSR)模型，同時將網絡的深度增加到了20 層，證明了深層網絡能提取出更多的特征，取得更好的重建效果。Lim 等[8]通過對殘差結構的改進，提出增強型深度超分辨率網絡 (enhanced deep super-resolution network,EDSR)模型，通過移除批規范化處理[9](batch normalization,BN)操作，增加層數，提取更多特征，從而獲得更滿意的結果。

針對上述模型中存在的對不同層的圖像信息使用率不足等問題，本文提出了融合感知損失的廣泛激活的深度殘差網絡的超分辨率模型(widely-activated deep residual network for super-resolution combining perceptual loss,PWDSR)，通過已訓練的VGG 模型[10]提取激活前的特征，使用激活前的特征會克服兩個缺點：第一，深層網絡中，激活后得到的稀疏特征能夠提供的監督效果非常弱，影響性能；第二，激活后的特征會使得重建后的圖像與真實圖像在亮度上有所差異。融合感知損失更著眼于紋理而不是目標物體。

本文的主要貢獻包括以下方面：

1)使用權重歸一化代替批量歸一化，提高了學習率和訓練、測試準確率;

2)使用預訓練的深度模型提取激活前的特征得到感知損失，通過構建的圖像與真實圖像計算對抗損失，并結合圖像的像素損失，構建了新損失函數;

3)使用全局跳躍連接避免梯度消失的問題，促進梯度的反向傳播，從而加快訓練過程；

4)實驗證明了本文提出的損失函數改進在不同數據集上可以取得更好的評價指標，在主觀視覺效果也有所提高；

5)本文提供了高倍重建任務中優化損失函數、調整殘差塊等新的研究方向。

1 相關工作

1.1 超分辨率網絡

從超分辨率卷積神經網絡[6](SRCNN)首次提出端到端卷積神經網絡作為新的映射方式開始，超分辨率與卷積神經網絡模型越來越密切。

1.1.1 上采樣

超分辨率卷積神經網絡[6](SRCNN)對圖像進行上采樣，在高分辨率特征空間上計算卷積導致其效率是低分辨率空間的S2倍(S為放大因子)，因此效率低下。另一個有效的替代方案是子像素卷積[11](sub-pixel convolution)，該卷積比反卷積層引入更少的偽像誤差。

1.1.2 標準化

從3 層的超分辨率卷積神經網絡[6](SRCNN)到160 層的多尺度超分辨率網絡[8](multi-scale deep super-resolution,MDSR)，圖像超分辨率網絡越來越深入，訓練變得更加困難。批量歸一化[9](batch normalization,BN)在許多任務中能解決訓練困難的問題，例如SRResNet[12](super-resolution residual network)中使用了批量歸一化。

BN 通過再次校準中間特征的均值和方差來解決訓練深度神經網絡時內部協變量偏移的問題。簡單來說，如果忽略BN 中可學習參數的重新縮放，那么訓練期間可用訓練小批量的均值和方差對每一層的特征進行歸一化：

式中：xB是當前訓練批次的特征，它是一個較小的值用來避免零除。然后將一階和二階統計信息更新為全局統計信息：

其中←表示分配移動線。這些全局統計信息將用于標準化：

但BN 用于超分辨率任務時存在以下問題：1)圖像SR 通常僅使用較小的圖像塊(48×48)來加快訓練速度，小圖像塊的均值和方差相差很大，影響統計數據；2)圖像SR 網絡中沒有使用正則化器會過度擬合訓練數據集；3)圖像SR 網絡的訓練和測試時使用不同公式會降低密集像素值預測的準確性。

1.1.3 跳躍連接

跳躍連接在深層神經網絡中具有優良表現，其可以兼顧低級特征和高級特征。非常深的卷積網絡超分辨率[7](super-resolution using very deep convolution network,VDSR)模型使用全局跳躍連接。殘差密集網絡[13](RDN)使用所有卷積層的分層特征。

1.1.4 分組卷積和深度可分離卷積

分組卷積將特征按通道劃分為多個組，并分別在組內執行卷積，然后進行串聯以形成最終輸出。在組卷積中，參數的數量可以減少g倍，其中g是組數。

深度可分離卷積是深度非線性卷積(即在輸入的每個通道上獨立執行的空間卷積)，然后是點卷積(即1×1 卷積)。也可以將其視為特定類型的組卷積，其中組數g是通道數。

1.2 廣泛激活的深度殘差網絡

廣泛激活的深度殘差網絡[14](widely-activated deep residual network for super-resolution,WDSR)在ReLU 激活層之前擴展特征，同時追求不會額外增加運算量。該模型壓縮殘差等價映射路徑的特征，同時擴展激活前的特征，如圖1 所示，并與增強型深度超分辨率網絡[8](EDSR)中的基礎殘差塊(圖1(a))進行對比。WDSR-A 中的(圖1(b))具有細長的映射路徑，在每個殘差塊中激活之前都具有較寬的(2～4 倍)通道。WDSR-B(圖1(c))具有線性低秩卷積堆棧，同時在不額外增加運算量的情況下加寬激活范圍(6～9 倍)。首先使用1×1 卷積核增加通道數，在ReLU 激活層之后使用有效的線性低秩卷積，用兩個低秩的卷積核替換一個大的卷積核(1×1 卷積核降低通道數，3×3 卷積核執行空間特征提取)。在WDSR-A 和WDSRB 中，所有ReLU 激活層僅應用于兩個較寬的功能部件(具有較大通道的功能部件)之間。

圖1 廣泛激活的殘差塊與基礎殘差塊的對比Fig.1 Comparison of the residual block with wide activation and the original residual block

2 本文模型

受增強型超分辨率生成對抗網絡[15](enhanced super-resolution generative adversarial networks,ESRGAN)中使用感知域損失的啟發，本文針對廣泛激活的深度殘差網絡存在對不同層級圖像信息使用不足的問題，引入感知域損失，通過調整損失權重進行優化。本文網絡模型如圖2 所示。

圖2 融合感知損失的廣泛激活的深度殘差網絡的超分辨率模型Fig.2 Widely-activated deep residual network for superresolution combining perceptual loss

本文調用已訓練的VGG19 模型作為特征提取器。VGG 網絡模型[10]如圖3 所示。

圖3 VGG 結構模型Fig.3 VGG structure model

2.1 權重歸一化

由于批量歸一化干擾圖像超分辨率的準確性，故本文使用權重歸一化(weigh normalization,WN)來代替批量歸一化。權重歸一化是神經網絡中權重向量的重新參數化，將這些權重向量的長度與其方向解耦，使其不會在小批量中引入示例之間的依賴關系，并且在訓練和測試中具有相同的表示形式。輸出y的形式為

式中：w是k維權重向量；b是標量偏差項；x是輸入的k維向量。WN 使用以下參數重新參數化權重向量：

其中，v是一個k維矢量，g是一個標量，||v||表示v的歐幾里得范數。通過這種形式化，得到||w||=g，而與參數v無關。對于圖像超分辨率，WN 只是一種重新參數化技術，并且具有完全相同的表示能力，因此不會影響準確性。同時，WN 可以提高學習率，并提高訓練和測試準確性。

2.2 損失函數改進

模型重新構建圖像的結果很大程度上取決于損失函數的選擇，一般超分辨率模型選擇平均絕對誤差(mean absolute error,MAE)或者均方誤差(mean-square error,MSE)作為優化的目標，原因是在測試時可以獲得較高的評價指標，但是在進行8 倍等大尺度的超分辨率重建任務中，重新構建的圖像缺失大量高頻信息，導致構建的圖像不能達到視覺要求。本文模型使用感知損失函數lp，像素損失函數l1和對抗損失函數lg，通過配置3 種損失函數不同權重使其更好地對高頻信息進行重新構建，總損失函數可表示為

其中，λi代表調節各個損失項權重的正則因子，i=1,2,3。

為了在重建時保證重建圖像與對應低分辨率圖像在低頻部分保持圖像結構的一致性，像素損失使用平均絕對誤差，公式為

式中：S代表生成圖像；H代表真實高分辨率圖像；n代表網絡超參數batch 的大小。

根據生成對抗網絡的思想，在網絡重建出一幅高分辨率圖像之后，與其對應真實高分辨率圖像進行比較計算，假設N個batch，生成n個標簽，公式為

其中，σ(xn)為sigmoid 函數，可以把x映射到(0,1)之間：

本文使用的特征是預訓練的深度網絡激活層前的特征。公式為

式中：p、q分別代表真實高分辨率圖像和生成圖像；φ表示預訓練的神經網絡；j表示該網絡的第j層；Cj×Hj×Wj為第j層特征圖的形狀，使用的是每個卷積模塊的激活值。

為確定損失函數中不同分量的權重值，本文進行了參數實驗，根據收斂情況確定權重值，圖4～6 分別為感知損失、像素損失、對抗損失隨權重的變化曲線，損失函數收斂到最小值時對應值即為正則因子λi權重值，i= 1,2,3。

圖4 感知損失收斂曲線Fig.4 Perceptual loss convergence curve

PWDSR 算法描述如下：

圖5 像素損失收斂曲線Fig.5 Pixel loss convergence curve

圖6 對抗損失收斂曲線Fig.6 Adversarial loss convergence curve

3 實驗設置

本實驗在Windows 10 操作系統中使用PyTorch 深度學習框架，Python 版本為3.7.6，硬件配置為Intel(R)Core(TM)i5-7300HQ CPU @ 2.50 GHz,24 GB 內存，顯卡為NIDIA GeForce GTX 1 050 Ti，使用CUDA 10.2 + cudnn 7.4.1 進行GPU 加速，在訓練過程中，采用Adam 梯度下降算法，設置初始學習率為0.001，模型的epoch 設置為200，每10 次保存一次網絡模型。

3.1 數據集

DIV2K 數據集是用于NTIRE 大賽的標準數據集，該數據集包含1 000 張2K 分辨率的高清圖像，其中800 張作為訓練數據集，100 張用于驗證，100 張用于測試。該數據集還包含高清分辨率圖像對應的低分辨率圖像(使用插值法獲得)便于訓練。本文中，將DIV2K 數據集中編號1～800 的圖像作為訓練集，編號801～900 的圖像作為驗證集，編號901～1 000 的圖像作為測試集，另選Set5、Set14 為測試集進行對比。Set5 為5 張動植物的圖像，Set14 數據集包含14 張自然景象的圖像。

3.2 評價指標

圖像超分辨率效果的客觀評價指標為峰值信噪比(peak signal-to-noise ratio,PSNR)和結構相似性(structural similarity,SSIM)。

3.2.1 峰值信噪比

峰值信噪比是圖像超分辨率評價指標中使用最多的一種標準，其使用均方誤差來對圖片質量作判斷。對于單色m×n的高清原圖I與超分辨率得到的圖片K，兩者之間的均方誤差公式為

峰值信噪比的公式為

式中：MAXI表示像素最大值，如果采樣點用8 位表示，則為255。可見，MSE 與PSNR 成反比，PSNR 越大代表重新構建的圖像效果越好。

3.2.2 結構相似度

結構相似度是圖像超分辨率重建的另一個應用較為廣泛的測量指標，其輸入是兩張圖像，其中一張是未經壓縮的無失真圖像y，另一張是重新構建出的圖像x，那么SSIM 公式為

式中：α>0，β>0，γ>0，l是亮度(luminance)比較，c是對比度(contrast)比較，s是結構(structure)比較：

一般c3=c2/2，其中μx、μy表示均值。表示方差，σxy表示x與y的協方差。在實際應用中通常設α=β=γ=1，故可將式(15)簡化為

可以看出，SSIM 具有對稱性，即SSIM(x,y)=SSIM(y,x)，SSIM∈[0,1]，SSIM 與輸出圖像和無失真圖像的差距成反比，SSIM 越大圖像質量越好。當兩幅圖像一模一樣時，SSIM=1。

3.3 實驗結果及分析

本實驗從客觀評價結果和主觀評價結果兩方面來表現改進模型的超分辨率能力，通過不同方式證明了本文提出的模型改進能優于其他模型。

3.3.1 客觀評價結果

本文在3個公開數據集上測試了WDSR-A、WDSR-B 以及本文模型，分別計算在不同數據集上采用不同算法進行上采樣2、3、4 倍時的PSNR和SSIM，對比結果如表1 所示。

表1 在不同數據集上對比放大倍數為2、3、4 的重構圖像的PSNR 和SSIMTable1 Comparison of PSNR and SSIM of 2,3,and 4 times reconstructed images on different datasets

從實驗結果不難發現，更換不同數據集，本文提出的方法在2、3、4 倍重建任務中，都能夠取得較好的PSNR 和SSIM 值，相較于其他模型，在客觀指標上有所提升。

3.3.2 主觀評價結果

本文分別選取了DIV2K、Set5、Set14 數據集中的3 張高分辨率圖像進行放大倍數為2、3、4 的重構對比，為了更好地體現對比結果，本文將選取不同圖片的不同細節進行放大對比：圖7 選取DIV2K 數據集中圖像綠葉的右端枝葉部分進行4 倍重建對比，圖8 選取Set5 數據集中圖像嬰兒的左眼及上方部分進行3 倍重建對比，圖9 選取Set14 數據集中圖像女孩的左眼及下方部分進行4 倍重建對比。

圖7 編號0803(DIV2K)4 倍重建視覺比較Fig.7 Visual comparison of SR results of “0803” (DIV2K)with scale factor 4

圖8 baby(Set5)3 倍重建視覺比較Fig.8 Visual comparison of SR results of “baby” (Set5)with scale factor 3

圖9 comic(Set14)4 倍重建視覺比較Fig.9 Visual comparison of SR results of “comic” (Set14)with scale factor 4

從視覺對比結果可以看出，3 種模型在2、3、4 倍的重建任務中都可以完成重建高分辨率圖像，但本文提出模型在不同倍數重建任務中，能夠重建出更好的紋理細節，達到更好的視覺效果，說明重新構建出的圖像更接近原始高分辨率圖像。

4 結束語

本文在廣泛激活的深度殘差網絡的基礎上，融合感知損失、對抗損失、像素損失，對整體損失函數進行優化，使用已訓練好的VGG19 模型提取激活前的特征得到感知損失，避免了使用激活后的稀疏特征導致的性能不良等問題。本文使用權重歸一化代替批量歸一化，提高了學習率和訓練、測試準確率。使用全局跳躍連接，避免梯度消失的問題，同時有助于梯度的反向傳播，加快訓練過程。從實驗結果可以看出，本文提出的損失函數改進在不同數據集上可以取得更好的評價指標，在主觀視覺效果也有所提高。在高倍重建任務上還有提升空間，后續工作以調整殘差塊和優化損失函數等方向進行展開。