基于深度漸進式反投影注意力網絡的圖像超分辨率重建

胡高鵬，陳子鎏，王曉明，2*，張開放

（1.西華大學計算機與軟件工程學院，成都 610039；2.西華大學機器人研究中心，成都 610039）

（*通信作者電子郵箱hgp9411@163.com）

0 引言

在如今數據爆炸的時代，圖像數據占據著尤為重要的地位，同時人們對圖像分辨率的需求也越來越高。但是依靠提高硬件設施來提高圖像的清晰度，不僅難度大、成本高，而且實用性差。圖像超分辨率（Super-Resolution，SR）技術便是使用數字信號處理技術將單張LR圖像或一組LR圖像序列重建成HR 圖像。作為近些年來研究的熱點問題，圖像SR 任務又可分為單幀圖像超分辨率（Single Image Super-Resolution，SISR）［1-9］、多幀圖像超分辨（Multi-Frame Super Resolution，MFSR）［10-12］和視頻超分辨率（Video Super-Resolution，VSR）［13-15］。本文主要研究單幀圖像超分辨率的問題，即只利用單幅圖像的高頻和低頻信息進行圖像SR重建。

隨著對SR 任務研究的深入，涌現出了大量的SR 算法，這些算法大致可分為三類：基于插值的方法、基于重建的方法、基于學習的方法。由于近些年深度學習在計算機視覺各領域都取得了突出的表現，所以基于學習的SR方法也成為了超分辨率技術研究的熱點。Dong 等［1］首次將卷積神經網絡應用于SISR 問題，提出了（Super-Resolution Convolutional Neural Network，SRCNN），并取得了優(yōu)越的表現。Kim 等［2］提出了（Super-Resolution using Very Deep Convolutional Network，VDSR），使用殘差的思想緩解了梯度消失或梯度爆炸的問題，將網絡層數增加至20 層，由于只學習圖像的高頻信息，所以提高了收斂速度，同時在VDSR中使用了較大的感受野來提升效果并且在單模型中考慮到了多尺度問題。之后Kim 等［3］考慮到參數規(guī)模的問題又提出了（Deep Recursive Convolutional Network，DRCN），即使用遞歸的網絡結構，共享網絡結構之間的參數，有效地降低了訓練的難度；另外作者還采用跳躍連接和集成策略，進一步提高性能。隨后Shi等［4］提出 了（Efficient Sub-pixel Convolutional Neural Network，ESPCN），使用LR圖像作為輸入，在網絡結構的后端使用亞像素卷積層隱式地將LR 圖像映射為HR 圖像，有效地降低了計算復雜度，提高了重建效率。Lai 等［5］提出的LapSRN（deep Laplacian pyramid Networks for fast and accurate Super-Resolution），將拉普拉斯金字塔的思想引入到了深度學習中，實驗結果證明了逐級上采樣操作的優(yōu)越性，并且在訓練的過程中監(jiān)督每一水平預測的殘差結果，使得性能進一步提升。Lim 等［6］通過去除文獻［7］中多余的模塊，并且使用L1范數作為損失函數的方式提出了（Enhanced Deep residual networks for single image Super-Resolution，EDSR）網絡結構。文獻［6］將訓練好的低倍上采樣的模型作為高倍率上采樣模型的預訓練，不僅提高了訓練的速度，同時訓練的結果也更好。

以上這些網絡結構多為前饋結構，忽略了HR 圖像和LR圖像的相互依賴關系和上采樣LR 圖像時的誤差。鑒于此Haris等［8］提出了一種不斷迭代地進行上采樣和下采樣的網絡結構。文獻［8］使用上下采樣相互連接策略和錯誤反饋機制學習HR 和LR 的相互映射關系，并且使用深度級聯(lián)的結構級聯(lián)不同階段的HR 和LR 特征重建HR 圖像；但是忽略了在重構HR 圖像時，不同階段產生的HR 特征的貢獻可能不同，并且由于網絡的深度增加導致重建的HR 過于平滑，丟失了部分高頻信息。針對這些問題，本文提出了深度漸進式反投影注意網絡，即使用漸進式上采樣至特定的倍數并且引入注意力機制進一步提升了深度反投影網絡的性能。本文的主要工作有兩個，分別如下：

1）引入了漸進式上采樣的思想，對于輸入的LR 圖像逐步上采樣至特定的尺寸，這不僅有效地減少了上采樣過程中引入的噪聲，還由于每次縮放相對較小的倍率，緩解了上采樣過程中信息丟失的問題，同時也降低了網絡的計算復雜度。

2）使用注意力機制為漸進式反投影過程中每階段產生的特征圖以及特征圖的各個通道，自動分配不同的注意力資源。使網絡模型可以學習到盡可能多的高頻信息，并盡量減少上下采樣過程產生的誤差。

1 深度反投影網絡超分辨率算法

針對SISR 任務，之前大多數的網絡模型都是采用前端上采樣、漸進式上采樣或后端上采樣方法，但這些方法都忽略了重建過程中造成的重構誤差。Haris等［8］引入了迭代反投影方法，提出了深度反投影網絡（Deep Back-Projection Networks for super-resolution，DBPN）結構，同時引入了密集連接的思想發(fā)展DBPN 為D-DBPN（Dense DBPN）。作者主要使用了誤差反饋機制、相互連接的上采樣和下采樣策略以及深度級聯(lián)等思想構建深度網絡結構。D-DBPN 采用迭代反投影的思想，多次模擬圖像上采樣及下采樣的過程，并計算每次上下采樣中的誤差，利用誤差反饋機制指導下次的上下采樣過程，以降低重建誤差。

投影單元分為上投影單元和下投影單元。對于輸入大小為M×N的LR特征圖Lt-1上投影單元計算流程被定義為：

上采樣：

下采樣：

計算誤差：

上采樣：

輸出特征圖：

其中：*表示空間卷積算子；↑s和↓s分別是尺度為s的上下采樣；pt，gt和qt分別代表在t階段的卷積或者反卷積核；Ht表示得到的大小為pM×pN的HR特征圖。

對于輸入大小為pM×pN的HR 特征圖Ht下投影單元的計算流程被定義為：

下采樣：

上采樣：

計算誤差：

下采樣：

輸出特征圖：

深度反投影網絡雖然已經在SR 任務中取得了卓越的表現，但是仍存在一些問題。它使用相互連接的上下投影單元學習LR 圖像和HR 圖像之間的相互依賴關系，但是一方面由于使用了較深的網絡的結構，造成參數規(guī)模較大難以訓練；同時在訓練過程中丟失了部分的高頻信息，使得產生的結果缺少了邊緣和紋理等細節(jié)信息。此外該網絡結構平等地對待每個階段產生的HR 特征圖，忽略了各個特征圖之間的相互依賴關系以及各個特征圖之間各通道的相互依賴關系。另一方面，雖然D-DBPN 使用相互連接的上下投影單元學習LR 圖像和HR 圖像之間的相互依賴關系，但是在上采樣時仍是直接放大至所需的尺寸。這種方式特別是在高倍率縮放時，會造成部分高頻信息丟失和參數規(guī)模增加等問題。

2 本文方法

D-DBPN［8］方法對提取到的特征圖直接上采樣至給定的倍率，但在高倍率時容易丟失高頻信息。此外，在重建預測圖像時均等地對待各階段產生的特征，忽略了特征圖之間的差異性。本文受到LapSR［5］和RCAN（Residual Channel Attention Networks）［9］的啟發(fā)，提出了深度漸進式反投影注意力網絡。由于使用漸進式上采樣策略，所以減少了在上采樣過程丟失的高頻信息，同時產生的結果具有更豐富的細節(jié)信息。此外，引入全局注意力機制對相互連接的不同階段的特征圖以及不同特征圖的不同通道分配不同的注意力資源，以學習到更深層次的特征信息。本文提出的深度漸進式反投影注意力網絡結構如圖1 所示，由淺層特征提取、漸進式反投影、特征注意、重建等四部分組成。

圖1 本文算法的網絡結構Fig.1 Network structure of the proposed algorithm

2.1 淺層特征提取

首先Ih和Ir分別表示大小為M×N和大小為M'×N'的HR 圖像和LR 圖像，并且滿足M＞M'和N＞N'。此外，conv(f，n)表示卷積層，其中f代表濾波器的大小，n表示濾波器的數量。對于輸入的LR 圖像Ir，首先使用conv(3，n0)提取淺層特征L0。然后使用conv(1，nr)將提取到的n0維的淺層特征的維度減少到nr。其中n0代表提取LR圖像淺層特征時，需要的濾波器數量，nr表示投影單元需要的濾波器數量。

2.2 漸進式反投影策略

鑒于上采樣過程很容易引入噪聲，尤其在高倍率采樣過程中容易丟失高頻信息，為此本文提出了漸進式反投影策略。即對于提取到的淺層特征，使用漸進式反投影單元縮放至所需尺寸，其中每個反投影單元都包含上投影單元和下投影單元。

1）上投影單元。上投影單元結構如圖2（a）所示，首先將輸入的LR 特征圖Lt-1映射到特定的尺寸得到特征圖，然后再模擬下采樣的過程，嘗試將特征圖映射到LR 空間得到特征圖Lt，這一過程被稱之為反投影的過程。但是由于在計算HR 和LR 特征之間映射和反映射時總會存在誤差，故計算特征圖Lt-1和由上采樣得到的特征圖Lt之間的誤差。然后對進行相同的上采樣操作得到，用得到的誤差指導到映射過程，最后得到上采樣投影的輸出HR 特征圖Ht。

圖2 不同單元結構示意圖Fig.2 Schematic diagrams of different unit structures

2）下投影單元。下投影單元的結構和上投影單元相似如圖2（b）所示。上投影單元的輸入是LR特征圖Lt-1，而下投影單元的輸入則是經過上投影單元產生的HR 特征圖Ht。故而首先將輸入的特征圖Ht映射至LR 空間得到特征圖，然后再將特征圖映射至HR 特征圖并計算特征圖Ht和之間的誤差。最后將投影誤差下采樣得到用以指導Ht到的映射過程得到LR特征圖Lt。

此外，將需要上采樣t倍的任務劃分為lb(t)個子任務，每個子任務都包含若干個反投影單元。對于第k子任務，采用密集連接的方式級聯(lián)之前k-1 個子任務的預測結果。由于采用漸進式的上采樣操作，所以每個子任務所產生的HR 特征圖尺寸不同。為了解決每個預測特征圖尺寸不同的問題，在每個子任務開始之前使用轉置卷積的方法將之前各子任務輸出的特征圖上采樣至所需尺寸。此外對于lb(t)個任務中的每個子任務，均使用迭代的反投影單元學習LR 和HR 圖像之間的相互依賴關系，漸進式反投影策略有效地緩解了高倍率縮放時的信息丟失和引入噪聲等問題。

2.3 全局注意單元

全局注意力單元結構如圖3 所示，即將之前所有上投影單元的輸出結果[H1，H2，…，Hn]都漸進式地上采樣至給定的尺寸并級聯(lián)在一起得到H×W×C的特征圖。對于輸入的H×W×C的特征圖X=[H1，H2，…，Hn]，先進行全局池化操作，逐通道進行分析Z∈RC，Z的第c個元素可以定義為：

圖3 全局注意力機制單元結構示意圖Fig.3 Schematic diagram of global attention mechanism unit structure

其中：Hc(i，j)代表在第c個特征圖(i，j)處的特征值xc；HGP(x)表示全局池化函數。全局池化得到zc描述了第c個通道的特征圖的全局信息，同時也將第c通道的特征信息映射為一個數值。之后利用設計的門控函數計算每個通道特征應該分配多少注意力。門控函數被定義：

其中：f(·)和δ(·)分別表示sigmoid 門控單元和ReLU 激活函數；WD是卷積層的權重矩陣，該卷積層將輸入的特征圖的維度進行下采樣，采樣比率為r，然后用ReLU 函數激活；WU表示上采樣卷積層的權重矩陣，采樣比率同樣是r，同時該卷積層的激活函數使用sigmoid 函數，從而得到注意力分配比率。最后被分配過注意力的特征圖可以通過式（13）計算得到：

其中：sc和Hc分別表示第c通道的特征的注意力分配比率和第c通道的特征圖，而H'c表示被分配注意力資源的特征圖。

2.4 重建

最后，使用conv(3，3)的卷積層對全局注意力單元得到的特征圖進行重建得到大小為M×N的高分辨率預測圖像Isr，重建層如式（14）所示：

其中：Isr表示預測得到的高分辨率圖像；fRec(·)是3 個卷積核大小為3×3的卷積函數；H'k表示分配過注意力的各個階段的特征圖。

針對超分辨率回歸任務，通常選擇L1范數損失和均方誤差（Mean Squared Error，MSE）損失作為網絡模型的優(yōu)化目標，為了選擇出更適合本文方法的損失函數，在3.1 節(jié)選擇不同的損失函數進行對比實驗。實驗結果表明使用L1范數更適合作為本文方法的優(yōu)化目標，故本文的實驗均選擇L1范數損失函數。假設給定的訓練集，其包含N個LR輸入圖像和對應的HR 真實圖像，則漸進式反投影注意力網絡的優(yōu)化目標是最小化L1損失函數：

其中：HRBPAN(·)表示本文整體的網絡模型預測函數；θ代表本文網絡結構中所涉及的參數；L(·)表示本文方法的損失函數。此外本文使用隨機梯度下降法最小化L1損失函數。

3 實驗與結果分析

由于本文采用漸進式反投影策略，所以在該網絡結構中每次采樣時都只使用大小為6 ×6 ×64 的卷積核、步長和填充大小都為2 的反卷積層，同時在每個反投影單元中均使用相同的配置。在訓練網絡模型時使用數據集DIV2K［16］，不做數據集增強。此外，使用He 等［17］提出的方法初始化網絡權重，并且batchsize 設為20，訓練時LR 圖像大小為32 ×32。初始的學習率為1E-4 并且每迭代5×105次學習率降低至原來的1/10，一共迭代106次。另外使用動量為0.9 的Adam［18］優(yōu)化方法，使用L1范數作為損失函數。所有的實驗均部署在Nvidia TITAN X（Pascal）GPU 以及Intel Xeon W-2125 CPU 環(huán)境下。

3.1 L1范數損失函數和MSE損失函數對比

由于損失函數在網絡模型中重要的作用，所以在構建網絡模型時損失函數的選擇就顯得尤為重要。本文選取目前最常見的損失函數即L1范數損失函數和MSE 損失函數，進行實驗對比并選擇出更適合本文算法的損失函數。

為此，本實驗使用縮放因子為4，反投影單元數量為6 的配置構造了模型Ⅰ和模型Ⅱ，模型Ⅰ為使用MSE 損失函數作為網絡模型優(yōu)化目標的，模型Ⅱ為使用L1范數損失函數作為網絡模型優(yōu)化目標的。同時為保證實驗的公平性原則模型Ⅰ和模型Ⅱ使用相同大小的卷積核和相同的網絡深度，其實驗結果表1所示。

從表1中可以發(fā)現在Set5 數據集上，使用L1范數作為損失函數的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）指標和結構相似性（Structural SIMilarity，SSIM）指標均高于使用MSE 損失函數的指標，同樣在Set14 數據集上有相同的結論，故此認為L1范數損失函數更適合作為本文算法的優(yōu)化目標。

表1 在Set5和Set14數據集上對比不同損失函數的表現Tab.1 Performance comparison of different loss functions on Set5 and Set14 datasets

3.2 模型分析

本文方法不僅引入了注意力機制，而且融入漸進式上采樣策略來提升超分辨率的結果。為了驗證所提出的網絡模型每部分的有效性，構建了三個網絡模型，即模型Ⅲ、模型Ⅳ和模型Ⅴ。其中模型Ⅲ是文獻［8］中使用6 個反投影單元的DDBPN 模型，模型Ⅳ和模型Ⅴ的設置分別如下：在模型Ⅳ中，只引入了注意力機制。該模型使用和模型Ⅲ相同數量的反投影單元，在縮放因子為4 和8時，分別使用8×8 和12×12 的反卷積核。在模型Ⅴ中，不僅引入了注意力機制，并且融合了漸進式上采樣的操作，使用相同數量的反投影單元。但是在縮放因子為4和8時，均使用6×6的反卷積核。實驗對比了各網絡模型在不同數據集上分別上采樣4 倍和8 倍時的PSNR 和SSIM［19］的取值，實驗結果如表2所示。

表2 模型Ⅲ、模型Ⅳ和模型Ⅴ在Set5和Set14數據集上的表現Tab.2 Performance of Model Ⅲ，Model Ⅳand Model V on Set5 and Set14 datasets

實驗結果表明，在相同數量的反投影單元的情況下，模型Ⅳ和模型Ⅴ在放大4倍和8倍時的重建結果，相較于模型Ⅲ在PSNR 指標和SSIM 指標上都取得了大幅度的提升。其中相對于模型Ⅲ算法在縮放因子為4時，模型Ⅳ和模型Ⅴ：在Set5 數據集上的PSNR 分別提高了1.41 dB 和1.44 dB，SSIM 分別提高了0.038 和0.039；在Set14 數據集上PSNR 分別提高了0.79 dB 和0.86 dB，SSIM 分別高了0.086 和0.0867。當縮放因子為8時，模型Ⅳ和模型Ⅴ相對于模型Ⅲ：在Set5 數據集上PSNR 分別提高了0.79 dB和1.22 dB，SSIM 分別提高了0.076和0.08；在Set14 數據集上PSNR 分別提高了1.09 dB 和1.29 dB，SSIM 分別提高了0.145 和0.146。同時可以觀察到模型Ⅴ相對于模型Ⅳ，無論是在Set5數據集上還是在Set14數據集上，縮放因子為4和8時在PSNR指標上和SSIM指標上均有提高。經以上分析可見，本文融合的注意力機制和漸進式上采樣思想每部分都展示了其優(yōu)越性，這都得益于其不同特征圖的差異性和小步幅的上采樣過程會減少特征信息的丟失，同時可以發(fā)現本文算法在縮放因子較大時重建結果取得了更優(yōu)越的表現。

3.3 參數規(guī)模

在本節(jié)選取部分主流深度學習的方法與本文算法的參數規(guī)模大小進行對比，選取的部分主流算法包括SRCNN［1］、VDSR［2］、LapSRN［5］、EDSR［6］、D-DBPN［8］、RCAN［9］、MemNet［20］、FSRCNN（Faster SRCNN）［21］，比較結果如圖4所示。

圖4（a）展示了當縮放因子為4時，本文所提出的算法和各主流算法在Set5 數據集上測試時的參數規(guī)模。從圖4（a）中，可以發(fā)現當縮放因子為4時，本文所提出的算法比EDSR［6］的參數量減少了66.7%并且重建圖像的質量提高了約1 dB。同樣當縮放因子為8時，本文算法的參數量雖然有些增加，但是仍維持在一個相對較小的水平（如圖4（b）所示）。本文算法預測圖像的質量高于EDSR 的預測結果約1.2 dB，相對于EDSR［6］效果參數量減少了66.7%。

圖4 Set5數據集上各主流算法在不同模型的參數規(guī)模對比Fig.4 Parameter scale comparison of mainstream algorithms on Set5 dataset

本文采用漸進式上采樣的策略，并且使用感受野較小的卷積核，同時網絡層數也相對較少，所以網絡并沒有引入的大量的參數。但是由于算法的優(yōu)越性，保證了預測圖像的質量維持在一個相對較高的水平。

3.4 綜合實驗結果對比分析

本節(jié)將本文方法與部分主流的深度學習算法在不同的數據集上分別上采樣不同的倍數取得的實驗結果進行對比分析。實驗所采用的數據集分別是Set5［22］、Set14［23］、BSDS100［24］以及Urban100［25］，其中每個數據集有不同的形態(tài)特征，Set5、Set14和BSDS100包含有多個自然場景，Urban100包含具有不同頻段細節(jié)的城市場景。本文對比的主流深度學習算法包括SRCNN［1］、VDSR［2］、LapSRN［5］、EDSR［6］、D-DBPN［8］、RCAN［9］、MemNet［20］、FSRCNN［21］、SCN （Sparse Coding based Network）［26］、SRMDNF（learning a single convolutional Super-Resolution Network For Multiple Degradations）［27］和RDN（Residual Dense Network for image super-resolution）［28］并且分別計算這些主流算法上采樣2 倍、4 倍和8 倍時的PSNR 和SSIM 值并對比分析。為了保證實驗的公平性，對以上算法使用了相同的訓練集，并且比較在各測試集上的平均結果。縮放因子為2、4和8時的實驗結果如表3～5所示。

表3 各SISR算法的×2模型在不同數據集上的性能Tab.3 Performance of×2 models of various SISR algorithms on different datasets

從表3～5中可以發(fā)現，在縮放因子為4 和8時，本文所提出的算法在各數據集上PSNR 和SSIM 均取得了最好的表現。在縮放因子為2時，本文的算法在Set5數據集上PSNR 并沒有取得最優(yōu)的表現，SSIM 也只有微小的提升，但是在其余數據集上各指標均達到了最優(yōu)的重建效果。其中在BSD100 數據集上縮放因子為4時與其他算法相比，本文算法的PSNR 提升最明顯達到了30.93 dB，相較于次最優(yōu)算法RCAN的PSNR提高了3.16 dB。同時由于本文更關注縮放因子較大的重建效果，所以總體上縮放因子越大，本文算法的優(yōu)越性展現得越明顯。

圖5展示了部分主流算法在scale=4時，對Set5、BSDS100、Set14 和Urban100 數據集中的women、monarch、167083 和img_005 四幅圖像的預測結果。觀察各算法重建的women 圖像的局部放大效果，可以發(fā)現Bicubic 等算法預測結果最模糊，其眼睛區(qū)域較平滑和模糊，而本文算法在眼睛區(qū)域獲得了更為豐富的細節(jié)信息和較為清晰的邊緣。同時比較其他兩幅圖像，同樣發(fā)現monarch 放大區(qū)域花瓣的邊緣更加銳利，167083 和img_005 放大區(qū)域的線條也更加明朗。所以本文算法的重建結果無論在客觀指標還是在視覺效果上，都展示出了明顯的優(yōu)越性。

表4 各SISR算法的×4模型在不同數據集上的性能Tab.4 Performance of×4 models of various SISR algorithms on different datasets

表5 各SISR算法的×8模型在不同數據集上的性能Tab.5 Average performance of×8 models of various SISR algorithms on different datasets

圖5 幾種算法對4幅圖片的預測結果對比Fig.5 Prediction results comparison of several algorithms for 4 images

4 結語

本文提出了深度漸進式反投影注意網絡，主要利用漸進式上采樣的思想并結合了迭代反投影方法和注意力機制，緩解了目前主流算法上采樣過程中的高頻信息丟失，忽略了高低分辨率圖像之間的相互依賴關系以及不同特征通道對重建高分辨率圖像的貢獻大小不同等問題。本文算法不僅充分發(fā)掘了高低分辨率特征圖所攜帶的細節(jié)信息，還使用注意力反投影網絡學習到了高低分辨率特征圖以及特征圖各通道之間的相互依賴關系，并且引入漸進式上采樣的策略減少了上下采樣過程中信息的丟失，同時實驗結果表明了本文算法的優(yōu)越性。