雙回歸網絡的單圖像超分辨率重建

張 永，呂 庚

蘭州理工大學 計算機與通信學院，蘭州730050

圖片的超分辨率（super resolution，SR）是從低分辨率（low resolution，LR）圖像中恢復高分辨率（high resolution，HR）圖像的過程，是計算機視覺和圖像處理領域中一種重要的圖像處理技術。得益于深度學習的發展，深度神經網絡（DNN）被應用于包括圖像分類、視頻理解和許多其他應用。基于深度神經網絡的超分辨率模型通過學習從LR圖像到HR圖像的非線性映射函數，在圖像超分辨率方面表現出了良好的性能，使基于深度學習的圖像超分辨率成為研究從LR 圖像中重建HR圖像的一項重要應用。

Dong 等人[1]首先提出了一種三層卷積神經網絡，稱為SRCNN（super-resolution convolutional neural network）。SRCNN采用雙三次插值將LR圖像放大到目標倍數，然后再輸入三層卷積神經網絡學習LR圖像和HR圖像之間的映射關系，成功使用CNN 解決超分辨率問題。在此之后，基于卷積神經網絡，提出了許多方法來提高SR性能。Kim等人[2]第一次將殘差學習融入CNN網絡并提出一種深度卷積神經網絡，He等人[3]在殘差學習基礎上針對超分辨率問題首次提出了殘差網絡結構，通過恒等連接構建深度殘差網絡來克服退化問題。Haris 等人[4]提出了一個反饋網絡（DBPN），該網絡由多個上、下采樣層組成，迭代式生成LR 和HR 圖像，通過迭代上下交替采樣的糾正反饋機制，重建出具有豐富紋理細節的圖像，在高倍數重建上表現出良好的質量。Zhang 等人[5]提出建立通道注意力機制，通過通道間的相互依賴性來自適應地調整不同通道的權重，構建了RCAN的深度模型，RCAN允許豐富的低頻信息通過多個跳躍連接直接進行傳播，使主網絡專注于學習高頻信息，從而使模型更好地學習圖像的紋理細節特征，進一步提高SR 的性能。使用在HR 圖像上應用理想的降采樣核（如：雙三次插值）獲得LR 圖像作為訓練集訓練的模型在應用到現實數據時，模型性能會急劇下降。基于此問題，Zhou 等人[6]提出用于學習未知下采樣的SR方法解決模型在實際應用中的適應性問題，但由于感知質量問題和訓練不穩定問題造成輸出圖片缺乏高頻紋理細節。為了解決使用特定方法下采樣配對數據造成的模型適應性問題，Guo等人[7]在U-net的基礎上引入對偶回歸方法，使模型不依賴于HR 圖像，可以直接在LR圖像中學習。席志紅等人[8]在原始低分辨率圖像上直接進行特征映射，只在網絡的末端引入子像素卷積層，將像素進行重新排列，得到高分辨率圖像，能夠恢復更多的圖像細節，圖像邊緣也更加完整且收斂速度更快。Li等人[9]提出深度遞歸上下采樣網絡DRUDN。在DRUDN中，原始LR 圖像直接饋送，無需額外插值，然后使用復雜的遞歸上下采樣塊來學習LR圖像HR圖像之間的復雜映射。彭晏飛等人[10]首先遷移支持向量機中的hinge損失作為目標函數，其次使用更加穩定、抗噪性更強的Charbonnier 損失代替L2 損失函數，最后去掉了殘差塊和判別器中對圖像超分辨率不利的批規范化層，并在生成器和判別器中使用譜歸一化來減小計算開銷，穩定模型訓練。

對偶學習方法[11-14]包含原始模型和對偶模型，同時學習兩個相反的映射。對偶學習最關鍵的一點在于，給定一個原始任務模型，其對偶任務的模型可以給其提供反饋；同樣的，給定一個對偶任務的模型，其原始任務的模型也可以給該對偶任務的模型提供反饋；從而這兩個互為對偶的任務可以相互提供反饋，相互學習、相互提高。在新的研究中，此方案被用于在沒有配對訓練數據的情況下進行圖像轉換。基于對偶學習方法，CycleGAN[15]和DualGAN[16]提出循環一致性損失以避免GAN方法的模式崩潰問題從而幫助最大限度地減少分布差異。但是，CycleGAN是將一類圖片轉換成另一類圖片，不能直接應用于標準SR 問題。基于CycleGAN 模型，Yuan 等人[17]提出CinCGAN 模型，放棄使用特定方法下采樣配對合成數據，在沒有配對數據的情況下生成HR圖像，減少特定方法配對數據對模型適應性的影響。

對偶學習和已有的學習范式有很大的不同。首先，監督學習（supervised learning）只能從標注的數據進行學習，只涉及一個學習任務；而對偶學習涉及至少兩個學習任務，可以從未標注的數據進行學習。其次，半監督學習（semi-supervised learning）盡管可以對未標注的樣本生成偽標簽，但無法知道這些偽標簽的好壞，而對偶學習通過對偶游戲生成的反饋（例如對偶翻譯中x和x1的相似性）能知道中間過程產生的偽標簽(y1)的好壞，因而可以更有效地利用未標注的數據。第三，對偶學習和多任務學習（multi-task learning）也不相同。盡管多任務學習也是同時學習多個任務的模型，但這些任務必須共享相同的輸入空間，而對偶學習對輸入空間沒有要求，只要這些任務能形成一個閉環系統即可。第四，對偶學習和遷移學習（transfer learning）也很不一樣。遷移學習用一個或多個相關的任務來輔助主要任務的學習，而在對偶學習中，多個任務是相互幫助、相互提高，并沒有主次之分。

盡管上述方法在圖像超分辨率任務中表現出了良好的性能，然而這些方法仍然存在不足之處。首先，由于LR→HR可能的函數映射空間非常大，采用特定方法配對的數據集模型泛化能力受限，學習好的模型通常需要更深的網絡和更多的參數。此外，殘差結構沒有充分利用結構上的層次特征。針對上述問題，提出了一種雙回歸方案，主要貢獻點如下：

（1）在原始回歸任務基礎上引入對偶回歸，形成閉環對重建圖像引入額外的約束來減少LR→HR 的可能映射空間。

（2）在殘差結構中引入傅里葉變換得到圖像的不同層次的高頻信息。利用殘差結構中的高頻層次信息，增強模型對高頻細節的復原能力。

（3）采用配對的LR→HR 數據和未配對的LR 數據作為訓練集，減少特定方法配對數據集對模型泛化能力的影響。

1 模型設計

1.1 模型網絡架構

如圖1 所示，雙回歸模型由兩部分組成：原始回歸網絡和對偶回歸網絡。原始回歸網絡包含特征提取模塊和重建模塊。對偶回歸網絡由兩個下采樣模塊組成。定義輸入圖像為X，輸出圖像為Y。

圖1 雙回歸網絡模型架構Fig.1 Architecture of dual regression network model

特征提取模塊由N個殘差塊和一個特征融合模塊組成。殘差塊進行特征提取，特征融合塊對所有殘差塊的輸出做特征融合。

式（1）為全局特征融合式，其中[H0,H1,…,Hn]表示全局特征的級聯操作，Hi表示第i(i=1,2,…,N)個殘差塊的輸出(H0為輸入圖像X)，G(?)表示1×1 卷積操作，FGF為全局特征融合式輸出。重建模塊由兩個卷積層和一個亞像素重建塊組成。全局特征融合輸出經過一個卷積層后作為亞像素重建模塊的輸入，亞像素重建模塊的輸出經過一個卷積層得到輸出Y。

對偶回歸網絡是對下采樣核的估計，通過下采樣模塊通過卷積實現對Y的下采樣，得到和輸入一樣大小的圖像X′。

1.2 雙回歸網絡閉環

設x∈X為LR圖像，y∈Y為HR圖像。

定義1（原始回歸任務）：尋求一個函數P：X→Y,使預測P(x)接近于其相應的HR圖像y。

定義2（對偶回歸任務）：尋求一個函數D：Y→X，使D(y)的預測接近于輸入的LR圖像x。

雙回歸網絡模型學習原始映射P來重建HR圖像，并學習對偶映射D來重建LR 圖像，如圖2 所示。原始和對偶學習任務可以形成一個封閉的環，訓練模型P和D以提供額外的監督。如果P(x)是正確的HR 圖像，則其下采樣得到的圖像D(P(x))應非常接近輸入的LR圖像x。

圖2 原始回歸任務和對偶回歸任務形成閉環Fig.2 Original regression task and dual re-gression task form closed loop

提出的雙回歸方案超分辨率模型表示如下：

給定M個未配對LR 樣本和N個配對樣本，模型訓練損失可以寫成：

設P∈P，D∈D，其中P、D 分別表示原始回歸和對偶回歸映射函數空間。對于本文的雙回歸方案，對于?P∈P，?D∈D，其泛化誤差（期望損失）為：

其經驗損失為：

對于樣本空間Z=(z1,z2,…,zN)，其中zi=(xi,yi)，雙回歸方案的Rademacher復雜度為：

設Lp(P(x),y)+λLD(D(P(x)),x)為X×Y到[ ]0,C的映射，上界為C，映射函數空間Hdual為無窮，Hdual∈P×D。且對于任意δ>0，至少有1-δ的概率使以下不等式成立：

根據Rademacher復雜度的推論3.1[18]得：

設B(P,D)為雙回歸方案的泛化界，則：

對于原始回歸方案，即當泛化誤差式（3）中λ=0時，其泛化界為：

其中為原始回歸的經驗Rademacher復雜度。

由于Hdual∈P×D的函數空間小于Hdual∈P 的函數空間，根據Rademacher復雜度原理：

則：

上述結果證明了引入對偶回歸方案后模型的泛化界依賴于函數空間的復雜性，加入對偶回歸的雙回歸SR 方案比未加入對偶回歸的SR 方法具有更小的泛化界，即在原始回歸基礎上加入對偶回歸有助于減少LR→HR 的可能映射空間，使模型實現更準確的SR 預測，并且當訓練數據足夠多時，雙回歸模型的泛化界越精確。

1.3 殘差塊結構

殘差塊結構如圖3。輸入通過傅里葉變換得到其頻譜圖，提取高頻部分，通過反傅里葉變換得到圖像對應的高頻部分。殘差塊有三個并行的特征提取塊，每個特征提取塊有兩個卷積層和一個ReLU激活層，激活層位于兩個卷積層中間。特征提取塊對輸入及其兩個不同層次的高頻部分進行特征提取，特征提取塊輸出級聯經過局部特征融合后結合殘差作為殘差塊的輸出。

圖3 殘差塊結構Fig.3 Architecture of residual block

定義Hn為第n個殘差塊的輸出，則第n個殘差塊的結構表示如下：

其中[f0,f1,f2] 表示局部特征的級聯操作，f0表示殘差塊的輸入Hn-1的特征，f1表示Hn-1經過第一次傅里葉變換后的高頻部分特征，f2表示Hn-1經過第二次傅里葉變換后的高頻部分的特征，G(?)表示1×1卷積操作。

殘差結構的特征提取過程表示如下：

輸入Hn-1的特征提取：

其中φi(?)(i=1,2)表示卷積操作。

輸入Hn-1的高頻特征提取：

輸入Hn-1并行經過兩個高通濾波器，輸出其不同層次的高頻部分，高通濾波器輸出表示如下所示：

其中FFFT(?)表示快速傅里葉變換，ψi(i=1,2)為高通濾波操作，gi為Hn-1經過高通濾波器后的高頻譜圖，gi進行反傅里葉變換FIFFT(?)后作為特征提取塊的輸入。

則對應特征可以表示為：

其中(?)(i,j=1,2)表示卷積操作。與全局特征融合類似，每個殘差塊內部對輸入及其不同層次的高頻部分的特征進行局部特征融合。

每個殘差塊的輸出表示為：

LR 圖像與HR 圖像的差別主要表現在圖像的高頻區域，表現為圖像的紋理細節等。而圖像的高頻特征通常在網絡的深層才開始學習的到。

對圖像進行傅里葉變換時選取不同的濾波器可以得到不同層次的高頻部分如圖4，通過在殘差結構中加入傅里葉變換提取輸入的高頻區域，可以使模型在淺層網絡就能學習通常需要深層網絡才能學習到的高頻信息，使模型通過較少的層數和參數達到深層模型的性能。

圖4 通過不同濾波器得到的圖像高頻部分Fig.4 High-frequency part of image obtained by different filters

2 實驗

2.1 實驗設置

（1）參數設置。網絡中基本塊的卷積核大小均設置為3×3，邊緣補0 確保輸入和輸出的大小一致。在下采樣模塊中，輸出尺寸變為輸入的一半。網絡殘差組數量設置為16。

（2）訓練設置。采用DIV2K+Flickr2K[19]作為訓練數據集，從訓練集中隨選擇100 個圖像，并使用不同的下采樣方法獲取LR圖像。通過對訓練集圖像進行下采樣來獲取配對合成數據。考慮到現實世界中的SR 應用，所有配對數據都屬于未配對數據不同的區域。圖像塊的尺寸設為64×64，即訓練模型時低分辨率圖像X及高分辨率圖像Y尺寸為64×64。使用L1 型損失函數，初始學習率設置為1E-4，優化器在SGD 基礎上使用指數衰減學習率。

對于合成配對數據，采用有監督的SR 方法的訓練方式。使用配對數據集時，損失函數式（2）中的指示函數1SP(xi)等于1。使用未配對數據時，損失函數式（2）中1SP(xi)等于0。對于每個迭代，分別從數據集中取樣m對未配對的真實世界數據和n對配對合成數據，將未配對數據的比例定義為ρ=m/(m+n)。

（3）測試設置。在3個基準數據集上比較了多個方法的效果，包括SET5[20]、SET14[21]和MANGA109[22]。模型結果測試使用每個測試數據集的所有圖像。其中SET5有圖像5 幅，SET14 有圖像14 幅，MANGA109 有圖像109幅。采用了峰值信噪比（peak signal-to-noise ratio，PSNR）和結構相似度（structural similarity，SSIM）作為評價指標。

2.2 與先進方法的比較

2.2.1 主觀質量比較

比較提出的方法與最先進的SR 方法的主觀評價。從圖4可以看出，Bicubic為下采樣后的圖像，相比于HR圖像，SRCNN算法的紋理細節重建效果較差，重建結果紋理模糊且出現重疊，沒有重建出清晰的邊緣。SRGAN算法的重建結果相比SRCNN算法區域更清晰，但出現模糊邊緣和重影。RCAN 算法的重建結果和雙回歸算法重建結果相近。RCAN 算法和雙回歸算法的重建結果有豐富的紋理細節，且雙回歸算法邊緣更清晰，出現更少的重影和模糊。圖5 的對比結果表明：雙回歸算法重建的圖像擁有豐富的紋理細節和清晰邊緣，重建圖像出現更少的模糊和重影。表明提出的雙回歸網絡超分辨率算法具有良好的重建效果。

圖5 不同方法在測試集上4×SR重建效果對比Fig.5 Comparison of 4×SR reconstruction on test sets by different methods

2.2.2 客觀質量比較

比較提出的方法與先進的SR 方法的數據對比結果。在此比較了多種方法在4×SR 下的PSNR 和SSIM值，比較結果如表1所示。

表1 與先進的4×SR算法的性能比較Table 1 Performance comparison with advanced algorithms on 4×SR

從表1 來看，SRGAN 方法只有90 000 的參數量，可能是由于對抗生成網絡在參數量方面的優越性；DBPN、RCAN和SAN的參數量都在16 000 000左右，而本文提出的模型因為使用了傅里葉變換，使用了相比于其他模型更少的網絡層數使得模型的參數量只有10 000 000。通過表1 可以看出：本文提出的雙回歸模型雖然只有大約10 000 000的參數，卻產生了更好的性能，表明了本文所提出的雙回歸方案的優越性。

通過表2可以發現，在測試集Set5和Set14上，ESPCN方法的測試時間要快得多，可能是因為該方法模型深度相對較少；SAN 比ESPCN、SEGAN 慢很多可能是因為SAN方法網絡層數較深；本文方法要比SRGAN快1 s左右，比SAN快2 s多，表明本文方法的優越性。

表2 不同超分辨率重建方法4×SR測試時間對比Table 2 Comparison of testing time for eachsuper-resolution reconstruction method on 4×SR s

2.3 消融實驗

為了驗證對偶回歸網絡對原始回歸的約束作用，去除雙回歸模型的對偶下采樣部分，只使用原始回歸網絡進行訓練。以PSNR作為評價指標，在測試數據集Set5、Set14、Managa109上與雙回歸方法進行比較，表3為4×SR的結果。

表3 加入對偶回歸對4×SR的影響Table 3 Effect of adding dual regression on 4×SR

結合表1、表3的對比結果可以看出：在去除對偶回歸部分時，模型在Set5 測試集上擁有和SAN 方法相近的性能且優于其他方法；在測試集Set14上，模型優于大多數方法，SAN方法表現最優；在測試集Managa109上，模型表現優于其他方法1 dB 左右，但SAN 最優。加入對偶回歸之后，相比于沒有加入對偶回歸時，在測試集Set5、Set14 和Managa109 上性能均有提升。在Set5 上，本文優于所有對比方法；在Set14上，SAN方法有最好的重建性能，但本文的雙回歸方法只比SAN 方法低0.05 dB；在Managa109 上，本文的雙回歸方法擁有最好的性能且優于其他方法0.7 dB以上。

對比結果表明，配備了雙回歸方案的模型相比沒有配備對偶回歸的模型在所有測試數據集上都有更好的性能。說明通過引入額外的約束來減少映射函數的空間的方案是有效的，可以幫助改善HR圖像的重建質量。

為了評估模型對未配對數據的自適應性能，比較了4×SR時不同方法采用Nearest（最鄰近插值）和BD（bicubic degradation，雙線性三次插值）下采樣方法的PSRN 和SSIM 值。從表4 中可以看出，模型在所有數據集上的性能優于有監督方法。

表4 模型對不同下采樣方法圖像的自適應性能Table 4 Adaptive performance of model to images of different downsampling methods

2.4 λ 對模型的影響

λ控制雙回歸網絡中原始回歸網絡和對偶回歸網絡的權重。對表5 可以看出，在雙回歸網絡上，當λ從0.001增加到0.1時，網絡的對偶回歸損失逐漸變得越來越重要。進一步將λ增加到1或10，對偶回歸損失將壓倒原始回歸損失，最終阻礙模型的性能。為了在原始回歸和對偶回歸之間得到良好的權衡，在具體實踐中將其設置為λ=0.1。

表5 超參數λ 對4×SR的影響（測試集：Set5）Table 5 Effect of hyperparameter λ on 4×SR（Test set：Set5）

2.5 ρ 對自適應算法的影響

在引入對偶回歸后，因為模型可以不依賴于HR 圖像，所以模型可以使用監督學習、半監督學習或無監督方式對模型進行訓練。考慮到未配對數據主導實際應用中的超分辨率任務，本文使用半監督學習方法訓練模型，同時對比了使用無監督和監督學習方式訓練的模型在測試集Set5上的性能表現。

使用ρ表示未配對數據的比例，ρ=m/(m+n)，其中m為未配對數據數量，n為配對數據數量。圖6中顯示了當改變未配對數據的數據比率ρ時相應的訓練曲線。

圖6 不同數據比例下模型的性能Fig.6 Performance of model at different data scales

通過圖6 可以看出：當ρ為0 即使用監督訓練方式時，雙回歸方案的性能隨著迭代次數的增加無明顯變化，表明雙回歸方案不適合使用監督學習方式訓練。當ρ為100%即無監督訓練方式時，雙回歸方案的性能隨著迭代次數的增加逐漸下降，表明雙回歸方案不適合監督學習方式訓練。因此本文使用半監督學習方式訓練模型。從圖6可以看出，當設置ρ∈{30%,50%,70%}時，所得到的模型獲得更好的性能。在具體實驗中，本文設置ρ=30%以獲得最佳性能。

2.6 傅里葉變換的作用分析

為了分析在殘差結構中引入傅里葉變換對模型提取高頻信息的提升作用。本文對比了在相同網絡架構下，殘差結構引入傅里葉變換與不引入傅里葉變換時殘差塊對高頻細節的提取能力。

從圖7和圖8可以看出，在相同的網絡深度上，使用傅里葉變換的殘差塊輸出的特征相比于沒有傅里葉變換的殘差塊擁有更豐富的紋理細節特征。而且在未加入傅里葉而變換時，隨著網絡層數的加深，網絡會逐漸丟失高頻信息，導致特征融合的結果缺乏一部分紋理的信息，而加入傅里葉變換時網絡中的高頻信息可以在網絡層數加深時保留更多的高頻信息，特征融合結果可以表明該方法提取和傳遞高頻信息的有效性。

圖7 殘差塊中未加入傅里葉變換的特征Fig.7 Features without Fourier transform

圖8 殘差塊中加入傅里葉變換的特征Fig.8 Features with Fourier transform

3 總結

提出一種使用配對數據和未配對數據共同訓練的雙回歸網絡方案。對于配對數據，通過重構LR 圖像對其引入一個額外的約束，以減少可能的映射函數的空間，可以顯著提高SR 模型的性能。使用未配對數據訓練解除了特定方法配對數據對模型的限制，使模型更好地適用于實際應用中的超分辨率任務。在配對和非配對數據上的實驗表明，提出的方法對圖像紋理細節重建具有良好的效果，且比同類方法擁有更少的參數量。