一種融合多尺度特征的改進RDN圖像超分辨率重建網絡

朱 磊，李志蒙，朱奇偉，樊雯雪，馮 達

(1.西安工程大學 電子信息學院，陜西 西安 710048；2.杭州昇擎科技有限公司，浙江 杭州 310052)

0 引 言

SISR作為計算機視覺任務中的研究熱點，旨在從低分辨率圖像上重建出對應的高分辨率圖像[1-2]，在醫學圖像增強[3]、遙感成像[4]、視頻感知[5]等方面具有廣泛的應用。文獻[1]系統地總結了SISR算法，根據各類算法獲取圖像細節的方式差異，將其分成基于插值、基于重建和基于學習的算法等3種類型。

基于插值的算法主要是通過一定的基函數計算或插值核建立原圖像與目標圖像的映射關系，完成重建過程。文獻[6]利用雙三次插值(Bicubic)算法重建圖像，雖然計算過程簡單，但重建結果缺乏細節信息，塊效應明顯且視覺效果模糊?；谥亟ǖ乃惴▌t主要依靠添加先驗信息約束解空間，重建結果能夠恢復更多的高頻細節，例如凸集投影算法[7]等。雖然添加了先驗信息約束重建過程，能夠取得較好的SR結果，但依然存在收斂不理想等問題。

基于學習的算法是使用機器學習技術，通過大量訓練樣本中低分辨率圖像與高分辨率圖像的映射關系實現SR重建。近年來，隨著卷積神經網絡(convolutional neural network, CNN)在多個領域中取得的顯著成效，眾多學者紛紛關注到其優秀且強大的圖像表征能力，基于CNN的圖像SR算法因應而生。文獻[8]提出的三層網絡結構SRCNN成為以CNN完成SR任務的開創性工作，與傳統算法相比細節信息更加豐富，視覺效果有明顯改善?；贑NN的方法由此開始逐步主導圖像SR領域的相關研究[9]。文獻[10]對殘差模塊進行改進并提出EDSR，通過去除批歸一化操作，將計算資源用以堆疊更深的網絡或者提取更多的特征，從而改善SR結果。在此基礎上，文獻[10]還提出一種多尺度模型，使不同尺度的SR任務間能夠共享絕大部分參數，與單尺度網絡具有相近表現力的情況下消耗的資源更少。EDSR曾經是規模最大SISR模型并且在NTIRE2017[11]圖像超分辨率大賽上包攬全球冠亞軍。為了充分挖掘圖像細節信息，文獻[12]從網絡結構角度出發提出RDN，構造出更深的密度網絡，通過密集連接方式使特征充分融合以提取有用的高頻信息，并采用殘差結構保證網絡訓練的穩定性。文獻[13]則注意到基于CNN的超分辨方法在平坦區域存在計算冗余問題，認為對低分辨率圖像的紋理區域、邊緣等信息應給予更多關注。因此，探索了圖像超分辨中的稀疏性問題[14]，提出SMSR學習稀疏掩碼以剪枝冗余計算量，并取得了SOTA性能，具有更好的感知質量與視覺效果。然而，SR重建是一個不適定問題[15]，無法求得唯一解。上述各類算法雖然都能夠出色地完成SR任務，但均未充分利用圖像的尺度特征，對圖像的高頻細節信息的生成還有待進一步打磨。

為了充分挖掘并提取圖像的尺度特征，重建細節豐富、視覺感知效果更好的SR圖像，本文提出一種融合多尺度特征的改進RDN圖像超分辨率重建網絡MSRDN。構建了特征提取模塊，并通過不同尺度的模塊多路組合結構，以充分提取圖像的多尺度細節特征，強化網絡對不同尺度圖的語義信息感知能力；構建了自頂向下與自底向上相結合的特征融合模塊，對采集的多尺度特征進行充分融合與關聯，有利于重建圖像恢復出更豐富的細節信息。

1 RDN網絡結構

RDN[12]網絡結構主要由淺層特征提取網絡、殘差密集塊(RDBs)、密集特征融合(DFF)以及上采樣網絡(UPNet)等4個部分構成，如圖1所示。

圖 1 RDN網絡結構

淺層特征提取網絡由2個卷積層構成。殘差密集塊是殘差塊和密集塊的集成，包含密集連接層、局部特征融合與局部殘差學習3個部分。該模塊形成了連續記憶機制，將前面所有層的輸出疊加連接到當前層，保證前后層特征信息的緊密融合與積累。密集特征融合由全局特征融合和全局殘差學習構成，連接方式與殘差密集塊類似，即將每一個RDB模塊的輸出特征以分層連接的方式全局融合，并將前面提取的淺層特征連接到殘差模塊，以輸出最后的稠密特征。上采樣網絡即網絡末端的上采樣和卷積部分完成圖像的放大操作。

2 MSRDN算法

2.1 退化模型

圖像SR是一個逆向病態的重構問題[16-17]，因此對圖像退化過程做準確的建模是保證SR結果符合預期的重要因素。圖像的退化模型[18-20]可以表述為

ILR=(IHR?k)↓s+n

(1)

式中：ILR為低分辨率圖像；IHR為高分辨率圖像；k為運動模糊核；?為卷積操作；↓s為尺度因子s的下采樣操作；n為帶入的加性高斯噪聲。本文提出MSRDN首先對仿真圖像的退化模型逆向重構學習得到SR結果，然后采取像素重組的方式進行后上采樣得到目標圖像，最后在真實世界的退化圖像上測試。

2.2 MSRDN網絡結構

為了重建出高頻細節更豐富的高質量復原圖像，MSRDN會對低分辨率圖像的特征進行更加充分、有效提取。MSRDN的整體結構包括多尺度特征提取模塊和特征融合模塊，2個模塊對于MSRDN的積極影響將在消融實驗體現出來。

所提出的融合多尺度特征的改進RDN圖像超分辨率重建網絡結構如圖2所示。

圖 2 改進RDN圖像超分辨率重建網絡結構

該模型由淺層特征提取模塊、多尺度特征融合模塊與圖像重建模塊等3個部分組成。輸入圖像通過淺層特征提取模塊生成淺層特征，該特征攜帶更多的空間特征但蘊含的語義信息較弱。多尺度特征融合模塊作為編碼網絡的主體部分，負責生成高質量特征。具體地，通過三路卷積核大小不同的多個RDB模塊提取不同尺度的特征，并通過自頂而下和自底而上的方式將不同分支的特征充分融合后輸出更高質量的特征。圖像重建模塊包含1個亞像素卷積層和2個卷積層，提取到的所有特征都會送入圖像重建模塊重建出SR圖像。

提出的MSRDN將低分辨率圖像(ILR)作為輸入，預測輸入圖像的高分辨圖像(ISR)，然后使用輸出SR圖像和真實高分辨圖像(IHR)之間的距離作為預測誤差指導MSRDN的訓練。該過程可以表述為

ISR=fMSRDN(ILR)

(2)

L=fl(ISR,IHR)

(3)

式中：fMSRDN(·)表示MSRDN的SR過程；fl(·)為損失函數。使用L(·,·)函數作為損失函數，其表達式為

(4)

淺層特征提取模塊由2個卷積層構成，提取淺層特征的過程可以表示為

Fshallow=fc3(fc3(ILR))

(5)

式中：fc3(·)表示卷積核大小為3×3的卷積操作；Fshallow為提取到的淺層特征。由于淺層特征中的語義信息較少，使用多尺度特征融合模塊對淺層特征進行深度編碼，從而獲取更高質量的特征。若fms(·)表示多尺度特征融合模塊的編碼過程,則

Fdeep=fms(Fshallow)

(6)

式中Fdeep表示深層特征。為了提高生成的SR圖像的質量，使用深層特征與淺層特征相結合的方式對其進行恢復。該思想體現在2個方面：1)將多尺度特征融合模塊推理過程中的每層特征進行融合；2)使用全局殘差連接將淺層特征的位置信息傳遞到深層。

與RDN類似，在經過多尺度特征提取模塊得到不同尺度的語義信息后進行密集特征融合，將所有層的特征信息緊密聯系與利用，其輸出特征可以表示為

FGF=fc1(F11,F21,F31,…,F1D,F2D,F3D)

(7)

式中：FGF為將所有層的特征信息進行密集特征融合后的輸出特征圖；fc1(·)表示卷積核大小為1×1的卷積運算。首先，使用式(7)復合運算將不同深度不同尺度的特征進行融合，然后，MSRDN使用全局殘差連接將淺層特征傳遞到深層，并與深層特征融合。由于各個特征具有相同的尺寸，所以采取逐像素相加的方式融合特征，即

FDF=FGF⊕F-1

(8)

式中：F-1為模型中經過第一個卷積層后得到的淺層特征圖；FDF為編碼網絡最終的輸出。多尺度特征提取模塊充分利用了特征提取網絡在不同深度以及不同尺度所提取到的信息。該模塊生成多尺度的局部密集特征，這些特征進一步自適應融合形成FGF，而后經過全局殘差連接生成整個編碼網絡的最終輸出特征FDF。將FDF輸入到亞像素卷積層，實現從低分辨率圖像到高分辨率圖像的重構,即

ISR=fSR(FDF)

(9)

式中：fSR(·)為圖像重建模塊的復合運算函數，其目的在于將最終的圖像特征圖從高維空間轉換回RGB空間，以得到最終的SR圖像。

2.3 多尺度特征提取模塊

不同尺度特征映射的感受野范圍不同:小卷積核的卷積層輸出特征的感受野范圍小，幾何細節信息表征能力強，但語義信息表征能力弱；大卷積核的卷積層輸出特征則與之相反[21]。因此，如何充分利用多尺度特征信息對圖像任務而言舉足輕重。受目標檢測任務中廣泛應用的特征金字塔結構[22-23]的啟發，MSRDN將多尺度特征提取思想引入SR任務中，提出多尺度特征提取模塊，如圖3所示。

圖 3 多尺度特征提取模塊結構

該模塊包括多尺度特征提取和局部殘差學習2個部分。

(10)

(11)

(12)

(13)

(14)

(15)

為了使多尺度特征提取部分在學習不同尺度特征時更加穩定可靠，在RDB末端應用了局部殘差學習，使得前一個RDB模塊提取的特征和當前RDB模塊整個卷積層提取的特征進行自適應融合。具體地，將前一個RDB模塊的輸出以殘差連接的方式引入到當前RDB模塊的輸出特征中，故3個分支網絡中各RDB模塊的最終輸出可以表示為

(16)

(17)

(18)

局部殘差學習相當于簡單執行同等映射,可以進一步改善信息流。與單純的增加網絡深度相比，局部殘差學習的引入緩解了梯度彌散或者梯度爆炸問題，能夠保證模型訓練過程的穩定性，有效地加速模型收斂。

2.4 多尺度特征融合模塊

在每個RDB模塊提取局部多尺度密集特征后，MSRDN進一步提出多尺度特征融合模塊對不同尺度的特征進行融合，如圖4所示。

圖 4 多尺度特征融合模塊

在模型中，多尺度特征融合采用自頂向下結合自底向上方式緊密融合各尺度特征，并且橫向連接的2層特征尺度大小相同，可以充分利用底層細節信息。將此融合方式嵌入到每個RDB模塊的后面，隨著網絡層數的加深，2種不同方向的多尺度特征融合模塊交替使用，直至多尺度特征提取模塊的最后一層。以自頂向下的融合方式為例，使用數學表達式描述這一過程：

F1=fMSF(F11⊕F21⊕F31)

(19)

式中：F1為融合后特征；fMSF(·)為多尺度特征融合運算。每個RDB模塊輸出特征整體融合后,即得到最終的高質量特征FGF,

FGF=fGFF([F11,F21,F31,…,F1D,F2D,F3D])

(20)

式中：[F11,F21,F31,…,F1D,F2D,F3D]表示將各個殘差密集塊輸出的特征圖進行拼接；fGFF為1×1和3×3卷積層的復合運算。1×1卷積層對一系列不同層次的特征自適應提取有用信息并過濾掉冗余信息，以此降低模型的運算復雜度；3×3卷積層則用于進一步提取特征進行全局殘差學習。

3 實驗結果與分析

3.1 實驗設置

為充分評估所提的MSRDN，采用定性與定量實驗對比方法，采用MSRDN與Bicubic[6]、SRCNN[8]、EDSR[10]、RDN[12]以及SMSR[13]的性能。采用DIV2K[10]作為訓練數據集，該數據集是一個大型的高質量(2k分辨率)圖像復原數據集，包含用于訓練的800張高分辨率圖像，用于驗證的100張高分辨率圖像和用于測試的100張低分辨率圖像；采用Set5[24]、Set14[25]和BSD100[26]等3個被廣泛使用的SR基準數據集作為測試數據集，涵蓋多種多樣的場景，能夠充分評估模型的性能。此外，所有實驗代碼均基于MMEditing進行開發。MMEditing項目是基于PyTorch的圖像和視頻編輯開源工具箱，包含了SRCNN、EDSR、ESRGAN與RDN等眾多經典網絡。

3.2 定性評價

3.2.1 基準數據集實驗

為了客觀評價MSRDN的圖像重建結果，圖5展示了不同算法在×2、×3、×4等3個尺度因子測試圖像的視覺結果。其中HR為高分辨率圖像，重建的SR圖與HR越貼近則質量越高。

圖 5 MSRDN與其他5種模型基準數據集的視覺對比結果

由圖5可以看出：MSRDN重建的圖像在各個尺度因子的實驗中較其他算法均具有更佳的視覺效果，圖像幾何結構更加清晰，沒有發生嚴重的形變。在×2尺度因子的測試圖像視覺結果中，MSRDN對于字體的重建沒有出現嚴重的粘連情況；在×3尺度因子的測試圖像視覺結果中，MSRDN重建的SR圖像與其他算法相比更加貼近高分辨率圖像，紋理較為清晰且視覺感知最好；在×4尺度因子的測試圖像視覺結果中，MSRDN未受背景干擾影響，完整重建出了圖像中的主體目標，而其余算法重建的圖像中均出現了部分遮擋問題。從圖5中還可以看出：神經網絡方法中，SRCNN重建的圖像幾何結構效果最差，出現了嚴重形變；其余4種對比算法的重建圖像視覺效果均較好，但幾何結構仍難以避免地出現部分失真情況；相較之下，MSRDN能夠更好地恢復圖像結構，紋理細節也更加豐富。通過實驗的視覺效果對比能夠得出結論：MSRDN恢復圖像幾何結構信息的能力更強，重建圖像的效果更佳。

3.2.2 真實退化圖像實驗

為證明所提MSRDN具有一定的泛化能力，將其應用到真實圖像數據集RealSR[27]中。圖6為MSRDN與SMSR等其他5種算法在RealSR數據集3張經典圖像上的視覺效果對比圖。從圖6可以看出：MSRDN能夠恢復出更豐富的高頻細節，邊緣輪廓也更清晰，擁有更佳的視覺感知?？梢姡瑢τ谖粗耐嘶Ｐ停喑叨忍卣魈崛∨c特征融合方式具備更強的魯棒性。

圖 6 MSRDN與其他5種模型在RealSR上的視覺對比結果

3.3 定量評價

3.3.1 消融實驗

為探索所提出的多尺度特征提取模塊與特征融合方式對網絡模型性能的影響，采取控制變量法驗證各個模塊整體模型的貢獻，進行了3種情形的對比實驗：1) 去除多尺度特征提取模塊和特征融合方式。2) 僅保留多尺度特征提取模塊。3) 采用多尺度特征提取模塊和特征融合方式。采取峰值信噪比(PSNR)和結構相似性(SSIM)等2個指標評估重建圖像。PSNR是使用最廣泛的一種圖像質量評價指標，計算清潔圖與含噪圖對應像素點的誤差，重點在于像素點差異，而未考慮人眼視覺感知特性。SSIM從亮度、對比度和結構3個方面衡量圖像的相似性，取值越接近1，圖像失真就越小，也更符合人眼視覺感知。實驗結果如表1所示。

由表1可知：相比于實驗3)，在去除多尺度特征提取模塊和特征融合方式的情況下，PSNR與SSIM分別下降了0.1 dB和0.000 8；在僅保留多尺度特征提取模塊的情況下，PSNR和SSIM分別下降了0.04 dB和0.000 2?？梢?，不論去除本文所提出的多尺度特征提取模塊和特征融合方式中的任何一個均會導致模型的評價指標下降，即代表著網絡模型性能變差。因此，本文提出的多尺度特征提取模塊和特征融合方式對網絡均起到積極影響。

表 1 多尺度特征提取模塊與特征融合方式的消融結果

3.3.2 基準數據集實驗

為了進一步比較算法的實驗結果，將MSRDN與5種算法在3個基準數據集分別進行×2、×3與×4尺度因子的重建，采取PSNR與SSIM指標評估算法輸出的重建圖像。為了使實驗結果足夠客觀公正，本文出現的所有算法模型均在統一的硬件平臺上重新訓練，并使用相同的測試算法進行指標計算。表2展示了MSRDN與其余5種經典且較出色的SR算法在3個SR基準數據集上，不同尺度的PSNR以及SSIM實驗結果。

表 2 MSRDN與其他模型的峰值信噪比及結構相似性對比

從表2可知，學習方法中，SRCNN的圖像重建結果評價指標最差。EDSR去除了殘差結構中不必要部分，增強了模型的表現力；SMSR有的放矢，提出稀疏掩碼模塊剪枝冗余計算，聚焦于紋理區與邊緣區。因此，2個網絡的圖像重建結果評價指標仍舊可觀。RDN將殘差結構與密集連接相結合，使得網絡模型更深，故其圖像重建結果評價指標更優。MSRDN在×2、×3與×4尺度因子上3個數據集的重建性能指標方面均展現了一定的優勢，并優于上述4種對比的SR重建網絡中表現最好的RDN。充分證明了MSRDN能夠有效提升圖像SR的性能。此外，本文還對MSRDN與SMSR等其他4種模型進行了復雜度對比，結果如表3所示。采用參數量(Params)和浮點運算數(FLOPs)2個指標衡量各個模型的推理效率。其中，FLOPs是在模型中輸入160×90像素的圖像計算所得。由表3數據可知，MSRDN模型規模最大，需要更多的計算資源，但伴隨著硬件設備的不斷發展，這一缺點也會日漸式微。

表 3 MSRDN與其他4種模型的復雜度對比

4 結 語

本文提出的圖像超分辨率重建網絡MSRDN，利用具有不同感受野的不同尺度卷積核構建多尺度特征提取模塊，強化網絡對不同尺度圖的語言信息感知能力。采用自頂向下與自底向上相結合的多尺度特征融合模塊，融合形成具有更豐富細節信息的圖像特征，從而使得改進網絡能夠重建出比SMSR等網絡細節更豐富、視覺感知更好的SR圖像。在未來的工作中，將考慮對MSRDN進行輕量化處理以提升模型的競爭力。