多尺度混合注意力網絡的圖像超分辨率重建

李云紅,馬登飛,于惠康,蘇雪平,李嘉鵬,史含馳

(西安工程大學 電子信息學院,陜西 西安 710048)

0 引 言

圖像SR重建算法是使用特定算法將低分辨(low resolution, LR)圖像重建成高分辨率(high resolution, HR)圖像的過程[1]。隨著該技術在人臉識別領域、圖像修復領域、圖像壓縮領域、公共信息領域等的廣泛應用,SR重建也受到了研究人員的廣泛關注。但圖像SR重建算法是一個不適定的重建過程,對于任何LR輸入圖像都存在多種解決方案去進行HR重建。這些方法包括插值重建法[2]、學習重建法[3]以及模型重建法[4]。

隨著深度學習在圖像視覺中的迅速發展,研究人員構建了一種基于深度學習的SR重建的網絡模型,這種模型主要利用非線性映射提取圖像信息,實現LR到HR圖像特征的映射關系,從而高效地實現圖像重建。文獻[5]首次將深度學習引入到SR領域中,提出一種基于深度學習的超分辨網絡(SRCNN),該網絡結構采用3層卷積神經網絡擬合對應的非線性映射關系,重建出較為良好的效果。文獻[6]考慮到不同通道特征的重要性不同,創建了深度殘差通道注意力網絡(RCAN),利用不同通道的依賴性來調整通道之間的權重參數,使重建后的圖像清晰度和視覺準確性得到很大提高。文獻[7]提出了跨尺度非局部注意力網絡(CSNLN),用以計算圖像內部的像素到塊以及塊到塊之間的相似性,實驗結果證明跨尺度的相似性可以極大地提高重建圖像性能,重建出的圖像包含更多的紋理信息。文獻[8]提出了高效的非局部對比注意力(ENLCA),依據圖像內在特征相關性并結合非局部特征進行數學建模,保持非局部模型的稀疏性,并大大降低其計算代價。文獻[9]構建深度生成式對抗網絡的SR算法,通過結合圖像空間特征的變換,實現圖像的修復與重建。文獻[10]通過改進RDN結構,構建多尺度模塊,強化網絡的語義信息感知,獲取更優的視覺效果。文獻[11]在InSRNet基礎上利用公共特征子空間法,減輕梯度消失問題,進而實現圖像SR過程。

針對以上大多數SR算法存在單一尺度提取特征不夠豐富以及平等地處理特征圖的通道以及空間區域,導致重建出的圖像存在結構化失真、高頻細節丟失等問題。本文提出一種多尺度混合注意力網絡,彌補了單一尺度提取的淺層特征信息較少的缺陷,解決了忽略特征圖的通道以及空間高頻信息而導致重建圖像高頻細節丟失、結構化失真的問題,有效地提高了重建圖像的清晰度。

1 基本理論

隨著圖像SR領域的快速發展,研究人員提出了眾多SR的基本理論,本節重點介紹和本文相關的淺層數據提取模塊以及注意力模塊。

1.1 淺層數據提取模塊

目前,圖像SR重建的淺層數據提取方法分別為Inception塊[12]、殘差塊以及DenseNet[13]。Inception塊使用多尺度的濾波器擴展網絡寬度,獲取不同尺度的圖像特征,并且通過信道特征拼接對提取的特征進行融合,增加了圖像特征的豐富度。殘差塊的網絡結構可以通過長、短跳連的方法,把當前層的特征信息傳遞到更深層次的網絡結構中,預防網絡訓練過程中發生的梯度消失、梯度爆炸等問題。DenseNet網絡機制中,網絡層次相互連接,每一層網絡的特征輸出都是其后層網絡的特征輸入,從而加強了各層次特征信息在整個網絡結構中的傳遞。但是隨著網絡縱深的增大,基于DenseNet的計算也更加復雜,運算量會呈現指數爆炸增加,消耗計算機的大量運算資源,降低計算機運行效率。

1.2 注意力模塊

注意力模塊是機器學習中的一種數據處理方法,在圖像處理過程中著重處理整張視圖中的某些重要區域。基于注意力的重建算法在接收大量圖像時會高效、迅速地選擇重要的特征信息,將注意力分配到圖像特征最豐富的區域,加快數據處理速度。所以,注意力模塊在底層計算機視覺工作中具有不可或缺的地位。

SE-Net[14]通過學習每個特征通道的重要程度來增強信息分布較高的部分通道,抑制次要的特征。CBAM[15]不僅考慮通道注意力,而且學習特征圖上每個像素位置的權重,從空間上對特征的重要程度進行放縮,進而增強含有目標區域的特征。SCSE[16]通過設計雙分支結構,分別對通道和空間特征進行校準,最后融合雙分支特征,取得了更好的結果。在SR網絡中,空間注意力模塊為每個通道學習一個權重系數,通過權重系數來改變對應通道的重要性,從而提高整體網絡提取圖像高頻特征能力;空間注意力模塊可以通過學習特征圖上空間特征形變,進而針對重建任務進行特征提取操作,實現同一空間的位置上的特征依賴。

2 多尺度混合注意力網絡

多尺度混合注意力網絡由MRM、殘差混合注意力組(residual hybrid attention group, RHAG)和圖像重建模塊(reconstruction module, RM)3個模塊構成,通過將上述模塊聯合訓練來獲取最終的SR圖像。該網絡結構如圖1所示。

圖 1 多尺度混合注意力的網絡結構Fig.1 The structure of multi-scale hybrid attention network

圖1中,首先將LR圖像輸入到MRM網絡中來提取更加豐富的圖像淺層特征,之后將提取的淺層特征輸入到所提出的RHAG中來提取圖像的深層特征,RHAG中包含有8個RHAM,同時本文在RHAG后加入跳躍連接來復用不同層次特征信息,最后將融合特征輸入到RM來重建出HR圖像。

2.1 多尺度殘差模塊(MRM)

SR重建任務中,構建淺層數據信息提取網絡,需要設計濾波器的尺寸。不同特征圖的特征分布不一,對于特征分布較為全面的特征圖,采用較大尺寸的濾波器,否則,采用小尺寸的濾波器。

若僅使用小尺寸的濾波器,當物體特征較大的時候會出現特征信息提取不全面的情況;為了能將感受野覆蓋整個物體,在卷積核大小不變的時候,可以增加網絡深度,但這樣會導致過擬合的現象以及梯度更新緩慢的問題。同樣,使用大尺寸的濾波器去提取小目標物體時,會對計算機的資源造成浪費。因此在Inception的網絡基礎上,構建MRM結構進行圖像的淺層特征提取,該模塊由4個分支以及短跳連接組成,MRM的結構具體如圖2所示。

圖 2 MRM結構Fig.2 Multi-scale residual module structure

從圖2可以看出,MRM是一種多尺度的局部拓撲網絡。首先,該網絡將輸入的淺層特征信息分別通過1×1卷積層、3×3卷積層、2層3×3的卷積運算與最大池化操作獲得不同大小特征圖,隨后利用ReLU激活函數處理這些卷積運算結果。其次,網絡將每個分支完成特征提取后使用Concat層進行聚合操作,通過1×1卷積層進行疊加通道降維,然后使用3×3的卷積層學習不同分支降維后的特征信息。最后,為了捕獲更多的全局特征信息,加入殘差結構提取全局淺層特征數據的圖像信息,進一步提高網絡性能。

2.2 殘差混合注意力模塊(RHAM)

為了提取更豐富的圖像空間特征信息和通道特征信息,本文構建了一種RHAM,該網絡結構如圖3所示。

圖 3 RHAM結構Fig.3 Residual hybrid attention module structure

圖3包含一層3×3的卷積層和ReLU激活函數、空間注意力模塊(spatial attention module,SAM)[17]和通道注意力模塊(channel attention module, CAM)以及注意力融合模塊(attention fusion module,AFM)。在RHAM中采用深度可分離卷積(depthwise separable convolution,DSC)結構[18]設計空間注意力模塊,DSC結構對同一特征通道上的空間特征進行調制映射,同時通過對應通道上的特征圖進行卷積操作,去除不同通道的空間融合特性,僅保留特征圖上同一通道的空間特征關系。在CAM中,首先采用最大池化與平均池化2種方法獲取特征圖的各個通道特征,然后將對應通道特征融合,再通過1×1卷積層和 Sigmoid激活函數對底層特征賦予不同的權重,以此來捕獲高頻信息。最后,將SAM、CAM提取的特征信息一同輸入到AFM,進行卷積操作,獲取圖像高頻信息。

圖3中,輸入的特征F輸入到RHAM結構中,先通過一層3×3的卷積、ReLU激活函數后,再將圖像特征信息傳遞給SAM和CAM。在SAM中,通過利用SAM提取各個通道的空間特征依賴關系,設置一個與輸入特征圖維度相同的3×3濾波器,使濾波器的各個通道與特征圖相應通道一一對應。再使用ReLU激活函數后與空間注意力模塊相結合。具體表示為

式中:C為卷積操作;C(F,3)中的3為濾波器的尺寸,F為輸入圖像特征;Cd為可分離卷積操作;F0為特征F經過卷積層和激活函數輸出特征;FSAM為空間注意力特征輸出;δ為ReLU激活函數;η為Softmax函數。在CAM中,首先進行最大池化和平均池化,再進行逐像素相加操作,得到1×1卷積層的輸出特征FZ。通過1×1卷積層進行特征通道的壓縮與擴張,最后通過Sigmoid激活函數獲取最后的特征圖,具體表示為

FCAM=f(WU(WD(FZ)))

(2)

式中:f為Sigmoid函數;WU和WD分別為升維和降維操作,用來擬合不同通道間的相互依賴關系。將提取的通道特征FCAM與空間特征FSAM和F0導入到AFM,最后輸出殘差混合注意力的重建結果。

2.3 損失函數

在圖像視覺領域中,損失函數用來定義模型所生成的HR圖像與真實的參考圖像之間的差異,在基于深度學習的優化過程中起著不可缺少的作用。在SR重建算法中,經常使用損失函數L2與損失函數L1作為重建過程的損失函數。L2損失函數收斂速度較慢,對異常數據過于敏感,導致重建后的圖像出現缺失高頻細節和輪廓邊緣過于平滑的現象,而L1損失函數可以防止重建過程中圖像的失真現象。因此本文使用L1損失函數作為優化函數,其表達式如下:

式中:yi為重建后的圖像;f(xi)為對應的真值圖;xi為第i張訓練圖像。

3 實驗結果與分析

目前大多數基于深度學習的SR算法使用DIV2K[19]數據集作為訓練集,分辨率為2 048×1 080。為了保證對比實驗的公平性,本文也采用該數據集作為實驗的訓練集。該數據集一共包含1 000幅真值圖像,為了防止網絡出現欠擬合情況,將DIV2K數據集利用雙三次插值法對HR圖像進行下采樣操作得到對應的LR圖像,利用90°、180°和270°旋轉的方法以增大算法訓練的數據量。

3.1 實驗設置與評價指標

3.1.1 實驗設置

本文的實驗環境為采用Pytorch深度學習框架搭建,在Ubuntu18.04 LTS 64-bit操作系統上實現,顯卡為NVIDIA RTX 3060。為了更準確地驗證本文算法的優越性,將本文算法與對比RCAN、CSNLN等算法的參數保持一致,本文實驗采用Adam作為優化器,在實驗過程中將參數設置為:β1=0.9,β2=0.999,ε=10-8。訓練階段,輸入的圖像被隨機裁剪為64×64的區域,輸入和輸出的特征圖均設置為64通道。初始學習率設為0.000 1,批次大小設置為8,每訓練100次迭代,學習率下降0.5。在本文網絡訓練實驗中,模型的訓練迭代次數設為300,注意力模塊消融實驗中,模型訓練的迭代次數設為300。本文算法在消融、網絡算法訓練分析實驗中,殘差混合注意力組包含8個RHAM。

3.1.2 評價指標

圖像SR重建任務中,通常通過各類指標數值評估重建后圖像與真值圖像的差異。為了有效地驗證模型的重建效果,使用PSNR和SSIM評估不同類型的模型生成圖像的重建質量。

1) PSNR指標

式中:Xi為真值圖像像素點;xi為重建后的圖像的像素點;xmax為真值圖像中的最大像素值;LMSE、LPSNR是回歸損失函數中均方差函數、峰值信噪比。當LMSE最小時,LPSNR數值取最大。此時,像素點差異最小,但由于沒有考慮到人眼的視覺感知能力,因此容易導致圖像主觀感知質量較差,所以需要與SSIM指標一起使用。

2) SSIM指標

式中:μx、μy為圖像x、y均值;?x、?y為圖像x、y的標準差;?xy為圖像x、y的協方差;C1、C2為常數。

3.2 多種算法對比

為進一步驗證本文網絡模型的有效性,將本文算法與RCAN[6]、CSNLN[7]、ENLCA[8]算法進行對比。為了驗證算法的公平性,在測試算法階段,本文使用Set5[20]、Set14[21]、BSD100[22]、Urban100[23]、Manga109[24]數據集。這5個基準數據集包含了SR領域中常用到的各類圖像,便于本文算法與其他算法進行客觀對比。將數據集中訓練圖像分別進行了2、3和4倍的雙三次下采樣處理之后,作為訓練網絡的輸入圖像。表1～3為在基準數據集中,不同算法的PSNR和SSIM值,其中相同條件下,最好的PSNR和SSIM值用黑體表示。

表 1 2倍放大系數下不同算法的PSNR和SSIM

表 2 3倍放大系數下不同算法的PSNR和SSIM

表 3 4倍放大系數下不同算法的PSNR和SSIM

從表1～3可以看出,相對于RCAN、CSNLN、ENLCA算法,在2倍放大倍數下,本文算法較ENLCA算法,PSNR平均提高0.11 dB,SSIM基本相同;3倍放大倍數下,PSNR平均提高0.226 dB,SSIM平均提高 0.005 5;4倍放大倍數下,PSNR平均提高0.142 dB,SSIM平均提高0.003 62。由此可知本文提出的重建算法實驗效果優于當前主流算法。但本文的算法在放大倍數為4倍的BSD100數據集上PSNR和SSIM都沒有取得最好的結果,PSNR相差了0.07 dB,SSIM差了0.003 1。通過分析發現,本文算法主要目的是恢復圖像中的紋理細節信息,對BSD100數據集這種包含有豐富語義信息的圖像恢復稍有欠缺。

為了更直觀地展示本文算法的有效性,分別在Set5數據集、Set14數據集以及Urban109數據集上進行可視化對比,實驗結果見文章首頁OSID碼中的“開放科學數據與內容”。

上述對比實驗證明本文算法的PSNR值更高,重建后的圖像具備更精細的特征,且具備更好的主觀視覺感官效果。

3.3 消融實驗分析

為驗證本文提出的MRM和RHAM結構的有效性,進行2次消融實驗,分別討論MRM和SAM、CAM結對整個模型的影響。

3.3.1 MRM對網絡影響

MRM是為了網絡更好地提取圖像的淺層特征。然而,過多尺度會降低網絡的提取效率以及造成數據的冗余,提升有限;單尺度網絡提取的淺層特征則過于有限,無法提供特征的有效性。因此,需要設置合理的多尺度分支,使網絡既能提取豐富的淺層特征,又不降低網絡的性能。實驗設置了5種分支,在DIV2K數據集上進行測試,實驗結果如表4所示,其中,“—”代表沒有該模塊,“√”代表有該模塊。

表 4 不同尺度模塊的對比實驗

從表4可以看出,只存在一個尺度分支時,網絡參數量較小,處理結果不佳;多尺度分支為4時,參數量提升了93×103,PSNR值提升了0.15 dB,提升效果最優;當存在5種不同尺度分支時,網絡的參數量較大,提取的淺層特征并未明顯增長,且因參數量過多導致時間成本增加。因此,將該模塊存在4個分支默認為最佳分支,具體結構如圖2所示。

3.3.2 SAM、CAM對網絡的影響

為了研究SAM和CAM對整個算法網絡的影響,在數據集Set5、Set14、BSD 100中進行300輪次的消融實驗,并記錄最優數值。在2倍放大尺度下,去掉不同模塊對實驗的影響,結果如表5所示。

表 5 有無SAM和CAM在2倍放大尺度下訓練后測試的表現

表5中,SAM和CAM都未使用的情況下,得到最低的指標數值。當只使用SAM或者CAM時,評價指標比都不使用要高;同時使用2個模塊時,相同數據集下,評價指標最高,相比去除2個模塊的情況,在3個數據集上PSNR值分別提高了1.27 dB、0.96 dB和1.31 dB。實驗結果反映了網絡結構中RHAM的有效性,以及殘差混合注意力能夠補償特征數據損失和穩定模型訓練以提升模型的性能。

為了更直觀驗證2種模塊的有效性,在2倍Set5數據集上圖像化處理,實驗結果如圖4所示。

圖 4 有無SAM和CAM在 2倍放大尺度下訓練后效果對比Fig.4 Comparison of the effect with and without SAM and CAM after training at 2 magnification

從圖4可以看出,輸入LR圖像,當SAM、CAM都不存在時,重建出的圖像效果較LR圖像在細節方面只有微弱的提升,重建出的圖像較為模糊;只存在SAM或CAM時,算法重建后的圖像較SAM、CAM都不使用時,“嬰兒”的眉毛的紋理信息更加的清晰;當SAM、CAM都存在的時候,“嬰兒”的眉毛幾乎可以完全看清,同時瞳孔中的紋理也更加的清晰,更接近于HR圖像。

4 結 語

本文提出了一種多尺度混合注意力網絡的圖像SR算法。該算法首先使用MRM獲取輸入圖像的不同感受野大小,獲得更好的淺層圖像表征。然后采用RHAM,細致挖掘在空間和通道上更有表示能力的特征。另外,通過亞像素的上采樣恢復出更多圖像的高頻信息。實驗結果表明,本文算法能夠在低分辨率圖像中還原出更多紋理細節,重建出視覺效果更好的圖像。在后續的研究中,可以將本文提出的SR算法應用于視頻數據傳輸,從而將傳輸的LR視頻動態生成HR視頻。