基于特征融合注意網絡的圖像超分辨率重建

周登文 馬路遙 田金月 孫秀秀

近年來,單圖像超分辨率(Single image superresolution,SISR)技術是圖像處理和計算機視覺領域的研究熱點,旨在由單幅低分辨率(Low-resolution,LR) 圖像重建出具有更多細節的高分辨率(High-resolution,HR)圖像,它在醫學成像[1]、遙感衛星成像[2]和視頻監控[3]等領域有廣泛的應用.

超分辨率技術可大致分為3 類: 基于插值[4-5]、基于重建[6-7]和基于學習[8-13]的方法.其中,基于學習的超分辨率算法是目前的主流研究方向.2014 年,Dong 等[8]提出了基于深度卷積神經網絡(Convolutional neural network,CNN)的SISR 算法,稱為SRCNN.不同于傳統的基于學習的方法,SRCNN直接學習低分辨率(LR)和高分辨率(HR)圖像之間端到端的映射.該網絡結構雖然簡單(只有3 層),但是,超分辨效果很好.2016 年,Dong 等[9]在SRCNN 的基礎上,進一步提出了基于沙漏型結構的FSRCNN 方法.該方法參數量和計算量都更小,速度也更快.Kim 等[10]利用殘差網絡(ResNet)[14],加深了網絡結構(20 層),提出了使用很深CNN 的SISR方法VDSR (Verp deep super-resolution),取得了更好的效果.Tai 等[11]提出了深度遞歸殘差SISR網絡DRRN (Deep recursive residual network),采用了更深的網絡結構.受益于參數共享策略,相比VDSR 方法,參數量更少,效果更好.2017 年,Lai等[12-13]提出了基于拉普拉斯圖像金字塔的深度殘差網絡LapSRN (Laplacian super-resolution network).LapSRN 網絡模型包含多級,每一級完成一次2 倍上采樣操作.通過逐級上采樣和預測殘差,實現圖像超分辨率重建.一次訓練模型,可以完成多個尺度的超分辨率任務.我們的方法,主要是受到LapSRN 方法的啟發.

VDSR、DRRN 和LapSRN 等方法都表明: 網絡深度對于超分辨率圖像重建質量有著至關重要的影響.以前基于深度CNN 的超分辨率方法,大多依賴于簡單地疊加卷積層,構建更深的網絡,以獲得性能的改進.但是,這會導致對內存和計算能力需求的快速增加.

隨著網絡深度的增加,感受野會不斷增大,各網絡層提取的特征逐步抽象.本文認為: 網絡模型不同深度提取的特征,均包含不同的、有利于超分辨率重建的信息,以前的方法大多忽略了如何充分利用這些信息.此外,超分辨率重建的重點是恢復圖像邊緣和紋理等高頻細節,之前的方法通常對提取出來的特征信息同等對待,沒有重點關注圖像邊緣和紋理等細節.

近年來,視覺注意機制[15]在圖像分類和超分辨率等應用中取得了成功[16-19],它可以重點關注感興趣的目標,抑制無用的信息.為了解決上述問題,本文提出了基于特征融合注意網絡的超分辨率重建方法,本文的貢獻主要包括: 1) 提出了多級特征融合的網絡結構,能夠更好地利用網絡不同深度的特征信息,以及增加跨通道的學習能力;2) 提出了特征注意網絡結構,能夠增強圖像邊緣和紋理等高頻信息.實驗結果表明: 本文提出的基于特征融合注意網絡的圖像超分辨率方法,無論是主觀視覺效果,還是客觀度量,超分辨率性能均超越了其他代表性的方法.

1 本文方法

本文方法主要是受到LapSRN 方法的啟發,為了便于介紹本文方法,首先對LapSRN 方法作一個簡單的介紹.兩級LapSRN 網絡分為兩級超分辨率子網絡(每級11 個卷積層),每一級超分辨率子網絡包含基于CNN 的特征提取和反卷積上采樣2 個部分,以實現2 倍放大因子的超分辨率重建.LapSRN方法的兩級超分辨率子網絡,可同時重建 ×2 和×4倍超分辨率圖像.

LapSRN 超分辨率子網絡的結構較為簡單,只是常規3×3 的卷積層的堆疊.本文特征融合注意網絡模型的總體架構類似于LapSRN,也由超分辨率子網絡組成,參見圖1.但是,在每一級子網絡的內部,有重要的改進.本文模型的每一級子網絡包括3 個部分: 特征融合子網絡、特征注意子網絡和圖像重建子網絡(2 倍反卷積上采樣),參見圖2.特征融合子網絡由維度轉換層、遞歸卷積塊、多通道融合層,以及全局特征融合層4 個部分組成.遞歸卷積塊提取的不同深度特征,通過多通道融合層,傳遞到全局特征融合層,充分利用不同深度的特征信息和跨通道融合,以自適應地學習跨通道特征信息之間的相互關系,增強網絡特征信息的選擇能力.特征注意子網絡將特征融合子網絡輸出的特征,進行高頻信息的著重處理,以增強特征中邊緣和紋理等細節信息.圖像重建子網絡則使用反卷積上采樣層,生成2 倍超分辨率圖像.本文的特征融合子網絡中包含8 個遞歸卷積塊,每個卷積塊包含5 個3×3 的卷積層.由于采用了遞歸結構,各卷積塊之間參數共享,以及兩級超分辨率子網絡之間其他參數的共享.雖然本文的網絡模型有80 個卷積層,但參數總量大約只有LapSRN 方法的3/8.下面對網絡模型的主要部分進行詳細的介紹.

圖1 網絡模型的總體結構Fig.1 Overall structure of network model

圖2 超分辨率子網絡內部結構Fig.2 Internal structure of super-resolution subnetwork

1.1 特征融合子網絡

本文的特征融合子網絡由維度轉換層、遞歸卷積塊、多通道融合層,以及全局特征融合層4 個部分組成.維度轉換層為一個3×3 的卷積層,將輸入的LR 圖像轉換到高維特征,并過濾掉一部分低頻信息

其中,ILR是輸入的LR 圖像,F0是維度轉換層的映射函數,W0是F0的權重矩陣參數,H0是F0的輸出特征.H0輸入到8 個順序連接的遞歸卷積塊,每個卷積塊包含5 個的卷積層,參見圖3.遞歸卷積塊對H0進一步進行特征提取

圖3 遞歸卷積塊的結構Fig.3 Structure of recursive convolutional block

其中,Fi是第i個遞歸卷積塊的映射函數,Wi是Fi的權重矩陣參數,Hi是第i個遞歸卷積塊的輸出.

多通道融合層包含8 個1×1 的卷積層,分別對8 個遞歸卷積塊的輸出特征Hi,i=1,2,···,8,進行多通道融合和聯通

其中,FM,i是第i個多通道融合層的映射函數,WM,i是FM,i的權重矩陣參數,HM,i是第i個多通道融合層的輸出特征.

全局特征融合層將多通道融合層的輸出特征HM,i進行拼接,生成特征HM,再通過2 個1×1 的卷積層,進一步融合和降維,以提高不同深度特征的利用率

其中,FG是全局特征融合層的映射函數,WG是FG的權重矩陣參數,HG是全局特征融合層的輸出.

多通道融合層和全局特征融合層的相互結合,使得本文的網絡模型能夠聯通不同深度、不同通道特征,以更好地學習特征之間的相互關系.

1.2 特征注意子網絡

注意力機制旨在將更多的注意力集中在感興趣的信息上.在圖像超分辨率重建中,我們更感興趣圖像的高頻信息,即圖像的邊緣和紋理等信息.合適的網絡結構是實現注意機制的關鍵.本文的特征注意子網絡包含一個注意模塊,由7×7 的最大池化層、三個3×3 的卷積層和一個S 形(sigmoid)非線性激活層組成,參見圖4.7×7 的大感受野最大池化層,可以更多地保留特征的紋理信息,過濾一部分平滑的低頻信息.S 形非線性激活函數的輸出限制在0 到1 之間,減少對特征信息的擾動,并能夠進一步抑制不重要的信息.特征注意子網絡得到一個與輸入特征尺寸相同的增強矩陣A,A與輸入特征(即特征融合子網絡的輸出)HG逐元素相乘,對HG進行信息增強

圖4 特征注意子網絡結構Fig.4 Structure of feature attention network

其中,A是注意模塊的輸出,R是注意模塊中卷積塊待學習的映射函數,WR是R的權重矩陣參數,Pmax是最大池化層函數,HA是增強后的特征,(·)是逐元素相乘運算.

1.3 圖像重建子網絡

我們使用與LapSRN 方法類似的圖像重建子網絡,在每一級超分辨率子網絡的末端進行一次2倍超分辨率重建.將運用注意力機制增強后的特征HA和LR 圖像分別進行反卷積上采樣,并逐元素相加,生成重建的2 倍超分辨率圖像

其中,ISR是重建的超分辨率圖像,ILR是輸入的LR圖像,TL是LR 圖像上采樣反卷積層待學習的映射函數,WTL是TL的權重矩陣參數,TH是特征HA上采樣反卷積層待學習的映射函數,WTH是TH的權重矩陣參數,D為降維卷積的映射函數,WD是D的權重矩陣參數.

1.4 跳躍連接

殘差網絡在計算機視覺任務中應用廣泛,其跳躍連接通常源自前一層的輸出.在特征融合子網絡中,采用了同源跳躍連接結構,如圖5 所示.該結構將維度轉換層的輸出H0傳遞到每個遞歸卷積塊的輸入中,每個遞歸卷積塊的輸入是上一個塊的輸出與H0的和.這樣可以向網絡深層傳遞更多的淺層特征信息,也可以有效地減輕梯度消失和爆炸問題.

圖5 跳躍連接結構Fig.5 Structure of skip link

1.5 損失函數

本文采用了與LapSRN 相同的L1 損失函數[13]

其中,N為每個訓練批次的圖像數量,L為整個網絡包含的子網絡數.為高分辨率圖像,為對應的重建圖像,ε設置為 1 0-6.

2 實驗結果

2.1 訓練和測試數據集

不同的基于學習的SISR 方法,使用不同的訓練集.SRCNN 方法使用ImageNet 訓練集[8],FSRCNN 方法使用General-100 訓練集[9],Yang 等[20]使用91 幅訓練圖像.LapSRN 方法使用Berkeley Segmentation Dataset[21]中的200 幅圖像,以及Yang 等[20]方法中的 91 幅圖像,共291 幅圖像作為訓練集,并通過縮放、旋轉等方式,擴充了訓練集.由于本文的方法與LapSRN 方法的網絡模型總體架構類似,因此也采用了與其相同的訓練數據集和訓練集增擴方法.

本文使用了Set5[22]、Set14[23]和BSD100[24]標準測試數據集,分別包含5、14 和100 個高分辨率(HR)原圖像.

2.2 訓練數據集預處理和訓練參數設置

本文使用不同的下采樣因子,下采樣原高分辨率(HR)訓練圖像,獲得對應的低分辨率(LR)圖像,并且通過縮放和旋轉增擴了訓練圖像: 首先,對訓練圖像以0.5 和0.7 的比例進行縮放;接著,對所有訓練圖像進行[ 9 0°,1 80°,2 70°]的旋轉.所有訓練圖像都裁剪為96×96 的圖像片(塊),LR 和HR訓練圖像片對共123 384 個.本文在DIV2K[25]數據集中隨機選取20 幅圖像,也進行了增擴處理,獲得2 688 個LR 和HR 圖像片對,作為驗證圖像.本文網絡模型中每一級超分辨率子網絡參數設置可參見表1.其中,H、W是輸入的LR 圖像的高度和寬度,Conv 是卷積層,LReLU 是滲漏、修正的非線性層,MaxPool 是最大池化層,ConvT 是反卷積層.

表1 每一級超分辨率子網絡的參數設置Table 1 Parameter setting of each level of super-resolution sub-network

網絡模型的其他訓練參數設置: 每批64 個訓練圖像對,全部訓練圖像對共1 928 批,作為一個訓練周期(Epoch),共訓練100 個周期;訓練優化算法: Adam[26];初始學習率: 1 0-4,每迭代20 個周期,學習率衰減一半;卷積濾波器初始化采用MSRA算法[27];反卷積濾波器初始化采用均值為0、標準差為0.001 的高斯分布[9].在Intel Core i7-4790K 4.00 GHz CPU,NVIDIA GTX Titan X GPU (12 GB內存)上,使用PyTorch 1.0 深度學習框架,作為訓練平臺.

2.3 模型分析

本文在Set5 和Set14 標準測試數據集上進行4 倍超分辨率實驗.分析特征融合子網絡和特征注意子網絡對超分辨率性能的影響,參見表2.我們給出了不同模型變種的平均峰值信噪比(Peak signal to noise ratio,PSNR)[28]和模型參數量.可以看出:遞歸結構可以在對網絡性能影響不大(PSNR最大相差0.01dB)的情況下,有效減少參數量,不使用遞歸結構,參數量將急劇增加(大約增加到7 倍).特征融合子網絡和特征注意子網絡均可以提升網絡的超分辨率性能,兩個子網絡并用,效果最好.

表2 不同變種的網絡模型×4 超分辨率,在Set5、Set14數據集上的平均峰值信噪比(dB)及參數量Table 2 Average PSNR (dB) and number of parameters of different super-resolution network models for scale factor ×4,on Set5 and Set14 datasets

本文用NVIDIA Titan X (單卡),訓練100 個迭代周期(Epoch),大約需要2 天.網絡收斂曲線參見圖6,縱坐標是損失值,橫坐標是訓練迭代周期數.“train loss”是訓練損失收斂曲線,“val loss”是驗證損失曲線.當訓練損失和驗證損失趨向于穩定時,停止訓練.

圖6 網絡收斂曲線 (“train loss” 是訓練損失收斂曲線,“val loss” 是驗證損失曲線)Fig.6 Network convergence curves (“train loss” is the training loss convergence curve;“val loss” is the validation loss curve)

2.4 實驗結果分析

我們在Set5、Set14 和BSD100 標準測試集上,驗證2 倍、4 倍和8 倍超分辨率性能.圖像質量客觀度量標準采用共同使用的PSNR 和結構相似度(Structural similarity,SSIM)[28],PSNR 和SSIM值越大,表示圖像質量越高.我們也與一些代表性的SISR 方法進行了比較,包括經典的雙三次插值方法Bicubic[29],Huang 等[30]基于自相似的SISR 方法SelfEx,Dong 等[8]使用深度卷積網絡的SISR 方法SRCNN,Kim 等[10]使用深度CNN 的SISR 方法VDSR,Tai 等[11]深度遞歸殘差網的SISR 方法DRRN,Lai 等拉普拉斯金字塔網絡的SISR 方法LapSRN[12]和Ms-LapSRN[13]等.Bicubic 方法使用MATLAB interp2 函數實現;其他方法的實現均來自作者公開的源代碼,使用原方法論文中的參數.2 倍、4 倍模型使用原作者預訓練模型,8 倍模型用作者源代碼訓練得到.計算結果參見表3.

一個已知的事實是: PSNR 和SSIM 等客觀度量方法與人的主觀視覺并不是完全一致的.本文方法與其他比較的方法,在Set5、Set14 和BSD100測試數據集上部分圖像的4 倍超分辨率的視覺效果(參見圖7～ 9),圖10 是8 倍超分辨率的結果.為了便于觀察,對比的結果圖像進行了局部裁剪和放大.第1 行和第3 行是選擇的裁剪區域,第2 行和第4行是對紅色方框中重點區域的放大.各個比較的方法標注在圖像的下方.本文方法的超分辨結果明顯優于其他比較的方法,更好地恢復了圖像的邊緣和紋理等細節,是清晰可視的.尤其是圖8 中花瓶的紋理和魚的眼睛,圖7 中的文字和馬腿部花紋.

圖7 在Set5 測試數據集上,2 個測試圖像×4 超分辨率結果對比Fig.7 A comparison of super-resolution results of two test images in Set5 for scale factor ×4

圖8 在Set14 測試數據集上,2 個測試圖像×4 超分辨率結果對比Fig.8 A comparison of super-resolution results of two test images in Set14 for scale factor ×4

圖9 在BSD100 測試數據集上,2 個測試圖像×4 超分辨率結果對比Fig.9 A comparison of super-resolution results of two test images in BSD100 for scale factor ×4

圖10 在BSD100 測試數據集上,2 個測試圖像×8 超分辨率結果對比Fig.10 A comparison of super-resolution results of two test images in BSD100 for scale factor ×8

基于深度CNN 的6 個SISR 方法在BSD100測試數據集上,4 倍超分辨率的平均PSNR 和參數量的對比,參見圖11.SRCNN 的網絡模型只有3 層,故參數量最小,但是其PSNR 性能最低;本文方法的平均PSNR 最高,參數量卻大約只有LapSRN的1/3,與DRRN 和Ms-LapSRN 方法,大致相當.

圖11 6 個基于深度CNN 的方法,在BSD100 數據集上×4 超分辨率的平均PSNR 和參數量對比Fig.11 Number of parameters and average PSNR of six methods based on depth CNN,on the BSD100 for scale factor ×4

基于深度CNN 的6 個SISR 方法在BSD100測試數據集上,4 倍超分辨率的平均運行時間對比,參見圖12.本文方法的速度略低于LapSRN、Ms-LapSRN 和SRCNN,但明顯快于VDSR 與DRRN方法.LapSRN 方法最快,比本文方法也僅快大約0.06 s,本文方法比VDSR 大約快0.1 s,比DRRN大約快0.8 s.

圖12 6 個基于深度CNN 的方法,在BSD100 數據集上×4 超分辨率的平均運行時間對比Fig.12 A comparison of running times of six methods based on depth CNN,on the BSD100 for scale factor ×4

3 結束語

針對之前基于深度CNN 的SISR 方法中參數量大,圖像邊緣和紋理恢復效果不好等問題,受基于拉普拉斯圖像金字塔的深度殘差網絡方法(LapSRN)的啟發,提出了基于特征融合注意網絡的超分辨率重建方法.我們保留了LapSRN 方法分級重建的優點,采用了遞歸和其他參數共享策略,使參數量急劇下降,大約只有LapSRN 方法的3/8.由于采用了多級特征融合和特征注意機制,使得本文的網絡模型,能夠充分融合和利用不同深度、不同通道的特征,重點增強邊緣和紋理等高頻信息,超分辨率效果顯著提升.實驗結果也證實了本文方法的良好性能,在進行比較的代表性方法中,本文方法更好地平衡了性能、模型的復雜度和運行時間等因素.未來我們將計劃進一步優化和改進我們的方法.