二階逐層特征融合網(wǎng)絡(luò)的圖像超分辨重建

于 蕾, 鄧秋月, 鄭麗穎, 吳昊宇

(1. 哈爾濱工程大學(xué)信息與通信工程學(xué)院, 黑龍江 哈爾濱 150001;2. 哈爾濱工程大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 黑龍江 哈爾濱 150001)

0 引 言

超分辨重建是一種重要的圖像處理技術(shù),旨在從低分辨率圖像恢復(fù)出高分辨率圖像[1-3],目前已被廣泛應(yīng)用于機(jī)器視覺的各個(gè)領(lǐng)域,例如視頻監(jiān)控[4]、遙感[5]、醫(yī)學(xué)圖像[6]等。由于退化方式的不同,從低分辨率圖像能夠重建出不同的高分辨率圖像,這導(dǎo)致超分辨率重建是一個(gè)不確定的問題。為了解決這個(gè)問題,已有大量的方法被提出,大致分為:基于插值的方法、基于重構(gòu)的方法和基于學(xué)習(xí)的方法。近年來,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)取得了顯著的發(fā)展,其強(qiáng)大的特征學(xué)習(xí)能力非常適用于圖像處理領(lǐng)域。大量的研究將CNN引入了超分辨領(lǐng)域,越來越多的超分辨網(wǎng)絡(luò)被提出,并且取得了優(yōu)異的表現(xiàn)[7-9]。

最初的超分辨模型往往由簡單的CNN構(gòu)建而成,表現(xiàn)為單一的線性結(jié)構(gòu),沒有其他的連接結(jié)構(gòu)以及多個(gè)分支。Dong等[10]提出的超分辨率卷積神經(jīng)網(wǎng)絡(luò)(super-resolution convolutional neural network, SRCNN),是第一個(gè)基于CNN的超分辨模型。SRCNN分為特征提取、非線性映射、重建3部分,其結(jié)構(gòu)為超分辨網(wǎng)絡(luò)提供了設(shè)計(jì)基線。SRCNN存在著一個(gè)缺陷,即模型需要將插值放大后的圖像作為其輸入,加大了網(wǎng)絡(luò)的計(jì)算量,同時(shí)也放大了噪聲。Dong等[11]又提出了快速SRCNN(fast SRCNN, FSRCNN)。與SRCNN不同的是,FSRCNN不需要對(duì)輸入做任何處理,圖像的放大過程通過反卷積層進(jìn)行,實(shí)現(xiàn)了端到端的重建模式。FSRCNN不僅有效地降低了網(wǎng)絡(luò)參數(shù)量,還提升了網(wǎng)絡(luò)的訓(xùn)練速度。雖然FSRCNN利用反卷積層在網(wǎng)絡(luò)的內(nèi)部實(shí)現(xiàn)了圖像的放大,但是反卷積層容易造成棋盤效應(yīng)。后來,Shi等[12]提出了高效子像素CNN(efficient sub-pixel convolutional neural network, ESPCN)。ESPCN通過亞像素卷積實(shí)現(xiàn)圖像的放大,亞像素卷積重建出的圖像在視覺觀感上更加貼近真實(shí)圖像。亞像素卷積層也因此在超分辨重建網(wǎng)絡(luò)中應(yīng)用得更為廣泛。

基于線性結(jié)構(gòu)的超分辨模型,由于其簡單的網(wǎng)絡(luò)結(jié)構(gòu),不能實(shí)現(xiàn)復(fù)雜圖像的重建。并且,網(wǎng)絡(luò)層數(shù)的線性加深會(huì)導(dǎo)致網(wǎng)絡(luò)難以收斂,從而阻礙了網(wǎng)絡(luò)的表征能力。因此,非線性結(jié)構(gòu)隨即被提出。一系列基于跳躍連接、密集連接等結(jié)構(gòu)的模型被提出,使得構(gòu)建非常深的高性能的網(wǎng)絡(luò)成為可能。Kim等[13]引入了殘差學(xué)習(xí)的思想,提出了網(wǎng)絡(luò)深度首次達(dá)到20層的極深超分辨網(wǎng)絡(luò)(very deep super-resolution network, VDSR)。Ahn等[14]通過堆疊多個(gè)級(jí)聯(lián)殘差塊,并建立跳躍連接以結(jié)合網(wǎng)絡(luò)中學(xué)習(xí)到的全局信息和局部信息,提出了級(jí)聯(lián)殘差網(wǎng)絡(luò)(cascading residual network, CARN)。為了防止梯度消失或爆炸,同時(shí)控制參數(shù),將跳躍連接和遞歸學(xué)習(xí)結(jié)合,提出了深度遞歸殘差網(wǎng)絡(luò)[15](deep recursive residual network, DRRN)。文獻(xiàn)[16]提出了一種非常深的持久存儲(chǔ)網(wǎng)絡(luò)(memory network, MemNet),它應(yīng)用多個(gè)遞歸單元和門單元來提取和融合多級(jí)特征,以增強(qiáng)重建圖像的視覺質(zhì)量。程德強(qiáng)等[17]設(shè)計(jì)了一種多通道遞歸殘差網(wǎng)絡(luò)(multi-channel recursive residual network, MCSR)模型,將不同通道的特征信息進(jìn)行融合。Qin等[18]利用多尺度上的特征融合提出了多尺度特征融合殘差網(wǎng)絡(luò)(multi-scale feature fusion residual network, MSFFRN)。

基于CNN的超分辨模型雖然有效地提升了重建性能,但是仍然存在著不足之處。首先,大多數(shù)超分辨模型沒有重用網(wǎng)絡(luò)不同層次的圖像信息,使得網(wǎng)絡(luò)的重建能力有限;其次,這些模型對(duì)網(wǎng)絡(luò)各層次的特征沒有進(jìn)行進(jìn)一步處理,阻礙了模型能力的充分挖掘,導(dǎo)致重建圖像細(xì)節(jié)模糊、邊緣不清晰。

為了解決上述問題,并進(jìn)一步挖掘網(wǎng)絡(luò)的表征能力,提出了二階逐層特征融合超分辨網(wǎng)絡(luò)(second-order progre-ssive feature fusion super-resolution network, SPFFSR)。本文的主要貢獻(xiàn)如下:

(1) 提出了逐層特征融合方法,將每一層的特征與上一層的特征進(jìn)行融合處理;

(2) 提出了二階特征融合機(jī)制,在網(wǎng)絡(luò)的局部和全局層面上采用逐層特征融合方法進(jìn)行特征融合;

(3) 提出了SPFFSR,該網(wǎng)絡(luò)可以學(xué)習(xí)更具代表性的特征,從而生成更準(zhǔn)確的重建結(jié)果。

1 二階逐層特征融合網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)框架

整體的網(wǎng)絡(luò)框架如圖1所示。所提出的二階逐層特征融合網(wǎng)絡(luò)分為了3部分:淺層特征提取部分、深層特征提取部分、重建部分。淺層特征提取部分用于提取圖像的初始特征,即網(wǎng)絡(luò)的淺層特征;深層特征提取部分用于進(jìn)一步挖掘圖像的高頻特征,即網(wǎng)絡(luò)的深層特征;重建部分利用網(wǎng)絡(luò)提取到的特征構(gòu)建最終的超分辨圖像。

(1) 淺層特征提取部分。淺層特征提取部分用于提取圖像的初始特征,即網(wǎng)絡(luò)的淺層特征,其過程描述如下:

F0=fSFE(ILR)=Conv3(ILR)

(1)

式中:ILR表示輸入的低分辨圖像;Conv3(·)表示3×3的卷積函數(shù);fSFE(·)用于對(duì)輸入圖像執(zhí)行淺層特征提取操作;F0即為提取到的淺層特征。

(2) 深層特征提取部分。提取到淺層特征F0之后,再進(jìn)入網(wǎng)絡(luò)的深層特征提取部分。深層特征提取部分主要由主干分支、輔助分支和跳躍分支構(gòu)成。主干分支是由g個(gè)級(jí)聯(lián)的逐層特征融合模塊組成,第i個(gè)模塊在圖1中表示為B-i(i=1,2,…,g),其特征提取過程可以表述為

Fg=fBg(Fg-1)=fBg(fBg-1(…fB1(F0)…))

(2)

式中:Fi表示第i個(gè)逐層特征融合模塊的輸出特征;fBi(·)表示第i個(gè)逐層特征融合模塊的特征提取操作;Fg即為深層特征提取部分的主干分支提取到的特征。

圖1 二階逐層特征融合超分辨網(wǎng)絡(luò)Fig.1 Second-order progressive feature fusion super-resolution network

輔助分支用來將每個(gè)逐層特征融合模塊的輸出特征按逐模塊遞進(jìn)的方式進(jìn)行先融合再卷積的操作,過程描述如下:

(3)

式中:Conv1(·)表示1×1的卷積函數(shù);fresi表示輔助分支的輸出。

在深層特征提取部分建立了一條跳躍分支,將淺層特征F0傳送到網(wǎng)絡(luò)深層,以彌補(bǔ)淺層特征在網(wǎng)絡(luò)流動(dòng)過程中的丟失。然后,將3條分支的輸出進(jìn)行融合得到如下的FM:

FM=Fg+F0+Fresg-1

(4)

最后,利用通道注意力機(jī)制賦予每條支路輸出特征不同的重要性,數(shù)學(xué)表達(dá)式如下:

FG=fca(FM)

(5)

式中:fca(·)表示通道注意力機(jī)制函數(shù);FG表示被賦予了不同權(quán)重的特征。整個(gè)深層特征提取部分描述如下:

FG=fDFE(FM)=fca(F0+Fg+Fresg-1)

(6)

式中:FDFE(·)表示深層特征提取函數(shù)。

(3) 重建部分。超分辨網(wǎng)絡(luò)根據(jù)上采樣操作的位置分為前端上采樣網(wǎng)絡(luò),后端上采樣網(wǎng)絡(luò),漸進(jìn)式上采樣網(wǎng)絡(luò),迭代上下采樣網(wǎng)絡(luò)。本文所采用的框架為后端上采樣。上采樣方法主要有雙三次插值、轉(zhuǎn)置卷積層和亞像素卷積層。本文所采用的方法為亞像素卷積層。網(wǎng)絡(luò)重建部分FREC(·)由一個(gè)上采樣模塊FUM(·)構(gòu)成,其結(jié)構(gòu)如圖2所示。

圖2 上采樣模塊Fig.2 Upsampling module

當(dāng)網(wǎng)絡(luò)的放大因子為2時(shí),上采樣模塊由3×3卷積層和Shuffle×2組成;當(dāng)網(wǎng)絡(luò)的放大因子為3時(shí),上采樣模塊由3×3卷積層和Shuffle×3組成;當(dāng)網(wǎng)絡(luò)的放大因子為4時(shí),上采樣模塊由2個(gè)3×3卷積層和Shuffle×2組成,即網(wǎng)絡(luò)先實(shí)現(xiàn)放大圖像2倍的操作,然后在此基礎(chǔ)上再放大圖像2倍,以實(shí)現(xiàn)最后放大4倍圖像的任務(wù)。最終的超分辨圖像ISR通過下式得到:

ISR=fREC(FG)=fUM(FG)

(7)

整個(gè)超分辨過程可以描述如下:

ISR=fSPFFSR(ILR)=fREC(fDFE(fSFE(ILR)))

(8)

式中:fSPFFSR(·)表示網(wǎng)絡(luò)學(xué)習(xí)到的從低分辨圖像到高分辨率圖像的映射函數(shù)。

1.2 特征融合

特征融合是本文方法的重點(diǎn)。由于許多超分辨網(wǎng)絡(luò)沒有重用網(wǎng)絡(luò)不同層次的特征,沒有對(duì)網(wǎng)絡(luò)各層次的特征進(jìn)行進(jìn)一步處理,阻礙了模型能力的充分挖掘。基于此,本文首先提出了逐層特征融合方法,再把提出的逐層特征融合方法應(yīng)用到網(wǎng)絡(luò)的全局層面和局部層面上,構(gòu)成二階特征融合機(jī)制,加強(qiáng)了網(wǎng)絡(luò)各層之間的特征重用和信息流通。

1.2.1 特征融合方法

對(duì)于網(wǎng)絡(luò)在不同層次提取特征的融合方式,本文主要參考了兩種融合方法:層次特征融合(hierarchical feature fusion, HFF)[19]和二值化特征融合(binarized feature fusion, BFF)[20]。HFF如圖3(a)所示,首先將所有層的特征進(jìn)行對(duì)應(yīng)像素相加,然后再進(jìn)行卷積操作,以得到最終的特征。HFF只進(jìn)行了一次特征融合處理,對(duì)各層次特征的重用率不高。BFF如圖3(b)所示,將各相鄰層的特征進(jìn)行對(duì)應(yīng)像素相加,再進(jìn)行卷積操作,將處理后得到的特征再進(jìn)行相同操作以得到最終的特征。BFF將相鄰層的特征進(jìn)行融合處理,而本文使用了異構(gòu)模塊,即相鄰層的特征差異性較大,所以BFF在性能提升上效果不明顯。

圖3 4種特征融合方法Fig.3 Four feature fusion methods

為了探究更有效的特征融合方法,本文提出了兩種新的特征融合方法:交叉特征融合(interlaced feature fusion, IFF)和逐層特征融合。IFF如圖3(c)所示,將各奇數(shù)層的特征和各偶數(shù)層的特征,即交叉層的特征,分別進(jìn)行對(duì)應(yīng)像素相加,然后再進(jìn)行卷積操作,將處理后得到的特征再進(jìn)行一次相同的操作,以得到最終的特征。逐層特征融合如圖3(d)所示,先將前兩層的特征進(jìn)行一次對(duì)應(yīng)像素相加,然后再進(jìn)行卷積操作,將得到的特征再與第3層的特征進(jìn)行相同的處理,這樣依次進(jìn)行特征融合,以得到最終的特征。在相應(yīng)實(shí)驗(yàn)部分對(duì)這4種特征融合方法的有效性進(jìn)行了比較,實(shí)驗(yàn)結(jié)果表明逐層特征融合方法在整體上更加有效,所以本文選擇了逐層特征融合方法。

1.2.2 二階特征融合機(jī)制

如圖4所示,二階特征融合機(jī)制包含了全局特征融合和局部特征融合兩個(gè)融合層次。網(wǎng)絡(luò)主要由g個(gè)逐層特征融合模塊構(gòu)建而成。全局特征融合是指,利用逐層特征融合方法,將g個(gè)逐層特征融合模塊提取出的全局特征進(jìn)行融合,即二階特征融合。局部特征融合是指,利用逐層特征融合方法,將由每個(gè)逐層特征融合模塊內(nèi)部提取出的局部特征進(jìn)行融合,即一階特征融合。

全局特征融合是g個(gè)逐層特征融合模塊之間的特征融合。局部特征融合是每個(gè)逐層特征融合模塊內(nèi)部的特征融合。通過二階特征融合機(jī)制,充分提取并處理網(wǎng)絡(luò)各層次的特征,提高網(wǎng)絡(luò)的學(xué)習(xí)能力,使得網(wǎng)絡(luò)在重建時(shí)能夠最大限度地挖掘其學(xué)習(xí)到的特征信息,進(jìn)一步提高網(wǎng)絡(luò)的重建性能。

(1) 全局特征融合。利用逐層特征融合方法,將g個(gè)逐層特征融合模塊提取出的全局特征進(jìn)行融合。如圖4所示,將第一個(gè)逐層特征融合模塊的輸出特征F1和第二個(gè)逐層特征融合模塊的輸出特征F2的對(duì)應(yīng)像素相加再卷積得到Fres1,然后Fres1再與第三個(gè)逐層特征融合模塊的輸出特征F3進(jìn)行相同的操作得到Fres2,這樣依次進(jìn)行逐模塊的特征融合,最終得到Fresg-1,其過程可以描述如下:

Fresg-1=Conv1(Fresg-2+Fg)=

Conv1(Conv1(…Conv1(F1+F2)…)+Fg)

(9)

式中:Conv1(·)表示1×1卷積函數(shù),所用到的1×1卷積層的參數(shù)都不共享,F0,F1,F2,…,Fg分別表示網(wǎng)絡(luò)的初始特征和每個(gè)逐層特征融合模塊的輸出特征。

圖4 二階特征融合機(jī)制Fig.4 Second-order feature fusion mechanism

(2) 局部特征融合。利用逐層特征融合方法,將每個(gè)逐層特征融合模塊內(nèi)部提取出的局部特征進(jìn)行融合。如圖4所示,以第三個(gè)逐層特征融合模塊為例,將模塊內(nèi)部第一層的輸出特征F2,1和第二層的輸出特征F2,2的對(duì)應(yīng)像素相加再卷積得到F2,res1,然后再與第三層的輸出特征F2,3進(jìn)行相同的操作得到F2,res2,這樣依次進(jìn)行逐層特征融合,最終得到F2,res3,特征提取和處理的過程可以描述如下:

F2,res3=Conv1(F2,res2+F2,4)=

Conv1(Conv1(…Conv1(F2,1+F2,2)…)+F2,4)

(10)

式中:Conv1(·)表示1×1卷積函數(shù),所用到的1×1卷積層的參數(shù)都不共享,F2,i表示模塊內(nèi)第i層的輸出特征。

1.2.3 逐層特征融合模塊

針對(duì)基準(zhǔn)殘差模塊(baseline residual block, BRB)結(jié)構(gòu)單一、中間層特征無復(fù)用等不足,為了進(jìn)一步提升模塊的特征提取能力和學(xué)習(xí)能力,以獲得更高質(zhì)量的重建結(jié)果,提出了逐層特征融合模塊(progressive feature fusion block,PFFB),其結(jié)構(gòu)如圖5所示。逐層特征融合模塊也由主干分支、輔助分支和跳躍分支三條分支組成。

圖5 逐層特征融合模塊Fig.5 Progressive feature fusion block

主干分支由3×3大小的卷積層Conv(3)和1×1大小的卷積層Conv(1)交替連接構(gòu)成,每個(gè)卷積層后面都接有激活層。卷積核大小相同的卷積層之間參數(shù)并不共享,即PFFB的第1層和第3層的參數(shù)不共享(第2層和第4層也同理)。這種利用異構(gòu)結(jié)構(gòu)提取特征的方式,不僅可以減少計(jì)算成本和內(nèi)存消耗,還可以豐富PFFB的結(jié)構(gòu)。以第g個(gè)PFFB為例,經(jīng)過交替的卷積層的信息流動(dòng)過程可以描述為

Fg-1,4=Conv1(Fg-1,3)=

Conv1(Conv3(Conv1(Conv3(Fg-1))))

(11)

式中:Fg-1,i(i=1,2,3,4)為PFFB,內(nèi)部提取到的特征。

輔助分支主要用于處理PFFB中間層提取到的特征,通過逐層特征融合方法將PFFB內(nèi)部提取到的局部特征有效地利用起來,實(shí)現(xiàn)局部特征融合,增強(qiáng)PFFB的特征學(xué)習(xí)能力。

跳躍分支用于將PFFB的輸入Fg-1傳送到PFFB的輸出,以彌補(bǔ)特征在流動(dòng)過程中的丟失。第g個(gè)PFFB最終的輸出為

Fg=Fg-1+Fg-1,4+Fg-1,res3

(12)

式中:Fg-1,Fg-1,4和Fg-1,res3分別為3條分支提取到的特征。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

(1) 實(shí)驗(yàn)環(huán)境。實(shí)驗(yàn)所用的操作系統(tǒng)為Ubuntu 20.04 LTS,中央圖形處理器為i7-8700k,運(yùn)行環(huán)境為Anaconda 3和 PyCharm 2020.02。各超分辨網(wǎng)絡(luò)模型在 PyTorch 框架下實(shí)現(xiàn),并使用GeForce GTX 1080 Ti GPU加速模型的訓(xùn)練。

(2) 數(shù)據(jù)集。實(shí)驗(yàn)中使用的訓(xùn)練集為DIV2K。DIV2K包含1 000幅高清的自然圖像,其中800張圖像用于訓(xùn)練集,100張圖像用于驗(yàn)證集,剩余的100張圖像用于測試集。實(shí)驗(yàn)中使用的測試集為常用的公開測試集: Set5、Set14、BSD100、Urban100和Manga109。Set5和Set14都是非常經(jīng)典的彩色數(shù)據(jù)集,其中Set5只由5個(gè)測試圖像組成,與Set5相比,Set14有14個(gè)包含更多類別的測試圖像。BSD100包含100幅不同場景的彩色圖像,包括從自然圖像到特定場景的圖像。Urban100也由100幅彩色圖像組成。它是一個(gè)相對(duì)較新的數(shù)據(jù)集,其焦點(diǎn)是城市場景、建筑結(jié)構(gòu)等。Manga109是一個(gè)包含109幅漫畫的數(shù)據(jù)集。

(3) 評(píng)價(jià)指標(biāo)。峰值信噪比(peak signal to noise ratio, PSNR)和結(jié)構(gòu)相似度(structural similarity SSIM)用于定量評(píng)估重建圖像的質(zhì)量。由于人類的視覺對(duì)亮度空間比對(duì)顏色空間更加敏感,所以測試結(jié)果都在YCbCr的Y通道進(jìn)行計(jì)算。

(4) 訓(xùn)練設(shè)置。在訓(xùn)練過程中,相關(guān)參數(shù)設(shè)置如下。利用雙三次下采樣獲得相應(yīng)縮放因子(×2,×3,×4)的低分辨圖像,進(jìn)而獲得用于訓(xùn)練的圖像對(duì)。網(wǎng)絡(luò)使用Adam優(yōu)化器進(jìn)行優(yōu)化,其參數(shù)設(shè)置為β1=0.9,β2=0.999,ε=10-8。將批次大小設(shè)置為16。初始學(xué)習(xí)率設(shè)置為1×10-4,每2×105次迭代之后,學(xué)習(xí)率減半。為了降低訓(xùn)練成本,每個(gè)低分辨圖像被裁剪為大小為48×48的補(bǔ)丁,這樣可以提高訓(xùn)練的效率。通過水平翻轉(zhuǎn)和旋轉(zhuǎn)90°來增強(qiáng)訓(xùn)練數(shù)據(jù)。本文使用L1損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)。×2的網(wǎng)絡(luò)是從頭開始訓(xùn)練的,×3和×4的網(wǎng)絡(luò)利用×2的網(wǎng)絡(luò)作為預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練。

2.2 消融實(shí)驗(yàn)

(1) 特征融合方法的比較。為了比較這4種特征融合方法的有效性,分別對(duì)基于這4種特征融合方法的模型進(jìn)行了訓(xùn)練,模型的放大因子均設(shè)置為2,并且在不影響實(shí)驗(yàn)結(jié)論的前提下,出于節(jié)約計(jì)算資源的考慮,將網(wǎng)絡(luò)中的模塊數(shù)量均設(shè)置為6,將訓(xùn)練好的4個(gè)模型在5個(gè)公開基準(zhǔn)測試集上進(jìn)行測試,得到的實(shí)驗(yàn)結(jié)果如表1所示。其中:加粗?jǐn)?shù)值為每列最優(yōu)值。從表1可以看出,在5個(gè)基準(zhǔn)測試集上,基于逐層特征融合方法的模型比其他3個(gè)模型在整體上的重建性能要更優(yōu)異。具體來說,在小數(shù)據(jù)集上,比如Set5和Set14,基于逐層特征融合方法的模型和基于層次特征融合方法的模型的重建性能比較相近,均取得了較優(yōu)異的性能;在大數(shù)據(jù)集上,比如BSD100,Urban100和Manga109,基于逐層特征融合方法的模型的重建性能要比其他3種模型更加優(yōu)異。總體而言,逐層特征融合方法有助于模型提取并利用特征,從而提高模型的重建性能。基于上述的實(shí)驗(yàn)結(jié)論,SPFFSR最終選定了逐層特征融合方法。

表1 不同特征融合方法下模型的性能比較

(2) 與BRB的比較。為了比較PFFB與BRB在重建性能上的有效性,進(jìn)行了相關(guān)的實(shí)驗(yàn)研究,分別對(duì)PFFB和BRB的網(wǎng)絡(luò)進(jìn)行了訓(xùn)練,將放大因子均設(shè)置為2,并且在不影響實(shí)驗(yàn)結(jié)論的前提下,出于節(jié)約計(jì)算資源的考慮,將網(wǎng)絡(luò)中的模塊數(shù)量均設(shè)置為6,將訓(xùn)練好的這兩個(gè)模型在5個(gè)公開基準(zhǔn)測試集上進(jìn)行了測試,表2給出了相應(yīng)的實(shí)驗(yàn)結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出,在5個(gè)基準(zhǔn)測試集上,基于PFFB的網(wǎng)絡(luò)比基于BRB的網(wǎng)絡(luò)在整體上的重建性能要更優(yōu)異。具體來說,在數(shù)據(jù)集Urban100和Manga109上,基于PFFB的網(wǎng)絡(luò)比基于BRB的網(wǎng)絡(luò)PSNR值均提升了0.13 dB;在數(shù)據(jù)集Set5和Set14上,基于PFFB的網(wǎng)絡(luò)比基于BRB的網(wǎng)絡(luò)PSNR值均提升了0.03 dB;在數(shù)據(jù)集BSD100上,基于PFFB的網(wǎng)絡(luò)比基于BRB的網(wǎng)絡(luò)PSNR值提升了0.02 dB。總結(jié)而言,逐層特征融合模塊PFFB的性能更強(qiáng)。

表2 基于兩種模塊的網(wǎng)絡(luò)性能比較

(3) 二階特征融合機(jī)制。為了驗(yàn)證二階特征融合機(jī)制的有效性,分別對(duì)引進(jìn)了二階特征融合機(jī)制(見圖4)和沒有引進(jìn)二階特征融合機(jī)制(見圖6)的模型進(jìn)行了訓(xùn)練。

圖6 無二階特征的融合機(jī)制Fig.6 Fusion mechanism without second-order feature

模型的放大因子均設(shè)置為2,并且在不影響實(shí)驗(yàn)結(jié)論的前提下,出于節(jié)約計(jì)算資源的考慮,將網(wǎng)絡(luò)中的模塊數(shù)量均設(shè)置為6,將訓(xùn)練好的兩個(gè)模型在5個(gè)公開基準(zhǔn)測試集上進(jìn)行了測試,表3給出了相應(yīng)的實(shí)驗(yàn)結(jié)果。其中,加粗?jǐn)?shù)值表示每列最優(yōu)值。從表3可以看出,引進(jìn)了二階特征融合機(jī)制的模型的性能整體上要優(yōu)于沒有引進(jìn)二階特征融合機(jī)制的模型的性能。具體而言,在Set14數(shù)據(jù)集上,引進(jìn)二階特征融合機(jī)制之后,PSNR值提升了0.01 dB,SSIM值提升了0.000 4;在Urban100數(shù)據(jù)集上,引進(jìn)二階特征融合機(jī)制之后,PSNR值提升了0.05 dB,SSIM值提升了0.000 8;在Manga109數(shù)據(jù)集上,引進(jìn)二階特征融合機(jī)制之后,PSNR值提升了0.04 dB,SSIM值提升了0.000 1;在Set5數(shù)據(jù)集和BSD100數(shù)據(jù)集上,兩個(gè)模型的性能差異不是很明顯。總體而言,二階特征融合機(jī)制對(duì)于網(wǎng)絡(luò)的性能具有顯著的提升作用。

表3 有無二階特征融合機(jī)制的模型性能比較

(4) 模塊數(shù)量。在前面的特征融合結(jié)構(gòu)的比較、二階特征融合機(jī)制等實(shí)驗(yàn)討論中,在不影響實(shí)驗(yàn)結(jié)論的前提下,出于節(jié)約計(jì)算資源的考慮,將網(wǎng)絡(luò)的模塊數(shù)量均設(shè)置為6。在本節(jié),為了在模型性能和模型大小之間取得平衡,進(jìn)行了相關(guān)的實(shí)驗(yàn)研究。定義n為網(wǎng)絡(luò)中基于逐層特征融合結(jié)構(gòu)的模塊的數(shù)量,通過設(shè)置不同的n值,即不同的模型大小,觀察模型取得的重建性能。將n的值依次設(shè)置為6、8、10,放大因子均設(shè)置為2,訓(xùn)練出3個(gè)不同大小的模型,在5個(gè)公開基準(zhǔn)測試集上進(jìn)行性能驗(yàn)證,得到的實(shí)驗(yàn)結(jié)果如表4所示。其中,↑表示數(shù)值增加,↓表示數(shù)值降低。從實(shí)驗(yàn)結(jié)果可以看出,當(dāng)模塊的數(shù)量從6增加到8,模型的性能也隨之得到了提升,在5個(gè)基準(zhǔn)測試集上均取得了優(yōu)于n=6時(shí)的結(jié)果。當(dāng)模塊的數(shù)量從8增加到10時(shí),在5個(gè)基準(zhǔn)測試集上,模型的性能并沒有完全得到提升,甚至還出現(xiàn)了部分下降的現(xiàn)象。具體而言,在數(shù)據(jù)集Set5和BSD100上,僅有PSNR指標(biāo)值有提高,在數(shù)據(jù)集Urban100上,PSNR和SSIM兩個(gè)指標(biāo)值均有提高;但是在其他數(shù)據(jù)集上的指標(biāo)有些基本保持不變,有些出現(xiàn)了下降。根據(jù)實(shí)驗(yàn)數(shù)據(jù)顯示,n=10時(shí)的模型的性能并沒有比n=8時(shí)的模型的性能有整體的提升。從模型性能與模型大小兩個(gè)角度考慮,最終的SPFFSR將模塊的數(shù)量設(shè)置為8。

表4 不同模塊數(shù)量下模型的性能比較

2.3 與其他模型的比較

經(jīng)過上述實(shí)驗(yàn)分析,SPFFSR最終的配置為:以逐層特征融合結(jié)構(gòu)為基礎(chǔ),并引進(jìn)二階特征融合機(jī)制,模塊個(gè)數(shù)設(shè)置為8。為了進(jìn)一步驗(yàn)證所提SPFFSR的有效性,對(duì)其進(jìn)行了定量和定性比較。

(1) 定量比較。定量比較是利用評(píng)估指標(biāo)PSNR和SSIM進(jìn)行的。在公開可用的基準(zhǔn)數(shù)據(jù)集上,將SPFFSR與9種經(jīng)典優(yōu)秀的算法進(jìn)行了比較,包括Bicubic[21]、SRCNN、FSRCNN、VDSR、DRCN[22]、LapSRN[23]、IDN[24]、CARN[25]、MCSR。表5～表7提供了在基準(zhǔn)測試數(shù)據(jù)集,重建因子為×2、×3和×4的定量評(píng)估數(shù)據(jù)。這9種算法的結(jié)果均引用自本文給出的數(shù)據(jù)。其中,加粗字體表示每列最優(yōu)性能,“-”表示此數(shù)據(jù)集在該方法下,原作者未進(jìn)行相應(yīng)實(shí)驗(yàn)。從表5～表7可以看到,與所有以前的方法相比,SPFFSR在所有縮放因子的所有數(shù)據(jù)集上表現(xiàn)最好。與近年來新提出的MCSR相比,SPFFSR仍然具有相當(dāng)大的優(yōu)勢,這證明了所提出的網(wǎng)絡(luò)的有效性。從表5～表7給出的實(shí)驗(yàn)數(shù)據(jù)來看,具體來說,在放大因子×2,數(shù)據(jù)集Set14、Urban100上,SPFFSR比MCSR分別高出0.23 dB、0.71 dB;在放大因子×3,數(shù)據(jù)集Set5、Urban100上,SPFFSR比MCSR分別高出0.21 dB、0.53 dB;在放大因子×4,數(shù)據(jù)集Set5、Urban100上,SPFFSR比MCSR分別高出0.25 dB、0.45 dB。

表5 在基準(zhǔn)測試集下比較不同方法的 PSNR/SSIM 平均值(放大因子為×2)

表6 在基準(zhǔn)測試集下比較不同方法的 PSNR/SSIM 平均值(放大因子為×3)

續(xù)表6

表7 在基準(zhǔn)測試集下比較不同方法的 PSNR/SSIM 平均值(放大因子為×4)

(2) 定性比較。定性比較通過圖像視覺效果質(zhì)量來評(píng)估。圖7～圖10給出了一些模型的重建圖像,這些重建圖像都是隨機(jī)選取的。為了更好地比較各方法的重建圖像,將原始圖像和各種網(wǎng)絡(luò)重建圖像的截取區(qū)域(圖中的紅色方框區(qū)域)放大展示。可以看出,SPFFSR重建出的超分辨率圖像的放大區(qū)域在線條、輪廓上相比其他方法更加清晰,恢復(fù)圖像細(xì)節(jié)的能力更強(qiáng)。綜合定量評(píng)估和定性評(píng)估可以證明SPFFSR對(duì)超分辨重建的有效性。

圖7 重建圖像img004在放大4倍條件下的視覺比較Fig.7 Visual comparison for four-time enlargement on reconstructed image of img004

圖8 重建圖像PPT3在放大2倍條件下的視覺比較Fig.8 Visual comparison for two-times enlargement on reconstructed image of PPT3

圖9 重建圖像flower在放大3倍條件下的視覺比較Fig.9 Visual comparison for three-times enlargement on reconstructed image of flower

圖10 重建圖像img052在放大4倍條件下的視覺比較Fig.10 Visual comparison for four-times enlargement on reconstructed image of img052

2.4 模型復(fù)雜度分析

圖11顯示了每個(gè)網(wǎng)絡(luò)的參數(shù)量與重建性能之間的比較。

圖11 模型性能與參數(shù)量的比較Fig.11 Comparison of model performance and number of parameters

所選的數(shù)據(jù)集為Urban100,縮放因子為×4。從圖11可以看出,SPFFSR的參數(shù)量要比其他幾個(gè)模型的參數(shù)量大,但是SPFFSR所取得的重建性能要高于其他模型;相比EDSR模型,SPFFSR的參數(shù)量減少了很多,但是在重建性能上與EDSR模型相當(dāng)。SPFFSR主要關(guān)注重建性能,所以參數(shù)量相對(duì)較大,適用于追求重建質(zhì)量的場景。

2.5 執(zhí)行時(shí)間

本節(jié)評(píng)估了這些模型的測試運(yùn)行時(shí)間,如圖12所示,圖12顯示了測試集Set5、2倍放大因子下模型的執(zhí)行時(shí)間與重建性能之間的權(quán)衡。SPFFSR模型實(shí)現(xiàn)了相對(duì)高質(zhì)量的重建性能,但是執(zhí)行時(shí)間略長。SPFFSR模型適用于追求較高性能、不追求實(shí)時(shí)性的重建場景。

圖12 模型性能與運(yùn)行時(shí)間的比較Fig.12 Comparison of model performance and running time

3 結(jié) 論

在本文中,提出了一個(gè)二階逐層特征融合網(wǎng)絡(luò),其核心部分是逐層特征融合模塊。針對(duì)大多數(shù)網(wǎng)絡(luò)沒有重用網(wǎng)絡(luò)各層次的特征,以及對(duì)各層次的特征沒有進(jìn)一步的處理等問題,提出了逐層特征融合方法和二階特征融合機(jī)制,進(jìn)而構(gòu)建了二階逐層特征融合網(wǎng)絡(luò),以最大限度地利用各層次特征。最后,在5個(gè)基準(zhǔn)測試集上進(jìn)行的評(píng)估結(jié)果顯示,所提出的網(wǎng)絡(luò)相比許多優(yōu)秀的網(wǎng)絡(luò)有較大的優(yōu)勢。從重建結(jié)果可以看到,由二階逐層特征融合網(wǎng)絡(luò)重建出來的圖像紋理更清晰,邊緣更明顯。