基于深度學(xué)習(xí)局部與非局部信息的單幅圖像超分辨率重建

翟森，任超，熊淑華，占文樞

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

近年來(lái)，基于深度學(xué)習(xí)的超分辨率技術(shù)得到了迅速發(fā)展。2014年，Dong等人[1]第一次將卷積神經(jīng)網(wǎng)絡(luò)引入超分辨率重建任務(wù)中，這是基于深度學(xué)習(xí)的超分辨率重建算法的開(kāi)山之作。此類(lèi)算法將高低分辨率圖像作為訓(xùn)練對(duì)象，采用卷積神經(jīng)網(wǎng)絡(luò)來(lái)搭建模型，并以此模型來(lái)學(xué)習(xí)高低分辨率之間的非線(xiàn)性映射關(guān)系。相比于傳統(tǒng)算法，基于深度學(xué)習(xí)的算法無(wú)論在重建時(shí)間還是重建結(jié)果上均顯示出其優(yōu)勢(shì)。隨著深度學(xué)習(xí)超分辨率重建技術(shù)的發(fā)展，由于SRCNN模型層數(shù)僅有3層，其重建效果仍存在很大的提升空間。為了解決網(wǎng)絡(luò)層數(shù)加深而可能出現(xiàn)的梯度消失問(wèn)題，Kim等人[2]引入殘差學(xué)習(xí)思想，在此基礎(chǔ)上將網(wǎng)絡(luò)拓展至20層深度網(wǎng)絡(luò)，相比于Dong的三層模型，該算法大幅度改善了重建性能，保證了重建圖像的邊緣細(xì)節(jié)的清晰。受文獻(xiàn)[3]的啟發(fā)，Lim等人[4]設(shè)計(jì)了局部殘差模塊，并通過(guò)堆疊局部殘差模塊來(lái)搭建深層超分辨率重建網(wǎng)絡(luò)，該網(wǎng)絡(luò)有效地學(xué)習(xí)了高低分辨率圖像之間的映射關(guān)系，取得了不錯(cuò)的重建性能。

局部卷積神經(jīng)網(wǎng)絡(luò)是指在卷積過(guò)程中僅利用簡(jiǎn)單的局部區(qū)域信息的卷積神經(jīng)網(wǎng)絡(luò)，目前絕大多數(shù)超分辨率網(wǎng)絡(luò)模型屬于此類(lèi)，比較典型的有SRCNN[1]、VDSR[2]、EDSR[4]和RDN[5]。盡管局部卷積神經(jīng)網(wǎng)絡(luò)的性能較為穩(wěn)定，可以依靠深層網(wǎng)絡(luò)來(lái)學(xué)習(xí)更為復(fù)雜的映射關(guān)系，但高性能、深層次的網(wǎng)絡(luò)需要更強(qiáng)的硬件平臺(tái)以及大型的訓(xùn)練數(shù)據(jù)集，才能訓(xùn)練出較好的網(wǎng)絡(luò)模型，成本較高。Wang等人[6]指出卷積運(yùn)算和循環(huán)運(yùn)算均屬于局部操作，并強(qiáng)調(diào)只有不斷重復(fù)局部運(yùn)算才能覆蓋更廣的區(qū)域。相比于傳統(tǒng)的基于重建的算法，通過(guò)訓(xùn)練網(wǎng)絡(luò)模型來(lái)學(xué)習(xí)映射關(guān)系的局部網(wǎng)絡(luò)的缺點(diǎn)是并未細(xì)致考慮圖像/特征結(jié)構(gòu)上的先驗(yàn)信息，因此無(wú)法充分地利用特征的有效信息。

為彌補(bǔ)局部網(wǎng)絡(luò)僅考慮局部感受野區(qū)域而未挖掘待重建圖像結(jié)構(gòu)信息的不足，在前述局部網(wǎng)絡(luò)的基礎(chǔ)上，本文引入一種非局部相似性模塊[7]來(lái)利用圖像中的非局部相似性，搜索相似性信息，從而增強(qiáng)圖像特征。實(shí)驗(yàn)結(jié)果證明了本文所提出的基于局部與非局部信息的超分辨率重建網(wǎng)絡(luò)的有效性。

1 圖像局部與非局部特性

1. 1 基于局部卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建

在卷積神經(jīng)網(wǎng)絡(luò)中，對(duì)于卷積層的每一神經(jīng)元而言，其運(yùn)算過(guò)程是，首先利用當(dāng)前神經(jīng)元學(xué)習(xí)的卷積核，對(duì)輸入特征（單層或多層）進(jìn)行卷積，得到卷積后的特征，然后將這些特征相加，最后加上對(duì)應(yīng)的偏置作為當(dāng)前神經(jīng)元的輸出特征。其過(guò)程可以用公式表示為：

其中表示輸入特征的第i張?zhí)卣鲌D，F(xiàn)Out表示當(dāng)前神經(jīng)元的輸出特征，wi表示當(dāng)前神經(jīng)元的第i個(gè)卷積核，B表示當(dāng)前神經(jīng)元的偏置。

以單層卷積層為例，在卷積神經(jīng)網(wǎng)絡(luò)的卷積過(guò)程中，卷積結(jié)果是卷積核局部區(qū)域的所有點(diǎn)與輸入特征該區(qū)域的所有點(diǎn)的線(xiàn)性加權(quán)。圖1為卷積神經(jīng)網(wǎng)絡(luò)一次卷積覆蓋區(qū)域示意圖，對(duì)于3×3的卷積核覆蓋的區(qū)域，其中心紅色區(qū)域的值是3×3區(qū)域內(nèi)所有值的加權(quán)。

圖1 卷積神經(jīng)網(wǎng)絡(luò)一次卷積覆蓋區(qū)域示意圖

從卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)分析，中心點(diǎn)的值與當(dāng)前層的感受野區(qū)域密切相關(guān)。感受野是指卷積神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元特征中一個(gè)像素點(diǎn)所能感受到的輸入圖像的區(qū)域大小[8]。通過(guò)增加網(wǎng)絡(luò)層數(shù)，能夠擴(kuò)大當(dāng)前神經(jīng)元節(jié)點(diǎn)的感受區(qū)域。考慮最簡(jiǎn)單的情況，將一張5×5的圖像進(jìn)行大小為1的補(bǔ)零填充（pad），變成7×7的圖像，卷積核尺寸（Ksize）為 3×3，卷積步長(zhǎng)（stride）為1，然后搭建3層網(wǎng)絡(luò)。圖2是該卷積網(wǎng)絡(luò)的感受野示意圖。可以看出，第二層中卷積核的一個(gè)像素點(diǎn)所感受到的區(qū)域?qū)?yīng)于原輸入圖像的3×3區(qū)域，第三層為5×5，第三層的輸出像素點(diǎn)對(duì)應(yīng)原輸入圖像的7×7區(qū)域。相比于之前的單層卷積層，堆疊卷積層可以增大感受野覆蓋區(qū)域。考慮不同層數(shù)和步長(zhǎng)等特殊情況，感受野的計(jì)算方法為：

其中Di-1為上一層的感受野，Di為當(dāng)前層的感受野。

圖2 3層卷積網(wǎng)絡(luò)感受野示意圖

1. 2 傳統(tǒng)的非局部相似性

非局部相似性是自然圖像的先驗(yàn)屬性，它描述了圖像塊之間的相似程度。在一些傳統(tǒng)的圖像處理算法中，非局部相似性常常用作圖像先驗(yàn)信息來(lái)約束圖像的重建過(guò)程。“山魈”圖像中的非局部相似性如圖3所示。圖中左邊和右邊方框各為一組相似塊。

圖3 “山魈”圖像的非局部相似性示意圖

在自然圖像中，對(duì)于某個(gè)圖像塊而言，可以在非局部區(qū)域找到它的相似塊。但兩個(gè)相似圖像塊之間在像素級(jí)別上仍然存在差異。研究中通常采用均方誤差MSE來(lái)衡量?jī)蓚€(gè)塊之間的相似性，并將其用作相似系數(shù)的求解過(guò)程中。假設(shè)當(dāng)前塊為x，它鄰域內(nèi)非局部相似塊組為{zi}，當(dāng)前塊與相似性塊之間的相似系數(shù)為bi，則有：

其中h為一常數(shù)。在搜索相似塊及求解相似系數(shù)后，我們就可利用相似塊來(lái)重構(gòu)當(dāng)前塊，其表示過(guò)程如下：

其中為x更新后的圖像塊，為當(dāng)前相似塊歸一化后的權(quán)重系數(shù)。

非局部相似性能夠充分挖掘圖像自身的結(jié)構(gòu)信息，在基于重建的超分辨率重建算法[9-11]中，它常常被用來(lái)構(gòu)造先驗(yàn)約束項(xiàng)，此類(lèi)算法重建后的圖像振鈴效應(yīng)明顯減少，且邊緣往往更加清晰。

1. 3 非局部相似性模塊

非局部相似性模塊是指卷積神經(jīng)網(wǎng)絡(luò)中利用非局部相似性來(lái)增強(qiáng)圖像特征的模塊。本文采用的非局部相似性模塊[7]的一次運(yùn)算過(guò)程如圖4所示。

圖4 非局部相似性模塊一次運(yùn)算示意圖

假設(shè)輸入非局部相似性模塊的特征維度為h×w×N，其運(yùn)算過(guò)程為：首先以輸入特征的每個(gè)點(diǎn)作為塊中心點(diǎn)進(jìn)行分塊（塊大小為f×f，取塊步長(zhǎng)為1，邊緣不足部分補(bǔ)零），一共得到N×h×w個(gè)f×f的塊集S。然后再取出輸入特征的每一個(gè)點(diǎn)得到N×h×w個(gè)1×1個(gè)點(diǎn)集P。將塊集S重構(gòu)成h×w個(gè)N×f×f大長(zhǎng)方體（圖4中藍(lán)色不透明長(zhǎng)方體），將點(diǎn)集P重構(gòu)成h×w個(gè)N×1×1的小長(zhǎng)方體（圖4中紅色小長(zhǎng)方體）。圖4為非局部相似性模塊中一次運(yùn)算過(guò)程的示意圖。下面為其詳細(xì)運(yùn)算過(guò)程。

首先，在計(jì)算相似性的前期均采用1×1卷積層進(jìn)行自適應(yīng)特征加權(quán)。如圖4所示，藍(lán)色長(zhǎng)方體s（sf×f×N∈Sh×w×f×f×N）通過(guò)名字為 Φ 的卷積層后得到維度為f×f×N的A，紅色長(zhǎng)方體p（p1×1×N∈Ph×w×1×1×N）通過(guò)名字為Θ的卷積層得到1×1×N的C。然后，A經(jīng)過(guò)維度重組和轉(zhuǎn)置得到維度N×f2的sinte，C經(jīng)過(guò)維度重組形成1×N的pinte。上述過(guò)程表示為：

式中，Hreshape和H1×1分別表示維度重組和1×1卷積的操作，T表示轉(zhuǎn)置操作。

在非局部相似性模塊中，我們采用矩陣乘法的方式來(lái)求解相似程度。將維度為1×N的pinte與維度為N×f2的sinte相乘后，得到維度為1×f2的內(nèi)積矩陣，矩陣元素即是小長(zhǎng)方體p與f2個(gè)小長(zhǎng)方體之間的非歸一化相似性權(quán)重。然后，使用Softmax激活函數(shù)對(duì)內(nèi)積矩陣歸一化，得到歸一化后的相似權(quán)重矩陣。

獲取歸一化權(quán)重后，將其與圖4中的B相乘，即將s中的f2個(gè)小長(zhǎng)方體加權(quán)，使用加權(quán)后的小長(zhǎng)方體進(jìn)行特征重構(gòu)。采用殘差學(xué)習(xí)的思想，將最初輸入的小長(zhǎng)方體直接加在重構(gòu)的小長(zhǎng)方體上。

如圖4所示，在非局部模塊中，每個(gè)小長(zhǎng)方體均與以其為中心的大長(zhǎng)方體進(jìn)行運(yùn)算，并利用得到的相似權(quán)重矩陣重構(gòu)出相應(yīng)的小長(zhǎng)方體。在局部網(wǎng)絡(luò)中，由于對(duì)同一張?zhí)卣鲌D的所有區(qū)域均采用相同的卷積核，因而對(duì)于細(xì)節(jié)豐富程度不同的區(qū)域無(wú)法區(qū)別對(duì)待。與局部網(wǎng)絡(luò)不同，非局部模塊結(jié)合了非局部區(qū)域（相鄰特征之間）的結(jié)構(gòu)信息，并且對(duì)每一小長(zhǎng)方體的重構(gòu)均有不同相似系數(shù)矩陣，因而很好地利用了特征的結(jié)構(gòu)信息。

2 基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建網(wǎng)絡(luò)

2. 1 網(wǎng)絡(luò)總體結(jié)構(gòu)

在分析了局部網(wǎng)絡(luò)和非局部相似性模塊之后，本文提出基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建網(wǎng)絡(luò)框架。如圖5所示，提出的網(wǎng)絡(luò)主要包括局部網(wǎng)絡(luò)和非局部網(wǎng)絡(luò)兩個(gè)模塊，下面將詳細(xì)描述網(wǎng)絡(luò)結(jié)構(gòu)。

圖5 提出的基于局部與非局部信息的超分辨率重建網(wǎng)絡(luò)

2. 2 非局部網(wǎng)絡(luò)

如前所述，局部網(wǎng)絡(luò)并未考慮到圖像中的一些先驗(yàn)信息。因此，利用如圖4所示的非局部相似性模塊（Non-Local Similarity Block，NLSB）來(lái)搜索相似性信息并用于特征重構(gòu)中。在非局部網(wǎng)絡(luò)中，我們將該模塊與殘差學(xué)習(xí)結(jié)合起來(lái)，構(gòu)成非局部殘差塊，圖6為非局部殘差模塊（Non-Local Residual Block，NLRes）示意圖。

圖6非局部殘差模塊示意圖

圖6 所示的過(guò)程用公式表示為：

其中，NLSB表示特征經(jīng)過(guò)非局部相似性模塊的變換操作，Hconv+ReLU表示特征經(jīng)過(guò)卷積層再經(jīng)過(guò)ReLU激活，Hconv表示特征只經(jīng)過(guò)卷積層。Finput和Foutput表示非局部殘差模塊的輸入和輸出。ReLU表達(dá)式如下：

ReLU函數(shù)可以將輸入特征中的負(fù)值變?yōu)?，它是一種非線(xiàn)性函數(shù)，常被用來(lái)增加卷積神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性能力。

2. 3 局部網(wǎng)絡(luò)

受文獻(xiàn)[3-4]的啟發(fā)，在局部網(wǎng)絡(luò)中我們以殘差模塊作為局部網(wǎng)絡(luò)的主要模塊。如圖5所示，局部網(wǎng)絡(luò)部分包括第一層的卷積層、中間的局部殘差模塊和特征重組層（卷積層）。搭建的局部殘差模塊如圖7所示，主要包括兩層卷積層和一層激勵(lì)層。

圖7 局部殘差模塊示意圖

由于采用了跳連接（Skip Connection，SC）的殘差學(xué)習(xí)可以有效地緩解因網(wǎng)絡(luò)層數(shù)增加所帶來(lái)的梯度消失問(wèn)題，因而被廣泛應(yīng)用于深度卷積神經(jīng)網(wǎng)絡(luò)中[4,12]。圖7為本文所用到的局部殘差模塊示意圖。其運(yùn)算過(guò)程為：

式中，Hconv表示沒(méi)有激活函數(shù)的卷積層，Hconv+ReLU表示卷積層+ReLU激活函數(shù)，yinput和youtput表示局部殘差模塊的輸入和輸出。

2. 4 上采樣層

在網(wǎng)絡(luò)的末端，我們采用文獻(xiàn)ESPCN[13]中的亞像素卷積層對(duì)局部網(wǎng)絡(luò)的輸出進(jìn)行上采樣，以提升特征的分辨率，最終輸出重建高分辨率圖像，這與早期的超分辨率網(wǎng)絡(luò)[1-2]有所不同，它們采用雙三次插值的方法將低分辨率圖像放大到目標(biāo)尺寸。在網(wǎng)絡(luò)末端設(shè)置亞像素卷積層可以有效地減少特征卷積所需的時(shí)間。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出算法的有效性，對(duì)目前超分辨率重建研究中比較常用的兩個(gè)圖庫(kù)Set5[14]和B100[15]分別進(jìn)行雙三次模擬下采，并采用不同的對(duì)比算法進(jìn)行超分辨率重建。采用的對(duì)比算法包括：雙三次插值（Bicubic）、A+[18]、SRCNN[1]、FSRCNN[16]、VDSR[2]、LapSRN[17]。除傳統(tǒng)的雙三次插值算法和A+算法外，其余的均為深度學(xué)習(xí)類(lèi)的算法。實(shí)驗(yàn)中以雙三次插值進(jìn)行2倍、3倍以及4倍模擬下采樣退化，以生成低分辨率圖像。實(shí)驗(yàn)框架為T(mén)ensorFlow 1.14.0，使用GTX1080Ti加速網(wǎng)絡(luò)訓(xùn)練。為了更客觀地評(píng)價(jià)提出的算法及其他對(duì)比算法，我們采用和對(duì)比算法中相同的衡量方式，通過(guò)測(cè)量重建圖像的Y分量（YcbCr空間）PSNR和SSIM來(lái)衡量超分辨率重建的結(jié)果。網(wǎng)絡(luò)的損失函數(shù)采用L1范數(shù)：

其中，net表示提出的局部與非局部網(wǎng)絡(luò)，θ為網(wǎng)絡(luò)參數(shù)，和表示第i對(duì)高低分辨率子圖塊樣本對(duì)，n表示訓(xùn)練樣本對(duì)的數(shù)目。

表1和表2分別給出了各算法在Set5圖庫(kù)和B100圖庫(kù)上的平均PSNR和SSIM。由于LapSRN論文代碼中未提供3倍的模型，因此表中只展示其2倍和4倍的重建結(jié)果。圖8是不同超分辨率算法在B100的“37073”圖像2倍重建的主觀視覺(jué)效果圖。圖9是不同超分辨率算法在B100的“78004”圖像上4倍重建的主觀視覺(jué)效果圖。

由表1可以看出，在Set5圖庫(kù)上，傳統(tǒng)的雙三次插值算法的PSNR和SSIM最低。對(duì)比傳統(tǒng)的A+和基于深度學(xué)習(xí)的算法可以看出，即使是最簡(jiǎn)單的深度學(xué)習(xí)算法 SRCNN，其 PSNR也高于 A+。SRCNN和 FSRCNN雖能有效地改善插值算法的性能，但作為早期的深度學(xué)習(xí)超分辨率重建算法，其重建性能相比于后期的深度學(xué)習(xí)算法仍存在較大的提升空間。在2倍測(cè)試上，提出的算法相比于LapSRN能取得0.28dB的PSNR提升，在4倍時(shí)能有0.37dB的PSNR增益。在SSIM上，提出的算法在高倍數(shù)上比其他深度學(xué)習(xí)算法有明顯的提升。Set5圖庫(kù)中的圖像比較平滑，且細(xì)節(jié)簡(jiǎn)單突出，受益于非局部相似性的使用，從不同倍數(shù)來(lái)看，在4倍時(shí)，本文算法的SSIM比LapSRN在2倍時(shí)提升更多，如在4倍時(shí)，SSIM有0.005的增益。

表1 Set5圖像庫(kù)上不同算法的超分辨率重建結(jié)果（PSNR 單位：dB）

表2 B100圖像庫(kù)上不同算法的超分辨率重建結(jié)果（PSNR 單位：dB）

在表2中，類(lèi)似地，本文算法也有較為明顯的性能提升。B100圖庫(kù)包含100張不同類(lèi)型的圖像，不同圖像的細(xì)節(jié)豐富程度各不相同，屬于極難超分辨率重建的一類(lèi)圖像庫(kù)。本文算法相比VDSR在2倍重建時(shí)提升了0.15dB，3倍重建時(shí)PSNR提升了0.16dB。在4倍重建時(shí)相較于LapSRN提升了0.15dB。在B100圖庫(kù)上進(jìn)行的2、3、4倍重建對(duì)比實(shí)驗(yàn)中本文算法的SSIM也達(dá)到了最好效果。

不同超分辨率算法在B100的“37073”圖像上的2倍重建結(jié)果如圖8所示。

圖8

在主觀視覺(jué)方面，由圖8可以看出，雙三次插值和A+兩種傳統(tǒng)算法2倍重建出的“37073”圖像較為模糊，而基于深度學(xué)習(xí)的超分辨率重建算法則能夠恢復(fù)更多的邊緣細(xì)節(jié)。相比于SRCNN和FSRCNN，LapSRN重建的圖像更為清晰，且邊緣更加突出。相比于其他算法，本文算法重建圖中圈出的字體部分較為清晰，重建的圖像具有更豐富的信息。

從圖9可以看出，在4倍超分辨率重建時(shí)，雙三次插值出現(xiàn)了明顯的模糊，細(xì)節(jié)信息丟失較多。A+算法效果優(yōu)于雙三次插值，但在圈出來(lái)的重建細(xì)節(jié)部分，仍比基于深度學(xué)習(xí)的算法差。SRCNN算法優(yōu)于A+但細(xì)節(jié)仍比較模糊。FSRCNN和LapSRN的重建細(xì)節(jié)發(fā)生扭曲現(xiàn)象，VDSR重建圖像中建筑物輪廓較為突出，但不夠真實(shí)。本文算法相比于其他深度學(xué)習(xí)的算法，重建效果更好，且細(xì)節(jié)更為清晰。

圖9

不同超分辨率算法在B100的“78004”圖像上的4倍重建結(jié)果。

4 結(jié)語(yǔ)

本文主要針對(duì)超分辨率重建技術(shù)開(kāi)展研究。在介紹了圖像的非局部相似性后，將其引入卷積神經(jīng)網(wǎng)絡(luò)中，提出了基于深度學(xué)習(xí)局部與非局部信息的超分辨率重建網(wǎng)絡(luò)。在搭建的模型中，將局部網(wǎng)絡(luò)和非局部網(wǎng)絡(luò)結(jié)合起來(lái)進(jìn)一步提升超分辨率重建性能。非局部網(wǎng)絡(luò)充分利用了待重建特征的非局部相似性信息，并以此信息重構(gòu)出新的特征。這一特點(diǎn)使得本文提出的網(wǎng)絡(luò)能在訓(xùn)練中考慮更多的圖像信息，進(jìn)而學(xué)習(xí)更加準(zhǔn)確的映射模型。與目前性能較好的超分辨率重建算法相比，本文提出的算法相比于LapSRN在Set5圖庫(kù)上能提升0.28dB到0.37dB；在視覺(jué)效果上，本文算法重建圖像細(xì)節(jié)更加豐富，因此本文算法在提升低分辨率圖像質(zhì)量上有較好的效果。