利用對(duì)抗性邊緣學(xué)習(xí)模型生成超分辨率圖像

白明明, 張運(yùn)杰, 張 臏

(大連海事大學(xué)數(shù)學(xué)系，大連 116000)

圖像超分辨率(image super-resolution, ISR)任務(wù)是通過(guò)增加圖像中單位面積中像素個(gè)數(shù)來(lái)提高圖像的空間分辨率。在圖像超分辨率重構(gòu)過(guò)程中對(duì)已有的低分辨率(low resolution, LR)來(lái)恢復(fù)出包含豐富紋理細(xì)節(jié)的高分辨率(high resolution, HR)圖像。目前可以將ISR算法分成兩大類：?jiǎn)螏琁SR重構(gòu)和多幀ISR重構(gòu)[1-2]。單幀圖像SR重構(gòu)算法是利用單獨(dú)一張低分辨率圖像來(lái)重構(gòu)出相應(yīng)的HR圖像；多幀圖像SR重構(gòu)算法則是將多幀內(nèi)容和結(jié)構(gòu)相似的視頻序列來(lái)重構(gòu)出一張或多張HR分辨率圖像。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)憑借著強(qiáng)大的非線性擬合能力，在各個(gè)領(lǐng)域廣受歡迎，特別是在圖像處理或者計(jì)算機(jī)視覺(jué)領(lǐng)域大放光彩。Dong等[3]首先將CNN應(yīng)用到圖像超分辨率重建領(lǐng)域，提出了SRCNN(super resolution convolutional neural network)，他們利用成對(duì)的LR/HR圖像來(lái)訓(xùn)練一個(gè)具有三層卷積的神經(jīng)網(wǎng)絡(luò)模型，來(lái)擬合LR和HR圖像之間的非線性映射關(guān)系，從而LR圖像可以通過(guò)這種非線性映射來(lái)重構(gòu)出相應(yīng)的HR圖像。Kim等[4]在圖像識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)VGG(visual geometry group)的啟發(fā)下，提出了一種網(wǎng)絡(luò)非常深的超分辨率重建方法VDSR(accurate image super-resolution using very deep convolutional networks)，并且證明了隨著網(wǎng)絡(luò)的加深，模型的性能也有較大的提升，與此同時(shí)計(jì)算代價(jià)也是越來(lái)越大。Haris等[5]提出了一種持續(xù)進(jìn)行迭代的上采樣和降采樣的深度反向投影網(wǎng)絡(luò)(deep back projection network，DBPN)的超分辨率方法，很好地利用了傳統(tǒng)算法迭代反投影，并通過(guò)深度網(wǎng)絡(luò)實(shí)現(xiàn)出來(lái)的結(jié)構(gòu)，為每個(gè)階段的映射錯(cuò)誤提供錯(cuò)誤反饋機(jī)制。Li等[6]采用迭代上采樣的方法提出了SRFBN(feedback network for image super-resolution)模型，充分將不同深度的特征信息映射重建高分辨率圖像。

Goodfellow等[7]根據(jù)對(duì)抗博弈的思想提出了生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)，GAN的出現(xiàn)將無(wú)監(jiān)督學(xué)習(xí)的圖像重構(gòu)算法推向了更加高的地位。Ledig等[8]在GAN的基礎(chǔ)上提出了圖像超分辨率模型SRGAN(super resolution generative adversarial networks)，成功地將GAN引入了圖像超分辨率的任務(wù)中，SRGAN則利用生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)通過(guò)相互對(duì)抗的方式來(lái)訓(xùn)練模型，通過(guò)這種對(duì)抗競(jìng)爭(zhēng)關(guān)系使得生成網(wǎng)絡(luò)能夠生成紋理更加清晰的SR圖像。Wang等[9]在SRGAN的基礎(chǔ)上進(jìn)行改進(jìn)，在網(wǎng)絡(luò)中引入了密集殘差塊，同時(shí)還在感知損失函數(shù)中加入了風(fēng)格化損失，目的是為了提高超分辨率圖像的總體感知質(zhì)量。喬昕等[10]在SRGAN的基礎(chǔ)上將生成器加入輕量化的密集殘差網(wǎng)絡(luò)，提高了模型的收斂速度；Yang等[11]利用圖像的邊緣來(lái)引導(dǎo)圖像的超分辨率重構(gòu)；Yu等[12]利用自由形式的掩碼和邊緣引導(dǎo)對(duì)受損的圖像進(jìn)行修復(fù)。

受以上工作的啟發(fā)，提出了一種對(duì)抗性邊緣學(xué)習(xí)模型來(lái)生成超分辨率圖像，主要的工作如下。

(1)改進(jìn)圖像紋理邊緣檢測(cè)網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中加入亞像素卷積對(duì)特征圖進(jìn)行上采樣，將LR圖像送入該網(wǎng)絡(luò)可以直接預(yù)測(cè)出高分辨率圖像的邊緣二值圖。

(2)對(duì)圖像超分生成網(wǎng)絡(luò)進(jìn)行改進(jìn)，對(duì)LR圖像用雙三次插值進(jìn)行放大，超分生成網(wǎng)絡(luò)由編碼器、解碼器和殘差模塊組成。在殘差模塊中加入了擴(kuò)張卷積來(lái)增大模型的感受野，使得模型能學(xué)習(xí)到圖像的全局信息。

(3)對(duì)模型的損失函數(shù)重新定義，對(duì)均方誤差損失函數(shù)進(jìn)行替換，由內(nèi)容損失、基于VGG19網(wǎng)絡(luò)的風(fēng)格化損失以及對(duì)抗損失三部分來(lái)組成新的感知損失函數(shù)。

1 相關(guān)內(nèi)容

1.1 基于GAN的圖像超分辨率模型

GAN模型是Goodfellow等[7]在2014年被首次提出，GAN是由生成器和鑒別器兩個(gè)組件構(gòu)成，分別表示為G和D，通過(guò)對(duì)抗的方式進(jìn)行訓(xùn)練來(lái)交替優(yōu)化這兩個(gè)組件，使模型不斷地提高自身的泛化能力。Ledig等[8]將GAN運(yùn)用到了圖像超分領(lǐng)域，SRGAN的主要工作：首先將一幅LR圖像輸入到生成器G中，通過(guò)G來(lái)生成HR圖像，然后將這張圖像送入到鑒別器D網(wǎng)絡(luò)中，通過(guò)D來(lái)判斷這張圖像是由G網(wǎng)絡(luò)生成的，還是數(shù)據(jù)集中的原始圖像。當(dāng)鑒別器D不能明顯區(qū)別G網(wǎng)絡(luò)生成的圖像與真實(shí)圖像之間的差距的時(shí)候，也就表示這個(gè)超分模型已經(jīng)訓(xùn)練完成了。

1.2 基于邊緣的圖像重構(gòu)

在過(guò)去的幾十年里，基于圖像先驗(yàn)的圖像重構(gòu)方法取得了較快的發(fā)展。在所有的圖像先驗(yàn)中，圖像的邊緣先驗(yàn)信息是最有效的先驗(yàn)之一，因?yàn)閳D像邊緣是圖像的重要特征[13]。廣泛的基于邊緣輔助和邊緣引導(dǎo)的圖像處理方法驗(yàn)證了圖像邊緣先驗(yàn)的可行性和必要性。例如，Yang等[11]將圖像邊緣引入到了卷積神經(jīng)網(wǎng)絡(luò)模型中，提出了基于深度邊緣引導(dǎo)的循環(huán)殘差學(xué)習(xí)的圖像超分辨率模型。該模型將低分辨率圖像經(jīng)過(guò)雙三次插值處理，處理后的圖像作為網(wǎng)絡(luò)的輸入，然后使用Sobel邊緣檢測(cè)器直接在經(jīng)過(guò)插值放大后的圖像上獲取圖像的邊緣，作為邊緣提取網(wǎng)絡(luò)的標(biāo)簽，這可能會(huì)引入額外的噪聲，導(dǎo)致獲取到的圖像邊緣模糊，并有可能導(dǎo)致重構(gòu)的圖像產(chǎn)生偽影。其次，該模型直接將獲取的圖像邊緣特征圖加到低分辨率圖像，相加的方法不能最大限度地利用圖像的邊緣先驗(yàn)。Yu等[12]將圖像邊緣引導(dǎo)機(jī)制用在圖像修復(fù)的任務(wù)中，本文中將對(duì)抗性邊緣學(xué)習(xí)引入到圖像超分的任務(wù)中。

2 基于邊緣學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)

整個(gè)網(wǎng)絡(luò)框架分為兩個(gè)部分：圖像邊緣學(xué)習(xí)部分、圖像超分重建部分。這兩個(gè)部分都由它們自己的生成器/鑒別器對(duì)組成，將圖像超分辨率問(wèn)題分解為兩個(gè)獨(dú)立的問(wèn)題，即結(jié)構(gòu)問(wèn)題和紋理問(wèn)題。設(shè)G1和D1分別為邊緣學(xué)習(xí)網(wǎng)絡(luò)的生成器和鑒別器，G2和D2為圖像生成超分辨率網(wǎng)絡(luò)的生成器和鑒別器。

2.1 圖像邊緣學(xué)習(xí)網(wǎng)絡(luò)

邊緣學(xué)習(xí)網(wǎng)絡(luò)主要是由生成對(duì)抗網(wǎng)絡(luò)組成，圖像邊緣生成網(wǎng)絡(luò)中通過(guò)亞像素卷積來(lái)對(duì)網(wǎng)絡(luò)中的特征進(jìn)行上采樣，這樣可以直接通過(guò)此網(wǎng)絡(luò)生成放大后的高分辨邊緣特征圖。具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖1和圖2所示。

圖1 生成模型G1的結(jié)構(gòu)

圖2 判別模型D1的結(jié)構(gòu)

Epred=G1(ILR)

(1)

式(1)中：ILR作為網(wǎng)絡(luò)G1的輸入。生成器和鑒別器上的對(duì)抗損失采用變體的鉸鏈損失函數(shù)[14]來(lái)定義為

(2)

(3)

式中：e(·)表示真實(shí)數(shù)據(jù)或生成數(shù)據(jù)的概率。邊緣學(xué)習(xí)網(wǎng)絡(luò)中還包括一個(gè)特征點(diǎn)匹配損失函數(shù)lFM，它是利用鑒別器中每一個(gè)卷積層激活后的特征圖來(lái)計(jì)算損失，可以定義為

(4)

jG1=λG1lG1+λFMlFM

(5)

式(5)中：λG1和λFM是生成網(wǎng)絡(luò)G1的聯(lián)合損失函數(shù)jG1的正則化參數(shù)，這里所有的實(shí)驗(yàn)中選擇λG1=1，λFM=10。

2.2 圖像超分重構(gòu)網(wǎng)絡(luò)

圖像超分重構(gòu)網(wǎng)絡(luò)是圖像超分辨率任務(wù)的核心，超分重構(gòu)網(wǎng)絡(luò)的表達(dá)能力直接影響到SR圖像的質(zhì)量，網(wǎng)絡(luò)結(jié)構(gòu)越深，模型的表達(dá)能力越強(qiáng)，重構(gòu)出來(lái)的圖像質(zhì)量越好。對(duì)于網(wǎng)絡(luò)的加深，模型的計(jì)算復(fù)雜度會(huì)倍增，為了降低運(yùn)行時(shí)間，網(wǎng)絡(luò)采用編碼器、解碼器和殘差網(wǎng)絡(luò)結(jié)構(gòu)來(lái)構(gòu)造生成器，通過(guò)加入SN標(biāo)準(zhǔn)化來(lái)穩(wěn)定模型的訓(xùn)練過(guò)程，在殘差模塊中加入擴(kuò)張卷積來(lái)增大網(wǎng)絡(luò)的感受野，使模型能學(xué)到全局信息。具體圖像超分重構(gòu)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3和圖4所示。

圖3 生成模型G2的結(jié)構(gòu)

圖4 判別模型D2的結(jié)構(gòu)

(6)

同樣對(duì)G2網(wǎng)絡(luò)也采用聯(lián)合損失函數(shù)進(jìn)行訓(xùn)練，聯(lián)合損失函數(shù)包括L1損失、鉸鏈損失、感知損失和風(fēng)格化損失。G2和D2的鉸鏈損失表示為

lG2=-eEpred[D2(Ipred,Epred)]

(7)

lD2=e(IHR,Epred){max[0,1-D2(IHR,Epred)]}+

eEpred{max[0,1+D2(Ipred,Epred)]}

(8)

在聯(lián)合損失目標(biāo)函數(shù)中包括了風(fēng)格化損失lstyle和感知損失lperc。將預(yù)測(cè)圖像和真實(shí)圖形分別送入已經(jīng)在ImageNet數(shù)據(jù)集上訓(xùn)練完成的VGG-19網(wǎng)絡(luò)中，然后最小化它們?cè)赩GG-19網(wǎng)絡(luò)的隱層中所產(chǎn)生的特征圖之間的曼哈頓距離，這樣能夠增加預(yù)測(cè)圖像與真實(shí)圖像標(biāo)簽的相似性，感知損失函數(shù)定義為

(9)

(10)

Sajjadi等[16]展示了風(fēng)格化損失能夠緩解由擴(kuò)張卷積所造成的棋盤偽影。在圖像重構(gòu)階段，沒(méi)有使用特征匹配損失。特征匹配損失在邊緣生成網(wǎng)絡(luò)中，能夠?qū)?duì)抗損失起到一種正則化的作用，而在圖像重構(gòu)階段使用的感知損失具有同樣的效果，而且它能在圖像重構(gòu)的任務(wù)中表現(xiàn)出更加出色的效果。因此完整的聯(lián)合損失目標(biāo)函數(shù)為

jG2=λl1ll1+λG2lG2+λplperc+λstylelstyle

(11)

在所有試驗(yàn)中令權(quán)重系數(shù)分別為λl1=1，λG2=λp= 0.1，λs=250來(lái)有效地最小化聯(lián)合損失函數(shù)，以生成更加逼真的高分辨率圖像。

3 試驗(yàn)

3.1 實(shí)驗(yàn)條件

試驗(yàn)所有的代碼都是在PyTorch框架下基于python語(yǔ)言來(lái)實(shí)現(xiàn)的，pytorch的版本為1.20。所有的實(shí)驗(yàn)均是在2 × NVIDIA RTX 2080Ti GPU的服務(wù)器上完成的，模型訓(xùn)練所使用的數(shù)據(jù)為公開(kāi)的2K數(shù)據(jù)集DIV2K和Flickr2K。服務(wù)器的操作系統(tǒng)為Ubuntu18.04版本，CPU的型號(hào)為Intel Xeon CPU E5-2678 v3，內(nèi)核數(shù)為48，服務(wù)器的運(yùn)行內(nèi)存62 GB，CUDA的版本為9.2。

3.2 模型訓(xùn)練的數(shù)據(jù)

試驗(yàn)訓(xùn)練集采用公開(kāi)的2K數(shù)據(jù)集DIV2K和Flickr2K，為了使訓(xùn)練的數(shù)據(jù)更加豐富，對(duì)圖像進(jìn)行旋轉(zhuǎn)、隨機(jī)裁剪和鏡像操作來(lái)擴(kuò)展訓(xùn)練集的數(shù)目。在實(shí)驗(yàn)中將高分辨率圖像的尺寸固定在512×512大小，低分辨率圖像根據(jù)縮放因子進(jìn)行相應(yīng)的下采樣，采用雙三次插值的方法對(duì)圖像進(jìn)行下采樣，因此可以得到高/低分辨率圖像對(duì)，即ILR和IHR，后面就運(yùn)用這些圖像對(duì)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練過(guò)程中圖像的批次大小設(shè)置為8。

3.3 模型訓(xùn)練策略

眾所周知，生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練過(guò)程不太穩(wěn)定為了使網(wǎng)絡(luò)模型在訓(xùn)練過(guò)程中能夠更加穩(wěn)定，采用循序漸進(jìn)的訓(xùn)練策略，把模型的訓(xùn)練分為了四個(gè)階段。

第一個(gè)階段，將圖像邊緣生成網(wǎng)絡(luò)G1與D1網(wǎng)絡(luò)進(jìn)行對(duì)抗性訓(xùn)練。交替迭代更新各自的網(wǎng)絡(luò)權(quán)重。圖5展示使這個(gè)階段4倍超分因子的實(shí)驗(yàn)結(jié)果。圖5(a)表示的是原始的高分辨率圖像IHR，圖5(b)表示的是Canny邊緣檢測(cè)器在IHR上提取的邊緣特征圖EHR，圖5(c)表示的是邊緣生成網(wǎng)絡(luò)所預(yù)測(cè)的高分辨率圖像邊緣特征圖Epred。

圖5 4倍縮放因子的邊緣預(yù)測(cè)結(jié)果

第二個(gè)階段，訓(xùn)練圖像重構(gòu)網(wǎng)絡(luò)G2。這個(gè)階段的網(wǎng)絡(luò)輸入為ILR和EHR，然后再與D2網(wǎng)絡(luò)進(jìn)行對(duì)抗性訓(xùn)練，網(wǎng)絡(luò)的輸出就是預(yù)測(cè)的高分辨率圖像Ipred。

第三個(gè)階段，還是訓(xùn)練圖像重構(gòu)網(wǎng)絡(luò)G2和鑒別網(wǎng)絡(luò)D2。在EHR和Epred中以50%的概率選擇一個(gè)，然后和ILR一起作為這一階段的訓(xùn)練輸入。

第四個(gè)階段，直接將圖像邊緣生成網(wǎng)絡(luò)G1和圖像重構(gòu)網(wǎng)絡(luò)G2進(jìn)行聯(lián)合訓(xùn)練，并將低分辨率圖像ILR輸入到網(wǎng)絡(luò)G1中，可以得到Epred，然后再將Epred與ILR一起送入到G2網(wǎng)絡(luò)中，與D2網(wǎng)絡(luò)進(jìn)行對(duì)抗性訓(xùn)練，同時(shí)G1和G2的網(wǎng)絡(luò)權(quán)重進(jìn)行迭代更新。

3.4 模型的評(píng)估

圖6 不同超分辨率重建方法在Urban100上img_092的4倍重構(gòu)結(jié)果比較

圖7 不同超分辨率方法在4倍放大中的重建結(jié)果

表1 不同算法的PSNR比較

表2 不同算法的SSIM比較

表3 不同算法的PI比較

從上述測(cè)試結(jié)果中可以看出本文模型生成的HR圖像的PSNR指標(biāo)略低于Bicubic和SRCNN，但是通過(guò)SSIM和PI指標(biāo)的評(píng)價(jià)分析和所生成的圖像可以看出本文算法在細(xì)節(jié)紋理上要明顯優(yōu)于其他的算法。SRCNN的PSNR指標(biāo)之所以這么高，是因?yàn)樵摼W(wǎng)絡(luò)模型是基于均方誤差來(lái)優(yōu)化的，優(yōu)化均方誤差的就等價(jià)于最大化PSNR指標(biāo)，但在重構(gòu)的過(guò)程中忽略圖像中的高頻細(xì)節(jié)信息。而PI指標(biāo)的評(píng)估更加接近人類視覺(jué)的感知，在捕獲人類視覺(jué)感知方面表現(xiàn)出更好的性能。由圖6、圖7所示，可以看出本文算法所重構(gòu)出來(lái)的圖像，在圖像的邊緣和紋理上表現(xiàn)得更加清晰和細(xì)致，帶來(lái)更佳的視覺(jué)體驗(yàn)感。

4 結(jié)論

本文提出了對(duì)抗性邊緣學(xué)習(xí)生成超分辨率圖像的算法。該算法通過(guò)邊緣生成網(wǎng)絡(luò)，使得圖像邊緣信息在圖像超分辨率任務(wù)中得到充分的利用。依靠圖像的邊緣信息來(lái)引導(dǎo)和約束圖像超分重構(gòu)網(wǎng)絡(luò)，以此來(lái)生成高頻紋理細(xì)節(jié)更加豐富的高分辨率圖像，充分驗(yàn)證了圖像邊緣先驗(yàn)信息在圖像超分辨率任務(wù)中具有很好的引導(dǎo)作用。根據(jù)定性和定量的分析，本文算法在圖像邊緣重建方面上較其他算法有很大的改善，重建出來(lái)的高分辨率圖像視覺(jué)效果較好，在超分放大因子較大的情況下，重構(gòu)出來(lái)的高分辨率圖像依然沒(méi)有出現(xiàn)較大的失真現(xiàn)象，同時(shí)消除了邊緣重影和鋸齒的現(xiàn)象。