基于動態(tài)感受野的自適應(yīng)多尺度信息融合的圖像轉(zhuǎn)換

尹夢曉 林振峰 楊 鋒*

①(廣西大學(xué)計算機與電子信息學(xué)院 南寧 530004)

②(廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點實驗室 南寧 530004)

1 引言

圖像轉(zhuǎn)換[1]的本質(zhì)是條件圖像生成，目標(biāo)是將源圖像轉(zhuǎn)換成目標(biāo)圖像，如草圖生成真實圖[2]。由于源圖像和目標(biāo)圖像之間存在很大差異，因此需要復(fù)雜的變化來完成轉(zhuǎn)換。本文提出一種有效地完成不同類型圖像之間轉(zhuǎn)換的方法。

深度神經(jīng)網(wǎng)絡(luò)為圖像生成提供了有效方法[3–5]，其中深度卷積生成式對抗網(wǎng)絡(luò)(Deep Convolutional Generative Adversarial Networks,DCGAN)[5]自動學(xué)習(xí)上下采樣以避免信息丟失，提高生成圖像質(zhì)量。在圖像轉(zhuǎn)換方面，Pix2pix[1]基于DCGAN，增加編碼器實現(xiàn)不同域圖像的轉(zhuǎn)換，同時以跳躍連接使編碼器的特征繞過瓶頸層直接傳至生成器，這些方式提高了Pix2pix對不同轉(zhuǎn)換任務(wù)的兼容性以及生成圖像質(zhì)量。后續(xù)的研究工作更多關(guān)注損失函數(shù)的設(shè)計[6]、修改生成機制[7]和拓展生成目標(biāo)[8–10]等，對生成器的研究較少，而生成器作為直接生成圖像的部分有較大的探索空間。本文通過改進生成器結(jié)構(gòu)提出選擇性(卷積)核的生成式對抗網(wǎng)絡(luò)(Selective Kernel Generative Adversarial Network,SK-GAN)，避免引入額外的損失函數(shù)和超參數(shù)，獲得高質(zhì)量的生成圖像。

Sun等人[11]提出空間金字塔注意力池(Spatial Pyramid Attentive Pooling,SPAP)模塊，利用多級不同的感受野和像素級自適應(yīng)特征選擇從某一個上采樣的特征中獲取圖像由粗到細(xì)的變化信息。SPAP在DCGAN[5]和循環(huán)生成式對抗網(wǎng)絡(luò)(Cycle Generative Adversarial Networks,CycleGAN)[12]

中發(fā)揮了良好性能，一定程度上提高了生成圖像質(zhì)量。本文針對上采樣過程每層上采樣特征，利用選擇性(卷積)核模塊(Selective Kernel Block,SKBlock)[13]中的動態(tài)感受野機制融合該特征的多尺度信息，這樣不僅適應(yīng)了特征尺度的變化，同時改善了傳統(tǒng)生成器以固定感受野解碼特征的形式。本文將SKBlock引入生成器，并嘗試了不同的結(jié)合方式。

在諸如草圖轉(zhuǎn)換至真實圖像等轉(zhuǎn)換任務(wù)中，由引導(dǎo)圖像指導(dǎo)的圖像生成更具現(xiàn)實意義，該任務(wù)根據(jù)引導(dǎo)圖像的信息生成指定的圖像。如何有效利用引導(dǎo)圖像的信息是處理此類任務(wù)的關(guān)鍵[10]，文獻[10]定義參數(shù)生成器(Parameter Generator,PG)和特征轉(zhuǎn)換層(Feature Transformation,FT)，通過兩個編碼器之間的雙向特征傳遞實現(xiàn)源圖像和引導(dǎo)圖像的信息融合。該方式以特征的局部信息生成傳遞參數(shù)，避免全局一致的變化，然后通過仿射變換融合圖像信息。本文結(jié)合PG和FT，基于SK-GAN在草圖合成真實圖像任務(wù)提出帶引導(dǎo)圖像的選擇性(卷積)核的生成式對抗網(wǎng)絡(luò)(Guided SK-GAN,GSKGAN)，該模型將引導(dǎo)圖像信息傳至生成器并由動態(tài)感受野獲取對應(yīng)的多尺度信息。此外，本文還提出雙分支引導(dǎo)圖像編碼器，用于實現(xiàn)不同引導(dǎo)圖像對應(yīng)生成圖像之間的插值。同時還以變分推斷[3]學(xué)習(xí)引導(dǎo)圖像的隱變量分布，使GSK-GAN在預(yù)測時能采樣更多指導(dǎo)信息，實現(xiàn)多樣化生成。實驗表明，GSK-GAN不僅能夠根據(jù)引導(dǎo)圖像生成指定的圖像，還能生成連續(xù)變化和引導(dǎo)圖像信息之外的圖像，同時保證圖像質(zhì)量。

本文主要貢獻如下：

(1)提出動態(tài)感受野的自適應(yīng)多尺度信息融合的生成器結(jié)構(gòu)，使用SKBlock根據(jù)上采樣特征大小自適應(yīng)調(diào)整感受野，獲取特征多尺度信息，改進了傳統(tǒng)生成器對特征多尺度信息的忽略和感受野的固定形式。基于此生成器提出圖像轉(zhuǎn)換模型SK-GAN。

(2)基于SK-GAN在草圖合成真實圖像任務(wù)提出GSK-GAN，該模型將引導(dǎo)圖像信息直接傳至生成器，借助SKBlock獲取對應(yīng)多尺度信息，避免影響源圖像編碼，保證了圖像質(zhì)量，更利于模型的拓展。

(3)在GSK-GAN中提出雙分支引導(dǎo)圖像編碼器，通過權(quán)重控制每個分支信息的轉(zhuǎn)換程度，實現(xiàn)不同引導(dǎo)圖像對應(yīng)生成圖像之間的插值。同時使用額外的生成器，用于生成引導(dǎo)圖像信息之外的圖像。雙分支引導(dǎo)圖像編碼器學(xué)習(xí)引導(dǎo)圖像的隱變量分布，生成器從該分布中采樣隱變量以獲得更多指導(dǎo)信息。

2 相關(guān)工作

本節(jié)簡要介紹本文轉(zhuǎn)換模型所密切相關(guān)的圖像轉(zhuǎn)換(image-to-image translation)、多分支卷積結(jié)構(gòu)和多模態(tài)圖像轉(zhuǎn)換等工作。

2.1 圖像轉(zhuǎn)換

圖像生成模型主要包括變分自動編碼器[3](Variational AutoEncoder,VAE)和生成式對抗網(wǎng)絡(luò)[4](Generative Adversarial Networks,GAN)兩種類型，其中GAN的對抗學(xué)習(xí)方式使生成圖像更清晰且應(yīng)用更廣泛。圖像轉(zhuǎn)換模型以源圖像為條件，利用編碼器將源圖像映射成潛在編碼，生成器將潛在編碼轉(zhuǎn)換成對應(yīng)目標(biāo)圖像。Isola等人[1]最早提出同時兼容圖像著色、草圖合成真實圖像和圖像補全等多種轉(zhuǎn)換任務(wù)的圖像轉(zhuǎn)換模型。后續(xù)工作分別從增加損失函數(shù)[6]、修改生成機制[7]和拓展生成目標(biāo)[8–10]等方面提升轉(zhuǎn)換模型的處理能力，其中文獻[9,10]以引導(dǎo)圖像控制目標(biāo)圖像的生成，實現(xiàn)多模態(tài)圖像轉(zhuǎn)換。現(xiàn)有通用圖像轉(zhuǎn)換模型的改進缺少對生成器的關(guān)注，而生成器對圖像質(zhì)量的影響更直接。本文從生成器入手，改進圖像轉(zhuǎn)換模型，提高圖像生成質(zhì)量。

2.2 多分支卷積結(jié)構(gòu)

InceptionNets[14]將多分支卷積用于圖像分類，以獲取特征的多尺度信息。柳長源等人[15]使用類似的結(jié)構(gòu)取得了較好的實驗結(jié)果。在超分辨率方面，Li等人[16]提出基于殘差塊的多尺度殘差模塊(Multi-Scale Residual Block,MSRB)，該結(jié)構(gòu)融合特征的多尺度信息，提高了重建圖像的質(zhì)量。選擇性(卷積)核網(wǎng)絡(luò)(Selective Kernel Network,SKNet)[13]利用兩個不同感受野的分支，讓網(wǎng)絡(luò)自適應(yīng)地從某一個分支中獲取信息，增強了網(wǎng)絡(luò)對目標(biāo)的適應(yīng)性。本文將SKNet中的SKBlock引入生成器，增強轉(zhuǎn)換模型自適應(yīng)調(diào)節(jié)和提取特征的能力。

2.3 多模態(tài)圖像轉(zhuǎn)換

傳統(tǒng)轉(zhuǎn)換模型僅以源圖像為輸入，只能產(chǎn)生確定的輸出，但實際應(yīng)用中常存在一對多的轉(zhuǎn)換情況。Zhu等人[8]針對上述問題提出雙向循環(huán)生成式對抗網(wǎng)絡(luò)(Bidirectional cycle Generative Adversarial Networks,BicycleGAN)，通過成對圖像中目標(biāo)圖像的隱變量改變生成圖像的樣式，但預(yù)測時從正態(tài)分布中采樣的隱變量無法獲取指定樣式，只能生成隨機樣式的圖像。紋理生成式對抗網(wǎng)絡(luò)(Texture Generative Adversarial Networks,TextureGAN)[9]以引導(dǎo)圖像提供額外信息，通過風(fēng)格遷移中常用的內(nèi)容和樣式損失函數(shù)將引導(dǎo)圖像信息遷移至生成圖像。文獻[10]提出參數(shù)生成器和特征轉(zhuǎn)換層，將引導(dǎo)圖像信息的遷移過程加入轉(zhuǎn)換模型，避免過多的損失函數(shù)使轉(zhuǎn)換模型的訓(xùn)練變得復(fù)雜。以引導(dǎo)圖像指導(dǎo)源圖像的轉(zhuǎn)換只能生成與引導(dǎo)圖像相關(guān)的圖像，限制了多樣性生成。本文將使用隱變量和引導(dǎo)圖像提供額外信息的方式結(jié)合，不僅能夠獲得指定的生成圖像，還能通過隱變量產(chǎn)生更多不同的結(jié)果。此外，本文還提出雙分支引導(dǎo)圖像編碼器，實現(xiàn)在已有的引導(dǎo)圖像中編輯生成圖像，進一步增強了轉(zhuǎn)換模型的處理能力。

3 主要方法

本文目標(biāo)是將源圖像x轉(zhuǎn)換成目標(biāo)圖像y，即TSK:(x)→y，其中TSK表示SK-GAN的編碼器和生成器。多模態(tài)圖像轉(zhuǎn)換任務(wù)增加了引導(dǎo)圖像和雙分支引導(dǎo)圖像編碼器，對應(yīng)的轉(zhuǎn)換過程描述為TGSK:(x,c1,c2,ω)→y，其中TGSK表示GSK-GAN的源圖像編碼器、雙分支引導(dǎo)圖像編碼器、與引導(dǎo)圖像信息對應(yīng)的生成器和與隱變量對應(yīng)的生成器，c1和c2分別表示不同的引導(dǎo)圖像，ω和(1?ω)分別表示雙分支引導(dǎo)圖像編碼器中不同分支的權(quán)重。3.1節(jié)和3.2節(jié)將分別介紹SK-GAN和GSK-GAN的實現(xiàn)。

3.1 基于動態(tài)感受野的自適應(yīng)多尺度信息融合的轉(zhuǎn)換模型SK-GAN

本文使用Pix2pix[1]結(jié)構(gòu)實現(xiàn)SK-GAN，如圖1所示，該模型主要包括編碼器E、生成器G和判別器D。編碼器和生成器將源圖像映射至目標(biāo)圖像，判別器通過判斷輸入圖像的真假優(yōu)化轉(zhuǎn)換過程。

圖1 轉(zhuǎn)換模型結(jié)構(gòu)

生成器上采樣階段由多個轉(zhuǎn)置卷積組成，如圖2中模式1。本文在生成器中引入SKBlock，使生成器獲得動態(tài)感受野機制。SKBlock的結(jié)構(gòu)如圖3(a)所示，提取和融合多尺度信息的步驟包括：(1)使用文獻[13]中SKBlock感受野的設(shè)置，以3×3和5×5的感受野分支獲取特征IF的多尺度信息；(2)將2個分支獲取的特征相加并以全局平均池化GAP統(tǒng)計全局信息；(3)通過全連接FC將全局信息的特征降維并增加歸一化層和激活函數(shù)，提高模塊的學(xué)習(xí)能力，然后再次經(jīng)過全連接恢復(fù)至原維度；(4)利用激活函數(shù)和全連接層輸出的特征學(xué)習(xí)選擇權(quán)重，該權(quán)重與每個分支輸出的特征相乘以控制多尺度信息的轉(zhuǎn)換；(5)通過像素級和融合每個分支的轉(zhuǎn)換信息輸出特征O F。圖3(b)展示了多尺度信息的動態(tài)選擇過程，不同感受野獲取的特征F3×3和F5×5分別由對應(yīng)的權(quán)重W3×3和W5×5控制轉(zhuǎn)換程度，通過權(quán)重變化改變固定感受野的特征提取方式。

圖3 SKBlock的結(jié)構(gòu)和動態(tài)特征選擇過程

圖2模式2和模式3分別展示不同的SKBlock與生成器的結(jié)合方式。模式2簡單地將SKBlock加入每個上采樣層之間，而模式3以殘差模式將SKBlock與生成器結(jié)合。本文主要基于模式3進行實驗，并在4.4.1節(jié)討論每個模式的生成效果。

圖2 生成器中的上采樣過程

3.2 多模態(tài)轉(zhuǎn)換模型GSK-GAN

GSK-GAN基于SK-GAN并增加雙分支引導(dǎo)圖像編碼器和額外的生成器，如圖4所示，GSK-GAN包括源圖像編碼器EX、 雙分支引導(dǎo)圖像編碼器EC、對應(yīng)的生成器G X和GC及判別器DX和DC。其中E C用于提取引導(dǎo)圖像特征，通過參數(shù)生成器PG和特征轉(zhuǎn)換層FT將引導(dǎo)圖像信息傳至生成器，同時學(xué)習(xí)引導(dǎo)圖像的隱變量分布。G C利用采樣的隱變量生成引導(dǎo)圖像信息之外的目標(biāo)圖像。

圖4 GSK-GAN模型結(jié)構(gòu)

在引導(dǎo)圖像信息融合方面，GSK-GAN基于SKGAN中生成器的結(jié)構(gòu)進行多級信息融合，如圖5(b)所示，參數(shù)生成器利用引導(dǎo)圖像編碼器輸出的特征生成轉(zhuǎn)換參數(shù)，生成器中每個SKBlock前包含特征轉(zhuǎn)換層，用于轉(zhuǎn)換引導(dǎo)圖像的信息，然后由SKBlock獲取多尺度信息。相比文獻[10]中編碼器之間雙向信息傳遞的方式(圖5(a))，GSK-GAN將引導(dǎo)圖像信息直接傳遞至生成器，避免了對源圖像編碼的影響，不僅有利于模型的拓展還減少了1/2參數(shù)生成器的使用，同時也保證了生成圖像的質(zhì)量。

圖5 引導(dǎo)圖像信息的傳遞方式

3.3 損失函數(shù)

本文沿用Pix2pix中的對抗損失函數(shù)和L1損失函數(shù)，其中對抗損失函數(shù)使用LSGAN[17]。優(yōu)化的轉(zhuǎn)換模型包括SK-GAN和GSK-GAN,GSK-GAN中還使用KL散度學(xué)習(xí)引導(dǎo)圖像的隱變量分布。

4 實驗

本節(jié)詳細(xì)介紹實驗使用的設(shè)備參數(shù)、生成圖像的評價指標(biāo)、與現(xiàn)有方法的對比結(jié)果和實驗分析。

4.1 實驗設(shè)置

所有實驗在NVIDIA Tesla V100 GPU上運行，訓(xùn)練過程中轉(zhuǎn)換模型和判別器的學(xué)習(xí)率均為0.0002并使用beta1為0.5的Adam優(yōu)化器。超參數(shù)λ1=2,λ2=100和λ3=0.01。G S K-G A N 和S KGAN分別使用128×128和256×256的圖像分辨率，所有任務(wù)的數(shù)據(jù)批大小均在1～10。

4.2 評價指標(biāo)

本文采用文獻[7]所使用的結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)來評價目標(biāo)圖像和生成圖像的相似性，兩者越相似，SSIM和PSNR的評分越高。此外，利用深度神經(jīng)網(wǎng)絡(luò)來評價生成圖像質(zhì)量也是常用的評價方法，該類評分包括弗雷歇Inception距離(Fréchet Inception Distance,FID)[18]，學(xué)習(xí)的感知圖像塊相似性(Learned Perceptual Image Patch Similarity,LPIPS)[19]和全卷積網(wǎng)絡(luò)評分(FCN Score,FCNS)[1]等。FID和LPIPS評分越低表示生成圖像質(zhì)量越高。FCNS以語義分割模型分割cityscapes[20]數(shù)據(jù)集的生成結(jié)果并計算相應(yīng)的分割精確度，其值越高表明生成圖像越接近目標(biāo)圖像。

4.3 實驗結(jié)果

實驗內(nèi)容包括模型SK-GAN和模型GSK-GAN的實驗結(jié)果與分析，通過定性和定量的對比展示了SK-GAN和GSK-GAN的優(yōu)勢。

4.3.1 SK-GAN的實驗對比

SK-GAN在草圖合成真實圖像和語義圖像合成真實圖像任務(wù)中進行實驗對比，使用的數(shù)據(jù)集分別為Edges2handbags[1]和Edges2shoes[1],Facades[21]和Cityscapes[20]。圖6和圖7分別展示了SK-GAN在草圖合成真實圖像任務(wù)中與Pix2pix和判別區(qū)域?qū)咕W(wǎng)絡(luò)(Discriminative Region Proposal Adversarial Networks,DRPAN)定性對比結(jié)果、在語義圖像合成真實圖像任務(wù)中與Pix2pix定性對比結(jié)果，這些結(jié)果表明SK-GAN生成的圖像偽影較少，細(xì)節(jié)較豐富。兩種任務(wù)的定量對比分別如表1和表2，其中表2引用文獻[7]的對比結(jié)果，包含級聯(lián)優(yōu)化網(wǎng)絡(luò)(Cascaded Refinement Network,CRN)[22]的實驗對比。本文方法對生成器的改善增強了圖像特征的提取，在小樣本數(shù)據(jù)中也能獲得更多細(xì)節(jié)，保持較完整的圖像結(jié)構(gòu)，如圖7中Facades數(shù)據(jù)集。此外，本文在Cityscapes數(shù)據(jù)集中獲得更高的FCNS評分(表2)，這表明SK-GAN的生成結(jié)構(gòu)優(yōu)于CRN和DPRAN。

表1 Edges2shoes和Edges2handbags數(shù)據(jù)集中定量對比結(jié)果

表2 Cityscapes數(shù)據(jù)集中定量對比結(jié)果

圖6 草圖合成真實圖像實驗結(jié)果對比

圖7 語義圖像合成真實圖像實驗結(jié)果對比

4.3.2 GSK-GAN的實驗對比

本文使用TextureGAN[9]中的采樣方式從目標(biāo)圖像中采樣紋理來替換對應(yīng)源圖像中的信息作為引導(dǎo)圖像，實驗數(shù)據(jù)集為包含對象掩碼的Edges2shoes[9]和Edges2handbags[9]。本文通過文獻[10]提供的模型獲取統(tǒng)一的紋理圖像并隨機計算10次生成結(jié)果，GSK-GAN中雙分支引導(dǎo)圖像編碼器采用同一輸入且ω=0.5，與TextureGAN和文獻[10]定性對比結(jié)果如圖8，該結(jié)果表明GSK-GAN生成的圖像與對應(yīng)引導(dǎo)圖像的紋理更接近，更光滑和精細(xì)。與文獻[10]一致，本文使用FID和LPIPS評估GSK-GAN生成圖像的質(zhì)量，對應(yīng)結(jié)果如表3，相比文獻[10]，GSK-GAN在FID評分中獲得較大程度提升且在可視化效果中更接近真實圖像。

表3 多模態(tài)圖像轉(zhuǎn)換Edges2shoes和Edges2handbags數(shù)據(jù)集中定量對比結(jié)果

圖8 多模態(tài)圖像轉(zhuǎn)換生成的結(jié)果對比

GSK-GAN中還包含雙分支引導(dǎo)圖像編碼器和以隱變量獲得多樣性生成效果的生成器，本文在Edges2shoes數(shù)據(jù)集中展示這兩部分生成圖像的效果，分別如圖9和圖10所示，GSK-GAN能夠利用已有的引導(dǎo)圖像c1和c2產(chǎn)生樣式連續(xù)變化的生成圖像，以及利用隱變量產(chǎn)生更多引導(dǎo)圖像信息之外的生成圖像，同時圖像的整體質(zhì)量能夠很好地保持。

圖9 Edges2shoes數(shù)據(jù)集中使用雙分支引導(dǎo)圖像編碼器的生成結(jié)果

圖10 Edges2shoes數(shù)據(jù)集中使用隱變量的生成結(jié)果

此外，本文在融合源圖像和紋理圖像的過程中對紋理圖像進行隨機翻轉(zhuǎn)，增強了模型對紋理圖像的泛化。如圖11，當(dāng)引導(dǎo)圖像紋理和目標(biāo)圖像不匹配時，GSK-GAN仍能夠產(chǎn)生較為合理的生成圖像。

圖11 Edges2shoes數(shù)據(jù)集中紋理不匹配的生成結(jié)果

4.4 模型分析

本節(jié)分析SK-GAN的模型結(jié)構(gòu)，包括SKBlock與生成器結(jié)合的方式、不同對抗損失函數(shù)和上采樣過程不同感受野對轉(zhuǎn)換模型的影響，以及GSK-GAN中引導(dǎo)圖像信息融合方式對多樣性生成的影響。

4.4.1 SK-GAN的模型結(jié)構(gòu)

圖2展示生成器的3種模式，其中模式1為常用結(jié)構(gòu)，模式2和模式3為SKBlock和生成器結(jié)合的方式。每種模式在Facades數(shù)據(jù)集上的結(jié)果對比如表4所示，其中模式2和模式3相對模式1都有一定程度的提升，這表明SKBlock的加入有助于改善轉(zhuǎn)換模型的生成器，從而提高圖像的生成質(zhì)量(模式2)，而模式3的結(jié)合方式進一步提升了生成器的性能。模式1、模式2和模式3均使用LSGAN。在模式3中對比原始GAN和LSGAN對轉(zhuǎn)換模型的影響，如表4所示，LSGAN在SSIM,PSNR和FID評分中都有一定程度提升，相比原始GAN,LSGAN對轉(zhuǎn)換模型的優(yōu)化使生成圖像更接近真實圖像。

表4 生成器中不同的上采樣過程生成的圖像質(zhì)量對比結(jié)果

在感受野分析方面，對卷積核為1×1和 3 ×3,3×3和 5 ×5以及 5 ×5和 7 ×7 3種組合分支進行實驗，分別以K13,K35和K57表示，3種組合的卷積核對應(yīng)的感受野依次增大。如表5所示，K13和K57分別獲得較優(yōu)的LPIPS和PSNR評分，K 35對應(yīng)的這些評分只有較小的差距，綜合性能更具優(yōu)勢。SK-GAN中使用K35的卷積分支組合，感受野的變化通過選擇特征的權(quán)重控制。圖12展示多個數(shù)據(jù)集上采樣過程不同特征的選擇權(quán)重，圖中“3×3”和“ 5 ×5”分別表示不同的感受野，對不同上采樣層特征，生成器能通過學(xué)習(xí)選擇權(quán)重動態(tài)獲取不同尺度信息，從而控制感受野變化。

表5 SKBlock中不同感受野分支組合對應(yīng)的圖像質(zhì)量對比結(jié)果

圖12 多個數(shù)據(jù)集中上采樣層的特征對應(yīng)的多尺度信息的選擇權(quán)重

4.4.2引導(dǎo)圖像信息融合方式對多樣性生成的影響

為驗證引導(dǎo)圖像信息的融合方式對多樣性生成的影響，本文的GSK-GAN使用單一輸入的引導(dǎo)圖像編碼器，簡化模型訓(xùn)練。編碼器之間雙向傳遞信息使源圖像編碼器包含引導(dǎo)圖像信息，這相對隱變量對生成器G C的影響更大，因此生成器GC無法通過隱變量改變生成圖像的樣式。本文提出的單向信息傳遞的方式中僅以隱變量作為指導(dǎo)源圖像轉(zhuǎn)換的信息，有效地產(chǎn)生了多樣化的生成結(jié)果。如圖13所示，雙向信息傳遞的方式在生成器中G C只能產(chǎn)生與引導(dǎo)圖像相關(guān)的圖像，單向信息傳遞能夠通過隱變量獲得更多樣式。此外，兩種方式都生成了細(xì)節(jié)豐富的清晰圖像，但單向信息傳遞減少了一半?yún)?shù)生成器，降低了模型參數(shù)。單向信息傳遞更有利于轉(zhuǎn)換模型對多樣性生成的拓展，同時保證了圖像質(zhì)量。

圖13 不同引導(dǎo)圖像信息傳遞方式對應(yīng)的多樣性生成結(jié)果

5 結(jié)論

本文通過實驗驗證了SK-GAN以動態(tài)感受野獲取生成器上采樣過程中特征的多尺度信息有助于提高生成器的性能，從而獲得高質(zhì)量的生成圖像。在GSK-GAN中，本文提出了雙分支引導(dǎo)圖像編碼器和新的引導(dǎo)圖像信息融合的方式，同時以隱變量提高轉(zhuǎn)換模型的多樣性生成能力。實驗表明，GSKGAN不僅實現(xiàn)了可控的圖像生成，還能獲得更多引導(dǎo)圖像信息之外的多樣性生成結(jié)果，且保證了圖像質(zhì)量。