一種基于譜歸一化的兩階段堆疊結(jié)構(gòu)生成對(duì)抗網(wǎng)絡(luò)的文本生成圖像模型*

王 霞,徐慧英,朱信忠

(浙江師范大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,浙江 金華 321004)

1 引言

近年來(lái)，深度學(xué)習(xí)在圖像識(shí)別、圖像生成和圖像去模糊等方面取得了突破性進(jìn)展,作為圖像生成領(lǐng)域的重要分支，文本生成圖像是一項(xiàng)結(jié)合計(jì)算機(jī)視覺(jué)和自然語(yǔ)言的綜合性交叉任務(wù)。文本生成圖像將一句描述性語(yǔ)言文本作為輸入，最終輸出一幅與文本內(nèi)容一致的圖像。制作一幅與文本語(yǔ)義相同且生動(dòng)、逼真的圖像是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。這項(xiàng)任務(wù)雖有一定的難度，但是學(xué)者們對(duì)其眾多應(yīng)用場(chǎng)景還是充滿了期待，目的是讓文本生成圖像這項(xiàng)任務(wù)真正在實(shí)際生活中體現(xiàn)出實(shí)用價(jià)值，并試圖在廣告設(shè)計(jì)、繪圖插畫等各行業(yè)得到發(fā)展。總而言之，研究文本生成圖像算法不僅在學(xué)術(shù)研究，也在生活應(yīng)用中有重要意義。

文本生成圖像的任務(wù)分為識(shí)別輸入的語(yǔ)句信息和制作與語(yǔ)句信息相對(duì)應(yīng)的圖像2部分，最初的主流方法是變分自編碼器VAE(Variational Auto-Encoder)[1]和DRAW(Deep Recurrent Attention Writer)[2]。生成對(duì)抗網(wǎng)絡(luò)GAN (Generative Adversarial Networks)[3]被提出后,憑借有效的對(duì)抗學(xué)習(xí)機(jī)制使文本生成圖像任務(wù)有了更好的實(shí)現(xiàn)途徑，因此相繼出現(xiàn)了一系列基于GAN的文本生成圖像方法。2016年,文獻(xiàn)[4]提出了GAN-INT-CLS(Matching-aware discriminator and Learning with manifold interpolation)模型,首次使用流行插值和具有判別意識(shí)的判別器2種方案解決了生成圖像缺乏多樣化的問(wèn)題，大大提高了圖像生成能力，但是仍無(wú)法合成高分辨率的圖像。文獻(xiàn)[5]提出了能更好地根據(jù)文本描述控制圖像中物體具體位置的網(wǎng)絡(luò)GAWWN(Generative Adversarial What-Where Networks)。2017年,文獻(xiàn)[6]提出了一種堆疊生成對(duì)抗網(wǎng)絡(luò)StackGAN(Stack Generative Adversarial Network)模型，把生成高質(zhì)量圖像的復(fù)雜問(wèn)題分解成2個(gè)相對(duì)簡(jiǎn)單的子問(wèn)題：首先將文本描述與隨機(jī)噪聲相結(jié)合作為輸入，生成64×64像素的低分辨率圖像；接著將第一階段的生成結(jié)果和文本描述作為輸入，最終生成 256×256像素的高分辨率圖像。但是，整個(gè)過(guò)程還是存在訓(xùn)練不穩(wěn)定和梯度消失等問(wèn)題。2018年,文獻(xiàn)[7]進(jìn)一步提出將實(shí)驗(yàn)任務(wù)分成3步的模型(StackGAN++)，逐步生成 64×64,128×128,256×256的圖像，使生成的效果有了很大提升。但是,更加復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)使整個(gè)生成過(guò)程計(jì)算量大增，效率較低。隨后AttnGAN(Attentional Generative Adversarial Networks)[8]將輸入文本編碼成句子級(jí)別的特征和單詞級(jí)別的特征,并且在各階段引入了自注意力機(jī)制，通過(guò)逐層訓(xùn)練得到最終結(jié)果，由于其復(fù)雜的結(jié)構(gòu)大大增加了訓(xùn)練的難度，仍存在訓(xùn)練效率不高的問(wèn)題。2019年，文獻(xiàn)[9]提出通過(guò)輸入單詞級(jí)的特征以及結(jié)合自注意力機(jī)制和感知損失來(lái)控制文本生成圖像的過(guò)程。2020年,文獻(xiàn)[10]將自注意力機(jī)制融入單層生成對(duì)抗網(wǎng)絡(luò)來(lái)完成這一任務(wù)，彌補(bǔ)了只能計(jì)算局部區(qū)域像素的缺陷。文獻(xiàn)[11]提出了一種基于協(xié)同上采樣的雙生成器注意網(wǎng)絡(luò)DGAttGAN(Dual Generator Attentional Generative Adversarial Network)，建立了2個(gè)具有獨(dú)立生成目的的生成器，將對(duì)象生成和背景生成分離，可以從文本描述中生成高質(zhì)量的多目標(biāo)圖像。根據(jù)現(xiàn)有研究，如何提升網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性和提高生成圖像的質(zhì)量是亟待解決的問(wèn)題。

為了提高網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性和圖像質(zhì)量，本文一方面將譜歸一化運(yùn)用到兩階段的判別器網(wǎng)絡(luò)中，限制每層網(wǎng)絡(luò)參數(shù)的梯度在指定范圍內(nèi)，從而減緩判別器的收斂速度，在保持參數(shù)矩陣結(jié)構(gòu)不被破壞的前提下實(shí)現(xiàn)提高網(wǎng)絡(luò)訓(xùn)練穩(wěn)定性的目的；另一方面將感知損失函數(shù)加入生成器網(wǎng)絡(luò)中，使生成圖像更加真實(shí)自然。

2 文本到圖像生成對(duì)抗網(wǎng)絡(luò)的構(gòu)建

2.1 條件生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)由一個(gè)生成器和一個(gè)判別器構(gòu)成，為了到達(dá)納什平衡，采用對(duì)抗的方式進(jìn)行學(xué)習(xí)。生成器G的輸入是服從正態(tài)分布的隨機(jī)噪聲z，輸出是假圖像G(z)，目的是盡量去學(xué)習(xí)真實(shí)的數(shù)據(jù)分布。判別器D的輸入是來(lái)自真實(shí)數(shù)據(jù)集的圖像x和生成器輸出的假圖像G(z)，輸出是判別器給圖像真實(shí)度打的分值D(x)與D(G(z))，取值為0～1，分值越高，說(shuō)明圖像越接近真實(shí)圖像，其目的是盡量正確判別輸入數(shù)據(jù)是來(lái)自于真實(shí)數(shù)據(jù)還是生成數(shù)據(jù)。生成器G和判別器D交替訓(xùn)練，其損失函數(shù)如式(1)所示：

Ez～pz[log(1-D(G(z)))]

(1)

其中，x是來(lái)自真實(shí)數(shù)據(jù)集pdata的真實(shí)圖像，z是來(lái)自服從高斯分布pz的噪聲矢量。

由于生成對(duì)抗網(wǎng)絡(luò)根據(jù)噪聲z生成圖像的方式過(guò)于自由，對(duì)于較復(fù)雜的數(shù)據(jù)，容易變得不可控，得到的圖像可能存在偏差較大的情況，因此文獻(xiàn)[12]提出條件生成式對(duì)抗網(wǎng)絡(luò)cGAN(conditional Generative Adversarial Network)，通過(guò)在生成器和判別器中加入約束條件來(lái)解決該問(wèn)題，換句話說(shuō)就是為模型添加額外的輔助信息y。這一策略的作用是監(jiān)督生成式對(duì)抗網(wǎng)絡(luò)，其訓(xùn)練過(guò)程與生成式對(duì)抗網(wǎng)絡(luò)(GAN)相同，此時(shí)條件生成式對(duì)抗網(wǎng)絡(luò)的損失函數(shù)如式(2)所示：

Ez～pz[log(1-D(G(z|y)))]

(2)

與式(1)的區(qū)別是在生成器和判別器的輸入中都添加了額外的輔助信息y，使無(wú)監(jiān)督生成變成了有監(jiān)督生成，在保持多樣性生成的同時(shí)也指定了相應(yīng)的生成對(duì)象。本文的網(wǎng)絡(luò)模型正是采用了條件生成對(duì)抗網(wǎng)絡(luò),并采用文本描述向量化技術(shù)[13]將文本內(nèi)容轉(zhuǎn)化為作為附加信息條件的向量。

2.2 譜歸一化

由于生成對(duì)抗網(wǎng)絡(luò)會(huì)出現(xiàn)模式坍塌等問(wèn)題[14],因此在后續(xù)的研究中學(xué)者們也提出了諸多解決方法[15,16]。歸一化層的提出主要是為了克服深度神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練的問(wèn)題，將輸入的數(shù)據(jù)映射到[0,1]，這樣不僅可使網(wǎng)絡(luò)訓(xùn)練更加穩(wěn)定，還可以提高訓(xùn)練過(guò)程中模型的精度。

譜歸一化[17]通過(guò)嚴(yán)格約束每一層網(wǎng)絡(luò)權(quán)重矩陣的譜范數(shù)來(lái)約束判別器的Lipschitz常數(shù)，從而增強(qiáng)條件生成對(duì)抗網(wǎng)絡(luò)在訓(xùn)練中的穩(wěn)定性。相比于其他的歸一化技術(shù)，譜歸一化只需要調(diào)整Lipschitz常數(shù)，在文獻(xiàn)[17]中已證實(shí)了這一結(jié)論。

根據(jù)Lipschitz常數(shù)定義可得式(3)：

(3)

其中，M為大于0的常數(shù)，f(x)為定義在實(shí)數(shù)集上的函數(shù)。

(4)

對(duì)網(wǎng)絡(luò)的每一層g，以h作為輸入，在此本文不討論有偏置項(xiàng)，則g(h)=Wh,有：

(5)

而在整個(gè)網(wǎng)絡(luò)f(x)=WL+1aL(WL(aL-1(WL-1(…a1(W1x)…))))中，因?yàn)橛小琯1°g2‖≤‖g1‖Lip·‖g2‖Lip，所以有：

(6)

其中，L為網(wǎng)絡(luò)層數(shù)，Wl為第l層的權(quán)重。

若要將每層網(wǎng)絡(luò)的Lipschitz常數(shù)限制為1，即‖g‖Lip=1，則需要σ(W)=1。

故通過(guò)式(7)對(duì)權(quán)重矩陣W做譜歸一化處理，得到:σ(W)=1。

(7)

2.3 感知損失函數(shù)

感知損失函數(shù)是由文獻(xiàn)[18]提出的，具有接近人眼視覺(jué)感知特性，可以使生成的圖像更加真實(shí)自然，并且文獻(xiàn)[19]的結(jié)論表明其增強(qiáng)了文本內(nèi)容與生成圖像的一致性。

(8)

3 基于譜歸一化的兩階段堆疊結(jié)構(gòu)生成對(duì)抗網(wǎng)絡(luò)

3.1 目標(biāo)函數(shù)

本文模型采用生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)交替訓(xùn)練的方式,其目的分別是最小化生成器損失LG和最大化判別器損失LD。采取文獻(xiàn)[6]的方法在生成器網(wǎng)絡(luò)的訓(xùn)練中加入如式(9)所示的LKL損失:

LKL=DKL(N(μ0(ρt),Σ0(ρt))|N(0,I))

(9)

第一階段的生成器網(wǎng)絡(luò)損失LG1包括對(duì)抗損失、LKL損失(α=1)和感知損失函數(shù)Lper,判別器網(wǎng)絡(luò)損失LD就等于對(duì)抗損失。目標(biāo)函數(shù)計(jì)算如式(10)所示：

maxLD1=E(I1,t)～pdata[logD1(I1,ρt)]+

Ez～pz,t～pdata[log(1-D1(G1(z,c),ρt))],

minLG1=Ez～pz,t～pdata[log(1-D1(G1(z,c),ρt))]+

αDKL(N(μ0(ρt),Σ0(ρt))|N(0,I))+

(10)

其中,(Ι1,t)～pdata表示真實(shí)圖像Ι1和文本描述t均來(lái)自真實(shí)數(shù)據(jù)分布pdata；z是服從正態(tài)分布的隨機(jī)噪聲;ρt是文本編碼的特征向量;c是條件向量。

Figure 1 Structure diagram of the discriminator network model in this paper圖1 本文判別器網(wǎng)絡(luò)模型結(jié)構(gòu)圖

第二階段生成對(duì)抗網(wǎng)絡(luò)的目標(biāo)函數(shù)LG2與LD2,如式(11)所示：

2）中國(guó)女籃的首發(fā)陣容結(jié)構(gòu)要適應(yīng)日本女籃“五小”的陣容布置，這種陣容結(jié)構(gòu)比的是更快、更硬、更準(zhǔn)，因此中國(guó)女籃要從體能、技戰(zhàn)術(shù)到心理素質(zhì)等有一個(gè)全方位的提升。

maxLD2=E(I2,t)～pdata[logD2(I2,ρt)]+

Ez～pz,t～pdata[log(1-D2(G2(m,c),ρt))],

minLG2=Ez～pz,t～pdata[log(1-D2(G2(m,c),ρt))]+

αDKL(N(μ0(ρt),Σ0(ρt))|N(0,I))+

(11)

其中,m=G1(z,c)是第一階段的生成結(jié)果。

3.2 模型結(jié)構(gòu)

為了進(jìn)一步提高網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，增強(qiáng)生成圖像的質(zhì)量，本文基于兩階段堆疊結(jié)構(gòu)生成對(duì)抗網(wǎng)絡(luò)提出一種結(jié)合譜歸一化的文本到圖像的生成對(duì)抗網(wǎng)絡(luò)模型。該模型由2個(gè)階段組成，其中第一階段利用文本描述粗略勾畫物體的主要形狀和顏色，生成低分辨率圖像；在第二階段將第一階段的結(jié)果和文本描述作為輸入生成高分辨率圖像。本文2個(gè)階段的生成對(duì)抗網(wǎng)絡(luò)均采用條件生成對(duì)抗網(wǎng)絡(luò)，但是在2個(gè)階段中均在判別器網(wǎng)絡(luò)的每一層中加入譜歸一化，如圖1所示。圖1a和圖1b分別是改進(jìn)后的第一階段和第二階段的判別器網(wǎng)絡(luò)框架，由于本文生成器的網(wǎng)絡(luò)框架與StackGAN模型中的生成器是一樣的，所以這里不再贅述。本文提出的在網(wǎng)絡(luò)中加入譜歸一化不僅能約束每層的Lipschitz常數(shù)等于1，還能不破壞權(quán)重矩陣的結(jié)構(gòu)。

在本文中，首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理：采用文本編碼器預(yù)訓(xùn)練好的文本特征向量ρt作為輸入，但是ρt是一個(gè)1 024維的高維向量，因此接著通過(guò)一個(gè)條件增強(qiáng)模型，降維后得到128維的條件向量c。

第一階段生成器網(wǎng)絡(luò)的輸入是c和隨機(jī)噪聲向量z生成64×64像素的低分辨率圖像;接著判別器網(wǎng)絡(luò)將64×64像素的圖像經(jīng)過(guò)下采樣后得到一組向量，再將該組向量和文本特征向量ρt相結(jié)合，經(jīng)過(guò)卷積層后輸出概率分布，以此判斷輸入圖像的真假。

第二階段是將條件向量c與第一階段的生成結(jié)果經(jīng)過(guò)下采樣模塊后得到的向量相結(jié)合，通過(guò)生成器網(wǎng)絡(luò)生成256×256像素的圖像，再次輸入判別器網(wǎng)絡(luò)，最后判別輸出質(zhì)量較好、內(nèi)容相對(duì)應(yīng)的256×256像素的圖像。

由于生成式對(duì)抗網(wǎng)絡(luò)中生成器和判別器在交替訓(xùn)練時(shí)，判別器會(huì)很早達(dá)到一個(gè)可區(qū)分真假的理想狀態(tài)，而判別器達(dá)到理想狀態(tài)后無(wú)法給生成器提供任何的梯度信息去優(yōu)化圖像，導(dǎo)致網(wǎng)絡(luò)出現(xiàn)模式坍塌以及不收斂等問(wèn)題。本文模型與StackGAN最大的不同點(diǎn)在于判別器的設(shè)置，本文在判別器網(wǎng)絡(luò)中的每一層卷積層后都加一層譜歸一化，將每層網(wǎng)絡(luò)梯度限制在固定范圍內(nèi)，減緩判別器的收斂速度，為生成器提供更多有效信息，從而提高網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，生成質(zhì)量更好的圖像。本文還在生成器網(wǎng)絡(luò)中結(jié)合了感知損失函數(shù)，聯(lián)合原有的損失函數(shù)共同優(yōu)化生成圖像，進(jìn)一步提升生成圖像的質(zhì)量，使得圖像更為自然、真實(shí)。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文模型的有效性，本文在Oxford-102數(shù)據(jù)集[21]和coco數(shù)據(jù)集[22]上進(jìn)行實(shí)驗(yàn)，并對(duì)結(jié)果采用評(píng)價(jià)指標(biāo)Inception Score進(jìn)行評(píng)價(jià),其計(jì)算如式(12)所示：

I=exp(ErDKL(P(r|y)|P(y)))

(12)

其中,r為生成樣本；y為Inception model預(yù)測(cè)的標(biāo)簽。一個(gè)好的生成模型應(yīng)該生成多樣且有意義的圖像，因此，邊緣分布P(y)和條件分布P(r|y)的KL散度應(yīng)該越大越好。

4.2 實(shí)驗(yàn)結(jié)果與分析

由于測(cè)試集的圖像數(shù)量較多且訓(xùn)練次數(shù)達(dá)到了120次，因此本節(jié)選取具有代表性的訓(xùn)練次數(shù)作為展示。圖2和圖3展示了不同訓(xùn)練階段中不同訓(xùn)練輪次的生成圖像效果，并與文獻(xiàn)[6]的StackGAN模型進(jìn)行了對(duì)比。

如圖2所示，第一階段不同迭代次數(shù)下的圖像對(duì)比圖中可以很清楚地觀察到,在階段一中，文獻(xiàn)[6]的模型在迭代60次左右的時(shí)候就已經(jīng)達(dá)到生成能力較好的狀態(tài)，也就是此時(shí)判別器達(dá)到了區(qū)分真假圖像的完美能力，不再繼續(xù)給生成器反饋信息。而本文模型在判別器網(wǎng)絡(luò)中加入了譜歸一化后，減緩了判別器的收斂速度，判別器持續(xù)給生成器反饋信息，不斷優(yōu)化生成器網(wǎng)絡(luò)，最后使得生成器生成的圖像更加清晰。

Figure 2 Image comparison under different iteration times in the first stage圖2 第一階段不同迭代次數(shù)下的圖像對(duì)比

圖3是第二階段文獻(xiàn)[6]和本文模型生成的圖像對(duì)比，由于本文模型減緩了判別器的收斂速度，所以在訓(xùn)練過(guò)程中不僅訓(xùn)練穩(wěn)定也可讓生成器接受到更多信息，生成更加具有多樣性的圖像。

Figure 3 Comparison of the images generated by models in reference[6] and this article in the second stage圖3 第二階段文獻(xiàn)[6]和本文模型生成圖像的對(duì)比

表1所示是本文模型與文獻(xiàn)[6]模型、文獻(xiàn)[8]模型的Inception Score值的對(duì)比。由于本文模型的實(shí)驗(yàn)設(shè)備有限，因此與文獻(xiàn)[6]模型得到的數(shù)值有差距，但是仍可以看出，本文所提模型的生成效果有較明顯的提升。從表1中可以得到,相比于文獻(xiàn)[6]模型，本文模型在Oxford-102數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果提升了約9.25%,在coco數(shù)據(jù)集上提升了約8.19%。

圖4所示為當(dāng)生成器網(wǎng)絡(luò)的損失函數(shù)加入感知損失函數(shù)后文獻(xiàn)[6]、文獻(xiàn)[8]與本文模型的生成圖像對(duì)比，可以很明顯地從圖4中觀察到本文模型生成的圖像內(nèi)容表現(xiàn)更好：顏色鮮明、生成內(nèi)容明確。

Figure 4 Comparison of the generated pictures before and after the perceptual loss function is added to the generator network圖4 生成器網(wǎng)絡(luò)加入感知損失函數(shù)前后生成圖像的對(duì)比

Table 1 Comparison of Inception scores of models on different data sets

本文模型生成的圖像與其它模型的相比更加真實(shí)、自然。

5 結(jié)束語(yǔ)

針對(duì)文本生成圖像任務(wù)，本文提出一種結(jié)合譜歸一化的文本到圖像生成對(duì)抗網(wǎng)絡(luò)模型，沿用堆疊生成對(duì)抗網(wǎng)絡(luò)的思想，在其基礎(chǔ)上將譜歸一化運(yùn)用到判別器中，將每層網(wǎng)絡(luò)梯度限制在固定范圍內(nèi)，減緩判別器的收斂速度，從而提高網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性。為了驗(yàn)證本文模型的有效性，在Oxford-102與coco數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并采用評(píng)價(jià)指標(biāo)Inception Score與StackGAN模型進(jìn)行了對(duì)比。無(wú)論是在個(gè)人主觀觀察還是客觀評(píng)價(jià)指標(biāo)對(duì)比上，本文所提的模型都取得了一定的進(jìn)步。未來(lái)將進(jìn)一步針對(duì)較復(fù)雜的數(shù)據(jù)集，將空間注意力與模型網(wǎng)絡(luò)架構(gòu)結(jié)合起來(lái)提高生成圖像效果。