改進生成對抗網絡在圖片數據生成中的應用

孟 辰，曾志高，朱艷輝，朱文球，易勝秋，董麗君

1.湖南工業大學 計算機學院，湖南 株洲 412008

2.湖南省智能信息感知及處理技術重點實驗室，湖南 株洲 412008

近年來深度學習的發展解決了很多人工無法解決的問題，但在有監督學習中，人工標注訓練集需要大量的成本。直到2014年Goodfellow提出了無監督學習GAN，它能夠自動完成這個過程，且擁有較低的成本和較高的效率，之后各種GAN的模型被相繼提出[1]。GAN能夠完成一些使用傳統方法很難完成的任務。在高分辨率圖片生成領域，漸進式增長GAN（progressive growing of GANs，ProGAN）[2]和條件GAN（analyzing and improving the image quality of StyleGAN，StyleGAN2）[3]等架構表現出了出色的效果，在文本到圖像合成任務上，StackGAN[4]也表現優秀，研究者社區已經對GAN及其應用廣泛接納。

GAN的網絡架構由一個生成器網絡和一個判別器網絡組成，生成器和判別器兩個網絡之間進行多次迭代，互相對抗，試圖戰勝對方，從而得到訓練。通過生成隨機的一組一維向量，經過生成器網絡，可以得到所需的圖像、文本、音頻、視頻等數據，而判別器網絡需要對輸入的真實數據以及生成數據進行區分。通常，GAN中的判別網絡是一個二分類的網絡，將真實數據判別為1，將生成數據判別為0。訓練開始時，判別網絡可以很輕松地將生成數據和真實數據區分開來，然而生成網絡經過不斷地訓練，判別網絡越來越難將真實數據和生成數據區分開來，于是它就會訓練自己的網絡，使得判別能力提升，區分出真實數據和生成數據。在兩個網絡不斷訓練博弈的情況下，最終達到納什均衡的狀態[5]——判別器的準確率到達50%，即送來的真實數據和生成數據有一半的幾率被誤判，則此時的GAN就完成了訓練。

在GAN的發展歷程中，存在訓練不穩定的問題，甚至有時完全不收斂，生成網絡和判別網絡的梯度在訓練路徑上發散。研究者們為了穩定GAN訓練花費了很大的精力。本文中所提出的網絡結構可以很好地使GAN的訓練變得穩定，在圖片數據生成中得到高質量的圖片。

在本文中，做出了如下貢獻：

（1）改進了原始GAN的結構，使得網絡結構具有更高的穩定性、魯棒性，它在訓練中可以有效避免模式崩塌的問題。

（2）設計了一種多分類圖片數據生成的網絡結構，能夠滿足一個網絡訓練多種類圖片數據生成的任務。

（3）設計了一種隨時間勻速更新學習速率的算法，并將其應用在了本文的網絡結構中。

1 研究背景

1.1 生成對抗網絡（GAN）

GAN的博弈過程可以看作是一位數據制假者和一位數據鑒別者的博弈，數據制假者代表了GAN中的生成器，數據鑒別者代表了GAN中的判別器。在博弈過程中，數據制假者會一直提高數據制假能力，使生成數據達到以假亂真的地步，成功騙過數據鑒別者。而數據鑒別者的任務是提高自己的鑒別能力，找出真假數據間的區別，成功判別出數據的真假，從而給真實數據打上真的標簽，給生成數據打上假的標簽。

博弈的最開始，生成數據和真實數據會很容易被鑒別器區分開來，在生成器網絡進行訓練更新之后，生成數據的質量得到提高，讓判別器難以辨別出生成數據與真實數據之間的區別。同時，判別器也得到訓練，使得生成數據難以通過判別。在兩個神經網絡不斷訓練進步下，生成器的生成數據的數據分布逐漸與真實數據趨于擬合，判別器無法區分真實數據與生成數據，對送來的真假數據都有一半的誤判幾率，這個博弈過程，如式（1）所示：

式（1）中，G代表了生成器，D代表了判別器，V為式子的價值函數，V(D,G)相當于表示真實數據和生成真實的差異程度，意思是固定住生成器G，盡可能地讓判別器D能夠最大化地判別出樣本來自于生成數據還是真實數據。表示固定住判別器D，訓練生成器G，生成器G要將真實樣本和生成樣本的差異最小化，如圖1所示。

圖1 GAN的基本結構Fig.1 Basic structure of GAN

1.2 改進的生成對抗網絡模型架構

原始GAN的網絡層使用了全連接層進行設計，訓練生成的圖片數據質量很差。DCGAN[6]使用了卷積層代替了GAN的全連接層，使用了帶步長的卷積代替上采樣層。DCGAN雖然有著不錯的架構，但是沒有解決GAN訓練的穩定性問題，訓練時仍需要小心平衡生成器與鑒別器的訓練進程，如圖2所示。

圖2 DCGAN的網絡結構Fig.2 Network structure of DCGAN

WGAN[7]對原始GAN的損失函數做了改進，使得網絡模型在全連接層上也能得到很好的效果，并且提出了使用沃瑟斯坦（Wassertein）距離作為優化方式訓練GAN，但為了使用Wassertein距離需要滿足利普希茨（lipschitz）連續性，所以進行了權重限制，導致理論證明漂亮，但是實際的訓練效果并不好。改進后的WGAN-GP[8]提出了使用梯度懲罰的方式以滿足連續性條件，解決了梯度消失和梯度爆炸的問題。

改進的生成對抗網絡采用了稀疏表達結構[9]和殘差結構[10]組合的生成器網絡模型，在生成器網絡中，通過兩個全連接層構建了4×4×64和24×24×64兩種尺度的特征，在其中的4×4×64結構中構建了稀疏連接，引入了多尺度感受野（3×3，24×24）與多尺度融合，使得網絡的表征能力上升。為了防止網絡梯度在反向傳播時產生梯度爆炸或梯度彌散，引入了殘差結構，在梯度得不到更新時，梯度會通過短接層進行更新。稀疏表達結構和殘差結構組合的策略會導致模型結構復雜，但是能獲得生成更高圖像質量的網絡模型，生成器網絡結構如圖3所示。

圖3 改進的GAN（IGAN）生成器網絡結構Fig.3 Improved network structure of GAN（IGAN）generator

在最開始，隨機生成的100維向量，通過兩個全連接層分別生成一個4×4×64和24×24×64大小的向量。4×4×64的向量重塑成一個通道數量為64的4×4的矩陣，在此時，4×4的矩陣經過多次卷積與反卷積生成通道數量為64的96×96的矩陣。同時，它還經過了一次反卷積生成了另一個通道數量為64的96×96的矩陣，生成的兩個矩陣在通道數量維度進行相加，在后續梯度得不到更新的時候，將會通過殘差層跳過中間層更新梯度。在右邊，通道數量為64的24×24的矩陣也通過反卷積生成通道數量為64的96×96的矩陣，然后與左邊生成的通道數量為64的96×96的矩陣在通道數量維度相加，生成一個通道數量為64的96×96的矩陣。最后，通道數量為64的96×96的矩陣經過一個卷積層，生成需要得到的96×96×3的圖像。

改進的生成對抗網絡構建了一組過完備特征集合。在原始的GAN中，100維特征向量經過全連接成生成了特征集合F(X)={x1,x2,…,x(4×4×64)，原始特征集合F(X)經過網絡模型不斷地進行反卷積生成了輸出特征集合F(Y)={y1,y2,…,y(96×96×3)}，此時length(F(X))＜l ength(F(Y))。改進的生成對抗網絡在最初通過兩個全連接層生成了兩個特征集合，一個為F(X)={x1,x2,…,x(4×4×64)}，另一個特征集合為F(X′)={x′1,x′2,…,x′(24×24×64)}，此時，length(F(X))+length(F(X′))＞length(F(Y))，它比之原始的GAN抽象出了更多的基礎特征，這也是第二個全連接層取24×24×64的原因。

改進的生成對抗網絡采用了多種不同的卷積核（24×24，4×4），使得網絡擁有了不同的感受野，最后進行的兩次拼接意味著多種尺度特征的融合。網絡層中的短接層，使得訓練后期網絡仍然能夠得到更新。

在每一個卷積（Conv2D）層和反卷積[11]（Conv2Dtranspose）層的后面接了一個批規范化層[12]（Batch Normalzation，BN）層和激活函數層（leaky relu[13]）層，最后一個Conv2D層后面接一個BN層和激活函數層（tanh）層，如圖4所示。

圖4 模塊名稱Fig.4 Module name

在實際任務中，有時需要訓練生成多種類圖像數據，若每次只訓練一種數據，則花費的時間會比較漫長。在多種類圖像數據生成中，需要完成的任務比較復雜，需要使用更深的網絡進行學習，故沿用IGAN的網絡結構進行拓展，在每一層反卷積結束后添加一層通道數相同步長為1的卷積，增加網絡的表征能力，并在24×24×64的模塊后連接相應分類數量分支網絡，并與另一模塊生成的分支模塊進行連接，得到如圖5所示的二分類圖像數據生成網絡結構。

圖5 二分類圖像數據生成網絡結構（IGAN_V2）Fig.5 Binary image data generation network structure（IGAN_V2）

網絡中的IBlock結構由兩個上卷積層構成，如圖6所示。

圖6 IBlock網絡結構Fig.6 IBlock network structure

由此基本結構可以拓展出更多圖片種類數據生成的網絡結構，圖7為N分類圖像數據生成網絡。

圖7 N分類圖像數據生成網絡結構（IGAN_VN）Fig.7N classification image data generation network structure（IGAN_VN）

判別器采用如圖8的網絡結構，它將輸入的圖片數據經過一個殘差網絡進行分類，判斷輸入數據為生成數據還是真實數據。在多分類圖像數據生成中，生成幾分類圖片數據，就使用多少個判別器。

圖8 IGAN判別器網絡結構Fig.8 Network structure of IGAN discriminator

可以看到，判別器網絡結構比生成器網絡結構要簡單，其原因是因為判別數據的難度要比生成數據的難度要小得多，如果使用復雜的判別網絡，判別損失會迅速下降到一個很小的數值，使得網絡不再更新，同時也為了降低對顯卡的要求。如圖9所示，網絡中的每個卷積塊包含一個卷積層和一個批歸一化層以及LeakyRelu層。在之后還會采取一些調參技巧（trick）來平衡網絡大小不平衡的問題。

圖9 殘差塊基本結構Fig.9 Basic structure of residual block

2 研究方法

2.1 實驗數據準備

本文使用的數據集為Fashion-MNIST、MNIST、CelebA，以及LSUN-bedrooms數據集，實驗中的LSUN數據集以及CelebA數據集都經由程序處理成統一的96×96的大小，可將數據預處理或在訓練中實時處理，為了在程序運行時，可以減小程序資源的開銷，節省時間，本文采用了預先處理。

2.2 網絡中的參數設置

2.2.1 使用動態學習速率

在GAN的訓練中，生成器最開始擬合的數據分布距離真實數據分布較遠，需要使用較大的學習速率進行訓練，加快網絡的收斂[14]。隨著生成的數據分布不斷接近真實分布，學習率需要隨著訓練的進行不斷減小，提高網絡的穩定性，避免學習率過大跳過最小值。

在學習率的選擇上，一般采取以下四種方式：

（1）使用固定的學習速率。

（2）每迭代step次后學習率減少gamma倍。

（3）學習率呈多項式曲線下降。

（4）學習率隨迭代次數增加而下降。

實驗中采用了第四種策略的變體。

此時：

在式（6）中，end_lr為最后的學習速率，end_lr+為最初的學習速率，gamma為學習速率衰減率，通過控制end_lr、ini t_set、gamma可以動態地控制學習速率，圖10為學習速率衰減曲線。

圖10 動態學習速率曲線Fig.10 Dynamic learning rate curve

2.2.2 單側標簽平滑

在原始GAN的訓練中，分類器的標簽只使用0或者1、0代表生成數據，1代表真實數據。標簽平滑是指將標簽處理成α（真）、β（假），而不是采取0（假）和1（真）的處理方式。此時，GAN的損失函數變為式（7）：

在實際訓練中，去掉了log函數，此時，GAN的損失函數變為式（8）：

其最優解D(x)變為：

真實數據和生成數據都需要進行平滑處理，有助于GAN進入納什均衡狀態、損失函數得到收斂、增加程序的魯棒性。

2.2.3 批歸一化（batch normalzation）

批歸一化技術是將特征向量歸一化，把非線性函數映射后向取值區間飽和區靠攏的輸入分布，調整至均值為0、方差為1的比較標準的正態分布，使得非線性變換函數的輸入值落入對輸入比較敏感的區域，避免梯度消失。該技術可提高學習過程的穩定性，以及解決權重值初始化效果差的問題。將該技術作為預處理步驟應用于神經網絡的隱藏層，有助于緩解內部協變量轉移的問題，如圖11所示。

圖11 數據經過BN層后數據分布示意圖Fig.11 Diagram of data distribution after data passing through batch normalization（BN）layer

批歸一化需要對所有隱藏層應用，而不僅僅是輸入層使用。

2.2.4 工程手段

在實際應用中，一些調參技巧對圖像質量的改進擁有不錯的效果，在本文實驗中，采取了如下調參技巧。

（1）在判別器進行數據輸入時，將輸入圖像的數值范圍限制在[-1，1]，在最后輸出圖像時再還原成[0，255]，歸一化限定了輸入向量的最大值跟最小值不超過隱層跟輸出層函數的限定范圍。

（2）在生成數據以及真實數據送入判別器之前，給其分別加入一個高斯噪聲[15]，這樣可以有效提高程序的魯棒性。

（3）給所有的隨機數設置一個隨機數種子，以便于之后的實驗復現。

（4）由于網絡復雜度的不平衡，在訓練一次生成器之后訓練三到五次判別器，可以有效平衡兩個網絡。

（5）在反卷積時使用PixelShuffle和轉置卷積進行上采樣[16]，避免較大化池用于下采樣，使用帶步長的卷積，減少梯度稀疏。

（6）給生成器與判別器設置不同的學習速率[17]，通常生成器的學習速率設置的大一點，實驗中將生成器學習速率設置為判別器的1.5倍。

（7）激活函數選擇使用Leaky_ReLu代替ReLu避免梯度稀疏[18]：

激活函數示意圖如圖12所示。

圖12 激活函數示意圖Fig.12 Activation function diagram

（8）選擇ADAM作為優化器加快訓練。

（9）實際代碼中用反轉標簽來訓練G更有效[19]，即讓生成圖片使用真實的標簽來訓練，而真實數據使用生成數據的標簽進行訓練。

此時，GAN的損失函數變為：

（10）在發現損失值不變時，或者生成圖像質量不好時，不要終止訓練，GAN的訓練非常耗時，多等等會得到好的結果。但是在判別器的損失快速接近0的時候，可以終止訓練、調整網絡、重新訓練。

（11）加入一個懲罰項來懲罰那些和歷史平均權重相差過多的權重值，本文采用的是WGAN-GP中的梯度懲罰，梯度懲罰損失函數如式（12）所示，其中x?為真實樣本，x為生成樣本。

（2）使用隨機失活技術——DropOut，也是為了引入一定的噪聲，在生成器的某幾層中使用DropOut，增加網絡的魯棒性[20]，如圖13所示。

圖13 DropOut示意圖Fig.13 DropOut diagram

3 實驗

3.1 實驗配置

生成網絡和判別網絡架構由1.2節所示。損失函數L=Llabel+Lgp，Lgp中懲罰因子λ設置為5。一輪訓練大小設置為64，因為數據集大小過大，一個輪次設置為一個批次數據的學習時間，而不是跑完整個數據集所用的時間。學習速率設置為動態學習速率，每100輪保存一次權重以及可視化輸出結果查看訓練情況，每30輪保存一次損失值。所用機器為NVIDIA 2 070 s，內存32 GB，使用的深度學習的框架為tensorflow2.0。

3.2 簡單數據集訓練情況

MNIST（手寫數字數據集）包含了60 000個用于訓練的示例和10 000個用于訓練的示例，這些數字已經經過標準化并位于圖像中心，為值0到1的28×28大小的圖像。Fashion-MNIST（服飾數據集）包含了70 000張28×28的灰度圖像，其中包含了60 000個圖片的訓練集以及10 000個圖片的測試集，共包含了10類圖像。在MNIST（手寫數字識別數據集）和Fashion-MNIST（服飾數據集）等簡單數據集上，IGAN和IGAN_v2都能取得不錯的結果，圖14為在IGAN網絡和IGAN_v2網絡上MNIST的生成結果，圖15為在IGAN網絡和IGAN_v2網絡上Fashion-MNIST生成結果。

圖14 模型在MNIST數據集上生成結果Fig.14 Model generates results on MNIST dataset

圖15 模型在Fashion-mnist數據集上生成結果Fig.15 Model generates results on fashion MNIST dataset

在訓練這類簡單數據集的時候，如直接使用0.000 2的學習速率，判別網絡的損失將會銳減至很小，導致不能指導生成網絡的參數進行更新，所以需要將最開始的學習速率調成0.002，然后逐步衰減至0.000 2，可使用2.2.1小節中的動態學習速率。

可以看到，經過IGAN與IGAN_V2的網絡，生成的結果可以清楚地判別出它的類別，生成質量優秀。

3.3 名人人臉屬性數據集（CelebA）訓練情況

在GAN中，應用最多和最全的便是人臉數據生成，數據集采用了名人人臉屬性數據集——CelebA，其中包含了10 177個名人身份的202 599張人臉圖片，該數據集經過預處理成96×96×3大小后分別送入IGAN與IGAN_v2網絡進行訓練，得到了如圖16、圖17的高質量人臉圖片。

圖16 IGAN在CelebA數據集上生成結果Fig.16 IGAN generates results on CelebA dataset

圖17 IGAN_v2在CelebA數據集上生成結果Fig.17 IGAN_v2 generates results on CelebA dataset

在圖中可以發現，人物的膚色光影可以很好地生成出來，這說明圖像數據生成的質量和多樣性能夠得到保證。而且在訓練中，網絡生成的背景趨于同一種顏色，保證了生成圖像的真實性。

3.4 大規模圖像數據集（LUSN）訓練情況

LUSN Dataset是一個大規模圖像數據集，包含了10個場景類別和20個對象類別，共計約100萬張標記圖像，本文使用了LUSN Dataset數據集中的bedding-room類別的訓練部分數據集。在這些數據集中，能否生成優秀的圖像是一個大的挑戰。

將圖片預處理成96×96×3大小的數據集，然后經過IGAN與IGAN_v2神經網絡的訓練，分別得到如圖18、圖19所示的生成樣本。

圖18 IGAN在LUSN數據集上生成結果Fig.18 IGAN generates results on LUSN dataset

圖19 IGAN_v2在LUSN數據集上生成結果Fig.19 IGAN_v2 generates results on LUSN dataset

可以看到，圖像中的窗戶、門、床，甚至是掛飾也可以比較不錯地生成，但是其中也會出現一些圖片訓練的有些失敗，這也是在訓練GAN時必然會碰到的問題，即圖像越復雜，生成難度越高，生成質量越差。

3.5 實驗評估

3.5.1 評估方式介紹

在GAN進行了圖像生成任務后，需要一個度量指標來衡量生成的圖像是否優秀，在進行一項任務的度量時，不能完全靠主觀判斷對圖像進行是否優秀的判斷，從以下兩方面來考慮：

（1）圖片自身的質量（是否逼真，是否清晰，內容是否完整）。

（2）多樣性。在一項任務中，生成網絡所產生的圖片是多種多樣的，如果只產生一種或者幾種類型的圖像，將會出現模式崩潰（mode collapse）的現象。

進行圖像評價時，一般使用如下兩種常用的評價指標，IS（inception score）和FID（fréchet inception distance）[21]。

但是IS評價標準的Inception V3權重是在ImageNet下訓練出來的，而本文中使用了其他四個數據集生成圖像，這種跨數據集的計算IS是錯誤的，所以在利用ImageNet以外的數據集計算IS時，得出的結果沒有意義。

為了克服IS評價的缺點，本實驗中使用FID進行評價。FID可以計算真實圖像和生成圖像的特征向量距離的一種度量，特征向量由Inception V3 Network所得到，它使用的是Inception V3 Network分類網絡倒數第二個全連接層的輸出的1×1×2 048維圖像特征向量進行距離度量。

這個距離可以衡量真實圖像和生成圖像之間的相似程度，FID值越小，相似程度越高，在FID=0時，兩個圖像相同。

使用式（13）計算數據的FID：

其中，tr表示矩陣對角線上元素之和——跡（trace）。均值為μ協方差為Σ。此外r表示真實圖片數據，g表示生成圖片數據。

FID對模式崩潰更加敏感。相比較IS來說，它的對比用到了生成數據和真實數據，比IS更加靈活，而且可以使用不同的數據集進行訓練。

3.5.2 評分結果

受限于設備和數據集的大小，不能將整個數據集與生成的圖像進行對比，為保證公平性，將抽取數據集中的一部分樣本與生成樣本進行FID計算，抽取樣本的大小為10 000，實驗結果如表1所示。

表1 FID分數Table 1 FID score

由表1可以看出，IGAN在簡單以及復雜的數據集上表現都很優異，而IGAN_v2在簡單數據集上的效果并不理想，因為它復雜的網絡在小數據集上很難得到收斂，而在復雜數據集上，它的表現和單分類生成同樣優秀。

3.6 主觀評價

在圖像生成領域最直觀的還是主觀評價，客觀量化至今還存在著各種問題。圖20、圖21為IGAN生成圖像，圖22、圖23為IGAN_v2生成圖像，圖24、圖25為WGAN-GP生成圖片，圖26、圖27為DCGAN生成圖像。

圖20 IGAN在CelebA數據集生成圖像Fig.20 IGAN generates results on CelebA dataset

圖21 IGAN在LUSN-bedroom數據集生成圖像Fig.21 IGAN generates results on LUSN-bedroom dataset

圖22 IGAN_v2在CelebA數據集生成圖像Fig.22 IGAN_v2 generates results on CelebA dataset

圖23 IGAN_v2在LUSN-bedroom數據集生成圖像Fig.23 IGAN_v2 generates results on LUSN-bedroom dataset

圖24 WGAN-GP在CelebA數據集生成圖像Fig.24 WGAN_GP generates results on CelebA dataset

圖25 WGAN-GP在LUSN-bedroom數據集生成圖像Fig.25 WGAN_GP generates results on LUSN-bedroom dataset

圖26 DCGAN在CelebA數據集生成圖像Fig.26 DCGAN generates results on CelebA dataset

圖27 DCGAN在LUSN-bedroom數據集生成圖像Fig.27 DCGAN generates results on LUSN-bedroom dataset

從這些圖可以看到，四組生成結果之中，IGAN與IGAN_v2網絡的生成效果最佳，DCGAN中還出現了模式崩潰的問題，生成了模糊重復的圖片。在客觀量化手段還不能完全替代主觀判斷的今天，主觀判斷仍然是圖像生成質量評價的一大手段。

3.7 結論

實驗在兩種類型的數據集之間進行了對比，分別是簡單數據集——手寫數字數據集（MNIST）、服飾數據集（Fashion-MNIST），以及復雜數據集——名人人臉屬性數據集（CelebA）、大規模圖像數據集（LUSN）。在簡單數據集上，對比于其他的網絡模型，IGAN與IGAN_v2幾乎不需要進行調參，而其他的GAN需要經過精心的調參才能達到接近的效果。在復雜的數據集上，IGAN和IGAN_v2達到了最佳生成質量效果，這和它復雜強大的網絡模型是分不開的。在進行真實實驗場景應用時，如果需要生成簡單數據集數據且沒有相應的計算資源時，可以使用傳統GAN架構。在進行復雜圖像任務，并且擁有計算資源的情況下，推薦使用IGAN的架構，它更適合復雜的圖像任務。

4 未來研究方向

在完成了現有的工作后，可以發現，GAN在很多領域具有廣闊的應用前景，甚至在一些領域還是一片藍海。

（1）在進行有監督學習的時候，神經網絡需要大量的數據，而獲取這些數據的成本卻十分高昂，耗時耗力。在只有一個小規模數據集時，一旦訓練好一個GAN，就可以使用GAN來生成大量的數據，用來進行訓練，可以節省很多精力。

（2）在設計領域，設計過程不僅耗時耗力，而且需要具備專業技能。借助人工智能和GAN，可以進行各種各樣的設計，或者生成初始數據供設計師啟發靈感，可以節省大量的時間成本。

（3）在多分類圖像生成網絡結構中，由于生成器結構復雜，且每一分類的圖像生成對應一個不同的判別器，導致特別耗費GPU資源，在之后可以對網絡結構進行優化，使得計算資源的使用更加合理。

近些年來，研究者們研發出了數以百計的GAN架構，GAN的領域不斷變得豐富，今后將繼續研究，并設計新的架構，不斷完善GAN的能力，使GAN的應用落地。