生成對抗網絡及其應用研究綜述

淦 艷，葉 茂，曾凡玉

(電子科技大學計算機科學與工程學院，成都611731)

1 引 言

在人工智能的浪潮下，以生成模型(Generative Model，GM)［1］為代表的機器學習領域受到研究者們的青睞.生成模型被廣泛應用于圖像生成［2-4］、視頻生成［5-7］、安全隱寫［8，60］、文本生成［10］和音頻合成［11］等任務，并且在這些任務中，生成模型均獲得了驚人的效果.另外，關于生成模型的理論研究，研究者也做了許多工作，包括從信息論、概率角度或是基于能量函數角度去分析模型，為其應用研究不斷地提供理論依據.因此，從應用和理論層面來講，系統地研究生成模型具有重要的意義.

生成模型是一個廣泛的機器學習領域，它是處理概率分布p(x)的模型，其中x∈Rn.這些模型是在某些潛在的高維空間中的數據點上定義的.通俗的理解，生成模型就是一類通過向真實數據分布學習，以此來確定其參數的模型，使得所學習的模型分布與真實數據分布盡可能地一致.生成模型工作的流程為:首先從一個已知分布(比如高斯分布或是均勻分布)中隨機采樣樣本，然后將該采樣的樣本輸入到生成模型，緊接著生成模型根據真實分布反饋的信息不斷更新自己的參數.經過若干次迭代，最后通過訓練得到一個能夠生成與真實數據盡可能一致的模型.

形式上，大多數生成模型是基于最大似然原理建模.假設所有的訓練樣本是獨立同分布，根據最大似然原理，已知似然函數的前提下，最大似然原理訓練模型使模型服從真實數據分布的似然最大.基于最大似然原理，生成模型可分為2 類［1］11 http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf.:基于顯式密度的生成模型和基于隱式密度的生成模型.

本文首先從生成模型的研究意義進行闡述;然后介紹其定義和分類;緊接著按類別介紹與之對應的、具體的生成模型，并分析各自的優缺點;重點介紹生成對抗網絡(Generative Adversarial Networks，GANs)在圖像生成方面的研究進展，包括通過噪聲生成圖像、文本生成圖像、圖像到圖像轉換以及交互式操控圖像生成，然后從可解釋性、可控性、穩定性和如何評價模型4 個方面分析了生成對抗網絡的理論研究進展.緊接著，總結了研究生成對抗網絡潛在的突破口.

2 生成模型分類

2.1 基于顯式密度的生成模型

基于顯式密度的生成模型定義了一個顯式的、易求解計算的密度函數.這類生成模型可以分為近似密度估計和精確密度估計.

2.1.1 近似密度估計

近似密度估計方法可以分為兩類:使用確定型近似方法和隨機近似方法.

其中，確定型近似方法主要是指變分近似.它利用Jensen不等式推導出證據下界(Evidence Lower Bound):

其中x 表示從真實數據中采樣的樣本，z 表示隱空間的編碼采樣.φ1 表示變分參數，θ1 表示生成參數.

變分近似的代表為變分自編碼器(Variational Auto-Encoding，VAE)［1］.它以證據下界為理論基礎.首先，假定所有的數據都是獨立同分布，即 x1，x2，...，xN獨立同分布.最大化對數似然函數:

由于直接優化式(2)十分困難.所以，Doersch C 等人［1］提出VAE，利用識別模型qφ1(z|xi)去近似真實的后驗概率pθ1(z|xi).度量兩個分布的相似性，VAE 選擇 KL 散度.即:

由公式(3)可得:

因為KL 散度不可能為負，所以有:

成立.由此證明VAE 是將證據下界作為其理論基礎.

變分近似的目的是找到一個最大化的L(θ1，φ1;xi)值，確保能夠獲得與真實數據盡可能一樣的似然值.但由于尋找的是一個近似表達，當近似后驗分布太弱或者先驗分布太弱，即使有優化算法和充足的訓練樣本，L(θ1，φ1;xi)和真實的似然之間的間隔會導致模型學到與真實數據不同的信息.比如用于圖像生成的變分自編碼器［1］，它所生成的圖像往往比較模糊，缺少多樣性.為了提高VAE 生成圖像的性能，Tolstikhin等人［12］提出了一種新的 Wasserstein Auto-Encoding(WAE)，它被認為是建立數據分布的新算法.WAE 最小化了模型分布與目標分布之間的Wasserstein 距離的懲罰形式，它與VAE使用的正則化不同.另外，Irina Higgins 等人［13］修正了 VAE的框架，提出了beta-VAE.

另外一種近似密度估計是馬爾科夫鏈蒙特卡洛(Markov Chain Monte Carlo，MCMC)近似.在所采樣的有用樣本被快速重復采樣且這些樣本方差不大的情形下，這種基于采樣的近似模型能夠表現出很好的性能.基于MCMC 近似的方法可以保證樣本最終會收斂到一個來自模型的樣本.但是這種收斂的速度慢，比較耗時.另外一個難點是無法知道MCMC 要運行多少步才能達到均衡分布.因為檢測馬爾科夫鏈是否達到平衡是不易的.

圖1 深度玻爾茲曼機Fig.1 Deep boltzmann machine

MCMC 近似方法的代表模型有玻爾茲曼機(Boltzmann Machine，BM)［14］和深度玻爾茲曼機 (Deep Boltzmann Machine，DBM)［9］等.本文以DBM 為例介紹MCMC 近似方法.DBM 由多個限制玻爾茲曼機堆疊而成.假設 DBM 有一個可見層 v 和2個隱藏層h1、h2，如圖1 所示深度玻爾茲曼機.它是一個完全無向的模型，且每一層中每個變量是無連接.

其能量函數為;

聯合概率分布為:

其中 θ2={W1，W2}，Z(θ2)是配分函數(Partition Function).每個單元的激活概率為:

對于DBM 的訓練，可以選擇BM 的方式.但這樣會消耗大量時間.為此，Ruslan Salakhutdinov 等人［9］提出貪心逐層訓練的方法.貪心逐層訓練DBM 的權重有兩個目的.一是，它將權重初始化為合理的值.二是，它確保有一個快速的方法來執行近似推理.

2.1.2 精確密度估計

精確密度估計常用的模型有兩種定義方法，即全可見信念網絡(Fully Visible Belief Networks)和變量可變模型(Change of Variables Models).

基于精確密度估計的全可見信念網絡使用概率鏈式法則定義生成模型p(x).它將數據樣本x(x∈Rn)分解為一維概率分布的連乘形式:

由公式(11)可知，基于精確密度估計的全可見信念網絡依次生成x1，然后x2，最后xn.全可見信念網絡是一種串行生成數據的方式.如果每一維的數據需要使用一次神經網絡來逼近，且每次使用神經網絡逼近的時間復雜度為O(t).那么這類生成模型生成一個樣本需要調用n 次神經網絡來逼近，因此其時間復雜度是O(nt).由此看出，它相對而言比較耗時.另外，每個維度的生成也不是從隱編碼開始的，即生成過程不受到隱編碼的控制.

全可見信念網絡的代表為 PixelRNN 模型［15］.它能在兩個空間維度上連續預測圖像中的像素，對原始像素值的離散概率建模，并對圖像中的完整依賴關系進行編碼.其它用于圖像生成的模型包括:NADE 模型［16］和 PixelCNN 模型［17］，以及用于音頻合成的WaveNet 模型［11］.

另一種是變量可變模型.這類模型是基于兩個不同空間的連續、非線性變化.假設，在隱空間Z 中有一個隱變量z 和一個連續、可微分、可逆的映射變換g，使得g(z)能夠生成一個在數據空間X 中的樣本x.其過程可以表示為:

和

從公式(12)和公式(13)可知，一方面，在隱空間Z 中的簡單分布加上一個變換g 可以用復雜方式來對空間進行變形，可以產生一個數據空間X 中的復雜分布.為了計算 pX(x)，需要計算如果二者不易計算，則pX(x)無法計算.另一方面，具體設計一個變量可變模型的難點是尋找一個連續、可微分、可逆的映射變換g.這就意味著隱空間Z 中的隱變量需要與數據空間X 中的樣本同一維度.比如 Laurent Dinh 等人提出的 RealNVP 模型［18］.該模型利用real-valued non-volume preserving(Real NVP)變換，它是一組強大的，穩定可逆的，可學習的變換.其它的變量可變模型包括非線性獨立成分分析(Nonlinear Independent Component Analysis，Nonlinear ICA)［19］.

表1 基于顯式密度的生成模型的優缺點Table 1 Advantages and disadvantages of explicit density based generative model

通過對基于顯式密度的生成模型的分析，總結出這類模型中具有代表性的模型的優缺點.如表1 所示基于顯式密度的生成模型的優缺點.

2.2 基于隱式密度的生成模型

相對于基于顯式密度的生成模型而言，有些模型可以不需要顯式定義一個密度函數進行訓練.這類模型給出了一種間接的和生成模型進行交互的方式，即從采樣中實現模型的訓練.通過這種方式實現的模型被稱為基于隱式密度的生成模型.基于隱式的生成模型有生成隨機網絡(Generative Stochastic Networks，GSN)和生成對抗網絡.

2.2.1 生成隨機網絡

生成隨機網絡［20］模型定義了一個馬爾科夫鏈(Markov chain)轉移算子，用于對可見樣本(或是觀察樣本)x 的概率分布p(x)進行隱式建模.具體地生成隨機網絡由兩個條件概率分布參數化，指定馬爾可夫鏈的下一步:

其中，θ3 和 θ4 表示條件概率的參數.該 Markov chain 中其狀態變量既有可見變量xt，也有隱變量ht.

其中，公式(14)表示在當前隱變量狀態和可見變量狀態下更新下一個隱變量.公式(15)表示給定下一個隱變量狀態下如何產生下一個可見變量.由此易知，Markov chain 的轉移分布通常涉及較小的移動，它更容易近似其配分函數(Partition Function)，易于學習.但以Markov chain 形式生成樣本的模型實質上是一種串行方式，有一種依賴性.因此，常常不能規模化到高維空間中，而且在生成樣本時，其計算代價也高.

2.2.2 生成對抗網絡

另一種隱式密度的生成模型就是基于直接方式的生成對抗網絡［21］.它由生成器G 和判別器D 構成，其中生成器負責從噪聲分布中采樣生成假樣本，以欺騙判別器為目的.判別器則鑒別生成樣本的真偽(Real 或者 Fake，記為 R 和 F).其處理過程如圖2 所示生成對抗網絡模型.

圖2 生成對抗網絡模型Fig.2 Model of generative adversarial networks

在生成對抗網絡中，生成器和判別器的角色形成一個二人零和博弈.其值函數V(G，D)為:

其中，ω 和θ 分別為判別器和生成器的參數.判別器的目的是讓公式(16)最大，即公式(16)中的第一項和第二項都要最大.第一項最大的意思是Dω(x)-＞1，真樣本為真的概率接近1.而第二項最大的話，需要 Dω(Gθ(z))-＞0，假樣本為真的概率為0.相反，生成器的目的是讓公式(16)最小，其第一項和第二項都要小，即 Dω(x)-＞0，Dω(Gθ(z))-＞1.這要求真樣本為真的概率小，假樣本為真的概率接近1.此時，生成的樣本就可以以假亂真.

由公式(16)可知，生成對抗網絡是從噪聲中采樣一次就生成一個樣本，不是像Markov chain 那樣串行方式生成樣本.同時不需要一個變分下界，而是直接生成.這使得生成的樣本質量比其它的生成模型好.但生成對抗網絡也引入了新的挑戰:生成過程中的可解釋性以及可控性;訓練過程中的不穩定性;以及如何客觀地評價生成模型.

通過對生成隨機網絡和生成對抗網絡的分析，其優缺點如表2 所示基于隱式密度的生成模型的優缺點.

表2 基于隱式密度的生成模型的優缺點Table 2 Advantages and disadvantages of generative model based on implicit density

根據前面基于最大似然估計方法建立不同生成模型的描述，本文給出他們分類.如圖3 所示生成模型分類，本文列出了對應的代表模型.

3 生成對抗網絡的應用及研究熱點

圖3 生成模型分類Fig.3 Generative model classification

接下來本文重點討論了生成對抗網絡在圖像生成方面的應用進展和當前的研究熱點，以及未來研究的潛在突破口.

生成對抗網絡自2014 年提出后，已經成為眾多研究者的關注點，它不僅可用于監督、半監督和無監督學習建模，而且還可以應用到姿態估計、行人再驗證、語義分割、目標檢測、域自適應和圖像生成等任務.在這一節中，本文主要討論生成對抗網絡在圖像生成中的應用，將其分為4 類:通過隨機噪聲生成圖像、從文本生成圖像、圖像到圖像轉換、利用交互式操縱圖像生成.然后總結了4 個當前的研究熱點，即可解釋性、可控性、穩定性和評價生成模型.

3.1 生成對抗網絡在圖像生成中的應用

生成對抗網絡應用于圖像生成任務取得了驚人的成果.首先是通過隨機噪聲生成圖像.它先從隨機噪聲中隨機采樣，將該采樣輸入到生成器中生成圖像，判別器判斷所生成的圖像以及真實圖像的真偽.根據判別器的輸出來修正生成器的參數，以及調整判別器本身的參數.以此反復訓練生成器和判別器.

Goodfellow 等人［21］率先將采樣的隨機噪聲通過多層感知機網絡來生成手寫體數字和人臉圖像.隨后 Radford 等人［22］將隨機噪聲通過深度卷積神經網絡來生成臥室和人臉圖像.緊接著Karras 等人［23］從隨機高斯分布中采樣隨機噪聲，通過漸進訓練的方式生成高清圖像.Wu 等人［24］提出了一種深度壓縮感知框架.在此框架下，他們進一步提出了一種基于隱空間編碼優化的GANs 訓練算法.

對于噪聲生成圖像的任務，其難點是生成具有高清晰度和多樣性的圖像.另外就是結合模型的理論進行分析.比如探究模型的穩定性及收斂性，從而設計更好的模型.

其次是從文本生成圖像.這類模型先將文本通過編碼器編碼為一個向量，然后將隨機噪聲和編碼向量拼接在一起作為生成器的輸入用于生成圖像.其生成過程如圖4 所示文本生成圖像，其中E 表示編碼器，zs表示文本經過編碼器編碼后的向量.

圖4 文本生成圖像Fig.4 Text-to-image synthesis

Reed 等人［25］提出將文本編碼為一個文本向量，然后連接高斯噪聲，通過生成對抗網絡來實現文本到圖像的生成.Zhang 等人［26］提出將文本通過一個級聯的生成對抗網絡模型來生成鳥和花的圖像.Ma 等人［27］將注意機制融入到生成對抗網絡中一起建模，提出DA-GAN 模型用于文本到圖像的生成.Li 等人［28］進一步擴展了文本生成圖像任務，提出了StoryGAN 模型.他們將多個句子輸入到StoryGAN 模型，該模型可以生成與多個句子描述相符的多張圖像.

針對文本生成圖像的問題，研究難點是生成與文本描述符合的圖像，且這些圖像是高清的、多樣性的.

然后是圖像到圖像轉換任務.它是將一個域的圖像轉換為另一個域的圖像.比如輸入蘋果的圖像轉化為橘子的圖像.該任務涉及2 個域或是多個域之間的圖像轉化.因此，這類模型含有多個生成器和判別器，如圖5 所示圖像到圖像的轉換.

圖5 圖像到圖像的轉換Fig.5 Image-to-image translation

文獻［2，29，30］利用對偶學習理論建立生成對抗網絡模型，這些模型實現了從一個域的圖像轉化為另一個域的圖像.Gan 等人［31］利用增加輔助域的信息來提高圖像轉換的質量，提出了AdGANs 模型.Lee 等人［32］針對圖像轉換任務中缺少對齊的訓練對和單個輸入圖像可能有多個輸出的問題，提出了一種基于解糾纏表示的方法，在沒有成對訓練圖像的情況下產生不同的輸出.Liu 等人［33］考慮到當前的方法需要在訓練時訪問源和目標類中的許多圖像.這極大地限制了它們的使用.針對該問題，他們提出了少量無監督的圖像遷移模型.Mao 等人［34］針對模型坍塌問題，設計了一個距離最大化的正則項約束.將所設計的正則項約束添加到現存的cGANs 模型中，提出了MSGANs 模型.在語義圖轉化為RGB 彩色圖的過程中，以前的方法是直接將語義布局圖作為輸入提供給深度網絡，然后通過堆疊的卷積、歸一化和非線性層進行處理.在此過程中，Park 等人［35］指出規范化層傾向于“洗去”語義信息，使得模型不能達到最優.為了解決該問題，他們提出了SPADE 模塊.

針對圖像到圖像的轉換任務，其研究難點是跨域學習或者少樣本的跨域學習.同樣要求所生成的圖像具有高清晰度，且生成的圖像是多模態、多樣性.

最后，通過人機交互式操控圖像的生成.即用戶可以通過外連設備(比如鼠標)操控圖像的生成.比如，Bau 等人［39］設計了一個交互式操控圖像生成的系統.用戶可以操控樹、草、門、天空、云等的生成和刪除.

Zhu 等人［36］提出了一種利用生成對抗網絡直接從數據中學習自然圖像流形的方法來操控圖像外觀的改變.Wang等人［37］結合語義標簽圖和條件生成對抗網絡來實現可交互的控制圖像生成，該模型可以移除、增加目標以及編輯目標的外觀.

對于交互式操控圖像任務，其研究難點是如何平滑操控時邊界區域.換句話說，我們控制圖像某一塊區域改變時，如何填充該區域周圍的像素.以及如何平衡局部改變區域與整張圖像的一致性問題.未來，將會通過語音來操控圖像的生成.這項研究具有更大的挑戰，其應用前景會更廣.

3.2 生成對抗網絡的研究熱點

對于研究者而言，首先是迫切的想弄清楚生成對抗網絡在生成過程中是如何運作.目前而言，大多數研究成果都是將其視為一個黑盒子來使用.為此，研究生成對抗網絡的可解釋性將有利于應用的發展.

對于可解釋性，直觀的理解就是要弄清楚輸入的哪些維度或是反卷積后的哪些特征圖對應到生成圖像的哪些區域或是圖像中的哪些屬性.研究可解釋性需要借助可視化方法來判斷.以數字手寫體圖像生成為例，從噪聲中采樣的z(z ∈Rm)輸入到生成器中，哪些采樣的維度zi對應到生成數字的筆畫粗細、傾斜程度等屬性.如圖6 所示生成對抗網絡的可解釋性.

圖6 生成對抗網絡的可解釋性Fig.6 Interpretability of GANs

針對生成對抗網絡的可解釋性問題，Chen 等人［38］利用信息論中的互信息結合對抗博弈的思想進行建模，提出了 InfoGAN模型.通過實驗表明該模型可以解釋采樣中的某些維度，比如椅子的旋轉和寬度等.Bau等人［39］借助可視化方法、分割網絡和因果關系推理，探索了生成器中的哪些特征圖(或是特征圖的某些區域)與生成圖像的哪些區域關聯.從而進一步理解了生成對抗網絡的內部表示.

其次是可控性問題.在理解了可解釋性后，一個自然的問題就是如何控制生成過程?這個可控性有2 層含義:一是由于原始GANs 在生成過程中，沒有受到任何約束，生成的過程比較自由，為此，引入約束的思想控制生成.比如條件生成對抗網絡［40］.另外是指通過對生成器網絡結構中的某些特征圖(或是特征圖區域)進行消融激活處理，控制生成圖像中某些目標對象的生成.比如文獻［39］中提出的模型就可以控制生成圖像中是否有樹、草、門等目標對象.

對于可控性方面的研究，Reed 等人［41］提出了可以控制圖像中目標位置和位姿的GAWWN 模型.該模型也可以視為是以邊界框或關鍵點為條件的生成模型.Deng 等人［42］認為樣本的生成是以2 個獨立的隱變量為條件，即特定的語義以及其它的變化因素2 個部分，為此提出了結構化的生成對抗網絡模型.

然后是涉及到訓練過程穩定性的問題.由于原始生成對抗網絡難以收斂到Nash 均衡點，所以研究者提出了訓練穩定的模型.Arjovsky 等人［43］利用 Earth-Mover 距離來建立模型，提出了 WGAN.在此基礎上，Gulrajani 等人［44］指出 WGAN 中權重剪切方式的弊端，進而提出了增加懲罰項的WGAN-GP模型，該懲罰項是關于判別器輸入的梯度范數.Miyato 等人［45］提出通過譜正則化的技術來約束判別器，使得訓練過程更加穩定.Brock 等人［46］提出應用垂直正則化到生成器中可以使其服從簡單的截斷技巧，以此來提高訓練的穩定性，從而提高樣本生成的質量.Chen 等人［47］提出具有自調制的生成器模型.它允許生成器中間的特征圖根據輸入噪聲向量而改變，以此來穩定訓練過程.Zhou 等人［48］從最優判別函數梯度的信息性角度研究了GANs 的收斂性.結合Lipschitz 條件，提出了Lipschitz GANs.另外文獻［49-51］的工作也是致力于尋找穩定訓練過程的方法.

最后一個研究熱點就是如何評價所提出的生成模型的性能.目前，大多數評價生成對抗網絡模型的方式為［40］:將生成的圖像與真實圖像分別輸入到特征提取器(深度神經網絡)中，然后分別得到生成圖像和真實圖像的特征，接著再根據度量準則度量所提取的特征的差異或是距離.

具體地，對于圖像生成任務而言，目前比較流行的評價模型性能的指標有 3 種，即 Amazon Mechanical Turk(AMT)［52］，Frechet Inception Distance(FID)［53］和 Inception Score(IS)［54］.

第一種是AMT 評價方式，它主要是通過觀察者觀察生成圖像的質量來評價生成模型.這種方式受觀察者主觀因素的影響比較大，因而需要多個觀察者來測試.利用觀察者觀測結果的平均值來減小主觀因素的影響.基于AMT 觀測的評價方式實質上是從像素級層次度量生成的圖像與真實圖像之間的距離.

第二種是FID 評價指標.它是一種距離的度量標準，其值越小，說明所學習的模型分布與真實分布的差異小.反之則說明所學習的模型與真實分布差異大.以此來判斷所學習的模型的優劣.用DFID來表示FID 評價指標計算的值，它的計算如下:

其中，下標r和f分別表示真實樣本和假樣本，(μr，Σr)和(μf，Σf)分別表示來自數據分布和模型分布樣本嵌入的均值和協方差.

第三種是IS 評價指標，它用來度量模型得分.它的值越大越好，表明了模型生成圖像的質量好.用DIS來表示IS 評價指標的值，其計算形式為:

其中G 表示生成模型，x 表示生成的圖像，KL 表示Kullback-Leibler 散度，y 表示標簽.基于 FID 和 IS 的評價方式是從特征層面度量生成的圖像與真實圖像之間的距離.

4 討論與展望

針對如何評價生成模型這個問題，文獻［55-59］給出了比較客觀和全面地分析.盡管有如此多的方式來評價生成模型，但評價生成圖像的清晰度、圖像中目標對象是否完整、多樣性等綜合性能的方式仍有研究的價值.

5 結 語

生成對抗網絡的研究已處于高潮期，出現了各式各樣的生成對抗網絡模型.同時，它的不足之處也展現出來.未來，研究生成對抗網絡的潛在突破口包括以下幾個方面:

1)可解釋性、可控性

當前，生成對抗網絡的可解釋性和可控性尚沒有完全攻克，只是取得部分的研究進展.在后續的工作中，對可解釋性和可控性的研究仍具有重要的研究價值.

2)穩定性

眾所周知，在訓練生成對抗網絡模型的過程中存在穩定性差的問題.從某種角度來說，這會導致模型坍塌.因此，在今后的研究中，如何穩定訓練的過程，使得生成對抗網絡的性能得到提升，仍然具有挑戰.

3)評價模型的方法

雖然現在有各式各樣的生成對抗網絡模型，但是如何綜合客觀地評價每個模型，仍然是沒有一個定論.因此，在后續的研究中，如何客觀地評價生成對抗網絡模型仍具有研究價值.

4)與其它理論的融合

對生成對抗網絡的研究，是否可以考慮引入其它的理論，使得現有的模型性能得到提升.比如，神經科學、認知科學、信息論等.

5)其它的應用領域

生成對抗網絡的核心思想通俗易懂，它比較適合與其它具體的應用結合在一起建模.因此，挖掘新的應用場景也具有研究價值.

總的來說，生成對抗網絡在理論和應用方面具有重要的研究意義，是一個具有挑戰性的研究問題.當下，對人工智能的研究如火如荼，尤其是結合自然語言將會成為一個重要的應用突破口，比如語音或句子控制圖像改變的問題.另外，研究生成對抗網絡的可解釋性、可控性、穩定性和模型評價方法也有助于將其擴展至更廣的應用領域.

本文對生成模型進行了分類討論，并分析了基于顯式密度和隱式密度生成模型的優缺點.其次，重點介紹了生成對抗網絡在圖像生成方面的應用，包括:通過隨機噪聲生成圖像、從文本生成圖像、圖像到圖像轉換、利用交互式操縱圖像生成.然后總結了生成對抗網絡理論方面的研究熱點，即可解釋性、可控性、穩定性和評價生成模型.緊接著，對生成對抗網絡潛在的研究突破口進行了梳理.最后對本文進行總結.