多層次生成對抗網絡的動畫頭像生成方法研究

高文超，任圣博，田 馳，趙珊珊

中國礦業大學（北京）機電與信息工程學院，北京100083

近幾年由于動畫題材被越來越多的人所接受，各種社交平臺的用戶對個性化頭像的需求愈加強烈，但是喜歡動畫又追求獨特風格的部分群體并不具備作畫和設計能力，且難以找到專業設計師設計頭像，深度生成模型的誕生使計算機作畫成為可能。

由Goodfellow等提出的生成對抗網絡[1]是目前最成功的生成模型，具有強大的泛用性。目前GANs已經廣泛應用于視頻音樂語音合成、圖像檢索、人體姿態估計、超分辨率[2-5]等領域。但是原始GANs 是無監督模型，無法控制生成數據的模式。針對這個問題，CGAN[6]、ACGAN[7]等模型被提出，CGAN通過附加信息對模型進行約束，ACGAN 則是添加輔助分類器，最小化圖像真假的對數似然性和圖片分類的對數似然性，這些理論使得按條件控制GANs生成成為現實。但是GANs仍然存在難以訓練的問題，容易生成多樣性缺失的圖像，即模式崩潰。文獻[8-10]等方法，通過設計網絡結構、調整目標函數、優化訓練方法對模式崩潰的問題進行了改進。

人臉頭像的五官、膚色和發色等特征相差較小，但動畫頭像根據不同主題其頭發、眼睛、皮膚等都有所不同，所以在GANs 生成中保證多樣性和真實性存在一定難度。在無條件人臉生成算法方面，ProGAN[11]、MSG-GAN[12]取得了不錯的效果。ProGAN 使用逐級生成思想，從低分辨率開始訓練，訓練完成后添加新層以訓練更高分辨率，循序漸進，能有效且穩定地訓練高質量高分辨率模型。MSG-GAN 通過添加生成器中間層和判別器中間層的連接允許判別器的梯度流入生成器，解決了梯度消失問題。在文本生成圖像算法中，為了能夠生成高質量高分辨率圖像，StackGAN++[13]通過將網絡結構堆疊，為每一個階段的網絡配置一個判別器，緩解梯度消失和直接生成高分辨率圖像難度大的問題。

實驗發現使用DCGAN、WGAN等方法很容易造成模式崩潰、圖像細節不足、扭曲等問題，同時這些方法不提供條件生成，限制了圖像多樣性。為解決上述問題，本文基于堆疊式結構思想，利用多尺度信息，提出以下改進方案：

（1）為提高網絡表達能力，文獻[13]通過在生成器中添加殘差塊增加網絡深度以增加圖像細節信息。其殘差塊由卷積層、BN層和ReLU激活組成，本文將殘差塊中的BN層刪去。該方法能有效提升訓練速度，小幅提升生成圖像質量。

（2）設計輔助分類器對合成圖像進行分類，增加合成圖像的多樣性，緩解模式崩潰。

（3）引入特征圖空間損失和圖像像素空間均值方差損失。特征圖空間損失[14]要求合成數據特征和真實數據特征的均方誤差較小；圖像像素空間均值方差損失要求圖像的顏色和數據分布基本一致。本文在目標函數中添加以上兩種損失，引導模型收斂。

1 相關理論

1.1 生成對抗網絡

生成對抗網絡（generative adversarial networks，GANs）是Goodfellow 等在2014 年提出的生成式模型，源于博弈論中的二人零和博弈思想。不同于傳統生成模型，GANs 至少包含一個生成模型和一個判別模型，二者交替訓練相互競爭。生成器的目的是捕獲到真實數據的分布，產生具有特定意義的圖像，判別器的目的是盡量區分出輸入的數據是生成數據還是真實數據。理論上，G和D只需要是能擬合相應生成和判別功能的函數即可，但因神經網絡在圖像方面的良好效果，一般使用深度神經網絡表示。GANs網絡結構見圖1。

圖1 生成對抗網絡結構Fig.1 Generative adversial network structure

生成對抗網絡的損失函數表示為：

其中，px為真實圖像的數據分布；pz為輸入噪聲的數據分布。

GANs 兩個模型的訓練相互獨立，其損失函數需要分為兩部分，交替訓練。

1.2 多層次結構

DCGAN 沒有從根本上解決模式崩潰的現象，訓練更高分辨率的圖像仍然會產生圖像扭曲和細節消失等問題，嚴重情況下還會模式崩潰。在文本生成圖像領域，Zhang 等人于2017 年提出堆疊式生成對抗網絡StackGAN[15]，核心思想就是將生成任務分成兩個階段，第一階段生成低分辨率圖像，粗略勾畫出物體的形狀和顏色，第二階段做出修正，生成細節豐富的高分辨率圖像。每一個階段的生成網絡分別配置一個判別器，這樣不僅減輕網絡的生成壓力，降低訓練難度，還解決了梯度消失問題。

原始StackGAN 需要將訓練網絡分成兩部分，且兩部分網絡不能實現協同訓練，第二階段的訓練梯度不能流到第一階段。深度學習研究員一般追求端到端的模型，希望由一個網絡一次性完成任務。Zhang等人隨后推出一個端到端網絡：StackGAN++，將多階段的任務合并到一個網絡同時訓練，實驗表明相對于StackGAN 模型效果有了顯著提升。

鑒于堆疊式結構有效改善了因網絡深度增加造成的梯度消失問題，提升了深度卷積網絡的性能，而且在生成高分辨率圖像上表現優異，本文基于堆疊式結構設計了生成器。

1.3 帶有輔助分類器的生成對抗網絡

原始GANs是無監督模型，只能根據噪聲輸出合成圖片，不能控制生成的細節信息。CGAN第一次將附加信息引入GANs，實現了對圖像細節的控制。ACGAN是對CGAN的進一步擴展，實現了對輸入圖像的分類功能，不僅能夠穩定訓練，還提高生成圖像的質量。

生成器輸入包括兩部分：類別信息c和噪聲z，將c和z合并輸入生成器得到合成圖像，然后將合成圖像和真實圖像輸入判別器得到分類和判別真假的結果。

ACGAN 的損失函數具有兩部分，一是判別器損失LS，二是圖像分類損失LC。損失函數定義如下所示：

Xreal表示真實的訓練圖像，Xfake表示合成訓練圖像，C代表分類信息。P(S|X)，P(C|X)分別表示圖像真假和類別。

1.4 門控線性單元

門控機制已經被證明對循環神經網絡（RNN）有效，LSTMs通過由輸入門和遺忘門控制的獨立單元實現長期記憶，使信息不會很容易在時間步的轉換中消失。相對于RNN，卷積網絡不依賴于前一個時刻的隱藏層狀態，無需遺忘門，可以方便地實現并行化，Dauphin 等[16]將無需遺忘門的門控卷積網絡應用到語言建模，提出了門控線性單元GLU，不僅有效降低了梯度消失，還保留了非線性的能力。GLU操作定義為：

W和V代表不同的卷積核，具有相同的維度，b和c代表偏置參數；?是相同維度的矩陣按元素相乘；σ指sigmoid 非線性函數，控制了X*W+b中的那些信息傳到下一層，即門控機制。StackGAN++將GLU作為激活單元，增加非線性。

2 多層次生成對抗網絡的動畫頭像生成方法

神經網絡的結構和損失函數是影響網絡性能的重要因素。本文分別在這兩方面作出改進。

2.1 網絡結構

本文設計了一個由兩個網絡堆疊而成的生成器和兩個帶有輔助分類器的判別器。網絡結構如圖2所示。

圖2 帶輔助分類器的多層次結構生成對抗網絡結構Fig.2 Auxiliary classification atteched multi-level generative adversial network

（1）生成器網絡結構

生成器由兩階段網絡堆疊而成，第一階段網絡包含三個上采樣層；第二階段網絡包含一個聯合訓練層，兩個殘差塊和一個上采樣層。

F0和F1是第一階段和第二階段的網絡，h0和h1是第一階段和第二階段的隱藏狀態，S0和S1是低分辨率和高分辨率的圖像。G0和G1是一個3×3卷積層，對隱藏狀態進行降維得到3通道圖像。

Z是一個從高斯分布中采樣得到的噪聲向量，與降維后的條件向量e拼接，輸入F0進行上采樣得到隱藏狀態h0，然后將(h0,e)輸入F1得到隱藏狀態h1，將(h0,h1)分別輸入(G0,G1)得到圖像(S0,S1)。公式定義為：

F0將圖像分辨率提升8 倍，由三個上采樣結構組成，上采樣結構如表1。

表1 上采樣網絡結構Table 1 Upsampling network

F1的主要任務是對低尺度圖像的細節進行補充然后增大分辨率，結構包含一個聯合訓練層、兩個殘差塊和一個上采樣層。

其中殘差塊的任務是對上一階段的細節進行修復。一般殘差塊由卷積層、BN層和ReLU組成，本文將BN 層去掉，以增加模型生成質量穩定性，節省顯存，增加訓練速度。

Batch norm（BN）是深度學習的一個重要技術，可以加速模型收斂，但是BN在圖像生成和超分辨率方面表現欠佳。圖像超分辨率任務要求網絡輸出的顏色、對比度、亮度和輸入圖像一致，只改變分辨率和細節信息。而BN會對色彩的分布進行標準化，破壞原來的對比度信息，去除BN反而得到較好的性能[17-19]。所以，本文將殘差結構中的BN層刪去。

殘差結構如圖3所示。

圖3 殘差結構Fig.3 Residual network

本文生成器所有激活單元采用GLU 結構，相比于ReLU，復雜程度更高，表達能力更強，很少產生梯度消失問題。實驗發現，GLU在穩定模型上也具有一定效果。

（2）判別器網絡結構

GAN 具有強大的生成能力，但是模型的穩定性一直是亟待解決的問題。實驗發現StackGAN++雖然在條件生成上具有較好的生成效果，但是仍然會在多輪的訓練中陷入模式崩潰，難以收斂。StackGAN++的判別器承擔兩個任務：一是判別圖像真假；二是判斷條件和圖像相符程度，任務相對于GANs較為復雜。本文設計輔助分類器[7]承擔圖像分類任務，將一個復雜的判別任務分割成多個簡單的小問題，實驗表示輔助分類器減輕了判別器的任務，穩定了模型的訓練。

通常判別器和生成器失衡較快的原因是簡單的判別器容易訓練，在短時間訓練太強，無法為生成器提供有效梯度。為增加判別器訓練的難度并減少顯存消耗，本文將分類器和判別器特征提取層的參數共享，然后添加兩個全連接層分別完成判別和分類任務。

判別器和輔助分類器網絡結構如表2、表3。

表2 D0 網絡結構Table 2 D0 network structure

表3 D1 網絡結構Table 3 D1 network structure

實驗發現增大判別器的卷積核大小會增加判別器的訓練難度，延遲判別器和生成器失衡，使合成圖像質量增加。如果判別器過于簡單，生成器很容易模式崩潰。

2.2 損失函數

GANs通過JS散度衡量兩個分布之間的距離，當兩個分布之間完全沒有交集的時候，JS 散度是一個常數，反向傳播的梯度為0，這在深度學習訓練中是一個致命問題。本文引入特征圖空間損失、像素空間均值方差損失和分類損失輔助訓練。

圖像像素空間的L2距離經常用到機器學習模型的訓練，但這經常導致圖像模糊的情況出現。真實的圖像是具有多個峰值的多模態數據，而采樣得到的數據不能包含所有峰值，如果使用單峰數據分布擬合多峰數據分布會使圖像較為單一、模糊。圖像較高層次特征圖會捕獲高級內容，可以綜合多種屬性，不限制精確像素，產生更多的模式。相對于圖像像素空間的L2 距離損失，特征圖上的感知損失可以像人眼一樣評估[20]，具有更強的靈活性。本文模型引入特征圖空間損失Lfeat，希望加速收斂的同時減少圖像模糊化。

C是一個用來計算特征圖的網絡，可以嵌入判別器，作為判別器的一部分共享參數。Xi是低尺度和高尺度真實圖像。

GANs 的最終目的是生成與真實數據分布相同的數據，那么最優模型生成數據的均值方差應該與真實數據的均值方差相同，但是特征圖感知損失并不強調圖像均值和方差的一致性。為了使圖像的顏色和數據分布接近，本文引入圖像像素空間均值方差損失Lcov,μ。

本文引入分類器輔助訓練，當優化判別器時輸入是真實圖像和合成圖像，標簽是lreal和lfake；當優化生成器時輸入是合成圖像，標簽是lreal。分類損失定義為：

H表示交叉熵。

判別器D通過最小化交叉熵損失判別輸入圖像的真假和類別。其對抗損失定義為：

生成器損失是圖像像素空間均值方差損失、特征圖空間損失、對抗損失和分類損失的加權和。

判別器損失是對抗損失和分類損失加權和：

本文參數設置為λ1=1，λ2=1，λcov,μ=0.1，λimg=0.1，λGC=1，λDC=0.5。

綜上所述，本文設計了一個由兩階段網絡堆疊的生成器和兩個帶有分類功能的判別器，并剔除生成器殘差結構中的BN層，引入圖像特征圖空間損失、圖像像素空間均值方差損失和分類損失。

3 實驗結果和分析

3.1 實驗數據

為訓練本文的生成模型，從網上搜索了36 000 張96×96 的動畫人物頭像。本文的生成模型具有輔助分類器，需要對真實圖像數據集進行分類。實驗發現人物頭發顏色相對明顯，且通過DCGAN[7]、LSGAN[21]模型生成的圖像會產生背景和頭發雜糅，邊界扭曲的現象，所以本文根據頭發顏色進行分類，希望模型能夠根據頭發顏色進行合成。

本文實驗環境為ubuntu 14.04系統，采用深度學習框架pytorch1.6+cuda10.1，NVIDIA 1080 加速運算。模型采用mini-batch 訓練方式，batchsize 設置為64。使用Adam優化器，初始學習率設置為0.000 2，迭代50輪。

3.2 評價指標

評價合成圖像主要考慮兩個因素：圖像清晰度和圖像多樣性。圖像清晰度不足往往是網絡的表達能力不足，不能再現圖像細節，需要使用更復雜的網絡結構；圖像多樣性不足往往是損失函數和訓練方法的問題，常見現象就是模式崩潰。

本文選擇Fréchet inception distance（FID）[22]衡量生成圖片質量。FID 直接衡量合成數據和真實數據分布的距離，距離越小說明合成圖像與真實圖像越接近。FID 是通過Inception V3 模型[23]提取視覺特征向量，并假定該特征服從多維高斯分布，然后計算真實圖像特征向量的均值、協方差(μx,Cx)和合成圖像特征向量的均值、協方差(μg,Cg)。兩個分布的Fréchet距離定義如下：

x代表真實樣本集分布，g代表合成樣本集分布，μ、C分別代表提取特征后特征向量的均值和協方差，tr 表示矩陣的跡。

FID值越小，說明合成圖像和真實圖像的分布越接近，合成圖像的多樣性和質量越好。FID對模式崩潰相對敏感，而且對噪聲具有很好的魯棒性，如果發生模式崩潰，生成的頭像相似性太高，那么FID分數會很高，所以FID可以用來衡量生成結果的多樣性。

3.3 模型結果對比和分析

基于多層次結構添加特征圖空間損失Lfeat和圖像像素空間均值方差損失Lcov,μ的提升效果不如DCGAN明顯，所以本文將DCGAN加入實驗參與對比。

模型分析分為無條件和有條件兩種情況，在無條件情況下，將多層次結構與DCGAN模型對比，驗證多層次結構的有用性；在有條件情況下，對DCGAN 添加Lfeat和Lcov,μ進行對比以驗證本文損失，最后對StackGAN++和ACM-GAN對比分析驗證本文最終模型的有用性。

3.3.1 無條件模型對比分析

DCGAN 在無條件下進行訓練，第8 輪FID 分數最優，顏色較為鮮艷，但是圖像顆粒感嚴重，視覺感受較差。隨著迭代次數增加，顏色逐漸暗淡，FID 分數有所下降，視覺感受有所上升。原因是圖像多樣性降低和顏色變暗導致真實圖像分布差距變大，這一缺點在多層次結構同樣存在。

圖4 是無條件模型結果對比，可以看出LSGAN 與DCGAN生成質量沒有明顯差異，多層次結構（無標簽）的部分圖像具有較高的清晰度和真實度，但是大多數圖像比較扭曲。

圖4 無條件模型結果對比Fig.4 Comparison of model results in unconditional models

無監督模型的FID 分數對比如表4 所示，多層次結構的FID分數相對于DCGAN下降17.11，改善較大。

表4 無監督模型FID分數Table 4 FID score of unsupervised model

多層次結構（無標簽）是將ACM-GAN 的條件和輔助分類器去掉的模型。實驗發現，無條件情況下模型在第二階段很容易陷入模式崩潰，需要通過顏色一致性正則化[10]對第二階段圖像加以限制。

3.3.2 有條件模型對比分析

針對有條件情況，根據標簽比例從訓練集中挑選出10 000張圖片與生成的10 000張圖片計算FID分數。

首先對DCGAN 添加特征圖空間損失Lfeat和圖像像素空間均值方差損失Lcov,μ驗證損失函數。實驗結果如表5所示。

表5 基于DCGAN的模型FID分數Table 5 FID Score of different model based on DCGAN

本文DCGAN（有標簽）模型是通過對噪聲z拼接條件向量，在判別器中間層添加條件[3]實現條件控制。相對于無條件DCGAN 的FID 分數增加7.6，表現稍差，震蕩程度稍高。雖然基本能夠實現按照條件生成對應頭發顏色的頭像，但是圖像模糊程度較高，多樣性較差。

添加圖像特征圖空間損失Lfeat后收斂速度增加，震蕩程度稍弱，FID分數降低到61.79。生成頭像如圖5第二行，頭發顏色和條件對應程度增強，視覺感受增加。Lfeat雖然使FID分數有所下降，但合成圖像仍然存在顏色暗淡，不鮮艷的問題。Lcov,μ損失要求合成圖像和真實圖像顏色和方差一致，在添加Lfeat的基礎上添加Lcov,μ后FID分數降低到55.69。從生成結果看該模型生成的圖像顏色鮮艷，細節豐富，更貼近真實圖像，部分圖像的眼部表達更加生動。

圖5 有條件模型結果對比Fig.5 Comparison of model results in conditional models

表6 是StackGAN++和本文模型的FID 分數對比，可以看出本文方法均優于StackGAN++。StackGAN++的殘差結構中帶有BN，與殘差塊中帶有BN 的ACMGAN的區別在于輔助分類器。相對于StackGAN++，輔助分類器使FID分數提升3.82，且生成的圖像與顏色對應程度更高。

表6 Stack GAN++和ACM-GAN模型FID分數Table 6 FID Score of StackGAN++and ACM-GAN model

通常GANs 模型生成圖像的質量在訓練初期震蕩提高，到達一定程度后質量就會震蕩下降。ACM-GAN（BN）的圖像質量震蕩情況相對于StackGAN++較弱，在多次訓練中遇到模式崩潰的次數低于StackGAN++。表7是StackGAN++和ACM-GAN平均模式崩潰次數和第一次崩潰epoch對比。

表7 50epoch模式崩潰次數對比Table 7 Frequency comparison of mode collapse during 50epoch

實驗發現，StackGAN++和ACM-GAN 都具有模型修復的能力，可以在一定的epoch 內跳出模式崩潰。StackGAN++第一次崩潰是在第20 epoch，遠早于ACMGAN，且在崩潰修復后再次陷入模式崩潰幾率更大。ACM-GAN第一次崩潰epoch一般在45輪，平均崩潰次數為0.5次，穩定性較StackGAN++更高。

不同于StackGAN++將判斷生成圖像是否符合條件和判別圖像真假的任務完全交給判別器，使得判別器壓力較大，ACM-GAN 的輔助分類器只承擔圖像分類任務，對模式崩潰較為敏感。當發生模式崩潰時，分類損失較高，輔助分類器會引導模型修復。可以發現輔助分類器對于模型穩定性和避免模式崩潰具有重要作用。

輔助分類損失對模型收斂起引導作用，損失大小應小于對抗損失，如果分類權值過大，輔助分類器性能過強，可能對模型的引導起反作用。本文設置λGC=1，λDC=0.5，λDC應小于λGC，且權值應都小于1，兩者允許±0.2以內的波動。

ACM-GAN 將殘差結構的BN 層去掉，FID 分數具有小幅提升，訓練時間減少8%。實驗發現，在殘差塊添加BN層的ACM-GAN在batch-size較小的情況下，合成圖像容易產生黑邊或者白邊甚至模式崩潰。ACM-GAN對這種情況有所改善，模型訓練穩定性較強，模式崩潰的概率減少。

添加圖像特征空間損失Lfeat，和圖像像素空間均值方差損失Lcov,μ效果均有所優化，最優達到27.96，相對于StackGAN++提升23.1%，模型訓練過程穩定更高，生成質量震蕩程度進一步降低。Lfeat改善了圖像的扭曲現象，并提升視覺感受，但是稍微導致圖像顏色暗淡，不鮮艷。Lcov,μ關注合成圖像和真實圖像顏色上的差距和分布的方差差距，對于圖像的顏色差異和模式崩潰較為敏感，減輕了圖像模糊情況，生成的圖像鮮艷度更高，細節信息豐富，視覺感受更好。

Lfeat的權值選擇和特征圖層數的選擇對結果影響較大，實驗發現，權值過低會導致損失項不起作用，過高會導致模式崩潰的發生；如果特征圖過于靠近輸入層，也可能導致模式崩潰，需要對應的減少Lfeat權值大小。特征圖靠近輸入層，那么特征圖空間就更接近圖像像素空間，不能充分提取更高層次的信息，會更加關注圖像像素級別的誤差，使圖像出現模糊的情況；特征圖過于靠近輸出層，又會導致不能充分提取高層次信息，對網絡引導作用過小。只有在大小合適的特征圖上才能充分提取高層次信息，經過實驗，本文第一階段采用，第二階段采用。

Lfeat和Lcov,μ的權值選擇不應過大，設置在0.1±0.05之間。Lfeat和Lcov,μ是對圖像的定性衡量，與對抗損失這種動態衡量方式不同，對抗損失關注圖像的真假概率，對圖像的像素值約束寬松。Lfeat和Lcov,μ只是對模型的收斂起部分引導作用，和分類損失一樣不能太大。

由于數據集有樣本不平衡的現象，Blue、Green、Purple樣本較少，導致這三種顏色和頭像的對應度較差。Yellow 和Black 兩種顏色數據較多，所以生成效果略優于其他顏色。

4 結束語

本文基于堆疊式結構，結合輔助分類器并引入特征圖損失和圖像像素空間均值方差損失，提出了改進模型ACM-GAN 用于動畫頭像生成。實驗結果表明，在圖像生成清晰度、多樣性和訓練穩定性方面，相對于DCGAN、LSGAN、StackGAN++均有提升，證明了該方法的有效性。受限于數據集的分辨率，本文模型不能生成更高分辨率的圖像，而且圖像存在不平衡和分類信息不準確的現象，對生成結果造成一定的影響。在接下來的研究中，可以搜集更高分辨率的頭像數據集，進行更細致的分類工作。此外，在網絡結構上還可以引入注意力機制思想進一步提升網絡的表達能力。