基于生成對抗網絡的圖像動漫風格化

王一凡，趙樂義，李 毅

四川大學 計算機學院，成都610065

近年來，動畫電影的受眾逐漸擴大，越來越多的人開始喜歡具有卡通效果的圖片，但是，不是所有的圖片都能轉換為動漫風格且融合得很好，也不是所有人都能達到相應的畫圖水平可以自由作畫，再者，手工作圖也是費時費力的，目前也沒有一款工具可以讓人們進行便捷操作就能夠得到動漫風格的圖片，而漫畫場景的應用其實是很廣泛的，如兒童圖書、書本插畫等等。生成對抗網絡一直以來都是研究熱門，近年來也有多種GAN網絡被提出，在各個方面都得到了很大的優化和利用，也有很多突破性的成果。在生成對抗網絡中也有許多分支，風格遷移一直都是熱門研究之一，如CycleGAN[1]、MUNIT[2]、DualGAN[3]等。大部分的風格遷移模型相對來說都是廣泛的，并沒有針對各種風格進行單獨的適配，所以在不同風格的應用效果上就存在一定的差異，也并不是所有圖片和風格都能達到想象中的效果。動漫圖片的色彩、線條和邊緣等等與現實圖片本就具有較大的差別，所以結合生成對抗網絡進行這方面的研究就很有意義，同時針對動漫化的風格，還需要對網絡結構等進行單獨適配和調整，為了達到良好效果還需要進行較多的實驗和改進。

本文針對上述問題，提出了以下幾個方面的改進：

（1）在GAN 網絡的生成器中引入多層感知機模塊（multi-layer perceptron，MLP），加入噪聲的輸入。

（2）引入自適應實例歸一化層（AdaIN[4]），修改網絡結構，使得內容特征能夠很好地轉變為樣式特征。

（3）將損失函數分為兩個部分，對網絡和內容分開進行損失計算。

（4）增加圖片數據集，對動漫圖片和現實圖片集進行擴充，完善訓練效果。

1 相關工作

1.1 GAN

生成對抗網絡一直以來都受到了大家的廣泛關注，它具有強大的功能，可以應用到任何類型的數據中，例如圖像生成、圖像修復等。

生成對抗網絡的思想源于二人博弈理論。生成器G生成可以騙過判別器D的樣本，而判別器D找出生成器G生成的“假數據”。假設用1 來代表真實數據，0代表生成的數據。對于判別器來說，如果是真實的數據，它要盡可能地判別并輸出1，在這個過程中，生成器也會隨機生成假數據來輸入給判別器，判別器對這部分數據要盡可能地判別并輸出0。生成器和判別器是兩個相互獨立的模型，沒有聯系，好比兩個獨立的神經網絡模型，利用的是單獨交替迭代訓練的方法對這兩個模型進行訓練。通過不斷地循環，兩邊的能力都越來越強。

在Goodfellow 等人[5]的論文中，有幾個重要的數學公式描述，如下列式子。

這個公式的優勢在于固定G，描述的是一個極小極大化的過程，也就是兩個不斷優化的過程。其中，Pdata表示的是真實圖像的數據分布，用極大似然估計。V這個函數算的是Pdata(x)和PG之間的距離。訓練判別器D網絡，去最大化這個距離，只有得到最大化距離的結果，才表示判別器是成功的，一旦有了這個值，就可以訓練生成器G，從而得到V的最小值，最小的時候說明已經找到了網絡的最優解。

1.2 圖像到圖像轉換

Isola等人[6]第一次提出了基于條件生成對抗網絡的圖像轉換。類似于語言翻譯，作者提出了圖像翻譯的概念，希望訓練后的網絡能夠像翻譯語言一樣，完成圖像轉換的工作。后來，又出現了生成高分辨率圖像的Wang GAN[7]。現在，已經有許多研究人員利用生成對抗網絡進行這方面的研究。圖像到圖像的轉換在很多方面都可以進行應用，其基本思想就是將輸入圖像轉換為輸出圖像，例如：輸入一張狗的圖片，輸出的是貓的圖片；輸入一張風景照，輸出的是中國畫圖片等。在本文中，經過訓練，能夠將真實圖片轉換為具有動漫效果的圖片，這個過程其實也是圖像到圖像的轉換。

在之前很多的研究中，人們都是利用成對的數據集進行訓練，但是其實成對的數據集并不多，收集此類數據也比較耗費時間和資金，特別是在藝術風格的遷移中就更困難了。CycleGAN[1]提出了在非成對數據下進行圖片轉換的思想，這一思想的提出，給圖片轉換帶來了大大的便利，解決了需要配對訓練數據的問題。如圖1，CycleGAN 可以理解為兩個單向的生成對抗網絡，它們共享兩個生成器，再各自帶一個判別器，同時，在映射中加入循環穩定損失函數，就可以完成非成對的圖像轉換。

圖1 CycleGAN原理Fig.1 Principle of CycleGAN

文獻[2]中提出了多模態無監督的圖像轉換，在生成圖片時可以把同一個內容和不同的樣式組合，從而輸出多態圖片。自動編碼器結構如圖2，由內容、樣式編碼器以及聯合解碼器組成。樣式編碼器利用全局池化得到風格，解碼器中使用了自適應實例歸一化層將兩個編碼器進行整合，同時使用MLP網絡生成參數，輔助殘差塊。本文也參考了其結構進行優化，以達到更好的效果。

圖2 MUNIT自動編碼器結構Fig.2 Auto-encoder architecture of MUNIT

文獻[8]提出了一種基于GAN 的圖像卡通化方法，通過三個白盒分別對圖像的結構、表面和紋理進行處理，得到了較好的圖像轉換方法。文獻[9]也提出了基于GAN 的卡通轉換圖像方法，可以利用真實景物圖片生成漫畫，后文也會進行對比。

1.3 風格遷移

圖像到圖像的轉換算法成功，在圖像生成的領域又有了一個新觀點，也就是可以從卷積神經網絡中提取特征，作為目標函數的一部分，通過比較待生成圖片和目標圖片的特征值，令輸出圖片和目標圖片在語義層面上更相似。

風格遷移的目的是需要保持圖像的內容不變，只是轉換它的風格，這一點就和圖像到圖像的轉換緊密相關。

Gatys 等人[10]曾提出用CNN 來做風格遷移，文中發現，在卷積神經網絡中內容和風格表示可以分離進行獨立操作。作者利用卷積神經網絡從圖片中提取內容和風格信息，再分別定義內容和風格損失進行約束，從而生成指定內容和風格的圖片。在卷積網絡中，從越高層次中提取出的特征是更加抽象的語義信息，和圖片有關的內容信息就越少，文中也進行了對比發現利用更高層次的特征來轉換風格的話，圖片的內容細節就容易丟失。之前，也有人提出對文獻[8]的改進。Li等人[9]在深度特征空間中引入一種基于馬爾可夫隨機場（MRF）的框架來實現。

Ioffe 等人[11]引入一個批歸一化層（BN），通過歸一化特征統計，明顯地簡化了網絡的訓練。在之后，Ulyanov等人[12]又發現，利用IN層替換BN層，又可以得到顯著的改善。

現在也有很多比較成功的風格遷移方法，但是這些方法都不是單獨針對動漫風格進行研究的。在本文中，需要輸出的圖片內容和內容圖片接近，輸出圖片的風格變為動漫風格。引入了噪聲的輸入，生成風格編碼，同時針對內容進行單獨損失計算，提高遷移的質量，在后續測試中效果表現良好。

1.4 感知損失

對于人類來說，判斷兩個圖像之間的相似性是非常容易的。但是對于機器而言，這個過程就相對復雜了。目前也有一些感知指標被廣泛使用，但是都是相對簡單的函數，無法跟人類細微的感知相比較。在文獻[13]中，作者利用感知損失函數的優勢，訓練一個前向傳播的網絡進行圖像轉換，在訓練的過程中，感知誤差衡量了圖像之間的相似性，起到了很好的作用。網絡架構同樣也是他們的亮點，由圖像轉換網絡和損失網絡組成，結構與生成對抗網絡較為相似，與GAN 不同的地方在于，損失網絡是固定參數的，圖像轉換網絡類似于生成器，但是它的損失為感知損失，也就是利用真實圖片的卷積得到的特征和生成圖片卷積得到的特征相比較，使得內容和全局結構接近，也就是感知的意思。實驗結果顯示速度提升了三個量級，視覺效果也更好。

Zhang 等人[14]為了衡量所謂的“感知損失”，提出了一個新的人類感知相似度判斷數據集，能夠評估感知距離，不僅可以度量兩個圖像之間的相似性，而且還符合人類的判斷。越來越多的研究工作發現，利用感知損失函數可以生成高質量的圖像，感知損失的出現也證明它可以作為圖像生成中輔助工具。在本文中，也選擇感知損失函數來計算內容損失。

2 動漫風格化編碼的生成對抗網絡

2.1 網絡框架

本文在生成對抗網絡的基礎上，引入了幾個新的模塊。

網絡結構如圖3所示，由生成器和判別器組成。生成器負責生成可以以假亂真的圖像混淆判別器，而判別器則需要鑒別圖像是真實圖像還是合成的圖像。

本文在生成器的部分相比與原始GAN做了較大的優化和改進，新增部分如圖3中紅色虛線部分所示。生成器包括編碼器、特征轉換器和解碼器，圖片輸入到編碼器，經過一系列的操作之后輸出風格圖片，同時作為判別器的一部分輸入，當然，真實圖片也是判別器的一部分輸入，經過下采樣之后得到輸出。與文獻[2]的結構相比本文網絡結構進行了一定的簡化，文獻[2]中采用了對偶學習的方式，使用兩對生成對抗網絡進行訓練，本文只使用一對生成對抗網絡，只是新增模塊對網絡結構進行優化，專注于動漫風格的提取。

在生成器中，包含三個上采樣層和三個下采樣層，還加入了特征轉換器，將原始圖像的特征轉換為生成圖像的特征，具體的結構如圖3所示。一般的殘差塊由卷積層、BN 層和ReLU 層組成，本文中也進行了修改，引入了MLP 層、卷積層和自適應實例歸一化（AdaIN）層。首先，加入隨機噪聲作為輸入，進入MLP層轉變為風格編碼后，進入AdaIN層，再輸入到殘差模塊，組成生成器的一部分。

圖3 本文網絡結構Fig.3 Proposed network structure

在Huang 等人[4]的論文中，他們在CIN[15]的基礎上提出了AdaIN，算式如下，和BN、CIN 等不同，AdaIN 沒有可學習的仿射參數，它可以根據輸入的風格圖片，自適應地從樣式輸入中計算仿射參數。

其中，x代表的是原始的內容圖像，y表示的是經過MLP 變換得到的風格編碼，σ和μ分別代表均值和標準差。該式子先將內容圖像經過歸一化，均值為0，標準差為1，然后再乘以風格的標準差，加上風格的均值，也就是先將自身去風格化，然后再和風格特征進行計算，這樣內容和風格圖像的均值和標準差就對齊了。該方法沒有引入其他的參數，自動計算出均值和方差，只需要一次前向網絡就可以完成風格網絡的生成，不僅節省內存同時還減少了計算時間。該方法在后來也被應用于各種網絡，也證明其具有較大優勢。應用于本文的網絡中大大改善了實驗效果。簡而言之，AdaIN通過傳遞特征統計信息，特別是通道的平均值和方差，在特征空間中進行樣式傳遞。

神經網絡在機器學習領域中是被廣泛應用的，在本文中選擇了多層感知機（MLP）。MLP是一種前向結構的神經網絡，它包括輸入層、輸出層以及若干隱藏層，層與層之間是全連接的。三層感知機的結構如圖4。

圖4 三層感知機結構Fig.4 Structure of 3-layer percetron

假設有m個樣本n個特征，則輸入層X∈R(m×n),設隱藏層有h個神經元，則隱藏層的權重和偏差為Wh∈R(n×h)、bh∈R(1×h)。輸出的標簽值有q個則輸出層的權重和偏差參數分別是W0∈R(h×q)、bh∈R(1×q)。隱藏層的輸出和輸出層的輸出通過下列式子計算，可以知道，后一層的輸入就是前一層的輸出。

上述兩個式子是對數據進行的線性變換，同時還要引入激活函數對除去輸入層的部分進行非線性變換，得到結果后再傳遞給輸出層。

引入MLP 和AdaIN 這兩個模塊后，網絡結構有了較大的調整，對于無監督的訓練學習能夠得到更好的結果。解碼器根據得到的特征重建圖像，從而得到效果更好的風格圖片。同時，生成器和判別器交替訓練、互相對抗，各自也都得到更好的結果。

2.2 損失函數

本文架構共包含兩個損失函數。Lpips函數作為內容的損失函數進行計算，BCEWithLogitsLoss 函數作為對抗損失。

2.2.1 Lpips函數

在風格遷移中，選擇用一個感知損失函數來訓練網絡。計算感知相似度需要逐層計算網絡輸出對應通道的余弦距離，然后計算距離在網絡空間維度和層之間的平均值。在文獻[16]中，作者為了驗證模型是否可以學習感知，對算法提出了三種變種，統稱為Lpips。Lpips的確在視覺相似性的判斷上更加接近人類的感知，是很優秀的算法。

公式（5）描述的是在網絡中如何計算塊x和x0之間的距離。首先從L層中提取特征堆棧，在通道維度中進行單元歸一化，將得到的結果記為利用向量wl∈縮放激活通道并計算l2的距離，最后在空間上算出平均值，然后基于通道求和。

感知相似性其實并不是一個特殊的功能，它是對一些結構進行預測的視覺特征的結果。例如，在語義的預測中，有效的歐幾里德距離也是感知相似度判斷的高度預測的表現。

2.2.2 BCEWithLogitsLoss函數

對于對抗損失采用的是BCEWithLogitsLoss函數進行計算，它將Sigmoid 和BCELoss 合為一個步驟，計算過程與BCELoss相似，只是多加了一個sigmoid層，數值也更加穩定。它們是一組常用的二元交叉熵損失函數，常用于二分類的問題中。BCELoss式子如下，其中y是target，x是模型輸出的值。

BCEWithLogitsLoss函數的表示如下：

3 實驗過程和分析

3.1 實驗準備

為了達到更好的實驗效果，動漫數據集從宮崎駿的動畫電影《千與千尋》《起風了》和《龍貓》中進行截圖，同時要保證每張圖片內容沒有重復，沒有相似，擴充得到了4 427張256×256的圖片。自定義現實圖片集也同樣通過網絡搜集得到共3 700張，包括各類風景、人物以及動物等圖片。

本文實驗均在Windows10系統中完成，在深度學習框架pytorch+cuda10.1，NVIDIA2080下進行訓練。訓練分為兩個過程，先是初始化預訓練10 個epoch，再進入訓練，epoch 為500，batch size 為4，初始學習率設置為0.000 2。

在初始化階段，引入文獻[17]的思想，對生成器網絡進行預訓練，重建輸入圖像，幫助網絡在適當階段收斂，同時也提高了樣式傳輸的質量。

3.2 實驗結果及分析

圖5 為選取的部分實驗結果圖，第一行為現實圖片，第二行為原始網絡生成的動漫化圖片，第三行為CycleGAN的生產結果，第四行為本文網絡生成的結果。

圖5 部分實驗結果Fig.5 Part of experimental results

可以看出，原始的GAN 算法容易產生不穩定的效果，如第二行第四列，細節如圖6，圖片上方的紋理感明顯，色彩變化太大；而且原始算法的整體色彩都比較暗，飽和度較低，特別是圖像四周邊緣的色彩不均衡，與輸入圖片差距過大。而CycleGAN 的生成效果也并不理想，在色彩的處理上相對來說比較不真實。本文的網絡在整體的色彩、紋理以及細節的處理方面都比原始的網絡有很大的提升，再現了清晰的邊緣和光滑的陰影，生成的圖像穩定性也較高，本文的模型結果是高質量的。

圖6 細節對比Fig.6 Detail contrast

同時，還進行了兩次對比實驗，分別替換掉了兩個損失函數，部分測試結果如圖7。

圖7 部分對比實驗結果Fig.7 Part of contrast experimental results

第二行為替換掉Lpips 函數的結果，第三行為替換掉BCE函數的結果，最后一行為本文效果。可以看出，即使有相同的網絡架構，如果不選用本文的兩個損失函數，結果仍然有較大的偏差。比如第二行的第二張圖片，顏色上有明顯的偏綠，而第四張圖片又明顯的顏色很淡，效果不穩定；觀察第三行也可以發現，整體圖片的顏色飽和度過低，紋理等與真實圖片沒有太大的差別。而本文的效果在向動漫風格進行轉變的同時又有很好的色彩還原度。

另一方面，增加了幾種卡通動漫風格轉換方法的對比，部分結果展示如圖8，第二行為WhiteboxGAN 的生成結果，第三行為CartoonGAN的生成結果，最后一行為本文效果，可以看出在圖像的還原度上本文是較為優秀的。同時細節對比如圖9。可以發現，WhiteboxGAN的生成結果雖然色彩比較接近真實圖像，但是紋理過于失真，生成效果不協調，而CartoonGAN色彩的處理上不夠真實，同時細節部分容易產生模糊效果，生成效果不理想，而本文在細節以及色彩的處理上仍然較好。

圖8 卡通風格方法對比Fig.8 Cartoon-style method contrast

圖9 細節對比Fig.9 Detail contrast

通過多次實驗發現，本文得到的效果還是比較令人滿意的。

3.3 評價指標

對于動漫圖像的評判其實沒有一個準確的標準，大部分情況下人們都是通過自我感覺去衡量。選擇用Fréchet inception distance（FID）[17]來評價實驗結果。FID專門用于生成對抗網絡性能的評估，它是合成圖像和真實圖像之間的特征向量距離的一種度量，距離越小，值越小，說明生成圖像與真實圖片的分布越接近，則實驗效果越佳，模型越好。兩個分布的距離公式如式（8）：

x代表真實圖像的分布，g代表生成圖像的分布，u、C代表提取特征之后特征向量的均值和協方差，tr 代表矩陣對角線上元素的總和，也就是矩陣的跡。FID對噪聲有很好的魯棒性，用在本文中也非常合適。

由表1 中的數值可以看出本文的模型效果有了較大的提升，FID 分數明顯優于原始網絡、CycleGAN、CartoonGAN和WhiteboxGAN很多。

表1 FID分數Table 1 FID score

4 結束語

本文基于生成對抗網絡的思想，提出了動漫風格化編碼的生成對抗網絡，目的是將輸入的現實圖片轉換為宮崎駿動畫電影的動漫風格輸出。調整并優化網絡結構，引入了AdaIN 和MLP 模塊，增加噪聲的輸入，能更好地提取風格編碼，增加內容的損失函數，調整對抗損失函數，同時擴充了實驗數據集，增加了動漫圖片和現實圖片。實驗結果說明效果良好，與原始網絡相比得到了較大的提升，邊緣細節也能處理到位，FID 分數有了較大進步。證明本文網絡能夠應用于各種圖片的動漫風格輸出。

圖像到圖像的轉換目前仍然具有很大的挑戰性，大多數的研究都是針對局部處理的，如人臉等。在無監督領域中，還有很多問題值得去探索。在接下來的學習中，將繼續進行這方面的研究，爭取繼續減小FID分數，在細節上取得更好的結果，同時研究如何提高圖像的分辨率和網絡的穩定性、準確性，爭取不僅是動漫的風格，如油畫等的藝術風格遷移方面都能得到更好的效果。