基于生成對抗網絡的照片動漫風格化

周燕玲，段金玲，譚高斌

(江西中醫藥大學計算機學院，330004，南昌)

0 引言

圖像的風格渲染是計算機視覺領域的重要研究方向，在電影產業、動畫制作、游戲渲染等諸多領域具有廣泛應用[1]。在人工智能時代，深度學習也成為了機器學習領域中重要的研究方向，基于圖像處理的深度學習法具有重要作用，能夠實現各種高效的圖像處理，如圖像增強、圖像復原、對比度增強、圖像分割、無損放大、圖像視頻自動上色、動漫風格轉換以及如今火熱的AI換臉技術等[2]。

動漫是現在非常流行的一種藝術表現形式，這種藝術形式廣泛地應用于社會的諸多方面，包括廣告、游戲、影視作品和攝影等多個方面。希望可以通過電腦將現實世界的圖片自動轉換為具有動漫風格的圖片。同時可以人為地調控其對人像或背景進行風格遷移以滿足不同人對圖片風格化的要求。

根據近幾年來圖像風格遷移現狀來看，主要是以深度學習進行研究，盡管現階段能夠實現的圖像風格轉換技術已十分強大，但在圖像風格遷移過程中存在許多問題，如風格轉化后的圖像邊緣輪廓不清晰[3]、內容細節處理不當、紋理合成有所失真[4]、筆觸形狀不清晰以及圖像質量欠佳。為解決以上問題，實現更高效的圖像風格遷移，改進和優化遷移算法具有重要意義和研究價值。

目前，基于深度學習的圖像風格遷移已經取得了相對較好的效果，使得深度學習成為了圖像風格轉換的常用方法。GAN[5](對抗生成網絡)是現階段最新的方法之一。

本文主要基于Tensorflow[6]對模型進行訓練，Tensorflow是一種基于數據流編程的符號數學系統，被廣泛用于各類機器學習算法的編程實現。在訓練數據后設計并實現了GAN-anime系統，對上傳的照片進行動漫風格化，同時實現了在PyTorch上的擴展。

1 相關算法簡介

生成對抗網絡GAN(Generative Adversarial Network)最初由Ian J.Goodfellow教授及其團隊于2014年提出[7]，GAN作為一種非監督學習方式。生成對抗網絡GAN也是一種概率生成模型，它通過對抗訓練的方式促使生成的樣本分布服從真實數據分布情況。

深度卷積生成對抗網絡DCGAN[8](Deep Convolution Generative Adversarial Networks)，由卷積神經網絡與生成對抗網絡結合而成，是一個無標簽的非監督生成模型。通過各類的圖像數據訓練表明，DCGAN的生成器和鑒別器能夠學習從物體部分到場景的表示層次。并且能把學到的特征用于新的任務中，以證明它們可以作為一般圖像表征的適用性。

循環生成對抗網絡CycleGAN[9](Generative Adversarial Networks)本質上是2個鏡像對稱的GAN，構成了一個環形網絡，它是一種無監督的生成對抗網絡，打破了圖像風格遷移需要成對數據的難題[10]。

2018年清華大學Chen等人提出Cartton-GAN，用于將圖像風格進行動漫化[11]。CartoonGAN實際就是一個用于非成對image訓練的GAN，可以說是單向的CycleGAN，它可以用真實景物的照片作為源圖片，生成任意風格的漫畫。

AnimeGAN[12]是來自武漢大學和湖北工業大學的一項研究，采用的是神經風格遷移與生成對抗網絡(GAN)的組合，其視覺效果已超越了CartoonGAN。其在CartoonGAN的基礎上，改進了網絡結構，由2個卷積神經網絡構成：一個是generator G，將照片轉化為動畫圖片；一個是discriminator D，判斷輸入的圖片是real或者fake，更加輕量，具有較少的網絡參數，并引入了Gram矩陣來生成更生動的風格圖像。為了生成更好的視覺效果的圖像，提出了3個損失函數：灰度樣式損失、顏色重建損失和灰度對抗損失。在生成網絡中，灰度風格損失和顏色重建損失使生成的圖像具有更明顯的動漫風格，并保留了照片的顏色。識別網絡中的灰度對抗損失使生成的圖像具有鮮明的色彩。在鑒別器網絡中，本文也使用了 CartoonGAN 提出的促進邊緣的對抗損失(edge-promoting adversarial loss)來保留清晰的邊緣。

另外，為了使生成的圖像具有原始照片的內容，引入了預先訓練好的 VGG19[13]作為感知網絡，獲得生成的圖像和原始照片的深度感知特征的L1丟失。其與 CartoonGAN 使用的方法類似，通過預訓練模型可以更好地提取圖片的高維信息，這樣可以在風格不同的情況之下比較2個照片的差別，2個圖像的風格即使不一樣，但是高維的語義信息是一樣的，不需要像Cycle GAN一樣需要同時訓練2個模型來保證模型的正常收斂。

AnimeGAN具有的創新點：使用灰階損失來優化生成圖像紋理和線條；使用顏色重構損失來保留原始圖像中的色彩信息;使用了色彩損失，避免了使用灰階損失導致生成灰色圖像。

2 實現人臉與風景動漫化

2.1 前期準備

本文使用來自武漢大學與湖北工業大學研究的AnimeGAN，采用的是神經風格遷移和生成對抗網絡(GAN)的組合。相比于CartoonGAN，AnimeGAN的模型更小，計算量更小，記憶推理速度更快。提出了3個全新的損失函數用于提升風格化的動漫視覺效果，這3個損失函數分別是灰度風格損失、灰度對抗損失和顏色重建損失。

模型使用的數據集為kaggle網站上搜集的Anime Faces數據集以及Anime Scenery數據集，分為動漫風格圖和真實圖片，共1 650張動漫圖片，包括人物圖和風景圖，6 656張真實圖片。

訓練模型之前對風格圖片進行了預處理，對動漫圖片進行邊緣平滑處理，使用OpenCV的Canny算法，對圖片進行邊緣檢測，使用高斯濾波對圖片降噪，使圖像變得平滑，排除非邊緣像素，保留一些較細的線條，在保留原有圖像屬性的情況下，顯著減少圖像的數據規模，然后對邊緣檢測后的圖片進行膨脹操作。

2.2 模型訓練與測試

采用AnimeGAN模型進行動漫風格化模型訓練，其中生成器的總損失函數如式(1)所示。

L(G，D)=ωadvLadv(G,D)+ωconLcon(G,D)+ωgraLgra(G,D)+ωcolLcol(G,D)

(1)

式中：Ladv(G,D)是對抗性loss，影響圖像風格遷移部分；Lcon(G,D)是圖像內容信息的loss，使生成的圖像保留原始圖像的內容；Lgra(G,D)是圖像灰度風格loss，使生成的圖像在線條和紋理上具有清晰的動漫風格；Lcol(G,D)是顏色重構loss使得生成的圖像保留原始圖像的色彩。

最終的生成器損失函數L(G)如式(2)所示：

L(G)=ωadcEpi～Sdata(p)[(G(pi)-1)2]+ωconLcon(G,D)+ωgraLgra(G,D)+ωcolLcol(G,D)

(2)

鑒別器的損失函數L(D)如式(3)所示：

L(G)=ωadv{Eai～Sdata(a)[(D(ai)-1)2]+Epi-Sdata(p)[(D(G(pi)))2]+Exi-Sdata(x)[(D(xi))2]+0.1Eyi-Sdata(y)[(D)yi))2]}

(3)

權重系數ωadv=333，ωcon=1.5，ωgra=3，ωcol=10。對于Lcon(G,D)和Lgra(G,D)使用了VGG-19作為感知網絡來提取高層次的語義特征。判別器的總損失由灰度對抗損失和邊界促進的對抗損失組成。

生成器網絡(Generator Network)的學習率為0.000 08，判別器網絡(Discriminator Network)的學習率為0.000 16，使用Adam優化器，傳入總的損失loss值。

在搜集了大量各類場景數據集之后，對其進行大量的訓練測試，在有關風景動漫化模型的訓練過程，共迭代訓練100個epoch，每個epoch需要迭代1 109次，每次迭代需要花費近30 s，batch_size為4。需要在GeForce GTX 1080 Ti上跑共花費2個星期左右，最終經過訓練后生成的效果圖如圖1所示。

2.3 系統實現

照片動漫風格化系統頁面展示采用PyQt5技術，借助PyCharm平臺，設計系統頁面布局效果，編寫功能和事件代碼，進入主功能界面，如圖2所示。單擊“選擇圖片”，上傳圖片文件后有2種實現風格化效果模型，可以進行人臉風格化或場景

圖1 動漫化訓練結果對比圖

風格化，根據不同的選擇，進行對應目標圖像動漫風格轉換效果，效果圖像展示在右側，可以選擇“保存圖片”將生成后的動漫化效果目標圖片保存在本地。如圖3所示是人臉動漫化的效果，圖4所示是風景動漫化的效果。

圖2 照片動漫風格化系統主界面

圖3 人臉動漫化效果

圖4 風景動漫化效果

3 總結

經過反復大量多次迭代訓練后，生成的人物效果圖其面部特征沒有很大失真，且能夠很好地實現動漫風格轉換效果。從眼睛、細紋等細節觀察可知，基于AnimeGAN動漫風格人臉風格化實現效果相較于風景風格化實現效果好很多，說明此模型訓練較佳。訓練完成后根據生成的log文件，利用tensorboard畫出的損失函數曲線見圖5所示。

圖5 損失函數曲線圖

Generator_loss是生成器總損失曲線圖，是G_gan和G_vgg之和，Discriminator_loss是判別器總損失曲線圖，G_vgg是內容損失，灰度風格損失、顏色重建損失之和，G_gan是Least Squares Loss。由圖5也可看出，生成器總損失在Epoch 80的時侯曲線開始在固定范圍內波動，趨于收斂，且G_gan收斂效果良好，說明圖像風格遷移訓練有所成效。判別器總損失在Epoch 80的時侯曲線開始在固定范圍內波動，趨于收斂，且收斂效果穩定，這說明判別器的訓練是成功的，從圖5也可以看出來效果是令人滿意的。最后本文選取Epoch 80保存的檢查點文件對模型的權值系數進行了保存。

照片動漫風格化系統可以實現人臉動漫化和風景動漫化效果，風格化效果的實現是通過調用已經訓練好的模型，便能夠直接通過點擊“人臉動漫化”或“風景動漫化”直接進行風格轉換。

調用模型函數的建立是在預測文件的基礎上改編的，首先采用if函數判斷是否打開圖片文件路徑為初始賦值'./results/1.jpg'，若為初始值則不執行該函數，若不為初始值則讀取文件路徑。根據文件路徑信息用Image.open方法打開圖片，再調用deeplab.detect_image函數將打開的圖片應用模型處理。處理后獲得的圖片文件較大不能直接顯示在QLabel顯示圖片窗口，需要通過image.save方法將圖片保存在文件夾中，保存過程中圖片被自動壓縮，再通過setPixmap方法可將圖片顯示在QLabel窗口中。

4 結束語

針對人臉的動漫化，還存在許多的限制，如照片的分辨率太低導致動漫化的效果不理想，許多邊緣化信息模糊不清，在訓練的過程中調參不當

會產生模式坍塌。對于基于AnimeGAN的圖片動漫風格化模型，由于訓練的照片是人物和風景的圖片混合在一起，且風景圖占多數，在生成效果中可以清晰地感受到模型在對于人臉的生成方面不夠細致，專門分開訓練人臉的處理，又顯得十分冗余。其次是模型的訓練還未在pytorch上實現，只能對tensorflow上生成的模型進行轉化，期望日后能有所改進。以后將會完善本項目的不足，力求實現清晰度更好，達到更好的動漫風格效果。