基于條件生成對抗網絡的圖像轉化方法研究

冷佳明　曾振　劉廣源　鄭新陽　劉瓔慧

摘要：近年來，利用設備將手繪圖像轉換為自然圖像的方法是當前的圖像處理領域主流方向之一。生成式對抗網絡（GAN， Generative Adversarial Networks ）是一種深度學習模型，是近年來復雜分布上無監督學習最具前景的方法之一。本文提出一種基于生成對抗網絡的圖像轉換方法，它可以改善原本存在的圖像轉換方法的差異大、模糊不清等缺點，減小手繪圖像與自然圖像的視覺差異。實驗中生成器由U-net構成，判別器為patch-GAN，對網絡模型使用L1進行約束。二者交替訓練，通過改變學習率、迭代次數等參數來進行對比訓練效果。最后得到的網絡模型可以對人臉的手繪圖進行輪廓和部分細節的還原。

關鍵詞：手繪圖像;條件生成對抗網絡;人臉

1 引言

近年來，隨著越來越多的智能化設備的開發，人類正一步步邁向智能化生活，也期待著存在更加方便快捷的設備或系統可以滿足人們的設想。在日常生活中，手繪是一種常見的交流方式，人類自古以來就以繪畫的方式描繪生活中的一點一滴。概括地說，手繪可以快速地對某個場景進行較為完整的描述。在當今社會，通過普遍存在的觸屏設備，人們能在智能設備上手繪出一幅簡單的圖片，而設備給出符合程度相對較高的實物圖片，這在互聯網信息時代是有價值的。

在手繪圖像轉化為自然圖像的過程中，亟需解決的重要問題是消除二者之間的視覺差異。消除此差異有三個思路：第一種是可以使用一些邊緣提取算法將自然圖像轉換為手繪圖像; 第二種是可以使用一些圖像渲染算法將手繪圖像轉換為自然圖像; 第三種是將二者映射到相同的特征空間，但應用此思路的方法較少。第一種雖有算法工具的優勢，但轉化過程前后容易存在較大的圖片差異，所以本文采用第二種想法——利用近些年取得重大進展的生成對抗網絡（generative adversarial networks， GAN）模型實現手繪圖像到自然圖像的轉化。

相比于其它模型，利用GAN模型實現的轉化圖像更清晰，模糊部分減少。本文由此模型聯想到GAN家族中的條件生成對抗網絡（conditional generative adversarial networks， CGAN），就像GAN學習數據的生成模型一樣，CGAN也學習了條件生成模型，這使得CGAN更適合于圖像到圖像的轉換任務。該模型更加符合本文所要完成的任務，而且它展示了很好的邊緣圖至自然圖像的轉換能力。

2 方法

生成式對抗網絡（GAN）框架于2014年被Ian J. Goodfellow等人開創性地提出，此框架同時訓練用于捕獲數據分布的生成模型和用于估計樣本來自訓練數據而不是生成器的概率的判別模型，整體系統通過反向傳播進行訓練，而且訓練過程或生成模型期間不需要任何馬爾科夫鏈或展開近似推理網絡。與以往的模型不同，本文的生成器使用以U-Net為基礎的架構，判別器使用卷積的PatchGAN分類器，它只在圖像patch的尺度上對結構進行懲罰，曾有論文提出了一個類似PatchGAN的架構并將其用于捕獲本地風格數據。本文證明這種方法可以用在更廣泛的問題上。

2.1 CGAN原理

傳統GAN在圖像應用方面只能保證輸入x盡可能地靠近真實圖片，并不能使輸入符合描述條件c的要求。2014年Mirza等人提出了有條件生成對抗網絡（CGAN），此模型中判別器的輸入x被修改為同時輸入c和x，而輸出一方面判斷x是否為真實圖片，另一方面判斷x和c是否匹配;它還演示了如何使用該模型來學習一個多模態模型，并提供了一個應用于圖像標記的示例。

在生成器模型G和判別器模型D的比較中，CGAN的學習過程相比于GAN的只有隨機噪聲向量z到輸出圖像y的G：z→y的匹配關系，增加了被觀察圖像x的輸入，即是G：{x，z}→y的匹配關系。

CGAN的目標函數為

在此式中，生成器G要最小化該目標函數。相反地，判別器D要最大化該目標函數：

.

在CGAN中加入損失函數會使網絡更加有效。例如加入L1范數損失函數后：

VL1 （G）=Ex，y～p（x，y），z～p（z）

[‖y-G（x，z） ┤‖1]

目標函數變為

2.2 生成器

兩種圖像之間的轉換問題的特點是將高分辨率輸入網格映射到高分辨率輸出網格。對于本文研究的問題，在表層外觀方面輸入和輸出是不同的，但都具有相同的底層渲染架構。因此輸入中的架構大致與輸出中的架構對齊。在本文所涉及到的領域中，很多以前的模型都是用了編碼器-解碼器網絡。在這樣的網絡中，輸入經過一系列層，逐步向下采樣，直到達到瓶頸層后進行反轉。此網絡要求所有的信息流通過瓶頸層在內的所有層。而對于圖像翻譯問題，輸入和輸出之間有大量的底層信息共享，所以可以選擇直接通過網絡傳輸這些信息。

本文使用一種繞過此類信息瓶頸層的方法——U-Net跳過連接，即在第i層和第n-i層之間跳過連接（n是層次總數），每次跳轉連接將第i層所有通道與第n-i層的通道連接起來。

2.3 判別器-PatchGAN原理

很多模型的判別器都是在網絡的最后使用一個全連接層將判別的結果以一個結點的形式輸出，即將輸入映射為一個實數。PatchGAN不然，該模型的判別器完全由全卷積層組成，會將輸入映射為N×N的矩陣，矩陣中的每個元素值表示是真實樣本的概率，然后對所有元素取平均值，得到的結果即為最終判別器的輸出。在此過程中，形成的矩陣就是由卷積層輸出的特征圖，以此特征圖為起點可以找尋原圖像中的某個位置，進而獲得此位置對最終輸出結果的作用。

在圖像風格遷移方面，PatchGAN有著很好的效果。為了使生成圖像具有更高的清晰度和更微小的細節，本文也將采用此模型。

本文將采用生成器和判別器如圖1、圖2所示。

3 實驗分析與結果

3.1 實驗平臺

本文實驗平臺為Tensor-Flow，實驗均在windows 10 64位操作系統，Intel i7處理器，內存8GB上進行，其中所用到的GPU為NVIDIA GeFore GTX 1060。

3.2 實驗數據與處理

本文訓練所用到的人臉圖像數據集是CelebA-HQ，它是由香港中文大學開放提供，廣泛用于人臉相關的計算機視覺訓練任務的人臉屬性數據集CelebA的升級版，總共30k張圖片，每一張的分辨率都是1024*1024。由于機器性能有限，我們截取了其中500張作為訓練集，100張為測試集。部分人臉圖像如圖3所示：

接下來利用PIL（Python Image Library）庫對人臉圖像進行處理：對于輸入的圖片利用像素間的梯度值以及虛擬深度值進行重構，為了得到形如手繪式的人臉圖像，需要調節圖片灰度以模擬人類視覺的明暗程度;然后通過構造光源效果加強所得圖片效果，即設置光源的方位角度和俯視角度;最后梯度歸一化將梯度與光源相互作用，得到新的圖片灰度，過程中注意灰度值的取值范圍。提取出的手繪圖像效果如圖4。

3.3模型訓練

訓練過程中，我們使用Mini batch SGD和Adam優化器在生成器和判別器間交替執行梯度下降，實驗中我們對三組參數進行了測試，每隔100step保存可視化結果，同時保存訓練日志（loss值），參數如表1：

將人臉原像、處理后的手繪圖像和訓練中的還原效果圖片進行拼接，從而有更好的對效果，如圖5。

3.4實驗結果

為了評估訓練模型對人臉的還原效果，本文使用訓練好的模型對訓練集中的100張人臉圖像進行測試，自動還原效果如圖6所示。從損失值（如圖7）上來看，對判別器來說，生成器在測試集上的輸出有非常好的效果，但是如果使用L1損失進行計算，則生成器的輸出效果不是很好。本文認為L1損失太大的原因是背景飾品和膚色的原因。從生成器生成的圖像來看，雖然生成的圖像在細節方面不是很好，但是生成的圖像與原圖像大體上是接近的，因此可以認為生成器與判別器均有不錯的訓練效果。而且由于實驗機器受限，本文只選取了500張作為訓練集，存在樣本不足的問題，如果用整個數據集訓練的話效果會好很多。

4 結語

本文提出了一種基于條件生成對抗網絡的圖像轉化方法，構建了能還原人像的條件生成對抗網絡模型，通過改進CGAN的損失函數保證了輸入和輸出圖像的相似度，其中生成器采用了U模型，判別器采用patchGAN結構。在訓練過程中交替訓練生成器和判別器，并使用了minibatch SGD 和Adam優化器，最終得到的網絡可以對人臉的手繪圖進行輪廓和部分細節的還原。后續我們希望能對如何提高生成的人像圖的清晰度做進一步的研究，進一步實現更高精度的還原效果。

參考文獻

[1]Isola P， Zhu J Y， Zhou T H， et al. Image-to-image translation with conditionaladversarial networks[C] //Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition.Los Alamitos：IEEEComputer Society Press， 2017： 1125-1134.

[2]Goodfellow I J，Pouget-Abadie J，Mirza M，et al. Generative Adversarial Nets[C]. International Conference on Neural Infor-mation Processing Systems. MIT Press， 2014.

[3]C. Li and M.Wand. Precomputed real-time texture synthesis with markovian g-enerative adversarial networks. ECCV，2016.

[4]M. Mirza and S. Osindero. Condition-al generative adversarial nets. arXiv pre-print arXiv：1411.1784， 2014.

[5]Pathak D， Krahenbuhl P， Donahue J， et al. Context encoders：feature learning by inpainting[C] //Proceedings of the IEEE conference on Computer Vision and P-attern Recognition. Los Alamitos： IEEE C-omputer Society Press， 2016： 2536-2544.

[6]CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intellige--nce， 1986，PAMI-8（6）： 679-698.

[7]MARTIN D R， FOWLKES C C， MALIK J. Learning to detect natural image boun-daries using local brightness， color， andtexture cues[J]. IEEE Transactions on Patt-ern Analysis and Machine Intelligence， 2004， 26（5）：530-549.

[8]劉玉杰，竇長紅，趙其魯.基于條件生成對抗網絡的手繪圖像檢索[J].計算機輔助設計與圖形學學報，2017，29（17）：2336-2341.

作者簡介

姓名：冷佳明，性別：男，民族：漢，出生年月：1999年11月，籍貫：吉林省四平市公主嶺市，單位：吉林大學計算機科學與技術學院，專業：計算機科學與技術，單位所在省市：吉林省長春市，郵編 130012。曾振，吉林大學計算機科學與技術學院，130012，劉廣源，吉林大學計算機科學與技術學院，130012。