基于條件生成對抗網絡的人臉去妝算法研究

廖毅，應三叢

（四川大學計算機學院，成都610065）

0 引言

隨著生活水平不斷提高，人們越來越多地關注自己的外表，使用化妝品或者使用手機進行上妝美顏是大家普遍且流行的選擇。面部妝容雖然可以讓一個人看起來更漂亮，但同時也會遮擋面部特征，甚至有些程度很深的妝容堪稱“換頭術”，這種厚重的妝容很容易造成人或者計算機人臉識別算法的錯認、誤認[1]，影響到網絡社交、人臉信息安全等領域。

和與之相反的上妝算法[2]不同，在卸妝算法中，面部信息被化妝品遮擋，通過有妝圖像得到卸妝后圖像相比之下更為困難，卸妝算法主要有一下挑戰：①由于化妝品遮擋于皮膚上方，原本皮膚的顏色，紋理的信息較少。②化妝過程中會使用深色化妝品打陰影，由于2D圖像沒有深度信息，可能會影響算法對人臉結構的判斷。

目前研究人員對于卸妝任務也開展了多方面研究。Wang S Y等人[3]提出了一種基于局部約束的框架（LC-CDL），先判斷和化妝品的使用情況，再生成去妝人臉，從而根據不同的風格進行針對性地卸妝。Chen Y C等人[4]對于去除由美顏軟件生成的人臉圖像美顏效果，提出了一種分量回歸網絡（CRN），CRN在不知道美化操作細節的情況下，將編輯后的人像圖像映射回原始圖像，解決了在盲還原中使用歐幾里得損失的局限性。Cao C等人[5]提出了深度雙向可調控的去妝網絡（BTD-Net），該網絡聯合學習化妝過程來輔助學習去妝過程。通過引入了一個反映化妝風格的潛變量，將其作為補充條件，最終把一對多的映射約束到特定的解。

已有的卸妝算法已經取得了不錯的效果，但是依然存在一定局限性，算法得到的卸妝圖片通常難以保留紋理信息，或是有偽影、邊緣模糊的現象，使得生成的人臉不夠真實。基于以上存在的問題，本文提出使用配對數據集訓練，在條件生成對抗網絡[6]的基礎上，訓練生成器將有妝圖像生成無妝圖像，并且引入L1損失函數保留身份信息，并且生成較為清晰的邊緣。通過使用VGG16網絡提取圖片特征，引入感知損失確保較為真實的皮膚紋理質感。

1 相關技術

1.1 條件生成對抗網絡

生成對抗網絡由Goodfellow等人[7]在2014年提出，它被廣泛的應用于風格遷移，高分辨率圖像生成等計算機視覺領域。生成對抗網絡將博弈論的思想引入深度學習，通過網絡間的對抗不斷提升生成圖片的質量。生成對抗網絡的基本結構由生成器G和判別器D兩部分組成。生成器將輸入的隨機噪聲z生成新的數據分布G（z），判別器D的任務則是區分真實樣本x和由生成器生成的虛假樣本G（z）。生成器和判別器之間相互對抗，交替訓練，隨著生成數據越來越接近真實數據，模型逐漸達到平衡，得到最優解，其目標函數可表示為：

條件生成對抗網絡由Mirza等人對生成對抗網絡改進得到，它是為了解決生成對抗網絡生成難以控制目標圖片生成的問題。條件生成對抗網絡的結構如圖所示。新加入條件c，并同時輸入給生成器和判別器，指導網絡生成更有針對性的數據。生成器生成與條件c相匹配的數據，判別器與常規生成對抗網絡不同，除了判斷數據是否真實，還需要判斷數據是否與條件c匹配。目標函數可表示為：

1.2 圖像轉換

圖像轉換是指將一幅圖片轉換為另一幅圖片的一類問題，例如將照片中的黑夜轉為白天，或者將人像照片轉為素描，人臉去妝算法同樣也屬于一類圖像轉換任務。隨著深度學習的發展，利用生成對抗網絡解決圖像轉換問題的研究也越來越多。在圖像轉換的任務中，生成器G的輸入通常是需要轉換的圖片，輸出轉換完成的圖片。判別器D判斷樣本是真實樣本還是由生成器生成的虛假樣本。Isola等人[8]提出了Pix2Pix模型，通常用于圖像轉換任務。它基于條件生成對抗網絡，學習輸入圖像和輸出圖像之間的一一對應關系，使用大量的配對數據進行訓練，并且盡量保證每對訓練數據無需轉換的無關信息不改變。為了解決配對訓練數據難以獲取的問題，Zhu J Y等人[9]提出環形生成對抗網絡模型CycleGAN，可以比較好地完成域間的圖像轉換。CycleGAN的結構包含兩對生成器和判別器，形成了一個環形的結構。通過設置了循環一致的損失函數，讓圖片在不同域間轉換而不丟失原本的信息。

2 方法設計

在人臉圖像去妝容問題中，目標是由一張具有妝人臉圖像得到一張該對象的去妝圖像。本文方法使用條件生成對抗網絡的框架，訓練的最終目的是得到生成模型G，用于生成去妝圖像。接下來將從網絡結構、損失函數兩個方面介紹本文方法。

2.1 網絡結構

本文以條件生成對抗網絡框架為基礎，包含一個生成器和一個判別器，外接一個預訓練過的VGG16網絡用于訓練過程，如圖1所示。圖中x為有妝圖像，作為生成器的輸入，經過生成器得到卸妝后圖像G（x）。生成器采用包含9個殘差塊的全卷積結構網絡，先將輸入的圖像進行卷積操作進行重復的下采樣，中間經過9個殘差塊進行圖像轉換，再進行重復的上采樣恢復到原本圖像大小，最后輸出生成的去妝圖像。判別器同時輸入卸妝后圖像G（x）和有妝圖像x的組合，或是輸入真實無妝圖像y有妝圖像x的組合，判別器需要判斷此樣本是是包含G（x）的虛假負樣本還是包含y的真實正樣本。判別器使用PatchGAN的判別器結構，判別器輸出一個判別矩陣，矩陣中每個數對應原圖的一片區域。使用PatchGAN結構有助于生成分辨率更高，細節更清晰的圖像。Gatys等人[10]發現VGG16網絡卷積后的特征圖可以表示圖片的紋理信息，可以用此來約束網絡生成與此人接近的皮膚特征。

圖1 本文提出的卸妝網絡結構

2.2 損失函數

損失函數包括3個部分，對抗損失函數，平滑L1損失函數以及感知損失函數。對抗損失函數是生成對抗網絡框架下的基本損失函數，控制生成器和判別器對抗訓練。平滑L1損失函數用于控制生成出的圖像盡量接近想要的目標圖像。感知損失函數可以幫助生成器生成皮膚紋理更接近的目標圖像。

（1）對抗損失函數

網絡結構中包含一個生成器一個判別器，生成器G輸入有妝圖像x，得到卸妝后圖像G（x）。判別器需要將有妝圖片x和卸妝后圖片G（x）組成的樣本識別為正樣本；將有妝圖片x和無妝圖片y組成的樣本識別為負樣本。訓練時生成器和判別器交替訓練，相互對抗。該損失函數可表示為：

（2）L1損失函數

L1損失函數式用來表示生成圖像G（x）和目標圖像y之間的差距。使用L1損失函數，讓生成器在保持該目標的身份信息的前提下生成去妝圖像，L1損失函數可表示為：

（3）感知損失函數

使用VGG16網絡對生成圖像G（x）和目標圖像y進行特征提取，特征圖記錄著圖像的紋理信息，生成圖像G（x）和目標圖像y經過第l層卷積得到特征圖，分別記為F和P，再對F和P求Gram矩陣差的Froben?ius范數，最終生成風格紋理較為相近的圖像。設置感知損失函數表示如下：

3 實驗

為了驗證本文方法的有效性，從定性和定量兩個層面與其他圖像轉換方法進行對比。

本文使用了由Gu Q等人[11]制作的數據集中的一部分，包括134人，每人的25種妝容，一共4020張圖片。為了更加貼近真實場景下的實際應用，在定性部分選用了從互聯網收集的有妝人臉圖片。定量部分使用了評價圖片質量的兩種指標峰值信噪比（PSNR）和結構相似性（SSIM）。

3.1 定性分析

首先實驗從視覺角度，與Pix2Pix和CycleGAN進行對比進行定性分析。如圖2所示，第一排是網絡輸入的有妝圖像，是從網絡中截取的真實場景下的有妝人臉圖片，第二、三、四排分別是Pix2Pix和CycleGAN和本文方法得到的去妝圖像。

圖2 定性分析對比實驗

通過對比觀察，我們可以發現，Pix2Pix網絡得到的去妝圖像雖然有一定卸妝效果，但是眼周、嘴唇等部位較模糊，邊緣不清晰，（e）、（f）、（g）等樣本，皮膚也有斑紋，不真實。CycleGAN網絡得到的圖像雖然圖像細節保持較好，但是卸妝效果不佳，對于（a）、（b）這類眼影較重的樣本，妝容不能完全去除，即使對（i）這類妝容較輕的樣本，卸妝效果依舊不理想。相比之下本文結果卸妝效果較好，對于口紅、眼影、粉底、眉毛等都有較好的卸妝能力，并且生成了較為清晰的邊緣和細節，皮膚紋理真實自然。

3.2 定量分析

本文使用了兩種常用的圖像質量評估指標：峰值信噪比（PSNR）和結構相似性（SSIM）。PSNR是最普遍，使用最廣泛的評價圖像質量的客觀指標，常用作測量圖像壓縮等領域中信號重建質量，值越大圖片質量越好，相似度越高。SSIM從亮度、對比度和結構三個角度評價兩張圖的相似度，取值范圍是-1到1之間，越接近1代表兩張圖片相似度越高。實驗通過求生成模型生成的去妝圖像與無妝圖像之間的PSNR與SSIM值，從定量角度評價本文方法與Pix2Pix、CycleGAN的去妝效果。根據表1，可以看出本文方法的PSNR與SSIM值分別為28.487和0.905，顯著高于另兩種圖像轉換方法。

表1 定量分析對比試驗

4 結語

針對現有方法在圖像去妝容過程中紋理不真實和細節模糊的問題，提出了一種基于條件生成對抗網絡的卸妝算法。該方法通過使用L1損失函數和感知損失函數，約束訓練得到一個去妝生成模型。通過實驗從定性和定量兩個角度驗證了相比其他圖像轉移算法，生成了具有真實紋理，細節清晰的去妝人臉。后續工作計劃考慮到妝容對人臉識別算法的影響，改進該生成模型，目標是提升現有人臉識別算法對有妝人臉的識別率。