基于深度卷積生成式對抗網絡的人臉恢復方法

吳曉燕 錢真坤

(四川文理學院智能制造學院 四川 達州 635000)

0 引 言

圖像風格遷移是指在保留原始圖像內容的同時，改變其風格的過程。目前，存在很多將任意的藝術風格轉換為內容圖像的風格轉換方法[1-2]。但是，將風格化的圖像轉換為真實感圖像，特別是從風格化人像中恢復真實感人臉照片的方法還不是很多。從風格化人像中恢復出潛在的真實人臉，有助于人臉分析和識別。由于風格化的效果會導致面部輪廓、邊緣和紋理信息的部分丟失，以及出現面部扭曲和錯位的現象，使得現有的面部標志探測器通常無法正確定位面部標志。因此，從藝術肖像中恢復高質量的真實感圖像是一項具有挑戰性的難題[3]。

近年來，從草圖照片中恢復真實感圖像的難題受到了一些研究人員的關注。文獻[3]利用對抗網絡實現了從草圖圖像到真實感照片之間的轉換問題，可以在不手工設計損失函數的情況下獲得較為真實的結果。文獻[4]提出一種基于深度條件生成對抗網絡(Deep Conditional Generative Adversarial Network，DCGAN)的方法，通過引入約束條件來確定生成圖像的特定表示，實現了從帶有屬性標簽的草圖生成真實人臉圖像的目的。文獻[5]提出了一種基于多對抗網絡的草圖-照片合成綜合框架，采用對抗的方式通過多次迭代生成低分辨率到高分辨率的圖像。文獻[6]根據面部標志保留的信息，提出了一種基于性別保護生成性對抗網絡(Gender Preserving Generative Adversarial Network，GPGAN)的面部合成方法，該方法利用風格化肖像保留下的面部標志和性別特征信息進行對抗性損失，感知損失和性別保持損失引導，從而恢復真實感圖像。

文獻[7]提出了一種新的面部去極化神經網絡(Face Destylization Neural Network，FDNN)來從風格化的面部恢復潛在的真實面部照片。這些方法雖然在一定程度上實現了恢復圖像真實感的目的，但是沒有利用有效的語義信息。因此，盡管采用了大規模數據集對網絡進行訓練，但是未能在風格化人臉(Stylized Portraits Face，SPF)和真實人臉(Realistic Face，RF)之間提供一致的映射，造成恢復的圖像出現視覺模糊和面部屬性不匹配的現象。

本文針對現有方法在人臉復原過程中出現失真和重要細節丟失的問題，提出了一種基于深度卷積生成式對抗網絡的人臉恢復方法，該方法由基于卷積生成網絡的人臉恢復網絡(Face Recovery Network，FRN)和識別網絡(Discriminative Network，DN)兩部分組成。在風格化肖像輸入后，FRN使用一個帶有嵌入式殘差塊跳躍連接的自動編碼器，結合從人像圖中獲得的視覺特征及面部屬性提供的語義信息來生成逼真的面部圖像；利用DN判別恢復的人臉圖像與真實人臉圖像之間的相似度，以及恢復圖像的人臉屬性與輸入圖像屬性的一致性。

1 生成式對抗網絡

生成式對抗網絡(Generative Adversarial Network，GAN)是由Goodfellow等[8]基于博弈論中的二人零和博弈思想提出的，具有強大的圖片生成能力，在超分辨率、圖像修復和合成等方面應用廣泛。

1.1 基本框架

生成對抗網絡是一種通過對抗過程估計生成模型的網絡框架，該網絡的基本框架由一個生成網絡G和一個判別網絡D構成，GAN的流程如圖1所示。

圖1 生成式對抗網絡的流程示意圖

生成網絡G利用真實數據樣本x訓練生成新的數據樣本G(z)，判別網絡D是一個二分類器，判斷樣本是來自原始數據x還是由生成網絡產生G(z)。整個GAN過程網絡G與D同時運行，判別網絡的目的是盡量使D(G(z))接近0，而生成網絡的目的是盡量使它接近1，最終二者在博弈中達到平衡。目標函數表示為：

Ez,P(z)[log(1-D(G(z)))]

(1)

式中：z是潛在表征；x是真實樣本圖像；P表示概率分布；E表示期望。

1.2 深度卷積生成式對抗網絡

深度卷積生成式對抗網絡[9]是一種將生成式對抗網絡GAN與卷積神經網絡CNN結合起來的學習模式，其基本原理與GAN相似，只是將經典GAN中的G和D換成兩個改進的卷積神經網絡，基本框架如圖2所示。

圖2 深度卷積生成式對抗網絡的流程示意圖

深度卷積生成式對抗網絡的目標函數可以表示為：

Ez,P(z)[log(1-D(G(z),y))]

(2)

式中：x是真實樣本圖像，y是輸入樣本圖像，G(z)是生成圖像。

GAN是一種無監督學習方法，通過對無標注數據集的學習獲得概率分布規律，但是這個過程十分緩慢，容易出現偏差。而深度卷積生成對抗網絡利用CNN的監督學習可以為圖像訓練得到很好的特征表示，而且架構十分穩定可靠。

2 方法設計

2.1 網絡體系結構

本文提出的網絡架構由兩部分組成：人臉恢復網絡FRN和識別網絡DN。FRN包含一個嵌入式殘差塊跳躍連接的自動編碼器。FRN從輸入圖像中提取殘差特征映射，然后將相應的20維屬性向量與提取的殘差特征向量在自動編碼器瓶頸層處連接起來進行采樣。通過這種方式將視覺和語義信息融合一起，以獲得高質量的視覺性能。DN的作用是引導面部恢復圖像和輸入屬性與真實圖像相似。網絡整個架構如圖3所示。

圖3 人臉恢復網絡FRN和識別網絡DN示意圖

2.1.1 FRN

FRN模塊采用深度全卷積自動編碼器，將人臉從風格化圖像中恢復出來。編碼器的卷積層捕獲輸入肖像的特征圖，解碼器的卷積層利用這些特征圖采取上采樣來恢復面部細節。本文提出的FRN通過將低級視覺信息和高級語義信息(即面部屬性)結合起來用于面部恢復，可以減少SPF和RF圖像之間映射的模糊性。采用跳躍連接的方式對稱地連接頂部卷積層和反卷積層，從而獲得更高分辨率的肖像視覺細節和更好的恢復質量。每個跳過連接包括三個剩余塊，在輔助FRN網絡刪除輸入肖像的樣式的同時，提高準確性。除此之外，針對輸入圖像存在平面內旋轉、平移等肖像不對齊問題，FRN使用多個空間變換網絡(Spatial Transformer Network，STN)來補償輸入肖像的錯位。

本文使用像素l2范數損失函數Lpix和特征保留損失函數Lid來評價面部恢復圖像與真實人臉圖像之間的外觀相似性。損失函數Lpix可以加強恢復圖像與真實圖像之間基于強度的相似性。對于特性保留損失函數Lid，使用Facenet[10]從圖像中提取特征，然后通過比較兩幅圖像特征之間的歐幾里得距離來約束恢復圖像和真實圖像之間的特征相似性。

2.1.2 DN

為了保證FRN對人臉屬性信息進行編碼，本文采用條件識別網絡DN進行約束。識別網絡可以區分FRN恢復的人臉圖像屬性與所需屬性是否匹配以及檢測恢復圖像與真實圖像之間的相似度。

DN由卷積層和全連接層組成。首先，真實圖像和恢復圖像被輸入該網絡，屬性信息作為約束條件輸入到網絡的中間層。由于CNN的第一層過濾器提取的是低級特征，更高層過濾器提取的是具有語義信息的圖像模式，因此通過將特征圖與DN中第四個卷積層的屬性向量相連接，可以得到更好的經驗結果。當提取的特征與輸入屬性不匹配時，識別網絡會在反向傳播過程中將錯誤傳遞給FRN網絡。因此，通過多次的迭代反饋，可以保證最終結果與真實人臉的面部表情、年齡和性別相匹配。

2.2 損失函數

為了對提出的網絡進行端到端的訓練，構造了SPF、RF和屬性向量三元組(Ip,Ir,a)作為訓練數據集，其中：Ir是對齊的真實圖像、Ip是合成的未對齊圖像。對于每個RF，合成三種不同的藝術風格的未對齊SPF圖像，以獲得SPF/RF訓練對。在訓練過程中，將SPF圖像Ip及對應的真實面部屬性向量a作為輸入值，以RF的真實圖像Ir作為目標量。

(3)

式中：GΘ(Ip,a)和Θ分別表示FRN的輸出值和參數量。將p(Ip,Ir,a)表示為訓練數據集內SPF、RF及其相應屬性的聯合分布。

(4)

式中：Ψ(·)表示從FaceNet的ReLU3-2層提取的特征圖。

識別網絡DN設計的目標是檢測恢復圖像與真實圖像之間的相似度以及恢復圖像具備的面部屬性。

Ldis(Θ)=-E(Ir,a),P(Ir,a)[logDΦ(Ir,a)]-

(5)

因此，FNR的總損失函數LFNR是三個損失函數的加權和，通過最小化總損失函數可以得到參數Θ：

LFNR(Θ)=Lpix(Θ)+λLdis(Θ)+ηLid(Θ)

(6)

式中：λ決定外觀和屬性相似性之間的權衡，η決定圖像強度和特征相似性之間的權衡。

由于GΘ(·)和DΦ(·)是可微的，所以對Θ和Φ應用反向傳播技術，并利用隨機梯度下降(Stochastic Gradient Descent，SGD)和均方根傳播(Root Mean Square Propagation，RMSprop)進行優化。

3 實 驗

為了驗證本文方法的有效性，從定性和定量兩個方面與其他先進的方法進行對比。利用給定的訓練數據集對這些方法進行重新訓練，以完成從風格化人像中恢復真實感面部的任務。

3.1 實驗設置

在編碼器中，采用內核尺寸為4×4、步長為2的卷積層。在解碼器中，采用內核尺寸4×4、步長為2的反卷積層。在訓練時，小批量尺寸設置為64，學習率為10-3、衰減率為10-2。在所有實驗中，λ和η分別設置為10-2和10-3，而且為了強調外觀相似性的重要性，λ值通過乘積因子κ=0.995逐漸降低。由于提出的網絡在測試時是前饋的，因此尺寸128×128的圖像風格化消除時間需要8 ms。

3.2 數據集

CelebA數據集[11]是香港中文大學的開放數據，包含10 177個名人身份的202 599幅人臉圖像，每幅圖像具有40個屬性標簽。本文從數據集中隨機選擇110 000幅圖像進行訓練，2 000幅圖像進行測試，主要關注禿頭、劉海、大鼻子、黑發、金發、棕色頭發、眼鏡、白發、濃妝、男性、嘴巴張開、胡須、窄眼、無胡須、蒼白皮膚、微笑、直發、波浪狀頭發、口紅和年輕等20個屬性。為了保證數據的數量和多樣性，避免網絡模型低泛化能力的出現，需要對數據進行預處理。

首先，裁剪出每幅圖像的中心部分，將其調整為像素大小128×128的真實人臉圖像Ir。然后，通過旋轉和平移增加RF圖像的數據量。對于訓練集中SPF圖像，不可能采取大量風格來合成。因此，本文提出一個風格距離度量：從預先訓練的VGG網絡的特征圖中計算出不同風格的革蘭氏矩陣，通過歐式距離的對數來評定不同風格圖像的革蘭氏矩陣與訓練RF圖像的平均革蘭氏矩陣之間的相似性。從中選擇糖果、星光和馬賽克風格三種最難恢復的風格來合成訓練圖像。最終，獲得330 000對SPF/RF圖像訓練集。本文使用2 000幅未對齊的RF圖像以10種不同風格合成20 000幅SP圖像作為測試數據集。訓練數據集和測試數據集是不相交的。

3.3 實驗結果分析

圖4給出了本文方法利用不同損失函數的人臉恢復可視化結果，其中：(a)是真實圖像，(b)是糖果風格化圖像，(c)-(f)分別是利用像素損失函數Lpix與特征保留損失函數Lid組合、像素損失函數Lpix與對抗性判別損失函數Ldis組合、總損失函數LFNR以及由面部屬性引導的總損失函數LFNR的人臉恢復可視化結果。可以看出，每個損失函數在人臉恢復過程中都產生一定的貢獻，但是只有在面部屬性引導的總損失函數LFNR的約束下，提出的網絡模型才能生成具有清晰真實感且屬性匹配的人臉圖像。

(a) RF (b) SPF (c) Lpix+Lid

(d) Lpix+Ldis (e) LFRN (f) LFRN+面部屬性圖4 本文方法中不同損失函數的貢獻

圖5給出了不同算法的人臉恢復可視化結果，其中第一行是真實圖像，第二行從左到右的風格分別是草圖、星光、糖果和馬賽克。Shiri等[7]提出了一個表面解析法可以一定程度上增強面部細節，但是由于存在著各種不同的風格，其不能產生真實的面部細節，如圖5第三行所示，該方法恢復的圖像臉部顏色與真實圖像不一致，細節比較模糊。CycleGAN[12]是一種使用不成對數據集的圖像到圖像轉換方法，因此風格化圖像和真實圖像的低級特征不匹配，無法捕獲人臉的全局結構，恢復的結果存在失真的問題，如圖5第四行所示。Xing等[6]根據面部標志保留的信息，通過對抗性損失，感知損失和性別保持損失的引導下，GPGAN網絡可以恢復得到清晰的具有真實感的圖像，但是在不同風格圖像恢復的過程中也會出現一些不匹配的屬性，如頭發顏色等，如圖5第五行的一、三列所示。相比之下，本文方法的結果顯示了更高的保真度和更好的一致性，如圖5最后一行所示。本文方法可以生成高質量的真實感圖像，而且這些圖像也與真實圖像的語義構成相匹配。除此之外，該方法對不同風格化圖像恢復的結果彼此相似，表明了提出的網絡對于不同風格圖像恢復的健壯性。

(a) 草圖(b) 星光(c) 糖果 (f) 馬賽克圖5 不同算法的人臉恢復可視化結果

本文利用峰值信噪比(PSNR)和結構相似性指數(SSIM)兩個評價指標進一步驗證算法的有效性。

PSNR表示濾波圖像的最大像素值與噪聲的比值，定義為:

(7)

式中：MSE表示均方誤差，fmax和fmin分別表示去噪圖像的最大和最小像素。PSNR越大，說明去噪圖像失真越小、去噪效果越好。

基于感知模型的歸一化度量SSIM定義為：

S(x,y)=f(l(x,y),c(x,y),s(x,y))

(8)

表1所示為不同算法對草圖、風格化圖像進行恢復測試時的指標結果。可以清楚地看到，與其他方法相比，本文方法在草圖、風格化圖像方面都取得了優異的定量性能。該表還對比了單獨使用FRN以及FRN+標準DN時的定量結果。由于標準的DN可以保證FRN生成具有真實感的人臉圖像，所以在定性和定量的結果上有所提高，但是標準的DN不能利用面部屬性來引導FRN生成更匹配的圖像。本文使用的條件DN可以判斷FRN生成的屬性與輸入值的一致性，從而保證FRN在人臉恢復過程中嵌入屬性信息，模糊度顯著降低，網絡性能更好。

表1 不同算法對草圖、風格化圖像測試時的指標結果

4 結 語

針對現有方法在人臉復原過程中出現失真和重要細節丟失的問題，提出了一種基于深度卷積生成式對抗網絡的面部恢復方法。該方法使用面部屬性引導的人臉恢復網絡FRN以端到端的方式從未對齊的風格化肖像中恢復真實的圖像，然后利用判別網絡DN區分恢復圖像與真實圖像之間的相似度及相關屬性的一致性。對比實驗表明，本文方法從定量和定性角度上都明顯優于其他方法。