基于無監督生成對抗網絡的人臉素描圖像真實化*

陳金龍，劉雄飛，詹 曙

(合肥工業大學計算機與信息學院,安徽 合肥 231009)

1 引言

近十年來，隨著顯卡的升級和卷積神經網絡的迅速崛起，人臉素描圖像與真實人臉圖像的轉換與識別在執法機構和數字娛樂行業中起著至關重要的作用[1]。在執法和刑事案件中，嫌疑人的照片并不總是有效，因為實時監控攝像頭在遠處捕捉到的面部圖像分辨率很低。另一種辦法是在目擊者的幫助下，由藝術家畫出面部素描。這是逮捕罪犯的2個重要證據，后一種方法成功地幫助公安部門逮捕了一些罪犯。然而，由于人臉素描與人臉圖像在紋理、形狀等方面存在顯著差異，使得使用嫌疑人素描進行人臉識別的識別率較低，但是可以通過將人臉素描轉換成與真實人臉圖像相同的模態來提高對嫌疑犯的識別率。

一些相關工作的成果已經被應用到了公安系統、身份認證、視頻監控等公共安全領域和圖片編輯、銀行安保、計算機藝術、數字娛樂等領域中，并得到了相當不錯的反饋。然而到目前為止，異質人臉圖像轉換合成過程中網絡訓練階段缺乏配對的圖像數據，并且想要獲得配對數據往往要付出大量的精力和成本，再加上人臉素描圖像與真實人臉圖像之間存在著明顯的模態差異，現有的方法仍然存在不可解決的局限性。本文提出了一個新的框架以解決上述問題。本文提出的人臉素描圖像到真實人臉圖像的轉換合成模型總體思路如下：首先，為了解決缺乏配對的圖像數據問題，所提出的框架結合無監督學習將人臉素描圖像轉換為真實的人臉圖像，這樣在測試和應用中可以不使用配對的數據。再與目前的無監督方式下的圖像到圖像的轉換模型相比，本文模型采用了額外的語義一致性損失函數，這樣可以使輸入圖像的語義信息保持在最終的生成圖像中。為了得到高質量的生成圖像，模型還將像素級的循環一致性損失函數替換為感知損失函數來生成更清晰的圖像。由于在生成對抗網絡的訓練過程中容易發生模式崩塌等問題，使得網絡訓練變得非常耗時且極其不穩定，因此本文采PGGAN(Progressive Growing of GANs for improved quality, stability, and variation)[2]生成器的架構，然后將它作為鏡像對稱，也就原來框架的2個生成器合并成本文框架，并將它與生成對抗網絡的目標損失函數一起訓練從而得到更加真實的輸出圖像， 同時，循環一致性損失函數驅動相同域的輸入圖像和輸出圖像保持一致。最后在香港中文大學人臉素描數據集CUFS[3]和CUFSF[3,4]2個流行的基準數據集上與其他4種相關模型的大量對比實驗表明，本文提出的模型在定量和定性上都取得了顯著的改善。

2 相關工作

21世紀以來，隨著圖像數據的逐漸增加和計算機計算能力的顯著提升，人臉圖像的合成技術越來越完善，人臉圖像合成的質量也越來越好。目前異質人臉圖像合成的方法主要分為以下2大類：

(1)基于特征表達的傳統合成方法。特征表達就是將圖像表達為許多特征塊的過程，其逆過程即將特征在特定情況下進行合并得到圖像的過程就是圖像合成。主成分分析方法[5]可以將人臉圖像表達為特征矩陣與特征向量，反過來，可以間接地利用特征向量合成各種各樣的目標人臉圖像。同主成分分析相似的原理，稀疏表達[6]也是圖像表達的重要手段之一，人們可以從稀疏表示中合成人臉圖像。利用提取的不同局部特征進行異質人臉合成可以解決異質人臉圖像與數據集中真實人臉圖像之間的結構形態差異問題。以往的研究多采用成對的素描數據集和受控條件下拍攝的照片來解決基于素描的圖像合成問題。Liu等人[7]在2007年提出了一種統計推理方法，即貝葉斯張量推理法，用于研究人臉圖像與素描圖像之間的風格轉換。Tang等人[8 - 10]在2002～2009年對異質人臉的轉換和識別進行了廣泛且深入的研究，提出了一種基于多尺度馬爾可夫隨機域模型的人臉圖像合成與識別方法。為了合成人臉素描/照片圖像，將人臉區域分割成重疊的小塊進行學習，利用多尺度模型在多個尺度上學習聯合圖像模型，通過將人臉圖像轉化為素描(或將素描轉化為圖像)，大大減小了圖像與素描之間的差異，從而使兩者在人臉素描識別中進行有效匹配。

Figure 1 Network based on PGGAN generator and shared-latent space assumption圖1 基于PGGAN生成器和共享潛空間假設的網絡框架

(2)基于卷積神經網絡的合成方法。近年來，由于計算能力的巨大提升，深度學習又再度成為各大科研領域的研究熱點，一些研究成功地利用了卷積神經網絡CNN(Convolutional Neural Network)端到端的學習機制來解決不同的圖像到圖像的轉換問題。Zhang等人[10]在2015年提出了一種新穎的神經網絡框架，利用6層卷積神經網絡(CNN)自動轉換圖像，保留了素描圖像的細節， 與傳統的基于范例字典綜合素描的模型不同，其開發了一個全卷積網絡來學習端到端的素描的映射，將整幅人臉圖像作為輸入，通過有效的推理和學習直接生成相應的素描圖像。Gatys等人[11]提出了一種藝術風格的神經算法，使用來自卷積神經網絡的圖像表示來優化目標識別，使高層次的圖像信息顯式化。該算法可以對自然圖像的內容和風格進行分離和重組，利用GRAMMA矩陣將任意一幅圖像的內容與眾多著名藝術品的外觀結合起來生成高感知質量的新圖像。然而，該框架從開始逐步優化到最佳的結果是一個緩慢迭代的過程， 這限制了其實際應用，并且這樣的框架通常只能處理一組固定的圖像樣式，不能適應任意的新樣式。為此，Huang等人[12]提出了一種簡單而有效的方法，首次實現了任意樣式的實時轉換。此方法的核心是一個新的自適應實例標準化(AdaIN)層，它將內容特征的均值和方差與風格特征的均值和方差對齊，可以獲得與當時最快的方法相當的速度，并且不受預定義樣式集的限制。在圖像生成任務中，歐氏距離常被定義為卷積神經網絡的主要目標函數，但是生成的圖像通常都很模糊。近年來，生成對抗網絡(GANs)[13]和變分自動編碼器[14]等生成模型因其強大的生成能力在圖像到圖像的轉換應用中取得了巨大的成功。特別是GANs和cGANs在圖像編輯、圖像修復、妝容遷移、圖像超分辨率重建、圖像生成等方面取得了令人印象深刻的成果，包括人臉素描圖像到真實照片轉換的任務[15,16]。

盡管上述方法在圖像生成任務中取得了成功，但它們在訓練網絡時，往往需要來自源域和目標域的對應圖像對進行監督學習。

3 本文網絡框架

3.1 基于監督和無監督學習的異質圖像轉換

監督學習是最常見的一種機器學習，其學習模型會嘗試學習之前給定的有標簽的樣本，訓練目標是將測試數據標為正確的標簽。深度學習再度崛起的前期，一些基于監督學習進行異質圖像轉換的算法取得了不錯的效果。Isola等人[19]提出了被稱為“Pix2Pix”的集成框架，該框架使用成對的樣本來完成多個圖像到圖像的轉換任務，實現了語義標簽到街景圖像、自然照片到其素描的轉換以及圖像的編輯和修復。“Pix2Pix”的集成框架還采用了U-Net結構[20]，它在編碼器和解碼器棧中的鏡像層之間增加跳連接(Skip Connection)，幫助輸出結果保留大量的圖像結構信息。

無監督學習通常用于數據挖掘，其學習模型會嘗試直接從給定的樣本中發現某種特征或聯系，與監督學習相比其訓練數據是無標簽的，訓練目標是希望能對觀察值進行分類或者區分。由于配對的數據集通常很難得到，往往需要花費大量的成本和精力去獲取，所以無監督學習在異質人臉圖像的轉換任務中發揮著越來越重要的作用。DTN[15]首次在無監督設置下完成帶標記數據的域轉換任務，并解決了將源域中的樣本轉換成目標域中保留了其特征標簽的模擬樣本的問題。CycleGAN[16]應用了循環一致性約束假設：如果將源域中的樣本x映射到目標域中的樣本y，則可以將其映射回源域中的原始樣本。即x→G(x)→F(G(x))≈x和y→F(y)→G(F(x))≈y,G和F表示的映射函數分別為:x→y和y→x。Wang等人[21]提出了一個真實照片到人臉素描圖像轉換合成的框架，通過多個對抗網絡將輸入的素描圖像轉換成高質量的真實照片，反之亦然。在并行工作中，Kazemi等人[17]利用一種新的感知鑒別器來學習素描幾何圖形和相應的真實感圖像之間的魯棒映射，并提出了一個基于條件CycleGAN的網絡，它可以選取幾個主觀想要的面部特征合成在目標照片上。

3.2 共享潛空間(shared-latent space)假設

基于無監督學習的圖像到圖像轉換的目的是利用圖像在各個區域的邊緣分布學習圖像在不同區域的聯合分布，但如果沒有額外的假設，將無法從邊緣分布中推斷出聯合分布。為了解決這一問題，UNIT[21]提出了共享潛空間的假設，使得2個不同域中對應的圖像可以映射到共同的隱碼(Latent Code)，而所謂的隱空間(Latent Space)即輸入噪聲z(也稱為隱變量z)的一個特征空間，也可以理解為一種有效的信息表示。隱空間將循環一致性約束與UNIT的框架相結合，進一步地規范了病態的無監督下圖像到圖像的轉換問題。

很多相關研究[23,24]都是基于這一假設來執行不同的圖像跨域轉換合成任務。然而，這一假設并不總是適用于所有數據集，特別是對于2個域的圖像在外觀上有顯著差異的數據集，因此將其強加于系統可能會導致模型崩潰或者輸出圖像中存在大量偽影。

3.3 U型網絡(U-net)和編碼器

由于在圖像之間的轉換合成任務中，下采樣過程可能會導致丟失一些空間信息和特征細節，所以本文采用了前人提出的U-net結構[15,25]，通過跳連接的操作來保留一些重要的圖像信息，比如面部的結構信息。U-net網絡其實是一個基于全連接卷積神經網絡的圖像分割網絡，最早主要用于醫學圖像的分割，因為在圖像的特征提取方面有著出色的表現，被越來越多地應用在圖像處理的其他方向上，并且取得了很好的成效。

在生成對抗網絡出現的早期，許多圖像處理工作中生成圖像的分辨率通常都比較低，而且主觀上看起來非常不真實。PGGAN[2]首次提出了一種從低分辨率逐級訓練提升到高分辨率的圖像合成訓練方法，最終合成圖像的分辨率可以達到1024×1024。因此，為了更好地實現高分辨率的人臉素描圖像到真實人臉圖像的圖像轉換，本文將PGGAN生成器的鏡像結構作為網絡的編碼器，該結構使生成器和判別器逐步優化，并使優化階段和增強階段交替進行，即先生成4×4分辨率的圖像；然后利用生成網絡G進行一次上采樣操作，再利用判別網絡D進行一次下采樣操作，這樣生成分辨率為8×8的圖像；循環執行上采樣和下采樣操作，這樣每次輸出圖像的分辨率就可以提高一倍，最終輸出分辨率為256×256的圖像。PGGAN的逐層優化策略雖然使生成圖像的分辨率得到了一定的提升，但是往往是以訓練時間為代價的。而在本文提出的編碼器-解碼器結構中，輸入圖像在編碼器中逐步向下采樣，在解碼器中逐步向上采樣，跳連接操作則將下采樣之前的編碼器層與上采樣之后的生成器層連接在一起。此外，在人臉素描圖像和真實人臉圖像之間共享編碼器和生成器的主要目的是使神經網絡能夠識別到，盡管人臉素描圖像和真實人臉圖像在外觀模態上有顯著的差異，但它們都描繪了相同的圖像結構信息。這對于本節的任務至關重要，而批再歸一化(Batch Renormalization)[24]的參數決定了是輸出人臉素描圖像還是輸出真實人臉圖像。

3.4 權值共享和批再歸一化

權值共享其實就是對圖像用同樣的卷積核進行卷積操作，這樣就能檢測到圖像不同位置的同一類型特征，參數共享還可以減少不同神經元之間需要求解的參數，加快訓練速度。UNIT[22]中提出的權值共享策略隱含了循環一致性約束，該約束假設2個不同域中的任何匹配的圖像對都可以映射到共享潛空間中的相同潛在表示(Latent Presentation)。然而，僅使用權值共享約束并不能保證2個域中對應的圖像具有相同的隱碼，更不用說未配對的樣本了。具體來說，本文工作采用了權值共享策略，共享編碼器E1和編碼器E2的最后幾層的權值，它們負責在這2個域中提取輸入圖像的高級特征。反之亦然，同時還共享了生成器G1和生成器G2的前幾層的權重，G1和G2負責解碼用于重建輸入圖像的高級特征。

在生成模型中使用不同的歸一化參數集可以在相同的輸入條件下輸出多種不同風格的圖像。在文獻[24]中，單個風格遷移網絡甚至可以通過使用條件下實例正則化同時捕獲32種風格。大量實驗表明，當mini-batch很小時，在推理過程中使用批再歸一化能比使用批歸一化BN(Batch Norma- lization)取得更好的性能，因此本文通過2組批再歸一化[23]的參數來捕獲源域X1和目標域X2之間的風格差異。編碼器E1和編碼器E2的目的則是用不同的風格對相同的語義信息進行編碼，通過共享除了批再歸一化層之外的所有卷積層的權值，鼓勵編碼器E1和E2使用相同的隱碼來表示這2個視覺上不同的域。因此，與以往的工作[17,24,26]只在較高層共享權值參數不同，本文傾向于共享除批再歸一化層之外的所有卷積層的參數，網絡中的2個生成器G1和G2也使用這種權值共享策略。這是本文提出的網絡框架的關鍵，它使網絡框架能夠捕獲共享的高級語義特征，并使用更少的參數來訓練網絡，可以加強網絡訓練的穩定性，并在一定程度上加速了訓練速度。

3.5 訓練損失函數

(1)對抗損失函數。

給定輸入域Xi∈{X1,X2}和輸出域Xo∈{X1,X2}，則人臉素描圖像轉換合成真實人臉圖像的原始GAN的目標函數可以表示為:

Lvanilla_GAN=Εxo～Pdata(Xo)[logDo(xo)]+

Εxi～Pdata(Xi)[log(1-Do(Go(Ei(xi))))]

(1)

其中,xo～Pdata(Xo)是指xo的分布，xi～Pdata(Xi)是指xi的分布。

DRAGAN[25]是對生成對抗網絡模型的一種改進，由于在判別函數擬合的圖像中的真實數據周圍局部平衡總是會表現出尖銳的梯度，會使多個矢量映射到單個輸出，從而造成博弈的退化平衡(即多組輸入變量都會產生一樣的結果)，為了減少這種現象，DRAGAN對判別器添加懲罰項以避免局部平衡。因此，本文將目標函數加入到對抗性損失中，以提高生成對抗網絡模型的穩定性。DRAGAN中添加的判別器懲罰項如式(2)所示：

LDRA=λDRAΕxo～Pdata,δ～Nd(o,cI)‖ΔxDo(x+δ)‖-k

(2)

其中,δ～Nd(o,cI)是指δ服從正態分布，δ表示偏移量，k是指懲罰項。

對抗損失函數的整體目標函數定義如下:

(3)

(2)跨域語義一致性損失函數。

為保證生成圖像與輸入圖像具有相同的高級語義信息，編碼器應該分別在2個不同域的輸入和輸出圖像中提取出相同的高級特征。由于循環一致性已經體現了相同域中輸入和輸出的語義一致性，本文將重點討論跨不同域的語義一致性。與XGAN[26]相似，定義語義一致性損失函數如式(4)所示:

Lsem(E,G)=

Εx1～Pdata(X1)[‖E2(G2(E1(x1)))-E1(x1)‖1]+

Εx2～Pdata(X2)[‖E1(G1(E2(x2)))-E2(x2)‖1]

(4)

其中，x1～Pdata(X1)和x2～Pdata(X2)表示數據分布。事實上，大多數工作[23,24]都證明了2個域之間沒有嚴格的一對一映射，這種強制在像素級上的2個域之間的一對一映射可能會導致輸出模糊化或者不匹配的情況。因此，本文決定將語義一致性損失函數僅應用于嵌入層，從而對跨域共享的語義信息進行編碼。

(3)循環一致性損失函數。

在處理不同模式的圖像時，像素級的約束可能會降低網絡的靈活性，甚至使其無法收斂[27]。因此，本文使用感知缺失[28]作為循環一致性的替代定義，從而更好地學習復雜的跨域之間的關系。將高級特征空間上的歐氏距離定義為循環一致性，即感知損失，利用VGG-16網絡Ф來度量圖像之間高級特征的差異。圖像x和y之間的jth層感知損失函數定義如式(5)所示:

(5)

其中，Φj(x)表示VGG網絡中輸入圖像x的jth層的特征映射，Nj表示jth層中感知器的數量。

本文中循環一致性損失函數定義如式(6)所示:

(6)

綜上所述，整體目標函數定義如下:

Ltotal=λGANLGAN+λsemLsem+λcycLcyc

(7)

其中，超參數λGAN、λsem和λcyc是控制3個損失函數相關重要性的權重因子。

4 實驗方案和結果分析

本節在2個最常用的開源數據集CUFS[3]和CUFSF[3,4]上展示本文提出的模型在人臉素描圖像到真實人臉圖像轉換合成任務中的定性和定量的結果，并將可視化和定量結果與其他4種模型進行比較，即Pix2Pix[19]、CycleGAN[16]、UNIT[22]和基于合成輔助生成對抗網絡來重建真實人臉圖像的CA-GAN模型[29]。

Figure 2 Comparison of sketch to photo synthesis results on the CUHK database圖2 CUHK數據集上的對比結果

4.1 數據集

香港中文大學人臉素描數據集(CUFS)[3],其子集CUHK數據集中包含188對香港中文大學不同學生的真實人臉圖像和對應的人臉素描圖像(遵循先前的工作[21],本文將此數據集劃分為60對學生人臉圖像的訓練集、22對學生人臉圖像的驗證集和100對學生人臉圖像的測試集)；數據集中的圖像都是在正常的光線條件下采集的，由藝術家根據每一張正面人臉照片畫出其中性表情的人臉素描圖像。

為了進行更全面的評估，本文還使用了CUFSF數據庫[3,4]，其中包括來自FERET數據庫[30]的1 194對灰色真實人臉圖像和對應的人臉素描圖像。本文將其中190對灰色真實人臉圖像和對應的人臉素描圖像用于訓練，60對灰色真實人臉圖像和對應的人臉素描圖像用于驗證，944對灰色真實人臉圖像和對應的人臉素描圖像用于測試。由于此數據集中的人臉素描圖像具有更為夸張的表情，而且很多真實人臉圖像都是在不同的照明條件下拍攝采集的，因此這個數據集特別具有挑戰性，但同時更接近現實情況中的法醫場景。

4.2 實驗設置

實驗設備配有2塊NVIDIA 1080Ti圖像處理器，操作系統為Linux下Ubuntu16.04版本，實驗工具平臺為TensorFlow 1.8。在模型訓練過程中，首先將每個輸入圖像的尺寸調整為256×256。與CycleGAN中的網絡初始化設置類似，從零開始訓練網絡，并將前100次迭代的學習率設置為0.000 2，然后在接下來的100次迭代中將學習率線性衰減為0。對于超參數，設置λGAN=1,λsem=0.1和λcyc=1。遵循之前的工作[2],使用Adam算法[31]進行優化，將α設置為0.001,β1設置為0.5,β2設置為0.99,將ε設置為10-8。最后，將轉換合成的輸出圖像的尺寸裁剪為200×250。

4.3 實驗結果評估

4.3.1 定性評估

圖2所示為在香港中文大學數據集(CUFS)[3]上的定性比較結果。從左到右依次為原始輸入的人臉素描圖像、真實人臉圖像(Ground Truth)、CycleGAN的輸出結果、Pix2Pix的輸出結果、UNIT的輸出結果、CA-GAN的輸出結果和本文模型的結果。從圖2中可以看出，UNIT的輸出圖像是模糊的，甚至缺少了很多面部結構信息并且存在大量的偽影。而生成模型Pix2Pix和CycleGAN通過對抗損失避免了模糊效果。然而，在生成高分辨率的圖像時，由于訓練階段不穩定，容易產生不期望得到的偽影。通過比較發現，本文提出的模型可以減少這些偽影，同時保留了高級的細節。此外，CycleGAN生成的圖像可以媲美人工著色的圖像，但同時也生成了不真實的紋理。CA-GAN生成的圖像相比于前3種模型得到了更平滑的邊緣結構，偽影也大大減少，相比本文模型則在灰度顯示上更接近Ground Truth的，但是在一些面部細節結構(比如嘴巴、眼睛)上，本文模型更接近Ground Truth。本文模型使用感知缺失代替了像素級的循環一致性，從而可以生成更真實、更清晰的紋理，這使得網絡能夠通過釋放一直保持的像素級信息的約束，在輸出圖像中生成更高質量的紋理。

Figure 3 Comparison of sketch to photo synthesis results on CUFSF database圖3 CUFSF數據集上的對比結果

圖3展示了5種模型分別在CUFSF數據集[3,4]上的示例照片上的合成結果。從左到右依次為原始輸入的人臉素描圖像、真實灰色人臉圖像(Ground Truth)、CycleGAN的輸出結果、Pix2Pix的輸出結果、UNIT的輸出結果、CA-GAN的輸出結果和本文模型的結果。因為與真實人臉圖像相比，CUFSF數據集中的素描人臉圖像的特征被過分夸大了，非常接近現實，所以對于很多在此數據庫上進行的工作都特別具有挑戰性。從圖3中可以看出，前3種基準生成模型(CycleGAN、Pix2Pix和UNIT)產生了不良的偽影，尤其是在面部特征上。對比CA-GAN在發型、眼睛的面部結構生成結果上，Pix2Pix、UNIT和本文模型的生成結果都更加接近Ground Truth的，但CA-GAN的生成結果在灰度顯示上的還原度最高。綜上所述，與其他4種模型相比，本文模型能夠在生成更加真實的人臉圖像的同時最小化偽影。

4.3.2 定量評估

表1分別列出了5種模型生成的輸出圖像和相應的原始真實圖像(Ground Truth)之間的平均結構相似度指數SSIM[32]。本文計算了香港中文大學的數據集CUHK[3]中100個樣本的平均SSIM，結果表明，在保證輸入圖像保真度的前提下，本文模型可以大大提高轉換合成的真實人臉圖像與人臉素描圖像的匹配精度。

Table 1 SSIM and PSNR comparison of our framework with four baseline models on CUHK and CUFSF 表1 5種模型在CUHK和CHFSF數據集上的性能比較

由表1可知，本文模型比前3種模型在人臉生成圖像的質量上有所提升。相比CA-GAN，本文模型在CUSFS數據集上的客觀指標更高，在CUHK數據集上的2項指標則相差不多。

由于本文的最終目標是將由人臉素描圖像生成的真實人臉圖像分發給公安機關進行嫌疑犯的驗證，在之前工作[17]的基礎上，本文進行了另外2個實驗，一個是基于人類主觀判斷的視覺真實感，另一個是使用預先訓練好的人臉驗證器對本文模型的輸出結果進行人臉識別準確性的驗證。但是，與文獻[17]不同,對于前者,在基于香港中文大學數據集[3]中的100個樣本的測試集上,對于每一個樣本，以隨機的順序向受試者展示由5種不同模型生成的圖像和一幅原始的真實圖像,并給每位受試者一秒鐘的時間來判斷哪一幅圖像最接近原始的真實圖像。然后計算出5種模型的平均“愚弄”率并將其展示在表2中。對于后者，本文使用一個預先訓練好的VGG16人臉驗證器來評估本文模型對人臉驗證準確性的影響。對于每張輸入的素描，得到分別使用4種不同模型生成的輸出圖像，再將生成得到的圖像與總測試庫進行人臉驗證，表2中顯示了每個模型的驗證精度。可以看出，本文模型的驗證精度明顯優于前3種的，與CA-GAN模型分別在2個數據集上交替領先。在定量和定性評價上，CA-GAN模型在數據集CUSFS上的效果不如本文模型的，在CUHK數據集上則占有些許優勢。綜上所述，本文模型在偽影移除和識別性能改進方面具有一定的優越性。

Table 2 Fooling rate and verification accuracy of our model with four baseline models on CUHK and CUFSF 表2 5種模型在CUHK和CHFSF數據集上的“愚弄”率與驗證精度比較

5 結束語

本文提出了一種基于人臉素描圖像到真實人臉圖像轉換合成任務的無監督學習模型，并對框架結構的相關理論基礎進行了詳細說明。基于PGGAN生成器結構和UNIT的共享潛空間假設設計了一個具有跳連接的生成對抗網絡，成功地將素描人臉圖像轉換成真實的人臉圖像，并取得了更好的效果。與目前相關的無監督方法相比，本文利用了額外的語義一致性損失，將輸入的語義信息保留在輸出中，并將像素級的循環一致性損失替換為感知損失，生成了更清晰的圖像。使用PGGAN生成器的鏡像架構來生成高分辨率的圖像。在2個流行的開源數據集CUFS和CUFSF上的實驗表明，本文模型在圖像生成質量和主觀指標上都取得了顯著的提高。在未來的工作中，將繼續重點優化網絡結構，以期更高效地生成高質量的圖像，并將繼續探索本文模型在其他圖像轉換合成任務中的應用。