基于部分卷積和多尺度特征融合的人臉圖像修復模型*

孫 琪,翟 銳,左 方,張玉濤

(1.河南大學軟件學院，河南 開封 475000；2.河南省智能網絡理論與關鍵技術國際聯(lián)合實驗室,河南 開封 475000； 3.河南省高等學校學科創(chuàng)新引智基地，河南 開封 475000；4.河南省智能數據處理工程研究中心,河南 開封 475000)

1 引言

人臉識別通過提取人臉的面部特征實現(xiàn)身份識別，因其非接觸性、簡便性等優(yōu)勢，成為生物特征識別領域的熱門研究內容。實際應用場景中，若出現(xiàn)人臉被遮擋的現(xiàn)象，將嚴重影響識別成功率，這是目前人臉識別面臨的主要問題之一。針對該問題，可采用圖像修復進行人臉信息補全。圖像修復是指利用完好部分的關聯(lián)信息對缺失部分進行修復的過程，有助于恢復圖像的完整信息。但是人臉五官細節(jié)個性化明顯，幾何結構復雜，包含了大量的語義信息，人臉圖像修復的難度較大。

傳統(tǒng)的圖像修復方法對于受損面積較小、結構簡單的受損圖像修復具有良好的效果。Barnes等[1]使用迭代的方法搜索最合適的補丁來填充破損區(qū)域。但是，該方法修復的背景大多是平滑的區(qū)域，難以捕捉到高級的語義信息。

近年來，基于深度學習的圖像修復方法取得了良好的效果。基于深度學習的圖像修復方法除了利用受損圖像的自身信息以外，還結合了圖像的結構特征和語義特征，合理性進一步提高，并取得了更好的修復質量和視覺效果。

Liu等[2]提出了一種基于部分卷積PConv(Partial Convolution)和自動掩膜更新的模型，對缺失的圖像進行識別。其中，與普通卷積相比，部分卷積更注重獲取圖像完整區(qū)域的特征信息。隨著神經網絡層數的加深，無效像素逐漸變成有效像素，導致深層網絡無法學習掩膜與圖像之間的關系，使修復后的圖像存在邊界偽影和局部色差問題。Liu等[3]提出了一種多級人臉圖像修復網絡模型MLGN(Multi-Level Generative Network)，使用多級結構對缺失圖像進行修復，可以獲取更多特征信息。但是，特征信息之間的關聯(lián)性不足，導致修復后的圖像出現(xiàn)模糊、細節(jié)缺陷等問題。

針對上述問題，本文開展了相關研究，對不規(guī)則掩膜的人臉圖像進行修復，并消除模糊現(xiàn)象，提出了基于部分卷積和多尺度特征融合的人臉圖像修復模型MS-FIIM(Multi-Scale feature integration Facial Image Inpainting Model)，主要內容如下：

(1)MS-FIIM包括多尺度修復網絡和判別器網絡。多尺度修復網絡由主分支模塊(Main Branch)和多級特征提取模塊MS-FEM(Multi-Scale Feature Extraction Module)組成，負責獲取面部的多尺度特征信息。其中，在多級特征提取模塊中使用SE(Squeeze and Excitation)注意力機制提升有用特征信息的重要程度，抑制無用的特征信息。使用多尺寸卷積核的Inception塊獲取不同感受野上的人臉圖像特征信息。此外，通過加入跳躍連接，使下采樣過程中的特征再次被利用，以有效解決圖像破損部分的特征損失，緩解梯度消失的問題。判別器網絡由多種卷積神經網絡組合而成，通過與多尺度修復網絡的相互對抗，保證修復圖像的紋理結構和色彩的一致性，達到消除局部色差和邊界偽影的目的。

(2) 使用多尺度結構相似度MS-SSIM(Multi-Scale StructuralSIMilarity)[4]和L1距離改進的內容損失、生成圖像與修復圖像的對抗損失、感知損失、風格損失、全變分損失共同組成聯(lián)合損失函數對模型進行訓練，提高對圖像特征的捕捉能力，保證修復圖像的全局一致性。

2 相關工作

圖像修復的目的是將圖像中缺失的部分補全，并使其與周圍情景保持一致性。圖像修復技術不斷發(fā)展，在計算機視覺領域得到了廣泛應用。本節(jié)主要從傳統(tǒng)方法和基于深度學習的方法出發(fā)，對圖像修復方法進行簡要的分析，并基于現(xiàn)有研究和現(xiàn)存問題，提出了一種更有效的解決方案。

2.1 傳統(tǒng)圖像修復方法

傳統(tǒng)的圖像修復方法可以分為基于擴散(diffusion-based)[5]的方法和基于紋理(patch-based)[6,7]的方法2種。

2.1.1 基于擴散的方法

Bertalmio等[5]提出了基于擴散的方法填充損壞的區(qū)域，將相鄰像素的特征信息傳播到破損區(qū)域，使缺失的信息得以填補。但是，該方法僅適用于處理小面積的破損區(qū)域，并要求破損區(qū)域與周圍像素之間的色彩和紋理差異較小。當破損區(qū)域過大且含有豐富紋理時，能利用的圖像塊的相似性減弱，導致匹配到合適紋理塊的難度加大，從而使修復區(qū)域變得模糊，無法達到理想的修復結果。

2.1.2 基于紋理的方法

針對基于擴散的方法無法修復大面積破損區(qū)域的問題，Criminisi等[6]于2003年提出了基于紋理的目標移除和區(qū)域填充方法，改善了修復后的結構和紋理。此后，眾多研究人員在Criminisi方法的基礎上提出了許多改進方法。Tang等[7]提出的CBLS(Coherence-Based Local Searching)方法，提升了對背景復雜的大塊破損區(qū)域的修復效果。Barnes等[1]提出了一種用于快速匹配圖像塊之間的近似臨近點的隨機算法，通過采樣找到匹配點，然后利用自然圖像中的連貫性將匹配點快速傳播到周圍區(qū)域。

總體來說，針對小區(qū)域遮擋，圖像信息與缺損區(qū)域相似度較高的圖像，傳統(tǒng)的修復方法能夠取得較好的修復效果。但是，當圖像的缺損區(qū)域較大，圖像的內容和層次缺乏連貫性時，可能會造成關鍵信息的丟失，修復結果較差。對于被遮住的人臉圖像，上述方法無法根據圖像的語義信息生成對應的圖像目標。

2.2 基于深度學習的修復方法

基于深度學習的圖像修復技術憑借其優(yōu)異的性能逐漸成為業(yè)內的主流研究方向。其中，最具有代表性的圖像修復方法包括基于卷積神經網絡CNN(Convolutional Neural Network)的方法[8]和基于生成對抗網絡GAN(Generative Adversarial Network)的方法[9]。

基于CNN的圖像修復方法在早期基于深度學習的圖像修復方法中占據重要地位。Pathak等[10]首先將深度學習用于圖像修復，使用編碼器-解碼器結構，通過編碼器將待修復的圖像特征映射到低維特征空間，解碼器通過反卷積重建輸出信號。由于該編解碼網絡使用普通的卷積網絡，在修復任意形狀的掩碼圖像時，會出現(xiàn)視覺偽影。Liu等[2]提出了基于部分卷積和自動更新掩膜的方法對缺失的圖像進行修復，但修復后的圖像存在邊界偽影和局部色差問題。Ronneberger等[11]在2015年提出了U-Net，因其網絡結構類似于U形，因此被稱為U-Net，在醫(yī)學圖像分割以及語義分割方面得到了廣泛應用。它采用編碼-解碼的方法，將底層信息與高層信息相融合。此后，Hong等[12]通過引入特征融合網絡與U-Net網絡結合進行圖像修復；楊文霞等[13]將U-Net網絡與密集連接塊相結合對人臉圖像進行修復。

對于遮擋區(qū)域較大、結構復雜的圖像，使用基于CNN的方法修復后的圖像存在區(qū)域色差過大、圖像紋理缺失等問題。2014年，Goodfellow等[9]提出了由2個深層神經網絡組成的GAN，具有自生成的能力，被廣泛應用于圖像生成、風格遷移和超分辨率重建等。與CNN相比，GAN對語義結構復雜的圖像修復效果較好，尤其是面部圖像修復[14]。

Iizuka等[15]使用擴張卷積，通過引入一個局部和全局性的判別器，保留圖像的空間結構，對于大塊的結構狀遮擋區(qū)域，修復效果較差。Yu等[16]引入由粗到細的兩階段修復方法，首先得到破損區(qū)域的粗略估計，然后引入注意力機制，再對粗略結果精細化，但會存在失真現(xiàn)象。Yu等[17]在部分卷積的基礎上進一步提出了門卷積，使神經網絡學習掩膜的大小和參數，更好地完成圖像修復，但門控卷積需要內嵌在多層生成對抗網絡中才能發(fā)揮作用。Liu等[3]使用多級生成網絡對人臉圖像進行修復，但修復部分會產生模糊現(xiàn)象，與非缺失部分人臉細節(jié)的匹配度不高。

為解決破損人臉圖像的修復問題，本文提出了一種基于部分卷積和多尺度特征融合的人臉圖像修復模型，包括多尺度修復網絡和判別器網絡2大模塊。多尺度修復網絡利用部分卷積的特性得到與破損區(qū)域更接近原圖語義信息的紋理結構，通過多尺度網絡架構，獲取多尺度的特征信息。此外，通過多尺度修復網絡與判別器網絡之間的對抗訓練使修復圖像更加逼真，提高了圖像修復的質量和真實度，解決了生成圖像的局部色差問題，使修復圖像的全局一致性得到保障，視覺效果進一步增強。

3 本文提出的模型

本節(jié)詳細介紹所提出的基于部分卷積和多尺度特征融合的人臉圖像修復模型MS-FIIM的網絡結構和工作原理。模型主要分為2部分：多尺度修復網絡和判別器網絡，結構如圖1所示。其中，Iin和Imask分別表示輸入圖像和掩膜，Igen表示生成器生成的圖像，Igt表示真實圖像，Icomp表示修復后的圖像，Lvalid表示非破損區(qū)域的損失，Lhole表示破損區(qū)域的損失，Ltv表示全變分損失，Lperceptual表示感知損失，Lstyle表示風格損失，Ladv_gen表示生成圖像的對抗損失，Ladv_comp表示修復圖像的對抗損失。多尺度修復網絡主要采用部分卷積的自動掩膜更新策略，可以根據卷積過程中掩膜的變化進行調整。在進行掩膜率較大的修復任務時，可以避免虛假信息的誤用，生成接近真實圖像的結果。但是，由于修復網絡不斷加深，淺層特征信息無法得到充分利用，導致修復結果出現(xiàn)邊界偽影和局部色差問題，因此本文設計了多尺度修復網絡，用于提取不同尺度的特征信息對受損圖像進行修復。其中，使用SE注意力機制學習每個特征通道的重要程度，并根據重要程度提升有用的特征信息，抑制對人臉修復作用較小的特征信息。使用多尺寸卷積核的Inception模塊聚合多種不同感受野上的特征獲取人臉圖像的特征信息。另外在多尺度修復網絡中加入跳躍連接，用于融合深層特征和淺層特征，確保提取的特征信息得到充分利用。判別器網絡則通過與多尺度修復網絡的對抗訓練，解決修復圖像存在的偽影模糊問題，確保圖像破損區(qū)域與全局區(qū)域的一致性。

Figure 1 Structure of MS-FIIM model圖1 MS-FIIM模型結構

3.1 多尺度修復網絡

多尺度修復網絡包括主分支模塊(Main Branch)和多級特征提取模塊，如圖2所示。主分支模塊用于提取圖像的高分辨率特征并融合不同層次的分辨率特征。多級特征提取模塊由中空間分辨率分支(Middle Spatial Branch)和低空間分辨率分支(Low Spatial Branch)組成，用于提取不同尺度的特征，增強對不同特征的表達能力。

Figure 2 Structure of multi-scale inpainting network圖2 多尺度修復網絡結構

3.1.1 主分支模塊

主分支模塊是一個15層U-Net結構的網絡。對任意不規(guī)則掩膜進行修復時，與普通卷積相比，部分卷積可以將掩膜與圖像同時卷積，以提高修復的生成效果。對人臉圖像修復時，使用多尺寸卷積核的Inception模塊[18]獲取人臉的多尺度特征信息。Inception模塊結構如圖3所示，圖中S1表示卷積核的步長為2。通過不同大小的卷積核融合多尺度特征信息，增強了圖像破損區(qū)域與完好區(qū)域的關聯(lián)性，提升了修復后圖像的完整性，增大了網絡感受野。使用編碼器-解碼器結構可以提高輸入圖像的平移、旋轉等基本變換的魯棒性，這對具有姿態(tài)變化的人臉圖像的修復非常重要。

Figure 3 Structure of Inception module 圖3 Inception模塊結構

下采樣階段共包含8層，由部分卷積層、批量歸一化層BN(Batch Normalization)和LeakyReLU(Leaky Rectified Linear Unit)激活函數層組成。部分卷積層的內核大小分別為3，4，4，4，4，4，4，4，通道數分別為32，64，128，256，256，512，512，512。第2層到第6層網絡中，先經過卷積層進行下采樣操作，再經過Inception模塊提取多層次特征。使用Concatenate操作連接多級特征提取模塊，實現(xiàn)多個尺度特征的融合。加入BN層可以增加網絡的泛化能力。隨著通道數的增加，特征圖的尺寸逐漸減小，實現(xiàn)逐層獲取修復圖像的特征信息。

上采樣階段共包含7層，由部分卷積層、BN層和ReLU激活函數層組成。部分卷積層的內核大小為3，通道數分別為512，512，256，256，128，64，3。在圖像進入卷積層前，上采樣操作先使用最近鄰插值法放大圖像尺寸。最后一層使用Sigmoid激活函數生成最終的修復圖像。與下采樣階段相似，上采樣階段使用Concatenate連接中空間分辨率分支和低空間分辨率分支提取的特征，獲取多尺度的特征信息。為了使網絡有效融合深層的語義信息和淺層的空間局部信息，搜尋和提取圖像破損區(qū)域的語義信息，在下采樣和上采樣階段，相同分辨率的特征圖之間使用跳躍連接，以改進訓練速度，提升網絡性能。

3.1.2 多級特征提取模塊

特征金字塔網絡FPN(Feature Pyramid Network)[19]是一個利用多層特征處理的卷積神經網絡，利用金字塔池捕捉上下文信息。受FPN啟發(fā)，本文在多尺度修復網絡中設置MS-FEM。通過特征提取模塊(FEM)對圖像進行編碼，將編碼后的特征分成2個分支，即中空間分辨率分支和低空間分辨率分支。中空間分辨率分支共包含8層，由卷積核大小為5×5和3×3的部分卷積以及LeakyReLU激活函數組成，并在部分卷積層和LeakyReLU激活函數層之間加入BN層。此外，在2個分支網絡中，卷積層間隔使用最近鄰插值法對圖像尺寸進行放大。

Figure 4 Structure of SE attention mechanism圖4 SE注意力機制結構

3.2 判別器網絡

判別器網絡用于判別輸入圖像是真實圖像還是修復圖像，并通過與修復網絡的對抗訓練，改善修復圖像中存在的邊界偽影問題，以此提高破損區(qū)域與非破損區(qū)域內紋理結構的一致性。判別器網絡結構如圖5所示。

Figure 5 Structure of discriminator圖5 判別器網絡結構

判別器網絡共包括7層，前6層使用卷積核大小為4×4、步長為2(圖中表示為S1)的卷積對特征圖的大小進行縮減，并在每一層卷積后，加入BN和LeakyReLU激活函數；最后1層使用卷積核大小為4×4、步長為1(圖中表示為S2)的卷積以及Sigmoid激活函數輸出判別器結果。判別器結構如圖5所示。

3.3 損失函數

為了保持修復圖像的全局一致性和細節(jié)精細化，本文構造了一個聯(lián)合損失函數。由于L1損失僅僅懲罰像素之間的差異，并未考慮到圖像自身潛在的結構信息，因此本文引入多尺度結構相似度MS-SIM，構造了新的內容損失(L1+MS-SSIM)。此外，還引入對抗損失用于判別器與多尺度修復網絡之間的對抗訓練，使修復效果更具有真實感。本文所設計的聯(lián)合損失函數共由6個損失函數組成：內容損失(非破損區(qū)域的損失Lvalid、破損區(qū)域的損失Lhole)、感知損失Lperceptual、風格損失Lstyle、全變分損失Ltv和對抗性損失Ladv，如式(1)所示:

Ltotal=λ1Lhole+λ2Lvalid+λ3Lperceptual+

λ4Lstyle+λ5Ltv+λ6Ladv

(1)

其中，λ1,λ2,λ3,λ4,λ5和λ6分別為相應損失項的權重系數。

通過對100幅驗證圖像執(zhí)行超參數搜索確定各損失項的權重系數，λ1,λ2,λ3,λ4,λ5和λ6分別取值6.0，1.0，0.05，120，0.1和0.1。

3.3.1 內容損失

內容損失包括破損區(qū)域的損失Lhole和非破損區(qū)域的損失Lvalid。本文使用L1距離和MS-SSIM組合構建內容損失，分別如式(2)和式(3)所示：

Lhole=(1-a)‖(E-M)⊙(Igen-Igt)‖1+

a(1-MSSIM)((E-M)⊙(Igen-Igt))

(2)

Lvalid=(1-a)‖M⊙(Igen-Igt)‖1+

a(1-MSSIM)(M⊙(Igen-Igt))

(3)

其中,M表示初始圖像掩膜，⊙表示Hadamard乘積，Igen表示生成器生成的圖像，Igt表示真實圖像，MSSIM為多尺度結構相似指數[4]，α=0.16表示超參數。MSSIM計算如式(4)和式(5)所示：

l(x,y)·cs(x,y)

(4)

(5)

其中，μx和μy分別表示圖像x和y中所有像素的均值；σx和σy為圖像的方差；σxy為圖像x和y的協(xié)方差；C1和C2是為避免分母出現(xiàn)0而設置的常數，lM(·,·)表示在尺度M下2幅圖像的亮度；csj(·,·)表示在尺度j下2幅圖像的對比度和結構相似度;M表示最大尺度。

3.3.2 感知損失

為了保留全局圖像的結構信息，保證高層結構的相似性，圖像修復需要采用類似真實圖像的特征表示，而不僅是圖像之間的像素匹配。感知損失使用在ImageNet數據集[20]上預訓練的VGG-16特征提取器[21]分別提取生成圖像和真實圖像的特征圖，并根據兩者之間的L1距離來計算，如式(6)所示:

(6)

3.3.3 風格損失

感知損失有助于獲得更高層次的結構，避免生成圖像偏離真實圖像。為了保持風格一致性，本文在聯(lián)合損失函數中增加了風格損失。風格損失計算圖像經過VGG-16生成的特征圖的克萊姆矩陣的L1距離。風格損失如式(7)所示：

(7)

3.3.4 總變分損失

總變分損失用來增強圖像的空間平滑度,如式(8)所示:

(8)

3.3.5 對抗損失

感知損失和風格損失是圖像語義和特征信息的組合，但它們在處理細節(jié)方面還有欠缺。因此，在聯(lián)合損失函數中增加對抗損失，通過判別生成的修復圖像是來自生成器還是來自真實的圖像，使修復的效果具有真實感。對抗損失包括生成圖像的對抗損失Ladv_gen和修復圖像的對抗損失Ladv_comp，并通過系數權衡二者的重要程度。實驗中使用交叉熵定義對抗損失。對抗損失如式(9)所示:

Ladv=0.7Ladv_gen(ygen,ygt)+

0.3Ladv_comp(ycomp,ygt)

(9)

其中,ycomp為修復后的圖像經過判別器網絡的預測結果，ygen為生成圖像經過判別器網絡的預測結果，ygt為真實圖像的標簽。

4 實驗與結果分析

4.1 實驗設置

本文使用人臉數據集CelebA-HQ[22]對模型進行實驗。該數據集共包含30 000幅圖像，按訓練集與測試集9∶1的比例，使用隨機分配方法將27 000幅圖像作為訓練集，3 000幅圖像作為測試集，訓練集與測試集的圖像不重復，沒有交集。使用NVIDIA提供的掩膜數據集，按照尺寸分為(0.01,0.1]，(0.1,0.2]，(0.2,0.3]，(0.3,0.4]，(0.4,0.5]和(0.5,0.6]共6種比例，其中每種比例按照有、無邊界各分1 000幅，因此掩膜測試集的數量共為12 000幅。不同掩膜率的數據集樣例如圖6所示。在實驗中，所有訓練和測試的掩膜和圖像尺寸為256×256，并使用隨機的水平和垂直翻轉對掩膜數據集進行數據增強。輸入圖像的批大小設為8。生成器和判別器的初始學習率分別設置為0.000 5和0.000 02。訓練過程共設置150個epochs。所有的實驗均在Python和Ubuntu 16.4系統(tǒng)上進行。

Figure 6 Samples mask images with different proportions 圖6 不同掩膜率樣例圖

4.2 實驗結果和分析

本節(jié)從定性和定量2個方面分析本文提出的模型MS-FIIM與2種基于深度學習的圖像修復模型的對比結果。

4.2.1 定性比較

本節(jié)討論所提出模型MS-FIIM與PConv和MLGN的定性比較，結果分別如圖7和圖8所示。

Figure 7 Comparison of image inpainting results with boundary masks圖7 有邊界掩膜的圖像修復結果比較

Figure 8 Comparison of image inpainting results with no-boundary masks圖8 無邊界掩膜的圖像修復結果比較

實驗結果表明，當掩膜率較小時，PConv、MLGN和MS-FIIM對受損人臉圖像的修復效果均取得了較好的效果。當掩膜率增大時，PConv和MLGN修復的人臉圖像與真實人臉圖像的差異較大，圖像中出現(xiàn)瑕疵、模糊等現(xiàn)象。PConv模型修復的圖像細化了紋理結構，獲得了合理的上下文語義，但無法保證局部一致性，存在邊界偽影和局部色差問題。MLGN模型修復的圖像雖然填充區(qū)域像素與周圍像素在語義上有一定的相似性，但產生的圖像較模糊，修復區(qū)域的紋理細節(jié)不夠精細，例如眼睛、皮膚等紋理細節(jié)不清晰，人臉比例和表情視覺效果不夠好。本文提出的模型MS-FIIM，修復后圖像具有合理的紋理結構和上下文的語義信息，保證了全局一致性，局部色差問題有明顯改善，在視覺效果上極大提高了修復圖像的真實性，增強了修復圖像的質量，體現(xiàn)出MS-FIIM在任意比例不規(guī)則掩膜情況下圖像修復的優(yōu)越性。

4.2.2 定量比較

本文采用3個定量評價指標，分別為結構相似度SSIM(Structural SIMilarity)[23]、峰值信噪比PSNR(Peak Signal-to-Noise Ratio)[23]和L1損失。在圖像修復的定量分析中，通過比較修復圖像和真實圖像之間的相似度衡量所提出模型的性能。

如表1所示，本文比較了在CelebA-HQ數據集[22]上，結合6種掩膜率(0.01,0.1],(0.1,0.2],(0.2,0.3],(0.3,0.4],(0.4,0.5]和(0.5,0.6]，本文提出的MS-FIIM與PConv和MLGN修復結果的PSNR、SSIM和L1損失值。表1中，加粗數字代表單列上最優(yōu)，N表示無邊界，B表示有邊界。

Table 1 Comparison of PSNR, SSIM and L1 of various models on CelebA-HQ dataset表1 各模型在CelebA-HQ數據集上的PSNR、SSIM和L1損失值

從表1可以看出，本文模型在掩膜率較小的情況下修復效果提高并不明顯，與PConv和MLGN的修復結果相比差距較小。出現(xiàn)該情況可能存在的原因是，當掩膜率較小時，破損區(qū)域的面積較小，PConv和MLGN生成圖像的局部色差、邊界偽影和區(qū)域模糊問題不明顯，因此都取得了較好的效果。當掩膜率較大時，本文所提出的模型MS-FIIM在PSNR、SSIM和L1損失3個指標上表現(xiàn)更好。與PConv和MLGN的修復結果相比有較大的提升，大幅度減輕局部色差，使生成的圖像具有細致的紋理結構和更好的視覺效果，這也證明了所提出模型的可行性和優(yōu)越性。

5 結束語

本文針對人臉圖像修復存在的局部色差、邊界偽影等問題，提出了一種基于部分卷積和多尺度特征融合的人臉圖像修復模型，實現(xiàn)對人臉圖像中不同比例、形狀和位置的破損區(qū)域的修復。通過與其他先進修復模型進行實驗對比，本文提出的模型能夠得到具有更合理的紋理結構和上下文語義信息的修復圖像。引入SE注意力殘差塊和跳躍連接的多尺度特征融合，使修復圖像具有更好的視覺效果，彌補了部分卷積在深層網絡中因其自身局限性造成的局部色差問題。同時，結合生成對抗網絡思想，利用判別器與修復網絡的對抗訓練，改善了圖像中邊界偽影的問題，使圖像的破損區(qū)域與全局區(qū)域具有視覺一致性。另一方面，模型也存在局限性，當掩膜率較大時，修復圖像仍有細節(jié)缺陷，比如眼睛顏色不一致和牙齒模糊等問題。但是，從修復圖像的整體質量和視覺效果而言，本文模型在很大程度上提高了修復的性能。本文下一步的工作是針對細節(jié)缺陷問題，提出新的解決方案。