結合邊緣信息和門卷積的人臉修復算法

王富平，李文樓，劉 穎1,,3，盧 津1,，公衍超1,

1.西安郵電大學電子信息現場勘驗應用技術公安部重點實驗室，西安710121

2.西安郵電大學圖像與信息處理研究所，西安710121

3.陜西省無線通信與信息處理技術國際合作研究中心，西安710121

人臉比對檢索是公安刑偵案件分析的重要手段，但由于監控視頻采集時人物非接觸不配合特性和嫌疑人的反偵察意識很強等因素，導致監控視頻中抓拍的人臉往往存在遮擋現象，比如戴眼鏡，帽子或者口罩等。由于面部信息的不完整，給公安干警的工作帶來很大困難。此外，在身份認證、人臉識別、應用軟件、門禁系統等方面都需要完整且合理的人臉信息。而人臉圖像修復通過利用圖像中有用信息對遮擋區域進行填充，使修復后人臉圖像在視覺內容上接近完整人臉。人臉修復技術通過對遮擋區域填充顏色和紋理等信息，緩解實際中由于人臉遮擋而導致的比對和識別正確率低的不足，對人臉表情識別[1]、人臉表情數據增強[2]等具有重要的意義。

人臉圖像修復是圖像修復方法的具體應用。早期的圖像修復算法利用擴散方程沿遮擋邊界將低層特征從已知區域迭代傳播到未知區域，但僅適用于恢復尺寸較小且較均勻的區域遮擋[3]。Barnes 等[4]提出一種高效的塊匹配算法，顯著提高了恢復圖像的完整性。當源圖像中有相似塊時該方法恢復效果較好，但當源圖像中不包含未知區域內相似塊時，會出現紋理和結構修復錯亂的情況。為了更充分利用已知區域信息進行圖像修復，He 等[5]提出的統計塊概率修復方法，通過計算塊的概率填充空白區域實現較大面積的圖像修復。Bertalmío 等[6]通過引入紋理合成來進一步改善修復效果。

隨著深度學習和生成對抗網絡[7]的興起，眾多基于深度學習技術的圖像修復方法被提出。Iizuka 等[8]提出了一種具有全局和局部一致性的全卷積圖像修復網絡。該網絡能夠修復圖像中的大面積區域遮擋，但是由于遮擋面積過大，難以有效提取有效特征，使得修復的圖像紋理結構不自然。為了得到更符合圖像語義的修復圖像，Li 等[9]提出了一種基于深度生成網絡的圖像補全模型。算法使用生成網絡合成殘缺部分以實現遮擋部分的整體修復。然而，由于沒有利用相對更遠位置的像素信息，導致其修復區域存在模糊和語義不正確的現象。Yu 等[10]提出了一種端到端的圖像修復模型，其采用疊加生成網絡以確保生成區域與周圍環境顏色和紋理一致。此外，為了合理運用大尺度空間內的像素信息，上下文注意模塊被應用到網絡中，實現對更大局部區域圖像特征信息的有效提取。雖然這些方法針對矩形區域遮擋具有良好的修復效果，但仍無法實現對任意形狀遮擋區域的修復。

普通卷積被用于遮擋圖像修復時存在局限性。為了實現對任意形狀遮擋的準確修復，Liu 等[11]提出部分卷積技術，其利用二值掩碼來控制卷積計算，以提取有效像素特征。同時通過掩碼更新機制產生高質量掩碼，從而提高圖像修復質量。但由于每層中所有通道共享相同的遮擋，使得特征提取不夠靈活。Yu 等[12]提出了基于門卷積的圖像修復深度網絡。該網絡通過自學習以區分有效像素和無效像素，提高了修復區域和非遮擋區域的顏色一致性，使修復圖像更加符合真實結構。眾所周知，圖像中邊緣細節特征包含豐富的圖像內容信息，且邊緣兩邊的圖像強度值明顯不同。該方法由于沒有充分考慮到邊緣特征，導致所修復邊緣與臨近像素顏色融合，從而產生邊緣模糊現象。Nazeri 等[13]提出了邊緣連接模型，通過邊緣生成器獲取圖像邊緣信息，從而解決了邊緣模糊的問題。

為了滿足圖像修復工作多樣化和個性化的需求，Jo 等[14]提出了一種圖像編輯系統，該系統由一個端到端可訓練的卷積網絡組成，通過用戶輸入自由形式遮擋、草圖和顏色信息，并將它們用作生成圖像的準則，從而指導圖像完全按照用戶需求完成圖像的修復工作。Xiong 等[15]提出了一種前景感知的圖像修復系統，該模型先學習預測前景輪廓，然后以預測的輪廓為指導修補缺失區域。該方法通過輪廓完成網絡預測出物體的整體輪廓，利用輪廓信息的引導，進一步提高了圖像修復的性能。Zheng 等[16]提出了一種多元圖像完成的方法，該方法采用基于概率原理的兩個并行路徑框架——重建路徑和生成路徑，同時還有一個短距加長距的注意層，在實現圖像修復生成多個和多樣的修復結果的同時提高了外觀的一致性。Yang 等[17]提出了關鍵點指導的生產性圖像修補器,該網絡由人臉關鍵點預測子網和圖像修補子網組成，通過采用人臉關鍵點作為結構監督信息，從而保持眼睛、鼻子、嘴巴間的拓撲結果，以及姿態、性別、種族和表情等屬性的一致性。

為了解決圖像修復中邊緣模糊和特征提取精度不足的問題，本文提出了結合邊緣信息和門卷積的人臉修復算法。算法結合了邊緣信息和門卷積操作，使修復圖像在邊緣、圖像結構和色彩一致性方面的表現更佳。其中邊緣生成網絡提供精確邊緣信息，而圖像修復網絡則利用邊緣信息和門卷積填充缺失區域的精細細節，從而產生邊緣清晰、結構合理的高質量修復效果。

1 算法描述

1.1 面向圖像修復的門卷積模塊

Liu 等[11]和Yu 等[12]證明了普通卷積在修復任意形狀遮擋圖像時存在局限性。普通卷積以滑動窗口的方式提取局部特征，其認為窗口內所有像素都是有效的。然而，對于圖像修復而言，當窗口位于遮擋邊界時，卷積窗口像素由非遮擋區域的有效像素和遮罩區域內的無效像素組成。因此，傳統卷積會導致訓練過程中的信息模糊和視覺偽影。

Liu 等[11]提出了基于部分卷積操作，其利用二值掩碼控制有效卷積區域，使卷積僅依賴于有效像素。部分卷積操作如式（1）所示：

其中，W是卷積濾波器的權重，b是偏差。X是當前卷積（滑動）窗口的特征值（像素值），M為對應的二值掩碼圖，1 表示該位置像素有效，0 表示像素無效，sum 代表求和操作，☉表示對應位置元素相乘。每次部分卷積操作之后，通過式（2）更新掩碼圖M：

其中，m′是更新后的掩碼值，更新掩碼規則為：如果原掩碼區中存在至少一個有效值，則將所有位置標記為有效。

雖然部分卷積可以緩解邊緣模糊的不足，但仍然存在一些問題。首先，部分卷積操作中將所有空間位置直接分類為有效或無效硬遮擋,該方法難以適用于邊緣像素的恢復，會導致遮擋區域邊緣產生模糊現象。其次，每層中所有通道共享相同的遮擋，無法對每個通道的遮擋靈活處理。

Yu 等[12]提出利用門卷積模塊自動從數據中學習軟遮擋，動態地識別圖像中有效像素位置，且能很好地處理遮擋和非遮擋區域的過渡。門卷積操作可表示為式（3）：

其中，σ表示sigmoid 激活函數，φ可以是任意激活函數（ReLU 或LeakyReLU），Wg和Wf表示不同的線性卷積濾波器。Gating卷積和sigmoid 激活函數實現動態特征選擇；Feature卷積和LeakyReLU 激活函數實現特征提取，通過兩部分的點乘更有效地選擇和提取圖像中的有用信息。門卷積特有的像素選擇性，使得其能適應更大尺度下和部分像素缺失下的精確局部特征描述。普通卷積和門卷積如圖1 所示。

1.2 生成對抗網絡

生成對抗網絡（generative adversarial network，GAN）的核心思想是“零和博弈”[18-19]，其目標函數如式（4）：

GAN 模型主要由兩部分組成：第一部分是圖像生成網絡G（Generator），其通過輸入一組無序隨機的噪聲z來盡可能產生逼真樣本；第二部分是鑒別圖像真偽的鑒別網絡D（Discriminator），其通過對生成網絡產生的圖像x進行鑒別并更新鑒別網絡參數，以加強對網絡鑒別能力。生成網絡的目標函數是最小化生成圖像與真實圖像的差距，以提高生成樣本的質量，而鑒別網絡則最大化生成圖像與真實圖像的差距，以提升鑒別網絡的判斷準確度。GAN 模型如圖2 所示。

1.3 邊緣連接網絡

Fig.1 Structure of traditional convolution and gated convolution圖1 普通卷積與門卷積的框架結構

Fig.2 Classic GAN model圖2 經典的GAN 模型

邊緣連接GAN 由生成器網絡G1 和鑒別器網絡D1 組成，如圖3 所示。網絡G1 的輸入由遮擋區域二值圖、遮擋圖像及其邊緣圖按通道維度進行級聯組成。通過多層卷積和標準化處理，對不同源信息進行學習和融合，以提取深層次的邊緣紋理結構信息，最終生成遮擋區域的修復邊緣圖。為了提取深層次的邊緣紋理特征，在多層卷積和多層反卷積之間增加了殘差網絡[20]，避免了由于網絡深度過深而導致的梯度彌散問題。

網絡D1 是鑒別邊緣準確性的鑒別網絡，通過學習不斷優化模型參數以提升對網絡G1 所生成的邊緣圖像的鑒別能力。網絡D1 利用Canny 邊緣檢測器提取圖像的邊緣特征，將其作為鑒別器學習的正樣本。然后，通過對網絡G1 生成的負樣本和Canny 邊緣特征進行融合，以提升鑒別器D1 的鑒別能力，同時可以監督網絡G1 生成更符合原圖邊緣信息的邊緣圖像。

在邊緣連接網絡模型的訓練中，通過反向傳播更新G1 和D1 的參數。在兩者相互對抗中，G1 生成邊緣的能力伴隨著D1 鑒別能力的提升不斷加強。網絡D1 通過對網絡G1 生成的邊緣和Canny 邊緣進行多尺度特征匹配[21]以產生最優相似度度量函數，確保網絡G1 產生的修復人臉邊緣圖盡可能逼近于理想Canny 邊緣圖。

生成器G1 由3 個卷積層、8 個殘差塊、3 個反卷積層級聯而成。其中卷積層的卷積核大小依次是7×7，4×4，4×4，而反卷積層則鏡像設置，且都進行頻譜歸一化處理和激活函數ReLU。鑒別器D1 中包含5 個卷積層，卷積核大小均為4×4，都進行頻譜歸一化處理和激活函數為LeakyReLU。

1.4 圖像修復網絡

Fig.3 Edge connect GAN圖3 邊緣連接生成對抗網絡

Fig.4 Image inpainting GAN圖4 圖像修復生成對抗網絡

圖像修復GAN 由生成器G2 和鑒別器D2 組成，如圖4 所示。其中生成器網絡G2 的輸入由遮擋圖像和邊緣連接網絡產生的邊緣圖級聯組成。該網絡利用門卷積來提取輸入圖像特征，通過參數動態學習實現對有效區域和遮擋區域的動態區分，從而減少了遮擋區域對圖像修復的不利影響，使修復圖像的顏色和結構更合理。網絡G2 由多層門卷積、門卷積構成的殘差網絡和多層門反卷積構成，其利用深層神經網絡學習遮擋人臉特征的精確表達。而且，人臉邊緣圖包含人臉精細結構，用以引導網絡G2 在邊緣兩側不同區域修復出不同結構和顏色信息。網絡G2 可將正確的人臉結構特征填充在合理的位置，避免了邊緣模糊的現象。

網絡D2 是圖像修復網絡中的鑒別器，其通過不斷比對并更新鑒別器參數來提升對網絡G2 所生成的修復圖像的鑒別能力。網絡D2 模型中利用預訓練的VGG 模型[22]進行分類鑒別，并為網絡G2 提供用于參數更新的梯度矩陣。該網絡模型訓練中以真實圖像為標簽，使產生的修復圖像與真實圖像的內容和結構更加近似。

Attention 方法[10]的損失函數為空間衰減的?1重建損失和WGAN-GP（Wasserstein generative adversarial networks-gradient penalty）損失，使鑒別器在訓練過程中穩定快速地收斂；GatedConv 方法[12]為了訓練自由形式的修復網絡，用?1重建損失和SN-PatchGAN 損失作為其損失函數，實現深度網絡的快速訓練。與這兩種方法不同，本文圖像修復網絡的優化函數由?1重建損失、對抗損失、感知損失[23-24]和風格損失[25]組成。感知損失利用預訓練的網絡激活圖來定義距離度量，進而懲罰在感知上與標簽不相似的結果。感知損失將生成問題看作是變換問題，使生成圖像更加依賴輸入條件，從而更好地利用輸入邊緣信息對生成圖像進行約束。風格損失利用gram 矩陣計算生成圖像與標準圖像特征之間的協方差矩陣，通過比較特征之間的相關性，提升生成圖像的整體效果。

圖像修復網絡屬于有條件的生成對抗網絡，G2利用條件信息生成修復圖像，D2 對G2 修復圖像進行鑒別，兩者的特有能力在對抗中不斷提升。為了更好地利用輸入的條件信息，門卷積利用可學習參數區分非遮擋區域和遮擋區域，進而基于門卷積對每個通道和每個空間位置的動態特征選擇機制實現對局部特征的精確描述。門卷積中包含兩個卷積操作，分別實現特征提取和動態特征選擇。動態特征選擇利用Sigmoid 函數兩端平滑的特性對特征進行權重衡量，針對有用信息權重較大，從而降低遮擋區域對特征提取的干擾。門卷積通過精確地學習局部特征對遮擋區域進行填充，從而提升修復質量。

生成器G2 由3 個門卷積層、8 個殘差塊和3 個門反卷積層級聯而成。其中門卷積層的卷積核大小依次是7×7，4×4，4×4，而門反卷積層則鏡像設置，激活函數為ReLU。鑒別器D2 中包含5 個卷積層，卷積核大小均為4×4，都進行頻譜歸一化處理和激活函數為LeakyReLU。

1.5 結合邊緣信息和門卷積的人臉修復模型

本文提出的人臉圖像修復模型由邊緣連接生成對抗網絡和圖像修復生成對抗網絡組合產生，如圖5所示。本文利用CelebA 人臉圖像和隨機產生的遮擋二值圖作為該模型的訓練數據。遮擋人臉修復模型的訓練共分為三個步驟：首先，以未遮擋人臉圖像的Canny 邊緣為標簽，通過訓練邊緣連接GAN 模型，使G1 生成完整的修復邊緣圖；其次，利用未遮擋人臉圖像的Canny 邊緣和被遮擋的人臉圖作為輸入，對圖像修復GAN 模型進行訓練，使G2 產生遮擋區域修復后的精確人臉圖像；最后，將邊緣連接GAN 的生成器G1 和圖像修復GAN 的生成器G2 進行級聯，以遮擋二值圖像、遮擋人臉圖像的灰度圖及其邊緣圖為輸入，以未遮擋人臉圖像為標簽對模型進行聯合訓練，實現端到端的遮擋人臉修復。

Fig.5 Face image inpainting model圖5 人臉圖像修復模型

通過加載訓練完成的模型進行實際遮擋人臉測試，此時需要輸入被遮擋的人臉圖像和遮擋二值圖，經過人臉修復深度網絡產生最終修復后人臉圖像。

2 實驗結果及分析

2.1 數據集和參數設置

本文通過大量實驗驗證本文提出的圖像修復算法的有效性和優越性。實驗平臺是Ubuntu16.04，python3.6 和PyTorch 結合的編程環境，CPU 信息為Intel?Xeon?CPU E5-2620 v4@2.10 GHz，顯卡型號為NVIDIA TITAN Xp，顯卡內存12 GB。

本文利用CelebA[26]人臉數據庫對人臉修復網絡進行訓練，輸入圖片大小為256×256，模型優化器為Adam optimizer[27]，生成器學習率設置為0.000 1，鑒別器學習率設置為0.000 01。

2.2 網絡性能分析

為了驗證邊緣連接網絡在圖像不同程度遮擋下的邊緣連接性能，分別對遮擋面積γ為5%、10%、15%、20%和25%的遮擋圖進行邊緣連接，結果如圖6 所示。為了更客觀地比較生成邊緣的質量，利用邊緣品質因子（figure of merit，FOM）[28]指標進行評估,如表1 所示。該測度可以從真實邊緣的丟失、虛假邊緣和邊緣定位誤差三方面對算法進行綜合評價，其值越大，效果越好。可以看出，遮擋面積越大，生成邊緣的FOM 值越小，邊緣連接的準確度越低。而且，圖像遮擋面積變大會導致生成邊緣圖的細節信息減少，并產生邊緣丟失和斷裂。

Fig.6 Generated edge images of edge connect network under different occlusion areas圖6 不同遮擋面積下邊緣連接網絡的生成邊緣圖

Table 1 FOM of edge connect network under different occlusion areas表1 不同遮擋面積下邊緣連接網絡的FOM

為了分析邊緣質量對圖像修復結果的影響，將Canny 邊緣強度圖在閾值T為0.1、0.2（參考標準邊緣）、0.3、0.5 和0.7 情況下生成的邊緣圖分別與遮擋面積為25%的測試圖像作為圖像修復網絡輸入，圖像修復結果如圖7 所示。為了客觀評價修復圖像的質量，利用峰值信噪比（peak signal-to-noise ratio，PSNR）進行評估，如表2 所示，其值越大，效果越好。可以看出，圖像修復網絡針對不同邊緣質量的修復效果相對比較魯棒。當邊緣圖信息過于細致，對修復網絡的過度約束導致局部圖像細節失真，增加了與原圖之間的差異。隨著邊緣信息嚴重減少，其引導圖像修復的能力變弱，導致人臉特征位置和形狀的修復具有較大的隨機性，降低了與原圖之間的相似程度。比如，在鼻子、嘴巴等部位出現更加明顯的邊緣模糊現象。而當閾值為0.2 時，修復圖像質量最好。為此，本文算法邊緣修復網絡在訓練時，以閾值0.2時邊緣圖為參考邊緣標簽。

Table 2 PSNR of image inpainting network with different edge quality表2 不同邊緣質量下圖像修復網絡的PSNR dB

2.3 實驗對比

實驗中采用的對比算法為近些年來基于深度學習的圖像修復算法，分別是Attention 方法[10]、GatedConv方法[12]、EdgeConnect 方法[13]。同時，為了更客觀地驗證本文算法的優越性，本文采用峰值信噪比和結構相似性（structural similarity index，SSIM）指標來衡量修復圖像的質量，其體現了修復算法產生的修復圖像與原圖像之間的差距，PSNR 基于誤差敏感對圖像質量進行評價，SSIM 從亮度、對比度和結構方面判斷圖像之間的相似性。PSNR 和SSIM 值越大，代表差距愈小，即修復的效果越好。

Fig.7 Inpainting results of image inpainting network with different edge quality圖7 不同邊緣質量下圖像修復網絡的修復結果

Fig.8 Inpainting results of different algorithms in occlusion 1圖8 遮擋1 時不同算法的修復結果

Fig.9 Inpainting results of different algorithms in occlusion 2圖9 遮擋2 時不同算法的修復結果

在CelebA 中隨機挑選8 幅人臉圖像，在兩種不同形狀遮擋下利用不同算法產生的修復效果如圖8和圖9 所示。其中，Attention 方法只能修復圖像矩形遮擋圖像，如圖8（b）和圖9（b）所示，其修復后圖像如圖8（c）和圖9（c）所示。在實驗中，Attention 方法中的矩形遮擋區域面積與任意形狀遮擋的面積相等，從而使得Attention方法、GatedConv方法、EdgeConnect方法和本文算法的對比更加合理?？梢钥闯?，該方法的修復結果與原圖差距較大，在空白區域的修復結果出現不同程度的結構扭曲，特別是針對眼睛部分的修復效果十分不理想。相比之下，GatedConv方法、EdgeConnect方法和本文算法都是針對任意形狀的遮擋圖像修復，比如對于圖8（d）和圖9（d）的任意形狀遮擋，其修復結果分別如圖8（e）～（g）和圖9（e）～（g）所示。從結果中可以看出，GatedConv 方法中由于沒有考慮邊緣信息，導致修復區域出現不同程度的人臉模糊和結構失真的現象，比如在圖像1、圖像6 和圖像8 中比較明顯。而EdgeConnect方法的修復結果整體結構相對合理，但是在圖像的一些修復細節上不夠完善，出現了不同程度的紋理細節扭曲和顏色信息丟失，比如在圖像2 和圖像3 的嘴唇處比較明顯，GatedConv 方法、EdgeConnect 方法與本文算法之間細節對比如圖10 所示。相比之下，本文算法產生的修復結果從紋理和結構方面都取得了更好的效果，針對細節信息的修復效果也更加逼近原圖。具體體現在修復圖像的面部細節結構特征十分精確，例如眼睛、嘴巴等部位。

與GatedConv 方法相比，由于本文算法利用圖像的邊緣信息引導圖像遮擋區域的修復，使得修復結果具有精確的邊緣，同時邊緣信息可以準確定位人臉特征的位置，如圖8（e）和（g）和圖9（e）和（g）能夠明顯觀察到本文算法的修復圖像邊緣輪廓更為清晰，在一定程度上緩解了邊緣模糊和人臉特征修復錯位的現象。與EdgeConnect 方法相比，本文算法利用門卷積代替普通卷積對待修復圖像進行特征提取。如圖1 所示，門卷積主要是對非遮擋區域和遮擋區域進行權重選擇，強調非遮擋區域，弱化遮擋區域，從而更好地提取有用信息對遮擋區域進行修復，減少遮擋區域對修復結果的影響，使得修復結果具有更完善的細節。如圖10 中局部修復結果的細節信息對比顯示，本文算法對嘴巴和眼睛的形狀、顏色等細節信息修復更為合理，緩解了修復結果紋理扭曲的現象。

為了客觀地評價本文算法的優越性，使用PSNR和SSIM 衡量不同算法的修復結果與參考標準圖之間的相似性，不同遮擋下不同算法的PSNR 和SSIM結果如表3和表4所示。通過對比可以看出，Attention方法的PSNR 和SSIM 值明顯小于其他三種算法，主要原因是算法中矩形區域的約束導致其修復效果失真明顯。GatedConv 方法由于沒有利用邊緣信息，導致存在邊緣模糊的現象。EdgeConnect 方法由于在圖像修復網絡中利用普通卷積進行特征提取，從而存在修復細節信息失真的情況。而本文算法利用了邊緣信息引導的門卷積網絡，使得在邊緣細節和遮擋區域修復方面都產生最好的結果，從表中可以看出其整體PSNR 和SSIM 值最高，說明本文算法性能最優。

Fig.10 Detailed comparison between different algorithms圖10 不同算法之間的細節對比

Table 3 PSNR and SSIM of different algorithms in occlusion 1表3 遮擋1 時不同算法的PSNR 和SSIM

Table 4 PSNR and SSIM of different algorithms in occlusion 2表4 遮擋2 時不同算法的PSNR 和SSIM

在現實情況下，人臉圖像質量受環境的影響較大。例如，監控視頻中往往采集到不同角度的人臉圖像，給人臉修復任務帶來了巨大的挑戰。本文算法對不同角度下的遮擋人臉進行修復，結果如圖11 和圖12 所示?？梢钥闯?，本文算法對正面人臉修復效果較好，但隨著人臉偏移角度的增大，由于臉部特征會隨著人臉偏轉出現傾斜甚至是消失，導致修復特征的角度和大小與其他部位拼接不夠合理，修復效果較差，比如修復的眼睛、嘴巴等位置出現偏差。針對這一問題將在今后的研究中進一步完善。

Fig.11 Inpainting results comparison of face 1 under different face angles圖11 人臉1 在不同人臉角度下的修復結果比較

3 結束語

Fig.12 Inpainting results comparison of face 2 under different face angles圖12 人臉2 在不同人臉角度下的修復結果比較

本文提出了一種結合邊緣信息和門卷積的人臉修復算法，該模型由基于生成對抗網絡的邊緣生成GAN 和圖像修復GAN 級聯組成。在邊緣生成網絡中，本文對預處理的遮擋圖像輸入學習紋理結構，輸出完整的圖像邊緣。在圖像修復網絡中，本文利用邊緣信息精確劃分人臉特征區域，引導顏色信息填充，使修復圖像具有清晰的邊緣；利用門卷積的動態特征選擇機制提取人臉特征，解決了其他算法不同程度的修復結構失真問題。實驗結果表明，本文方法針對任意形狀和大小的人臉遮擋圖像具有良好的適應性，具有很好的修復效果。同時本文算法還存在兩個不足：（1）Canny 邊緣是二值邊緣圖，可以通過利用更加精細的邊緣圖作為圖像修復的引導信息，從而使圖像修復細節更加完善。（2）現實情況下，遮擋圖像經常受到噪聲干擾，同時還存在人臉角度、側臉等情況。針對這些問題，本文方法的修復結果不夠魯棒。在未來研究中，人臉修復領域會更加緊密地與實際需求相結合，針對實際場景中各種低質圖像的修復工作提出解決方案。為人臉低分辨率圖像和任意角度的人臉圖像提供更佳的修復效果。