一種基于BEGAN 改進的殘缺人臉圖像修復算法*

雷新意 吳 陳

（江蘇科技大學計算機學院 鎮江 212100）

1 引言

殘缺人臉圖像修復，是對給定的一張存在局部區域殘缺的人臉圖片進行修復填充，目前已有一些如Photoshop 的圖像處理軟件能夠對殘缺人臉圖像進行修復，然而，修復效果較大程度的依賴于個人對軟件使用的熟練程度，此外，由于人臉圖像的拓撲結構相對特殊，通常的圖像修復技術應用于殘缺人臉圖像修復難以取得令人滿意的效果，因此，殘缺人臉圖像修復是一項極高挑戰性的項目，相關研究人員已對此提出多種修復方法，可分為傳統方法和深度學習方法。

傳統方法又可分為變分法、實例法。變分法利用了擴散思想，將局部殘缺區域周圍的已知區域擴散至殘缺區域［1～2］，之所以稱之為變分法是因為可以通過變分原理等價推導得出。Bertalmio 等學者首先建立了BSCB 模型［3］，該模型在選擇要修復的區域后會自動進行填充，對拓撲結構沒有任何限制，但該模型存在運算速度慢的問題，學者Chan 等人受到BSCB 模型的啟發，提出了全變分模型和曲率驅動擴散模型［4～5］，收斂速度和偽噪聲去除效果有所提升，此后又有一些高階圖像修復模型提出并取得了更好的修復效果，但對于面積較大殘缺圖像修復效果不佳［6-7］。實例法通過獲取紋理信息實現對殘缺人臉圖像的修復，有Bornard 提出的基于紋理合成的修復算法［8］，Criminisi 提出的基于樣本塊的修復算法［9］，Martmez-Noriega 和Roumy 提出的構建先驗修復算法［10］，實例法相對于變分法更加關注圖像的紋理結構，且修復效果受到相似度匹配、圖像塊選取、先驗知識等因素影響。如今，深度學習技術越來越多的被應用在圖像修復領域，Google DeepMind 團隊提出的PixelRNNs 網絡結構可看作是深度學習在圖像修復領域應用的先例［11］，Context Encoder 是首個利用深度生成網絡處理殘缺圖像的模型，該模型利用自動編碼器的預測能力，根據殘缺圖像中已知圖像信息來預測殘缺圖像的內容［12］。然而，目前基于深度學習的修復算法還處于初始階段的監督學習或半監督學習，受到較多因素的限制，因此，Goodfellow等學者提出了利用生成對抗網絡GAN 進行圖像的修復［13］，這為無監督學習提供了新的思路，此后多種基于GAN 的圖像修復方法提出，效果相對于傳統算法得到了很大的優化，但仍然存在難以平衡判別器和生成器收斂速度、梯度易消失問題，且修復圖像雖真實但和原圖像身份特征差異較大的問題，針對此狀況，本文在生成對抗網絡基礎上提出了一種基于BEGAN邊界均衡生成對抗網絡改進的殘缺人臉圖像修復算法，主要內容包括：

1）生成器：采用類似U-net 編解碼器網絡結構，在U-net 結構中簡單跳躍連接基礎上引入嵌套、密集的跳躍連接以增強不同尺度特征圖的語義結合；

2）判別器：采用全局和局部雙重判別模型，優化區域不協調以及語義不一致問題；

3）損失函數：結合BEGAN 對抗損失、重構損失、身份特征一致性損失作為聯合損失函數以獲得和原始圖像身份特征更加一致的修復圖像。

2 生成對抗網絡（GAN）

GAN 由生成器G 和判別器D 組成，生成器G 將隨機噪聲z 生成近似服從真實數據分布Pdata uik的樣本G（z），而判別器D用于判斷輸入樣本是真實樣本x 還是隨機噪聲的生成樣本G（z）。GAN 的模型結構如圖1 所示。

圖1 生成對抗網絡模型結構圖

在模型訓練過程中，生成器G 的作用是盡可能生成近似真實的圖片去“欺騙”判別器D。而判別器D 的作用是盡可能將生成器G 生成的圖片和真實的圖片判別開，如此，生成器G 和判別器D 形成了一個動態的博弈過程。模型訓練目標是生成器G 可以生成和真實數據分布相同的樣本，使得判別器D 難以判定G（z）究竟是不是真實的，即D（G（z））=0.5。該過程用數學語言描述如下所示：

式中，D（x）表示判斷真實圖片是否真實的概率，而D（G（z））是判斷G 生成的圖片是否真實的概率。G讓生成的樣本越接近真實樣本越好，即D（G（z））越接近1越好，這時V（D，G）會變小，而D 盡量使D（x）接近1，D（G（z））接近0，此時V（D，G）會增大。

雖然原始GAN 已經能夠獲得較好的生成、修復圖像效果，但該模型往往難以訓練，難以平衡判別器和生成器的收斂速度，極易造成模型崩潰問題，為了能夠改善這些問題，學者Berthelot 等提出了BEGAN邊界均衡生成對抗網絡［14］。

3 邊界均衡生成對抗網絡（BEGAN）

BEGAN 是一種對GAN 的改進模型，該模型使用了新的評價生成器質量的方法，不需考慮上述模型崩潰和訓練不平衡等問題。

GAN 以及其變種均是以生成器生成的數據分布盡可能接近真實數據分布為目標，而BEGAN 并不直接對生成數據分布與真實分布的差距進行估計，而是對各自分布損失的分布差距進行估計，只要分布之間的損失分布相近即可認為分布是相近的。

BEGANs 將一個自編碼器作為分類器，通過基于Wasserstein 距離的損失來匹配自編碼器的損失分布，自編碼器在樣本上的損失如下所示：

其中，D 為自編碼器函數，η為目標準則，Nx為樣本維度，L(v)表示真實圖像v 和經過自編碼網絡D輸出的D（v）的相似程度，值越小，表示v 和D（v）越相似，同樣也可以得到生成圖像的損失L(G(v) )，BEGAN 采用Wasserstein 距離計算D 在真實數據與生成數據損失分布之間的距離，而真實數據與生成數據損失分布近似服從正態分布［14］。

對于兩個正態分布之間的Wasserstein 距離為

其中，m1，m2為兩個正態分布均值，c1，c2為方差。

根據GAN 的對抗原則，D 的目標是最大化W，而G 則要最小化W，如果滿足為常數，則W 與|m1-m2|的單調性相同，因此，令D 不斷的最大化m2，最小化m1，而G 不斷最小化m2，當m2接近m1時即認為模型訓練完成，D 和G 的目標函數可表示為

理想情況下肯定是m1=m2的時候是最好的，即，但此時，趨近于無窮，因此，模型加入了一個取值范圍［0，1］的超參數，就相當于一個將均衡條件限制住了，這就是BEGAN名字的由來，最終的損失函數如下所示：

其中，t為訓練步數，λk為k的學習率此外，BEGAN中還定義了一個可表示模型訓練程度的變量如下：

Mglobal越小表示模型收斂程度越高，相反，收斂程度越低。

4 改進的BEGAN結構

4.1 生成器模型

原始BEGAN 的生成網絡是解碼器結構，僅適用于一維信號，由于本文算法的輸入是二維的殘缺圖像，因此本文生成器采用了基于U-net 網絡的改進結構，包括一個將圖像背景提取成潛在特征表示的編碼器和一個利用該特征表示生成殘缺區域內容的解碼器。

原始的U-net 網絡通過下采樣的方式對特征進行降維，沒有從多尺度中獲取足夠的信息，提取出主要特征的同時存在著部分重要特征丟失的問題，致使深層的網絡層相關性低，影響模型的表達能力，可能導致梯度彌散，增加了訓練難度。因此，本文在U-net 的基礎上提出采用全尺度跳躍連接（skip connection），全尺寸跳躍連接改變了編碼器和解碼器之間的互連，每個解碼器層融合了編碼器中的小尺度、同尺度以及解碼器的大尺度特征圖，這些特征圖提取了全尺度下的細粒度和粗粒度語義，網絡模型結構如圖2所示。

圖2 生成器模型

網絡的前半部分由多個編碼器模塊組成，每個編碼器模塊由一個卷積層、一個批歸一化層、一個ReLU 層串聯組成，采用步長為2 的卷積層進行特征下采樣，這使得網絡中特征的下采樣方式可以通過訓練學習得到最優，特別的是，第一個編碼器模塊不使用批歸一化層。網絡的后半部分由多個解碼器模塊組成，對于每個解碼器模塊由較小或相同尺度編碼器模塊進行池化下采樣及較大尺度解碼器模塊進行雙線性插值上采樣并卷積后統一到當前解碼器模塊特征圖分辨率和通道數后，采用FCN式逐點相加實現多尺度特征融合，并經批歸一化層和激活函數LeakyReLU 層形成，特別的是，解碼器最后一個模塊不使用批歸一化層。此外，本文模型在編碼器和解碼器的中間層使用逐通道全連接替代原始U-net的全連接方式。

本模型相對于U-net 結構，能夠提高精度，防止網絡層數增加而導致的梯度彌散問題與退化問題。

4.2 判別器模型

原始的BEGAN僅采用一個全局判別網絡實現對抗優化，存在修復區域和其他區域不協調以及語義不一致等問題。針對此情況，本文添加了一個局部判別網絡，根據BEGAN 的思想，全局、局部判別器均采用自編碼器結構。全局判別器用于優化人臉殘缺部分的結構信息和特征信息的生成，使修復的人臉圖像結構的符合視覺認知；局部判別器用于優化人臉殘缺部分的紋理信息生成，使修復的人臉圖像和原始圖像的皮膚紋理信息更加相像、逼真。判別器模型結構如圖3所示。

圖3 判別器模型

全局判別器和局部判別器模型結構相似，均采用原始BEGAN 的判別器結構，不同的是輸入圖像的分辨率，全局判別器輸入圖像分辨率為128×128編碼器，局部判別器輸入圖像分辨率為32×32，此外，解碼器層數也相應不同。編碼器除了第一個模塊采用1個3×3 卷積層，其余均使用了2個3×3 卷積層和一個步長為2 的池化層，解碼器除了最后一個模塊采用1 個3×3 卷積層，其余均采用2 個3×3卷積層和一個雙線性插值上采樣層，編解碼器中間層使用全連接方式映射。上圖中，n 為通道基數，本文全局判別器中n=128，局部判別器中n=32。

4.3 損失函數

本文的損失函數由生成器部分的重構損失、全局及局部判別器損失、身份特征一致性損失組成。

重構損失Lrec采用L1范數，如下所示：

通過重構損失能夠讓生成圖像更加逼近真實圖像。

本文在研究不同修復方法的修復結果中發現盡管已有的多種方法都修復生成了比較真實的填充內容，但在身份特征的相似性上卻有較大的差距。為了能夠讓修復結果盡可能修復丟失的身份識別特征，本文在損失函數中加入了人臉特征一致性損失，用來衡量修復的人臉圖像和原始圖像之間的面部特征之間的差異。該損失通過將修復的殘缺人臉圖像和原始圖像分別輸入人臉識別網絡ResNet以提取各自的特征，并求兩者間的余弦距離得到身份一致性損失Lcons。

重構損失、身份一致性損失結合全局、局部判別器損失函數得到最終的損失函數為

其中，Lg(x)為全局原始圖像自編碼器損失，Ll(x)為局部原始圖像自編碼器損失，為全局判別器自編碼器損失，為局部判別器自編碼器損失，Lg(G(z) )為全局生成數據自編碼器損失，Ll(G(z))為局部生成數據自編碼器損失，本文根據上述損失函數通過Adam 梯度優化算法更新模型參數，優化模型。

5 實驗

本文實驗平臺是Windows 10 64 位操作系統，Python3.6 基于Tensorflow 框架的編程環境，Intel 3.8 GHz CPU，內存16GB。采用香港中文大學的開放數據CelebA數據集，總計202599張圖片，每個圖像均有多項屬性注釋。由于CelebA 數據集中圖像分辨率為178×218，本文先將CelebA 數據集預處理為128×128 的圖像，預處理后的數據集只包含人臉，使用其中100000 張圖像訓練，10000 張圖像驗證，10000 張圖像測試，剩余的作為訓練樣本，總迭代次數為60，批大小為128，本文將殘缺區域大小固定為32×32 而位置隨機進行訓練，通過比較不同的深度學習方法的修復效果以驗證殘缺圖像的恢復效果。

5.1 不同修復方法主觀比較

為了驗證本文的殘缺人臉圖像修復方法較其他的深度學習方法具有更好的細節修復效果和身份特征相似性，將本文實驗結果和DCGAN［15］，PM［16］，CA［17］算法修復效果進行對比，殘缺區域選擇左眼和左側嘴部，比較結果如圖4和圖5所示。

圖4 左眼殘缺圖不同修復方法效果對比

圖5 嘴部殘缺圖不同修復方法效果對比

在圖4 和圖5 中，第1 列為原始人臉圖像，第2列為待修復的殘缺圖，第3 列為DCGAN 算法的修復效果圖，第4 列為PM 算法的修復效果圖，第5 列為CA 算法的修復效果圖，第6 列本文修復算法的效果圖。可以看到，DCGAN 算法由于難以平衡生成器和判別器的訓練過程，穩定性差，且是簡單的利用低分辨率特征反卷積得到高分辨圖像，修復結果中的掩膜邊界非常明顯，不僅色彩上有較大差異，殘缺區域的銜接也明顯不協調，PM算法屬于非訓練方法，通過尋找最為相似的圖像塊實現修復，該算法匹配原始像素能力較強，但得到的修復效果圖較為模糊，還原細節能力較差，CA 算法結合生成對抗網絡和自注意力模塊，恢復圖像明顯更加清晰，但仔細觀察發現除了細節修復效果欠佳，不夠真實，而本文修復算法引入了全尺度跳躍連接，生成器提取了全尺度下的細粒度和粗粒度語義，修復效果清晰，細節修復較CA算法有明顯提升，幾乎找不出缺陷的痕跡，并且損失函數引入身份特征一致性損失，使得修復圖與原圖身份特征信息幾乎一致，修復結果和原圖更像是同一個人。

5.2 不同修復方法客觀比較

為修復方法的客觀比較采用峰值信噪比PSNR和結構相似性標準SSIM 兩個指標。PSNR 用來衡量圖像之間的像素值差異，圖像之間PSNR 值越大，表示越相似。SSIM 用于估計兩張圖像之間的整體相似性，SSIM 值越接近1，圖像結構越相似。詳細結果如表1和表2所示。

表1 左眼殘缺圖不同修復方法的PSNR和SSIM

表2 嘴部殘缺圖不同修復方法的PSNR和SSIM

從表1、表2 可以看出對比GCGAN，PM，CA 算法，本文算法在CelebA 數據集上實驗的殘缺人臉圖像修復結果無論是峰值信噪比還是結構相似度都更優。

6 結語

本文針對殘缺人臉圖像的修復，提出一種基于BEGAN 改進的人臉圖像修復方法。其中，生成器采用類似U-net 編解碼器網絡結構，在U-net 結構中簡單跳躍連接基礎上引入嵌套、密集的跳躍連接以增強不同尺度特征圖的語義結合，判別網絡采用全局判別器和局部判別器的雙重判別方式，優化區域不協調以及語義不一致問題，基于BEGAN 對抗損失、重構損失、身份特征一致性損失作為聯合損失函數以獲得和原始圖像更相似的修復圖像。對比PM、CA 算法在相同的人臉數據測試集上的修復結果，本文的修復結果的主客觀評價效果都更好。

本文輸入圖像的殘缺區域都是規則的方形，然而實際應用中，圖像殘缺區域形狀都是隨機的，因此，下一步將針對隨機生成的不規則殘缺區域來提高模型在實際應用中修復效果。