基于生成對抗網絡的遮擋人臉表情識別方法研究

陳 姣，劉小紅

（湖南信息學院計算機科學與工程學院軟件工程系，長沙 410151）

0 引言

人臉表情是生活中最常見的一種信息傳遞方式，在有關情感的信息中，面部表情占總體表情量的55%，面部表情蘊含著人物的內心深處的心理活動變化，所謂的 “察言觀色” 就表明人臉表情包含了非常多的信息，通過人臉表情就能很直觀地獲取別人的情感狀態。

人臉表情識別（FER）是近幾年人工智能領域的熱門話題，FER 在虛擬現實、計算機視覺、人臉支付、視頻會議和心理學等領域具有廣泛的應用。比如：通過實時表情監測可以判斷駕駛員是否處于疲勞狀態，應時發出相關提醒，以減少交通事故發生。 自動人臉表情識別（AFER）通過監測人臉表情，來判斷用戶的情感狀態，并且以此為依據來創建自適應環境，比如：遠程教學中可以通過監測學生的表情，獲得當時比較真實的學習狀態，輔助學生和老師更好地掌握學習情況。又如在審訊過程中警察也可以通過表情來檢測，排除一些潛在性的欺騙。在解決心理困擾時，可以通過分析表情來獲取更為真實的信息［1］。

當下人臉表情識別多是在無遮擋的表情庫中進行分析的，如果想結合實際生活來研究表情識別技術并推廣到日常生活，就必須要考慮現實中人臉遮擋的問題。有些人覺得戴上口罩或墨鏡就可以遮擋住自己面部的某些器官，在此情況下就無法得到表情的全部特征，因此可以隱藏自己的內心世界。但越來越多人員開始對人臉去遮擋情況進行研究，即使遮擋物隱藏掉了面部的部分內容，還是可以通過算法進行還原。

1 直接舍棄和填補

目前去遮擋的思想有兩種：直接舍棄和填補。

關于舍棄法，如果是圖像邊緣或者是無關信息的背景缺失，舍棄法則完全不會影響識別結果，但是，很多時候圖像中缺失的區域很有可能是決定表情類別的五官關鍵所在，例如眼睛、眉毛、嘴巴和鼻子等。那么舍棄法會直接導致表情特征的大部分流失，這樣的圖像無論有多么精準的特征提取以及分類算法都無濟于事。因此，以舍棄法為基礎的遮擋圖像表情識別系統不可能達到一個較高的識別率。與之相比，填補法就可靠很多，填補法更多是以某種學習算法為基礎，通過學習殘缺圖像中的像素信息和圖像結構信息來還原缺失部分，最具有代表性的是卷積神經網絡［2］，以此為基礎的識別系統能夠處理還原后的整張人臉圖像，當殘缺區域面積合適時，用填補法有較高的識別結果［3?4］。

但是，卷積神經網絡的學習能力和還原圖像的能力受到了遮擋區域的大小限制，當遮擋區域過大時，學習網絡將不能捕捉到正確的像素和結構信息，這種情況下能夠還原的情緒狀態或是五官形狀與原始圖像相比較都存在很大差別。2014 年，創新又實用的生成對抗網絡（GAN）的生成算法為人工智能技術帶來了新的突破。該算法將博弈論引入到損失函數中，在不斷對抗的過程中逐漸形成了系統的學習和生成能力，由于其出色的表現力，近年來在圖像生成、重建圖像高分辨率、圖像復原等領域被廣泛應用。

本文認為用生成對抗網絡進行人臉去遮擋會取得更好的效果，所以將生成對抗網絡作為遮擋圖像填補算法的基礎，通過分析其原理與不足設計出改進方案。

2 生成對抗網絡的基本原理

生成對抗網絡是博弈論和機器學習相結合的產物，在2014年由Goodfellow 等［5］提出，一經問世即廣受歡迎，可見人們對于這種算法的認可。如果要更詳細地了解GAN，就需要知道它是怎么來的，以及這種算法能體現什么價值，存在的意義是什么。研究者最初想法是通過它完成計算機自動生成數據的功能，例如通過訓練某種算法模型，使該模型通過學習一些蘋果的圖片，然后自動生成蘋果的圖片，具備這些功能的算法被認為具有生成功能。但GAN 不是第一個生成算法，而是以往的生成算法在衡量生成圖片與真實圖片之間的差距時采用均方誤差作為損失函數，但是研究者發現有時均方誤差一樣的兩張生成圖片的效果卻大相徑庭。針對此不足， Goodfellow等［5］提出了GAN。

如圖1所示，GAN 由兩個模型組成：生成模型G和判別模型D。首先第一代生成模型1G的輸入是隨機噪聲z，然后生成模型會生成一張初級照片，訓練一代判別模型1D并進行二次分類操作，將生成的圖片判別為0，而真實圖片判別為1；為了隱瞞一代判別器，一代生成模型開始進行優化，然后進階成二代模型，當它生成的數據成功隱瞞1D時，判別模型也會優化更新，進而升級為2D，按照相同的過程會不斷更新出N代的G和D。直到最后一代D再也區分不出生成圖片和真實圖片，就意味著模型訓練成功，以上過程就是GAN訓練過程的通俗理解。

圖1 GAN網絡循環訓練過程

3 基于改進的生成對抗網絡的遮擋人臉表情識別方法框架

該方法主要實現遮擋人臉圖像中去遮擋和表情識別的兩個功能，能夠有效補全含有復雜表情信息的人臉遮擋圖像，緩解局部遮擋區域對于遮擋表情識別算法的影響，提高圖像識別準確率和分辨率。方法以Wasserstein 生成對抗網絡（Wasserstein Generative Adversarial Network，WGAN）模型為基礎，該方法由一個生成器和一個判別器組成。

基于WGAN 的遮擋表情識別方法一共包含三個部分，第一部分為人臉表情的圖像預處理，具體包含人臉監測、人臉校準、圖像尺度歸一化和圖像像素值的歸一化。第二部分為圖像遮擋區域的生成處理，從中提出加權重構損失函數Kwr、三連子損失函數Kt 和對抗損失函數Ka對生成器進行約束。并且，輸入原始未遮擋圖像、生成的補全圖像以及無關區域遮擋圖像對判別器進行訓練，充分利用遮擋圖像中未遮擋區域的像素信息，被遮擋圖像、生成圖像和原始未遮擋圖像之間的結構信息來對輸入的遮擋表情圖像進行填補修復，使補全圖像更加逼真和自然。第三部分在WGAN 網絡判別器的基礎上，使用其部分卷積層和池化層完成特征提取步驟，通過Wasserstein 距離構建原始未遮擋圖像、生成圖像以及無關區域遮擋圖像之間的對抗損失Ka 來提升系統的特征提取能力。另外加入全連接層和Sigmoid 層完成真假圖像的判別，同時將全連接層和Softmax 層相連接構成表情分類器。本文提出用原始未遮擋圖像、無關區域遮擋圖像、去遮擋的生成圖像來共同完成分類器的訓練，從而完成表情分類與識別。

方法框架如圖2所示，其中G和D分別代表生成器和判別器，G代表去遮擋的生成圖像，X（i,j）代表遮擋圖像， Kwr 和Kt 分別代表生成器的加權重構損失函數和三連子損失函數，Ka 代表對抗損失函數，Kc代表分類損失函數。

圖2 基于改進的生成對抗網絡的遮擋人臉表情識別方法框架

4 結語

根據對現有遮擋面部表情識別分析和研究，目前還沒有發現一個成熟的、通用的、數據豐富的真實遮擋面部表情數據庫。除此之外，真實的遮擋圖像實際處理起來要困難很多，因為它不太容易被檢測為遮擋，也不太容易同時獲得無遮擋與遮擋這兩個結果的訓練表情圖像。所以，目前對遮擋表情的識別主要是研究人員在自己建立的遮擋模擬數據庫上進行研究。大多數研究人員使用掩模圖像（如膠片、黑色方形、濾光片、底片等圖像）與未遮擋的表情圖像進行拼接，以合成模擬的遮擋數據。

對于真實的遮擋表情圖像，本文研究方法的去遮擋效果并不太理想，仍有改進空間。這是由于本研究是通過在人臉表情圖像的不同位置增加大小不同的黑色矩形來模擬現實中可能存在的遮擋情況，并使用模擬數據作為訓練數據集。此研究缺乏一些真實遮擋表情圖像作為訓練數據。因此，在測試真實遮擋圖像時，不能有效地還原遮擋區域，如手遮擋、太陽鏡和膠帶等。對于現有的面部遮擋表情識別，不管研究人員使用哪種掩模圖像來模擬遮擋圖像，其結果都與真實遮擋的面部表情圖像的效果區別較大。沒有充足的真實遮擋訓練數據為基礎，任何方法都不能有效地處理真實遮擋的面部表情圖像。因此，建立一個公開、完善、真實的遮擋表情數據庫，并利用真實數據訓練網絡是今后的研究方向和努力目標。