微表情識別系統在低分辨率環境下的應用研究

王瑾，黃曉華，4，李航，洪杰

(1.南京工程學院，江蘇南京211167；2.浙江理工大學，浙江杭州310018；3.廣州大學，廣東廣州510006；4.江蘇省智能感知技術與裝備工程研究中心，江蘇南京211167)

1 引言

近年來，隨著深度學習的不斷發展，基于深度網絡的情感計算研究越來越受到研究人員的重視。在情感計算領域，情緒分析通過對人類能夠表達的各種生物信號進行分析，比如語音、姿態和表情。心理學家的研究結果表明，人們傳遞信息總量的55%是由面部表情來傳達的[1]，表明了表情蘊含了人類情緒中的大部分信息。從表情的呈現幅度，表情可以分為宏表情和微表情兩類，其中宏表情是人們日常容易觀察到的情緒，包括7種表情(高興、驚訝、生氣、中性、厭惡、害怕、傷心)。相對于宏表情，微表情是一種短暫的、自發的情緒，并且由于微表情難以偽造且通常人們不會下意識抑制微表情的產生。因此，微表情大多數反應的是人們當前真實內在的情緒。微表情在國家安全、醫療等領域具有潛在的應用。

近年來，研究者們提出了大量的機器學習、深度學習等方法來實現微表情識別技術。比如，Huang[2]等人提出了向量化編碼的局部二元模式算法(STCLQP)提取微表情的時空特征。Pa‐tel[3]等人采用特征選擇的方法對深度卷積特征選取具有鑒別性特征(Selective)。Khor[4]等人采用了VGG網絡提取特征，并將特征輸入長短期記憶網絡進行識別。Zhou 等人提出了特征細化的深度學習模型提升微表情的識別性能[5]。Li等人提出了基于峰值幀的全局與局部特征融合的深度網絡對微表情進行識別[6]。

雖然現有的微表情識別算法在微表情數據庫獲得了良好的識別性能，但其性能在很大程度上取決于人臉視頻片段的質量。例如，用于微表情識別的CASME2數據集[7]是在640 × 480分辨率的攝像頭采集得到。然而，在實際應用過程中，常規監控視頻遠距離捕捉到的圖像序列的人臉分辨率往往在40 × 40分辨率以下。低分辨率圖像會丟失了大量的紋理信息，導致從低分辨率圖像序列中提取可用特征變得困難。本文在微表情識別算法[1]的基礎上研究分辨率對基于深度網絡的微情識別的影響。

2 微表情識別系統框架

微表情識別系統包含兩個主要的部件：特征提取與時空建模(如圖1 所示)。在系統中，特征提取主要從圖像中提取人臉微表情的特征，而時空建模重點將視頻中每幀的前向信息進行建模并分類。前人的工作[2]將特征提取與時空建模融合成一個模塊(STCLQP) ，Zhou[3]等人提取峰值幀與中性幀的光流信息，實現時空建模。在本文中，借鑒Khor等人的方法，在構建微表情識別系統的過程中，筆者采用VGG網絡[8]和長短期記憶網絡[9]分別對微表情面部特征的提取與時空建模。

圖1 微表情識別系統的基本結構

2.1 特征提取

筆者采用了VGG16[8]的網絡對微表情圖像進行提取。其輸入為224 × 224 × 3的圖像。輸入層方面，網絡由13個卷積層、5 個最大池化層、3 層全連接層和一個softmax 層組成。卷積層方面，在VGG16中均采用一樣的卷積核，具體來說，在本文中，卷積層使用3 × 3卷積核，從而能夠達到快速計算；最大池化層和卷積層一樣使用的是相同的池化核參數，且其大小都為2 ×2。模型是由卷積層和池化層互相連接的方式構成，16層的層

數，使其網絡不會很深，從而導致過擬合的出現，但又能提取出大部分的有效特征。

2.2 時空建模

使用傳統的RNN來處理時序相關的問題時容易引發一個問題，由于RNN 無法向后看且向前只能觀看一小段“記憶”的處理機制，導致RNN很容易忘記前面比較久遠的時間段信息，因此RNN網絡中越近的時間點，對于此刻的輸入的影響越大。這就導致RNN很容易將擁有時序的數據中某一個時間序列的損失過分放大或縮小，相對應地就會導致梯度爆炸和梯度消失問題。為了克服這樣的問題，筆者采用長短期記憶網絡(Long Short-Term Memory，LSTM)[8]。

LSTM和RNN相比，其不同之處在于設計了三個控制器輸入控制器、遺忘控制器和輸出控制器，其中，輸入控制器主線會按照分線的重要程度將分線寫入主線中進行分析，遺忘控制器則是在分線與主線不同時，以一定程度對主線進行遺忘按一定比例用分線替換現在的主線，最后輸出控制器會根據當前的主線和支線判斷具體的輸出。因此LSTM 可以解決RNN(循環神經網絡)中存在的長期依賴問題。

下面將具體介紹三個控制器及其實現方法：

遺忘控制器：遺忘門主要決定支線，在主線運行時如果存在有一定的影響需要改變此時的主線，那么遺忘門則有權力決定這個影響是否會加入主線。

輸入控制器：結合上一個階段輸出門產生的輸出h(t-1)和當前的輸入x(t)，通過一定的函數，確定當前哪些影響因素會加入主線。公式如(2)~(4)所示：

其中C(t)為細胞狀態，f(t)為遺忘門的輸出，i(t)和a(t)為使用Sigmoid激活函數和tanh激活函數所得的結果。

輸出控制器：輸出門主要用于決定下一個隱藏狀態什么，它由上一個隱藏狀態和本列數據通過和激活函數一起運算得到。公式如(5)~(6)所示：

LSTM 的特點是：通過遺忘門、輸入門和輸出門對狀態C(t)的影響，最終決定每一個時間點要忘記多少、記住多少、輸出多少，最后把這個狀態一直傳遞下去，從而達到可以控制其不會忘記遙遠的重要信息，也不會把附近不重要的信息看得太重的作用。

LSTM的優點是加入三種控制器機制使得網絡能在一定程度上抑制梯度爆炸和梯度消失問題。作為一個非線性模型，它能夠適應更大更深的網絡模型，因此在處理時序相關的問題有著不錯的性能。與此同時，LSTM 的缺點在于雖然其在一定程度上緩和了RNN 中梯度的問題，但并沒有實質上解決這類問題，LSTM在小量級中確實有著優越的性能，但是在處理大量級的問題時仍然會因為其復雜的網絡或跨越過大，導致其效果沒有那么明顯。但是，在微表情識別中，通常只需要考慮視頻中一幅畫面上下100幀左右的變化，而不用關聯到幾分鐘前或幾分鐘后的變化狀態，因此，微表情識別的實際應用解決了LSTM的這個問題。

2.3 損失函數的構建

筆者使用交叉熵損失函數來評估分類的準確度：

其中，每個元素pi表示樣本屬于第i類的概率。

3 實驗設計與分析

3.1 數據庫的簡介

為了測試網絡性能，筆者使用了公開的CASMEⅡ[9]微表情數據庫。該數據庫是由中國科學院心理所收集的微表情數據集(包含26 名參考者) ，采用了幀率為200fps、分辨率為640 ×480 的攝像機，共采集了247 個微表情樣本。CASMEⅡ中的微表情使用AU進行標記，將樣本分類成五個類別的情感標簽，即開心、驚訝、壓抑、厭惡和其他。

3.2 低分辨率圖像的仿真

為了研究低分辨率圖像對微表情識別的影響，本文采用下采樣的方式對圖像進行預處理，仿真出從低分辨攝像機采集到的微表情圖像(如圖2 所示) 。具體過程如下：將原始大小為W×H的微表情圖像，進行縮放使得其尺寸變為的圖像，其中x為圖像的縮放系數。因此，在圖像進行下采樣過程中，對于下采樣后得到的像素值為：

圖2 仿真生成的具有低分辨率的微表情圖像

其中，win(k)為區域k，S為區域大小，Ii代表區域中索引i的像素值。

從圖2中可以看到，隨著縮放倍數的增加，微表情圖像變得越來越模糊，尤其是在32 × 32分辨率條件下，眼睛、嘴巴的紋理信息逐漸丟失，當縮放到16 × 16的條件，只能大概知道人臉圖像的存在，而丟失了大部分面部微表情的特征，這在某一程度上，很好地仿真實際應用過程中低分辨率的攝像頭采集的質量。

3.3 參數設置

在實驗過程中，筆者使用兩張V100GPU進行訓練，設置批大小為128，VGG模型的訓練迭代次數為10，LSTM模型的迭代次數為40，學習率為0.00001，學習率衰減為0.000001。

為了分析低分辨率的影響，筆者采用了Leave-one-sub‐ject-out 驗證策略對網絡進行訓練與測試。具體地，筆者選擇屬于一個人的所有微表情樣本作為測試，其他人的微表情樣本作為訓練；由于CASME Ⅱ數據庫包含了27 個人的樣本，整個測試過程重復27次。

3.4 實驗分析

筆者的實驗考慮了四種不同的分辨率，分別是128 × 128、64 × 64、32 × 32 和16 × 16。表1 給出了微表情識別系統在上述四種分辨率條件下的識別率。從表1中可以看出，在常規分辨率(即128 × 128)情況下，識別率達到了60%。與STCLQP[2]、Selective[3]比較，性能分別提升了1.61%和12.7%，可以看出，VGG 與LSTM 的融合網絡可以達到較好的性能。隨著分辨率的下降，當分辨率為32 × 32 的時候，識別率下降了7.39%；在16 × 16 的時候，識別率大幅度下降(下降幅度為12.17%)。實驗結果表明，隨著微表情圖像的分辨率下降，能夠給VGG 與LSTM 提供的面部關鍵信息已經丟失了，導致深度網絡不能夠較好地提取鑒別特征。另一方面，實驗結果證明了低分辨率對于微表情識別的實際應用具有較大的影響，在未來的工作中，需要對低分辨率進行深入的研究。

表1 不同下采樣程度的訓練結果

4 結論與展望

在本文中，本文重點研究低分辨率圖像對于基于深度學習網絡的微表情識別系統的影響。筆者通過VGG 和LSTM 網絡構建微表情識別系統，并對現有微表情數據集進行下采樣圖像處理，生成不同分辨率的微表情圖像，充分進行相關的實驗驗證。實驗結果表明，分辨率的變化對于微表情識別系統的性能具有一定的影響。

但是，本論文所用的方法仍有不足，沒有對網絡進行特定的設計，忽略了網絡本身對于深度學習任務的適應性，今后改進的方向可以從以下兩個方面進行改進：

1)修改網絡本身，使用針對表情識別方面更有效且高效的網絡，從網絡本身的質量和能力對為表情識別的精度和速度等進行提升；

2)利用更有效的圖像預處理方式，例如使用超分辨率方式對低分辨率微表情圖像的人臉特征進行生成，從而提升微表情識別的精度。

當然，除了以上兩點，本文還可能存在更多其他未考慮的不足之處，這也是后續改進的方向。