結合C3D與光流法的微表情自動識別①

何景琳,梁正友,2,孫 宇,劉德志

1(廣西大學 計算機與電子信息學院,南寧 530004)

2(廣西多媒體通信與網絡技術重點實驗室,南寧 530004)

1 引言

微表情是指人們盡最大努力抑制真實表情的視頻片段.微表情被內心真實情緒激發所產生,難以抑制或偽造,所以可以更準確地反映人內心的真情實感,能夠作為測謊的重要依據,在心理治療、刑事審問和國家安全等領域有廣闊的應用前景.

微表情的持續時間短,僅為1/25 ～1/3 s[1],并且動作幅度小.盡管能夠通過人力進行識別,但識別的準確率并不高,經過培訓的人員識別準確率不超過50%[2].因此,近年來大量研究人員提出了利用計算機視覺和機器學習算法進行微表情自動識別.

最先用于微表情識別的是基于手工描述特征的識別方法.Pfister 等[3]提出LBP-TOP 手工描述特征識別方法,通過在3 個正交平面中組合局部二進制模式方法來描述自發式微表情的特征并進行識別.Wang 等[4]提出的LBP-SIP 方法是在LBP-TOP 的基礎上在所有相鄰點中選取6 個點,而 LBP-MOP 方法[5]沿3 個正交平面僅提取了3 個平均圖像,這兩種方法都減低了數據的冗余度.Huang 等[6]提出了時空全局部量化模式(STCLQP)的微表情分析方法,該方法在進行微表情識別時考慮了更多信息,如信號、大小和方向因素.Huang等[7]提出時空域局部二值模式整體映射STLBPIP 的方法,在不同圖像上取得水平和垂直的整體映射,保留人臉圖像的形狀屬性,并使用LBP 提取在水平和垂直方向映射上的外觀和動作特征.在CASME Ⅱ數據集上取得59.26%的識別率.He 等[8]提出了一種多任務中間(MMFL)特征學習,它通過學習一組特定類的特征映射來增強提取的低級特征的辨別能力,并使用兩種加權方案,提高了微表情識別率.Xu 等[9]提出了用人臉動態映射(FDM)來描述微表情,通過人臉標注定位方法,對沒有任何預處理的微表情進行粗對齊和人臉圖像裁剪,然后在FDM 特征提取之前采用基于像素級別的對齊方法.通過分類以及多種評估方法,在微表情數據集SMIC、CASME 和CASME Ⅱ上的準確率分別達到71.43%,42.02%和41.96%.Liu 等[10]在時間空間局部紋理描述符(SLTD)方法的基礎上,提出一個簡單并有效的特征描述符——主要方向性平均光流(MDMO)特征,它運用了光流估計的方法來計算人臉局部感興趣區域(ROIs)的微小運動,36 個ROIs 僅僅需要用長度為72 的MDMO 特征向量表示.另外,他們還提出了一個光流驅動的方法來對齊微表情視頻的所有幀.Liong 等[11]在光流法的基礎上提出Bi-WOOF,對開始幀(onset)和高峰幀(apex frame)的動作信息進行加權,在CASMEⅡ數據集上取得59.26%的識別率.

近年來,深度學習技術在識別方面獲得巨大成功,已經廣泛應用于多個領域,如行為識別[12]、自然語言處理[13]、語音識別[14]等方面,也逐步被應用到微表情自動識別當中.Patel 等[15]提出了先用深度學習模型提取出微表情的深度特征,然后使用特征選擇的方法對深度特征進行選擇,減少了特征的冗余度.Kim 等[16]通過結合時域和空域不同維度信息的提取方法進行微表情識別,其中空間維度信息通過搭建CNN 提取幀序列的5 個不同狀態信息獲得,時域信息通過LSTM 網絡獲得.Peng 等[17]提出了一種雙時間尺度卷積神經網絡(DTSCNN)用于自發微表情識別.DTSCNN 是一種雙流網絡,不同的DTSCNN 流用于適應不同幀速率的微表情視頻.每個DSTCNN 流由獨立的淺網絡組成,以避免過度擬合問題.同時,還為DTSCNN 網絡提供光流序列,以確保淺網絡可以進一步獲得更好的性能.Khor等[18]提出了一個增強的長期遞歸卷積網絡(ELRCN),首先使用光流法對微表情視頻序列進行預處理,以擴大輸入數據的空間維度,然后通過CNN 模塊將每個微表情幀編碼成特征向量,然后通過將特征向量通過一個長-短期記憶(LSTM)模塊對微表情進行預測.

盡管微表情的自動識別取得了令人印象深刻進展,但由于微表情動作微小和持續時間短,使得其識別準確率還不高,有進一步提高的空間.利用深度學習技術進行微表情識別是一種趨勢.C3D[19]是一種深度學習技術,能夠同時提取視頻的時域和空域信息,較好地表示人類活動的特性,在行為識別、場景識別、視頻相似度分析等領域得到了成功的應用.而光流法[20,21]對視域中的物體運動檢測有非常好的效果,已被應用到微表情自動識別中.為充分利用C3D 和光流法的優點,本文提出一種結合C3D 與光流法的微表情自動識別方法,通過結合C3D 和光流法技術,能有效提取微表情的時空特征；同時,我們還針對微表情數據規模小、容易過擬合等問題,采用數據增強的方法增加樣本的數量,以滿足深度學習網絡的要求.我們在CASME Ⅱ[22]上進行了實驗,實驗表明所提出的方法比現有方法有更高的識別準確率,微表情的識別準確率達到67.53%.

2 C3D、光流法和微表情數據集

本節介紹本文用到的兩個主要技術C3D 和光流法,以及實驗中使用的微表情數據集.

2.1 C3D

C3D 是Ji 等[23]提出的一種在時域和空域上的三維卷積神經網絡.使用C3D 可以同時對外觀和運動信息進行建模,在時間和空間的特征學習、行為識別、動作相似度等各種視頻分析任務上都優于2D 卷積網絡[19,23].

C3D 的優點在于,采用三維卷積核對上一層網絡中的特征映射進行卷積操作,可以一次性提取時域特征,即可以捕捉到多個幀的動作信息.具體地,對于第l層網絡的第j個特征映射上的像素點(x,y,z)的特征值可以記作,公式為：

其中,blj為特征映射的偏置值,n為連接當前特征映射的第(l+1)層網絡的特征映射集,而Sl和Tl分別是三維卷積核的高度和寬度,Rl是三維卷積核的時域維度大小,為連接上層特征映射的三維卷積核(s,t,r)的權重,f(x)表示激活函數.

2.2 光流法

光流法常常用于視頻的動作特征提取上,使用光流法能夠很好地捕捉相鄰幀的動作信息.光流法計算在時域上前一幀與當前幀之間的圖像序列中像素的變化,得到相鄰幀之間的運動信息.在微表情自動識別中,光流法被用于提取微表情的時域特征[10,11,18]、增大輸入數據的空間維度[16]等,有效提高了識別率.

光流法的目的是找到圖像中每個像素的速度矢量.本文使用的Farneback 算法[24]是一種密集光流方法,用于計算幀中每個點的全局密集光流.產生的光流是與原始圖像大小相等的分別表示運動方向和亮度的雙通道圖像.Farneback 算法的原理是運用多項式展開的方法來估計相鄰兩幀圖像中物體的運動,這個運動即估計物體的位移場.多項式展開指的是,對每個像素的領域使用一個多項式來近似建模.本文只對二次多項式展開變換,對位置為x的每一個像素,利用二次多項式構造一個局部信號模型,表示為：

其中,A是對稱矩陣,b是向量,c是標量.這些系數使用加權的最小二乘法擬合領域中信號的值.

以下是在理想的情形下位移的估計過程.對于第一個圖像,構造一個局部信號,考慮的二次多項式：

在經歷一個全局的位移d(不隨空間變化,恒定的方向和大小),在第2 幅圖像上,構造一個新的信號：

然后,通過觀察,可以對應得到：

根據式(6),A1是非奇異矩陣的情況下,可以計算全局位移d：

值得注意的是,在任何維度下,以上公式均是成立的.

而在實際情況中,我們使用一個不隨空間變化的位移d,使用單一個多項式擬合函數來研究兩個圖像的關系,是不切實際的.因此我們定義第1 個圖像隨空間變化的參數A1(x),b1(x)和c1以及第2 幅圖像參數A2(x),b2(x)和c1,由式(5)可以得到：

再根據式(6),令：

得到最主要的約束：

其中,d(x)說明已經使用一個隨空間位置發生變化的位移場來代替方程4 中恒定大小和方向的全局位移d.

隨后進行鄰域估計.假設位移場僅緩慢變化,從而可以集成每個像素的鄰域上的信息.因此,我們試圖找到d(x)滿足式(12),并且盡可能地超出鄰域P的x,鄰域估計表示為：

其中,w(Δx)是鄰域中的點的權重函數.

2.3 微表情數據集

目前自發的微表情數據集較少,僅有的3 個數據集分別是SMIC[25],CASME[26],CASME Ⅱ[22].本文全部實驗采用CASME Ⅱ數據集.

CASME Ⅱ是中國科學院心理研究所收集的CASME數據庫的升級版本.CASME Ⅱ包含由200 fps 相機記錄的26 個受試者的255 個微表情視頻序列.獲得的微表情樣本由AU 編碼,包括3 部分：起始,頂點和結束.微表情數據集可以分為7 類：高興、驚訝、恐懼、悲傷、厭惡、壓抑等.

在我們的實驗中,由于恐懼和悲傷兩個類的樣本量分別是2 個和7 個,不足以進行特征學習的訓練.因此我們將它們排除在實驗之外,即其余的246 個樣本用于實驗.在我們的實驗中使用了5 個類(包括32 個高興樣本,63 個厭惡樣本,25 個驚訝樣本,27 個壓抑樣本和99 個其它樣本).

3 本文提出的方法

本文所提出的方法流程主要分為預處理,特征提取和分類3 個步驟,過程如圖1：首先經過預處理得到標準化的微表情視頻.為了捕獲人臉表情動態信息,通過光流法逐幀計算得到兩通道的包含動態信息的特征序列.然后將原始圖像的灰度圖作為一個通道的特征,與光流的兩個通道組合成3 個通道的特征序列,將這樣的三通道的特征序列輸入到C3D,由C3D 的卷積層、池化層和完全連接層自動提取高級特征.最后,由C3D 的最后一層全連接層計算出每類的預測概率,實現對微表情的分類.

圖1 本文所提出的微表情識別方法流程

3.1 微表情視頻預處理

3.1.1 人臉檢測和裁剪由于原始幀中含有無關的背景,因此需要定位邊界框以移除背景,并從原始圖像中保留面部區域.首先,通過OpenCV 中的Dlib 庫實現的68 點檢測算法[27]檢測微表情視頻片段第一幀中的面部區域,并根據第一幀剪裁該視頻片段的其余幀.此外,為了準確地在原始幀中裁剪面部區域,從68 點中選出特定周圍點(即最左側點、最頂部點、最右側點和最下側點)以形成面部區域周圍的邊界框,如圖2所示,通過裁剪周圍點得到最貼合臉部的人臉區域.

圖2 使用68 點人臉檢測算法

3.1.2 標準化處理

由于幀序列的時域和空域大小不統一,得到的裁剪幀序列需要進行標準化操作.具體來說,在時域上使用時間插值模型(TIM)[28]統一了微表情視頻的幀長.例如,在時域上通過TIM 的方法統一幀數為96,在空域上使用平面線性插值的方法將每一幀的平面尺寸統一為96×96.經過這樣的時域和空域上的大小尺寸調整,每個樣本大小尺寸統一為96×96×96×3 (3 為RGB通道),如圖3所示.

圖3 微表情視頻的標準化處理

3.1.3 灰度化處理

微表情視頻的灰度化處理.由RGB 三通道的圖片序列經過灰度化得到一通道的灰度圖片序列.如圖4所示,圖中上方為原始微表情RGB 圖片序列,下方是對應灰度化的圖片序列.

3.1.4 數據增強

深度學習常常需要大量的數據進行學習,在樣本量較少的時候,一般采用數據增強策略；仿射變換就是其中之一.仿射變換一般包括平移、翻轉、旋轉、縮放.這些方法對于卷積神經網絡提取特征具有不變性[29],并且廣泛用于各個領域的深度學習[17,29].

圖4 微表情的原始圖及灰度圖序列

本文用仿射變換進行數據增強.所的方法包括平移、翻轉和旋轉3 類.具體地,對于水平翻轉、垂直翻轉；旋轉角度90°、旋轉角度180°、使用旋轉角度270°,單種方式有5 種,同類仿射變換不混合的混合方式有6 種,水平翻轉加垂直翻轉本身及和旋轉三個角度混合有4 種,共15 種仿射變換.

3.2 光流特征提取

光流特征提取是對微表情視頻進行光流估計,提取微表情視頻的低級特征.對于微表情識別的視頻序列,用光流法計算面部區域的微小移動,計算工具使用OpenCV 庫[24],得到與原始圖像大小相等的雙通道圖像,雙通道分別表示強度和方向.為了更直觀地可視化光流,可以使用Munsell 顏色系統[30]將強度和方向矩陣轉換為可視化圖像,使用該顏色系統的微表情光流分布如圖5所示.得到的兩個通道的光流估計序列視為低級特征,和一個通道的灰度圖像序列合并為3 個通道圖像序列,共同輸入C3D 的輸入層中,C3D 將自動提取出時域和空域上的特征并進行最后的分類.

圖5 使用Munsell 顏色系統表示的微表情光流分布

3.3 C3D 網絡結構設計

在深度學習中,一個好的神經網絡結構在訓練過程中起著重要作用,良好的結構模型可以有效地提取特征.因此,C3D 結構上的參數需要適當地設置,包括層數、每層的核種類等.本文所提出的C3D 結構如表1所示.其中,網絡結構的卷積層核是(3×3×3).表1中：(1)Conv,Pool 和F 分別是卷積層,最大池化層和完全連接層的縮寫.(2)第一層Conv1 的輸入大小為(96×96×95×3),其中95 表示一個視頻在時域上的大小,(96×96)表示一個視頻在空域上的大小,3 表示輸入視頻的通道,包括兩個光流通道和一個上一幀灰度幀.(3)最后一層F2 用于分類,本文中的微表情類數為5,因此輸出大小為(5×1).這個網絡結構設計借鑒了經典的深度學習網絡VGG[31](Visual Geometry Group)的優點,VGG 在圖像處理方面表現出良好的性能.它具有3 個優點：(1)VGG 使用多個小卷積核而不使用過多大卷積核,一方面可以在獲得相同大小的特征映射的情況下捕獲到更多的空間上下文信息,但使用較小的卷積核時,使用的參數和計算量較少.另一方面,因為使用更小的核,意味著要使用更多的濾波器,即能夠使用更多的激活函數,從而使卷積網絡學習到更具區分性的映射函數.(2)層組的設計.兩個卷積層后面緊接著一個池化層,其中前兩個卷積層更注重局部特征,適合于需要提取微小局部信息的微表情識別.(3)第2 組層組比第1 組層組多一個卷積層,這意味著可以在第1 組層組的基礎上進一步細化特征的學習.

表1 C3D 網絡結構參數

4 實驗

4.1 實驗參數說明

網絡模型的學習過程由Keras 編碼實現.參數是經反復試驗決定的.本文中,初始學習率設置為0.01.對于C3D,訓練epoch 設定為160.對于損失函數,使用均方誤差(Mean Square Error,MSE),均方誤差損失函數是使用最廣泛的函數,并且在大部分情況下,均方誤差有著不錯的性能,因此被用作損失函數的基本衡量指標.實驗的主要硬件設備是兩塊NVIDIA Titan X GPU,編程語言使用Python.

4.2 實驗結果和分析

在本節中,我們通過評估本文提出的方法在CASMEⅡ數據集的分類準確率,并與其他現有方法進行了比較,包括現有的手工描述特征方法和深度學習方法.

4.2.1 和現有方法的對比

由于留一受試者交叉驗證方法(LOSO)能防止學習過程中的主體偏差[15]；因此,我們的實驗采用LOSO交叉驗證法.在此情景下,我們將本文所提出方法和其他現有的方法進行比較,包括手工描述特征方法和深度學習方法.

所提出方法的識別準確率比較如表2所示.如表中所示,所提出的方法優于其他現有方法.與手工描述特征的方法相比,深度學習方法通過調整參數和權重,能夠自動學習特征并在訓練期間優化模型.深度學習方法盡管更依賴于訓練樣本的數量,但這個問題可以通過數據增強來解決,通過逐層學習樣本,獲取到深層次的特征.如表2所示的基于深度學習的方法總體比手工描述特征方法表現更好.特別地,本文所提出的方法結果比手工描述特征方法中的最佳方法高約4%,這表明本文所提出的方法作為一種深度學習方法,能夠自動提取特征,省去了人工尋找特征的步驟,也提高了識別準確率.

表2 本文提出的方法與現有方法的微表情識別準確率比較

4.2.2 光流法對微表情識別的影響分析

本文所提出的方法是通過計算光流獲取低級特征,在時間維度上提取相鄰幀上的強度和方向的特征,以便捕獲更多的動態信息,然后對C3D 進行訓練,提取高級特征,實現微表情的自動識別.

從表2可以看到,本文所提出的方法比C3D 的識別準確率高了6.19%.即光流法貢獻了6.19%的識別正確率.原因是微表情視頻是一個動態時域上出現動作變化的視頻,光流法能通過計算出微表情的微小運動的大小和方向,逐幀地提取微表情的動態特征,捕捉到更多的動作信息,從而提高識別準確率.

5 結束語

本文提出了結合C3D 與光流法的微表情自動識別方法,通過光流法逐幀提取微表情的動態信息,得到的光流序列和原始灰度序列輸入C3D 網絡,通過C3D提取時域和空域上的特征,同時捕捉微表情的動態信息.實驗中,為了滿足大量的深度學習數據訓練需要,采用數據增強策略,擴大了微表情數據規模,防止深度學習網絡容易過擬合.在開放的微表情數據集CASME Ⅱ上進行了模擬實驗,實驗表明所提出的方法提高了微表情識別準確率,準確率達到67.53%.