基于差分定位與光流特征提取的微表情識別

許 剛 趙中原 談元鵬

(華北電力大學電氣與電子工程學院 北京 102206)

基于差分定位與光流特征提取的微表情識別

許 剛 趙中原 談元鵬

(華北電力大學電氣與電子工程學院 北京 102206)

針對現有微表情識別算法中特征提取冗余、處理時間長的問題，提出基于差分定位與光流特征提取的微表情識別方法。首先對人臉的表情敏感部位進行圖像序列差分，通過差分投影值劃定人臉運動區域，計算運動區域光流分析數據的主成分特征，最后利用支持向量機判斷臉部運動單元編號，識別微表情的類別。實驗結果表明，該方法較之于傳統識別技術在微表情識別效率與準確度上有顯著提升。

微表情識別 光流分析 圖像差分 主成分分析 面部行為編碼系統

0 引 言

不同于普通表情，微表情通常具有表情強度低、表情速度快的特點，持續時間在1/25～1/5秒間。微表情往往反映人真實的情感變化，基于這一特點，微表情研究開始受到諸如醫學臨床、安全保障、謊言識別、人工智能以及政治心理學等各個方面的專家學者的高度關注[1]。

微表情與傳統表情識別一樣，特征提取是它的關鍵環節。微表情自動識別研究初期采用差分[2]、應變模式[3]、Gabor[4]等傳統表情識別特征提取算法，然而由于微表情與普通表情在圖像細節紋理方面差異很大，傳統表情識別技術在微表情識別方面的應用效果并不見佳[5]。Shreve等人將光流分析引入微表情識別[6]，能夠實現對面部細微變化的捕捉與提取。但是其算法設計復雜、運算量大，所提取的表情特征冗余度較高，缺乏針對性，致使計算處理時間過長，同時非必要特征對后續分類造成干擾。

本文提出了一種基于差分定位與光流特征提取的微表情識別算法，首先借助圖像差分劃定臉部運動區域；而后對臉部運動區域進行光流分析并通過主成分分析PCA提取局部運動特征；最后借助支持向量機SVM進行微表情分類。實驗結果分析表明，算法在識別效率與準確度上都有一定提升，提升了微表情自動識別水平。

1 差分定位

圖像差分通過順序圖像灰度值絕對差的求取，突出圖像序列中的變化區域。如圖1(a)、圖1(b)所示的兩幅圖為一個微表情序列，兩幅人臉圖像之間的差異很小，單憑肉眼甚至無法分辨。而在圖1(c)的圖像差分結果中，人物嘴角運動被明顯突出。

圖1 微表情圖像序列與差分

在圖像差分的基礎上，通過投影閾值的判斷實現運動區域定位。算法具體實現過程分為以下四步：

(1) 設Kl(t)∈pl*ql為灰度圖像序列l在時刻t的灰度矩陣(pl×ql為圖像序列l灰度矩陣大小)。對不同時刻圖像序列l灰度矩陣進行差分處理，取差分絕對值，獲得：

(1)

(2)

(3)

圖2 圖像差分投影

(3) 顯著性閾值判斷：在算法訓練階段，對圖像序列l的差分投影設定閾值Vel(垂直方向)和Hol(水平方向)，閾值設定根據圖像各敏感部位的差分平均值自適應變化。在閾值的訓練階段，通過人工處理訓練樣本確定閾值的基值和一個以差分矩陣平均值為系數的浮動變量。在算法識別階段，統計達到閾值的投影點數vel、hol，根據投影點數判定圖像序列l是否發生運動。

(4) 運動區域定位：如果判定圖像序列l發生運動，通過差分投影值進一步劃定運動區域。首先對水平方向投影值從左向右掃描，至kl點滿足式(4)、式(5)：

(4)

(5)

即滿足kl點值與其后五點平均值都大于閾值Hol，則令leftl=kl。同理，從投影值右端向左掃描獲得橫向右終止點rightl，對垂直方向投影值重復上述操作并獲得縱向起、止點topl、bottoml，由這四點所對應的橫縱軸圍成運動區域El(t1,t2)。差分定位算法能夠獲得準確的圖像運動區域，進一步采用光流特征提取算法獲得區域運動特征。

2 光流特征提取

2.1 圖像序列光流分析

光流法以順序圖像中像素的時空相關性為基礎，通過計算物體的運動場獲取圖像運動特征。針對圖像序列El(t1,t2)，設圖像上的點(x,y)在時刻t的灰度為el(x,y,t)，用u(x,y)和v(x,y)表示光流在該點的水平和垂直移動分量：

(6)

經過間隔Δt后對應點為：

el(x+Δx,y+Δy,t+Δt)

(7)

根據圖像灰度一致性假設以及相鄰點具有相同運動速度的條件，建立光流值求取目標方程：

(9)

2.2 光流數據特征提取

通過光流分析獲取的圖像運動特征，維數高、數據冗余。PCA變換能夠降低數據維度[7]，具體處理包括：

(1) 數據訓練環節：建立數據空間特征基底。首先，每個訓練樣本的矩陣數據向量化，即矩陣按列依次排列構成向量。定義cov(xa,xb)為樣本a與樣本b所生成向量的協方差，則對nu個樣本計算協方差矩陣：

(10)

(2) 數據識別環節：基底系數特征提取。將待識別樣本數據y向基底空間映射：

(11)

其中i∈[1,s]，從而求取數據y映射到各特征基底的對應系數KeyEl(t1,t2)={k1,k2,…,ks}，用基底系數作為光流分析的特征值。

3 微表情識別算法流程

差分定位與光流特征提取算法實現圖像運動區域的定位和區域特征的提取，是微表情識別的核心。以此為基礎提出的算法流程如圖3所示，主要包括四個步驟：圖像預處理、敏感部位劃分與運動區域定位、光流分析與PCA特征提取、SVM運動單元分類[8]。其中后面三步需要通過訓練樣本訓練設定識別流程中的運動區域閾值、光流數據主成分基底、SVM分類器參數等。

圖3 微表情識別算法流程圖

微表情識別算法流程具體如下：

在全面清理排查、實施分類處置的同時，省廳進一步完善工作機制，探索土地管理長效機制，包括優化新增計劃管理、嚴格出讓管理，強化合同履約管理、規范閑置土地處置等等。

第一步 在圖像數據預處理環節，針對輸入的不同尺寸RGB彩色人臉圖像序列，將圖像序列轉化為灰度圖像并采用雙三次插值法對臉部圖像序列進行尺寸歸一化。

第二步 在敏感部位劃分與運動區域定位環節，以尺寸歸一化的灰度人臉圖像序列為輸入，按照面部行為編碼系統理論對人臉圖像進行劃分[9]，將人臉圖像劃分為不同的表情敏感部位。設集合L={1,…，l,…，N}，對?l∈L，表征面部表情敏感部位，如眉毛、嘴唇、嘴角、鼻梁、眼睛等。按照不同的表情敏感部位截取人臉圖像區域構成子圖像序列，在各子圖像序列中進行差分定位處理，從而獲得顯著性敏感部位的運動區域。這一步驟實現人臉表情位置的準確定位，縮小后續步驟的待處理數據量。

第三步 在光流分析與PCA特征提取環節，以上一步獲取的運動區域圖像序列為輸入，通過尺寸歸一化，對歸一化圖像序列進行光流分析。通過PCA特征提取光流特征：為不同表情敏感部位的運動區域分別建立特征基底，并在識別流程中選擇對應基底求取特征值。

第四步 在SVM分類輸出環節，提出以運動單元AU編號分類為基礎的表情識別。首先判斷臉部運動區域的運動形式：通過面部行為編碼系統理論為圖像序列編碼，獲得臉部AU編號，并借助表情、AU編號公式推導人物微表情[10]。為每個表情敏感部位設定單獨的分類器，將不同表情敏感部位的光流主成分特征作為輸入，將與表情敏感部位所涉AU編號一一對應的[0,1]向量作為輸出。SVM訓練流程中，將訓練樣本的PCA基底系數與AU編號作為輸入；SVM識別流程中，提取臉部單元運動特征，將PCA處理獲取的基底系數KeyEl′(t1,t2)作為臉部單位運動特征輸入SVM，獲得臉部的AU編號，實現微表情分類。

4 實驗與分析

4.1 實驗數據

本文實驗數據庫采用了中國科學院心理研究所建立的微表情數據庫CASME[11]。該數據庫采用60 fps幀率、1280×720分辨率攝像機記錄測試員微表情，對視頻剪裁、編碼并建立微表情分類數據。本文所有仿真實驗均使用Intel(R) Core(TM)2-T9600 CPU @2.80 GHz處理器在MATLAB 2012a環境下進行。根據數據庫所含樣本及其數量，從數據庫中選取五類表情、九類AU編號組合，如表1所示。

表1 實驗表情數據分類

表1描述實驗數據中各表情類別與運動單元組合的關系及各運動單元編號組合的數量，以Disgust表情為例，其涉及臉部AU編號組合包括AU4與AU9組合、AU9組合，兩類編號組合對應樣本數量分別為15、15。圖4為表1中不同運動單元組合的圖像差分，運動單元編號不同，臉部發生運動的區域也有所差異，各AU編號所對應臉部區域如圖4中方框所示。

圖4 運動單元組合圖像差分結果

實驗中，表情敏感部位包括眉毛、嘴角、嘴唇和鼻梁四個部分，單一人臉部位的運動單元編號數量最多為3，情緒分類數量最多為3。實驗選取微表情數據庫中人物的無表情幀與微表情幀，通過對兩幀數據的處理，提取圖像間的運動特征，實現微表情分類。

4.2 實驗過程

實驗流程包括：首先，通過預處理獲取尺寸歸一的灰度圖像序列。其次，在臉部灰度圖像劃分的各表情敏感部位差分定位。圖5(a)方框為眉毛圖像的差分定位結果，圖5(b)為對應運動區域圖像。差分定位算法實現了表情位置的準確選取，縮小待處理數據量。

圖5 臉部運動區域定位

然后對臉部運動區域進行光流分析與PCA特征提取。圖6為AU4樣本眉毛運動區域的光流分析，數據顯示這一部位具有向下運動的趨勢。

圖6 AU4圖像光流分析

在PCA特征提取中，基底選擇特征值大小前20所對應的特征向量。圖7(a)為眉毛區域PCA基底的各特征向量貢獻度，所選特征向量合計貢獻度達95%以上；圖7(b)為AU4樣本光流分析的PCA特征值。

圖7 PCA基底與特征值

將光流分析的PCA特征值作為SVM輸入，獲得臉部AU編號，通過AU編號表情公式識別微表情[10]。

4.3 實驗分析

實驗處理中，對不同面部區域分別進行特征提取與SVM分類訓練。各區域訓練樣本、測試樣本數量及識別準確率如表2所示，眉毛、嘴角等區域識別率在79%～84%，總體穩定。

表2 實驗分區數據

實驗同時對比分析另外兩種微表情分類方法：(1)差分投影算法：直接將臉部區域圖像差分的水平、垂直投影作為特征進行微表情分類；(2)全局光流算法：對整個人臉圖像序列直接進行光流分析和特征提取，實現微表情識別。表3為實驗結果對比數據。

表3 實驗結果對比

其中，差分投影算法計算簡單，它與運動區域光流算法一樣均通過判斷不同臉部區域的運動形式實現表情分類，單個輸入區域的最大分類數為3。但算法特征提取不完整，分類效果不好，識別率僅為33%。

運動區域光流算法是全局光流算法的改進。相比后者，前者通過準確定位運動區域，縮小處理范圍，提高處理效率，降低分類難度且避免了臉部非重要部位的影響。算法識別率達82%，計算平均時間降至0.291s。

5 結 語

微表情是人類心理活動的下意識動作，反映人物內心的真實變化，它具有表情強度低、表情速度快的特點。據此提出基于差分定位與光流特征提取的微表情識別方法，依據面部行為編碼系統理論將人臉劃分為不同的表情敏感部位；并對表情敏感部位的圖像序列進行差分，從而確定臉部的運動區域并計算其光流分析數據的主成分特征；最后利用支持向量機實現臉部AU編號分類和微表情識別。實驗結果表明，在微表情識別效率與準確度上，該方法較之于傳統識別技術有顯著提升。

[1] 賁晛燁,楊明強,張鵬，等.微表情自動識別綜述[J].計算機輔助設計與圖形學學報,2014,26(9):1385-1395.

[2] 夏海英,徐魯輝.基于主動形狀模型差分紋理和局部方向模式特征融合的人臉表情識別[J].計算機應用,2015,35(3):783-786,796.

[3] Shreve M,Godavarthy S,Manohar V,et al.Towards macro-and micro-expression spotting in video using strain patterns[C]//Applications of Computer Vision (WACV),2009 Workshop on.IEEE,2009:1-6.

[4] She X B,Wu Q,Fu X L.Effects of the duration of expressions on the recognition of micro expressions [J].Journal of Zhejiang University-SCIENCE B(Biomedicine and Biotechnology),2012,13(3):221-230.

[5] Wu Q,Shen X,Fu X.The machine knows what you are hiding:an automatic micro-expression recognition system [C]//Affective Computing and Intelligent Interaction.Springer Berlin Heidelberg,2011:152-162.

[6] Shreve M,Godavarthy S,Goldgof D,et al.Macro-and micro-expression spotting in long videos using spatio-temporal strain [C]// 2011 IEEE International Conference on Automatic Face and Gesture Recognition and Workshops (FG 2011),2011:51-56.

[7] 徐艷,陳孝威.基于差分圖像和PCA主元分析的人臉檢測[J].計算機應用與軟件,2008,25(8):229-230,273.

[8] 曾夢璐,王晅,石林楓，等.基于 Contourlet-NMF和 SVM 的近紅外人臉識別方法[J].計算機應用與軟件,2014,31(12):229-232.

[9] Ekman P,Rosenberg E L.What the face reveals:Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS)[M].New York:Oxford University Press,1997:1-130.

[10] Ekman P.Telling Lies:Clues to Deceit in the Marketplace,Politics,and Marriage (Revised Edition)[M].New York:WW Norton & Company,2009:132-161.

[11] Yan W J,Wu Q,Liu Y J,et al.CASME database:a dataset of spontaneous micro-expressions collected from neutralized faces[C]// 2013 IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG),2013:1-7.

MICRO EXPRESSION RECOGNITION BASED ON DIFFERENTIAL POSITIONING AND OPTICAL FLOW FEATURE EXTRACTION

Xu Gang Zhao Zhongyuan Tan Yuanpeng

(SchoolofElectricalandElectronicEngineering,NorthChinaElectricPowerUniversity,Beijing102206,China)

Existing micro expression recognition algorithm has the problems of redundancy in extracting feature and long processing time.In view of this,we proposed a micro expression recognition method which is based on differential positioning and optical flow feature extraction.First,it applies image sequence difference on sensitive parts of facial expression,delimits motion area on face by differential projection value.Then it calculates principal component feature of optical flow analysis data in motion area.Finally,it uses support vector machine to determine the number of facial movement unit and recognises the category of micro expression.Experimental results showed that compared with conventional recognition technology,this algorithm has significant improvement on efficiency and accuracy of micro expression recognition.

Micro expression recognition Optical flow analysis Image difference Principle component analysis Facial action coding system

2015-08-09。中央高校基本科研業務費專項項目(2015XS17)。許剛，教授，主研領域：電子信息技術，模式識別。趙中原，碩士生，談元鵬，博士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.01.030