基于局部區域方法的微表情識別

張延良 盧冰 洪曉鵬 趙國英 張偉濤

摘 要：微表情（ME）的發生只牽涉到面部局部區域，具有動作幅度小、持續時間短的特點，但面部在產生微表情的同時也存在一些無關的肌肉動作。現有微表情識別的全局區域方法會提取這些無關變化的時空模式，從而降低特征向量對于微表情的表達能力，進而影響識別效果。針對這個問題，提出使用局部區域方法進行微表情識別。首先，根據微表情發生時所牽涉到的動作單元（AU）所在區域，通過面部關鍵點坐標將與微表情相關的七個局部區域劃分出來;然后，提取這些局部區域組合的時空模式并串聯構成特征向量，進行微表情識別。留一交叉驗證的實驗結果表明局部區域方法較全局區域方法進行微表情識別的識別率平均提高9.878%。而通過對各區域識別結果的混淆矩陣進行分析表明所提方法充分利用了面部各局部區域的結構信息，并有效摒除與微表情無關區域對識別性能的影響，較全局區域方法可以顯著提高微表情識別的性能。

關鍵詞：微表情識別; 特征向量;動作單元;全局區域方法;局部區域方法

中圖分類號：TP391.41

文獻標志碼：A

Abstract： MicroExpression （ME） occurrence is only related to local region of face， with very short time and subtle movement intensity. There are also some unrelated muscle movements in the face during the occurrence of microexpressions. By using existing global method of microexpression recognition， the spatiotemporal patterns of these unrelated changes were extracted，thereby reducing the representation capability of feature vectors， and thus affecting the recognition performance. To solve this problem， the local region method was proposed to recognize microexpression. Firstly， according to the region with the Action Units （AU） related to the microexpression， seven local regions related to the microexpression were partitioned by facial key coordinates. Then， the spatiotemporal patterns of these local regions were extracted and connected in series to form feature vectors for microexpression recognition. The experimental results of leaveonesubjectout cross validation show that the microexpression recognition accuracy of local region method is 9.878% higher than that of global region method. The analysis of the confusion matrix of each regions recognition result shows that the proposed method makes full use of the structural information of each local region of face， effectively eliminating the influence of unrelated regions of the microexpression on the recognition performance， and its performance of microexpression recognition can be significantly improved compared with the global region method.

英文關鍵詞Key words： microexpression recognition; feature vector; Action Unit （AU）;global region method; local region method

0 引言

面部表情是人類傳遞個人內心感受的一個重要途徑。在過去幾十年中，表情識別一直是機器視覺領域的重要研究課題之一。除了日常生活中經常見到的常規表情，在特定情形下，人們會試圖掩蓋內在情緒的外露，而產生不易被人察覺的微表情（MicroExpression， ME）。

它持續時間通常少于 0.5s，發生時面部肌肉的動作幅度輕微、區域小。這種特殊的面部微小動作，可以作為識別人內在情感的重要依據，在司法審訊[1]、交流談判[2]、教學效果評估[3-4]及心理咨詢[5]等場合有廣泛的應用價值。因為用裸眼準確捕捉和識別微表情成功率很低，Ekman[6]開發了微表情識別訓練工具METT來提高人們對微表情的識別率， 但是，經過專業訓練的人士，識別率也僅能達到47%[7]。因此，運用計算機視覺方法實現微表情的識別成為情感計算領域的一個重要研究課題。

自動識別微表情的一般步驟是：首先設計特征表達方法，提取微表情視頻序列的特征向量; 然后再通過模式分類的方法實現識別。在微表情識別的開創性工作中，Pfiste等運用局部二值模式（Local Binary Pattern， LBP）[8]的一種拓展描述算子三正交平面局部二值模式（Local Binary Pattern on Three Orthogonal Plane， LBPTOP）[9]來編碼局部像素的時空共生模式。該方法采用時空描述子，分別抽取視頻在XY、YT及XT三個平面的LBP特征，既考慮了圖像的局部紋理信息，又對視頻隨時間變化的情況進行了描述。這種采用時空局部特征建立特征向量的思路被微表情識別領域的研究者廣泛采用。后續的時空完備局部量化模式[10]、六交點局部二值模式[11]、中心化二值模式[12]等均是對LBPTOP方法的改進。采用在三個平面抽取不同于LBP的局部特征作為時空描述子的思路，后續又出現了三正交平面局部相位量化算子（Local Phase Quantization on Three Orthogonal Planes， LPQTOP）[13]、三正交平面方向梯度直方圖算子（Histograms of Oriented Gradients on Three Orthogonal Planes， HOGTOP）[14]及改進的三正交平面方向梯度直方圖算子（Histogram of Image Gradient Orientation on Three Orthogonal Planes，HIGOTOP）[14]等局部時空模式用于微表情識別。

這些方法往往將視頻序列面部全局區域等分成若干個立方塊，然后提取每個塊的特征，再將這些特征串聯起來構成該視頻序列的特征向量。這種作法雖然考慮了局部模式的位置信息，但它將各個塊同等對待，沒有利用面部各組成部分（如眼睛、鼻子、嘴巴、下巴等）的內部結構信息，是一種全局的方法。實際上，微表情在發生時只牽涉到部分面部區域。面部在產生微表情時也存在一些無關的變化，全局方法提取這些無關變化的局部模式會降低特征向量對于微表情特征的表達能力，進而影響識別成功率。本文根據微表情發生時所牽涉到的動作單元所在區域作為分塊的標準，依據面部關鍵點坐標，將與微表情相關的7個區域劃分出來。提取這些區域的局部時空模式串聯構成特征向量，再用模式分類的方法進行微表情識別。實驗表明局部區域的方法可以有效摒除與微表情無關區域對識別性能的影響，較全局方法可以顯著提高微表情識別的性能。

5 結語

微表情是個體在特定情形下，無意識、不能自主控制的面部表情，具有動作幅度小、持續時間短的特點。現有的微表情識別方法的步驟是： 首先對面部全局區域進行無差別分塊，然后分別提取各塊的時空模式特征并串聯構成特征向量，再通過模式分類的方法實現識別。實際上，微表情只牽涉到面部局部區域，面部在產生微表情時也存在一些無關的肌肉動作，全局方法提取這些無關變化的局部模式會降低特征向量對于微表情特征的表達能力，進而影響識別效果。本文根據微表情發生時所牽涉到的動作單元所在區域，通過面部關鍵點坐標，將與微表情相關的7個局部區域劃分出來。提取這些局部區域組合的時空模式并串聯構成特征向量，進行微表情識別。實驗表明局部區域的方法充分利用了面部各局部區域的結構信息，有效摒除與微表情無關區域對識別性能的影響，較全局方法可以顯著提高微表情識別的性能。

參考文獻 （References）

[1] CLANCY M. The Philosophy of Deception[M]. Oxford： Oxford University Press， 2009： 118-133.

[2] SALTER F， GRAMMER K， RIKOWSKI A. Sex differences in negotiating with powerful males[J]. Human Nature， 2005， 16（3）：306-321.

[3] WHITEHILL J， SERPELL Z， LIN Y C， et al. The faces of engagement： automatic recognition of student engagementfrom facial expressions[J]. IEEE Transactions on Affective Computing， 2014， 5（1）：86-98.

[4] POOL L D， QUALTER P. Improving emotional intelligence and emotional selfefficacy through a teaching intervention for university students[J]. Learning & Individual Differences， 2012， 22（3）：306-312.

[5] STEWART P A， WALLER B M， SCHUBERT J N. Presidential speechmaking style： emotional response to microexpressions of facial affect[J]. Motivation & Emotion， 2009， 33（2）：125-135.

[6] EKMAN P. Micro Expression Training Tool （METT）[M]. San Francisco： University of California， 2002： 1877-1903.

[7] FRANK M G， HERBASZ M， SINUK K， et al. I see how you feel： training laypeople and professionals to recognize fleeting emotions[C]// Proceedings of the 2009 Annual Meeting of the International Communication Association. New York： [s. n.]， 2009： 3515-3522.

[8] OJALA T， PIETIKAINEN M， HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition， 1996， 29（1）： 51-59.

[9] ZHAO G， PIETIKAINEN M. Dynamic texture recognition using local binary patterns with an application to facial expressions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（6）： 915-928.

[10] HUANG X， ZHAO G， HONG X， et al. Spontaneous facial microexpression analysis using spatiotemporal completed local quantized patterns[J]. Neurocomputing， 2016， 175： 564-578.

[11] WANG Y， SEE J， PHAN R C， et al. LBP with six intersection points： reducing redundant information in LBPTOP for microexpression recognition[C]// Proceedings of the 12th Asian Conference on Computer Vision. Berlin： Springer， 2014： 525-537.

[12] FU X， WEI W. Centralized binary patterns embedded with image Euclidean distance for facial expression recognition[C]// Proceedings of the 2008 4th International Conference on Natural Computation. Washington， DC： IEEE Computer Society， 2008：115-119.

[13] SUN B， LI L， WU X， et al. Combining featurelevel and decisionlevel fusion in a hierarchical classifier for emotion recognition in the wild[J]. Journal on Multimodal User Interfaces， 2016， 10（2）：125-137.

[14] LI X， HONG X， MOILANEN A， et al. Towards reading hidden emotions： a comparative study of spontaneous microexpression spotting and recognition methods[J]. IEEE Transactions on Affective Computing， 2018， 9（4）： 563-577.

[15] COHN J F， AMBADAR Z， EKMAN P. Observerbased measurement of facial expression with the facial action coding system[J]. Neuroscience Letters， 2007， 394（3）： 203-221.

[16] MARTINEZ B， VALSTAR M F， JIANG B， et al. Automatic analysis of facial actions： a survey[J/OL]. IEEE Transactions on Affective Computing， 2017 [2018-06-20].https：//ieeexplore.ieee.org/document/7990582.

[17] YAN W J， LI X， WANG S J， et al. CASME II： an improved spontaneous microexpression database and the baseline evaluation[J]. PLoS One， 2014， 9（1）： 1-8.

[18] ASTHANA A， ZAFEIRIOU S， CHENG S， et al. Incremental face alignment in the wild[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014：1859-1866.

[19] COOTES T F， EDWARDS G J， TAYLOR C J. Active appearance models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23（6）： 681-685.

[20] 劉麗，謝毓湘，魏迎梅，等.局部二進制模式方法綜述[J]. 中國圖象圖形學報，2014，19（12）： 1696-1720.（LIU L，XIE Y X，WEI Y M，et al. Survey of local binary pattern method[J].Journal of Image and Graphics， 2014， 19（12）： 1696-1720.）

[21] OH Y， NGO A C， SEE J， et al. Monogenic Riesz wavelet representation for microexpression recognition[C]// Proceedings of the 2015 IEEE International Conference on Digital Signal Processing. Piscataway， NJ： IEEE， 2015： 1237-1241.

[22] LIONG S， SEE J， PHAN R C， et al. Subtle expression recognition using optical strain weighted features[C]// Proceedings of the 12th Asian Conference on Computer Vision. Berlin： Springer， 2014： 644-657.

[23] NGO A C， PHAN R C， SEE J， et al. Spontaneous subtle expression recognition： imbalanced databases and solutions[C]// Proceedings of the 12th Asian Conference on Computer Vision. Berlin： Springer， 2014： 33-48.