微表情識別技術分析

杜杏菁 徐 玲

(華北科技學院計算機學院 廊坊 065201)

微表情識別技術分析

杜杏菁 徐 玲

(華北科技學院計算機學院 廊坊 065201)

分析了微表情國內外研究現狀,研究了基于3D梯度投影微表情捕獲方法,微表情自動識別方法:3D梯度直方圖識別、區域分割與光流法微表情識別,放大微表情識別法。從微表情編碼系統和心理分析兩個方面對微表情研究進行展望,分析了微表情人臉數據庫從目的性誘導到自然誘導的轉變,指出了微表情需要解決的問題:建立逼真有效的微表情樣本數據庫,縮短微表情捕獲的時間,建立自動識別系統,建立微表情心理模型,拓寬拓寬微表情的應用領域,即從偵查、審訊等國家安全領域擴展到醫學、政治心理學、銷售、人才招聘等領域。

微表情; 捕獲; 自動識別; 自然誘導; 樣本數據庫

Class Number TP391

1 引言

人們通過一些表情把內心感受表達給對方看,在不同表情之間或某個表情里,臉部就會“泄露”出其它的一些信息,即微表情信息。一個下意識的微表情可能只持續一瞬間,當面部在做某個表情時,持續時間極短的微表情會突然一閃而過,有時卻表達相反的情緒。微表情是人們試圖壓抑或隱藏真實感情時泄露出的非常短暫的、不可自主控制的面部表情[1]。當人受到某種外界刺激時臉部做出的細微表情就是微表情,它由情緒引起或習慣性動作產生,可以說微表情是由情緒引發的無意識地面部微動作。其特點是不能自主控制、不易察覺、轉瞬即逝。微表情能夠反映出一個人的內在心理狀態,目前,人們常常將微表情與謊言聯系到一起,將微表情研究應用到偵查、審訊、職場應聘等領域。

2 國內外發展研究現狀

自1966年Haggard和Isaacs發現此面部表情[2]和1969年Ekman等人也發現并稱其為微表情[3]以來,微表情研究受到了越來越多的關注,成為警察審訊過程中識破謊言的途徑,被應用在偵查、審訊過程中。臨床也是微表情研究的重要領域,醫生根據微表情可更好地了解病人的需求和心理。國內外的一些單位或團隊對微表情正在進行研究,如美國的Ekman團隊、Matsumoto團隊、Shreve團隊,加拿大的Porter團隊,日本的Polikovsky團隊和中國的傅小蘭團隊等[4]。最初的微表情研究注重個體微表情識別能力的訓練和提高,先后出現了各種訓練和測試識別能力的程序和實驗,包括BART(Brief Affect Recognition Test)[5]、JACBART(Japanese and Caucasian Brief Affect Recognition Test)[6]、METT(Micro Expression Training Tool)[7]。表1列出了目前國內外進行的自動微表情研究機構。

表1 國內外微表情研究團隊

3 微表情識別

微表情的研究最初與測謊緊密聯系,成為警察審訊過程中識破謊言的途徑。臨床也是微表情研究的重要領域,2006年,Russell、Elvina、Mary研究了METT訓練程序對精神分裂癥患者在情緒識別和微表情識別的影響,結果顯示經過訓練,精神分裂癥患者可以通過訓練恢復部分識別能力,可以有效緩解其社會功能的損傷。微表情應用在政治心理學領域,在公開演講時,微表情能夠傳遞一種特殊信號,影響聽眾的情緒。微表情應用在銷售領域,可以通過顧客的微表情判斷顧客對產品的滿意度。

在美國,針對微表情的研究已經應用到國家安全、司法系統、醫學臨床和政治選舉等領域。在國家安全領域,有些訓練有素的恐怖分子等危險人物可能輕易就通過測謊儀的檢測,但是通過微表情,一般就可以發現他們虛假表面下的真實表情,并且因為微表情的這種特點,它在司法系統和醫學臨床上也有著較好的應用。

3.1 各種微表情

厭惡:厭惡的表情包括嗤鼻,上嘴唇上抬,眉毛下垂,瞇眼。憤怒:這時眉毛下垂,前額緊皺,眼瞼和嘴唇緊張。輕蔑:輕蔑的顯著特征就是嘴角一側抬起,作譏笑或得意笑狀。傷心:面部特征包括瞇眼,眉毛收緊,嘴角下拉,下巴抬起或收緊。害怕:害怕時,嘴巴和眼睛張開,眉毛上揚,鼻孔張大。高興:人高興時面部動作包括:嘴角翹起,面頰上抬起皺,眼瞼收縮,眼睛尾部會形成“魚尾紋”。驚訝:驚訝時,下顎下垂,嘴唇和嘴巴放松,眼睛張大,眼瞼和眉毛微抬。各種表情如圖1所示(圖片來自常見微表情識別方法-百度經驗)。

圖1 各種微表情圖

3.2 微表情捕獲

在所有的微表情中,說謊的微表情更容易捕獲、被辨別出來。微表情的捕獲大部分是通過有經驗的人在視頻中搜尋,或者通過現場觀察、交談的過程中察覺而獲得。普通人對微表情的識別能力并不高,專門的微表情識別訓練可以提高識別率,而且識別微表情特別費時,因此,自動微表情捕獲與識別系統的研究成為了研究的熱點。劉欣等提出了基于3D梯度投影的微表情捕獲方法[8],實現方法如下。

1) 多尺度矩形梯度描述子特征提取

將圖像分割成密集統一的網格點,以每個網格點為中心,向周邊擴展形成掃描單元及掃描區域,每個區域包括m×m個單元,每個單元包括n×n個像素點,在文獻[8]中m為2,n為8。以每個單元的中心點形成局部方向梯度直方圖,最后疊加到一起形成構成整個掃描窗口的直方圖序列。

2) 臉部圖像區域劃分

在第一幀人臉圖像手工標注13個特征點,以每個特征點為中心,按眼睛區域尺寸為大小,將人臉劃分成為9個特征區域,標記每個特征區域的大小、位置、名稱,每個區域盡可能只包含不超過2個特征點。針對每個特征區域引入時間軸,那么視頻流就會被面部特征區域劃分成多個特征立方體。

3) 臉部微表情捕獲

3D梯度投影法把空間梯度向量分別投影到笛卡爾坐標系的xot和yot平面上,將一個空間向量轉換成兩個平面梯度向量。將面部特征立方體進行橫截和縱截,形成多個橫截面和縱截面,這些截面反映了一段時間t內圖像中像素運動的狀態,用L(x,t)和L(y,t)表示。對每點計算梯度,可以得到投影2D梯度向量的量級和方向分別如式(1):

θxt=arctan(Lt(x,t)/Lx(x,t))

θyt=arctan(Lt(y,t)/Ly(y,t))

(1)

根據上式分別計算每個區域內各像素點在時刻t的梯度方向,建立二維梯度方向統計直方圖,對12個角度單元中的像素點數目進行疊加統計,通過各時刻直方圖的峰值可得到特征點在t時刻的運動趨勢及微表情發生的時刻。

3.3 自動微表情識別

微表情持續時間短,出現頻率低,未經訓練的個體識別能力低。研究人員不僅著手個體識別的能力和精確度,而且已經開始研究識別過程和認知神經機制,在微表情數據庫方面已經開始建立自然誘發和精確標注的數據庫。微表情識別的準確度、微表情的特點、自動微表情識別系統等對數據庫的依賴性很強,建立數量足夠多、具有代表性的微表情數據庫迫切需要。

目前正在開展的自動微表情研究有日本筑波大學的基于Polikovsky數據庫的3D梯度直方圖識別法;美國南佛羅里達大學基于USF-HD數據庫的光流法[9];芬蘭奧盧大學基于SMIC數據庫的時間差值模型法[10];中國傅小蘭團隊的Gabor特征法。微表情識別方法有梯度直方圖識別法、區域分割與光流法[11]、放大微表情識別法。

1) 3D梯度直方圖識別法

采用Gabor濾波器提取經3D投影描述法分析的9個微表情特征區域的多方向、多尺度圖像特征,方向個數為8,尺度個數為5,應用基于多區域的局部Gabor二值模式算法[12],構建梯度量級加權的最臨近表情分類器,然后經過降維的LGBP特征分類。假設Di和Dj是經過降維后的兩個向量,這兩個向量的距離可定義為式(2):

(2)

(3)

2) 區域分割與光流法識別

區域分割與光流法識別微表情的步驟如下:

第一步:定位人眼,確定眼睛中心點,將兩眼中心點連線,將所有幀圖像記錄到起始幀;

第二步:將臉部圖像進行區域的劃分;計算光流應變及閾值,并剔除宏表情部分。

該方法識別微表情要滿足如下條件:應變大小必須明顯比周圍區域大;應變時間持續必須大于0.2s。關于每個區域的平均應變值可利用式(4)求得:

(4)

其中,n為總幀數,r是特征區域,S是第i幀的區域r的應變值。應變值高于閾值被看作是宏表情,小于閾值被認為是微表情。

3) 放大微表情識別法

芬蘭奧盧大學的研究小組開發出能夠識別微表情的人工智能技術,可以從拍攝人物表情的影像中,檢測出微表情的發生。研究小組對影像每一幀之間的微妙轉變進行監測,構建出能夠擴大識別表情瞬間動作的系統。將識別到的瞬間微表情畫面進行夸張化處理后,就能輕松確認這個人物的真實情感了,如圖2所示。

圖2 原圖像、8倍圖、24倍圖

3.4 微表情編碼系統

在1969年Ekman在研究重度抑郁癥患者瑪麗愉快地請求放她回家的一段視頻時,發現了極度痛苦的、只持續了1/15s的一個微表情。Ekman等研究人員對微表情進行研究,發現了微表情與謊言有關,因此微表情研究被應用到了安全、司法、臨床領域,同時微表情得到了社會和科學界的廣泛關注。

人類測謊專家、微表情研究專家Ekman于2006～2009年發現微表情可以包含普通表情全部或部分肌肉動作[13],收集匯總出了“面部動作編碼系統(FACS)”,該編碼系統中,人臉面部肌肉43塊,可以組合出3000多種與情感有關的表情,由44個動作單元組成,每個單元單獨或組合呈現出不同的微表情,其中8種臉部表情的表示單元和編碼如表2所示。

表2 微表情與FACS編號

微表情持續時間短,一般人根本察覺不到,當事人自己也沒有感覺。微表情與人的腦波一樣,雖然存在,很難察覺,是一種未經思索、不受意識控制的表情,因此,微表情是了解一個人內心真實反映的有效線索,需要在情感計算上進行提升,也就是微表情心理建模研究。研究人員研究微表情的影響因素及心理變化,微表情出現時的認知、情緒、動機、人格及神經機制等。與微表情識別研究相比,微表情心理和神經機制研究較少,是需要解決的重要科學問題。

4 各種微表情心理分析

每一個人的內心都是一座城,因為城門的緊閉而讓別人總是擁有濃厚的興趣去打開它。微表情是內心的流露與掩飾,如果錯誤的理解“微表情”會對交流對象形成錯誤的判斷。理解“微表情”,能夠從一閃而過的表情信號里發現有價值的信息。微表情是心理應激微反應的一部分,它從人類本能出發,不受思想的控制,無法掩飾,也不能偽裝。再能“裝”的人,遇到有效刺激之后的第一瞬間也會出現微表情,他的“裝”只能出現在微表情之后。因此,以微表情為代表的微反應是個人內心想法的忠實呈現,是了解一個人內心真實想法的最準確線索。

4.1 撒謊的微表情心理學分析

當向對方詢問某事時,對方一側肩抖動說明對方對自己的話不自信,身體和語言不一致,表示他在撒謊,驚奇、害怕的表情在臉上超過一秒,表示是假裝的,對方對你的質問表示不屑,通常你的質問會是真的。對方對你撒謊時,會有更多的眼神交流,來判斷你是否相信他的謊言;對你的問題生硬的重復是典型的撒謊方式。說話或思考時把手放在鼻子上是想要掩飾什么的舉動,說話時一直把手放在褲兜里或抵著大腿,是緊張的表現,描述一連串發生的事情,如果事情是編造的,他可以按虛構好的順序說,但是卻無法倒敘重復。人撒謊時會摸脖子,這是經典的機械反應。

4.2 緊張、憤怒、興奮的微表情心理學分析

緊張,憤怒,性興奮三種情緒會使人的瞳孔放大,手臂緊貼腿部,手指豎起,是心里不安的表現。

微笑的時候眨眼睛說明真的想到令人幸福的事。假笑眼角是沒有皺紋的,人在害怕時會出現生理逃跑反應:血液從四肢回流回腿部,做好逃跑準備,手部會先變冰涼微。

羞愧的表情是低著頭、手撫摸額頭、擦汗狀。不屑的表情是上嘴唇上揚說話很急,使用手臂或者物體將自己與對方之間形成障礙。癟嘴角是經典的犯錯表情,對自己的話沒信心,聲音的震顫可能是反感或厭惡。撫摸自己的手是一種自我安慰的手勢,在自己不完全相信自己所說的話時,用來盡量打消自己的疑慮。如果是真的生氣,大吼大叫和手用力拍桌子應該是同時發生的,如果一先一后,就有可能是在偽裝。研究表明,越受歡迎的人,越會撒謊,他們善于隱藏自己的情感因此容易受歡迎。

5 微表情研究展望

微表情持續時間短、出現頻率低,不同個體識別準確率差異大,要實現微表情的廣泛應用,就要快速、精確地捕獲微表情,那么就需要建立一個真實、實用的微表情數據庫,尋找合適的自學習算法,將微表情研究、計算機視覺、模式識別技術結合,充分利用色彩信息,實現對現實生活環境中微表情的自動識別。

當前,人們對微表情的研究僅僅局限在測謊方面,實際上在各種場合都有可能出現微表情,不同場合的微表情反應不同的心理,通過微表情可以判斷觀察者可信度、痛苦度、舒適度等,研究不同微表情反應的不同心理、不同微表情表現出來的不同神經機制和肌肉運動、在微表情和心理反應間建立相應的模型有助于判斷人的心理反應,進而推斷人的將來行為。

研究微表情的應用領域,拓寬應用范圍,將微表情從國家安全領域擴展到醫學、政治心理學、銷售、人才招聘等領域有廣泛的應用價值。

5.1 微表情研究尚存問題

人們對微表情識別進行很多研究,但也存在較多差異,如微表情的持續時間、運動特點、自我意識性、說謊性、心理特征等,進一步研究這些問題有助于人們深入了解微表情本質,進而更科學的實現微表情心理判斷,為應用在不同領域提供科學依據。

尋找自主學習型分類算法,將微表情樣本中共同的顯著特征信息進行提取,進行分類識別。在自然環境下采集微表情樣本,建立真實有效的微表情數據庫。

研究心理動機、心理能量和微表情的關系,各種心理反應的外動力和內驅力,心理能量作用引起情緒變化,情緒表現出來的微表情。

5.2 微表情未來的研究

設計自主學習型分類器提取微表情特征。現有微表情識別多是人工識別階段,不同的人識別差異很大,受過培訓的人要比普通人識別率高,在前人設計基礎上設計準確的計算機自動識別算法。使用自然環境誘導微表情捕獲方法建立微表情樣本數據庫,因為已有國外微表情數據庫對國內人群不適用,而且數據庫樣本是在自主控制下獲得不真實。

建立微表情和心理反應的能量理論。現有微表情研究無不與國家安全的測謊領域相連,為了拓寬微表情的應用領域,必須建立微表情與心理反應的能量關系,對微表情進一步研究。

6 結語

分析了微表情國內外研究現狀，研究了基于3D梯度投影微表情捕獲方法和微表情人臉數據庫從目的性誘導到自然誘導的轉變。討論了微表情研究需要解決的問題：建立逼真有效的微表情樣本數據庫，縮短微表情捕獲的時間，建立自動識別系統，建立微表情心理模型，拓寬拓寬微表情的應用領域，即從偵查、審訊等國家安全領域擴展到醫學、政治心理學、銷售、人才招聘等領域等。

[1] Ekman P. Telling lies: Clues to Deceit in the Marketplace[J]. Politics and Marriage,2001,2(2):209-214.

[2] Haggard E A, Isaacs K S. Micromomentary facial expressions as indicators of ego mechanisms in psychotherapy[J]. Methods of Research in Psychotherapy,1966,6:154-165.

[3] Ekman P, Friesen W V. Nonverbal leakage and clues to deception[J]. Psychiatry,1969,32:88-97.

[4] Liang Jing, Yan Wenjing, Wu Qi. Progress and Prospects Microexpressions study[J]. Science Foundation of China,2013,6(2):75-82.

[5] Ekman P, Friesen W. Nonverbal behavior and psychology. In:Friedman R, Ed[J]. The Psychology of Depression: Contemporary Theory and Research,1974,12(4):203-224.

[6] Matsumoto D, Le Roux J, Wilson-Cohn, et al. A new test to measure emotion recognition ability: Matsumoto and Ekman’s Japanese and Caucasian Brief Affect Recognition Test[J]. Journal of Nonverbal Behavior,2000,24(3):179-186.

[7] Polikovsky S, Kameda Y, Ohta Y. Facial micro expressions recognition using high speed camera and 3D-gradient descriptor[C]//3rd International Conference on Crime Detection and Prevention,2009,10:231-235.

[8] 劉欣,解侖,王志良.基于3D梯度投影描述的微表情捕捉與識別[J].華中科技大學學報(自然科學版),2014,42(12):122-127. LI Xin, XIE Lun, WANG Zhiliang. Microexpression capture and recognition based on 3D gradient projection description[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition),2014,26(19):1385-1395.

[9] Shreve M, Godavarthy S, Manohar V, et al. Towards macro and micro-expression spotting in video using strain patterns[J]. Workshop on Applications of Computer Vision,2009,6(3):1-6.

[10] Pfister T, Li X, Zhao G, et al. Recognizing spontaneous facial micro-expressions[C]//Proceedings of IEEE International Conference on Computer Vision, Barcelona, Spain: IEEE Press,2011:1449-1456.

[11] 賁晛燁.微表情自動識別綜述[J].計算機輔助設計與圖形學學報,2014,26(19):1385-1395. BEN Xianye. Automatic recognition of microexpressions[J]. Journal of Computer Aided Design and Computer Graphics,2014,26(19):1385-1395.

[12] 張文山,山世光,張洪明.基于局部Gabor變換直方圖序列的人臉描述與識別[J].軟件學報,2006,17(12):2508-2517. ZHANG Wenshan, SHAN Shiguang, ZHANG Hongming. Face description and recognition based on local Gabor transform histogram sequence of[J]. Software Journal,2006,17(12):2508-2517.

[13] Wu Qi, Shen Xunbing, Fu Xiaolan. Microexpressions research and its application[J]. Advances in Psychological Science,2010,18(9):1359-1366.

Analysis of Micro-expression Recognition Technology

DU Xingjing XU Ling

(Computer Department, North China Institute of Science and Technology, Langfang 065201)

The present research situation of micro-expression at home and abroad is analyzed, and the micro-expression acquisition method based on 3D gradient projection is studied. Micro-expression automatic recognition method includes: 3D gradient histogram recognition, regional segmentation and optical flow identification, amplification micro-expression recognition method. The micro-expression research is discussed from micro-expression coding system and psychoanalysis. The transformation of the micro-expression face database from the purpose-induced to the natural-induced is analyzed, the problems that micro-expression needs to be solved are pointed out: the establishment of realistic and effective micro-expression database; shorten the micro-expression capture time; the establishment of automatic identification system; the establishment of micro-emotional model, Widen the application of micro-expression, that is, from the investigation, interrogation and other national security field extended to the medical, political psychology, sales, recruitment and other fields.

micro-expressions, capture, automatic recognition, natural induction, sample database

2016年8月17日,

2016年9月30日

河北省科技計劃項目(編號:15210708);中央高校基本科教研業務費資助(編號:3142014092)資助。

杜杏菁,女,博士,副教授,研究方向:圖像處理,生物識別。徐玲,女,碩士研究生,研究方向:圖像處理,計算機應用。

TP391

10.3969/j.issn.1672-9722.2017.02.030