機器學習在情緒識別中的應(yīng)用研究

李思琦

摘要：人類的感情理解一直都屬于人工智能的重要課題，計算機在人機交互中如果能夠智能地理解人的感情變化就能夠提供更好的服務(wù)。因為情緒通常是經(jīng)由一些外在因素刺激而產(chǎn)生的主觀體驗（如喜、怒、哀、懼等情感），并伴有外部表現(xiàn)的變化（如面部表情、身體行為和聲音語調(diào)等）和生理反應(yīng)的變化（如皮下的特定活動、心率的節(jié)奏等）。假設(shè)數(shù)據(jù)的觀測值有效可靠，那么就可以根據(jù)這些數(shù)據(jù)把潛在的情緒狀態(tài)推測出來。情緒在人類的感知、推理、決策的過程中扮演著極其重要的角色，長期以來，對情緒的研究只存在于心理學和認知科學領(lǐng)域。近年來，隨著人工智能的發(fā)展，情緒研究與機器學習方法相結(jié)合產(chǎn)生了基于機器學習的情緒識別這一研究方向。本文分為以下幾部分進行介紹：首先是機器學習的發(fā)展歷程以及原理，然后是機器學習在情緒識別中的應(yīng)用，最后是對未來機器學習在情緒識別方向發(fā)展的展望。

關(guān)鍵詞：情緒識別;機器學習;微表情;宏表情

一、前言

人類在對外界事物進行探索和認知的過程中，會產(chǎn)生諸如喜悅、悲傷、憤怒、恐懼等主觀情感。人們把對客觀事物的態(tài)度體驗以及相對應(yīng)的行為反應(yīng)，稱為情緒。情緒作為一種不同于認識和意識的心理形式，不同程度上影響著人的學習、工作效率以及行為模式。如今隨著人工智能發(fā)展走上正軌，各項人工智能技術(shù)都已經(jīng)適用于學習生活中的各個方面。其中最重要的一個方面就是人和計算機的信息交互。要給計算機加入人的一些基本功能如視覺和聽覺，這樣人與計算機就消除了基本的隔閡[1]。分別從面部表情、語音語調(diào)、生理信號和身體動作與姿勢等多種角度對情緒進行識別。對面部表情和語音語調(diào)的識別是基于非生理信號的情緒識別方法。面部表情識別方法是根據(jù)表情與情緒間的對應(yīng)關(guān)系來識別不同的情緒，在特定情緒狀態(tài)下人們會產(chǎn)生特定的面部肌肉運動和表情模式，如心情愉悅時嘴角會上翹，眼部會出現(xiàn)環(huán)形褶皺; 憤怒時會皺眉，睜大眼睛等。語音語調(diào)識別方法是根據(jù)不同情緒狀態(tài)下人們的語言表達方式的不同來實現(xiàn)的，如心情愉悅時說話的語調(diào)會比較歡快，煩躁時語調(diào)會比較沉悶。但是基于非生理信號識別方法缺點是不能保證情緒識別的可靠性，因為人們可以通過偽裝面部表情和語音語調(diào)來掩飾自己的真實情緒，而這種偽裝往往不易被發(fā)現(xiàn)。其次，對于患有某些特殊疾病的殘疾人來說，基于非生理信號識別的方法往往難以實現(xiàn)。通過心率、呼吸、眼動、血氧或皮膚電等生理信號是基于生理信號的情緒識別來推測或者解釋心理活動，具有自然、高效、真實可靠的特點。在此基礎(chǔ)上，為了讓人和計算機的交互更加常態(tài)化，需要給計算機加入情感理解和情感識別，讓計算機能夠很自然地和人交流，擁有情感理解和情感識別的計算機是人工智能未來的發(fā)展趨勢 [2]。

二、機器學習的源起與發(fā)展

（一）機器學習的發(fā)展歷程

機器學習是基于經(jīng)驗數(shù)據(jù)的函數(shù)估計問題，它通過從已知的觀測樣本中學習并歸納出數(shù)據(jù)的模型或規(guī)律，然后通過這個規(guī)律或模型推測出未知的輸入數(shù)據(jù)所對應(yīng)的未知輸出數(shù)據(jù)。

對于機器學習而言，已經(jīng)發(fā)展出以下一些流派，他們都在歷史上繁榮一時，占據(jù)過一定的地位。五十年代中后期，神經(jīng)網(wǎng)絡(luò)的“連接主義”這一階段為熱烈時期20世紀60年代中期到70年代末，基于邏輯表達的“”符號主義“。這個時期的研究方向是模擬人類大腦的學習過程，并采用邏輯推理或圖結(jié)構(gòu)作為機器學習機制的描述，但當時缺乏大內(nèi)存和高處理速度的計算機以及龐大的數(shù)據(jù)庫支持，也沒人知道如何能讓一個程序?qū)W習這么大量的知識。20世紀80年代至21世紀初，基于數(shù)學統(tǒng)計的“統(tǒng)計學習”時期，這一時期在全世界范圍內(nèi)又掀起了機器學習研究的熱潮，用隱單元來計算與學習非線性函數(shù)的方法，從而克服了早期神經(jīng)元模型的局限性。加之計算機硬件的突飛猛進的發(fā)展 ，使神經(jīng)網(wǎng)絡(luò)的實現(xiàn)成為現(xiàn)實。1995 年提出了支持向量機的概念，2001年提出了隨機森林算法，這些都是機器學習領(lǐng)域的重大突破。2006年，首次提出了深度學習的概念，并指明可以通過逐層初始化來解決深度神經(jīng)網(wǎng) 絡(luò)在訓練上的難題。大大提高了人工神經(jīng)網(wǎng)絡(luò)的能力，對支持向量機形成了挑戰(zhàn)，開啟了深度學習的浪潮。

（二）機器學習在情緒識別中的應(yīng)用

越來越多的學者對情緒識別展開研究，用于情緒識別的對象一般有面部表情、語音、語義、姿態(tài)和生理信號。如趙國朕（2016年）等人的基于生理大數(shù)據(jù)的情緒識別將腦電、皮膚電、心電、呼吸、皮膚溫度、面部肌電、眼電等數(shù)據(jù)進行機器學習發(fā)現(xiàn)支持向量機在基于生理大數(shù)據(jù)的情緒實時識別應(yīng)用中優(yōu)勢明顯[3]。蔣小梅等人為準確有效地對情緒狀態(tài)進行識別，對4種情緒狀態(tài)高興、生氣、悲傷、緊張下的多生理信號（心電、肌電、呼吸、皮電）進行預處理和特征提取，利用ReliefF算法進行特征選擇，利用J48決策樹分類器最終實現(xiàn)對4種情緒狀態(tài)的識別。J48決策樹分類器對4種情緒狀態(tài)的平均識別率為96.74%[4]。慕永利等人結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，提出了一種基于集成卷積神經(jīng)網(wǎng)絡(luò)的情緒原因識別方法[5]，實驗結(jié)果表明，該文的方法在情緒原因識別方面取得了較好的效果，對于情緒歸因的方法研究具有一定的指導作用。甚至還有對于殘疾人士采用機器學習對其情緒進行準確識別，（魯心靈，2018）利用支持向量機對殘疾人情緒孤獨心理進行識別，明該模型的精確度為93.33%[6]。

人類表達情緒的表情還包括微表情，其是人們情緒和心理健康的真實表現(xiàn)。在臨床診斷、情感計算、國家安全詢問、謊言檢測等領(lǐng)域有普遍的應(yīng)用。與普通的面部表情相比，微表情具有顯著的特征—持續(xù)時間短（1/3至1/25秒）和低強度。它們在持續(xù)時間短的情況下與宏觀表達明顯不同，并且顯示出抑制的影響。肉眼難以察覺微觀表達。即使是受過訓練的人也能夠正確區(qū)分微觀表達，準確率低于50%。李等人借鑒動態(tài)紋理識別的方法提取微表情特征，用支持向量機做分類器[7]。在高速微表情數(shù)據(jù)庫上測試得到48.78%的識別率。顏等人得到了63.41%的識別率[8]。吳奇等人提出采用過濾器（特征提取）和支持向量機（分類器）來識別微表情[9]。基于運動的特征提取的方法，（楊文杰，2018年）發(fā)現(xiàn)深度卷積算法使用人臉表情為數(shù)據(jù)進行情緒識別方法，準確率高達85.4%，識別率以及系統(tǒng)魯棒性都有較好的效果[10]。

從之前的研究發(fā)現(xiàn)，基于機器學習基于微表情的情緒識別的研究得到的識別率并不高，近幾年研究者將深度學習應(yīng)用于微表情識別中，識別率有很大的提升，目前研究并不多，仍有很大的潛力可以挖掘。

人臉表情分析在人機交互中起著至關(guān)重要的作用。表情識別與人臉面部的運動變化有關(guān)，它提供了豐富的關(guān)于人的情感、內(nèi)涵及其它內(nèi)在狀態(tài)的信息。盡管目前仍舊沒有關(guān)于“情感”一詞的精確定義，但人類情感的存在是毫無疑問的，而且它是我們的日常生活的重要組成部分。人類能夠理解“情感”，并能針對它人的“情感”做出相應(yīng)的反應(yīng)，正因為如此，人類的之間的交互活動才顯得如此豐富多彩。

三、展望

情緒識別是一個高度綜合和復雜的研究領(lǐng)域。通過機器學習理論與認知科學、心理科學的結(jié)合，研究人與人交互的情緒表達的特征，找尋到其內(nèi)在真實的或統(tǒng)計意義上的規(guī)律，將有可能實現(xiàn)人與計算機和諧的情緒交互。這首要的問題就是要使計算機能夠識別情感狀態(tài)，而生理信號情感識別以其特有的，潛在的優(yōu)勢備受重視。但這方面的研究還很不成熟，未來希望能有更多的采用生理信號結(jié)合機器學習算法來進行情緒識別。

隨著計算機等硬件條件的發(fā)展、大數(shù)據(jù)時代的到來，深度學習在計算機視覺領(lǐng)域備受關(guān)注。目前已成為計算機視覺等眾多科研領(lǐng)域的研究熱點。在情緒識別領(lǐng)域，深度學習很好地解決了傳統(tǒng)機器學習對人臉姿態(tài)、光照、遮擋物 等敏感問題，提高了表情情緒識別的魯棒性。深度學習雖在人臉表情等分類領(lǐng)域具有優(yōu)良的性能，但目前其理論知識尚不完備，大多數(shù)學者都是通過調(diào)參的方法去提高識別率，把深度學習當作一個黑匣子使用，如何用理論知識指導實踐，用實踐促進理論知識的理解是研究者需要解決的。綜上所述，如何處理與理解深度學習與傳統(tǒng)機器學習的關(guān)系，取長補短，是未來情緒識別研究的重點與方向。

參考文獻：

[1]潘崢嶸賀秀偉.人臉表情識別在智能機器人中的應(yīng)用研究[J].計算機技術(shù)與發(fā)展，2018，28（2）：173-177.

[2]崔鳳焦表情識別算法研究進展與性能比較[J].計算機技術(shù)與發(fā)展，2018，28（2）：145-149.

[3]趙國朕， 宋金晶， 葛燕， 姚林， & 文濤. （2016）. 基于生理大數(shù)據(jù)的情緒識別研究進展.計算機研究與發(fā)展， 53（1）， 80-92.

[4] 蔣小梅，張俊然，陳富琴， 等.基于J48決策樹分類器的情緒識別與結(jié)果分析[J].計算機工程與設(shè)計，2017，38（3）：761-767.

[5] 慕永利，李旸，&王素格. （2018）.基于e-cnn的情緒原因識別方法. 中文信息學報，32（2）.

[6]魯心靈，李欣，田紅梅，李安巧，杜若飛，&陳林.（0）.殘疾人情緒孤獨研究——基于機器學習的實證研究.第十一屆全國運動心理學學術(shù)會議.

[7]李等人.自發(fā)的微表達數(shù)據(jù)庫：誘導，收集和基線[C] // IEEE自動面部和手勢識別國際會議和研討會。 2013：1-6。

[8] 嚴等人.改進的自發(fā)微表達數(shù)據(jù)庫，基線評估 PLOS ONE，2014，9（1）：1-8。

[9] 吳等人.機器知道您要隱藏的內(nèi)容：一個自動微表情識別系統(tǒng)[J]。 2011：152-162。

[10]楊文杰. . 基于VGGNet深度卷積特征的人臉表情識別方法研究. （廣東工業(yè)大學）.