基于多模態情緒識別的研究進展*

殷夢馨,倪娜,尉懷懷,安飛,許欣悅,武圣君,劉旭峰,王秀超△

(1.陜西中醫藥大學 公共衛生學院,咸陽 712046;2.空軍軍醫大學 軍事醫學心理學系,西安 710032)

0 引言

情緒是人對客觀事物的態度體驗以及相應的行為反應,通常包含主觀體驗、外在表現和生理喚醒三部分。情緒無論在個體還是人際交往中都具有重要意義。因此,近年來,對情緒識別的研究逐漸成為不同領域的研究焦點。

在現有研究中,根據采集信號的性質,情緒識別方法一般分為兩大類:一種是基于人體的行為學指標進行識別,如易于采集的面部表情、手勢、姿勢等表現信號。另一種是基于生理信號進行識別,如腦電、肌電、皮膚電等,這類信號雖然采集條件極為嚴格,但由于其難以被掩飾,因而具有可靠的識別結果。近幾年,研究者在將情緒變化與各類信號建立穩定的聯系時發現,僅靠單一信號難以全面反應情緒狀態。Poria等[1]分別探討了現有的單模態和多模態情緒識別方法,并進行批判性分析后證實,多模態情緒識別的性能優于單模態。鑒于多模態情緒識別優勢,本文將重點對基于神經生理、外在行為表現模態及基于多模態情緒識別的常用方法和研究現狀進行梳理,并對未來的研究方向進行展望。

1 基于神經生理信號的情緒識別研究

情緒的發生發展與神經系統的活動相互影響。因此,可以在情緒變化和生理信號之間建立一個標準的固定關系,以此判斷情緒狀態。為更好地區分生理信號,根據神經系統產生的機理不同,人體的生理信號可分為兩類:一類與中樞神經系相關,包括腦電信號及大腦的磁場活動等指標;另一類則與周圍神經系統相聯系,包括皮膚電信號、心電信號、呼吸信號、體表溫度和肌電信號等[2]。

1.1 腦電信號

已有研究表明,情緒起源于大腦皮層和皮層下神經的協同作用過程,也受下丘腦、邊緣系統、網狀結構和神經內分泌系統的共同調節。當神經系統受到情緒刺激時,很難控制和偽裝神經系統的活動。因此,來自人腦的腦電信號可真實、可靠地實現情緒識別[3]。

腦電信號可在二維模型(效價和喚醒)上獨立進行情緒識別,因此是情緒識別最常用的生理信號之一[4]。近年來,隨著腦科學的不斷發展和信號處理技術的不斷進步,該領域也取得了一定的研究成果。王斌等[5]面向多通道腦電信號,提出一種基于條件格蘭杰因果檢驗(CGC)的因果網絡情緒識別方法,將節點之間的因果連接關系作為特征,分別輸入支持向量機和K最近鄰分類器進行分類訓練,識別率分別為 75.3% 和 78.4%。此外,由于腦電信號的頻率、時間和空間特征對情緒識別至關重要,為更全面地獲取多通道腦電信號的頻率、空間和時間信息,有研究選擇多維特征結構作為人工神經網絡的輸入,提出一種基于深度可分離卷積的神經網絡模型,提取輸入結構的頻率和空間特征,最后使用有序神經元長短期記憶(ordered neuron long and short term memory,ON-LSTM) 網絡進行建模。利用所提模型在DEAP 數據集上進行實驗,喚醒和效價的情緒識別平均準確率分別為 95.02% 和 94.61%[6]。

1.2 心電信號

典型心電圖心動周期中的波形是有規律可循的,通常含有P波、QRS波和T波,其中以QRS波群最為顯著。在QRS波段中,R峰最為明顯,可通過測量R峰出現的時間間隔確定心率變異性,不同的心率變異性對應不同的情緒狀態。在一些關于焦慮和抑郁的研究中發現,心率變異性也是診斷焦慮和抑郁等負性情緒的有效指標[7]。因此,越來越多的心理學研究支持心率變異性與情緒反應之間的聯系。

為探究主觀情緒與客觀生理信號間的聯系,進一步豐富情緒識別相關研究。易慧等[8]提出基于心率變異性特征信息進行多種情緒分類的識別方法。在實驗條件下,采用小波變換技術進行降噪處理,提取心率變異性的時域、頻域等特征參數,最后利用改進的支持向量機算法實現情緒分類,對于不同情緒的識別精度可達到 60%～75%。然而,現實應用中,為滿足實時性要求,多選擇在線識別情緒,因此,減小個體差異,建立一個可泛化的情緒識別模型將成為必要。He等[9]為解決現實需求,采用一種基于心電信號的在線跨主體的情緒識別方法。在分類器訓練階段,無監督域自適應(unsupervised domain adaptive,UDA)通過將源數據和目標數據投影到可以訓練分類器的共享子空間,以減少主體間差異;在線識別階段,引入在線數據自適應(online data adaptation,ODA)方法減少主體內差異,以自適應時變心電信號,然后通過訓練的分類器可獲得在線情緒識別結果。該方法在Dreame上識別準確率分別為72%和71%,并且對在線場景中的時變心電信號具有魯棒性。

1.3 皮膚電信號

相比腦電和心電信號,皮膚電信號是易被忽視的一項生理指標。在人體情緒發生變化時,會影響皮膚的汗液分泌,導致皮膚電水平變化,對皮膚電信號進行采集,根據其變化特征,可對情緒進行分類研究。其中,皮膚電導水平和電導反應是反應情緒的良好指標。國內有研究發現,皮膚電反應基礎水平的個體差異明顯,且與個性特征相關,基礎水平越高,表明越緊張、內向、情緒不穩定、反應越敏感、越焦慮不安;基礎水平越低,表明越外向、開朗、自信、心態比較平衡、心理適應好[10]。

皮膚電信號通常與情緒的喚醒程度密切相關[11]。鑒于皮膚電信號自身特性,單模態下進行情緒識別的準確率較低,且因個體差異性,識別模型泛化能力差。何國柱等[12]為提高皮膚電信號的情緒識別準確率和泛化能力,通過皮膚電信號構建情緒識別機器學習模型,對皮膚電信號進行多維度特征提取、歸一化處理以及情感標簽分析,并在此基礎上采用基于樹模型的決策樹和隨機森林算法實現情緒的有效分類,獲得了較好的分類準確率和泛化能力,在喚醒和效價度維度上的分類準確率分別達到92.00%和90.90%。

1.4 呼吸信號

在呼吸信號的各項參數中,由于呼吸頻率在不同情緒狀態下存在差異性,因此,可作為情緒識別的重要特征參數之一。呼吸頻率降低說明處于放松狀態;深呼吸、急促呼吸可表示快樂或憤怒;呼吸暫時中斷,表示緊張;不規則呼吸節律是負效價和喚醒的信號,其中,淺而急促的呼吸暗示集中注意或恐懼,淺呼吸和緩呼吸與消極情緒有關[13]。

在現有研究中,基于呼吸信號進行情緒識別的研究文獻匱乏,呼吸信號的特征庫特征數量不夠豐富,因此,在已有的大部分研究中,通常將呼吸信號的各項參數結合其他信號特征以實現情緒識別。但近些年也有針對上述問題提出基于呼吸信號進行情緒識別的新方法。相關研究引入EEMD信息熵算法,將構成呼吸信號的EEMD信息熵特征集輸入支持向量機和隨機森林,采用十折交叉檢驗與網格尋優,確定最優算法參數,構建呼吸信號的情緒識別模型,一對一情緒識別率最高達到了83.33%[14]。

試驗井鉆遇目的地層后油氣活躍，為平穩地層壓力，將鉆井液密度從 1.22g·cm-3提高至 1.44g·cm-3，進行短程起下鉆測油氣上竄速度時，下鉆至1580m時發生嚴重地層失穩漏失。進行常規堵漏后繼續鉆至完鉆井深2227m，短程起下鉆測得油氣上竄速度128m·h-1，最低密度為 1.31g·cm-3，最高全烴值 90%，井控風險極大，必須循環提鉆井液密度。當密度提至1.52g·cm-3后，再次發生井漏，循環漏速 32m3·h-1。

1.5 皮膚溫度

皮膚溫度會隨情緒狀態不同而產生變化。當人處于極度興奮的狀態時,常常會變得面紅耳赤,這是由于血液循環加速會導致皮膚溫度上升;而受到驚嚇時產生恐懼情緒,會使人面無血色,體溫下降。通過測量指尖皮膚溫度發現,在放松狀態下,擴張的血管會使指尖變暖;在壓力或焦慮時,血管收縮指尖變冷。

皮膚溫度在情緒效價識別中有一定偏向性,相對于消極狀態,更容易識別積極狀態,在情緒識別中只能用于探測喚醒維度。此外,皮膚溫度的變化需要一定時間,且整體變化幅度較小,因此,皮膚溫度常作為輔助手段用于提高情緒識別的準確率。在最近的一項研究中,Tan等[15]采用脈沖神經網絡(SNN)為多模態數據建立一個情感識別系統,具體使用NeuCube框架對皮膚溫度、呼吸信號、心電信號等情緒特征進行分類。結果表明,在應用特征級融合時,該方法對二元效價分類的準確率為73.15%。

1.6 肌電信號

肌電信號主要用于研究認知情緒和生理反應之間的相關性。其采集電極的放置位置范圍較廣,包括咀嚼肌、皺眉肌、顴大肌和斜方肌等。有研究表明,皺眉肌的電信號活動與憤怒和驚訝等情緒狀態間存在顯著相關性;面部的肌電信號與不同情緒狀態(快樂或不快樂)相關;檢測咀嚼肌的肌電圖,可確定受試者是否處于憤怒狀態[16]。

在情緒識別研究中,肌電信號可對情緒一維效價進行較為準確的測量。因此,在實驗條件允許下,肌電信號常作為輔助信號協同其他生理電信號進行情緒識別。目前,由于采集眼電和肌電信號的設備成本低、無線便攜、可穿戴,已被廣泛應用于情感識別。Kose等[17]使用人工神經網絡和時域特征組合,實現了眼電信號和肌電信號的最大分類精度,整體識別準確率達到98%。此外,由于人機界面和醫療保健等領域的發展,利用肌電信號單模態進行情緒識別的潛能也逐漸被發掘。Shiva等[18]嘗試在效價情感維度中使用面部肌電圖信號的光譜特征,對情緒進行分類,對采集的信號進行短時傅立葉變換,并以1 s的間隔從信號中提取峰值頻率值,利用支持向量機分類器對提取的特征進行分類,識別準確率達到61.37%。

2 基于行為表現的情緒識別研究

情緒有多種表達方式,除在情緒產生時伴有生理指標的變化,同時也伴有一定外在行為表現的變化。因此,可通過身體的某些變化來進行情緒識別。在以往研究中,情緒的自動識別研究主要集中于面部表情和語音語調上,但隨著動作捕捉技術的發展,姿態情緒識別成為情緒識別中不可或缺的一環。據不同文獻研究發現,在眾多行為表現模態中,面部表情、語音語調、身體姿態在情緒識別中可取得良好的識別效果。本節將簡要綜述該類模態的識別準確率。

2.1 身體姿態

目前關于非語言情緒識別的研究大多集中于面部表情,但事實上,一些情緒可能更易被肢體動作所表征。目前的研究表明,特定的身體姿態可被視為特定情緒狀態的表達。相對于情緒識別的其他行為模態,人體姿態更具有直觀性、不易被隱藏,且由于不受大腦皮層直接控制,能更真實地反應原始情緒過程。

近年來,圖卷積網絡越來越受到研究人員的關注,而人體骨骼結構是一種天然的圖數據,為基于骨骼點的肢體情緒識別提供了一個新途徑。Zhuang等[19]在考慮關節的非局部相關性以及輸入的噪音時,提出全局圖卷積收縮網絡(global graph convolution shrinkage network,G-GCSN)。其中,全局連接用于構建適用于情感識別的骨架自然連接圖,將情感作為一個整體來感知圖卷積收縮塊,減少噪音影響,從而有效提取與情感相關的特征。G-GCSN在步態情緒數據集(E-Gait)上的識別準確率達到81.50%。

2.2 面部表情

心理學家通過研究發現,日常生活中人們通過語言進行信息傳遞的信息量,僅占總信息量的7%,而通過表情傳遞的信息量則占55%。通常情況下,個體可表現出大量的面部表情,并且多數情況下,面部表情與情緒的對應關系趨于穩定[20],且面部表情對六種基本情緒的表現具有普遍性。因此,分析面部表情蘊涵的信息可很好地了解人類的意識和心理活動。

2.3 語音

語音在交流過程中承載著重要信息,不僅包含文字符號信息,也含有人們在不同情緒狀態下的情緒信息。既往研究發現,情緒變化和認知功能損傷均會對語音產生的生理機制(如與發聲相關的肌肉系統、神經系統)和協調過程產生直接影響。此外,語音語調對基本情緒和非基本情緒的識別有著良好表現,其中,悲傷和憤怒最容易識別,其次是恐懼和快樂,因此,情緒的語音聲學特征成為情緒識別的另一重要途徑。

由于說話者之間的情感差異,其性能非常依賴于從語音信號中提取的特征,如韻律特征、音質特征以及譜特征三種聲學特征參數,因此,建立有效的特征提取和分類模型仍是一項具有挑戰性的任務。Zhang等[23]提出一種基于深度卷積神經網絡和雙向長短時記憶網絡的注意力模型用于語音情緒識別,通過提取三通道對數梅爾頻譜圖(靜態、增量和增量-增量)作為深度卷積神經網絡的輸入特征,在EMO-DB和IEMOCAP數據庫上的實驗分別獲得了87.86%和68.50%的平均識別準確率。近年,也有研究將語音情緒識別應用于實際場景。李尚卿等[24]通過分析駕駛員語音的頻譜特征,利用螢火蟲算法優化概率神經網絡并構建識別模型,實現駕駛員路怒情緒的識別,模型的識別準確率為93.00%。

2.4 眼動

眼動信號可以提供豐富的情緒特征信號,包括瞳孔直徑、注視信息和掃視信號三個常見的基本特征,以及相關的統計特征。其中,瞳孔直徑在情緒識別中被廣泛關注。

由于眼動信號會根據不同的情緒狀態在時域和頻域上發生變化,僅采用時域或頻域分析對于性能的提升有很大局限性。因此,Wang等[25]綜合利用眼動信號時域和頻域特征的變化來檢測青少年情緒狀態,使用短時傅立葉變換對原始眼動數據進行處理和轉換,隨后提取掃視、注視和瞳孔直徑等時域和頻域特征,利用支持向量機在特征級融合策略上對積極、消極、中性三種情緒狀態識別的準確率達到88.64%。為挖掘眼動信號的深層特征,得到更好的情緒識別準確率,有研究提出一種帶恒等映射的淺層卷積神經網絡的情緒識別方法[26]。該方法與當前最先進的算法相比,在 MAHNOB-HCI數據集上,情緒識別準確率在效價和喚醒度上分別提升了11.70%和10.50%。

3 基于多模態的情緒識別研究

迄今為止,大多數研究工作都集中在單模態數據的使用,盡管已在各模態信號處理方面取得了很大進展,但使用單模態數據進行情緒識別仍有局限性。為提升情緒識別的準確性、魯棒性以及應用性,利用多模態進行情緒識別逐漸被廣泛采用。

在神經生理模態中,腦電和個別與心肺相關的信號,如心電或脈搏信號,因其生理特點,可獨立識別情緒的二維效價和喚醒程度。呼吸信號對于不同情緒狀態的檢測有限,僅限于對恐慌、恐懼、注意集中或抑郁的識別。皮膚電信號和皮膚溫度僅能檢測喚醒程度,而肌電信號只能檢測效價水平[27],因此,需結合其它生理信號進行情緒識別,以提高識別率。在生理信號融合方面,通常將周圍生理信號進行融合或者結合中樞生理信號,以提高情緒識別的精確度和多樣化的情緒分類。在最新研究中,Zhang等[28]使用客觀的腦電信號和外周生理信號來識別情緒,對提取的關鍵特征創新性地采用平均閾值法獲得每個參與者的標記閾值,解決個體差異,最后采用決策級融合算法開發用于情緒識別的集成學習模型。研究發現,多模態融合優于單模態分類,效價和喚醒分別可達76.16%和71.91%。雖然目前常用的情緒識別方案大多結合腦電信號,且已獲得了良好的識別結果,但腦電信號相較于外周生理信號采集困難,因此,有研究把外周生理信號作為一種有效的補充方案來進行情緒識別。Pan等[29]利用肌電、心電、呼吸和皮膚電導率等外周生理信號提出一種融合非線性特征和團隊協作識別策略的新方法,該方法的有效性和普適性通過奧格斯堡數據庫和生理信號情感分析數據庫得到驗證,同時也間接證明了融合多種外周生理信號進行情緒識別有巨大的潛能。

雖然身體姿態、面部表情、語音及眼動四種模態在情緒識別中取得了較好效果,但在模態選擇與融合上仍需注意一些問題。首先,面部表情可獨立識別二維模型中的情緒,但面部表情本身可能包含多種誤導信息,僅用單模態進行情緒識別會造成一定誤差。而在語音方面的研究中,由于聲學特征提取具有很大的主觀性,因此,在識別準確率上相較于面部表情存在很大差距。眼動信號和身體姿態對情緒識別的研究較淺,大多數研究將眼動信號和腦電信號相結合進行情緒識別,因此,對于單獨使用眼動追蹤信號進行情緒識別是否可靠,尚無定論。利用身體姿態進行情緒識別的相關研究發現,在維度情感預測方面,姿態比面部表情能提供更多的預測信息,因此很多維度情感預測是基于身體姿態進行[30]。Castellano等[31]的研究也表明,鑒于單峰情感識別系統的性能,基于手勢的情感識別效果最優,其次是基于語音的情感識別系統和面部表情的情感識別系統。因此,為克服單模態信息的偏差,當前情緒識別的研究工作應更關注于將面部表情、語音、肢體動作等特征信息融合,以提高情緒識別的魯棒性和準確性。受多模態信息集成性和互補性的優勢啟發,Du等[32]提出融合語音、肢體動作和面部表情的兩階段多模式情緒識別神經網絡,通過神經網絡與自組織映射層融合特征后,識別率可達87.60%,與單峰方法相比,識別精度最高可提高30%,在實際應用中對模型進行測試,結果表明其可快速穩定地識別人類情緒。

此外,基本情緒理論表明,情緒被激發的同時會伴隨各種神經生理和外部行為反應系統的活動[33]。因此,將內部信號特征和外部信號特征結合可在一定程度上提升情緒的識別率。在諸多研究中,腦電信號與眼動信號或面部表情信號相融合進行情緒識別,均展現出良好的識別率。Wu等[34]基于涉及情緒的腦功能連接網絡,利用深度典型相關分析,將腦電信號的功能連通性特征與眼動或其他生理信號的特征相結合,構建了多通道情緒識別模型,識別準確率在SEED數據集上為(95.08±6.42)%,結果表明,腦電功能連接網絡特征與眼動數據具有互補性。目前在行為與神經生理模態的情緒識別方案大多僅采用兩種模態融合。但在最近一項研究中,研究者為語音、腦電以及面部表情三種模態分別設計了一個深度學習模型,通過最優權重分布算法搜尋各模態的可信度,并進行決策級融合,以獲得更全面、準確的結果。該融合方法在MAHNOB-HCI數據庫的喚醒效價兩個維度上分別得到了90.25%與89.33%的準確率[35]。

綜上所述,雖然單模態通過改進計算建模可達到較高的識別率,但缺乏實際應用價值。具體來說,單模態在人機交互過程中存在一定局限且效率低,而多模態融合技術通過充分利用情緒信息之間的互補性,可提高交互效率,提高識別率。在模態融合方面,通過回顧國內外研究發現,在眾多生理信號中,腦電信號作為中樞神經系統信號,比其他信號能更準確、更客觀地反映人的情緒狀態變化,因此可認為基于腦電信號的多模態融合能顯著提高情緒識別的結果。在行為模態中,通常會選擇眼動和面部表情信號與其他信號進行融合。例如融合眼動、面部表情和腦電信號進行情緒識別,既可避免受試者偽裝情緒又可以反應其潛意識行為,從多方面、多角度考察受試者的情緒狀態。

4 展望

本文基于多模態情緒識別研究的三個主要層面,對情緒識別的主要方法進行了綜述,概述了不同方法自身的特性,及其在單一模態和多模態下的識別率。隨著深度學習算法的快速發展,情緒識別無論采用單模態,還是多模態方案,識別率均得到提高。由于單模態始終缺乏多樣性,僅通過單一模態信號無法全面理解復雜的人類活動,相較之下,多模態的應用更具優勢。因此,跨模態學習作為一種讓人工智能可以更準確模擬人類實際行為和心理活動的技術,有望在未來獲得全面發展。后續可基于模態自身特點并結合單模態的表現,針對不同應用場景選擇合適的模態進行混合識別,提高現實應用的可靠性和可行性。例如在精神疾病領域,因抑郁患者的腦電和眼動指標明顯異于常人,可將它們作為區分正常和異常的輔助性指標。此外,未來也應推動情緒模型的量化研究。當前進行的情緒識別工作大多是對情緒的效價進行區分,在情緒喚醒層面的研究不多。然而,對于情緒喚醒程度的準確識別能更加明確情緒狀態,期待未來能進一步探索模型的量化問題,深化情緒識別領域研究的現實意義。