基于腦電信號的情緒識別概述

羅靖宇

（四川大學計算機學院，成都610065）

0 引言

情感是大腦的高級活動，它是一種復雜的心理和生理狀態，而情緒是情感的一個外部表現，是我們對事件內在或外在的反應[1]。情緒在人類生活中起著非常重要的作用。積極情緒有助于改善人類健康和工作效率，而負面情緒可能會導致健康問題。長期積聚的負面情緒是抑郁癥的誘發因素，在最壞的情況下可能會導致自殺。

在現有的研究中，情緒檢測的方法基本可以分為兩大類：①一種是基于面部表情、語音等表面物理信號的方法，這類方法的優點是信號易于收集并且有大量相關研究作為基礎。但是缺點是可靠性較差，因為被試可能會在實驗過程中刻意控制自己的表情或是聲音。②第二種方法則是基于腦電信號（EEG）、皮膚電、體溫等生理信號，由于這類信號難以受被試主觀意念控制，因而可以獲得更加可靠的結果[2]。這其中，基于EEG 信號的研究憑借較高的識別準確度逐漸成為研究的重點[3]。

本文首先將對一些相關概念進行介紹并概括這一領域下最近幾年不同方向上的研究成果，然后總結當前研究的現狀以及存在的問題。

1 情緒的定義與情緒模型

為了能夠準確地識別出情緒，首先需要可以定量的定義情緒。情緒的在心理學界并沒有一個被廣泛認可的定義，心理學家主要使用兩種方式來定義情緒：一種是離散的將情緒分為不同的類別。另一種是使用多個維度來定量的測量情緒。

第一種方式最具代表性的就是Ekman 情緒模型[4]，Ekman 將情緒分為快樂、悲傷、憤怒、恐懼、驚訝和厭惡的六種基本情緒，并將其他情緒視為這些基本情緒組合后的產物。離散情緒模型可以使用簡單的詞匯來描述情緒，但無法進行定量的分析。

為了表明不同情緒的強烈程度，Lang 等人[5]提出了喚醒度-愉悅度（Arousal-Valence）模型，該模型將情緒映射到喚醒度和愉悅度組成的2 維空間中，其中喚醒度表示情緒的強烈程度，愉悅度表示情緒的正負面性。這種模型的問題在于會將某些不同情緒映射到同一區域從而難以區分，例如恐懼和憤怒都會被映射到高喚醒度低愉悅度的區域內。為了解決這個問題，Mehrabian 等人[6]提出了PAD 模型，該方法在喚醒度-愉悅度模型的基礎上擴展了支配度維度，該維度描述了當前情緒主體的優勢程度，例如憤怒會有較高的支配度（優勢），而恐懼則有較低的支配度（屈從）。

2 基于腦電信號的情緒識別研究進展

近幾年來，隨著機器學習等相關技術的快速發展以及各個領域對于高質量情緒識別的需求日益增長，國內外學者都開始對基于EEG 信號的情緒識別展開研究。從使用方法上來看，大致可以分為傳統機器學習方法和深度學習方法兩類。從研究所針對的場景來看，現有研究可以被分為“被試依賴（subjects-dependence）場景下的情緒識別”和“跨被試（cross-subject）場景下的情緒識別”兩類。接下來將在2.1 和2.2 小節對被試依賴和跨被試這兩種不同類別的情緒識別研究進行介紹。

2.1 被試依賴場景下的情緒識別

如果一個情緒分類器在訓練階段中只使用一個特定被試的實驗數據，最終也只在該被試的數據上進行測試。那么我們稱這種識別方法為被試依賴場景下的情緒識別，在這種場景下，當被試變更時，需要重新使用新被試的數據對分類器進行訓練。

Koelstra 等人在2011 年建立DEAP 數據集[7]后，使用該數據集的數據，提取α、β、γ和θ四個頻段上的譜功率作為特征，并通過Fisher 線性判別進行特征選擇，最后使用樸素貝葉斯方法對被試情緒進行分類并分別在喚醒度和愉悅度上得到了62%和58.3%的平均準確率作為數據集的基線準確率。而Soleymanie 等人也在建立MAHNOB-HCI 數據集[8]后中在數據集上使用支持向量機對被試情緒進行分類并在喚醒度和愉悅度上分別得到了67.7%和76.1%的分類準確率。

在機器學習方法中，支持向量機（Support Vector Machine，SVM）[9]因為對于非線性分類具有良好的性能，在相關研究中被廣泛使用。Verma 等人在他們的研究[10]中使用SVM 對DEAP 數據庫的32 通道的EEG信號和8 通道的其他生理信號進行多模態情緒識別，準確率為85.46%。此外，K 近鄰算法（K-Nearest Neighbor，KNN）也常被用于基于EEG 信號的情緒識別研究中，Kolodyazhniy 在其研究[11]中以電影片段作為情緒引導的刺激源，然后通過序列反向選擇和序列前向選擇對收集到的面部肌肉活動等生理信號進行特征提取與優化，最后使用KNN 模型在K=17 時達到了73.2%的最高準確率。

相比需要手動提取特征的傳統機器學習方法，深度學習方法因為降低了特征工程的難度，在2017 年之后的論文中被廣泛使用。卷積神經網絡（Convolutional Neural Networks，CNN）是近年來最為流行的深度神經網絡方法之一，它被廣泛用于如圖像分類[12]、圖像分割[13]和目標檢測[14]等領域。在一些較新的研究中陸續有研究開始將CNN 應用在EEG 信號的處理上，Tripathi 等人在其研究[15]將DEAP 數據集中的樣本分為10個batch 并將每batch 中的平均值中位數、最大最小值、標準差與方差、取值的范圍、偏度和峰態等9 個信息放入特征向量中，對總共40 個通道的實驗數據進行以上操作并拼接形成特征矩陣之后輸入CNN 中，并在DEAP 數據集上的喚醒度和愉悅度分別達到了81.4%和73.3%的平均分類準確率。早期使用CNN 處理EEG 信號的方法一般都是像Tripathi 等人的研究那樣把EEG 數據提取特征然后拼接起來，再建立特征向量到情緒標簽的映射。但這種方法會導致電極（通道）之間的空間關系丟失，而不同通道信號之間的關系可能會有助于情緒的分類。針對這個問題，Zhang 等人在其研究[16]中保留了電極之間拓撲結構，將電極位置轉換為圖像，利用CNN 進行測試，得到88%的最佳分類準確率。

總的來說目前的被試依賴場景下的情緒識別研究以及達到了較高的識別準確率，但在這種用戶依賴場景下各個被試不能相互使用其他被試的分類器，在泛化能力上有很大的缺陷。

2.2 跨被試場景下的情緒識別

由于每個人的體質以及對于情緒的感知程度，不同的人在面對同一情緒刺激時表現出來的生理信號模式以及蘊含的情緒都有可能不同。因此，當來自不同被試的生理模式在同一情緒上表現出較大的差異時，分類器往往不能對多個被試的情緒做出準確的判斷。當前相關研究普遍使用的都是被試依賴的方式進行情緒識別，即使用單個被試的數據對針對該被試的情緒分類器進行訓練，當變更被試時，需要重新針對該被試訓練新的分類器。這種被試依賴的方式由于各個被試不能相互使用其他被試的分類器，在泛化能力上有很大的缺陷。因此，越來越多的研究開始關注跨被試的方式，即考慮數據集中所有被試的數據，訓練出一個與特定被試無關的分類器。

在Song 等人的研究[17]中，作者使用留一交叉驗證法對SEED 數據集[18]進行劃分，即14 名被試的EEG 數據用于訓練模型，其余一名被試的EEG 數據用作測試數據，并重復劃分訓練最終取平均值得到了79%的最好識別準確率。該論文中使用的這種方法是在考慮了剩余14 個被試的所有特征的情況下建立了一個對于新被試的分類器。但是不是所有已有被試的EEG 信號特征都會對新被試的情緒識別起到正面作用，因為不同人的身體情況不同，對于同樣的情緒刺激給到的生理反應模式會有所不同。這個原因導致作者被試獨立實驗得到的準確率相對于被試依賴實驗的準確率90.4%下降較多。

Chen 等人在研究[19]中提出了一種新的三階段決策方法，用于在多被試的情況下從生理信號中識別情緒。在第一階段中，訓練數據以生理信號特征聚類為多個組；第二個階段為每個組建立情緒池，將標簽中的四種情緒分配到各個組的兩個情緒池中；在第三階段中，針對各個被試訓練分類器以對每個情緒池中的兩種情緒進行分類。在每個階段中作者都實驗多個分類器進行實驗并選用效果最佳的分類器作為該階段的分類器。該模型在DEAP 數據集上的總體平均分類準確率達到了77.57%。該模型中三個階段的識別結果合成了最終結果，這種模式下前兩個階段的錯誤分類會影響第三階段的分類。此外，模型性能也不夠穩定，分類結果會極大的受到第二階段情緒池劃分方法的影響：當創建兩個情感池為高喚醒度（HA）和低喚醒度（LA）時，高喚醒度和低喚醒度的正向情緒分類準確率分別為86.67%和80%，但高喚醒度和低喚醒度的負向情緒分類準確率僅為58.33%和30.56%。當構建的兩個情緒池為高愉悅度（HV）和低愉悅度（LV）時，高喚醒度正向情緒的分類優于其他情緒。最佳分類準確率達到83.33%，但其他三種情緒的分類準確率不超過55.00%。

3 現有研究不足

現有的基于EEG 信號的情緒識別研究雖然已經取得了一定的進展，但依然存在若干問題與挑戰需要解決：

（1）樣本數量不足。由于EEG 信號數據收集和處理較為困難，目前多數研究都面臨訓練樣本不足的問題。而樣本數量有限會導致跨被試場景下的情緒分類器在測試集中新被試數據上的分類性能不佳。

（2）許多研究都努力從EEG 信號中找到與情緒最相關的特征，目前已經有時域特征、頻域特征、統計特征和時域-頻域特征這四大類特征被用于EEG 信號情緒分類。盡管已經嘗試了如上的許多特征，但仍然沒有明確的研究表明哪些EEG 信號特征組合與情緒變化最顯著相關。

（3）由于每個人對于情緒的感知程度和生理特征上的差異，使得目前跨被試的情緒識別模型性能不佳，無法真正運用于實際場景中，仍然需要進一步的研究與改進。

4 結語

情緒自動識別作為人機交互的一個重要研究分支，在心理醫療、社會安全保障和安全駕駛等諸多領域均有廣泛的需求。本文總結了當前識別準確率最高的基于EEG 信號的情緒識別研究，從被試依賴和跨被試兩個研究類別切入對相關研究常用的機器學習方法、所做的改進、取得的研究成果以及已有研究存在的問題等進行了分析。目前，被試依賴的研究雖已取得較好成果但無法適用于現實場景，跨被試作為未來研究的重要方向目前研究較少，且現有研究的識別準確率較低，還需要對現有的模型進行進一步改進以促進基于EEG 信號的情緒自動識別研究的發展。