基于多通道腦電信號的因果網絡情緒識別

王 斌，王忠民，2，張 榮，2

（1.西安郵電大學計算機學院，西安 710121；2.陜西省網絡數據分析與智能處理重點實驗室，西安 710121）

0 概述

情感的產生是一個生理和心理相互作用的過程，與感受、想法和行為有關［1-2］。腦電（EEG）是一種典型的中樞神經生理信號［3］，可以用來檢測大腦對不同情緒狀態的反應，為情緒識別提供更加客觀和全面的信息，并且EEG 數據具有時間分辨率高、成本低、易于獲得和使用等特點［4-5］。因此，EEG 被廣泛應用于大腦研究領域。

EEG 主要通過構建腦網絡來反映大腦的相互作用，目前已構建的腦網絡主要分為功能性腦網絡和因果腦網絡2 種。功能性腦網絡［6］主要反映網絡中節點之間的連接關系，是研究大腦工作機制的重要渠道。文獻［7］使用相位滯后指數（Phase Lag Index，PLI）在DEAP 公共情緒數據集上構建了不同波段下的人腦EEG 功能性腦網絡進行情緒識別。因果腦網絡［8-9］研究主要針對腦功能網絡中的有向信息流和因果屬性，其反映節點之間的因果關系，可以更好地觀察到情緒信息在不同腦區的流動方向，并從流動的方向來判斷出因果關系。對于這2 種腦網絡而言，因果網絡的研究更能反映出腦網絡的變化，揭示情緒產生的機理。

格蘭杰（Granger）因果檢驗因其簡單性和易于實現性而成為計算時間序列之間因果關系的一種主流方法［10］。文獻［11］采用格蘭杰因果關系構建因果連接腦網絡，并提取了腦網絡的連接密度和因果流來對5 種情緒進行分類，文獻［12］則采用格蘭杰因果關系分析調查了Gamma 波段的腦連接。但是格蘭杰因果檢驗在計算時僅考慮2 個時間序列之間的關系，沒有考慮其他時間序列的影響。本文引入條件格蘭杰因果檢驗（Conditional Granger Causality text，CGC）算法［10］研究在其他通道信息影響下各通道之間的因果關系，找出在情緒產生過程中起到主要作用的腦區和通道，進而簡化因果網絡。在此基礎上，將簡化網絡中節點之間的因果關系作為特征送入SVM 和KNN 分類器進行訓練分類，驗證本文方法的有效性。

1 因果腦網絡計算方法

1.1 CGC 算法

格蘭杰因果檢驗原理為：在多元自回歸（MVAR）模型中，如果時間序列Y的歷史信息顯著提高了時間序列X的預測準確性，則可以確定時間序列Y到X的格蘭杰因果關系［13］。但是此方法只適合分析2 個時間序列之間的因果關系，一旦時間序列超過2 個就不得不考慮其他時間序列的影響。本文利用CGC 算法分析在其他時間序列影響下任意序列之間的因果關系的計算問題。

假設有3 個時間序列X1(t)、X2(t)和X3(t)，在X3(t)存在的條件下，X1(t)和X2(t)的自回歸模型為：

X1(t)、X2(t)的聯合回歸模型為：

其中：t=0，1，…，n；m為回歸模型的階數；εi和ηj為回歸估計殘差，它們的均值為0，且互不相關，方差分別表示為和。由此，X2(t)對X1(t)的因果影響定義為：

如果式（3）所示等式的值大于0，則ε1>η1，證明在X3(t)存在的條件下，X1(t)和X2(t)聯合預測的誤差小于X1(t)自身預測的誤差，必然是因為X2(t)對X1(t)的預測，因此，在X3(t)存在的條件下，稱X2(t)對X1(t)有因果作用；如果式（3）所示等式的值不大于0，則證明X2(t)對X1(t)無因果作用。

同理，在X3(t)存在的條件下，X1(t)對X2(t)的因果影響定義為：

1.2 介數計算公式

腦網絡中節點的介數公式定義為：

其中：V表示網絡中節點的總數目；σst(v)表示經過v的腦網絡節點s到t的最短路徑數；σst表示s到t的最短路徑數。從式（5）可以看出，CB(v)反映了節點v在因效網絡中的重要程度，CB(v)的值越大，代表節點v越重要。

1.3 因果網絡構建

腦電預處理先對腦電信號的均值和平穩性進行處理，再利用計算得到的因果矩陣可視化構建因果網絡，在不同情緒下對因果網絡進行屬性分析，主要包括通道之間信息的流向和介數屬性。因果網絡的情感狀態分析方法流程如圖1 所示。

圖1 因果網絡情感狀態分析流程Fig.1 Emotion state analysis procedure of causal network

2 實驗設計

2.1 實驗數據集

DEAP［14］是人類情緒狀態的公共數據集，其中記錄了32 位參與者（16 位男性和16 位女性）在觀看40 個帶有不同情感標記的視頻片段時的各種生理信號，參與者看完視頻片段以后，對每一個視頻在效價和喚醒的維度上劃分1～9 的等級。對收集到的腦電信號應用512 Hz 采樣和4.0～45 Hz 的帶通濾波器進行濾波。實驗記錄的EEG 信號為63 s 的數據，其中前3 s 是記錄的基線數據。由于本文的主要研究內容是用CGC 計算腦電信號，因此選擇大腦內部不同腦區中32 個EEG 的信號通道，另外8 個通道是外圍的生理信號，本文不做參考。

根據國際10-20腦電系統，可以將大腦劃分為額葉、頂葉、枕葉、左顳葉、右顳葉、中央大腦區域6 個區域。每個腦區對應不同的通道，表1 列出了實驗所選擇的6 個腦區的32 個通道，每個大腦區域位置的電極名稱與DEAP 情感數據集中對應的電極名稱相同。

表1 每個腦區所對應的電極名稱Table 1 Name of electrode corresponding to each brain region

在實驗預處理的過程中，刪除前3 s 的基線數據，僅保留剩余60 s的數據，同時將EOG偽影和尾跡從EEG信號中刪除，然后根據參與者劃分的標簽選擇數據。為避免中性數據的干擾并確保提供足夠的數據，對個體和實驗都進行篩選，在效價的維度上，將大于7 的視為積極情緒，將小于3 的視為消極情緒，根據劃分的范圍選擇積極和消極的實驗次數都大于9的個體［15］。圖2顯示了篩選的個體以及該個體對應的積極實驗和消極實驗的數量。

圖2 篩選得到的實驗個體Fig.2 Selected experimental individual

2.2 CGC 矩陣

根據CGC 計算的標準化流程［16-17］，計算出每個個體在不同情緒下每次實驗不同通道之間的因果關系。圖3 和圖4 分別顯示個體的2 次實驗得到的因果關系所對應的因果關系矩陣，包括1 次積極情緒狀態下的實驗和1 次消極情緒狀態下的實驗，其中坐標軸代表所選的大腦內部的32 個通道，最右側數值代表通道之間的因果作用大小，數值越大，代表通道之間的因果作用越強烈。通過2 幅圖之間的對比可以看出：消極情緒狀態下通道之間的因果作用強度要明顯大于積極情緒狀態下的因果作用強度，且消極情緒狀態下通道之間的反應要明顯大于積極狀態下通道之間的反應，這說明消極情緒狀態下通道之間的連接更復雜多樣。

圖3 積極情緒狀態下的因果關系矩陣Fig.3 Causality matrix under positive emotion state

圖4 消極情緒狀態下的因果關系矩陣Fig.4 Causality matrix under negative emotion state

2.3 因果網絡屬性分析

利用上述計算得到的因果關系可視化構建因果網絡，因為CGC 計算得出的因果關系是一個確定的數值，所以在進行可視化之前先對因果數值進行二值化處理，將通道之間因果值大于0 的設置為1，小于等于0 的設置為0。在因果網絡中，節點代表腦區的通道，邊代表通道之間的因果作用。入/出度［8，18］和介數拓撲屬性［19-20］是衡量因果網絡的2 個重要指標。分析這2 個重要指標的目的是找出網絡中的關鍵通道。入/出度是從信息流向的角度對網絡中通道的因果連接關系進行分析，通道的出度越多，表明該通道對其他通道的影響越大；通道的入度越多，表明該通道受其他通道的影響越多；入度和出度越多，則表明此通道更活躍，在網絡中的地位越高。介數拓撲屬性描繪了通道或者通道之間的連接邊在整個網絡中的作用和影響力，介數高的通道往往位于網絡中的重要位置。

積極情緒和消極情緒下因果網絡中節點的入度和出度分別如圖5 和圖6 所示。由計算可以得出消極情緒下通道入度和出度的數目大于積極情緒下入度和出度的數目，這表明消極情緒下大腦區域形成的網絡更復雜，信息交互更活躍，這一點與上文分析一致。此外，2種情緒下通道AF3、AF4、FP1、FP2、T7、P8、F8、P7、PO3、PO4、F4、F3 的入度和出度數目都較多，說明這些通道對其他通道或者是受到其他通道的影響較多，在情緒的產生過程中起到主要作用。因此，可以初步認為這些通道是因果網絡中的關鍵通道。

圖5 積極情緒狀態下節點的入度和出度Fig.5 In-degree and out-degree of nodes under positive emotion state

圖6 消極情緒狀態下節點的入度和出度Fig.6 In-degree and out-degree of nodes under negative emotion state

為得到不同情緒下因果網絡中的關鍵通道，分別計算網絡中通道的介數拓撲屬性。圖7 描繪了被試者在積極和消極2 種情緒狀態下因果網絡的介數拓撲屬性，介數的值越大，通道在因果網絡的地位越高?？梢钥闯觯悍e極情緒狀態下因果網絡中介數較高的通道為AF3、AF4、FP1、FP2、P8、P7、PO4、F3，消極情緒狀態下介數較高的通道為AF3、AF4、FP1、FP2、T7、F8、PO3、PO4。通過分析比較可以看出，即使在不同情緒下，因果網絡的關鍵通道也基本一致，因此，不同情緒狀態下所構建的因果網絡的相似度很高。由此可見，通道AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4 在因果網絡中的地位較高，可將這些通道歸為網絡中的關鍵通道。

圖7 網絡介數拓撲屬性Fig.7 Network betweenness topological properties

通過入度和出度的分析，可以得出因果網絡中的關鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、PO3、PO4、F4、F3；通過對介數拓撲屬性的分析，可以得出因果網絡中的關鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4。由此可以看出，對網絡的2種屬性分析得到的關鍵通道基本一致，取2 次屬性分析關鍵通道的并集作為最終選取的關鍵通道，因此，最終選取的關鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4?？梢钥闯?，關鍵通道主要位于腦區中的額葉、顳葉和枕葉，由此判斷這些腦區在情緒產生的過程中起到主要作用，這個結果與多數已有研究結果相同［21-22］。在簡化因果網絡的過程中，本文只保留與關鍵通道相連接的邊和通道，因為這些通道為關鍵通道，在因果網絡中起到重要作用，保留與這些通道相連接的邊可反映出網絡的主要特征。圖8 是個體簡化網絡之后的因果連接網絡，個體包括1 次積極實驗和1 次消極實驗。

圖8 不同情緒狀態下的因果連接網絡Fig.8 Causal connection networks under different emotion states

3 有效性驗證

為驗證簡化得到的因果網絡，將節點之間的因果連接關系作為一種特征進行情緒識別，使用SVM和KNN 對數據進行訓練和分類。實驗的個體共有8 個，為了將全部的數據都應用于訓練和分類，對實驗數據采用8 倍交叉驗證，以平均識別率作為最終的識別精度。實驗結果表明，本文方法構建的基于多通道腦電信號的因果網絡平均識別精度分別為75.3%和78.4%，整體識別率較高，表明CGC 算法是一種有效的計算時間序列間因果關系的方法，由此證明本文方法的有效性。

4 結束語

本文提出一種面向多通道腦電信號的因果網絡情緒識別方法。利用條件格蘭杰因果檢驗算法得到不同情緒下大腦內部各通道之間的因果關系，以此構建因果網絡，并使用簡化的因果網絡進行情緒分類。實驗結果表明，本文方法能夠對不同的情緒進行有效分類。后續將去除多余的EEG 通道，而只選取關鍵通道計算其間的因果關系，進一步提高分類精度。