基于模態注意力圖卷積特征融合的EEG 和fNIRS情感識別

趙卿，張雪英，陳桂軍，張靜

(太原理工大學 信息與計算機學院，山西 太原 030024)

情感識別在人機交互領域具有廣闊的應用前景，當前基于大腦信號進行情感識別及交互的研究得到廣泛關注[1].情感的產生變化和大腦皮層的神經活動[2]以及血氧濃度變化具有一定關聯[3].腦電(electroencephalogram, EEG)和功能近紅外(functional near infrared spectroscopy, fNIRS)具有相對便攜、靈活和廉價的特性，可以同時采集互不干擾，應用前景廣泛[4].EEG 信號可以反映大腦皮層神經元的電活動，fNIRS 信號反映出大腦皮層的血氧濃度變化，這2 種信號反映了大腦神經活動的不同方面，兩者皆可客觀地表征大腦的情感認知過程.

腦電情感識別領域的研究主要基于公開的DEAP[5]與SEED[6]情感數據庫.Shen 等[7]提出四維卷積遞歸神經網絡方法；Cui 等[8]將CNN 與BiLSTM 相結合，在SEED 數據集上的準確率達到94.82%；fNIRS 情感識別研究主要基于自建非公開數據庫；Bandara 等[9]使用與DEAP 相同的刺激材料建立fNIRS 情感數據庫；Hu 等[10]使用視頻片段刺激建立了fNIRS 數據庫，對離散情感進行兩兩分類聚類，證明fNIRS 可以區分細分的積極情緒.單模態情感識別仍存在特征提取不足及識別準確率不高的問題.因此將EEG 與fNIRS 進行融合，挖掘二者之間的相關性和互補性[11]是后期研究的重點.

Sun 等[12]提出P 階多項式方法融合EEG 和fNIRS 信號，對運動想象和心算的二分類識別率相比單模態有明顯提升；Deligani 等[13]提出基于互信息的特征選擇方法，將EEG 和fNIRS 特征進行篩選得到融合特征集，并對ALS 患者與健康者進行分類；王恩慧[14]使用fNIRS 特征對EEG 信號進行篩選，得到新特征集后進行情感分類；Sun 等[15]將EEG 和fNIRS 特征直接拼接之后使用SVM 進行分類；吳文一[16]使用主成分分析法對拼接的EEG 和fNIRS 特征矩陣進行降維.以上研究中雙模態融合后分類識別率均顯著提高.

EEG 和fNIRS 是多通道信號，若將各通道作為節點，各通道特征作為節點特征，相關通道之間的關系看作邊，則EEG 與fNIRS 實質上是圖結構數據.圖卷積神經網絡(graph convolutional neural networks, GCN)是一類專門處理圖結構數據的神經網絡.Li 等[17]提出自組織圖卷積模型，根據不同卷積層自動提取出腦電特征生成腦電連接圖，實現情感分類.Song 等[18]提出動態圖卷積情感識別模型，圖的結構可以進行動態變化，使得圖卷積層可以更好地提取EEG 電極之間的連接信息.以上研究表明，圖卷積神經網絡能夠有效地提取EEG 信號各通道間連接信息.圖卷積神經網絡可以分為頻譜域圖卷積(如GCN[19]、Cheb-Net[20]) 以及空間域圖卷積(如GraphSAGE[21]、GAT[22]).頻域圖卷積是從頻域出發，參考傳統的信號處理方法，引入濾波器來定義圖卷積.空間域圖卷積對每個節點的鄰居節點進行某種方式的加權求和，得到新的節點特征.注意力機制通過對信號特征中與情感顯著相關的信息分配較大的權重，來提高情感識別性能.張靜等[23]提出頻-空注意力機制，綜合腦電信號在時間、空間和頻率3個維度的信息，提高情感識別的準確率.Song 等[24]提出注意力LSTM，將注意力系數分別加在LSTM的不同結構上，對3 種生理信號分別進行特征提取，最終拼接實現多模態融合.本研究將模態注意力機制加入圖卷積融合方法中，來學習不同模態不同通道信號的權重.

當前EEG-fNIRS 特征級融合方法大多使用拼接、張量融合的方法，這些方法僅僅考慮不同模態特征向量整體間的融合，而忽略了EEG 和fNIRS 各通道信號之間的差異與聯系.針對當前沒有公開的EEG-fNIRS 情感數據庫的現狀，本研究設計實驗并采集了30 名被試在情感視頻誘發下的EEG 和fNIRS 數據，在提出模態注意力多路圖卷積模態融合方法.在GraphSAGE 圖卷積層中，引入所提的模態注意力機制，并利用Graph-SAGE 圖卷積層融合EEG 和fNIRS 信號各通道特征.在融合時，賦予EEG 和fNIRS 的不同通道以不同的權重，更加有針對性地進行模態融合，從而提升情感識別率.

1 方法介紹

1.1 數據采集

如圖1 所示為數據采集與特征提取的流程圖，主要包括情感電影片段選取、數據采集、信號預處理以及特征提取.

圖1 EEG-fNIRS 數據采集與處理的流程圖Fig.1 Flowchart of EEG-fNIRS data acquisition and processing

Schaefer 等[25]研究了電影片段在誘發情緒方面的可靠性和效率，表明帶有情感的電影片段可以使受試者產生代入感，并引發情感共鳴，是良好的情感激發材料.本研究初步選取包含悲傷、高興、中性和恐懼這4 種情感的80 個電影片段，每種情感有20 個電影片段.通過觀看者填寫SAM問卷的方式[26]，在愉悅度(pleasure, P)、激活度(arousal, A)和支配度(dominance, D)3 個維度對每個視頻片段進行打分，選擇每種情感下與目標情感得分距離最小的前15 個視頻，經過篩選最終得到60 個視頻.共有30 名被試(15 男，15 女，平均年齡24.1±1.5 歲，視聽力均正常，均為右利手)參與實驗數據錄制.參與錄制前每位受試者均填寫了個人基本信息以及知情同意書.受試者被要求頭上佩戴腦電-功能近紅外測量帽，坐姿調整到舒適的位置，認真觀看即將開始的電影片段，并盡可能避免明顯的動作.

實驗在屏蔽室中進行.根據國際10-20 系統，使用ESI NeuroScan 系統從62 通道電極帽以1 000 Hz的采樣率記錄腦電信號；根據設計的光極位置，使用慧創醫療設備公司研發的NirSmart 便攜式近紅外腦功能成像系統以11 Hz 的采樣率記錄受試者額葉和顳葉的功能近紅外信號.2 種信號記錄同時進行.如圖2 所示，一個受試者的實驗總共有60 次.每次試驗中播放一段視頻，視頻時長1～2 min，視頻結束之后的30 s 填寫自我評估表，以確認視頻片段是否成功激發對應情感.

圖2 EEG-fNIRS 情感數據的采集流程Fig.2 Collection process of EEG-fNIRS emotional data

1.2 特征提取

對于采集的腦電信號和功能近紅外信號，需要預處理后才能進行下一步的特征提取.對于腦電信號要進行信號重參考、去基線以及0.1～50.0 Hz濾波處理，再使用獨立成分分析(independent component analysis, ICA)去除腦電信號中的偽跡，并將信號降采樣至200 Hz.將腦電信號劃分為5 個頻段：δ(1～4 Hz)，θ(4～8 Hz)，α(8～14 Hz)，β(14～30 Hz)，γ(30～50 Hz)，隨后對每個頻段的腦電信號提取特征.對于采集的fNIRS原始光密度信號進行基線校正以及0.01～0.20 Hz帶通濾波，通過修正的Beer-Lambert 定律[27]計算得到氧合血紅蛋白(HbO)以及脫氧血紅蛋白(HbR)濃度變化.

分別計算每個頻段的特征.功率譜密度(power spectral density, PSD)[28]表示腦電信號在不同頻段的平均能量：

式中：z為腦電信號， τ 為時間，f為頻率.

使用快速傅里葉變換(fast fourier transform,FFT)計算信號的離散傅里葉變換(discrete fourier transform, DFT)，使用200 個采樣點的窗估計得到每個頻段的功率譜密度.微分熵(differential entropy, DE)[29]是腦電信號的一種非線性特征，是香農信息熵在連續變量上的推廣形式，即

式中：P(z) 為概率密度函數.

假設腦電信號服從正態分布：z～N(μ,σ2) ，微分熵特征計算式為

式中： σ 為標準差，μ為均值，e為常數.

與腦電信號不同，fNIRS 信號的變化是相對緩慢的.為了適應這一特點，采用均值、最大值、最小值、線性回歸斜率以及方差這5 個統計特征點作為fNIRS 信號的特征集.均值反映HbO/HbR濃度水平；最大值、最小值反映HbO/HbR 濃度曲線本身的特點；方差反映HbO/HbR 濃度的波動情況；線性回歸斜率則反映HbO/HbR 濃度整體變化趨勢.EEG 與fNIRS 信號均按1 s 分段，最后得到EEG 的特征矩陣大小為4 845×62×5，得到fNIRS的HbO/HbR 特征矩陣大小為4 845×18×5.

1.3 EEG-fNIRS 圖數據構建

為了能夠將數據輸入圖卷積神經網絡，必須將EEG 和fNIRS 信號轉為圖結構數據.圖結構數據是節點和邊的集合，記為G=(V,E)，其中V為節點的集合，E為邊的集合.將EEG 和fNIRS 信號的每個通道看作節點，每個通道求得的特征作為節點特征，得到特征矩陣X；將通道與通道之間的連接關系作為邊，求得鄰接矩陣A，這樣就將EEG和fNIRS 信號抽象為圖結構數據.

圖結構數據的特征矩陣X由提取的腦電DE、PSD 特征以及fNIRS 統計特征所構成.鄰接矩陣A通過計算兩兩通道信號之間的皮爾遜相關系數得到.Bao 等[30]將皮爾遜相關系數作為圖卷積網絡的鄰接矩陣，在EEG 情感識別中取得較好效果.

皮爾遜相關系數可以度量2 個時間序列之間的相關性，計算式為

式中： ρ 為相關系數，a、b分別為2 個通道的特征向量，Cov (a、b)為向量a和b的協方差，g為向量中元素的個數.

由于EEG 和fNIRS 是2 種不同采樣率的信號，對EEG 原始信號進行平均降采樣至11 Hz，使之與fNIRS 信號的采樣率一致；利用皮爾遜相關系數計算每1 s 信號兩兩通道之間的相關性，并構建EEG-fNIRS 通道鄰接矩陣.Achard等[31]指出在稀疏的fMRI 腦網絡中，當實際連接數等于全部可能連接數的20%時，通常會最大限度地提高網絡拓撲的效率；當選擇保留EEG-fNIRS 鄰接矩陣全部連接的20%時，由于直接選取全局最相關的20%連接，連接可能會聚集于某個區域，同樣重要但相關系數稍微較弱的區域可能被忽略.整個鄰接矩陣分為EEG-EEG、fNIRS-fNIRS 以及EEG-fNIRS 子矩陣，分別在每個子矩陣中選取相關系數最大的前20%連接進行保留，最終得到圖數據特征矩陣X(4 845×98×5)，鄰接矩陣A(4 845×98×98)，兩者之間一一對應.

1.4 圖卷積融合模型

如圖3 所示為MA-MP-GF(modality attentionmulti path-graph convolution fusion)雙模態融合情感識別框架.將EEG 和fNIRS 構建為圖結構數據，計算各通道特征和各通道的相關性關系，分別以節點特征矩陣和鄰接矩陣的形式輸入MA-MPGF 模型中實現2 種模態的融合情感識別.本研究提出基于多路模態注意力圖卷積融合的情感識別模型MA-MP-GF，如圖4 所示，依次由圖特征提取、圖特征融合以及分類器模塊構成.

圖3 雙模態融合情感識別框架Fig.3 Framework of bimodal fusion emotion recognition

圖4 MA-MP-GF-2D-CNN 雙模態融合情感識別模型Fig.4 MA-MP-GF-2D-CNN bimodal fusion emotion recognition model

1.4.1 圖特征提取模塊 GraphSAGE[21]圖卷積是一種空間域圖卷積，其算法的核心在于對鄰居節點的采樣與聚合.

GraphSAGE 圖卷積可以有效地聚合鄰居節點特征，實現對圖結構數據的數據特征提取.對于采用均值聚合的GraphSAGE 圖卷積，其節點更新的計算式為

式中：xi為第i通道的節點特征；xj為對xi的鄰居節點采樣得到的節點特征；k為神經網絡層序號；ReLU 為激活函數；W為權重矩陣，訓練時通過梯度下降法進行更新；Mean 為向量求均值操作.式（5）是對圖上每個節點的鄰居節點進行采樣，將本節點與每個采樣得到的鄰居節點進行拼接后求取平均值，再對得到的向量進行非線性變換，得到新的節點特征.

由于GraphSAGE 圖卷積層能夠根據鄰接矩陣聚合不同鄰居節點的特征，并生成新的節點特征，可以通過它對不同通道EEG 和fNIRS 節點進行聚合，實現特征融合.將EEG、HbO 以及HbR 圖結構數據分別輸入GraphSAGE 圖卷積層中，通過圖卷積層分別提取特征，得到EEG、HbO 和HbR 各自的圖卷積特征矩陣.GraphSAGE 圖卷積層通過聚合鄰居節點特征實現新節點特征的生成，新節點特征與原來特征相比，包含了更多相關節點的信息，有利于下一模塊不同模態節點之間的特征融合.

1.4.2 圖特征融合模塊 針對不同模態節點的特征融合，提出模態注意力機制(modality attention,MA) 來對GraphSAGE 圖卷積進行改進，如圖5所示，圖中Mmod為模態權重，M為模態注意力系數.當賦予不同模態節點以不同的權重時，改進后的圖卷積層能夠更加有效地進行特征融合.

圖5 模態注意力圖卷積層Fig.5 Modality attention graph convolutional layer

本研究提出的模態注意力機制由2 條支路構成，分別為模態權重支路與節點權重支路.前者計算得到EEG、HbO 和HbR 這3 種信號各自的權重；后者計算得到所有信號總計98 個節點各自的權重.將模態權重與節點權重對應相加，得到最終的權重.將權重賦給原始信號，并輸入到Graph-SAGE 圖卷積層當中，這樣圖卷積層在計算當中能夠考慮到每個節點不同的權重，同時在每一次的訓練中通過反向傳播更新注意力系數與圖卷積參數.注意力系數的計算式為

式中：M為最終的注意力系數向量，X為輸入特征矩陣，Mout為輸出特征矩陣，FC1、FC2分別為第1、2 層全連接層，pool 為全局平均池化層，Sigmoid 為非線性激活函數.

在加入注意力機制之后，輸入圖卷積層的每個節點均具有不同的權重系數，每個節點與其采樣得到的鄰居節點進行聚合，而鄰居節點包含EEG節點與fNIRS 節點，因此對每個節點進行聚合的過程相當于2 種模態進行特征融合的過程.每個節點的聚合式（式(5)）可以重新表示為

式中：x(EEG)p、x(fNIRS)q分別為EEG 和fNIRS 節點特征，是對鄰居節點xi采樣得到的節點特征；p為EEG 節點特征的序號；q為fNIRS 節點特征的序號；n為采樣節點的個數；mp、mq為對應節點的注意力系數.

1.4.3 2D-CNN 分類模塊 經過圖卷積融合之后每個節點生成的新節點特征融合了原節點以及與原節點相關的其他通道的信息.由于包含原節點信息，生成新的節點之間仍然具有一定的空間位置關系.EEG-fNIRS 空間排布矩陣如圖6 所示.將新的節點特征映射到空間排布矩陣中，通過2DCNN 進行情感分類.2D-CNN 的參數如表1 所示，包括單模態與雙模態分類時模型的參數.

表1 2D-CNN 網絡的參數Tab.1 Parameters of 2D-CNN network

圖6 EEG-fNIRS 空間位置映射矩陣Fig.6 EEG-fNIRS spatial position mapping matrix

將轉換得到的空間位置特征矩陣輸入2DCNN 進行卷積池化操作，以雙模態分類器為例，連續2 次4*4 卷積相當于1 次7*7 卷積，在擴大感受野的同時，能夠更好地提取通道間特征，同時減少參數量；卷積之后的特征矩陣經過平均池化進行降維.具體計算式如下：

式中：s為經過處理后的輸入特征，Conv1、Conv2分別為第1、2 層卷積層， Avepool 為平均池化層，y為整個網絡的輸出向量.

接下來將池化得到的特征向量輸入全連接層中進一步降維，最后經過Softmax 層進行分類.

2 實驗與結果分析

2.1 實驗參數設置

實驗運行所使用的軟件環境為Windows10 操作系統，深度學習框架為Pytorch，圖卷積神經網絡包為PyTorch Geometric；所使用的硬件環境CPU 為Intel Xeon Silver 4214R 2.40 GHz，GPU 為Nivida Telsa T4.深度學習優化器使用SGD 優化器，采用交叉熵損失函數，學習率設置為0.01.數據按1 s 分段，每名被試的實驗均進行5 折交叉驗證，以30 名被試的平均識別率以及標準差作為評價標準.

為了比較單模態與多模態融合的識別結果，使用2D-CNN 作為情緒識別的基線分類器.為了比較不同情感識別模型的識別結果，同時驗證所提圖卷積融合方法的有效性，使用10 種融合方法進行對比實驗.

2.2 實驗模型介紹

圖卷積融合(graphconv fusion, GF)為基礎的圖卷積融合模型，只包含1 層圖卷積；模態注意力圖卷積融合(modality attention graphconv-fusion,MA-GF)在GF 模型的圖卷積層中添加了注意力機制；多路圖卷積融合 (multi-path graphconv-fusion,MP-GF)將不同模態的特征分別經過圖卷積之后再進行整體圖卷積；MA-MP-GF 為同時添加多路圖卷積與模態注意力的圖卷積融合模型.最后將經過融合的特征向量輸入2D-CNN.

拼接融合(concat-fusion, CF)在文獻[12]中被稱為線性融合(linear fusion，LF).將不同模態經過2D-CNN 從池化層輸出的特征向量進行直接拼接，從而實現不同模態的融合識別.空間融合(space fusion, SF)為空間融合方法，相當于去掉圖卷積層之后的模型.它將不同模態的特征映射到同一個EEG-fNIRS 空間位置排布矩陣之中，輸入2D-CNN實現分類.

SVM[15]是將不同模態的特征矩陣進行拼接后輸入SVM 進行分類的特征融合方法.張量融合(tensor fusion, TF)[12]是將不同模態的特征向量進行外積得到多維矩陣后，使用可訓練權重矩陣加權求和得到新融合特征向量的方法.P 階多項式融合(Pth order polynomial fusion, PF)[12]將不同模態的特征向量拼接為長向量，將長向量進行復制，同時將這些長向量進行外積得到多維矩陣，最后使用可訓練的權重矩陣進行加權求和得到新的融合特征向量.低階多模融合(low rank multimodal fusion, LMF)[32]通過對每個模態設定低階權重向量，利用各自模態的特征向量進行加權求和生成新的融合特征.將以上3 種特征向量融合方法應用于2D-CNN 池化層輸出的特征向量中，隨后將融合后的向量輸入全連接層以及softmax層進行分類.

2.3 實驗結果分析

使用EEG 信號的特征以及fNIRS 中HbO 和HbR 的統計特征進行單模態識別實驗，研究不同模態情感識別的效果；同時使用所提的圖卷積融合模型進行實驗，用以研究模態融合情感識別的有效性.實驗在30 名被試下進行.如表2 所示為30 名被試使用2D-CNN 和MA-MP-GF-2D-CNN 在不同模態下的平均識別率Acc 以及標準差Std，加粗部分表示的是最高Acc 值以及最低Std 值.可以看出，多模態相對于單模態，在識別率上有明顯提升.

表2 不同模態平均情感識別結果Tab.2 Average emotion recognition results of different modalities

如圖7 所示為30 名被試使用2D-CNN 和MAMP-GF-2D-CNN 進行單模態與多模態情感識別的識別率.圖中，No 為被試序號，Ave 為總體平均，Acc 為識別率.可以看出，不同被試的情感識別率存在差異，但是EEG 的DE 特征的識別率均顯著高于fNIRS 的HbO 和HbR 信號的統計特征的識別率，fNIRS 的HbO 與HbR 識別率無顯著差距，使用圖卷積融合以上3 種信號的識別率均顯著高于單模態的識別率.由此可以證明所提的圖卷積融合的情感識別方法對于單模態情感識別有顯著提升.

圖7 不同被試單模態以及模態融合的情感識別結果Fig.7 Emotional recognition results of different subjects in single mode and mode fusion

如圖8 所示為單模態與圖卷積融合情感識別的混淆矩陣.可以看出，在單模態情感識別中各類情感的識別率存在微小差異，EEG(DE)的混淆矩陣顯示，中性情感的識別率略低于其他情感，另外3 種情感識別率相近；fNIRS 信號的HbO 和HbR的混淆矩陣也顯示，中性情感的識別率略低于其他情感，高興情感的識別率略高于其他情感；圖卷積融合的混淆矩陣相比單模態，各類情感的識別率都有明顯提升，各類情感的識別率之間的差距也縮小.

圖8 情感分類的混淆矩陣Fig.8 Confusion matrix of emotion classification

使用EEG 信號的DE 特征和PSD特征以及fNIRS 的HbO 和HbR 信號統計特征，研究不同特征組合下的融合情感識別效果，結果如圖9 所示.在不同的特征組合下，模態融合的識別率有所不同；不同融合方法中不同特征組合的識別結果呈現相似的趨勢.總體上看，包含EEG(DE)特征的融合識別率要優于EEG(PSD)的，DE+HbO+HbR的識別效果最好，DE+HbR 效果次之，PSD+HbO的效果最差.為了驗證模型各部分的作用，使用拼接融合CF、空間融合SF、基礎圖卷積融合GF、僅加入模態注意力的MA-GF、僅加入多路圖卷積的MP-GF 模型以及同時加入模態注意力和多路圖卷積的MA-MP-GF 模型，分別對不同的特征組合進行模態融合對比消融實驗，用以驗證圖卷積融合、模態注意力機制以及多路圖卷積結構對于情感識別的有效性.同時，對所提的模態注意力機制也進行消融實驗，分別分析只保留節點權重、只保留模態權重、去除dropout 層之后的注意力機制的效果，驗證所提的注意力機制結構的必要性與有效性.

消融實驗結果如表3 所示.可以看出，所提圖卷積融合模型在不同特征組合下的平均識別率均高于拼接融合以及空間融合模型的，標準差也小于另外2 種模型的.表明圖卷積融合模型的識別效果與穩定性更好，證明了圖卷積融合的有效性.同時添加模態注意力(MA) 與多路圖卷積結構(MP)的融合方法的識別率要明顯高于不添加或者只添加MA 和MP 中的一種的圖卷積融合方法的，且單獨添加MA 或MP 識別率均有提升，證明MA 與MP 對于提升情感識別率的有效性.另外相比使用EEG、HbO 與HbR 這3 種信號進行融合，只使用其中2 種信號進行融合的識別率要略低，但仍可以實現比單模態更高的識別率，因此在情感識別中可以選用HbO 與HbR 中的一種信號與EEG 結合，在減少模態數量的同時依然可以保持較好的效果.

表3 模態注意力多路圖卷積融合模型消融實驗結果Tab.3 Experimental results of ablation of modality attention multi-path graph convolution fusion model

如表3 所示，SF 為未添加圖卷積的2D-CNN分類模塊，識別率較低.MA-GF 為添加圖特征融合模塊的模型，MP-GF 為添加圖特征提取模塊的模型，MA-MP-GF 為完整的模型.以EEG(DE)+HbO+HbR 特征組合為例，后3 種模型相比于SF，在識別率上分別提升3.42%、3.72%、4.44%，表明各模塊的添加能夠有效提升情感識別率.

圖特征融合模塊中使用了模態注意力機制，在訓練過程中可賦予不同模態不同通道以不同的權重，使之能夠更好地體現各通道對情感識別的貢獻.如圖10 所示，以全部30 名被試為例，繪制了各通道的平均注意力權重圖.通道位置與圖6中的EEG-fNIRS 空間位置映射矩陣的相對應.可以看出，不同通道被賦予不同的權重.在情感識別中，額葉和顳葉的EEG 與fNIRS 通道發揮了較大的作用，而頂葉和枕葉的通道作用較小.其中右額葉的權重高于左額葉的，右顳葉的要略高于左顳葉的.Li 等[33]的結論中也反映出額葉和顳葉區域在EEG 情緒識別中很重要.模態注意力機制的消融實驗使用效果最好的EEG(DE)+HbO+HbR特征組合，結果如表4 中，MA1為只保留節點權重的注意力機制，MA2為只保留模態權重的注意力機制，MA3為去掉了dropout 保留模態和節點權重支路的注意力機制.在2 種圖卷積融合模型上，所提出的模態注意力機制的結果均為最優.

表4 模態注意力機制消融實驗結果Tab.4 Experimental results of ablation of modality attention mechanism

圖10 注意力權重分布圖Fig.10 Distribution map of attention weight

不同的融合模型在三模態融合時效果更好，因此對比其他論文的融合方法時均采用三模態進行實驗，結果如表5 所示.可以看出，在2 種不同特征組合下所提出的圖卷積融合方法效果均要優于所引論文中的融合方法.

表5 不同融合方法在EEG-fNIRS 數據集上的結果Tab.5 Results of different fusion methods on EEG-fNIRS dataset

為了全面驗證模型的效果，本研究進行跨受試者的實驗，采用留一折驗證，即29 名被試的數據作為訓練集，1 名被試的數據作為測試集，特征組合采用效果更好的EEG(DE)+HbO+HbR，結果如表6 所示.可以看出，在跨受試者的實驗中，本研究所提的4 種圖卷積融合方法的識別準確率均要強于其他論文方法的，且添加模態注意力機制能夠提升圖卷積融合的跨被試識別率.由于跨受試者實驗中訓練與測試數據分布差異較大，結果要低于被試依賴的實驗.目前主流的跨受試者情感識別方法均涉及遷移學習，將在以后的研究中加以應用.

表6 不同融合方法在EEG-fNIRS 數據集的跨被試結果Tab.6 Cross-subject results of different fusion methods on EEG-fNIRS data set

3 結 語

本研究提出基于模態注意力多路圖卷積(MAMP-GF)的EEG 和fNIRS 融合情感識別方法.與單模態相比，圖卷積融合MP-MA-GF 對情感識別準確率的提升明顯；所提模態注意力機制對于情感識別率也有一定提升效果；與其他對比方法以及其他論文的多模態融合方法相比，本研究的圖卷積融合方法具有更高的準確率和更好的穩定性.

在未來的工作中，計劃使用不同類型的圖卷積層以及新的EEG 和fNIRS 特征進行融合實驗，以獲得更高的情感識別準確率；對于鄰接矩陣的選取進行更深入的研究，會考慮PLV、互信息方法計算鄰接矩陣；在跨受試者的實驗中，會使用遷移學習與所提模型結合，提升模型的跨受試者識別效果.