混合注意力機制下膠囊網絡的腦電情緒識別方法

中圖分類號TN911.7;R318；TP183文獻標志碼 A

0 引言

作為復雜的心理狀態，情緒對人們的思維、行為乃至生理反應都有深遠影響[1].在人機交互領域，情緒識別被視為一個關鍵要素.精準地掌握用戶的情緒狀態能夠使計算機系統更加有效地響應并適應用戶需求，進而提供更為個性化和人性化的交互體驗[2].情緒的獲取可以通過生理信號和非生理信號兩種途徑實現[3].生理信號包括眼電圖（EOG）、心電圖（ECG）[4]、肌電圖（EMG）以及腦電圖（EEG）等，而非生理信號則涉及面部表情[5]、語言和身體姿勢等.相較于可能被掩蓋的非生理信號，生理信號能夠更為準確地映射出用戶的真實情緒狀態，因此，基于生理信號進行情緒分析正成為研究的熱點.考慮到大腦在情緒調節過程中對中樞神經系統的直接作用，采用腦電信號（EEG）來識別情緒狀態顯得尤為重要.

情緒量化是基于計算機技術進行情緒識別的關鍵步驟，它主要分為離散型和連續維度型兩種模型.在離散型模型中，情緒被歸類為若干有限的狀態，例如，上海交通大學情感腦電數據集（SEED）[]便將情感劃分為積極（positive）、消極（negative）和中性（neutral）三種類別.相對而言，連續維度型模型則通過多個相互獨立的基軸來表示情感的多維特性，如效價-喚醒雙極情緒象限系統所示.此外，離散型情緒狀態也可以對應地映射到連續維度狀態空間中的特定位置.

在腦電情緒識別領域，特征提取環節至關重要，主要涉及時域特征、頻域特征以及時頻域特征等多個方面[8].時域特征主要捕獲腦電信號的時序信息，涵蓋了峰值間隔、均方值、方差、偏度、峰度及高階過零點等指標.頻域特征則側重于分析腦電信號的頻率信息，它在噪聲抵抗和細節展現方面表現優越.頻域特征包括最大功率譜頻率、最大功率譜密度、小波能量[6、小波熵、事件相關電位及香農熵等.除此之外，非線性動力學特征如近似熵、相關維數、微分熵（DifferentialEn-tropy，DE）、分形維數等亦在腦電特征提取中發揮著重要作用.特別是DE特征，作為一種重要的非線性特征，在多項相關研究中證實了其有效性與魯棒性，并已被廣泛應用于腦電信號的特征提取過程.

近年來，研究者在腦電情緒識別領域中廣泛應用了深度學習方法，其效果顯著優于傳統的機器學習方法.例如：文獻[9]采用深度置信網絡（DeepBeliefNetwork，DBN）對EEG信號的分形維數（FractalDimension，FD）功率譜密度特征（PowerSpectralDensity，PSD）和小波變換特征（DiscreteWaveletTransform，DWT）進行分類，并發現FD和DWT特征在1～4s的滑動窗口上能夠實現更高的性能；文獻［10]則借鑒計算機視覺的思路，使用保留通道空間拓撲信息的微分熵特征圖作為卷積神經網絡（ConvolutionalNeuralNetwork，CNN）的輸人以提升性能.然而，空間上的鄰近關系并不總是與功能關系的緊密程度成正比.鑒于此，文獻[11]利用EEG電極間的相關性來構建圖卷積神經網絡（GraphConvolutionalNeural Network，GC-NN），其中，所用的圖結構包括頻內功能連接圖和跨頻功能連接圖的融合.文獻[12]提出了動態圖卷積神經網絡（Dynamical Graph Convolutional Neural Net-work，DGCNN）用于EEG情緒識別，其特點是鄰接矩陣在訓練期間動態更新，以更好地捕捉情緒狀態的變化.文獻13]則探索了利用大腦兩半球的不對稱性，通過雙半球差異模型（Bi-Hemispheric DiscrepancyModel，BiHDM）來構建識別模型.該方法采用了兩個獨立的水平和垂直遍歷的循環神經網絡（RecurrentNeuralNetwork，RNN），分別掃描左半球和右半球通道的EEG特征，從而深入學習兩半球的特性.

有研究者將膠囊網絡（CapsuleNetwork，Caps-Net）[14]應用到腦電情緒識別中.盡管卷積神經網絡（CNN）[15]在情感計算領域展現出不錯的性能，但依舊具有旋轉變形不變性、池化層信息丟失和平移不變性的缺點.CapsNet旨在克服經典CNN在處理姿態變化和層次性特征表達時所面臨的挑戰.CapsNet使用膠囊向量代替CNN中的標量數據，使用動態路由機制代替CNN中的池化，使其能自動學習多種特征（如位置、旋轉和圖像域中的尺度），并有效捕捉簡單與復雜對象間的關鍵空間關系.文獻[16]提出的MFM-CapsNet，是一種采用多頻帶特征矩陣（MultibandFeatureMatrix，MFM）作為輸入的膠囊網絡，其主膠囊的長度和方向分別代表了與情緒相關的存在性和特征.文獻[17]提出基于多任務學習的注意力膠囊網絡（Multi-TaskChannel Attention Caps-Net，MTCA-CapsNet），將膠囊網絡與通道注意力機制融合于多任務學習框架之中.

鑒于腦電信號各通道間存在顯著的相關性，將導聯的拓撲信息融人特征中可有效地維持這種相關性.然而，當前大多數腦電情緒識別方法未能充分利用EEG導聯的拓撲信息來提升識別的準確性.相較于傳統的卷積神經網絡，膠囊網絡在腦電情緒識別方面展現出更優的性能.盡管如此，現有研究主要集中于將傳統膠囊網絡應用于腦電情緒識別任務，而較少將膠囊網絡進行改進，使之更加適用于該任務.

本文提出一種混合注意力機制下的膠囊網絡（Convolutional Block Attention Module CapsNet，CBAM-CapsNet）來進行腦電情緒識別，并配合了一種高效的特征提取算法.首先，計算DEAP數據集和SEED數據集微分熵特征并轉化為包含頻率和導聯拓撲空間信息的三維特征矩陣.接著，將其輸入到CBAM-CapsNet網絡模型來進行情緒分類.模型通過擴大卷積層的寬度并增加層數來深人提取腦電信號的底層特征，同時將混合注意力機制集成到膠囊網絡中使模型更加關注情緒相關頻帶和電極，顯著提高情緒識別的準確率.通過在公開的DEAP和SEED腦電情緒識別數據集上進行廣泛的實驗驗證，并采用五折交叉驗證方法，以增強模型評估的可靠性.

1方法

圖1為本研究提出的CBAM-CapsNet用于情緒識別的流程.該流程主要包括以下幾個步驟：首先進行帶通濾波處理；其次去除腦電信號的基線干擾并提取微分熵（DE）特征;然后生成多頻帶導聯空間信息矩陣;最終通過CBAM-CapsNet模型進行情緒狀態的分類.

1.1 DEAP和SEED數據集

本文使用DEAP和SEED數據集來進行模型的訓練和測試.DEAP數據集包括32名受試者的32通道的腦電信號，每名受試者觀看40個音樂視頻，并對每個視頻在valence、arousal、dominance和liking 4個方面在0到10之間打分來作為連續情緒標簽.SEED數據集為三分類情感數據集，包括15名受試者的62通道的腦電信號，每名受試者分3個時段進行實驗，每個時段觀看15個帶有離散情緒標簽的中國電影片段.具體如表1所示.

表1情感數據集Table1 EEG-based emotion datasets

1.2 三維微分熵特征矩陣

特征提取從平緩漸變的原始數據中抽取劇烈變化的腦電特征，利于模型訓練和測試.首先使用巴特沃斯帶通濾波器對腦電信號劃分帶通濾波為4個頻帶的信號，分別是 θ（4～8]Hz，α（8～14]Hz，β（14～ 31] Hz 和 γ（31～45] Hz.接著以0.5s為時間間隔來計算微分熵特征，其中，DEAP數據集需去除基線信號.最后將DE特征映射到根據導聯空間分布的三維特征矩陣中.

微分熵特征用來衡量EEG信號的復雜程度，定義為

其中： z 為一個隨機變量； f（z） 為 z 的概率密度函數.高斯分布的微分熵值特征定義為

h（z）=

其中： z 服從高斯分布 N（μ，δ²） ;e為自然對數底數；δ為時間序列的標準差.

對于DEAP數據集，每條腦電數據都包括3s放松狀態下記錄的基線信號和 60s 刺激下記錄的信號.本實驗需要排除基線信號對情緒識別效果的干擾.本文對文獻[18]中的基線信號去除法進行改進.設基準信號為 ，實驗信號為 ，其中， c 為信號通道數， .N₁，N₂ 為信號長度.首先需要將基線信號切分成 M₁ 個長度都為 L 的片段，片段 ?X_i（i= 1，2，3，…，M₁）∈R^C×L. 接著對這些片段計算微分熵DE 特征并獲得平均值，片段 X_i 計算DE 特征為 ，平均值計算方法為

采用和基線信號相同的切分長度 L 將實驗信號Y 切分成 M₂ 個片段，片段 R^c×L .接著計算每個片段微分熵特征 .最后將 從 D_Yj 中減去，即可排除基線信號的影響，計算公式為

其中： D_Yj^′ 為去除基線微分熵特征后的腦電微分熵特征.在完成基線去除后，即可按照圖2中的映射方法和圖3中的堆疊方法得到三維特征矩陣.

圖232通道導聯空間特征矩陣

Fig.232-channel spatial lead feature matrix

在特征提取步驟中，需計算DE特征將腦電數據轉換成四頻帶的三維特征矩陣.其中，每個頻帶的二維矩陣為導聯空間特征矩陣，尺寸為 8×9 圖2和圖4分別表示32通道和62通道腦電數據轉換為二維導聯空間特征矩陣.其中，電極的選擇和放置使用了國際10-20系統電極放置法[19].

圖3展示了SEED數據集62通道的腦電信號在進行特征提取的過程.由于SEED數據集沒有基線信號，所以省去了DEAP數據集中的基線去除步驟.首先將信號按照0.5s進行分段，并且使用巴特沃斯濾波器進行分頻，其次將每段信號進行微分熵特征提取，然后按照圖4的映射方法將各個頻段的特征映射到二維的特征矩陣中，最后將4個頻段的特征矩陣堆疊成三維特征矩陣.

研究發現，提取多個頻帶特征在進行情緒識別時，效果往往優于單個頻帶[20].本文針對該結論做進一步的實驗，將四頻帶特征矩陣訓練出模型的準確率同三頻帶特征矩陣進行比較.實驗結果表明，使用四頻帶特征矩陣情緒識別準確率大于三頻帶特征矩陣，且 γ （31～45］Hz頻帶對情緒識別影響最大，為4個頻帶中最重要的頻帶.具體實驗步驟和結果見2.1.

1.3 CBAM-CapsNet模型

本文使用的CBAM-CapsNet分為4個部分：卷積層（ ）、混合注意力機制層（CBAM）、主膠囊層（PrimaryCaps）和情緒膠囊層（EmotionCaps）.本文的膠囊網絡模型結構如圖5所示.卷積層提取腦電信號中的初級特征.混合注意力機制層對腦電信號中的瀕帶和空間信息進行加權，從而使網絡更加專注于與情緒相關的特征.主膠囊層運用8個并行卷積來生成8維度的初級膠囊.情緒膠囊層則通過動態路由機制生成16維度的高級情緒膠囊.最終，通過計算情緒膠囊的L2范數來進行情緒分類.

圖3多頻帶三維特征矩陣

Fig.3Multi-band 3D feature matrix

圖462通道導聯空間特征矩陣

Fig.462-channel spatiallead featurematrix

圖5CBAM-CapsNet模型結構Fig.5CBAM-CapsNet model structure

1.3.1 膠囊網絡

本文膠囊網絡根據Sabour等[14]提出的神經網絡架構膠囊網絡進行改進.首先，根據腦電信號的輸入格式增加網絡前端模塊卷積層的寬度和層數，深入提取腦電低級信息.其次，在主膠囊層和情緒膠囊層采用3次迭代的動態路由機制來進行信息傳遞.最后，為符合本文的模式識別任務，取消了原膠囊網絡中的解碼器結構.

卷積模塊為了提取三維矩陣i Ψ_1put∈R^8×9×4 的低級特征，由3個卷積層（ 堆疊而成.第1個卷積層卷積核的大小為 5×5 ，卷積核的數量為64個；第2個卷積層卷積核的大小為 4×4 ，卷積核的數量為128個；第3個卷積層卷積核的大小為 4×4 ，卷積核的數量為256個.3層卷積的卷積核滑動步長都為1且卷積前后的導聯空間信息矩陣尺寸保持不變.3層卷積隨著卷積核變多、寬度變寬，所提取的特征也越豐富.

主膠囊層為了提取深度特征，由8個并行卷積組成.8個并行卷積生成了深度為8的膠囊向量來存儲空間形態特征.由于膠囊向量的模長可以代表該特征的概率，即該特征的顯著程度，模長越大特征越顯著.所以對生成的膠囊進行擠壓（Squash）來確定一個有界指標，如式（5）所示，Squash函數為一種非線性變換，膠囊模長越長，擠壓后模長越接近于1，反之越接近于0.和傳統膠囊網絡的擠壓函數不同的是，本文使用全局膠囊擠壓，即計算膠囊的L2范數時，使用了網絡同批所有膠囊向量，而不僅僅是單個膠囊.本文在受試者01號上比較了2種擠壓函數的準確率，發現使用全局膠囊擠壓可以明顯提升網絡性能.

主膠囊層的輸出1344個8維度膠囊經過Squash函數擠壓后，膠囊的模長就代表了該特征的概率.

情緒膠囊層首先將擠壓后的膠囊進行動態路由（DynamicRouting）算法.動態路由是膠囊網絡的主要機制，它保留了來自低級膠囊的所有信息并將它們路由到最近的高級膠囊.通過迭代更新膠囊間標量積來決定連接權重，從而理解對象的內部組成結構和相對空間關系，相對于池化具有更高的靈活性和信息保留能力.低層膠囊表征情緒相關的腦電局部特征，高層膠囊表征一個情緒.圖6是路由算法總過程.

首先，將主膠囊層的輸出膠囊封裝成一個預測向量 ，即將初級膠囊 u_i 與變換矩陣 W_ij∈R^8×16 相乘得到，其中，變換矩陣 W_ij 表示低級情緒特征與高級情緒特征之間的相對關系. 計算過程為

圖6動態路由算法 Fig.6Dynamicroutingalgorithm

其次，通過 b_ij 的初始值可以得到 |c_ij| ，接著將預測向量 乘以相應權重 c_ij 后累加構成高層膠囊的輸入 S_j.S_j 計算過程為

c_ij 為由動態路由過程來決定的耦合系數，且滿足：

c_ij 的計算過程為

由式（9）可知， c_ij 由softmax歸一化得到，其中，初始耦合系數 b_ij 為第 i 個初級膠囊連接到第 j 個情緒膠囊的對數先驗概率，初始值為0.初始耦合系數b_ij 的迭代更新如式（10）所示：

最后， S_j 經過Squash 函數得到 ν_j 情緒膠囊層生成的是深度為16的高級膠囊，每個高級膠囊都由動態路由算法來得到.膠囊個數為當前模型情感類別數，每個膠囊的長度代表當前情緒的概率，最后對每個膠囊向量計算L2范數輸出每種情緒的概率.假設每個情緒向量為！ （x₁，x₂，… ，x_i，…，x₁₆） ，則L2范數計算公式為

1.3.2混合注意力模塊

混合注意力機制模塊（ConvolutionalBlockAt-tentionModule，CBAM）如圖7所示，它由兩部分組成：通道注意力機制（對頻帶賦予權重值）和空間注意力機制（對導聯空間信息矩陣賦予權重值）.三維特征矩陣 F∈R^h×w×c 依次經過上述兩個模塊，通道注意力模塊對EEG信號的瀕帶賦予權重，空間注意力模塊對EEG信號的電極賦予權重，有助于提高模型準確率.

在情緒識別任務中，經過三層卷積后得到特征矩陣維度為 F∈R^h×w×c ，其中， h=8，w=9，c=256. CBAM模塊可以通過通道和空間注意力模塊對 F 賦予權重，使得有效特征更加容易被膠囊網絡學習[21].如圖8所示，CBAM可以推斷出一個一維通道特征圖 M_C∈R^1×1×c 和一個二維空間注意力圖 M_s∈ Rx×1.整個注意力過程為

F^′=M_c（F）?F，

F^′′=M_s（F^′）?F^′.

其中： ⑧ 為逐項積； F^′ 為經過通道注意力模塊的輸出； F^′′ 為CBAM的最終輸出.

通道注意力圖通過特征通道關系來產生.首先對輸入特征矩陣 F 同時使用平均池化和最大池化來得到 F_avg^C∈R^1×1×c 和 F_max^C∈R^1×1×c ，分別為平均池化特征和最大池化特征.接著，將這2個特征送入共享的多層感知器MLP來生成 M_CΠ∈R^1×1×c ．該MLP具有一個隱藏層，隱藏激活大小為 R^1×1×c/γ ，這里 γ 設置為16.最后對MLP的輸出進行逐項和來輸出 M_c =上述說明如式（14）所示：

圖7混合注意力模塊

Fig.7Convolutional block attention module

空間注意力圖通過特征空間關系來產生，空間注意力與通道注意力互補.首先對 F^′ 沿通道軸進行最大池化和平均池化，生成2個二維圖 R^h×w×1 和 F^′_max^S∈R^h×w×1 ，分別為平均池化特征和最大池化特征.接著，將這2個特征連接起來并且通過一個標準卷積層來產生二維空間注意力圖 M_s

M_s（F^′）=σ（f^s×7（[AvgPool（F^′）;MaxPool（F^′）]））=

其中： σ 為sigmoid激活函數； f^7×7 為卷積核大小為7×7 的卷積操作.

2 實驗

本文在DEAP和SEED數據集上使用CBAM-CapsNet模型進行單受試者的腦電情緒識別.實驗在Tensorflow框架下通過Python來實現，環境為AMDRyzen 7 680OHwith Radeon Graphics CPU @ 3.20GHz，16GB內存，NVIDIAGeForceGTX3060顯卡，64位Windows11系統.訓練模型的批處理（batchsize）大小為64，訓練迭代數（epochs）為100，損失函數為交叉熵（categoricalcrossentropy），優化器為Ad-am，學習率為0.0001，動態路由迭代數為3.實驗使用五折交叉驗證法，對每名受試者樣本隨機平均分為5份子集，不重復地將其中4份子集作為訓練集并將剩余1份子集作為測試集，上述過程重復5次，5次測試集的識別準確率計算平均值和標準差，所有受試者的平均分類準確率和標準差代表CBAMCapsNet的性能

圖8CBAM注意力結構

Fig.8Attention module structure of CBAM

2.1 模型輸入

已有研究表明，使用單頻帶二維PSD特征矩陣來進行情緒識別準確率遠低于多頻帶融合的二維矩陣[18]，本文在該研究基礎上進行改進.為了體現四頻帶三維DE特征矩陣的優越性，本實驗在DEAP_ArousaI上進行三頻帶特征矩陣對比實驗.實驗結果如圖9所示，缺失θ（4～8]Hz的特征矩陣訓練出來的模型準確率為 95.07% ，缺失 α（8～14]Hz 為95.15% ，缺失 β （14～31] Hz 為 94.20% ，缺失γ（31～45]Hz 為 93.49% .使用四頻帶特征矩陣來訓練模型的準確率為 95.42% ，高于任何三頻帶矩陣訓練出來的模型.文獻22通過功能網絡分析和時頻分析方法證明了高頻 γ 波段相比其他低頻波段的EEG信號在研究人類情緒感知上更為敏感和有效.從圖9中可看出，缺失的頻帶值越高，情緒識別準確率下降得越多.這說明高頻帶對準確率影響更大，更有利于腦電的情緒識別.

圖9DEAP_Arousal三頻帶與全頻帶特征矩陣準確率對比

Fig.9Accuracy comparison between three-band and full-band feature matrices on DEAP_Arousal

CBAM-CapsNet的輸人為三維特征矩陣 X_n∈ R^h×w×d .根據圖9的對比試驗，本文設置參數 d 為4，表示4個頻帶，且有研究表明多頻帶的組合可以保留更多的特征信息，性能優于單頻帶[21].參數 h，w 分別設置為8和9，表示每個頻帶的DE特征矩陣的高和寬.所以，三維特征矩陣就保留了頻率信息和空間信息.

2.2 模型訓練與測試

2.2.1 DEAP

使用CBAM-CapsNet在DEAP數據集上進行二分類實驗和四分類實驗.其中，二分類實驗分別選取Arousal和Valence標簽，四分類實驗將Arousal和Valence兩者聯合.實驗中將受試者打分高于5的歸為高效價和高喚醒，反之歸為低效價和低喚醒.具體來說，二分類實驗為高低效價的分類和高低喚醒的分類，四分類實驗則根據Valence-Arousal雙極情緒象限系統將情緒劃分為高效價高喚醒、高效價低喚醒、低效價高喚醒和低效價低喚醒四類.

二分類準確率如圖10所示：模型在DEAP_Va-lence上的單受試者平均準確率為 95.52% ，平均方差為 0.64% ;模型在DEAP_Arousal上的單受試者平均準確率為 95.42% ，平均方差為 0.72% .在Valence分類任務中，30名受試者（除序號05和序號22）分類準確率大于 90% ，22名受試者準確率大于 95% ，13名受試者分類準確率大于 97% ;在Arousal分類任務中，30名受試者（除序號02和序號22）分類準確大于 90% ，23名受試者準確率大于 95% ，14名受試者分類準確率大于 97% .另外，第22號受試者Va-lence準確率和Arousal準確率為 86.63% 和80.54% ，遠遠低于其他受試者，原因可能是沒有專注觀看音樂視頻或者在打分時沒有很好考慮主觀感受.

如圖11所示，四分類準確率相比二分類略有下降，但 95.00% 的平均準確率依然顯示了CBAM-CapsNet模型在情緒識別的強大性能.平均方差為0.67% 進一步證明了模型在不同情緒狀態識別中的穩定性和可靠性.四分類準確率下降可能是由于該任務在情感劃分上更為細致，涉及更多的分類邊界和內部差異，因此對模型的判別能力提出了更高的要求.

2.2.2 SEED

使用CBAM-CapsNet在SEED數據集上進行實驗，準確率如圖12所示，模型在SEED數據集上的平均準確率為 93.19% ，平均方差為 0.41% .在15名受試者中，有8名受試者（序號 02，04，05，06，08，09， 10、14）超過了平均準確率，且13名受試者（除序號07、15）準確率超過了 90% .該模型在SEED數據集上仍然具有高準確率和高穩定性.

2.2.3 網絡推理時間

在進行單受試者實驗時統計網絡的推理時間，來展現模型在實際應用中的效率.表2展示了CBAM-CapsNet在DEAP數據集和SEED數據集上每個受試者的平均推理時間，其中，環境配置見實驗設置部分.該模型在提高識別準確率的同時，其推理效率并未降低.

圖10CBAM-CapsNet在DEAP數據集上二分類的準確率

Fig.10 Accuracy of binary classification onDEAPdataset usingCBAM-CapsNet

Fig.11Accuracy of four-class classification onDEAPdataset usingCBAM-CapsNet

圖11CBAM-CapsNet在DEAP數據集上四分類的準確率

表2CBAM-CapsNet在不同數據集上的推理時間

Table2 Inference time on different datasetsusing CBAM-CapsNel

2.3 混淆矩陣

混淆矩陣圖可以直觀反映出模型在不同情緒之間的區分性，揭示模型可能的偏差.圖13展示了CBAM-CapsNet在DEAP二分類上的混淆圖，可以看出模型對DEAP數據集的高效價比低效價更好區分，高喚醒比低喚醒更好區分.圖14展示了CBAM-CapsNet在DEAP四分類上的混淆圖，可以看出模型對DEAP數據集的高喚醒高效價最好區分，其次是高喚醒低效價、低喚醒高效價和低喚醒低效價.圖15展示了CBAM-CapsNet在SEED數據集上的混淆圖，可以看出模型對SEED數據集的積極情緒最好區分，其次是中性情緒和消極情緒，

圖12CBAM-CapsNet在SEED數據集的準確率 Fig.12Accuracy on SEEDdatasetusing CBAM-CapsNet

圖13DEAP數據集二分類混淆矩陣Fig.13Confusion matrices for binaryclassificationonDEAPdataset

2.4 同類研究對比

為了展現本文方法的有效性，將該方法與同類研究進行比較，結果如表3所示.文獻[12]使用動態圖卷積神經網絡，動態學習腦電信號電極的內在關系并以鄰接矩陣表示.本文充分提取了腦電信號的空間和頻率特征，并與膠囊網絡相結合.文獻[23]提取EEG信號的時間和空間特征并提出卷積神經網絡EmotioNet用于EEG情緒識別.本文使用動態路由代替其池化操作來提高信息保留能力.文獻[24]利用離散小波變換將EEG分解成子帶并利用三階累積量得到各子帶信號的非線性動力特征，采用粒子群優化來去除冗余信息，最后使用Bi-LSTM對優化后的特征進行分類.本文使用更模塊化和精細化的網絡深度提取特征，以提高準確性.文獻[25]使用集成膠囊網絡架構，以腦電頻帶作為集成模型的基準，將Theta、Alpha、Beta、Gamma以及多頻帶特征矩陣通過CapsNet生成5個膠囊網絡模型，分別采用投票策略、加權平均策略兩種集成學習方法生成結果.本文使用更長更寬的卷積來提取低級特征，并使用混合注意力模塊來使網絡更加關注情緒相關的電極和頻帶.從表3中可以看出，CBAM-CapsNet實現了最佳的準確率.通過對CBAM-CapsNet模型實施消融實驗，發現僅保留一層卷積并移除CBAM模塊后模型的識別準確率有所下降，而DEAP_AV四分類和SEED三分類下降更明顯.這一結果說明了低級特征的充分提取以及混合注意力模塊（CBAM）提升模型分類性能方面的重要作用.

圖14DEAP數據集四分類混淆矩陣 Fig.14Confusion matrix for four-class classification on DEAP dataset

圖15SEED數據集混淆矩陣Fig.15 Confusion matrix on SEED dataset

3結束語

本文提出一種新穎的神經網絡結構CBAM-CapsNet來進行腦電情緒識別.具體來說，特征提取生成三維微分熵特征矩陣，充分利用了腦電信號的頻帶信息和導聯空間位置信息；網絡部分首先使用三層卷積以充分提取低級特征，并使用混合注意力更加關注重要電極和頻帶；生成膠囊向量后利用動態路由機制生成情緒膠囊來進行情緒分類，克服了CNN中最大池化局部信息丟失問題.該模型在二分類任務DEAP_Arousal和DEAP_Valence上的準確率分別可達到 95.42% 和 95.52% ，在四分類任務DEAPArousal-Valence上的準確率為 95.00% ，在三分類任務SEED上準確率可達到 93.19% .相比于主流研究方法，本文的模型在識別準確率上顯著提升.

本研究主要關注于研究單受試者的腦電情緒識別模型，即模型的訓練數據和測試數據來源于同一受試者.然而，由于腦電信號的個體差異，單受試者模型在泛化到新用戶方面存在限制.采用遷移學習方法的跨受試者腦電情緒識別模型可能解決這一問題，未來前景廣闊.接下來，計劃將域適應技術應用于當前腦電情緒識別模型，以開展跨受試者情緒識別算法的研究

表3同類研究性能對比

Table3Performance comparison with similar studies

%

參考文獻References

[1]Adolphs R，Andreson D J.The neuroscience of emotion ：a newsynthesis[M].Princeton：Princeton University Press，2018

［2］王慧，邱義波，駱永樂.基于腦電信號評價情緒狀態及 聽覺激勵對改善情緒的研究[J].南京信息工程大學 學報（自然科學版），2019，11（2）：158-164 WANG Hui，QIU Yibo，LUO Yongle.Evaluation of emotional state based on EEG signals and improving emotions byauditorystimulation[J].Journal ofNanjingUniversity of Information Science amp; Technology（Natural Science Edition），2019，11（2） ：158-164

［3］潘家輝，何志鵬，李自娜，等.多模態情緒識別研究綜 述[J].智能系統學報，2020，15（4）：633-645 PAN Jiahui，HE Zhipeng，LI Zina，et al.A review of multimodal emotion recognition[J].CAAI Transactions on IntelligentSystems，2020，15（4）：633-645

[4] AgrafiotiF，Hatzinakos D，Anderson A K.ECG pattern analysis for emotion detection[J]. IEEE Transactions on Affective Computing，2012，3（1） ：102-115

[5] Recio G，Schacht A，SommerW.Recognizing dynamic facial expressions of emotion：specificity and intensity effectsin event-related brain potentials[J].Biological Psychology，2014，96：111-125

[6] 何敏，鄭日榮，阮經文，等.基于小波提升算法的腦電 節律提取［J].南京信息工程大學學報（自然科學 版），2013，5（1） ：60-63 HEMin，ZHENG Rirong，RUAN Jingwen，et al. EEG extraction based on wavelet lifting scheme[J]. Journal of Nanjing Universityof Information Scienceamp; Technology （Natural Science Edition），2013，5（1） ：60-63

[7] Russell JA.Affective space is bipolar[J].Journal of Personalityand Social Psychology，1979，37（3）：345-356

[8] JenkeR，Peer A，Buss M.Feature extraction and selection for emotion recognition from EEG[J]. IEEE Transactions on Affective Computing，2014，5（3） ：327-339

[9] Thammasan N，Fukui K I，Numao M.Application of deep belief networks in EEG-based dynamic music-emotion recognition[C]//2O16 International Joint Conference on Neural Networks（IJCNN）.July24-29，2016，Vancouver，BC，Canada.IEEE，2016：881-888

[10] LiJP，Zhang Z X，He H G.Hierarchical convolutional neural networksfor EEG-based emotion recognition[J]. Cognitive Computation，2018，10（2）：368-380

[11] WangM，El-Fiqi H，Hu JK，et al.Convolutional neural networks using dynamic functional connectivity for EEGbased person identification in diverse human states[J]. IEEE Transactions on Information Forensics and Securi

[12]Song TF，Zheng W M，Song P，et al.EEG emotion recognition using dynamical graph convolutional neural networks[J].IEEE Transactions on Affective Computing， 2020，11（3） ：532-541

[13]LiY，Wang L，Zheng W M，et al.A novel bi-hemispheric discrepancy model for EEG emotion recognition［J]. IEEE Transactions on Cognitive and Developmental Systems，2021，13（2） ：354-367

[14]Sabour S，Frosst N，Hinton G E.Dynamic routing between capsules[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems，2017： 3859-3869

[15]Tripathi S，Acharya S，Sharma R，et al.Using deep and convolutional neural networks for accurate emotion classification on DEAP data[C]//Proceedings of the Thirtyfirst AAAI Conference on Artificial Intelligence，2017： 4746-4752

[16] Chao H，DongL，Liu YL，et al.Emotion recognition from multiband EEG signals using CapsNet[J]. Sensors， 2019，19（9） ：2212

[17] Li C，Wang B，Zhang S L，et al. Emotion recognition from EEG based on multi-task learning with capsule network and attention mechanism[J].Computers in Biology and Medicine，2022，143：105303

[18] YangYL，WuQF，Qiu M，et al.Emotionrecognition from multi-channel EEG through parallel convolutional recurrent neural network[C]//2O18 International Joint Conference on Neural Networks（IJCNN）. July 8-13， 2017，Rio de Janeiro，Brazil. IEEE，2018：1-7

[19]Jasper H H.Report of the commitee on methods of clinical examination in electroencephalography[J].Electroencephalography and Clinical Neurophysiology，1958，10 （2） ：370-375

[20] Miao MM，ZhengLX，XuBG，etal.Amultiplefrequencybands parallel spatial-temporal 3D deep residual learning framework for EEG-based emotion recognition [J].Biomedical Signal Processing and Control，2023， 79 ：104141

[21] Woo S，Park J，LeeJY，et al.CBAM：convolutional block attention module[ C]//European Conference on Computer Vision. Cham：Springer，2018：3-19

[22]Yang K，Tong L，Shu J，et al. High gamma band EEG closely related to emotion：evidence from functional network[J].Frontiers in Human Neuroscience，2020，14：89

[23] WangY，Huang ZY，McCane B，et al. EmotioNet：a 3-D convolutional neural network for EEG-based emotion recognition[C]//2O18 International Joint Conferenceon Neural Networks（IJCNN）. July8-13，2018，Rio de Janeiro，Brazil.IEEE，2018：1-7

[24]Sharma R，Pachori RB，Sircar P.Automated emotion recognition based on higher order statistics and deep learming algorithm[J].Biomedical Signal Processing and Control，2020，58：101867

[25］諶斂，陳蘭嵐，江潤強.集成膠囊網絡的腦電情緒識別 [J].計算機工程與應用，2022，58（8）：175-184 CHEN Qin，CHEN Lanlan，JIANG Runqiang. Emotion recognition of EEG based on ensemble CapsNet[J].

EEG-based emotion recognition using capsule network with hybrid attention mechanism

CHEN Jixin1ZHU Yanping1WAN Fayu1CHEN Cheng1 CHEN Jianan1 ZHANG Mulin1 1 School of Electronics amp; Information Engineering，Nanjing Universityof Information Scienceamp; Technology，Nanjing 21Oo44，China

AbstractTo fully extract the frequency informationand spatial topological information of multi-channel EEG signals，this paper introduces an EEG-based emotion recognition modelutilizing a Capsule Network witha Convolutional Block Atention Module（CBAM-CapsNet）.Firstly，EEG signals from diferent frequencybandsareacquired to extracttheirdiferentialentropy features.Secondly，thesefeaturesare mapped intoathree-dimensional compact featurematrix according tospatial lead distribution.Finally，the three-dimensional feature matrix isprocessd through the proposed CBAM-CapsNet for training and prediction.Experimental results indicate thatthe high frequency band hasa greater impact on emotion recognitionthan the low frequencybands，and theuseoffour-frequency band threedimensional matrix cansignificantly enhance the accuracyof emotionrecognition.Theproposed CBAM-CapsNet achieves binary classification accuracies of 95.42% and 95.52% on the Arousal and Valence dimensions of the DEAP dataset，respectively. It also attains a combined four-class classification accuracy of 95.00% for Arousal_Valence on the DEAP dataset，and a three-class accuracy of 93. 19% on the SEED dataset. Compared to existing mainstream EEG-based emotion recognition models using deep learning，CBAM-CapsNet demonstrates a significant improvement in accuracy.

Key wordsEEG ;emotion recognition;capsule network ;attention mechanism