集成膠囊網絡的腦電情緒識別

諶 鈫，陳蘭嵐，江潤強

華東理工大學 化工過程先進控制和優化技術教育部重點實驗室，上海 200237

情緒是心理與生理共同作用而使機體產生的主觀意識狀態，自Affective Computing首次闡述“情感計算”這一概念后[1]，情緒識別逐漸成為情感計算領域的重要研究方向。目前研究個體情緒識別的方式主要有以下兩種：一種是檢測人的情緒行為如語音識別[2]、面部表情識別[3]和姿態識別[4]，通過外在行為能較容易地識別個體的情緒狀態，但是外在行為可能存在偽裝欺騙性而導致情感識別不準確；另一種是檢測生理信號如呼吸、皮膚電阻、體溫、心律和腦電信號（electroencephalogram，EEG）等，通過生理信號可以獲取人體特定情感喚醒水平的信息，從而識別情感狀態。研究發現中樞神經系統各個皮層下的結構對情緒產生的機制具有關鍵的作用，腦電信號作為中樞神經生理信號，相比情緒行為更具有客觀準確性和不可主觀操縱性，因此近年研究者開始更多地使用腦電信號進行情緒識別。

目前，研究者應用機器學習方法在腦電信號情緒識別領域已取得了較大的進展。例如，文獻[5]基于相關向量機（RVM）稀疏特性設計了復合分類結構（OAAOAO）對EEG進行情緒分類，四分類平均精度達到83.91%；文獻[6]利用核密度估計（kernel density estimation，KDE）提取腦電信號特征，然后將輸入特征通過人工神經網絡（ANN）分類器進行分類，最終喚醒度（Arousal）和效價值（Valence）的二分類精度分別達到83.53%和82.68%；文獻[7]通過多元經驗模式（multivariate empirical mode decomposition，MEMD）進行腦電信號特征提取，然后采用ANN和KNN分類器進行情緒分類，基于效價和喚醒度的識別精度達到了77.55%、82.48%；文獻[8]首先采用ReliefF算法選取對情緒信息敏感的導聯，然后利用SVM對優勢導聯的相應特征進行訓練，最終四分類識別精度達到70.13%。

計算機性能的快速提升為深度學習能夠更深層次地挖掘數據信息奠定了硬件基礎。近年來，利用深度學習算法對腦電數據進行情緒識別研究也逐漸成為熱點，如深度信念網絡（deep belief network，DBN）[9]、循環神經網絡（recurrent neural network，RNN）[10]、卷積神經網絡（convolutional neural network，CNN）[11-12]、長短時記憶網絡（long short-term memory，LSTM）[13]等多種深度神經網絡均在腦電情緒領域取得較好的成果。如文獻[14]使用DBN對EEG信號的微分熵特征進行訓練，二分類情緒識別精度能夠達到86.08%；文獻[15]采用CNN對DEAP數據集的腦電信號提取特征并應用softmax函數進行分類，最終二分類識別精度分別達到75.58%和73.28%；文獻[16]通過CNN提取EEG和GSR的融合特征，采用softmax進行分類預測，最終識別精度達到73.4%；文獻[17]應用棧式自編碼神經網絡（stacked auto-encoder neural network，SAE）和LSTM-RNN的復合算法對包含EEG的多模態特征進行訓練，最終識別精度達到79.26%。

目前大部分基于腦電信號的情緒研究未充分利用好導聯空間信息，一般僅保留了腦電導聯的維度信息，較少涉及到導聯空間位置的具體分布。針對這一問題，本文旨在將腦電導聯的空間分布和時頻域特性有效結合起來，獲取到對情緒影響更為敏感的特征。深度學習相較于淺層機器學習主要的特點在于前者能夠通過訓練數據自動提取特征，替代了傳統依賴人工經驗的特征工程環節。目前CNN是深度學習應用領域中的主流結構之一，并在圖像識別領域上取得突出的成果，但由于CNN采用的池化層操作是以標量的形式存儲特征，無法完整保留特征間的空間關系從而影響識別效果。相較于CNN，膠囊網絡（CapsNet）采用動態路由機制替代池化層結構，在膠囊中以多維向量的形式保留實例化特征，能夠獲取腦電信號中不明顯的情緒特征，使數據特征能夠被完整保留，彌補了CNN在特征提取時忽略細微特征的缺陷。同時，膠囊網絡通過動態路由機制能夠自動更新膠囊間的連接權重，從而識別特征間關系的緊密程度以及挖掘腦電信號頻帶與導聯空間位置的組合式信息。在處理腦電空間信息中已有相關的研究成果，如文獻[18]提出了一種基于三維卷積網絡的腦電情緒識別，將電極的空間位置映射為一個二維矩陣，矩陣中的元素為熵特征，最終在效價和喚醒度上的平均準確率為94.14%和94.44%；文獻[19]提出了一種基于肌電信號空間注意力機制的二維離散特征情緒識別，將空間注意力機制與膠囊網絡相結合，最終能達到84.77%的測試精度。本文提出了一個基于膠囊網絡的情緒識別模型，在此基礎上通過集成學習（ensemble learning，EL）的方法建立集成模型，并與其他分類算法進行比較。

1 情感識別總體框架

本文采用的是包含腦電、眼電、肌電、皮膚電等多種生理信號的DEAP數據集，基于CapsNet構建情緒識別模型，結構設計如圖1所示。

圖1 基于腦電信號的情緒識別模型總體框圖Fig.1 Overall block diagram of EEG-based emotion recognition algorithm

首先對原始腦電信號進行濾波和降采樣的預處理，并采用小波包變換（wavelet packet transform，WPT）對處理過的EEG進行特征提取，然后將不同頻帶的腦電特征拼接構成可供CapsNet模型訓練的多頻帶特征矩陣，并基于不同的頻帶生成多個膠囊網絡模型，最后通過投票法（Voting）和加權平均法（Weighted average）兩種不同的集成學習策略構建集成模型進一步提升識別效果。

2 實驗數據

2.1 DEAP數據集及預處理

DEAP-Dataset[20]是來自Queen Mary University of London所在的研究團隊通過多個被試實驗開發的多模態情緒數據集，包含有情緒維度數據和生理信號數據，情緒維度數據是被測試者根據Arousal、Valence和Dominance三個屬性對120個音樂視頻片段的在線評分，生理信號數據則是32個被測試者觀看40個1 min時長的音樂片段時所觸發40個導聯的信號，其中32個導聯記錄了512 Hz的腦電數據。每個被試采集數據的總時長為63 s，前3 s為baseline信號（未對被試者加任何刺激），后60 s為音頻時長，一般利用baseline信號進行校正以降低個體差異性對情緒識別的影響，具體做法是保留60 s的情感誘發數據并依次減去baseline信號的相關特征值。原始數據的格式為40×32×8 064，40表示總共有40個音樂片段，32表示腦電信號所用的導聯數，每個視頻片段共采集到63×128=8 084個數據點，將原始數據拆分成誘發數據和基線數據，數據格式分別為40×32×7 680和40×32×384，然后將誘發數據的尺寸變換為2 400×32×128，單個被試的樣本總數為2 400。圖2為國際10-20系統，紅色圓圈代表該數據集中腦電數據所使用到的導聯。

圖2 國際10-20系統Fig.2 International 10-20 system

2.2 情緒劃分模型

DEAP數據集的情緒標簽是基于被試者對音樂視頻分別從喚醒度（Arousal）、效價值（Valence）、支配度（Domaince）進行1～9分的評價，其中Arousal表現為情緒狀態的強弱性，值越高表示情緒越強烈；情緒的正負性可以用Valence表示，值越高代表情緒越積極，值越低則表示情緒較為消極。因為V-A維度構成的二維情緒空間模型可以描述情緒的正負性和強弱性，基于這兩個維度生成情緒標簽并分別研究二分類和四分類的情緒識別模型。二分類標簽是分別對單個維度進行情緒類別劃分，將設定為5的分值作為閾值[21]，劃分Low、High兩類，標簽分別為LV（Low Valence）、HV（High Valence）和LA（Low Arousal）、HA（High Arousal），如表1所示為二分類的標簽數量分布。四類情緒是由Valence和Arousal坐標生成的四個象限構成，采用K-means聚類方法將情緒維度數據分為LVLA、LVHA、HVLA、HVHA四種情緒標簽，如圖3所示為通過K-means聚類方法生成的四種情緒分布，其中紅色實心圓點是每個類別中間值，也是各類別的質心。

表1 二分類標簽分布Table 1 Distribution of binary labels

圖3 K-means四分類情緒分布Fig.3 Four categories of emotion distribution K-means clustering

2.3 基于小波包變換的特征提取

特征提取是從腦電信號中獲取與情緒狀態相關信息的有效方式之一，本文采用小波包變換（WPT）將降采樣和過濾后的腦電信號分解成各個頻段，然后將相應頻帶區段的小波系數能量值作為特征。腦電信號屬于非平穩信號，WPT適用于非平穩信號的分解并且能對低頻、高頻區段提取更深層的成分，得到更精細的時頻帶，在生成的小波包分解樹中能準確地看到腦電信號分布在各個頻段的詳細信息。

首先對預處理后的腦電信號進行4級WPT分解，生成16個小波包系數節點，每個節點的帶寬是64/16=4 Hz，其中64 Hz為采樣頻率的1/2，然后采用各個節點的系數值根據式（1）計算出系數能量值作為輸入特征。

其中，pn(j,i)和E(j,i)分別是第j層第i個節點的第n個小波包系數值以及該節點的系數能量值。

圖4以2層的WPT為例展示了小波包分解樹的示意圖，其中L代表樹的深度，通過小波包分解的成分樹選取合適的節點作為輸入特征，表2示出了不同頻帶的腦電信號所對應的樹節點，如Gamma波的頻帶范圍在32～48 Hz，對應樹的節點為A22，表示L=2層的第三個節點。

圖4 小波包變換分解樹Fig.4 Tree of wavelet packet transform decomposition

表2 不同頻帶的小波包分解成分Table 2 Components of different frequency bands in WPT

2.4 多頻帶特征矩陣

腦電信號是由各個相應導聯的電極所采集的電信號構成，因此腦電情緒識別與導聯空間位置具有一定的相關性，將腦電信號所使用的32個導聯按照國際10-20系統的導聯分布位置映射在一個9×9的矩陣中，如圖5所示為導聯空間信息矩陣，其中每個元素的位置代表導聯相應的位置，元素的值是從各個頻帶波抽取的特征值，0代表該導聯未被使用。鑒于腦電信號頻段對情緒狀態的影響性，將小波包提取的4個頻段的特征根據導聯分布的位置拼接構成多頻帶特征矩陣（multiband feature matrix，MFM），如圖6所示，即由Theta、Alpha、Beta、Gamma四個不同頻帶的特征矩陣拼接成18×18的多頻帶特征矩陣，多頻帶矩陣融合了四個關鍵頻帶，不僅包含了各個頻帶的時頻信息而且蘊含了導聯空間信息。

圖5 9×9導聯空間信息矩陣Fig.5 9×9 matrix of channel spatial information

圖6 多頻帶特征矩陣Fig.6 Multiband feature matrix

3 集成膠囊網絡的情緒識別模型

3.1 膠囊網絡的架構

CapsNet是一種與CNN結構相似的新型深度學習模型。CNN主要由卷積層和池化層構成，卷積層是根據局部關聯和空間信息的參數共享提取局部特征，池化層的作用是有對特征進行有效的壓縮，簡化計算復雜度，但池化層也會丟失大量有價值的空間信息。膠囊網絡的主要特點是使用膠囊（多個神經元組成一個基本模塊）代替了神經元，膠囊的矢量性能將細微的特征信息完整保存，并且輸入和輸出是具有等變性（輸入細微的變化會導致輸出也發生改變）。在保證特征完整性以及處理空間信息等方面比CNN更具優勢，同時由于膠囊具有出色的空間特征提取能力，不僅可以對位姿變化（如平移、旋轉、縮放）后的同一對象正確識別，還能從不同角度（如顏色、大小）識別同一物體，因此CapsNet在小規模數據集上也能夠充分挖掘數據的特征信息。

CapsNet是由多個基本單元構成，本文采用的網絡架構總共分為3層，第一層是卷積層，第二層是主膠囊層（Primary Caps），第三層為情緒膠囊層（Emotion Caps），如圖7所示為本文的膠囊網絡模型，表3為各膠囊網絡的結構參數，由于單頻帶輸入數據的格式是9×9，在參數選擇上與多頻帶略有區別。

圖7 膠囊網絡模型結構圖Fig.7 Diagram of CapsNet’s structure

表3 設計的CapsNet結構參數Table 3 Designed structural parameters of each CapsNet

卷積層能夠多層次提取數據的基本特征，為主膠囊層提供局部感知信息。首先從18×18的特征矩陣進行第一次卷積操作，采用了32個步長為1的3×3的filter，得到一個16×16×32的輸出，這一步主要作用是對輸入數據進行局部特征檢測以及抽取腦電信息的低級特征，且采用ReLU函數對結果進行非線性映射以加快模型訓練速度。

主膠囊層作為CapsNet的準備層，不僅接收了卷積層提取到的所有基本特征，同時存儲了腦電數據不同形態的空間特征，并將獲取的特征屬性調整成適用于情緒膠囊層的輸入。該層采用了256個步長為2的3×3×32的filter，得到了一個7×7×256的輸出，將其表示為向量形式，則主膠囊層的格式轉換為7×7×8×32，表示有7×7×32=1 568個膠囊，每個膠囊是一個深度為8的向量存儲了空間形態特征。

情緒膠囊層存儲高級特征的向量，首先將接收到的低層膠囊特征轉換為1 568×4×8×1的張量（Tensor）作為該層輸入，然后將輸入與1 568×4×16×8權重矩陣相乘得到屬性長度為16的輸出膠囊，特征維度的擴展能夠保留更豐富的情緒信息，擴維后格式為1 568×4×16×1。其次將各擴維后的情緒膠囊乘以權值后相加得到總輸入格式為16×4，最后通過softmax函數輸出分類結果。

3.2 囊間動態路由算法

動態路由算法是膠囊網絡的重要機制，其作用是確定低層膠囊向高層膠囊傳播的方向。如圖8所示為膠囊間的信息傳遞與路由過程，從卷積層獲取的低層特征通過動態迭代、權值更新、反向傳播等步驟后，在主膠囊層獲取高層輸出向量v j。

圖8 膠囊間的信息傳遞與路由過程Fig.8 Information transfer between capsules and routing process

將低層膠囊的特征屬性（如長度和方向）封裝成一個預測向量u^j|i，該向量是由第i個卷積層的輸出向量u i與權重矩陣Wij相乘得到，將各個預測向量u^j|i乘以相應權重cij后累加構成高層膠囊的輸入s j，而低層預測向量向高層膠囊的傳送方向則是由權重c調整確定，其數值通過動態路由算法迭代更新，式（2）和式（3）分別是計算預測向量和高層輸入的公式：

其中，cij表示每一個低層膠囊與其相對應的高層膠囊之間的權重，為非負標量，且高層膠囊輸入對應的各個權重cij之和為1。權重cij由動態路由算法中的式（4）所示：

bij是一個臨時變量，設定的初始值為0，在前向傳播求s j的過程中，將W ij設計成隨機值，通過bij初始化值可以求得cij，進而求得下一層膠囊網絡的輸入向量，最后通過壓縮函數生成新的輸出向量v j。

3.3 squash函數

膠囊網絡為了表征當前高層輸入的概率，采用向量形式的新型非線性激活函數對接收到的膠囊進行壓縮處理，與歸一化處理類似，將高層膠囊接收到的輸入向量進行一定比例的縮放，其壓縮后的長度約為1，向量中的每個元素表征某個特定屬性的概率，其公式如下：

式中，s j為第j個膠囊的總輸入，v j為第j個高層膠囊經過squash壓縮后的總輸出。

3.4 膠囊損失評估

本文采用交叉熵損失函數，主要原因有兩個，其一是交叉熵能穩定地將各個情感類別所對應的梯度進行回傳，有效解決了在進行誤差傳播時梯度消失的問題；其二，交叉熵損失函數能夠有效擴大類間差距，從而提升模型的分類能力，并且加入了L2正則化項以降低過擬合的程度，式（7）為本文膠囊網絡所采用的損失函數：

式中，yi為真實值，y^i為通過膠囊網絡模型得到的預測值，等號右側第一項為損失項，第二項‖RF‖2為L2正則化項。

3.5 多頻帶腦電信號的集成模型

集成學習（Ensemble learning）是利用現有的基分類器進行組合以得到更全面的分類模型，能夠使分類結果更加穩定。考慮到腦電頻帶區段的不同會對情緒分類結果有較顯著的影響，本文以不同的腦電頻帶作為情感識別集成模型的基準，將Theta、Alpha、Beta、Gamma波以及多頻帶特征矩陣（MFM）作為訓練數據通過CapsNet分別生成5個膠囊網絡模型，然后分別采用投票策略（Voting）、加權平均策略（Weighted averaging）這兩種集成學習方法得到最終的測試結果，集成模型的整體結構如圖9所示，隨機抽取每個被試者樣本總數中的80%作訓練集，剩余20%為測試集，超參數通過驗證集設定，隨機抽取訓練集中的10%作為驗證集。

圖9 集成膠囊網絡的結構Fig.9 Framework of ensemble model

投票法。統計各基分類器分類結果，并將票數最多的某一類別作為最終的預測值。

加權平均法。將各個基分類器的輸出結果進行加權求和，最終的輸出Y(x)可通過式（8）計算得到：

權重λi為：

式中，ki值代表各個基分類器按照在驗證集上的分類精度所得的排序順序，如i=5,表示該基分類器的分類精度最高；i=1,則精度最低。

4 實驗及結果分析

CapsNet模型在Tensorflow框架下通過Python實現。實驗環境為Inter?CoreTMI5-7400HQ CPU@2.50 GHz，12 GB內存，NVIDIA GeForce GTX940M顯卡，64位Windows10系統。設定每個CapsNet模型最大迭代次數均為800，為了避免訓練時間過長，當損失函數連續10次迭代都沒有發生優化時停止訓練。

4.1 情感識別結果

首先各被試按照設定的規則劃分數據，通過本文提出的方法分別進行二分類和四分類的測試，被試1的測試結果如圖10所示。可以看出不同頻帶的信號對情緒狀態的敏感度不同，例如Gamma波的識別精度達到85.63%，而Theta波的識別精度僅有69.38%，被試1在基于CapsNet訓練多頻帶矩陣時，得到識別精度為91.25%，說明融合了頻帶信息和導聯空間信息的特征能夠提升情緒識別的精度，驗證了文獻加入空間信息能夠提高識別精度的結論[18]。采用投票法和加權平均策略的識別精度分別能達到92.25%和93.13%，加入集成學習對基于多頻帶膠囊網絡的識別精度有進一步的提升。

圖10 各模型的分類混淆矩陣（被試1）Fig.10 Confusion matrix of different classifiers for Subject No.1

表4是16個被試二分類和四分類測試精度的平均值，從該表可以得出，Gamma波相對其他三種波識別精度更高，印證了文獻中提到的高頻波比低頻段對情緒反應更加明顯[22]，并且在四分類情緒識別中高頻段對情緒的作用更加明顯，如基于Gamma波的四分類識別精度可達86.24%。使用MFM進行情緒分類時，相比單個頻帶的識別精度有較明顯的提升，其中使用MFM進行Arousal二分類的測試精度相比Gamma波的二分類測試精度提升了8.08個百分點。此外使用兩種集成學習策略均能進一步提升識別精度。

表4 二分類和四分類的平均精度Table 4 Average accuracy of two and four classifications %

4.2 不同算法的對比

選用一種較常用的非深度學習分類器SVM和一種深度學習分類器2D-CNN與本文方法分別進行二分類和四分類的對比實驗。設定懲罰因子C=2，核函數選用線性核，SVM在驗證集的分類精度較高；CNN參數選用兩個3×3的卷積核，最大池化層尺寸為2×2，并采用隨機梯度下降法（Stochastic Gradient Descent）進行優化，最后Softmax輸出分類結果。圖11～13分別為各個分類器在Arousal、Valence、A-V的個體測試精度。

圖11、12所示，對于二分類的情緒識別，無論是基于Arousal還是Valence，使用CapsNet對多頻帶特征矩陣進行分類測試，識別效果更好且結果更加穩定。四分類的測試精度如圖13所示，SVM分類的效果并不理想，2D-CNN測試結果較為平穩但精度相較二分類略有下降，同時也能驗證CapsNet相比CNN在處理具有導聯空間位置信息的腦電信號上更有優勢。

圖11 Arousal二分類結果對比Fig.11 ComparisonofArousaltwoclassificationresults

圖13 A-V四分類的結果對比Fig.13 ComparisonofA-Vfourclassificationresults

圖12 Valence二分類結果對比Fig.12 ComparisonofValencetwoclassificationresults

因為膠囊網絡結構比CNN和SVM復雜，網絡參數也多，整體計算時間會有所提升。如表5所示膠囊網絡與其他模型的運算成本，包括模型訓練所需時間、測試運行所需時間以及相應精度，其中每種模型的輸入均有單頻帶和多頻帶兩種情況，單頻帶以Gamma為例。從表中可以看出，SVM計算時間成本最少但獲取的精度也最低；膠囊網絡模型相比CNN需要更長的訓練時間，但是同等條件下精度有較為明顯的提升，且測試所需的時間與CNN相比增幅不大；集成膠囊網絡模型精度最高，但時間成本最高，在特別注重識別精度的條件下可以采用這種模型。

表5 各模型運算時間對比Table5 Comparisonoftrainingandtestingtimeofeachmodel

4.3 同類研究的對比

將本文方法與同類研究進行比較，二分類和四分類的對比情況如表6所示。文獻[23]中將近似熵、樣本熵、排列熵進行組合作為特征，利用KNN進行分類，分類精度達到77.8%；文獻[24]中利用了卷積神經網絡和循環神經網絡的方式對DEAP數據進行了情緒分類，整體識別率為73.09%；文獻[25]通過自編碼機制，編碼階段將腦電數據與眼電數據分開建模，解碼階段再組合到一起，最后使用SVM作為分類器，最終二分類測試精度達到82.25%；文獻[26]采用新型動態圖卷積神經網絡（dynamicalgraphconvolutionalneuralnetworks，DGCNN）對腦電信號進行分類，平均分類精度達到90.04%。

表6 同類研究對比Table6 Comparisonofsimilarstudies

文獻[27]提出了一種針對腦電信號在HRI領域中使用的實時情緒估計方法獲取與內在EEG模式相關的有意義的特征，使用高斯過程分類器最終分類的識別精度為91.20%；文獻[28]基于多通道腦電信號的頻帶和空間特性，采用連續小波變換生成時頻域波譜，最后通過GoogleNet模型訓練得到83.59%的識別精度；文獻[29]首先應用WPT將腦電信號分解成一組窄帶時域序列，然后采用希爾伯特-黃變換（HHT）得到窄帶序列的Hilbert能量譜，求出平均瞬時能量作為最終特征，最后利用CNN、RNN、SVM復合模型進行情緒分類，四分類平均識別精度達到86.22%。

5 總結與展望

本文提出了一種基于多頻帶集成的膠囊網絡情緒識別模型。該算法融合了腦電的多頻帶信息和導聯空間位置信息，能夠充分挖掘腦電的時空信息，克服了傳統卷積神經網絡因最大池化導致局部信息缺失的問題，然后借助集成學習的優勢，通過多頻帶特征矩陣生成5個不同膠囊網絡模型的基分類器加以集成，最后二分類平均測試精度可達95.11%，四分類平均測試精度92.43%，并且對比了一些同類研究結果，實驗結果表明本文方法在情緒識別的計算精度上有比較好的結果。本文所設計的集成膠囊網絡模型結構相對復雜，參數較多而導致運算成本偏大，下一步工作是研究利用注意力機制優化導聯，并采用模型遷移的方式降低參數的訓練量以提高學習效率。