基于mRMR 和BiLSTM 的腦電信號情緒識別

朱以帥， 甘良志， 王 順

（江蘇師范大學(xué) 電氣工程及自動化學(xué)院， 江蘇 徐州 221116）

0 引 言

情感的表達是人類生活的一個重要方面［1］。表情描繪了對事件、人類互動、決策和智能的感知。情緒表達一個人的心理、生理和心理狀態(tài)［2］。 人的情緒狀態(tài)對人的心理健康有重要影響，通過腦電信號，可以識別這些情緒并對其進行分類［3］。 情緒的概念在幾十年前就已經(jīng)形成，但至今還沒有得到心理學(xué)家認可的標(biāo)準(zhǔn)思想。 研究者將情緒的分類描述為兩種方法：

（1）情緒分成離散的類別；

（2）使用多個維度來識別情緒［4］。 根據(jù)喚醒和效價狀態(tài)導(dǎo)出的量表可以對情緒進行多維分類［5］。喚醒維度從未喚起到興奮狀態(tài)，而效價維度則表現(xiàn)為積極情緒或消極情緒。

腦電信號是一組包含冗余信息的離散時間序列，特征提取的目的是消除冗余，提取最能反映腦電信號本質(zhì)的特征［6］。 近年來，隨著特征提取方法的發(fā)展與完善，單一的特征提取方法已經(jīng)不能滿足目前的研究需要，研究者們開始提出一些基于組合策略的特征提取方法，如將時頻分析方法與非線性方法相結(jié)合，實現(xiàn)更好的識別效果。 Duan 等［7］提出微分熵（Differential Entropy，DE）特征對腦電信號進行情緒識別，識別準(zhǔn)確率得到顯著提升；苗敏敏等［8］提出一種新的自適應(yīng)優(yōu)化空頻微分熵特征，通過稀疏回歸算法對多重局部空間-頻域內(nèi)的微分熵特征進行優(yōu)化選擇；Zhong 等［9］提出用滑動平均技術(shù)來平滑短期波動，突出長期趨勢或周期，利用Gamma頻段進行情緒識別。

上述的熵特征值只對小樣本效果顯著，且需要一個匹配的模板，常規(guī)微分熵雖然對情緒有較好識別，但其在不同腦電信號頻段中特征不同，且在不同通道電極間特征數(shù)不同。 針對以上問題，本文提出了一種基于最小冗余最大相關(guān)的多頻段腦電信號特征提取方法，針對腦電信號在不同通道電極間特征數(shù)不同，利用最小冗余最大相關(guān)性算法自適應(yīng)選取空點通道集，根據(jù)空間導(dǎo)聯(lián)電極與特征頻段分布不同，選擇與情緒特性關(guān)聯(lián)較大的空間電極并提出多頻段融合算法，對提取微分熵特征進行優(yōu)化；通過提取不同頻段的腦電信號特征，更好的保留具有區(qū)分度的關(guān)鍵信息，可以有效提高情感腦電識別的精度。

1 特征提取與模型設(shè)計

1.1 微分熵特征

微分熵（Differential Entropy，DE）是香農(nóng)信息熵在連續(xù)變量上的推廣形式，式（1）：

其中，p（x） 為連續(xù)腦電信號的概率密度函數(shù)。

[a，b] 為腦電信號的數(shù)據(jù)區(qū)間。 對于任意長度的一段近似服從高斯分布N（μ，σ2i） 的腦電信號，利用FFT 切片分段后其微分熵如式（2）所示：

由式（2）可知，對于常規(guī)腦電信號的微分熵，只需要分析σ2就可以得到其微分熵特征，常規(guī)正態(tài)分布N（μ，σ2i） 的方差計算如式（3）所示：

通常定義離散信號的頻譜能量p，式（4）：

由式（4）可知在不同頻段腦電信號的方差為該頻段上平均能量值的數(shù)倍，即由此可以得出對于某一頻段微分熵特征，如式（5）所示：

由式（5）可知，在頻譜能量計算中i一定的情況下，腦電信號在不同頻段上微分熵為該頻段平均能量值數(shù)倍，此時利用微分熵特征可以有效減小在特征提取計算時產(chǎn)生的誤差，從而提高特征提取的精度。

1.2 通道特征提取

空間導(dǎo)聯(lián)電極腦電信號包含情緒特征數(shù)目具有明顯差異，不同信號頻段情緒特征也不相同，本文自適應(yīng)選取18 個空間電極導(dǎo)聯(lián)處的腦電信號進行分析處理。

結(jié)合自適應(yīng)選取的腦電通道，將腦電信號分解至theta、alpha、beta 、gamma 4 個頻段，分別對每一個頻段內(nèi)的信號，進行微分熵特征提取。

最小冗余最大相關(guān)性（mRMR）是一種濾波式的特征選擇方法，最大化特征與分類變量之間的相關(guān)度，可以有效對空間導(dǎo)聯(lián)電極間進行互信息交換，尋找有利于情緒識別相關(guān)通道電極。 為了提高空間導(dǎo)聯(lián)電極相關(guān)性對于情緒識別的準(zhǔn)確性，本文基于mRMR 對腦電信號通道相關(guān)性進行優(yōu)化。

mRMR 方法的通道集合的相關(guān)性由情緒特征與通道電極間的信息增益均值計算得出。 結(jié)合不同通道間的特征數(shù)量，利用通道電極間的互信息量，求取不同通道間的特征冗余。 互信息量為式（6）：

其中，x，y為隨機數(shù)，p（x）、p（y）、p（x，y） 為概率密度函數(shù)。

本文用增量搜索方法尋找最優(yōu)的通道特征集合。 根據(jù)已有通道集Sm-1，從剩下的特征X - Sm-1中找到第m個特征，使用mRMR 進行通道特征選擇后，會得到一個重要性排名。

最終結(jié)合交叉驗證來選擇結(jié)果性能最好的通道集，根據(jù)排名對特征子集從高優(yōu)先級至低優(yōu)先級逐次交叉驗證測試，選擇結(jié)果最好的一組通道集合。通道特征優(yōu)化條件為式（7）：

根據(jù)mRMR 選取通道集后，利用多頻段融合進行特征提取，多頻段融合為4-8 Hz、9-14 Hz、14-24 Hz、25-31 Hz、32-45 Hz，由于beta 頻段產(chǎn)生本文將其分解為high-beta（25-31Hz）和low-beta（14-24Hz）兩部分進行特征提取，可以有效去除特征中冗余信息，提升分類準(zhǔn)確性。

本文采用DEAP 數(shù)據(jù)集32 腦電通道以及由mRMR 選取用于情緒識別18 通道集合，如圖1 所示。

圖1 腦電通道地形圖Fig.1 Topographic map of EEG channel

1.3 模型設(shè)計與分析

針對腦電信號特征在時間序列上的特殊性，使用LSTM 可以避免特征丟失等情況發(fā)生，可以有效對腦電信號的時間序列上的特征信息進行傳遞分析。

本文采用具有BiLSTM 層的LSTM 模型進行特征訓(xùn)練，利用正向和反向LSTM 的輸出結(jié)合以提供給后續(xù)的網(wǎng)絡(luò)模塊作為輸入；結(jié)合一個雙向循環(huán)的LSTM 模型，利用過去的和未來的輸入特征；結(jié)合本文特征提取算法進行情緒識別，有效提高識別精確度。

含有雙向循環(huán)的LSTM 層可以通過正向和逆向?qū)斎胄蛄羞M行特征提取，并將兩個輸出向量進行拼接作為該特征的最終向量表達。 利用BiLSTM 對輸入熵特征進行訓(xùn)練，使訓(xùn)練速度更快、訓(xùn)練效果更好。

BiLSTM 中兩個LSTM 網(wǎng)絡(luò)單元是相互獨立的，可以讓模型運行更加穩(wěn)定。 BiLSTM 模型基本結(jié)構(gòu)如圖2 所示。

圖2 BiLSTM 模型基本結(jié)構(gòu)Fig.2 Basic Structure of BiLSTM model

在第一層Dense 層之后應(yīng)用一個ReLU 激活函數(shù)，將函數(shù)的非線性和稀疏性加入LSTM 網(wǎng)絡(luò)訓(xùn)練中，從而得到更加精確的結(jié)果。 ReLU 定義如式（8）所示：

本文中情緒分類采用激活函數(shù)為Softmax，是常見的歸一化函數(shù)，與交叉熵損失函數(shù)一起使用，可以達到很好的分類效果。 因此在最后的1 個Dense 層使用Softmax 函數(shù)，其定義如式（9）所示。

本文提出的情緒識別BiLSTM 模型體系結(jié)構(gòu)如圖3 所示，用于特征分類的結(jié)構(gòu)包括1 個BiLSTM層、4 個LSTM 層和2 個Dense 層。 合理設(shè)置參數(shù)可以達到更好的使用效果，其基本設(shè)置見表1。

表1 LSTM 層基本設(shè)置Tab.1 Basic settings of LSTM layer

圖3 情緒識別模型基本結(jié)構(gòu)Fig.3 Basic structure of emotion recognition model

對于4 層LSTM 層每層Dropout 設(shè)置為0.5，選擇控制輸入線性變換的神經(jīng)元斷開比例，在訓(xùn)練過程中可以有效避免過擬合情況產(chǎn)生。

4 層LSTM 層神經(jīng)元個數(shù)units 分別設(shè)置為128、64、64、32，合理遞減每層神經(jīng)元個數(shù)，可以充分對輸入特征進行降維，最終利用Dense 層進行分類。

2 實驗數(shù)據(jù)預(yù)處理

DEAP（Database for Emotion Analysis using Physi-ological Signals） 數(shù)據(jù)集包含32 組腦電數(shù)據(jù)，由16名男性數(shù)據(jù)和16 名女性數(shù)據(jù)構(gòu)成，保證進行數(shù)據(jù)采集過程中每人身體狀況都處在健康狀態(tài)［10］。 利用32 個傳感器在每個人不同腦區(qū)進行信號采集，腦電信號采集過程中，讓每位實驗者分別觀看時間為60 s的40 段不同視頻，針對去除眼電信號等干擾，并將原始數(shù)據(jù)降采樣至128 Hz。

研究表明，腦電的主要頻段delta （1-3 Hz）、theta（4-7 Hz）、alpha （8-12 Hz）、beta（13-30 Hz）和gamma（31-45 Hz）等5 個節(jié)律與人的生理活動有著密切的聯(lián)系，并發(fā)現(xiàn)在不同頻帶內(nèi)包含不同比例的情緒特征［11］。

本文利用快速傅里葉變換（Fast Fourier Transform， FFT）對原始腦電信號進行預(yù)處理及切片操作，分頻段進行腦電信號分析和特征提取。

DEAP 數(shù)據(jù)集中，每個通道的腦電信號都由40種不同情緒腦電信號組合而成，為防止在特征提取過程中產(chǎn)出過度的特征冗余，對腦電信號進行數(shù)據(jù)切片。 如圖4 所示腦電信號單通道數(shù)據(jù)構(gòu)成為1*40*8 064（40 min 數(shù)據(jù)）個數(shù)據(jù)點，首先將其分解成40 個1*8 064 的數(shù)據(jù)段，針對每段信號前3 s 都會有靜默階段，剔除掉前3 s（384 個數(shù)據(jù)點）的基線信號，將剩余60 s 腦電信號切片分為30 個2 s（256 個數(shù)據(jù)點）的信號進行FFT，將其分解為theta、alpha、beta 和gamma 這4 個頻段上的頻域信號，可以達到最好的特征提取效果。

圖4 FFT 數(shù)據(jù)切片流程Fig.4 FFT data slicing process

3 實驗與分析

實驗進行多次分類驗證并計算分類均值用來評估情緒分類過程中采用不同頻段特征對分類準(zhǔn)確率的影響，分別對Arousal 和Valence 兩種特征進行分類驗證，不通頻段特征分類準(zhǔn)確率見表2 和表3。

表2 不同頻段特征分類準(zhǔn)確率對比（Arousal）Tab.2 Comparison of feature classification accuracy in different frequency bands （Arousal）

表3 不同頻段特征分類準(zhǔn)確率對比（Valence）Tab.3 Comparison of feature classification accuracy in different frequency bands （Valence）

特征提取均采用設(shè)定的18 導(dǎo)聯(lián)集合，分析了beta、gamma 和多頻段融合共3 個頻段，其中多頻段融合為4-8 Hz、9-14 Hz、14-24 Hz、25-31 Hz、32-45 Hz。 從表2 和表3 可知，多頻段融合后利用mRMR 改進的熵特征分類效果優(yōu)于常規(guī)beta 頻段和gamma 頻段特征，使用BiLSTM 網(wǎng)絡(luò)模型，利用多頻段特征融合后分類正確率也遠高于單頻段的特征分類。

與常規(guī)32 通道導(dǎo)聯(lián)的識別方法進行對比，本文選取與情緒相關(guān)性較大的18 通道導(dǎo)聯(lián)集合在特征提取及情緒分類方面有更高的準(zhǔn)確率。

為了全方位評估本文提出算法，將本文提出mRMR 通道特征選取算法與常見微分熵特征和差分不對稱熵特征算法進行對比實驗，結(jié)果見表4，可見本文引入的BiLSTM 網(wǎng)絡(luò)模型結(jié)構(gòu)，對比常見算法在情緒識別準(zhǔn)確率方面有了明顯提升。

表4 算法分類準(zhǔn)確率對比（Arousal）Tab.4 Comparison of algorithm classification accuracy （Arousal）

4 結(jié)束語

針對現(xiàn)有情感腦電特征提取算法存在特征冗余及對相關(guān)通道電極特征分類不明確的情況，本文提出了基于mRMR 優(yōu)化通道的熵特征提取并用于情緒分類，同時根據(jù)空間導(dǎo)聯(lián)重要性進行通道電極選擇。 本 文 使 用DEAP 數(shù) 據(jù) 集， 針 對Arousal 和Valence 兩種不同情緒模式進行分析研究，實驗結(jié)果表明本文采用的基于mRMR 消除冗余改進微分熵特征在Arousal 和Valence 兩種情緒模式下達到了96.23%和93.16%的識別準(zhǔn)確率，高于單個頻段的識別準(zhǔn)確率。 此外，本文在常規(guī)LSTM 網(wǎng)絡(luò)中引入BiLSTM 層，輸入情緒特征訓(xùn)練速度更快、更加穩(wěn)定。未來可以聯(lián)合腦電通道間影響進行時-空-頻域融合算法研究，進一步提高分類準(zhǔn)確率。