基于3DC-BGRU的腦電情感識別

胡章芳，劉鵬飛，蔣 勤，羅 飛，王明麗

1.重慶郵電大學 光電工程學院，重慶 400065

2.重慶郵電大學 計算機科學與技術學院，重慶 400065

1 引言

情感計算在醫學領域、教育領域、道路安全領域都有著非常重要的作用[1-3]。當前情感識別主要圍繞人臉表情、語音、手勢等非生理信號進行。而基于腦電信號（Electroencephalogram，EEG）這種生理信號的情感識別由于能夠避免情感的偽裝性以及主觀性，能更好地評價人的情感狀態，正逐漸成為情緒識別領域的研究重點[4]。

傳統的基于腦電信號模式識別是將特征提取和特征分類分開進行的。常用的特征提取方法主要是基于時域、頻域、時頻域和空域特征?；跁r域的特征主要有能量特征[5]和幅值特征[6]；基于頻域的特征主要有功率譜密度（Power Spectral Density，PSD）[7]和自回歸系數（Auto Regressive，AR）[8]；基于時頻域的特征提取方法主要有小波變換（Wavelet Transform，WT）[9]、小波包變換（Wavelet Packet Transform，WPT）[10]和經驗模態分解（Empirical Mode Decomposition，EMD）[11]；基于空域特征的提取方法主要是共空間模式（Common Spatial Patterns，CSP）[12]。此外，也有學者對非線性動力學特征進行了研究，孫穎等[13]將非線性全局特征和譜特征融合對腦電情感識別，提高了分類準確率。但是，以上這些傳統的特征提取方法都是根據經驗設計的手動特征提取方法，易造成特征遺失，不能保證特征質量，且計算復雜。傳統的特征分類方法有支持向量機（Support Vector Machine，SVM）[14]、K最近鄰（K-Nearest Neighbor，KNN）[15]和隱馬爾可夫模型（Hidden Markov Model，HMM）[16]，這些算法比較依賴于特征質量，且自適應能力不強。因此，設計一種腦電特征的自動提取和分類模型是提高腦電信號識別率的關鍵。

深度學習是在神經網絡的基礎上提出的一種機器學習模型，能將底層特征組合為更加抽象的高層特征，以發現數據的分布式特征表示[17]，能夠對輸入高維數據進行特征自動提取和分類，因此，比較適合對腦電信號進行分析。Zheng 等[18]用深度信念網絡（Deep Belief Network，DBN）代替傳統的分類器對腦電情感進行分類，識別率達到了86.08%，但是隨著訓練參數的增加，DBN 訓練變得困難，分類效果變差。隨后Li 等[19]采用卷積神經網絡（Convolutional Neural Networks，CNN）作為分類器對腦電情感進行分類，相比于DBN而言，平均識別率提高了1.12%。但是文獻[18-19]都是將微分熵（Differential Entropy，DE）作為特征，未能很好地利用腦電信號的特征。此后，Moon 等[20]將原始腦電信號直接輸入CNN 模型進行情緒識別。Zhang 等[21]設計了多層2DCNN結構對腦電信號的時頻域信息進行特征提取和分類。這兩種CNN模型雖然都達到了不錯的分類效果，但是都沒有考慮到腦電信號各個通道之間的空間特征。另外，研究發現，長短時記憶（Long Short Term Memory，LSTM）、門控循環單元（Gated Recurrent Unit，GRU）等循環神經網絡（Recurrent Neural Network，RNN）能很好地處理序列信息，學習序列的動態信息。Wang 等[22]采用LSTM 對腦電特征進行提取和分類，證實了此方法良好的分類性能。Roy 等[23]將GRU 應用到癲癇檢測中，得到了很好的分類效果，并且實驗結果表明，GRU 在處理腦電信號這種小樣本數據時優于LSTM。進一步研究發現CNN 提取的深層空間特征是一種序列形式，直接進行分類會給分類器的學習帶來困難，而GRU能很好地處理序列信息，學習到特征序列的動態信息，卻忽略了信號的空間特征，并且雙向門控循環單元（Bidirectional Gated Recurrent Unit，BGRU）的性能優于GRU。

結合上面的分析，本文提出了一種基于3DC-BGRU的腦電特征自動提取及情感識別方法。首先采用短時傅里葉變換（Short Time Fourier Transform，STFT）對腦電信號進行處理，將多通道腦電信號構建為一種全新的時間-頻率-通道的三維數據形式，然后引入三維卷積核，設計了一種新穎的卷積神經網絡來提取三維數據的深層特征，最后在卷積神經網絡之后設計了BGRU對深層特征序列信息進行處理并配合Softmax進行分類。相比于傳統的腦電識別，該算法可以自動提取腦電特征，確保了特征質量，且自適應能力強；相比于當前先進的深度學習算法，該算法用時間-頻率-通道的三維信息取代原來的一維或者二維信息的輸入，避免了特征信息的遺漏，并且BGRU 能夠學習深層特征的動態信息，從而提高識別的準確性。

2 基于3DC-BGRU的腦電情感識別

腦電信號由多通道采集設備獲得，具有多通道特點，每個通道的輸出信號又具有豐富的時頻信息，如何充分利用這些信息是提高識別率的關鍵。本文充分考慮腦電信號的時頻信息以及各個通道之間的空間信息，提出了一種基于3DC-BGRU 的腦電情感識別方法，其模型框架如圖1所示。該模型主要包括3個模塊，即：信號預處理模塊、3DCNN模塊和BGRU模塊。

圖1 3DC-BGRU框架

信號預處理模塊：其主要作用是對腦電信號進行變換，將輸入的腦電信號轉化成一種全新的三維數據類型，作為下一個模塊的輸入。

3DCNN模塊：本文引入三維卷積核，設計了一種新穎的多層卷積神經網絡模型，其主要作用是對輸入的數據進行深層特征提取。

BGRU模塊：該模塊的作用是對上一個模塊提取的深層特征序列進行處理，對上下文信息進行學習，并配合Softmax進行分類。

2.1 信號預處理模塊的設計與構建

信號預處理模塊是結合腦電信號豐富的時頻性以及多通道的特點，將多通道腦電信號轉換成一種全新的三維數據形式。首先，采用STFT 將每一個道的腦電信號轉化成時頻圖，如圖2所示。本文設置漢明窗的大小為128，步長為20，FFT 點數為256，采樣率與本文所用數據集的采樣率保持一致為200 Hz。經過STFT，得到了大小為129×34 的時頻圖，其中129 和34 分別表示沿頻率軸和時間軸上的樣本數。

圖2 單通道時頻圖

文獻[18]表明與情感狀態相關的腦電信號主要分布在 beta（14～30 Hz）頻段和 gamma（31～50 Hz）頻段。進一步從每一個通道的時頻圖中提取出14～50 Hz頻段所組成的二維時頻圖，這兩個頻段的時頻圖大小為48×34，如圖3所示。

圖3 14～50 Hz頻段時頻圖

考慮到腦電信號是多通道腦電采集設備獲得，進一步將腦電信號按照時間、頻率和通道的形式處理成一種全新的三維數據形式，如圖4 所示。因此，經過預處理得到的數據形式為48×34×C，其中48×34表示單通道時頻圖的大小，C代表腦電通道數，本文中C=62。

圖4 時間-頻率-通道三維數據形式

2.2 3DCNN模塊的設計與構建

CNN能很好地處理腦電信號這種非線性非穩定性的高維數據，CNN一般有卷積層和池化層組成，卷積層的作用是對輸入的數據進行卷積操作，通過卷積計算，原始數據的特征得到增強。池化層對來自卷積層的特征圖進行壓縮處理，降低特征維度，使網絡計算復雜度降低。

本文沒有采用傳統的CNN 直接將腦電信號作為CNN的輸入進行一維或者二維卷積，而是將時間-頻率-通道三維數據作為本文CNN 模型的輸入，并引入三維卷積核，設計了一種新穎的3DCNN模型，對腦電信號的深層特征進行充分提取。本文的3DCNN模型包括8個卷積層，2個池化層和8個批規范化（Batch Normalization，BN）層。卷積核的個數采用逐漸增加的方式，這樣設計是為了盡可能避免高層特征的丟失。本文設計的3DCNN模型結構如圖5所示。

圖5 3DCNN模型框架圖

圖5中，前2個卷積層，每個卷積層均設置了大小為3×3×3的3維卷積核，可以對腦電信號時間、頻率和通道上進行卷積，提取深層特征。前2個卷積層的卷積核個數設置為16 個，第3 和第4 個卷積核個數設置為32 個。其中前3 個卷積層的步長設置為1×1×1，第4 個步長設置為1×1×2。并且每一個卷積層后面都加入了BN 層，對數據分布做規范化處理，使梯度更具有預測性和穩定性，能夠避免梯度消失或者爆炸的問題，同時能夠加快訓練速度。然后，設置了池化層，池化大小設置為2×2×1，步長為2×2×1，這樣設置的目的是只在時間和頻率進行池化，沒有對腦電通道進行池化，避免了在通道上進行下采樣，以便盡可能地保留通道信息。

第5和第6個卷積層設置了64個大小為3×3×5的卷積核，步長設置為1×1×1。第7 和第8 個卷積層分別設置128個大小為3×3×5的卷積核，其中第7個步長為1×1×1，第8卷積層步長為1×1×2。每個卷積層后面同樣設置了BN層。卷積之后再經過池化，這里的池化也只對時間和頻率進行池化，最終輸出腦電信號的深層特征。

2.3 BGRU模塊的設計與構建

經過上述3DCNN模塊得到的腦電信號深層特征是一種序列的形式。因此，需要對這些特征序列進行進一步的處理。RNN 能夠很好地對序列信息進行處理，但是RNN易陷入梯度消失問題，為了解決這個問題，提出了 LSTM[24]和 GRU[25]，而 GRU 相比于 LSTM 而言，能夠處理較小的數據量，計算速度更快，能夠更好地解決梯度消失問題。因此，本文采用GRU 對深層特征序列信息進行處理。GRU的結構如圖6所示。

圖6 門控循環單元

GRU是通過重置門rt和更新門zt對序列信息進行處理，其參數更新公式如式（1）～（4）所示：

式（1）～（4）中的h?t代表t時刻候選激活單元，ht代表t時刻的隱藏單元，σ代表激活函數，W,Wz,Wh,Ur,Uz,Uh代表網絡的權重參數，⊙代表逐元素相乘，tanh(x)代表雙曲線激活函數。

GRU 可以很好地對深層特征序列信息進行處理，但是只能夠學習上文信息，無法兼顧對下文信息學習，為了更好地學習上下文信息，提高識別率，本文設計了BGRU 模塊。BGRU 的基本原理與GRU 相同，通過兩個方向相反的GRU 對輸入數據的序列信息進行處理，實現對上下文信息的學習，再通過正向和反向傳播之后，將這兩個方向的輸出信息進行融合并傳送到下一個隱藏層，克服了GRU 只能對上文信息進行學習的缺點。本文構建的BGRU模塊如圖7所示。

圖7 BGRU模塊

在圖7 中，首先將3DCNN 提取的深層特征經過Reshape層，轉換成適合BGRU輸入的序列形式，然后考慮到整個模型的計算復雜度，設計了兩層BGRU對深層特征序列進行處理，接著設計了全連接層（FC），它起到橋梁作用，連接BGRU和分類器Softmax，實現對腦電信號的最終分類識別。

3 實驗分析

3.1 實驗數據

本文所提出的算法在SEED[18]公開數據集進行驗證（http：//bcmi.sjtu.edu.cn/～seed/seed.html）。SEED數據集是上海交大建立的一個針對腦電情緒識別的數據集，它采集了15位（7名男生和8名女生）健康受試者的腦電信號。每個受試者做3 次實驗，每次實驗間隔一周左右，每次實驗做15 組實驗（積極、消極和中性3 種情緒狀態各做5 組）。實驗過程采用電影片段進行刺激，誘發相應的情緒狀態，這些影片都是經過精心剪輯的，以確保情緒狀態連貫誘發，每個電影片段剪輯的時長約4 min。在觀影的同時，采用62 通道的腦電采集設備對受試者腦電信號進行采集。該數據集的數據由兩部分組成，一部分是去除眼電、肌電偽跡，降采樣為200 Hz的預處理之后的腦電數據；一部分是提取了6 種特征的腦電數據。本文采用SEED數據集中前一部分數據。

為了保證所選用腦電信號的質量，本文對每一次實驗大約4 min 時長的腦電信號進行截取，每次實驗保留30～50 s 的腦電信號數據，這樣既能避免剛開始觀影情緒沒有處于穩定狀態，又能夠避免長時間觀影造成疲勞，對情緒狀態產生影響。為了增加樣本數量，本文采用4 s無重疊時間窗對20 s數據進行分段處理，每4 s代表一個樣本，共計3 375個干凈樣本，3種情緒狀態各有1 125個樣本。

3.2 實驗衡量指標及參數設置

本文探索了情緒狀態的二分類和三分類問題，用平均識別率作為衡量指標，三分類的計算指標如式（5）所示：

式中，TP、TNg和TNu分別代表積極、消極和中性3種情緒的正確識別率，P、Ng和Nu分別代表3種情緒的樣本數。兩分類衡量指標與式（5）相似，不再羅列。

本文選用ReLU做3DCNN的激活函數，采用Adam作為優化器（初始學習率設置為0.01，β1=0.9,β2=0.999,?＝10E-8。全連接層的節點數設置為4 096，分類器的損失函數選用交叉損失函數。

3.3 實驗環境

本文中腦電信號的三維數據轉換在Windows7系統（64 bit）上通過Matlab2016b 軟件實現。深度學習中神經網絡框架訓練和測試采用Caffe；深度學習硬件平臺：Ubantu 16.04（64 bit），內存為 16 GB，GPU 設備為 4 臺GXT1080ti。

3.4 單一模型和組合模型實驗對比

本文提出的模型是將3DCNN 與BGRU 相結合，為了驗證組合模型的使用優于單一模型的使用，以及BGRU 的使用優于GRU，證實本文模型的優越性，另外設計了GRU、3DCNN、3DC-GRU 三種全新模型與本文提出的3DC-BGRU模型進行實驗對比。其中本文所設計的另外三種對比模型的結構如表1所示。

表1 不同模型的結構

表1 中，GRU 輸入為 62 × 800 的腦電序列，62 表示通道數，800 表示4 s 數據的采樣點數。另3DCNN 和3DC-GRU 的輸入與本文提出模型輸入一致，卷積核參數設置也一致，目的是確保實驗更具有可比性。不同模型的識別率如圖8所示。

圖8 單一模型和組合模型對比

由圖8的實驗結果可知，組合模型的識別率高于單一模型，這是因為本文提出的3DC-BGRU 模型不僅能夠提取信號的時-頻-通道三維數據的深層特征，而且能夠學習到這些深層特征序列的動態信息。另外，3DCBGRU 模型的識別率高于3DC-GRU，是因為BGRU 可以對上下文信息進行學習，而GRU 只能對上文信息進行學習。圖8 也表明二分類的識別率高于三分類的識別率，這是因為隨著所分類別的增加，分類器誤判的概率會增加，導致分類效果有所下降。在兩兩分類中發現積極和消極兩種情緒狀態的分類效果最好，其次是積極和中性，然后是中性和消極。因為人在處于積極和消極兩個狀態時，腦電信號有著非常明顯的差別，所以易于區分。而處于消極和中性兩種情緒狀態時腦電信號的差別略低于前者的差別，所以識別率有所下降。

3.5 3DC-BLSTM與3DC-BGRU實驗對比

考慮到GRU型循環神經網絡在處理小樣本時優于LSTM 型循環神經網絡[23]。本文所提出的模型在對3DCNN模塊提取的深度特征序列處理時，采用了BGRU而不是BLSTM。為了驗證本文模型中選用BGRU的優越性，進一步設計了3DC-BLSTM模型與本文提出的模型進行實驗對比。對比實驗3DC-BLSTM 模型與本文所提出的3DC-BGRU的模型結構如表2所示。

表2 3DC-BLSTM與3DC-BGRU模型結構

由表2可知，本文所設計的對比模型與本文提出的模型在輸入和網絡結構上基本相同，在對比實驗模型設計時，將3DC-BGRU 模型中的兩層BGRU 替換成兩層BLSTM，其他參數保持一致，目的是確保實驗更具有可比性。實驗結果如圖9 和圖10 所示。圖9 為兩種模型進行二分類和三分類的識別率對比，圖10 為兩種模型三分類時的迭代次數對比。

圖9 3DC-BLSTM和3DC-BGRU識別率對比

圖10 兩種模型的迭代次數對比

由圖9 可知，3DC-BGRU 模型的識別率略高于3DC-BLSTM 模型的識別率，這是因為本文采用的樣本量較小，GRU在處理小樣本方面的性能優于LSTM。由圖10 可知，對3 種情緒狀態進行三分類實驗，3DC-BGRU模型訓練時，迭代次數為10 000次左右達到最高識別率并逐漸趨于穩定，3DC-BLSM 模型迭代次數為14 000 次左右才達到最高識別率并逐漸趨于穩定。結果表明3DC-BGRU 模型的收斂性更好。這是因為BLSTM 在對深層特征序列進行處理時需要對輸入門、輸出門和遺忘門三個門進行參數更新，而BGRU是對更新門和重置門兩個門進行參數更新。因此，BLSTM 需要學習的參數更多，收斂更慢。

3.6 不同方法的實驗對比

為了驗證本文算法的優越性，將本文算法與DE+DBN[18]、DE+CNN[19]、DE+GRLS[26]、非線性全局特征和譜特征融合+SVM[13]和2DCNN[21]等算法進行實驗對比。幾種方法在SEED 數據集上進行驗證對三種情緒狀態的識別結果如表3 所示，對一組腦電信號進行測試時，幾種方法的耗時如圖11所示。

表3 不同方法識別率

圖11 一組腦電信號測試耗時對比

根據表3和圖11的實驗結果可知，前三種算法由于只采用了DE 作為特征，特征較單一，故識別率偏低，但測試耗時相應較少。非線性全局特征和譜特征進行融合，采用SVM 進行分類相對于幾種單一特征的方法雖然識別率有所提高，但是特征計算復雜，SVM分類器也比較耗時，所以整體算法比較耗時。2DCNN 算法，對時-頻域特征進行自動提取，提取特征較為全面，故識別率得到進一步提升，但是該方法沒有考慮到腦電通道之間的空間特征，并且忽略了深層特征序列的動態信息，故識別率有待提高。本文提出的3DC-BGRU算法不僅充分考慮到腦電信號的時域、頻域和各個通道之間的特征，而且進一步學習到深層特征序列的動態信息，所以識別率最高，達到了91.82%，但是對一組信號的識別耗時較長，因為在進行識別前，本文算法有一個預處理過程，將一維的腦電信號轉化為三維數據。

4 結束語

本文針對腦電信號情感識別率低的問題，提出了一種基于3DC-BGRU 的算法，對單通道腦電信號進行STFT，提取相關頻帶的二維時頻圖，將多個通道二維時頻圖轉成一種全新的三維數據形式。然后創新性地引入三維卷積核，設計了全新的卷積神經網絡對三維腦電數據進行深層特征提取，并通過雙向GRU 對深層特征序列信息進行處理和分類。由表3和圖11可知，本文算法的識別率均高于其他幾種算法，但是，對一組腦電信號進行測試時，本文方法需要110.5 s，較為耗時。此后，將通過選擇最優腦電通道來減少通道數，減少耗時。另外，本文在進行三維數據轉換時，只是將腦電通道按順序進行簡單排列，此后也將進一步研究各個通道之間的關聯性，通過通道重排的方式進行數據轉換，提高識別率。