基于EEGNet 的腦電情緒分類應(yīng)用研究

顏勇君，龍柏睿，張肖霞，童煉

1.湖南工業(yè)大學(xué)計算機(jī)學(xué)院，湖南 株洲 412007；2.廣東工業(yè)大學(xué)計算機(jī)學(xué)院，廣東 廣州 510006；3.長沙學(xué)院計算機(jī)科學(xué)與工程學(xué)院，湖南 長沙 410022

情緒在我們?nèi)粘Ｉ钪邪缪葜匾慕巧虼嗽诮⑷藱C(jī)情感互動方面，情緒識別變得越來越重要［1］。近年來，腦電波受到了廣泛的研究，因為其可以提供一種簡單、便攜和易于使用的情緒識別解決方案［2］。在腦機(jī)接口（BCI）中，情緒識別是計算機(jī)了解人類狀態(tài)的一項重要任務(wù)［3］。深度學(xué)習(xí)作為一種自動學(xué)習(xí)特征的方法，可以自動在數(shù)據(jù)中提取特征，并對網(wǎng)絡(luò)學(xué)習(xí)到的特征進(jìn)行進(jìn)一步分類或回歸［4］。在情緒識別任務(wù)中，深度學(xué)習(xí)方法包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短時記憶網(wǎng)絡(luò)（LSTM）、門控循環(huán)單元（GRU）等，這些方法不需要人工進(jìn)行特征提取，可以適應(yīng)復(fù)雜的任務(wù)和大量的數(shù)據(jù)［5］。目前，深度學(xué)習(xí)在基于腦電信號的情緒識別領(lǐng)域中展現(xiàn)出了很好的效果［6］。

本研究的貢獻(xiàn)在于驗證了一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)EEGNet 在用于處理腦電信號時具有更好的性能和更少的參數(shù)量。實驗通過情緒識別相關(guān)腦電數(shù)據(jù)集的選取、腦電信號原始數(shù)據(jù)的預(yù)處理、超參數(shù)的優(yōu)化訓(xùn)練、模型的訓(xùn)練等步驟實現(xiàn)了對常用的腦電情緒識別數(shù)據(jù)集SEED 和SEED-IV 的情緒分類，在三分類和四分類的任務(wù)上分別達(dá)到了85.3%和73.3%的準(zhǔn)確率，表明了EEGNet 在處理情緒相關(guān)腦電信號方面的可行性及有效性。

1 數(shù)據(jù)集介紹及預(yù)處理方法

1.1 數(shù)據(jù)集介紹

實驗數(shù)據(jù)集均由上海交通大學(xué)的BCMI 實驗室提供。實驗共計15 名受試者，其中有7 名男性和8 名女性，平均年齡為23 歲。對每個參與者在不同的時間里進(jìn)行了3 次實驗。數(shù)據(jù)集中包含對EEG原始信號降采樣到200Hz，采用0—75Hz 帶通濾波器的預(yù)處理原始腦電數(shù)據(jù)，以及通過人工特征提取所得到的如差分不對稱（DASM）和有理不對稱（RASM）等特征數(shù)據(jù)。上述特征適用于情緒分類的任務(wù)，其中DASM 是指不同腦電信號間的差異，而RASM 是指不同腦電信號間的比率［7］。SEED 數(shù)據(jù)集提供的情緒類別為3 種，分別為積極、中性和消極；SEED-IV 數(shù)據(jù)集提供的情緒類別為4 種，分別為恐懼、悲傷、中性和喜悅。數(shù)據(jù)集相關(guān)概要信息如下表1 所示。

表1 數(shù)據(jù)集概要

1.1.1 SEED 數(shù)據(jù)集

實驗人員在6 部中文電影中選取了15 個電影片段的剪輯作為實驗中的刺激，這些電影片段數(shù)量均等地對應(yīng)上述3 種情緒，每段影片剪輯無特定說明且持續(xù)時間在4 min 左右，經(jīng)過精心編輯，以保持每段剪輯能產(chǎn)生連貫的情感，并最大化情感含義［8］。

每次實驗的過程中，受試者需要將15 個實驗片段全部看完，因此每次實驗均有15 個實驗樣本，受試者在觀看每段影片剪輯前有5 s 的提示時間，觀看完畢后有45 s 的自我評估時間和15 s 的休息時間。通過精心的實驗順序安排，確保了同一情感對應(yīng)的影片不會連續(xù)顯示。

1.1.2 SEED-IV 數(shù)據(jù)集

實驗人員精心選取了72 個電影片段的剪輯作為刺激，將其劃分為3 組，以每組24 個電影片段的方式進(jìn)行了實驗，這些電影片段數(shù)量均等地分別對應(yīng)上述4 種情緒，每段影片無特殊說明且持續(xù)時間為2 min 左右［9］。

每次實驗的過程中，受試者需要將24 個實驗片段全部看完，因此每次實驗均有24 個實驗樣本，受試者在觀看每段影片剪輯前有5 s 的提示時間，觀看完畢后有45 s 的自我評估時間和15 s 的休息時間。通過精心的實驗順序安排，確保了同一情感對應(yīng)的影片不會在實驗中連續(xù)顯示。

1.2 數(shù)據(jù)預(yù)處理

1.2.1 在SEED 數(shù)據(jù)集上的預(yù)處理

在SEED 數(shù)據(jù)集中，經(jīng)預(yù)處理的腦電信號數(shù)據(jù)的采樣率為200Hz，即每秒的采樣點數(shù)為200，受試者所觀看的電影片段長度為3—4 min，故每段影片片段所對應(yīng)采集的腦電信號數(shù)據(jù)樣本的采樣點數(shù)不盡相同。為確保盡可能地保留腦電信號原始數(shù)據(jù)中的時序特征，預(yù)處理時在15 個電影片段對應(yīng)的實驗樣本中，以采樣點數(shù)最少的樣本為基準(zhǔn)，使用數(shù)據(jù)裁剪的方法，對所有樣本的采樣點數(shù)進(jìn)行歸一化處理，最終所得的樣本形狀為（62，37 001）。其中，62 代表的是數(shù)據(jù)采集的刺激實驗中的62 個腦電極，37 001代表的是歸一化處理對象樣本中采樣點數(shù)的最小值。

1.2.2 在SEED-IV 數(shù)據(jù)集上的預(yù)處理

在SEED-IV 數(shù)據(jù)集中，經(jīng)預(yù)處理的腦電信號數(shù)據(jù)的采樣率同樣為200Hz，受試者所觀看的電影片段長度為2—4 min，相比于SEED數(shù)據(jù)集，各影片片段所對應(yīng)采集的腦電信號數(shù)據(jù)樣本的采樣點數(shù)差異更大。為盡可能地保留腦電信號原始數(shù)據(jù)中的時序特征的同時避免破壞數(shù)據(jù)本身的特征，本次實驗沒有使用插值法對腦電信號數(shù)據(jù)進(jìn)行處理，而是在丟棄了部分采樣點數(shù)過少的樣本后對剩余的樣本進(jìn)行了裁剪處理，裁剪方法與處理SEED 數(shù)據(jù)集所使用的方法相一致。經(jīng)歸一化后所得的樣本形狀為（62，30 601）。其中，62 為實驗所使用的腦電極數(shù)，30 601 為歸一化處理對象樣本中采樣點數(shù)的最小值。

2 EEGNet 網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

EEGNet 是一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，可用于基于EEG 的多種腦機(jī)接口范式［10］。EEGNet可在數(shù)據(jù)量非常有限的情況下進(jìn)行訓(xùn)練，并且可以產(chǎn)生神經(jīng)心理學(xué)可解釋的特征。

所謂卷積操作，本質(zhì)是對輸入數(shù)據(jù)進(jìn)行加權(quán)求和，其中的權(quán)重由卷積運算中的卷積核控制，并且在訓(xùn)練過程中，卷積核中的數(shù)值也會通過計算梯度進(jìn)一步進(jìn)行調(diào)整。整個卷積神經(jīng)網(wǎng)絡(luò)可以抽象為如下所示的公式，其中f所代表的是特征圖，M和K分別代表卷積核的深度和大小，w和b代表權(quán)重和偏執(zhí)，σ代表的是激活函數(shù)。其中，上下標(biāo)中的l代表卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)，i和j分別代表行數(shù)和列數(shù)，k和m為數(shù)量序號。

EEGNet 的總體網(wǎng)絡(luò)結(jié)構(gòu)如表2 所示，網(wǎng)絡(luò)中的卷積層均為一維卷積，網(wǎng)絡(luò)結(jié)構(gòu)圖中使用二維卷積僅為便于軟件實現(xiàn)。EEGNet 接受形狀為（C，T）的數(shù)據(jù)輸入，其中C為腦電信號的通道數(shù)，T為腦電信號的采樣點數(shù)，數(shù)據(jù)經(jīng)過升維操作后以（1，C，T）的格式輸入網(wǎng)絡(luò)。

表2 EEGNet 網(wǎng)絡(luò)結(jié)構(gòu)

EEGNet 網(wǎng)絡(luò)中先后使用了深度卷積和可分離卷積對輸入數(shù)據(jù)進(jìn)行卷積操作，如圖1 所示［1］，相比于常規(guī)的卷積操作，由于深度卷積僅在數(shù)據(jù)的各通道內(nèi)進(jìn)行卷積操作，而非對數(shù)據(jù)的每個位置都進(jìn)行卷積，在腦電信號的處理中，這樣的卷積有利于對各通道內(nèi)腦電數(shù)據(jù)時序信息的提取，因此在EEGNet 中深度卷積核又被稱為時序濾波器，其長度在EEGNet 中被定義為F1，是可針對數(shù)據(jù)集中數(shù)據(jù)的采樣率進(jìn)行自定義的超參數(shù)之一。而后續(xù)的可分離卷積則是深度卷積和逐點卷積的結(jié)合，以同樣的方式進(jìn)一步降低模型的參數(shù)量，使EEGNet 成為一個緊湊而輕量化的卷積神經(jīng)網(wǎng)絡(luò)。

圖1 EEGNet 網(wǎng)絡(luò)中的卷積操作

深度卷積（Depth-wise Convolution）是一種逐通道卷積的卷積方式，每個通道僅被一個卷積核進(jìn)行卷積，其卷積核形狀為（S，1，C），其中S為卷積核的長度，1 代表輸入數(shù)據(jù)維度為一維，C表示輸出數(shù)據(jù)被拆分的通道數(shù)，因此經(jīng)過卷積操作后所得到的特征圖（Feature Map）的數(shù)量即為變量C所定義的通道數(shù)，而傳統(tǒng)卷積操作后往往會對特征圖進(jìn)行擴(kuò)展，訓(xùn)練的參數(shù)量也更大。但由于深度卷積僅在每個通道內(nèi)進(jìn)行卷積操作，而忽略了不同通道在空間上的特征信息，因此需要在逐通道卷積操作后進(jìn)行逐點卷積，將所得到的特征圖重新組合生成新的特征圖。

可分離卷積（Separable Convolution）本質(zhì)上是一種逐通道卷積和逐點卷積（Point-wise Convolution）相結(jié)合的卷積方式。其中的逐點卷積的方式與傳統(tǒng)卷積十分相似，其卷積核形狀為（1，1），此時網(wǎng)絡(luò)上一層輸出的每一個特征圖的格式為（1，T//4），其中T為最初輸入數(shù)據(jù)的采樣點數(shù)。因此，逐點卷積對每一個特征圖都進(jìn)行了單獨的卷積操作，經(jīng)過卷積操作后所得到的特征圖的數(shù)量即為卷積核的數(shù)量，該數(shù)值在EEGNet 中被定義為F2，可作為網(wǎng)絡(luò)中的超參數(shù)進(jìn)行修改，本層卷積在深度方向上對其進(jìn)行了加權(quán)組合，進(jìn)而對不同通道間在空間維度上的特征進(jìn)行提取。普通卷積和可分離卷積的區(qū)別如圖2 所示。

圖2 普通卷積和可分離卷積的區(qū)別

在每個卷積層后，EEGNet 使用了批量標(biāo)準(zhǔn)化（Batch Normalization）實現(xiàn)對輸入數(shù)據(jù)的正則化操作，使輸入的數(shù)據(jù)在深度學(xué)習(xí)優(yōu)化過程中的分布相對穩(wěn)定，即網(wǎng)絡(luò)中每一層輸入數(shù)據(jù)的均值和方差都保持在一定范圍內(nèi)，因此下一層網(wǎng)絡(luò)不必不斷去適應(yīng)底層網(wǎng)絡(luò)輸入的變化，從而實現(xiàn)網(wǎng)絡(luò)內(nèi)的層間解耦，允許每一層進(jìn)行獨立學(xué)習(xí)，提高了整個網(wǎng)絡(luò)的學(xué)習(xí)速度，減少權(quán)重較大的特征淹沒權(quán)重較小的特征這一情況的出現(xiàn)，弱化了網(wǎng)絡(luò)模型對內(nèi)部參數(shù)的敏感性，有效提升網(wǎng)絡(luò)模型在特征分布不規(guī)律的數(shù)據(jù)上的收斂效果。

輸入數(shù)據(jù)在經(jīng)過批量標(biāo)準(zhǔn)化過后，將通過ELU（Exponential Linear Unit）激活函數(shù)，為網(wǎng)絡(luò)模型添加更多的非線性元素，使網(wǎng)絡(luò)能在非線性的關(guān)系中也能有更好的擬合效果。相比于其他的線性非飽和函數(shù)，如ReLU 函數(shù)及其變體函數(shù)，ELU 函數(shù)對于所有負(fù)值輸入經(jīng)過激活后都能得到非零的輸出，因此使用ELU 函數(shù)時不存在“神經(jīng)元死亡”的問題，其在提升網(wǎng)絡(luò)擬合能力的同時也有效地避免了梯度爆炸和梯度消失問題的出現(xiàn)。ELU 激活函數(shù)的公式如下：

激活層之后的是池化層（Pooling），池化的目的是對數(shù)據(jù)進(jìn)行降維操作，去除了數(shù)據(jù)中的冗余信息，降低了網(wǎng)絡(luò)中計算的參數(shù)量，能在一定程度上防止過擬合現(xiàn)象的發(fā)生。EEGNet 網(wǎng)絡(luò)中使用了平均池化（Average Pooling）來對數(shù)據(jù)進(jìn)行處理，即對池化核對應(yīng)的數(shù)據(jù)進(jìn)行加權(quán)平均，保留了卷積后數(shù)據(jù)的整體特征。隨后數(shù)據(jù)將通過Dropout 操作訓(xùn)練期間對網(wǎng)絡(luò)中的輸入進(jìn)行隨機(jī)變換，依據(jù)一定的概率將部分神經(jīng)元的輸出值設(shè)置為0，這部分被拋棄的神經(jīng)元將不會參與參數(shù)前向傳播和反向傳播的過程，防止神經(jīng)元之間產(chǎn)生共適應(yīng)，減輕網(wǎng)絡(luò)在訓(xùn)練過程中的過擬合問題，增加了網(wǎng)絡(luò)模型的多樣性和健壯性。

輸入數(shù)據(jù)分別經(jīng)過兩層特殊卷積以及上述處理后將通過全連接層進(jìn)行特征空間變換，數(shù)據(jù)最終被壓縮成模長為輸出維度數(shù)的一維向量，而后該向量將經(jīng)過Softmax 層進(jìn)行激活，將神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行歸一化處理。其中Softmax 激活函數(shù)的公式如下所示：

在該函數(shù)中，分子通過自然指數(shù)函數(shù)將輸入數(shù)據(jù)中實數(shù)映射到0 到正無窮的范圍上，分母則將輸入數(shù)據(jù)中經(jīng)過映射的實數(shù)求和，進(jìn)而使得輸入數(shù)據(jù)被轉(zhuǎn)換為不同情緒類別中的概率分布。

2.2 與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的比較

EEGNet 作為一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)，目前已成功地應(yīng)用于涉及不同類型EEG 信號的多個任務(wù)中，例如P300 視覺誘發(fā)電位、錯誤相關(guān)負(fù)性反應(yīng)（ERN）和運動節(jié)律（SMR）等，在多個腦電相關(guān)的數(shù)據(jù)集上展現(xiàn)出了良好的泛化能力。

得益于深度卷積層的應(yīng)用，EEGNet 在處理數(shù)據(jù)的時序特征上有著更優(yōu)秀的能力，因此，EEGNet對無特征工程的原始腦電數(shù)據(jù)有著出色的分類效果。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在處理原始腦電特征時，往往忽略了腦電信號中的時序信息，而對不同通道在空間維度上的特征更加敏感，因此在包含時序特征的原始腦電數(shù)據(jù)上的分類效果相對較差。

2.3 與機(jī)器學(xué)習(xí)分類方法的比較

針對SEED 數(shù)據(jù)集中經(jīng)人工提取的特征數(shù)據(jù)，如腦電數(shù)據(jù)的微分熵特征，同時嘗試使用支持向量機(jī)（SVM）這一傳統(tǒng)的分類方法對數(shù)據(jù)直接進(jìn)行分類。

支持向量機(jī)（Support Vector Machine，SVM）是一類按監(jiān)督學(xué)習(xí)方式對數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器，該算法的決策邊界是對學(xué)習(xí)樣本進(jìn)行求解所得的最大邊距超平面，進(jìn)而通過該決策邊界進(jìn)行分類。該算法的基本思想是在樣本數(shù)據(jù)的特征空間上找到一個最優(yōu)超平面，使該超平面能夠?qū)⒉煌悇e的樣本分開，并且使不同類別之間的間隔最大。SVM 通常用于二元分類問題，也可以推廣至多元分類的問題，在多元分類的情況下，通常將問題分解為多個二元分類的子問題，再利用SVM 進(jìn)行分類。

但支持向量機(jī)作為傳統(tǒng)的分類方法仍然存在著一些局限性，例如當(dāng)數(shù)據(jù)噪聲較大或?qū)嶒灁?shù)據(jù)分布為非線性的情況時，其分類效果往往不夠理想。傳統(tǒng)機(jī)器學(xué)習(xí)方法需要手動進(jìn)行特征提取和選擇，并對數(shù)據(jù)進(jìn)行歸一化、縮放等處理，這需要領(lǐng)域?qū)I(yè)知識和經(jīng)驗。而EEGNet 使用卷積神經(jīng)網(wǎng)絡(luò)，可以自動提取特征，并且對于不同尺度、頻率的信號具有較好的適應(yīng)性。

2.4 EEGNet 的模型可解釋性

使用EEGNet 進(jìn)行分類任務(wù)時，理解網(wǎng)絡(luò)所學(xué)到的特征對于保證模型的可靠性至關(guān)重要。模型所產(chǎn)生的分類結(jié)果需要確保不是由于數(shù)據(jù)中的噪聲或異常值引起的，而是由相關(guān)特征所驅(qū)動的。

EEGNet 通過在深度卷積網(wǎng)絡(luò)中使用專門的濾波器和一維卷積，可以提取到更有意義和區(qū)分性的特征，因此可以更好地進(jìn)行情緒分類任務(wù)。另外，EEGNet采用的卷積方式較傳統(tǒng)的CNN更加局部化，可以更好地保留信號的空間特征，這樣在處理EEG信號時可以更好地保留空間信息，從而可以更好地識別不同的腦電波形式，有助于提高情緒分類的準(zhǔn)確性。另外，由于EEGNet 采用的是一維卷積，在網(wǎng)絡(luò)的輸入輸出上易于解釋。在輸入方面，EEGNet 中的每個特征通道都可以被視為對應(yīng)于不同電極對應(yīng)采集的腦電信號。在輸出方面，EEGNet 的每個類別都可以被視為對應(yīng)于腦電信號的不同情感狀態(tài)。

2.5 EEGNet 應(yīng)用于情緒識別的可行性

事件相關(guān)電位（ERP）是一種腦電生理學(xué)的測量方法，用于研究特定的感知、認(rèn)知或運動事件對大腦電活動的影響。事件相關(guān)電位是通過將大量的腦電信號進(jìn)行平均來獲得的，以消除隨機(jī)噪聲和增強(qiáng)事件相關(guān)的電位。事件相關(guān)電位可以提供有關(guān)大腦對特定事件的反應(yīng)時間和神經(jīng)機(jī)制的信息。常見的事件相關(guān)電位包括P300、N400 和MMN 等。目前，EEGNet 已經(jīng)在基于事件相關(guān)電位（ERP）的腦電信號數(shù)據(jù)集上得到了較為廣泛的應(yīng)用。

EEGNet 在使用P300 信號的數(shù)據(jù)集上進(jìn)行了被試者間分類（Cross-Subject Classification）的實驗，即利用數(shù)據(jù)集中的一組被試的數(shù)據(jù)來訓(xùn)練EEGNet模型，并在另一個不同的被試組的數(shù)據(jù)集上進(jìn)行分類預(yù)測。該數(shù)據(jù)集是通過對受試者進(jìn)行重復(fù)的“非目標(biāo)性”視覺刺激所收集的基于事件相關(guān)電位的腦電數(shù)據(jù)集，反映了大腦對特定刺激的認(rèn)知和注意的過程。在最終的測試中，EEGNet 的預(yù)訓(xùn)練模型在該數(shù)據(jù)集上的二分類準(zhǔn)確率達(dá)到了90%左右。

上述實驗充分體現(xiàn)了EEGNet 在基于事件相關(guān)電位的腦電信號上出色的泛化能力。事件相關(guān)電位的腦電數(shù)據(jù)是通過刺激和響應(yīng)測量而產(chǎn)生的，而非通過受試者的自由思考和行為表現(xiàn)而獲取，在數(shù)據(jù)收集的過程中，實驗條件和刺激都能得到有效的控制，以獲得可重復(fù)的結(jié)果。同時，事件相關(guān)電位是在刺激后幾毫秒至幾百毫秒內(nèi)形成的，因此具有非常高的時間分辨率，有效地捕捉了腦電活動的快速變化及其時域特征。

在情緒識別領(lǐng)域，事件相關(guān)電位同樣是一種常用的腦電信號測量方法，SEED 和SEED-IV 數(shù)據(jù)集即使用影片片段作為視覺刺激所收集的事件相關(guān)電位的腦電數(shù)據(jù)集，適合用于EEGNet 的訓(xùn)練與測試。

3 實驗內(nèi)容與數(shù)據(jù)分析

3.1 實驗過程及結(jié)果

3.1.1 在SEED 數(shù)據(jù)集上的實驗

針對SEED 數(shù)據(jù)集中經(jīng)特征工程處理后的數(shù)據(jù)，進(jìn)行了支持向量機(jī)（SVM）這一傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法的分類實驗。這部分?jǐn)?shù)據(jù)由15 位受試者經(jīng)3 次實驗得來，共計45 組實驗數(shù)據(jù)，每組實驗數(shù)據(jù)中包含15 個腦電數(shù)據(jù)的特征樣本，其數(shù)據(jù)格式為（62，T），其中T為該數(shù)據(jù)對應(yīng)影片刺激的時長，單位為s。

在支持向量聚類（SVC）中進(jìn)行了基于RBF核函數(shù)的數(shù)據(jù)分類實驗，其基本思想是將輸入空間映射到一個高維的特征空間中，使得在該特征空間中可以更容易地進(jìn)行線性分類。具體來說，RBF 核函數(shù)可以使低維空間中的數(shù)據(jù)映射到無窮維的空間中，從而可以捕捉到更多的數(shù)據(jù)信息。在RBF 核函數(shù)中，每個樣本點都被看作一個基函數(shù)，而它們之間的距離則用高斯函數(shù)進(jìn)行計算。因此樣本點之間的相似性就可以通過它們在高斯函數(shù)下的距離來度量，距離越近的點相似度越高。

同時選取了基于線性動態(tài)系統(tǒng)（LDS）方法得到的微分熵（DE）數(shù)據(jù)。微分熵數(shù)據(jù)是對腦電信號進(jìn)行微分處理后，通過計算微分信號的熵值來描述腦電信號復(fù)雜性和隨機(jī)性的一類數(shù)據(jù)，其計算方式是將微分處理后的信號離散化為若干個狀態(tài)，結(jié)合每個狀態(tài)出現(xiàn)的概率，再通過熵的定義所計算得來。由于微分熵是基于時間序列的熵的概念，其計算充分考慮了信號的變化率和時間間隔，保留了原始數(shù)據(jù)中的時序信息，因此常用于研究腦電信號的時域特征，亦可直接用于腦電信號的分類。

在腦電信號的delta 波段、theta 波段、alpha波段、beta 波段和gamma 波段中，theta 波段（4—8Hz）多出現(xiàn)在輕度睡眠、沉思和冥想狀態(tài)，alpha波段（8—13Hz）多出現(xiàn)在放松、專注和集中狀態(tài)，因此，上述波段對應(yīng)的腦電數(shù)據(jù)與人的情緒相關(guān)度更高。實驗中也將theta 波段和alpha 波段對應(yīng)的特征數(shù)據(jù)作為研究對象開展分類實驗，雖然相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)在處理復(fù)雜數(shù)據(jù)的分類問題上有著更強(qiáng)的表達(dá)能力，但這一分類結(jié)果能為基于深度學(xué)習(xí)方法的情緒分類實驗提供一個可供參考的標(biāo)準(zhǔn)。實驗依據(jù)3∶2 的比例將每組實驗中的15 個數(shù)據(jù)樣本劃分為訓(xùn)練集與測試集，在三分類情況下，theta 腦電波段最終所得的平均分類準(zhǔn)確率為61.7%，如圖3 所示；alpha 腦電波段最終所得的平均分類準(zhǔn)確率為63.4%，如圖4 所示。

圖3 theta 波段特征數(shù)據(jù)在SVM 分類器上的分類準(zhǔn)確率及其平均分類準(zhǔn)確率

圖4 alpha 波段特征數(shù)據(jù)在SVM 分類器上的分類準(zhǔn)確率及其平均分類準(zhǔn)確率

SEED 數(shù)據(jù)集中的原始腦電數(shù)據(jù)同樣對應(yīng)45組實驗數(shù)據(jù)，每組實驗數(shù)據(jù)中包含15 個二維腦電原始數(shù)據(jù)樣本，分別對應(yīng)唯一的標(biāo)簽序列，在時間維度對數(shù)據(jù)進(jìn)行歸一化處理后輸入EEGNet 網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

訓(xùn)練中使用的損失函數(shù)為交叉熵函數(shù)，作為凸函數(shù)，在訓(xùn)練過程中不存在局部最優(yōu)解的問題，故在梯度下降等優(yōu)化算法中可以有效地找到全局最優(yōu)解，交叉熵可用于判斷兩個概率分布之間的差異性大小，在衡量模型分類能力的任務(wù)中有很高的適用性。訓(xùn)練中使用的優(yōu)化器函數(shù)為Adam 優(yōu)化器，相比于傳統(tǒng)的梯度下降法，Adam 優(yōu)化器不需要手動地調(diào)節(jié)學(xué)習(xí)率，而是根據(jù)梯度的一階矩估計（梯度的均值）和二階矩估計（梯度的無中心矩）自適應(yīng)地調(diào)節(jié)每個參數(shù)的學(xué)習(xí)率。訓(xùn)練過程中的學(xué)習(xí)率使用了StepLR 學(xué)習(xí)率調(diào)整機(jī)制進(jìn)行自衰減，每經(jīng)過5 輪學(xué)習(xí)，學(xué)習(xí)率將降低為原來的90%。其中Adam 優(yōu)化器的公式如下所示，θ為EEGNet 中全體參數(shù)構(gòu)成的向量；m為沖量，當(dāng)對模型優(yōu)化參數(shù)時可輔助進(jìn)行方向修正，使參數(shù)優(yōu)化不僅僅依靠梯度，避免了優(yōu)化時陷入鞍點；v-hat為指數(shù)移動均值，根據(jù)梯度計算得來；下標(biāo)t表示當(dāng)前時刻，t-1為上一時刻。

關(guān)于EEGNet 網(wǎng)絡(luò)，其深度卷積層（Depthwise Convolution）中的卷積核，即時序濾波器的長度被設(shè)置為了100。這是因為當(dāng)時序卷積核的長度被設(shè)置為采樣率的一半時，網(wǎng)絡(luò)能有效地提取2Hz及以上的頻率信息［11］，即對低頻信息能更加敏感。在深度可分離卷積層，在參考了EEGNet 原始論文中的建議后，將該層卷積核長度設(shè)置為了16，以達(dá)到更好的分類效果。

實驗根據(jù)7∶2∶1 的比例，以受試者編號為依據(jù)將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，其中訓(xùn)練集和驗證集用于EEGNet 模型的訓(xùn)練，測試集則用于測試預(yù)訓(xùn)練EEGNet 模型的泛化能力及分類表現(xiàn)。經(jīng)訓(xùn)練，最終模型在訓(xùn)練集上的損失降到了0.554，驗證集上的分類準(zhǔn)確率達(dá)到了66.2%。

對此預(yù)訓(xùn)練模型以8 為批量大小在測試集上進(jìn)行了三分類測試，以0、1、2 作為情緒標(biāo)簽分別對應(yīng)了消極、中性和積極的情緒，測試同時也計算了預(yù)訓(xùn)練模型在各批數(shù)據(jù)中的均方誤差、平均絕對誤差、召回率和Macro-F1分?jǐn)?shù)。其中，召回率是指對于某個類別，模型正確識別出該類別的樣本數(shù)量與該類別實際樣本數(shù)量之間的比例，用于衡量模型對各個類別的識別能力。多分類時的Macro-F1分?jǐn)?shù)則是各類別F1分?jǐn)?shù)的平均值，每一類的F1分?jǐn)?shù)是綜合考慮模型在該類別上進(jìn)行預(yù)測的精確率和召回率的調(diào)和平均數(shù)，這一指標(biāo)避免了只關(guān)注精確率和召回率的其中一個而造成的誤差。最終，該預(yù)訓(xùn)練模型在測試集上的平均準(zhǔn)確率達(dá)到了90.0%。

3.1.2 在SEED-IV 數(shù)據(jù)集上的實驗

實驗針對SEED-IV 數(shù)據(jù)集中的原始腦電數(shù)據(jù)對EEGNet 進(jìn)行了訓(xùn)練，該數(shù)據(jù)集同樣是由15 名受試者通過3 次實驗得來，但由于3 次實驗中所使用的刺激不同，因此，其數(shù)據(jù)樣本對應(yīng)的標(biāo)簽序列也有所不同。數(shù)據(jù)在時間維度上進(jìn)行了歸一化處理，以確保數(shù)據(jù)樣本格式的唯一性，而后輸入到EEGNet 中進(jìn)行訓(xùn)練。

實驗中所使用的損失函數(shù)和優(yōu)化器函數(shù)仍然為交叉熵函數(shù)和Adam 優(yōu)化器，學(xué)習(xí)率仍使用StepLR學(xué)習(xí)率調(diào)整機(jī)制進(jìn)行衰減，每經(jīng)過5 輪學(xué)習(xí)，學(xué)習(xí)率將降為原來的90%。同時由于數(shù)據(jù)采樣率為200Hz，EEGNet 中深度卷積層的時序卷積核長度被設(shè)置為100。

由于SEED-IV 數(shù)據(jù)集中的原始腦電數(shù)據(jù)在時間維度上的差異較大，即采樣點數(shù)在數(shù)量分布上的均方差較大，部分?jǐn)?shù)據(jù)樣本的采樣點數(shù)過少，導(dǎo)致在實驗之初對數(shù)據(jù)格式進(jìn)行歸一化處理時，選取的采樣點數(shù)的基準(zhǔn)值較小，使最終輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練的數(shù)據(jù)量及其在時間維度上的特征相對有所減少。經(jīng)多輪訓(xùn)練，EEGNet 模型始終難以收斂到理想的范圍，得到的預(yù)訓(xùn)練模型的泛化能力較差，其在測試集上的準(zhǔn)確率為48.5%，測試集中包含受試者編號為2 和15 的數(shù)據(jù)樣本。

因此，考慮到時間維度上的數(shù)據(jù)特征對EEGNet 模型擬合能力的影響，在實驗過程中通過不斷提高采樣點數(shù)的基準(zhǔn)值進(jìn)行數(shù)據(jù)歸一化處理，并手動過濾了部分采樣點數(shù)過少的數(shù)據(jù)樣本，在5輪訓(xùn)練和測試后，所得預(yù)訓(xùn)練模型的準(zhǔn)確率在相同測試集上的變化趨勢如圖5 所示。

圖5 不同采樣點數(shù)對應(yīng)的EEGNet 預(yù)訓(xùn)練模型在測試集上的準(zhǔn)確率

為兼顧較好的模型擬合效果和充足的訓(xùn)練數(shù)據(jù)量，最終選定了以30 601 作為SEED-IV 數(shù)據(jù)集上采樣點數(shù)歸一化的基準(zhǔn)值。對整體數(shù)據(jù)進(jìn)行歸一化處理后，將數(shù)據(jù)集以7∶2∶1 的比例劃分為訓(xùn)練集、驗證集和測試集。同樣對數(shù)據(jù)集進(jìn)行了多次重新劃分，確保每次劃分所得的測試集中數(shù)據(jù)歸編號不同的受試者所有。經(jīng)訓(xùn)練，模型最終在訓(xùn)練集上的損失降到了0.746，在驗證集上的分類準(zhǔn)確率達(dá)到了58.6%。

與在SEED 數(shù)據(jù)集上的測試實驗類似，以0、1、2、3 作為標(biāo)簽分別對應(yīng)了中性、悲傷、恐懼和喜悅4 種情緒，對此預(yù)訓(xùn)練模型在測試集上以8 為批量大小進(jìn)行四分類測試，同樣地，在測試過程中計算了每一批量數(shù)據(jù)的均方誤差、平均絕對誤差、召回率和Macro-F1分?jǐn)?shù)，用于對模型的泛化能力進(jìn)行更加直觀的考察，通常情況下Macro-F1的值能與模型的泛化能力成正相關(guān)關(guān)系。最終，該預(yù)訓(xùn)練模型在測試集上的準(zhǔn)確率達(dá)到了86.4%。

3.2 實驗總結(jié)與數(shù)據(jù)分析

經(jīng)過在SEED 數(shù)據(jù)集和SEED-IV 數(shù)據(jù)集上的多輪實驗，且每輪實驗都重新打亂并劃分?jǐn)?shù)據(jù)集，得到了如圖6 所示的EEGNet 預(yù)訓(xùn)練模型在不同的測試集上的準(zhǔn)確率。其中，在5 輪實驗中，EEGNet 在SEED 測試集上的三分類平均準(zhǔn)確率達(dá)到了85.3%，在SEED-IV 測試集上的四分類平均準(zhǔn)確率達(dá)到了73.3%。圖中橫軸方向的標(biāo)記即為當(dāng)次訓(xùn)練時所劃分測試集數(shù)據(jù)對應(yīng)的受試者編號。

圖6 EEGNet 預(yù)訓(xùn)練模型在SEED 和SEED-IV 測試集上的準(zhǔn)確率

由以上的實驗結(jié)果可得知，與傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法相比，經(jīng)深度學(xué)習(xí)訓(xùn)練的EEGNet 模型在SEED 數(shù)據(jù)集上有著更好的分類能力。在三分類的SEED 數(shù)據(jù)集上，EEGNet 模型在測試數(shù)據(jù)上也表現(xiàn)出了良好的泛化能力。在四分類的SEED-IV 數(shù)據(jù)集上，限定數(shù)據(jù)樣本的采樣點數(shù)在30 000 以上時，仍有較為可觀的數(shù)據(jù)量參與模型的訓(xùn)練，在此情況下，EEGNet 也能保持較高的分類準(zhǔn)確率，筆者認(rèn)為主要原因還是EEGNet 對輸入數(shù)據(jù)中的時序特征有著較高的敏感度，因此腦電數(shù)據(jù)采樣點的數(shù)量將直接對EEGNet 模型的分類準(zhǔn)確率產(chǎn)生較大的影響。

在保持模型訓(xùn)練的超參數(shù)不變的情況下，隨著數(shù)據(jù)集劃分的不同，實驗所得預(yù)訓(xùn)練模型的在對應(yīng)測試集上的準(zhǔn)確率有所不同，甚至產(chǎn)生了較大的差異，這一現(xiàn)象在四分類的SEED-IV 數(shù)據(jù)集上尤為明顯。針對這一現(xiàn)象，初步認(rèn)為其原因可能為如下三點。

第一，數(shù)據(jù)集中數(shù)據(jù)分布不均，使EEGNet 網(wǎng)絡(luò)在學(xué)習(xí)的過程中難以收斂，模型欠擬合。

第二，部分受試者之間存在著較大的個體差異性，使得模型在其對應(yīng)測試集上的泛化能力較差，預(yù)測準(zhǔn)確率低。

第三，對SEED-IV 數(shù)據(jù)集進(jìn)行預(yù)處理時，由于對大量數(shù)據(jù)進(jìn)行過濾和裁剪，對數(shù)據(jù)集中部分?jǐn)?shù)據(jù)的特征在一定程度上造成了破壞，導(dǎo)致對模型的訓(xùn)練造成影響。

綜上所述，EEGNet 作為適合處理時序信號的緊湊型卷積神經(jīng)網(wǎng)絡(luò)在SEED 和SEED-IV 數(shù)據(jù)集上表現(xiàn)出了良好的分類能力，在數(shù)據(jù)量有限的情況下也表現(xiàn)出了良好的識別能力和健壯性。

本次實驗設(shè)計的方法仍存在一定的局限性，在實驗中所遇到的部分現(xiàn)象仍有待進(jìn)一步設(shè)計實驗進(jìn)行驗證。例如，考慮到受試者之間的差異，僅對實驗數(shù)據(jù)集進(jìn)行受試者間分類（Cross-Subject Classification），而忽略同一受試者自身在不同情緒上的差異性。這需要更改數(shù)據(jù)集的劃分方式，進(jìn)行受試者內(nèi)分類（Within-Subject Classification），開展進(jìn)一步的研究。另外，由于參與本次實驗的SEED 數(shù)據(jù)集和SEED-IV 數(shù)據(jù)集間在數(shù)據(jù)格式上存在一定程度上的差異，因此在訓(xùn)練前對數(shù)據(jù)進(jìn)行預(yù)處理時對實驗變量的控制存在一定的不合理之處。

4 結(jié)論

針對腦電情緒識別任務(wù)，對一種緊湊型的、適用于基于腦電信號的腦機(jī)接口范式的卷積神經(jīng)網(wǎng)絡(luò)EEGNet 模型進(jìn)行了研究。該模型在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了深度卷積和可分離卷積機(jī)制，因此得以更加有效地處理時序信息中的相關(guān)特征。實驗圍繞SEED 數(shù)據(jù)集和SEED-IV 數(shù)據(jù)集中的單模態(tài)腦電數(shù)據(jù)對EEGNet 進(jìn)行了訓(xùn)練和測試，對EEGNet 網(wǎng)絡(luò)模型在基于腦電信號的情緒識別效果方面進(jìn)行了評估。EEGNet 模型在測試過程中體現(xiàn)出了良好的泛化能力，在情緒分類上取得了較高的準(zhǔn)確率。

預(yù)處理后的數(shù)據(jù)均為腦電信號經(jīng)下采樣和去噪后的原始數(shù)據(jù)，未經(jīng)特征工程處理和數(shù)據(jù)增強(qiáng)處理，表明EEGNet 模型在網(wǎng)絡(luò)設(shè)計層面的合理性，通過逐通道卷積和逐點卷積的結(jié)合，能十分有效地從原始數(shù)據(jù)中提取到分類相關(guān)的特征，尤其是EEGNet 對輸入數(shù)據(jù)中的時序特征有著較高的依賴性，實驗結(jié)果充分地體現(xiàn)了這一點，這說明了EEGNet 在實踐過程中有著良好的實用性。另外，對于數(shù)據(jù)量相對較小的數(shù)據(jù)集，EEGNet 網(wǎng)絡(luò)模型同樣能保持較高的分類準(zhǔn)確率，說明其在數(shù)據(jù)量不夠充足時，依然能對實驗數(shù)據(jù)進(jìn)行較好的擬合，在小樣本的腦電信號的分類問題上仍保持較高的健壯性。

作為卷積神經(jīng)網(wǎng)絡(luò)，EEGNet 只能接受定長格式的數(shù)據(jù)輸入，而SEED 數(shù)據(jù)集和SEED-IV 數(shù)據(jù)集中所提供的腦電數(shù)據(jù)在時間維度上的格式并不是固定的，這與數(shù)據(jù)集的采集方式以及所使用的刺激密切相關(guān)。因此，在預(yù)處理數(shù)據(jù)的歸一化過程中，難免對原始數(shù)據(jù)進(jìn)行裁剪，對數(shù)據(jù)的完整性以及數(shù)據(jù)集中不同數(shù)據(jù)間的整體性造成破壞，對模型的訓(xùn)練也將產(chǎn)生一定程度的影響，甚至使得模型在特定的數(shù)據(jù)集上難以收斂。因此，EEGNet 在處理變長序列信息方面仍然有較大的優(yōu)化空間，可適當(dāng)?shù)匾腩愃朴赗NN、LSTM 網(wǎng)絡(luò)等結(jié)構(gòu)的適合處理變長序列的網(wǎng)絡(luò)層對輸入數(shù)據(jù)預(yù)處理后，再進(jìn)一步進(jìn)行卷積操作提取特征，但其實用性還有待設(shè)計實驗進(jìn)行進(jìn)一步的驗證。另外，實驗中所使用的數(shù)據(jù)集均基于事件相關(guān)電位，僅記錄了受試者經(jīng)刺激后的腦電反應(yīng)，但情緒是一個動態(tài)的過程，因此仍存在著一定的局限性。

最后，由于EEGNet 網(wǎng)絡(luò)有著較為出色的穩(wěn)健性，其深度可分離卷積層的設(shè)計減少了它在訓(xùn)練過程中所需的參數(shù)量，使其在計算能力較弱的嵌入式設(shè)備中的應(yīng)用成為可能，而邊緣學(xué)習(xí)是當(dāng)前人工智能領(lǐng)域的熱點之一，EEGNet 網(wǎng)絡(luò)與邊緣設(shè)備的結(jié)合將為基于腦電信號的情緒識別任務(wù)提供更加高效、準(zhǔn)確和便捷的解決方案。