基于數據增強的運動想象腦電分類

彭禹，宋耀蓮，楊俊

基于數據增強的運動想象腦電分類

彭禹，宋耀蓮*，楊俊

（昆明理工大學 信息工程與自動化學院，昆明 650500）（?通信作者電子郵箱39217149@qq.com）

針對運動想象腦電（MI?EEG）多分類問題，在已有研究的基礎上進行改進，構建了基于深度可分離卷積的輕量級卷積神經網絡（L?Net）和輕量級混合網絡（LH?Net），并在BCI競賽Ⅳ-2a四分類數據集上進行了實驗和分析，結果表明：L?Net比LH?Net可以更快地擬合數據，訓練時間更短；但LH?Net的穩定性比L?Net更好，在測試集上的分類性能具有更好的穩健性，平均準確率和平均Kappa系數比L?Net分別提高了3.6個百分點和4.8個百分點。為了進一步提升模型分類性能，采用了基于時頻域的高斯噪聲添加新方法對訓練樣本進行數據增強（DA），并針對噪聲的強度進行了仿真驗證，推測出了兩種模型的最優噪聲強度的取值范圍。仿真結果表明使用了該數據增強方法后，兩種模型的平均準確率最少提高了4個百分點，四分類效果均得到了明顯提升。

腦電信號；運動想象；深度學習；深度可分離卷積；數據增強

0 引言

腦機接口（Brain?Computer Interface， BCI）在人類大腦和外部設備之間提供了一種新的人機交流模式，通過它可以將人腦中的想法編碼成計算機可以識別的機器指令進一步控制外接設備運作［1］。在不同類型的腦電（ElectroEncephaloGraphy， EEG）信號中，運動想象腦電信號（Motor?Imagery EEG， MI?EEG）［2-3］近年來引起了廣泛的研究，目前研究人員已經使用MI?EEG信號幫助中風和癲癇患者交流［4-5］、控制輪椅和機器人等外部設備，甚至用于阿爾茨海默病等疾病的研究［6］。但是EEG信號由于受采集環境、設備以及受試者的身心狀態的影響，具有高度的非平穩性和信噪比低的特點，增加了EEG分類任務的難度［7］。

1 相關工作

傳統的機器學習方法雖然在EEG分類方面取得了一定的成功，但仍不能達到良好的解碼精度。目前深度學習方法的成功推動了研究人員將其應用于EEG信號分類，深度學習證明了EEG特征自動提取可以達到更好的效果［8］。Lawhern等［9］針對來自不同BCI范式的EEG信號提出了一種緊湊型的模型EEGNet，在目前較常用的四種BCI范式上表現出了良好的性能；Sakhavi等［10］基于濾波器組通用空間模式（Filter Bank Common Spatial Pattern， FBCSP）方法將EEG轉換成一種新的時間包絡表示，并使用卷積神經網絡（Convolutional Neural Network， CNN）進行分類，在BCI競賽Ⅳ數據集2a上平均準確率達到74.46%；Amin等［11］提出了多層CNN融合模型，該模型將多個不同深度的CNN提取到的特征分別通過多層感知器（Multi?Layer Perceptron， MLP）和自編碼器進行特征融合；杜秀麗等［12］提出了一種融合注意力模塊的CNN模型，通過注意力模塊增強重要特征信息、抑制不重要特征的方式有效提升了模型的分類性能，該模型在BCI競賽Ⅳ?2A數據集上平均準確率達到了81.6%。包括以上分類方法在內，目前大多數深度學習的模型都是在EEG的預處理，或者是在模型輸入形式上做了較多的特征處理工作，這很可能導致原始EEG信號中有效信息的丟失［13］，致使網絡模型分類表現欠佳。

針對以上問題，本文參考了EEGNet［9］的特點，構建了兩種不同結構的輕量級網絡：L?Net（Lightweight Convolutional Neural Network）和LH?Net（Lightweight Hybrid Network）；同時提出了基于短時傅里葉變換（Short?Time Fourier Transform， STFT）的高斯噪聲添加方式來擴充數據。為了驗證兩種模型以及基于STFT的數據增強方式的性能，在BCI競賽Ⅳ中2a數據集進行模型訓練、測試和評價。

2 本文方法與原理

2.1　基于深度可分離卷積的分類方法

考慮到數據集規模較小的特點以及硬件設備的限制，本文設計了兩種網絡參數體量較小的輕量級網絡模型，分別為L?Net和LH?Net，二者的具體網絡結構分別如圖1、2所示。在模型的輸入表示上，本文將EEG信號的通道數量作為輸入樣本尺寸的高度，將采樣點的數量作為樣本的寬度。這種將輸入表示為二維矩陣的形式，與將EEG信號轉化成時頻圖片的方式［16］相比，優勢在于能顯著降低輸入的維數。

圖1　L?Net模型結構

圖2　LH?Net模型結構

L?Net根據網絡層的不同功能主要可劃分為三個模塊：

1）時空卷積模塊，對應圖1中的二維的卷積和深度卷積，這兩個子層分別對經過時間裁剪后的EEG信號進行時間域和空間域卷積［9］。二維卷積的卷積核的大小為64×1，輸出特征圖數量為F1即該層卷積核的數量。深度卷積的卷積核大小為1×22，輸出特征圖數量為F2。

2）深度可分離卷積模塊，分別對上一層輸出的所有特征圖按照通道順序做深度卷積，再進行逐點卷積。它將標準卷積操作分成了兩步，不僅減少了通道之間的耦合，還進一步減少了模型的參數量，輸出的特征圖數量仍然與上一層保持一致。

3）分類模塊，由一維卷積層、展平層和全連接層組成。一維卷積的卷積核大小為4，采用因果卷積來提取更加抽象的EEG特征，卷積之后向展平層輸入16個長度為17的特征向量；展平層則將所有向量連接展平為長度為16×17的特征向量，輸入到最后的全連接層，并通過Softmax激活函數輸出分類概率；全連接層共包含了4個神經元，分別代表網絡的4類輸出結果（左手、右手、舌頭和雙腳），該層根據式（1）將輸入的特征向量通過一個權重矩陣進行加權求和。

有大量證據表明，EEG信號是跨多個時間尺度組成的，具有較好的時間分辨率［18］；而且在深度可分離卷積之后，特征圖仍包含了時間信息。因此，為了進一步在更深層次中提取關于EEG更為抽象的時間特征，增強模型的分類效果，本文在L?Net的基礎上，使用圖3（b）所示的殘差塊來堆疊時間卷積網絡（Temporal Convolutional Network， TCN），構建了LH?Net。TCN是Bai等［19］于2018年提出的，且在多個數據集上的表現均比經典的序列模型如長短期記憶（Long Short?Time Memory， LSTM）網絡和門控循環單元（Gated Recurrent Unit， GRU）等更優秀，避免了序列模型經常出現的梯度爆炸、梯度消失等問題。TCN模型的結構特點是它在卷積層使用了因果卷積和膨脹卷積［20］，同時加入了殘差結構。圖3（a）展示的便是TCN的核心模塊，它在卷積后面均添加了歸一化層、非線性層和Dropout層［19］。LH?Net也使用了與TCN殘差塊相同的結構，但是在歸一化層上將權重歸一化換成了批量歸一化，激活函數由修正線性單元（Rectified Linear Unit， ReLU）換成了ELU。LH?Net在TCN模塊之后，將輸出的特征矩陣輸入到網絡的自定義層，并在該層實現了對特征矩陣進行跨通道的特征融合，最后輸入到包含四個輸出單元的全連接層，并通過Softmax激活函數輸出分類結果。

圖3　時間卷積網絡殘差塊

2.2　基于時頻域的數據增強方法

深度學習模型的分類性能非常依賴于參與模型訓練的數據量，尤其在網絡深度不斷增加的情況下，極大概率會出現過度擬合的問題［21］。在圖像處理等領域，解決過擬合的最好方法就是增加訓練樣本的數量，一般會對圖像進行幾何變換或者噪聲添加。如果對EEG信號進行同樣的幾何變換，會破壞數據的時域特征；如果直接在EEG信號中加入噪聲會破壞信號的幅值和相位信息，從而降低分類精度［14］。綜上分析，本文提供了基于STFT的噪聲添加方法來擴充訓練用的樣本數量。同時考慮到EEG信號具有很強的隨機性和非平穩性，隨機加入一些局部噪聲，如泊松噪聲、椒鹽噪聲，會局部改變EEG的有效特征［14］，因此，本文使用了高斯噪聲來進行噪聲添加，具體的算法流程如圖4所示。

圖4　基于時頻域的數據增強算法流程

高斯噪聲是指它的概率密度函數服從高斯分布的一類噪聲。式（8）是關于高斯隨機變量的概率密度函數表達式：

3 實驗數據與設置

3.1　數據集和預處理

本文使用的EEG數據來自BCI競賽Ⅳ-2a數據集，該數據集由奧地利格拉茨工業大學［22］提供。該數據集一共記錄了9名受試者關于左手、右手、雙腳和舌頭四種不同的運動想象任務的EEG腦電信號。每個受試者的數據由兩個部分組成：一部分用于訓練，另一部分用于測試。每個部分都包含了288次實驗，每次實驗持續7.5 s，并根據圖5所示的計時方案來進行記錄。所有數據均是通過分布在頭部的22個Ag/AgCl電極記錄，采樣頻率為250 Hz，并且對采集的信號進行了0.5～100 Hz帶通濾波。

圖5　數據采集計時方案

本文首先對原始的EEG信號進行相關運動想象事件段的提取，從每個試次中提示出現的前0.5 s到3 s的運動想象實驗結束為止。從圖5中來看，即Cue的前0.5 s一直到第6 s運動想象結束，共4.5 s的時間長度。同時本文將提取到的樣本標簽進行獨熱編碼，用一個長度為4的二進制向量來表示四種類別標簽，最后左手、右手、雙腳和舌頭四類標簽分別被編碼為1000、0100、0010和0001。MI?EEG在采集中很容易受到生理性和非生理性的噪聲影響，這些被記錄的噪聲便是偽影。非生理性偽影多數為操作不當引起的，生理性偽影主要由眼部的活動、肌肉活動、呼吸以及汗水等引起。非生理性的偽影可以通過肉眼辨別出，但多數生理性偽影與MI?EEG的有效頻段重合難以剔除，為了盡量減少有效信息的損失，本文未進一步對提取到的數據段進行濾波。

3.2　實驗設置

EEG信號中含多個頻率分量，且漢寧窗對非平穩信號的良好性能，可以防止頻譜泄漏同時消去高頻干擾［23］。因此本文在對EEG信號進行STFT時使用漢寧窗作為窗函數，同時為了獲得較高的頻率分辨率，將時間窗函數的長度設置為256。進行數據增強后，每個類別的訓練樣本量均擴充為原來的兩倍。

圖6展示了某個受試者同一個通道上，關于左手和右手兩個類別的EEG信號在進行數據增強前后的時頻幅值對比。從圖6中可以發現，在時頻域對訓練樣本進行噪聲添加后，很好地保留了信號的時頻特征，同時在局部的特征上有比較明顯的區別，達到了本文數據增強的目的。

圖6　數據增強前后的時頻圖對比

本文對所有受試者分別使用兩種網絡模型進行訓練和測試，將2a數據集中每個被試的訓練子集部分用于訓練，測試子集部分用于測試。在訓練階段，每訓練完一個epoch就將訓練數據的順序打亂，同時為每個epoch設置了批大小（batchsize）。除了少數受試者的批大小設置為32，其余均為64。兩種模型在訓練過程中均采用了最小化交叉熵損失函數，同時使用Adam優化器算法對模型參數進行優化，學習率均設置為0.001。本文所有實驗代碼均使用Python語言編寫，其中在網絡模型的構建和訓練測試部分采用了GPU版的Tensorflow框架。

4 實驗與結果分析

4.1　評價指標

4.2　模型對比

圖7展示了4個受試者（A03、A05、A07、A08）在模型訓練過程中的準確率曲線。L?Net由于網絡的深度比LH?Net淺，因此在第100到200個epoch左右便可以很好地擬合訓練樣本，而在圖（a）～（c）中LH?Net則需要訓練400個epoch左右才能擬合數據，訓練所需的時間是L?Net的兩倍多。雖然L?Net能更快地擬合數據，但是從圖中可以發現，在訓練后期L?Net的準確率出現了較大波動，而LH?Net則并未出現這種情況，訓練期間的準確率一直比較穩定。

圖7　部分受試者的訓練準確率

為了驗證L?Net和LH?Net在運動想象四分類任務上的優勢，本文選取了以下幾個近幾年來在該研究領域中性能表現優秀的深度學習模型進行對比。

1）基于深度可分離卷積構建的EEGNet［9］。它是一種緊湊的卷積神經網絡結構，模型的可訓練參數僅在2 000左右。該模型在目前最先進的BCI范式上表現出了相當高的性能，且具有很好的泛化能力。

2）基于3D卷積的多分支卷積神經網絡（3D Convolutional Neural Network， 3DCNN）［24］。該模型開創性地提出了使用多維陣列來表示EEG信號，并使用3個不同接受視野大小的3D卷積網絡來提取運動想象的相關特征。

3）并行的多尺度濾波器組卷積神經網絡（Multiscale Filter Bank Convolutional Neural Network， MSFBCNN）［25］。該網絡采用多個不同尺度的卷積核來提取EEG的時間特征。

表1展示了本文方法與MSFBCNN、EEGNet、3DCNN在2a數據集上的具體性能表現。從表1中可以發現，深度學習模型在分類性能上遠遠超過傳統的FBCSP，具有更好的泛化能力。其中L?Net與EEGNet、3DCNN、MSFBCNN的平均準確率和平均Kappa系數相較于L?Net的總體性能略高于EEGNet同時略低于3DCNN，與MSFBCNN的分類性能則基本保持在同等水平。雖然在受試者A02、A03、A06和A08上的分類表現不佳，但是在A04和A05上的準確率均達到了71%左右，Kappa系數則到達了61%左右，均高于前二者。由L?Net改進的LH?Net在平均準確率和平均Kappa系數上分別達到了77.83%和70.44%，相較于EEGNet、3DCNN和MSFBCNN平均準確率分別提高了4.4、1.6和2.9個百分點，平均Kappa系數則分別提升了5.9、2.1和3.9個百分點。同時在A03上將準確率提升到91.57%，Kappa系數則提升到88.76%，均優于EEGNet、3DCNN和MSFBCNN。結合圖7的訓練情況和表1的測試結果，可以發現LH?Net雖然在訓練時間效率上不如L?Net，但是在測試集上的表現要更優于L?Net，性能上具有更好的泛化能力。

表1　各方法在測試集上的分類性能比較 單位： %

4.3　數據增強分析

本文針對每個受試者均采用了6種不同強度的噪聲來生成新的訓練樣本，并從區間［0.001， 0.5］取值作為噪聲的強度值。圖8和圖9分別為兩種模型針對數據集中的9名受試者在采用不同噪聲強度的數據增強方法時的分類準確率，圖中的橫軸坐標代表6種噪聲強度的取值，與橫軸平行的散點代表不同受試者（A01～A09）未使用數據增強（a01～a09）時的分類準確率。從圖8中可以明顯發現L?Net在使用6種不同強度的噪聲時，受試者A03、A07、A08的分類精度均比未使用數據增強的分類準確率有了比較明顯的提高。其余的幾個受試者則只有在特定的噪聲強度范圍內準確率才有明顯提高，其中A02、A04、A06的最優強度范圍大致在（0.05，0.001）區間，A05和A09的最優強度范圍大致在（0.01，0.5），而A01只有在區間（0.01，0.1）內準確度才有提升。

圖9顯示，LH?Net在6種不同強度的噪聲下，受試者A01、A02、A04、A05、A06的分類準確率均比未使用數據增強的準確率有了比較明顯的提高，與圖8相比呈現出一種截然不同的情況。與圖8中不同的是，A03、A07、A08、A09的噪聲強度最優范圍均縮小了，其中：A03的最優強度范圍由（0.001， 0.5）縮小到（0.01， 0.5），噪聲強度設置過小，分類準確度卻降低了；A07和A08的最優強度范圍則是由（0.001， 0.5）縮小到（0.001， 0.01），噪聲強度過大反而導致了準確率降低；A09在噪聲強度過大和過小時均會導致準確率降低，只有在強度為0.01時準確率才會有所上升。

圖8　9名受試者在L?Net上不同噪聲強度下的分類準確率

圖9　9名受試者在LH?Net上不同噪聲強度下的分類準確率

綜上所述，由于兩種模型結構之間的差異和不同受試者自身數據的特異性，導致在進行數據增強時噪聲的強度成為影響模型性能的關鍵因素，不同受試者在不同模型上存在不同的最優噪聲強度范圍。為了探索噪聲強度對該數據集總體分類效果的影響，本文在不同噪聲強度下，計算得到9名受試者的平均準確率如圖10所示。

圖10　L?Net和LH?Net在不同噪聲強度下的平均分類準確率

從圖10中可以發現隨著噪聲強度從0.5降低到0.05，兩種模型的平均分類準確率都在逐漸升高。其中對于L?Net模型當噪聲強度降低到為0.05時準確度提升到75%左右，之后隨著噪聲強度的減弱平均分類準確度未有明顯的提升。而LH?Net在噪聲強度降低到0.01時，平均準確率上升到最高（81%左右），之后隨著強度的減弱平均準確率呈現下降的趨勢。由此可初步推斷出兩種模型的最優噪聲強度范圍大致分布在（0.001，0.05）、（0.01，0.05）。

表2展示了傳統的直接對信號樣本進行噪聲添加（Noise Addition， NA）與本文基于時頻域的噪聲添加方法（STFT+NA），兩種不同的數據增強方法在L?Net和LH?Net兩種模型上的分類性能。從表2可以看出，與未進行數據增強之前相比，兩種模型的性能指標均得到了有效提升。其中L?Net和LH?Net在使用傳統的噪聲添加方式時，兩種分類指標均提升了1～2個百分點；而使用基于時頻域的噪聲添加方法后，二者的分類指標比使用傳統的噪聲添加方法提升效果更顯著，兩者的平均準確率分別達到了79.12%和82.67%。相較于未采用數據增強策略得到的性能指標，L?Net在平均準確率和平均Kappa系數分別提升了4.90個百分點和6.55個百分點；而LH?Net則提升了4.84個百分點和6.46個百分點。同時LH?Net在受試者A03和A07上準確率分別達到了95.24%，91.33%，Kappa系數則達到了93.65%，88.44%。

為了進一步比較兩種模型在不同類別上的性能優異，本文在從所有受試者中挑選出最佳噪聲強度下的分類模型，并將所有人的預測結果和測試集的真實標簽分別合并為一個標簽集合來繪制混淆矩陣，同時與未進行數據增強的最優模型進行了對比，如圖11所示。其中圖11（a）、（c）是在沒有使用數據增強的情況下得到的混淆矩陣，圖11（b）、（d）是在使用了數據增強的情況下得到的混淆矩陣。從圖11可以發現，使用數據增強后，LH?Net在四個類別上的準確率均有了非常明顯的提升，每個類別的精度平均增長了4.8個百分點；而L?Net雖然在右手這一類別的準確率降低了些許，但其他三類的準確率均有不錯的提升，尤其在舌頭分類中，準確率由72.6%提升到了83.1%，總體的平均增幅為4.9個百分點。

表2　L?Net和LH?Net使用不同數據增強方法的分類性能比較 單位： %

圖11　L?Net和LH?Net在測試集不同類別上的分類準確率

表3給出了不同模型在相同訓練次數時所耗費的時間。從表3可以發現：在未使用數據增強時，LH?Net總體耗費的時間比L?Net多161 s，每個受試者的平均訓練時間多18 s；在使用數據增強后，由于數據集的樣本變為了原來的兩倍，二者的總體訓練時間和平均訓練時間也增加到了原來的兩倍左右。結合表2的分類性能分析，雖然LH?Net與L?Net相比增加了模型的復雜度，導致訓練時間更長，但是模型的分類效果得到了有效提升，同時增加的訓練時間在一個可接受的范圍。由此可見模型LH?Net的整體效果要優于L?Net，同時本文使用的基于時頻域的數據增強方法在兩種模型上都取得了不錯的表現。

表3　不同模型的訓練時間比較 單位： s

5 結語

本文提出了兩種不同結構的輕量級網絡L?Net和LH?Net，它們在運動想象四分類任務中表現良好，且LH?Net比L?Net具有更好的魯棒性，分類性能更好；同時也說明了基于時頻域的數據增強方法能夠有效提升網絡模型的分類效果。本文基于時頻域的噪聲添加方法與目前使用對抗生成網絡的數據增強方法［16］相比，是一種高效、簡單的數據增強方法。L?Net和LH?Net的優勢在于使用了深度可分離卷積，在大幅減少訓練參數的同時，能保證模型較好的性能表現；而且由于網絡模型規模較小，與3DCNN等大規模的網絡模型相比，硬件部署的場景也會更廣泛。不過這兩個模型在部分受試者上的分類性能表現欠佳，因此我們的下一步工作將從特征選擇和遷移學習兩個方向繼續研究和探索。

[1] LONG J， LI Y， WANG H， et al. A hybrid brain computer interface to control the direction and speed of a simulated or real wheelchair［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2012， 20（5）： 720-729.

[2] ANG K K， CHIN Z Y， WANG C， et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b［J］. Frontiers in Neuroscience， 2012， 6： Article 39.

[3] TONIN L， CARLSON T， LEEB R， et al. Brain?controlled telepresence robot by motor?disabled people［C］// Proceedings of the 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2011： 4227-4230.

[4] ACHARYA U R， SREEr S V， SWAPNA G， et al. Automated EEG analysis of epilepsy： a review［J］. Knowledge?Based Systems， 2013， 45： 147-165.

[5] HOSSAIN M S， AMIN S U， ALSULAIMAN M， et al. Applying deep learning for epilepsy seizure detection and brain mapping visualization［J］. ACM Transactions on Multimedia Computing， Communications， and Applications， 2019， 15（1）： 1-17.

[6] SAFI M S， SAFI S M M. Early detection of Alzheimer’s disease from EEG signals using Hjorth parameters［J］. Biomedical Signal Processing and Control， 2021， 65： 102338.

[7] ZHANG R， ZONG Q， DOU L， et al. Hybrid deep neural network using transfer learning for EEG motor imagery decoding［J］. Biomedical Signal Processing and Control， 2021， 63： 102144.

[8] CHIARELLI A M， CROCE P， MERLA A， et al. Deep learning for hybrid EEG?fNIRS brain?computer interface： application to motor imagery classification［J］. Journal of Neural Engineering， 2018， 15（3）： 036028.

[9] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG?based brain–computer interfaces［J］. Journal of Neural Engineering， 2018， 15（5）： 056013.

[10] SAKHAVI S， GUAN C， YAN S. Learning temporal information for brain?computer interface using convolutional neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（11）： 5619-5629.

[11] AMIN S U， ALSULAIMAN M， MUHAMMAD G， et al. Deep learning for EEG motor imagery classification based on multi?layer CNNs feature fusion［J］. Future Generation Computer Systems， 2019， 101： 542-554.

[12] 杜秀麗，馬振倩，邱少明，等.基于卷積注意力機制的運動想象腦電信號識別［J］.計算機工程與應用，2021，57（18）：181-185.（DU X L， MA Z Q， QIU S M， et al. Motor imagery EEG signal recognition based on the convolutional attention mechanism［J］. Journal of Computer Engineering and Applications， 2021， 57（18）： 181-185.）

[13] SCHIRRMEISTER R T， SPRINGENBERG J T， FIEDERER L D J， et al. Deep learning with convolutional neural networks for EEG decoding and visualization［J］. Human Brain Mapping， 2017， 38（11）： 5391-5420.

[14] WANG F， ZHONG S?H， PENG J， et al. Data augmentation for EEG?based emotion recognition with deep convolutional neural networks［C］// Proceedings of the 2018 International Conference on Multimedia Modeling， LNCS 10705. Cham： Springer， 2018： 82-93.

[15] SCHWABEDAL J T C， SNYDER J C， CAKMAK A， et al. Addressing class imbalance in classification problems of noisy signals by using fourier transform surrogates［EB/OL］. （2019-01-28）［2021-06-19］. https：//arxiv.org/pdf/1806.08675.pdf.

[16] ZHANG K， XU G， HAN Z， et al. Data augmentation for motor imagery signal classification based on a hybrid neural network［J］. Sensors， 2020， 20（16）： 4485.

[17] HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing co?adaptation of feature detectors［EB/OL］. ［2021-09-01］. https：//arxiv.org/pdf/1207. 0580.pdf.

[18] CHAUDHARY S， TARAN S， BAJAJ V， et al. Convolutional neural network based approach towards motor imagery tasks EEG signals classification［J］. IEEE Sensors Journal， 2019， 19（12）： 4494-4500.

[19] BAI S， KOLTER J Z， KOLTUN V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling［EB/OL］. （2018-04-19）［2021-06-19］. https：//arxiv.org/pdf/1803.01271.pdf.

[20] 袁華，陳澤濠.基于時間卷積神經網絡的短時交通流預測算法［J］.華南理工大學學報（自然科學版），2020，48（11）：107-113， 122.（YUAN H， CHEN Z H. Short?term traffic flow prediction algorithm based on time convolutional neural network［J］. Journal of South China University of Technology （Natural Science Edition）， 2020，48（11）： 107-113， 122.）

[21] 周飛燕，金林鵬，董軍.卷積神經網絡研究綜述［J］.計算機學報，2017，40（6）：1229-1251.（ZHOU F Y， JIN L P， DONG J. A survey of convolutional neural networks［J］. Chinese Journal of Computers，2017，40（6）： 1229-1251.）

[22] TANGERMANN M， MüLLER K?R， AERTSEN A， et al. Review of the BCI Competition Ⅳ［J］. Frontiers in Neuroscience， 2012， 6： Article 00055.

[23] SAMIEE K， KOVACS P， GABBOUJ M. Epileptic seizure classification of EEG time?series using rational discrete short?time Fourier transform［J］. IEEE Transactions on Biomedical Engineering， 2014， 62（2）： 541-552.

[24] ZHAO X， ZHANG H， ZHU G， et al. A multi?branch 3D convolutional neural network for EEG?based motor imagery classification［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2019， 27（10）： 2164-2177.

[25] WU H， NIU Y， LI F， et al. A parallel multiscale filter bank convolutional neural networks for motor imagery EEG classification［J］. Frontiers in Neuroscience， 2019， 13： Article 01275.

Motor imagery electroencephalography classification based on data augmentation

PENG Yu， SONG Yaolian*， YANG Jun

（，，650500，）

Aiming at the multi?classification problem for Motor Imagery ElectroEncephaloGraphy （MI?EEG）， Lightweight convolutional neural Network （L?Net） and Lightweight Hybrid Network （LH?Net） based on deep separable convolution were built on the basis of existing research. Experiments and analyses were carried out on the BCI competition IV-2a data set. It was shown that L?Net could fit the data faster than LH?Net， and the training time was shorter. However， LH?Net is more stable than L?Net and has better robustness in classification performance on the test set， the average accuracy and average Kappa coefficient of LH?Net were increased by 3.6% and 4.8%， respectively compared with L?Net. In order to further improve the classification performance of the model， a new method of adding Gaussian noise based on the time?frequency domain was adopted to apply Data Augmentation （DA） on the training samples， and simulation verification of the noise intensity was carried out， thus the optimal noise intensity ranges of the two models were inferred. With the DA method， the average accuracies of the two models were increased by at least 4% in the simulation results， the four classification effects were significantly improved.

electroencephalography; motor imagery; deep learning; depth separable convolution; data augmentation

PENG Yu， born in 1995， M. S. candidate. His research interests include brain information decoding， deep learning.

SONG Yaolian， born in 1979， Ph. D.， associate professor. Her research interests include brain information decoding， communication system.

YANG Jun， born in 1984， Ph. D.， lecturer. His research interests include brain information decoding， deep learning.

1001-9081（2022）11-3625-08

10.11772/j.issn.1001-9081.2021091701

2021?09?30；

2022?01?05；

2022?01?28。

TP391.4

A

彭禹（1995—），男，四川瀘州人，碩士研究生，CCF會員，主要研究方向：腦信息解碼、深度學習；宋耀蓮（1979—），女，河南延津人，副教授，博士，主要研究方向：腦信息解碼、通信系統；楊俊（1984—），男，云南昆明人，講師，博士，主要研究方向：腦信息解碼、深度學習。