基于最優(yōu)子段深度學(xué)習(xí)的手指運動想象腦電信號分類研究

摘 要：目前已有的手指運動想象腦電信號多分類任務(wù)的分類性能均難以達(dá)到可用性能。在詳細(xì)分析腦電信號時間尺度上的多種成分的基礎(chǔ)上，設(shè)計一種信號子段提取的自監(jiān)督子網(wǎng)絡(luò)，然后把子段輸入下一個子網(wǎng)絡(luò)用于信號分類，兩個子網(wǎng)綜合成一個自監(jiān)督混合的多任務(wù)深度網(wǎng)絡(luò)。在訓(xùn)練階段，子段提取子網(wǎng)絡(luò)針對每條腦電信號提取不同的子段，由后面的分類子網(wǎng)絡(luò)來判斷該子段是否最佳而自動調(diào)整子段位置，總體損失函數(shù)由兩個子網(wǎng)絡(luò)的兩個損失函數(shù)加權(quán)而成，通過整體網(wǎng)絡(luò)學(xué)習(xí)算法實現(xiàn)最佳子段信號的提取并獲得最佳分類效果。驗證和測試階段，子段提取子網(wǎng)絡(luò)按照訓(xùn)練完成的參數(shù)自動提取相應(yīng)的子段輸入分類子網(wǎng)絡(luò)進(jìn)行分類。在the largest SCP data of Motor-Imagery和BCI Competition IV中Data sets 4數(shù)據(jù)集上進(jìn)行網(wǎng)絡(luò)性能驗證，SCP數(shù)據(jù)集上全部受試者3指分類任務(wù)的平均測試分類準(zhǔn)確率達(dá)70%以上，4指平均測試分類準(zhǔn)確率達(dá)60%左右，5指平均測試分類準(zhǔn)確率達(dá)50%左右，比現(xiàn)有的報道有明顯的提升。證實該網(wǎng)絡(luò)能夠有效地提取出運動想象腦電信號子段，具有良好的分類效果和泛化性能。

關(guān)鍵詞：腦電信號；運動想象；深度學(xué)習(xí)；最優(yōu)子段

中圖分類號：TP183 文獻(xiàn)標(biāo)志碼：A 文章編號：1001-3695（2023）06-020-1728-06

doi： 10.19734/j.issn.1001-3695.2022.11.0553

Finger motor imagery based on optimal sub-segment deep learning research on EEG signal classification

Zhou Peng， Ye Qingwei， Luo Huiyan， Lu Zhihua

（Faculty of Electrical Engineering amp; Computer Science， Ningbo University， Ningbo Zhejiang 315211， China）

Abstract：The classification performance of the existing multi-classification tasks of finger motor imagery EEG signals is difficult to achieve usable performance. On the basis of detailed analysis of multiple components on the time scale of EEG signals， this paper designed a self-supervised sub-network for signal sub-segment extraction， and then input the sub-segment into the next sub-network for signal classification， it synthesized the two sub-networks into a self-supervised hybrid multi-task deep network. In the training phase， the sub-segment extraction sub-network extracted different sub-segments for each EEG signal， and the subsequent classification sub-network judged whether the sub-segment was the best and automatically adjusted the position of the sub-segment. It weighted the total loss function by two loss functions of two sub-networks， and extracted the best sub-segment signal and obtained the best classification effect through the overall network learning algorithm. In the verification and testing phase， the sub-segment extraction sub-network automatically extracted the corresponding sub-segment input classification sub-network according to the parameters of the training for classification. It verified the network performance on the largest SCP data of Motor-Imagery data set and the Data sets 4 of BCI Competition IV. On the SCP dataset， the average test classification accuracy of all subjects’ three finger classification tasks is more than 70%， the average test classification accuracy of four finger classification tasks is about 60%， and the average test classification accuracy of five finger classification tasks is about 50%， which is significantly improved compared with the existing reports. It is confirmed that the network can effectively extract sub-segments of motor imagery EEG signals， and has good classification effect and generalization performance.

Key words：EEG signal; motor imagery; deep learning; optimal sub-segment

0 引言

腦機(jī)接口（brain computer interface，BCI）是一種不依賴于正常的由外圍神經(jīng)和肌肉組成的輸出通路的通信系統(tǒng)。運動想象（motor imagery，MI）是通過人腦想象特定動作但不實際執(zhí)行該動作的行為［1］。通過基于運動想象腦電信號的腦機(jī)接口，建立大腦與外部設(shè)備的通道，從而可以實現(xiàn)操控機(jī)器人、駕駛汽車等任務(wù)［2～4］，在這當(dāng)中，對于運動想象腦電信號識別和分類的研究具有重要的作用。

運動想象腦電信號的識別與分類一般通過特征提取方法結(jié)合機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)網(wǎng)絡(luò)等分類器方法實現(xiàn)。常用的特征提取方法有共空間模式（common spatial patterns，CSP）［5］、小波變換［6］等。常用的分類算法有線性判別分析（linear discriminant analysis，LDA）［7］、支持向量機(jī)（support vector machines，SVM）［8］和深度學(xué)習(xí)網(wǎng)絡(luò)［9］等。其中深度學(xué)習(xí)網(wǎng)絡(luò)近年來發(fā)展迅速，分類效果突出，且具有較強的泛化能力和魯棒性，被廣泛應(yīng)用于分類任務(wù)中。

在運動想象腦電信號采集過程中，由于受試者很難做到接收指令就立即開始運動想象，或是在采集信號過程中持續(xù)想象，即存在思維延遲或思維轉(zhuǎn)換問題。所以采集到的運動想象腦電信號會包含非運動想象時的數(shù)據(jù)，并且腦電信號動力學(xué)模型表明存在多個不同分類性能的階段，這對運動想象信號分類任務(wù)造成了較大的干擾。現(xiàn)階段研究主要通過滑動窗口設(shè)置時間窗來提取最優(yōu)腦電信號段，如馬滿振等人［10］通過設(shè)置時間窗來尋找最優(yōu)的腦電信號時間段，朱檸等人［11］通過設(shè)定步長和窗口大小實現(xiàn)對癲癇數(shù)據(jù)集的特征提取，但上述方法確定的每條腦電信號最優(yōu)子段相對位置基本上是一致的，不能有效針對每條腦電信號，難以體現(xiàn)個體差異性。Malan等人［12］注意到使用腦電圖的固定時間窗口提取特征，因受試者在腦梗死數(shù)據(jù)采集任務(wù)中的時間延遲不一致，會導(dǎo)致分類性能不佳，所以提出基于正則化鄰域分量分析的多視圖特征選擇方法，同時優(yōu)化時間窗口，在腦電信號數(shù)據(jù)集（BCI competition IV 數(shù)據(jù)集2a、BCI competition Ⅱ 數(shù)據(jù)集 Ⅱa和BCI competition IV 數(shù)據(jù)集 2b）上提升了分類性能。此外，目前在運動想象腦電信號分類領(lǐng)域，手指運動想象腦電信號的多分類問題是一個較難的挑戰(zhàn)，在已有的報道中很難找到實用的效果。

針對運動想象腦電信號的最優(yōu)子段具有不同相對位置的問題，本文提出一種最優(yōu)子段深度學(xué)習(xí)算法。該算法利用深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)出每條運動想象腦電信號最優(yōu)子段的起始點，從而實現(xiàn)每條運動想象腦電信號最優(yōu)子段的提取，并獲得最優(yōu)分類效果。在The largest SCP data of Motor-Imagery［13］數(shù)據(jù)集和BCI Competition IV競賽中Data sets 4數(shù)據(jù)集［14］上進(jìn)行實驗驗證，算法取得了良好的分類效果，證實了提取運動想象腦電信號最優(yōu)子段的有效性和較好的泛化性能。

1 腦電信號最優(yōu)子段模型

1.1 腦電信號動力學(xué)模型

腦電信號在時間尺度上存在多種差異性，導(dǎo)致多分類效果很難提升，例如不同受試者之間的個體差異、采集過程中受試者的注意力集中程度差異以及腦電信號本身具有不同的動力學(xué)階段。對腦電信號動力學(xué)階段進(jìn)行分析可知，一般腦電信號至少可以分成瞬態(tài)強非線性、自由響應(yīng)弱非線性兩個階段。其中瞬態(tài)強非線性階段的信號分類性能極其低下，而每條腦電信號出現(xiàn)瞬態(tài)強非線性階段的時間點是不完全一樣的，因此需要有提取子段信號的算法來剔除這一段子段信號。下面具體介紹分析腦電信號動力學(xué)模型。

從上面的分析可知，需要對單條運動想象腦電信號提取子段，也就是分離出自由響應(yīng)子段信號，這段信號相較于瞬態(tài)非線性信號更易于分類。然而該子段信號出現(xiàn)的起始時間點在每條信號中是不完全一致的，存在巨大的優(yōu)化搜索空間，采用已有的優(yōu)化技術(shù)很難獲得大規(guī)模信號集對應(yīng)的最優(yōu)子段集。本文設(shè)計一種新的深度學(xué)習(xí)子網(wǎng)絡(luò)結(jié)構(gòu)和自監(jiān)督學(xué)習(xí)損失函數(shù)來實現(xiàn)子段提取與分類的整體優(yōu)化。

1.2 最優(yōu)子段提取模型

2 基于最優(yōu)子段學(xué)習(xí)的深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計

針對式（13）的優(yōu)化模型，本文采用深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計最優(yōu)子段提取模型。該深度學(xué)習(xí)網(wǎng)絡(luò)模型主要包括運動想象腦電信號子段提取網(wǎng)絡(luò)（子網(wǎng)1）和運動想象腦電信號子段分類網(wǎng)絡(luò)（子網(wǎng)2）兩個子網(wǎng)絡(luò)。

2.1 子網(wǎng)1網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)

從圖1中的子網(wǎng)1結(jié)構(gòu)設(shè)計和損失函數(shù)設(shè)計可知，子網(wǎng)1是一個自監(jiān)督網(wǎng)絡(luò)，不需要外來的標(biāo)簽。子網(wǎng)1的目的是實現(xiàn)輸入信號x的某一段子段信號提取，輸入后面的子網(wǎng)2進(jìn)行分類。在同時滿足兩個損失函數(shù)最小的情況下，從子網(wǎng)1提取的子段信號獲得最佳分類效果。

2.2 子網(wǎng)2網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)

子網(wǎng)2的設(shè)計是一個相對簡單的分類器，其結(jié)構(gòu)如表1所示，由兩層全連接層組成。子網(wǎng)2輸入y為子網(wǎng)1的輸出，y輸入全連接層1經(jīng)ReLU激活函數(shù)后，再輸入全連接層2，最后通過softmax激活函數(shù)輸出分類類別概率。

2.3 基于最優(yōu)子段學(xué)習(xí)的深度學(xué)習(xí)網(wǎng)絡(luò)

3 實驗結(jié)果分析

3.1 數(shù)據(jù)介紹及預(yù)處理

實驗數(shù)據(jù)集1來自2018年提出的國際標(biāo)準(zhǔn)腦電信號數(shù)據(jù)庫The largest SCP data of Motor-Imagery（數(shù)據(jù)集1）中的5F手指運動想象腦電信號數(shù)據(jù)集，該數(shù)據(jù)集由8名受試者采集完成，實驗數(shù)據(jù)以200 Hz或1 000 Hz采樣率采集，每組數(shù)據(jù)包含21個通道的EEG信號。受試者通過觀看圖形用戶界面（eGUI）提示完成相應(yīng)心理意象。一個動作信號（由1～5的數(shù)字表示）出現(xiàn)在要執(zhí)行動作圖像的手指正上方，動作信號持續(xù)1 s。在此期間，受試者執(zhí)行一次指示的心理想象，隨后暫停1.5～2.5 s，結(jié)束實驗。根據(jù)參與者的偏好，圖像被調(diào)用為相應(yīng)手指向上或向下彎曲。每個動作信號都需要一個響應(yīng)。在執(zhí)行圖像顯示動作后，受試者保持不動，直到下一個動作信號呈現(xiàn)。在每個記錄會話開始時，給予2.5 min的初始放松期，以便受試者能夠放松并適應(yīng)記錄會話的條件。每個記錄會話持續(xù)50～55 min，并在整個過程中連續(xù)記錄運動想象腦電信號。采集數(shù)據(jù)文件命名格式為5F-SubjectE-160415-5St-SGLHand-HFREQ.mat。5F表示5根手指運動數(shù)據(jù)；SubjectE為受試者標(biāo)號；160415表示在2016年4月15日進(jìn)行的數(shù)據(jù)采集；SGLHand表示單手采樣；HFREQ表示以1 000 Hz的采樣率進(jìn)行的運動想象腦電信號數(shù)據(jù)采集。為了方便實驗和表述，每名受試者均以“E-160415”類似形式進(jìn)行標(biāo)號，數(shù)據(jù)集1受試者采集運動想象腦電信號樣本個數(shù)如表2所示。

數(shù)據(jù)集2采用BCI Competition IV中Data sets 4數(shù)據(jù)集。數(shù)據(jù)集由3名癲癇患者采集完成，采樣頻率為1 000 Hz，每個手指采集4 s，前2 s手指按照屏幕提示進(jìn)行運動3～5次，后2 s為休息期（屏幕提示為空白），每位受試者的實驗時間為10 min。數(shù)據(jù)集2各受試者數(shù)據(jù)集樣本個數(shù)如表3所示。

由于人體手指運動中只有大拇指運動相對獨立，無名指運動與中指或小指運動相關(guān)。對于數(shù)據(jù)集1，本文分別采用5指、4指（去除無名指）以及3指（去除食指和無名指）所對應(yīng)數(shù)據(jù)集驗證網(wǎng)絡(luò)性能，將每名受試者樣本集中50個樣本作為驗證集，其余樣本以約7∶3的比例劃分為訓(xùn)練集和測試集。由于數(shù)據(jù)集2受試者數(shù)據(jù)集樣本較少，對數(shù)據(jù)集2，本文分別采用5指、4指所對應(yīng)數(shù)據(jù)集驗證網(wǎng)絡(luò)性能，以約8∶2的比例劃分為訓(xùn)練集和測試集。

對運動想象腦電信號數(shù)據(jù)進(jìn)行歸一化，弱化某些較大的樣本數(shù)據(jù)，減少奇異樣本數(shù)據(jù)對子網(wǎng)1訓(xùn)練的影響，可以加快模型訓(xùn)練速度，并且提高模型性能。將運動腦電信號x按通道進(jìn)行歸一化，歸一化后的x數(shù)值為［－1，1］。

腦電信號的頻率分布主要集中在0.5～30 Hz，信號幅值大多在5～200 μV［19］，屬于非線性、非平穩(wěn)信號，導(dǎo)致信號極易受到肌電、眼電等高相關(guān)通道的干擾，因此實驗時人為去除了數(shù)據(jù)集的第1、2和20通道。

3.2 手指運動想象腦電信號實驗結(jié)果分析

在SCP數(shù)據(jù)集中，官方使用了支持向量機(jī)和事件相關(guān)電位（event-related potential，ERP）［20，21］等方法，5指分類準(zhǔn)確率均沒有超過60%，有3名受試者分類準(zhǔn)確率低于40%，平均分類準(zhǔn)確率為43%。與之對比，本文5指分類任務(wù)中，E-160415和E-160429準(zhǔn)確率超過了60%，效果普遍優(yōu)于SCP官方公布的準(zhǔn)確率。因此本文方法具有更好的泛化性能。

為進(jìn)一步證明提取運動想象腦電信號子段對提升分類效果的積極作用，將經(jīng)預(yù)處理后的整段運動想象腦電信號不進(jìn)行子段提取，直接使用經(jīng)典分類網(wǎng)絡(luò)Vit［20］、GRU、ResNet18和經(jīng)典的腦電信號分類器EEGNet［21］進(jìn)行分類，與本文算法進(jìn)行對比。表5給出了數(shù)據(jù)集1中本文算法和各種經(jīng)典網(wǎng)絡(luò)分類器在不同任務(wù)下的測試集分類準(zhǔn)確率。圖5給出了數(shù)據(jù)集1中本文算法和經(jīng)典算法的測試集平均分類準(zhǔn)確率對比。

如圖5所示，經(jīng)典的腦電信號分類器EEGNet 對于手指運動想象腦電信號的多分類效果與ResNet18相差無幾，都屬于卷積網(wǎng)絡(luò)，均難以達(dá)到實用要求。本文算法分類性能優(yōu)于EEGNet、Vit、GRU和ResNet18，與GRU和Vit相比，本文算法準(zhǔn)確率提高了8.32%～14.50%。因此通過對運動想象腦電信號提取子段再進(jìn)行分類，可以較大幅度地提升分類網(wǎng)絡(luò)性能，證實了提取運動想象腦電信號子段對提升分類效果的顯著作用。

文獻(xiàn)［22］使用了多類CSP方法和SVM分類器，相比于傳統(tǒng)CSP和無空間濾波器情況在SCP數(shù)據(jù)集上提高了5指分類任務(wù)的分類性能。本文算法與上述方法5指分類任務(wù)對比結(jié)果如表6所示。由表6可知，本文算法提升了5指分類任務(wù)的分類性能。

使用數(shù)據(jù)集2驗證網(wǎng)絡(luò)性能，各受試者測試分類準(zhǔn)確率如表7所示。由表7可知，去除無名指對小拇指和中指運動的干擾后，Sub2和Sub3受試者數(shù)據(jù)集分類準(zhǔn)確率相比于5指分類任務(wù)有了一定程度的提升，其中Sub3數(shù)據(jù)集4指和5指分類任務(wù)分類性能接近數(shù)據(jù)集1的平均分類性能。在受制于數(shù)據(jù)集2樣本數(shù)過少的情況下，網(wǎng)絡(luò)依然在Sub2和Sub3受試者數(shù)據(jù)集上取得了較好的分類性能。

3.3 手指運動想象腦電信號子段長度選取實驗結(jié)果分析

不同運動想象腦電信號子段長度對分類性能有一定影響。指定不同子段長度，對數(shù)據(jù)集1進(jìn)行測試。以B-160311樣本集為例，圖6顯示了B-160311樣本集在不同子段長度下的測試集分類準(zhǔn)確率。由圖6可知，在3指、4指和5指分類任務(wù)中，子段長度分別為750、700和500時，分類準(zhǔn)確率最高。

通過指定不同子段長度，分析實驗結(jié)果可以認(rèn)為，最高分類準(zhǔn)確率所對應(yīng)的運動想象腦電信號子段長度為該運動想象腦電信號樣本集的平均最優(yōu)子段長度，該子段長度最大程度代表了該樣本集中每條運動想象腦電信號所含的運動想象信息。所有受試者樣本集不同分類任務(wù)下的平均最優(yōu)子段長度如表8所示。

4 結(jié)束語

本文提出一種基于最優(yōu)子段深度學(xué)習(xí)的手指運動想象腦電信號分類方法。通過設(shè)計兩個子網(wǎng)絡(luò)，分別實現(xiàn)對運動想象腦電信號的最優(yōu)子段提取和分類功能。提取出最優(yōu)子段，有效去除了運動想象腦電信號中存在的大段干擾信息。在網(wǎng)絡(luò)設(shè)計上，在保證分類性能的同時全部選擇了簡單的全連接網(wǎng)絡(luò)，簡化了網(wǎng)絡(luò)結(jié)構(gòu)，降低了系統(tǒng)的復(fù)雜度。在SCP數(shù)據(jù)集上驗證網(wǎng)絡(luò)性能，3指分類任務(wù)中取得了最高89.93%的分類準(zhǔn)確率，4指和5指分類任務(wù)也取得了不俗的效果，與經(jīng)典分類網(wǎng)絡(luò)相比，模型分類準(zhǔn)確率有較大提升，通過指定不同字段長度，實驗分析得出了各運動想象腦電信號樣本集的平均最優(yōu)子段長度。此方法為多類運動想象腦電信號的分類研究提供了新的思路。

參考文獻(xiàn)：

［1］Hetu S，Gregoire M，Saimpont A，et al. The neural network of motor imagery：an ALE meta-analysis ［J］. Neuroscience amp; Biobehavioral Reviews，2013，37（5）： 930-949.

［2］Liu Yiliang，Su Wenbin，Li Zhijun，et al. Motor-imagery-based teleo-peration of a dual-arm robot performing manipulation tasks ［J］. IEEE Trans on Cognitive and Developmental Systems，2019，11（3）： 414-424.

［3］Nourmohammadi A，Jafari M，Zander T O. A survey on unmanned aerial vehicle remote control using brain-computer interface ［J］. IEEE Trans on Human-Machine Systems， 2018，48（4）： 337-348.

［4］Wang Hongtao，Li Ting，Bezerianos A，et al. The control of a virtual automatic car based on multiple patterns of motor imagery BCI ［J］. Medical amp; Biological Engineering amp; Computing，2019，57（1）： 299-309.

［5］吳孫勇，潘福標(biāo)，鄧凱文. 基于希爾伯特—黃變換的小鼠腦電信號相關(guān)性分析 ［J］. 科學(xué)技術(shù)與工程，2018，18（31）： 126-132. （Wu Sunyong，Pan Fubiao，Deng Kaiwen. Correlation analysis of mouse electroencephal gram based on Hilbert-Huang transform ［J］. Science Technology and Engineering，2018，18（31）： 126-132.）

［6］徐寶國，宋愛國. 基于小波包變換和聚類分析的腦電信號識別方法 ［J］. 儀器儀表學(xué)報，2009，30（1）： 25-28. （Xu Baoguo，Song Aiguo. EEG signal recognition method based on wavelet packet transform and clustering analysis ［J］. Chinese Journal of Scientific Instrument，2009，30（1）： 25-28.）

［7］Ibrahim W，Abadeh M S. Protein fold recognition using deep kerne-lized extreme learning machine and linear discriminant analysis ［J］. Neural Computing and Applications，2019，31（8）： 4201-4214.

［8］Zheng Wenfeng，Xu Fangzhou，Shu Minglei，et al. Classification of motor imagery electrocorticogram signals for brain-computer interface ［C］// Proc of the 9th International IEEE/EMBS Conference on Neural Engineering. Piscataway，NJ： IEEE Press，2019： 530-533.

［9］陳景霞，王麗艷，賈小云，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的腦電信號情感識別 ［J］. 計算機(jī)工程與應(yīng)用，2019，55（18）： 103-110. （Chen Jingxia，Wang Liyan，Jia Xiaoyun，et al. EEG-based emotion recognition using deep convolutional neural network ［J］. Computer Engineering and Applications，2019，55（18）： 103-110.）

［10］馬滿振，郭理彬，蘇奎峰. 基于多類運動想象任務(wù)的EEG信號分類研究 ［J］. 計算機(jī)測量與控制，2017，25（10）： 232-235，239. （Ma Manzhen，Guo Libin，Su Kuifeng. Research on EEG signal classification based on multi-class motion imagination task ［J］. Compu-ter Measurement amp; Control，2017，25（10）： 232-235，239.）

［11］朱檸，魏海坤，張侃健. 基于腦電信號的癲癇發(fā)作預(yù)測 ［J］. 軟件導(dǎo)刊，2022，21（3）： 67-71. （Zhu Ning，Wei Haikun，Zhang Kanjian. Prediction of epileptic seizures based on EEG signals ［J］. Software Guide，2022，21（3）： 67-71.）

［12］Malan N S，Sharma S. Time window and frequency band optimization using regularized neighbourhood component analysis for multi-view Motor Imagery EEG classification. ［J］. Biomedical Signal Processing and Control，2021，67：102550.

［13］Kaya M，Binli M K，Erkan O，et al. A large electroencephalographic motor imagery dataset for electroencephalographic brain computer interfaces ［J］. Scientific Data，2018，5： 1-16.

［14］Schalk G，Kubanek J，Miller K J，et al. Decoding two-dimensional movement trajectories using electrocorticographic signals in humans ［J］. Journal of Neural Engineering，2007，4： 264-275.

［15］Liley D，Cadusch P J，Dafilis M P. A spatially continuous mean field theory of electrocortical activity ［J］. Network，2002，13（1）： 67-113.

［16］楊懷花. 基于多模態(tài)振動的腦電信號特征提取研究與應(yīng)用 ［D］.寧波： 寧波大學(xué)，2021. （Yang Huaihua. Research and application of EEG feature extraction based on multi-modal vibration ［D］. Ningbo： Ningbo University，2021.）

［17］Cho K，van Merrienboer B，Gulcehre C，et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation ［C］// Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：ACL Press，2014： 1724-1734.

［18］Sutton S，Braren M，Zubin J，et al. Evoked-potential correlates of stimulus uncertainty ［J］. Science，1965，150： 1187-1188.

［19］Farwell L A，Donchin E. Talking off the top of your head： toward a mental prosthesis utilizing event-related brain potentials ［J］. Electroencephalography and Clinical Neurophysiology，1988，70（6）： 510-523.

［20］Dosovitskiy A，Lucas B，Alexander K，et al. An image is worth 16×16 words： transformers for image recognition at scale ［EB/OL］. （2021-06-03）. http：//doi.org/10.48550/arxiv.2010.11929.

［21］Lawhern V J，Solon A J，Waytowich N R，et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces ［J］. Journal of Neural Engineering，2016，15（5）： 056013.

［22］Kato M，Kanoga S，Hoshino T，et al. Motor imagery classification of finger motions using multiclass CSP ［C］// Proc of the 42nd Annual International Conference of the IEEE Engineering in Medicine amp; Bio-logy Society.Piscataway，NJ： IEEE Press，2020：2991-2994.

［23］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al. Deep residual learning for image recognition ［C］// Proc of IEEE Conference on Computer Vision amp; Pattern Recognition. Piscataway，NJ： IEEE Press，2016：770-778.

［24］李穎潔，邱意弘，朱貽盛.腦電信號分析方法及其應(yīng)用 ［M］. 北京： 科學(xué)出版社，2009： 6-7. （Li Yingjie，Qiu Yihong，Zhu Yi-sheng. EEG signal analysis method and its application ［M］. Beijing： Science Press，2009： 6-7. ）