融合注意力的多維特征圖卷積運(yùn)動(dòng)想象分類

李珍琦，王 晶+，賈子鈺，林友芳

1.北京交通大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，北京 100044

2.北京交通大學(xué) 交通數(shù)據(jù)分析與挖掘北京市重點(diǎn)實(shí)驗(yàn)室，北京 100044

腦-機(jī)接口（brain-computer interface，BCI）是一種被廣泛研究的人機(jī)交互技術(shù)，可以在人類大腦和外部設(shè)備之間建立直接連接通路，允許人們僅通過大腦神經(jīng)活動(dòng)來(lái)與現(xiàn)實(shí)世界交流或者操縱外部設(shè)備。目前，腦-機(jī)接口的研究有很多，比如運(yùn)動(dòng)想象（motor imagery，MI）、情緒識(shí)別和睡眠分期等，其中運(yùn)動(dòng)想象在近幾年引起了極大的關(guān)注。運(yùn)動(dòng)想象是與人體運(yùn)動(dòng)有關(guān)特異性行動(dòng)在大腦的再現(xiàn)，但并不伴有實(shí)際的身體運(yùn)動(dòng)。對(duì)不同運(yùn)動(dòng)想象大腦神經(jīng)元活動(dòng)的正確識(shí)別，可以獲得大腦指令，進(jìn)而幫助患有嚴(yán)重運(yùn)動(dòng)神經(jīng)元疾病的患者控制輪椅等外部設(shè)備，同時(shí)運(yùn)動(dòng)想象分類也是進(jìn)行運(yùn)動(dòng)康復(fù)訓(xùn)練的重要支撐。

腦-機(jī)接口系統(tǒng)包括侵入性和非侵入性兩種方法對(duì)大腦神經(jīng)元的活動(dòng)進(jìn)行測(cè)量，其中腦電波（electroencephalogram，EEG）作為非侵入性方法之一，憑借其安全性、可靠性、舒適性和高便捷性被人們廣泛使用。基于腦電信號(hào)的運(yùn)動(dòng)想象分類研究，核心問題是如何將根據(jù)多個(gè)電極收集到的腦電信號(hào)解碼為有效特征，并提高分類的準(zhǔn)確性。

對(duì)于腦電信號(hào)的特征提取，學(xué)者們已經(jīng)做出了許多努力。早期的腦電分類方法直接從波形上提取時(shí)間特征，只能用于隨時(shí)間變化明顯的信號(hào)。后來(lái)學(xué)者們將腦電信號(hào)從時(shí)域轉(zhuǎn)換到頻域或者空間域去提取特征，進(jìn)而分類。但這些方法只考慮了時(shí)頻或時(shí)空特征，沒有同時(shí)考慮到腦電信號(hào)的多維（空間、時(shí)間和頻譜維度）特征，而且分類效果嚴(yán)重依賴于專家經(jīng)驗(yàn)。最近很多學(xué)者利用深度學(xué)習(xí)方法來(lái)解碼腦電信號(hào)，如利用二維或三維卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）自動(dòng)提取腦電信號(hào)不同維度的特征。但是，腦電電極分布并非天然的歐式空間，不適合用標(biāo)準(zhǔn)卷積去提取特征。而且由于腦電的特性，各維度上的關(guān)聯(lián)強(qiáng)度會(huì)隨著不同實(shí)驗(yàn)而變化。因此，如何表示腦電的多維信息以及捕獲各維度上動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度仍是當(dāng)前的挑戰(zhàn)。

為解決上述挑戰(zhàn)，本文提出了一種融合注意力的多維特征圖卷積網(wǎng)絡(luò)（attention based multi-dimensional feature graph convolutional network，AMFGCN）來(lái)進(jìn)行運(yùn)動(dòng)想象分類。本文的主要貢獻(xiàn)概述如下：

（1）提出一種適用于腦電信號(hào)的圖結(jié)構(gòu)，能夠準(zhǔn)確表示腦電電極分布的非歐空間并充分考慮電極間的空間相關(guān)性。

（2）提出時(shí)-空、頻-空的雙分支框架，同時(shí)提取腦電信號(hào)在時(shí)域、頻域和空間域三個(gè)維度上的特征信息。

（3）設(shè)計(jì)出AMFGCN 模型，首次結(jié)合注意力機(jī)制和圖卷積去自適應(yīng)地捕獲腦電信號(hào)在各維度上的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度并有效地提取腦電特征。

（4）在四個(gè)公開腦機(jī)接口數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，證明本文提出的模型優(yōu)于其他現(xiàn)有運(yùn)動(dòng)想象分類方法。

1 相關(guān)工作

1.1 運(yùn)動(dòng)想象分類

針對(duì)基于腦電信號(hào)的運(yùn)動(dòng)想象分類問題，大量學(xué)者在不懈努力下提出了許多優(yōu)秀的分類算法。

傳統(tǒng)的運(yùn)動(dòng)想象腦電信號(hào)識(shí)別方法通常是基于人工提取特征的方法，大致分為以下兩種：一類是空間濾波的方法，比如運(yùn)動(dòng)想象領(lǐng)域中最流行的共空間模式（common spatial pattern，CSP），該方法從多導(dǎo)腦電數(shù)據(jù)中提取每一類空間分布的分量并對(duì)其分類。后來(lái)，Ang等人提出了濾波器組共空間模式（filter bank common spatial pattern，F(xiàn)BCSP），該方法在CSP的基礎(chǔ)上增加了一種特征選擇算法，選擇可區(qū)分的頻帶對(duì)和相應(yīng)CSP 特征。另一類是基于時(shí)頻域轉(zhuǎn)換進(jìn)行腦電分類的方法，例如小波變換和短時(shí)傅里葉變換等。但是，這些方法依賴專家經(jīng)驗(yàn)，運(yùn)動(dòng)想象分類的準(zhǔn)確性受到很大的限制。

如今，深度學(xué)習(xí)算法憑借自動(dòng)提取特征的優(yōu)勢(shì)，在圖像和自然語(yǔ)言處理等領(lǐng)域取得了巨大的成功。為了解決人工提取特征的限制，學(xué)者們將深度學(xué)習(xí)算法同樣應(yīng)用到了運(yùn)動(dòng)想象分類中。Schirrmeister等人提出了一種淺層的卷積網(wǎng)絡(luò)，直接從原始腦電信號(hào)中自動(dòng)提取特征。Zhao 等人提出具有三個(gè)不同卷積核大小的多分支三維卷積模型，從腦電信號(hào)的三維表示中提取特征。Wu 等人提出一種并行多尺度濾波器組的卷積神經(jīng)網(wǎng)絡(luò)去提取腦電特征。但是，大多數(shù)方法都只考慮了腦電信號(hào)的時(shí)間和空間特征。而且腦電的電極分布并非標(biāo)準(zhǔn)的網(wǎng)格結(jié)構(gòu)，普通的卷積無(wú)法充分捕獲電極之間的空間相關(guān)性。

由于腦電的電極分布并非歐式空間，學(xué)者們逐漸利用圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）來(lái)對(duì)運(yùn)動(dòng)想象進(jìn)行分類。Li等人提出一種端到端的時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)捕獲腦電信號(hào)的時(shí)空特征來(lái)識(shí)別不同的運(yùn)動(dòng)想象。Lun 等人通過結(jié)合電極的功能拓?fù)潢P(guān)系，提出一種基于GCN 的深度學(xué)習(xí)框架，提高對(duì)運(yùn)動(dòng)想象腦電信號(hào)的解碼性能。Sun 等人提出一種自適應(yīng)時(shí)空?qǐng)D卷積網(wǎng)絡(luò)，可以同時(shí)充分利用腦電信號(hào)時(shí)域中的特征和空間域中的通道相關(guān)性。現(xiàn)階段利用圖卷積在運(yùn)動(dòng)想象分類問題上的研究還不是很多，以上這些模型雖然都取得了分類性能上的提升，但對(duì)于腦電信號(hào)在時(shí)間、頻率和空間多個(gè)維度中的信息表示和建模還有待完善。

1.2 圖卷積神經(jīng)網(wǎng)絡(luò)

圖是由若干節(jié)點(diǎn)以及連接兩點(diǎn)的線所構(gòu)成的，通常用來(lái)描述某些事物之間的某種特定關(guān)系。考慮到圖的鄰居節(jié)點(diǎn)并不是固定的，不能用傳統(tǒng)上固定大小可學(xué)習(xí)的卷積核去提取圖節(jié)點(diǎn)特征。因此，學(xué)者們提出了圖卷積的概念，可以在圖上進(jìn)行卷積操作。最常用的構(gòu)建方式有兩種：空間域和譜域。在空間域上構(gòu)建圖卷積就是把卷積核直接應(yīng)用到圖上的節(jié)點(diǎn)及其鄰域。但是由于每個(gè)頂點(diǎn)的鄰域不同，需要針對(duì)每個(gè)頂點(diǎn)去處理，計(jì)算成本很高，復(fù)雜度很大。在譜域上，通過圖拉普拉斯矩陣變換到譜域，再利用切比雪夫多項(xiàng)式的階截?cái)嘟魄蠼猓瑢?shí)現(xiàn)圖結(jié)構(gòu)數(shù)據(jù)上的卷積操作，計(jì)算成本較低。因此，本文使用譜圖卷積來(lái)提取圖節(jié)點(diǎn)特征。

2 融合注意力的多維特征圖卷積網(wǎng)絡(luò)

本文提出了一種新型的AMFGCN 模型，對(duì)運(yùn)動(dòng)想象所產(chǎn)生的腦電信號(hào)進(jìn)行解碼與識(shí)別。AMFGCN整體框架如圖1 所示，原始腦電信號(hào)基于圖結(jié)構(gòu)被轉(zhuǎn)換成時(shí)-空?qǐng)D表示和頻-空?qǐng)D表示后，分別輸入到由注意力機(jī)制、圖卷積、時(shí)間卷積、全局特征聚合和短路連接組成的網(wǎng)絡(luò)中，兩個(gè)分支的輸出經(jīng)過特征融合后進(jìn)行分類。

圖1 AMFGCN 模型框架圖Fig.1 Architecture of AMFGCN

模型整體包括五部分，分別為數(shù)據(jù)轉(zhuǎn)換及其圖表示、基于注意力機(jī)制的空間圖卷積模塊、基于注意力機(jī)制的時(shí)間/頻譜卷積模塊、全局特征聚合模塊和多維特征融合模塊，接下來(lái)分別進(jìn)行詳細(xì)介紹。

2.1 數(shù)據(jù)轉(zhuǎn)換及其圖表示

由于腦電信號(hào)的電極節(jié)點(diǎn)位置并非標(biāo)準(zhǔn)的歐式空間，為了準(zhǔn)確表示這一特性，本文根據(jù)電極的自然空間分布構(gòu)建出一個(gè)圖。再將腦電信號(hào)的時(shí)域和頻域信息映射到圖中，具體轉(zhuǎn)換過程如圖2 所示。

圖2 腦電信號(hào)的轉(zhuǎn)換過程Fig.2 Conversion process of EEG signals

本文根據(jù)電極節(jié)點(diǎn)在大腦上的自然空間分布構(gòu)建出一個(gè)適用于腦電信號(hào)的圖，構(gòu)建過程如圖3 所示。圖由節(jié)點(diǎn)和邊構(gòu)成，記為=(,)，其中是腦電電極的節(jié)點(diǎn)集，是邊集。考慮到每個(gè)電極節(jié)點(diǎn)的電壓值受其周圍電壓值的影響較大，因此本文假設(shè)每個(gè)節(jié)點(diǎn)有上、下、左、右、左上、右上、左下、右下共8個(gè)自然相鄰的節(jié)點(diǎn)，同時(shí)假設(shè)每個(gè)節(jié)點(diǎn)與其自身相連。定義邊集為={NN|(,)∈}，其中是自然相鄰節(jié)點(diǎn)的集合。對(duì)于時(shí)域上的多導(dǎo)腦電信號(hào)，每一時(shí)間片可以構(gòu)成一個(gè)無(wú)向圖，全部的時(shí)間就形成了時(shí)-空?qǐng)D表示x，用來(lái)描述時(shí)間在空間上的信息。

圖3 圖的構(gòu)建過程Fig.3 Construction process of graph

2.2 基于注意力機(jī)制的空間圖卷積

為了自適應(yīng)地捕獲空間域中腦電節(jié)點(diǎn)之間的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度，本文設(shè)計(jì)出一個(gè)基于注意力機(jī)制的空間圖卷積模塊，其包含兩部分：空間注意力機(jī)制和空間圖卷積。

一般來(lái)說(shuō)，不同的運(yùn)動(dòng)想象任務(wù)會(huì)觸發(fā)大腦不同區(qū)域的神經(jīng)元活動(dòng)。即使是進(jìn)行同一任務(wù)，不同區(qū)域的激活程度也會(huì)因人而異。因此，大腦節(jié)點(diǎn)之間的關(guān)聯(lián)強(qiáng)度是動(dòng)態(tài)變化的。受到自注意力機(jī)制的啟發(fā)，本文設(shè)計(jì)出一種空間注意力機(jī)制去自適應(yīng)捕獲這種動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度，具體計(jì)算過程如下：

由于時(shí)-空分支和頻-空分支結(jié)構(gòu)完全相同，這里以時(shí)-空分支為例進(jìn)行描述。模塊的輸入為x∈R，為通道數(shù)，模塊根據(jù)x自適應(yīng)地計(jì)算得到a∈R：

通常情況下，使用Softmax 歸一化函數(shù)對(duì)a進(jìn)行歸一化。然而，Softmax 雖然能夠保證不同電極之間是可分的，但無(wú)法達(dá)到區(qū)域內(nèi)緊湊和區(qū)域間分離的效果。因此，本文提出對(duì)a進(jìn)行L2 歸一化計(jì)算空間注意力矩陣，L2 歸一化可以令特征向量區(qū)域內(nèi)盡可能緊湊，區(qū)域間盡可能分離，能夠更好地提升模型性能。空間注意力矩陣a′∈R定義為：

為了減少計(jì)算成本，本文采用譜圖卷積在經(jīng)過空間注意力機(jī)制調(diào)節(jié)后的圖結(jié)構(gòu)數(shù)據(jù)上進(jìn)行卷積操作，提取腦電信號(hào)的空間特征，具體過程如下：

根據(jù)構(gòu)建的圖，計(jì)算鄰接矩陣A∈R：

式中，′∈R是切比雪夫系數(shù)向量，切比雪夫多項(xiàng)式的遞歸定義為T()=2xT()-T()，()=1，()=。

式中，表示激活函數(shù)，?表示對(duì)應(yīng)元素相乘。

2.3 基于注意力機(jī)制的時(shí)間/頻譜卷積

為了提取腦電時(shí)域和頻域上的特征并自適應(yīng)地捕獲腦電時(shí)間與時(shí)間之間、頻譜與頻譜之間的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度，本文設(shè)計(jì)出基于注意力機(jī)制的時(shí)間/頻譜卷積模塊，包括時(shí)間/頻譜注意力機(jī)制和卷積。

腦電信號(hào)是隨著時(shí)間變化的多條時(shí)間序列，它在不同時(shí)刻的電壓值會(huì)存在一定的相互影響與依賴。同樣，相鄰頻率之間的頻率譜密度也會(huì)相互影響與依賴。因此，本文設(shè)計(jì)出一種時(shí)間/頻譜注意力機(jī)制去自適應(yīng)捕獲這種動(dòng)態(tài)變化的關(guān)聯(lián)性。本文的時(shí)間注意力和頻譜注意力分別作用于兩個(gè)分支，但結(jié)構(gòu)相同。因此，本文仍舊以時(shí)-空分支為例進(jìn)行描述，具體計(jì)算過程如下：

其次，對(duì)a進(jìn)行L2 歸一化得到時(shí)間注意力矩陣a′∈R：

經(jīng)過時(shí)間/頻譜注意力機(jī)制的調(diào)整后，本文選擇用二維的標(biāo)準(zhǔn)卷積去分別學(xué)習(xí)時(shí)間依賴性以及頻譜依賴性。盡管深度神經(jīng)網(wǎng)絡(luò)具有良好的學(xué)習(xí)表示能力，但對(duì)于腦電分析而言，并不是網(wǎng)絡(luò)越深效果越好。因此，一層的卷積已經(jīng)能夠很好地捕捉到每一節(jié)點(diǎn)上的時(shí)間及頻譜特征。本文中，時(shí)間/頻譜卷積的具體結(jié)構(gòu)如表1 所示。

表1 時(shí)間/頻譜卷積結(jié)構(gòu)Table 1 Convolution structure of temporal/spectral

式中，和分別是時(shí)間卷積學(xué)習(xí)到的權(quán)重和偏差。

2.4 全局特征聚合

為了全局地考慮所有節(jié)點(diǎn)之間的特征信息以及所有時(shí)間/頻譜之間的特征信息，本文設(shè)計(jì)出一個(gè)全局特征聚合模塊，通過兩個(gè)卷積層分別聚合空間全局特征和時(shí)/頻全局特征。而且，卷積層間的非線性函數(shù)ReLU 還可以令模型學(xué)習(xí)到更復(fù)雜的函數(shù)，進(jìn)而增加模型復(fù)雜度。

式中，和分別是全局空間聚合的權(quán)重和偏差。

式中，和分別是全局時(shí)間聚合的權(quán)重和偏差。全局特征聚合模塊的結(jié)構(gòu)設(shè)置如表2 所示。

表2 全局特征聚合的結(jié)構(gòu)Table 2 Structure of global feature aggregation

2.5 多維特征融合

式中，W和W是學(xué)習(xí)參數(shù)，反映了兩個(gè)分支對(duì)運(yùn)動(dòng)想象分類的不同影響程度。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

本文中使用的4 個(gè)公開腦機(jī)接口數(shù)據(jù)集分別為：BCI Competition IV 數(shù)據(jù)集2a（http://www.bbci.de/competition/iv）、BCI Competition III 數(shù)據(jù)集3a（http://www.bbci.de/competition/iii）、大型腦電數(shù)據(jù)集HaLT（https://www.nature.com/articles/sdata2018211）和AHUMIEEG 數(shù)據(jù)集（http://iiphci.ahu.edu.cn/toeeg）。

BCI Competition IV 數(shù)據(jù)集2a（BCICIV-2a）：該數(shù)據(jù)集包含9 位受試者做不同運(yùn)動(dòng)想象任務(wù)的腦電信號(hào)，分別是想象左手、右手、腳以及舌頭運(yùn)動(dòng)的4 類運(yùn)動(dòng)想象任務(wù)。使用22 個(gè)電極和250 Hz 的采樣頻率來(lái)記錄腦電信號(hào)。每個(gè)人在不同的日期共進(jìn)行了兩組實(shí)驗(yàn)。每組實(shí)驗(yàn)包含288 次運(yùn)動(dòng)想象，平均每類運(yùn)動(dòng)想象進(jìn)行72 次。

BCI Competition III數(shù)據(jù)集3a（BCICIII-3a）：該數(shù)據(jù)集包含3 位受試者，其中第一位受試者進(jìn)行了360次運(yùn)動(dòng)想象，其他人為240 次。運(yùn)動(dòng)想象任務(wù)有4類，分別為左手、右手、腳和舌頭。腦電信號(hào)的收集使用了60 個(gè)腦電電極，并以250 Hz 的采樣頻率進(jìn)行記錄。

HaLT 數(shù)據(jù)集：考慮到BCI 競(jìng)賽的時(shí)間都相對(duì)較早，本文還選擇了一個(gè)于2018 年發(fā)布的大型公共腦電信號(hào)數(shù)據(jù)集。HaLT 數(shù)據(jù)集是“用于腦機(jī)接口腦電圖的大型腦電圖運(yùn)動(dòng)想象數(shù)據(jù)集”中的子數(shù)據(jù)集。它包含12 位受試者，運(yùn)動(dòng)想象任務(wù)有6 類，分別是左手、右手、左腿、右腿、舌頭和靜止。以200 Hz 的采樣率和19 個(gè)腦電電極記錄腦電信號(hào)。數(shù)據(jù)集中共包含29 次實(shí)驗(yàn)，每次實(shí)驗(yàn)中大約有900 次運(yùn)動(dòng)想象，包括不同的想象任務(wù)。

AHU-MIEEG 數(shù)據(jù)集：該數(shù)據(jù)集為安徽大學(xué)公開的運(yùn)動(dòng)想象腦電信號(hào)數(shù)據(jù)集，本文選擇了其中的10位受試者進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)為Neuroscan 放大器采集的腦電信號(hào)，電極個(gè)數(shù)為26，采樣頻率為250 Hz，運(yùn)動(dòng)想象任務(wù)有3 類，分別是左手、右手和腳。每位受試者在不同的日期進(jìn)行實(shí)驗(yàn)，每次實(shí)驗(yàn)大約包含75次運(yùn)動(dòng)想象，平均每類運(yùn)動(dòng)想象進(jìn)行25 次。

在深度學(xué)習(xí)領(lǐng)域，訓(xùn)練數(shù)據(jù)量對(duì)于高分類精度至關(guān)重要。由于運(yùn)動(dòng)想象實(shí)驗(yàn)耗時(shí)且復(fù)雜，無(wú)法獲得大量腦電信號(hào)，于是，本文使用數(shù)據(jù)增強(qiáng)從原始腦電信號(hào)中生成更多的訓(xùn)練數(shù)據(jù)。在BCICIV-2a 和BCICIII-3a 數(shù)據(jù)集中，每個(gè)運(yùn)動(dòng)想象任務(wù)包含3 s 的腦電信號(hào)數(shù)據(jù)，本文選擇了一種在腦電信號(hào)中常用的數(shù)據(jù)增強(qiáng)方法——滑動(dòng)窗口。設(shè)置窗口大小為2 s，滑動(dòng)步幅為0.32 s，將腦電數(shù)據(jù)增強(qiáng)為原來(lái)的4 倍。在HaLT 數(shù)據(jù)集中，每個(gè)運(yùn)動(dòng)想象任務(wù)只包含1 s的腦電信號(hào)數(shù)據(jù)，考慮到任務(wù)的持續(xù)時(shí)間太短，本文采用增加白噪聲的方法對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng)。

3.2 實(shí)驗(yàn)設(shè)置

本文中，將每個(gè)受試者的所有組實(shí)驗(yàn)數(shù)據(jù)組合在一起，并使用5 折交叉驗(yàn)證的方式來(lái)驗(yàn)證提出模型的有效性，最后取結(jié)果的平均值。模型在訓(xùn)練過程中采用Adam 優(yōu)化器算法最小化交叉熵?fù)p失函數(shù)，進(jìn)行模型優(yōu)化，學(xué)習(xí)率設(shè)置為0.001。批大小設(shè)置為64，即每次選擇64 個(gè)樣本進(jìn)行模型優(yōu)化。圖表示中，時(shí)間長(zhǎng)度和頻率長(zhǎng)度全都設(shè)置為100，切比雪夫多項(xiàng)式中的設(shè)為3。

本文的實(shí)驗(yàn)部分全部使用Python 語(yǔ)言編寫實(shí)現(xiàn)，其中模型部分采用了TensorFlow 和Keras 框架，模型的訓(xùn)練和測(cè)試都是在GPU服務(wù)器上運(yùn)行的。表3給出了實(shí)驗(yàn)中所使用軟硬件環(huán)境的詳細(xì)說(shuō)明。

表3 實(shí)驗(yàn)環(huán)境Table 3 Experimental environment

3.3 基準(zhǔn)方法

為了驗(yàn)證AMFGCN 在運(yùn)動(dòng)想象分類任務(wù)上的優(yōu)越性，本文選取運(yùn)動(dòng)想象分類研究中一些優(yōu)秀的傳統(tǒng)方法和深度學(xué)習(xí)方法作為基準(zhǔn)方法與AMFGCN進(jìn)行比較，基準(zhǔn)方法描述如下：

FBCSP（filter bank common spatial pattern）：一種空間濾波方法，從多通道腦電信號(hào)中提取每種類型的空間分布分量，然后用線性判別分析對(duì)其進(jìn)行分類。

Shallow ConvNet：一種淺層卷積網(wǎng)絡(luò)，利用兩個(gè)卷積層分別作為時(shí)間卷積和空間濾波器，提取原始腦電信號(hào)的特征。

EEGNet：一種緊湊的卷積神經(jīng)網(wǎng)絡(luò)，它使用深度和可分離卷積來(lái)構(gòu)建腦電分類模型。

Multi-branch-3D：一種具有三個(gè)不同卷積核大小的多分支三維卷積模型，從腦電信號(hào)的三維表示中提取時(shí)空特征。

MSFBCNN（multiscale filter bank convolutional neural network）：一種并行多尺度濾波器組卷積神經(jīng)網(wǎng)絡(luò)，從腦電中提取時(shí)間和空間特征。

CNN-LSTM：一種基于FBCSP、CNN 和長(zhǎng)短期記憶（long short-term memory，LSTM）的混合深度神經(jīng)網(wǎng)絡(luò)，去解碼運(yùn)動(dòng)想象的腦電信號(hào)。

本文采用運(yùn)動(dòng)想象分類中常用的準(zhǔn)確率（accuracy，Acc）和Kappa系數(shù)作為模型的評(píng)價(jià)指標(biāo)。其中，準(zhǔn)確率為運(yùn)動(dòng)想象被正確分類的比例，即正確分類的樣本數(shù)和總樣本數(shù)的比值；Kappa 系數(shù)的具體計(jì)算公式如下：

3.4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證AMFGCN 在運(yùn)動(dòng)想象分類方法中的優(yōu)勢(shì)，將其在4 個(gè)數(shù)據(jù)集上與基準(zhǔn)方法進(jìn)行了比較。本文對(duì)所有基準(zhǔn)方法應(yīng)用相同的數(shù)據(jù)預(yù)處理和5 折交叉驗(yàn)證。表4、表5、表6、表7分別顯示了在BCICIV-2a、BCICIII-3a、HaLT 和AHU-MIEEG 數(shù)據(jù)集中不同方法的分類準(zhǔn)確率和Kappa 系數(shù)。由于本文是基于特定受試者的運(yùn)動(dòng)想象分類研究，計(jì)算了每一個(gè)人的分類準(zhǔn)確率和Kappa 系數(shù)，以及每個(gè)數(shù)據(jù)集中所有人的平均值。

表4 不同方法在數(shù)據(jù)集BCICIV-2a 中的分類性能比較Table 4 Performance comparison of different methods on BCICIV-2a dataset

表5 不同方法在數(shù)據(jù)集BCICIII-3a 中的分類性能比較Table 5 Performance comparison of different methods on BCICIII-3a dataset

表6 不同方法在數(shù)據(jù)集HaLT 中的分類性能比較Table 6 Performance comparison of different methods on HaLT dataset

表7 不同方法在數(shù)據(jù)集AHU-MIEEG 中的分類性能比較Table 7 Performance comparison of different methods on AHU-MIEEG dataset

從表中可以看到，F(xiàn)BCSP 作為一種基于空間濾波的傳統(tǒng)腦電分類方法僅僅考慮了空間信息，忽略了時(shí)間和頻率信息中的辨別性特征，因此分類結(jié)果較差。而Shallow ConvNet、EEGNet和MSFBCNN 等方法通過設(shè)計(jì)不同類型的2D 卷積從腦電中提取時(shí)間和空間特征；Multi-branch-3D 利用大小不同的3D 卷積核來(lái)同時(shí)提取時(shí)空特征；CNN-LSTM 結(jié)合了FBCSP、CNN 和LSTM 等傳統(tǒng)與深度方法去提取時(shí)空特征。以上這些方法考慮到了腦電信號(hào)時(shí)間和空間兩個(gè)維度的特征，因此分類性能要優(yōu)于FBCSP。

本文提出的AMFGCN 與所有基準(zhǔn)方法相比，在4 個(gè)數(shù)據(jù)集上的平均準(zhǔn)確率和平均Kappa系數(shù)都具有最佳性能。這是因?yàn)锳MFGCN 基于適合腦電信號(hào)的圖表示同時(shí)提取了時(shí)-頻-空特征，獲得了更準(zhǔn)確、更全面的特征信息。而且AMFGCN 還利用了注意力機(jī)制去自適應(yīng)地捕獲腦電信號(hào)在不同維度上的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度，令模型具有更強(qiáng)的魯棒性。在單個(gè)人的實(shí)驗(yàn)結(jié)果中，EEGNet 在數(shù)據(jù)集HaLT 中受試者6 上取得了最佳的分類效果，CNN-LSTM 在數(shù)據(jù)集AHUMIEEG 中受試者S4 上表現(xiàn)最好。這可能是因?yàn)檫\(yùn)動(dòng)想象產(chǎn)生的腦電信號(hào)個(gè)體差異較大，EEGNet 的深度和可分離卷積以及CNN-LSTM 的混合網(wǎng)絡(luò)分別更好地捕捉到了這兩位受試者的特征信息。相比之下，AMFGCN 雖然沒能捕捉到最適合這兩位受試者的腦電特征，但是也取得了相當(dāng)不錯(cuò)的分類結(jié)果。而且從整體來(lái)看，AMFGCN 在其他受試者上均獲得了最佳的分類性能。因此，AMFGCN 能夠提升絕大多數(shù)受試者的運(yùn)動(dòng)想象分類性能，且能保證每個(gè)數(shù)據(jù)集中的平均分類結(jié)果是最優(yōu)的。

為了進(jìn)一步研究AMFGCN 中不同模塊的作用，本文設(shè)計(jì)了AMFGCN 的5 個(gè)變體，這些變體之間的差異描述如下：

（1）時(shí)-空?qǐng)D卷積：此模型僅具有AMFGCN 的時(shí)-空分支，分支中只包括空間圖卷積和時(shí)間卷積。

（2）頻-空?qǐng)D卷積：此模型僅具有AMFGCN 的頻-空分支，分支中只包括空間圖卷積和頻譜卷積。

（3）雙分支：此模型同時(shí)包括AMFGCN 的時(shí)-空分支、頻-空分支和最后兩個(gè)分支的特征融合。

（4）+全局特征聚合：此模型在變體3（雙分支）的基礎(chǔ)上，增加了全局特征聚合模塊。

（5）+注意力機(jī)制：此模型在變體4 的基礎(chǔ)上，增加了注意力機(jī)制，即空間注意力和時(shí)間/頻譜注意力。

圖4 展示了模型的5 個(gè)變體在數(shù)據(jù)集BCICIV-2a、BCICIII-3a、HaLT 和AHU-MIEEG 中所有人平均分類準(zhǔn)確率的對(duì)比。從中可以看出，如果提取腦電的時(shí)-頻-空三個(gè)維度的特征比單獨(dú)提取時(shí)空特征或者頻空特征能夠提供更多、更豐富的辨別性特征，進(jìn)而獲得更好的分類性能；而且，本文設(shè)計(jì)的全局特征聚合模塊和注意力機(jī)制都能不同程度地提高模型對(duì)不同運(yùn)動(dòng)想象的分類準(zhǔn)確性。由此可以證明，本文提出的AMFGCN 模型中每一模塊都是有效的，都能提升運(yùn)動(dòng)想象分類性能。

圖4 模型不同變體的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of different model variants

4 結(jié)束語(yǔ)

針對(duì)運(yùn)動(dòng)想象分類問題，本文提出一種新型的融合注意力的多維特征圖卷積網(wǎng)絡(luò)AMFGCN。該模型基于一種適合腦電信號(hào)的圖結(jié)構(gòu)作為輸入，能夠準(zhǔn)確表示腦電電極分布的非歐空間并充分考慮電極間的空間相關(guān)性；利用雙分支框架從原始腦電信號(hào)轉(zhuǎn)換成的時(shí)-空?qǐng)D表示和頻-空?qǐng)D表示中同時(shí)提取時(shí)-頻-空多維度特征信息；并設(shè)計(jì)出注意力機(jī)制和全局特征聚合模塊，與圖卷積結(jié)合去自適應(yīng)地捕獲腦電信號(hào)在各維度上的動(dòng)態(tài)關(guān)聯(lián)強(qiáng)度和有效特征。在4個(gè)公開腦機(jī)接口數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，AMFGCN比其他基準(zhǔn)方法在運(yùn)動(dòng)想象分類任務(wù)上取得了一定程度的提升。此外，AMFGCN 模型是腦電信號(hào)分類的通用框架，適用于情感識(shí)別、睡眠分期等基于腦電進(jìn)行研究的領(lǐng)域，且該模型具有在現(xiàn)實(shí)生活中運(yùn)動(dòng)想象康復(fù)醫(yī)療領(lǐng)域應(yīng)用的潛力。

雖然本文算法顯示出了獨(dú)特的優(yōu)勢(shì)，但是依然存在一些問題需要進(jìn)一步研究。比如，當(dāng)前的研究是針對(duì)每一位受試者的，如何提出普適性更高的算法去進(jìn)行跨受試者研究，需要更深一步的探討與分析。