基于ECA和三分支卷積融合網(wǎng)絡(luò)的腦電信號(hào)解碼研究

摘" 要： 基于運(yùn)動(dòng)想象腦電信號(hào)的腦機(jī)接口系統(tǒng)可以實(shí)現(xiàn)大腦和外部設(shè)備的交互，能夠幫助殘疾人控制輔助設(shè)備，提高他們的生活質(zhì)量。然而，有限的腦電信號(hào)解碼性能限制了腦機(jī)接口產(chǎn)業(yè)的大規(guī)模發(fā)展。文中提出一種基于高效通道注意力（ECA）和三分支卷積融合網(wǎng)絡(luò)的ECA?TBCFNet模型用于基于腦電圖的運(yùn)動(dòng)想象（MI?EEG）信號(hào)解碼。ECA模塊可自動(dòng)捕捉腦電信號(hào)中的跨通道交互，三分支卷積融合網(wǎng)絡(luò)能夠多尺度地提取信號(hào)中的時(shí)空特征。ECA?TBCFNet模型在BCI競(jìng)賽IV?2a數(shù)據(jù)集上的四分類(lèi)任務(wù)中取得了83.3%的準(zhǔn)確率和0.78的kappa系數(shù)；此外，在Physionet MI?EEG數(shù)據(jù)集上兩分類(lèi)和四分類(lèi)任務(wù)中，ECA?TBCFNet模型的準(zhǔn)確率分別為87.87%和69.01%。結(jié)果表明，提出的ECA?TBCFNet模型可以有效提高運(yùn)動(dòng)想象腦電信號(hào)的識(shí)別準(zhǔn)確率，并具有較高的魯棒性。

關(guān)鍵詞： 腦機(jī)接口； 腦電圖； 運(yùn)動(dòng)想象； 高效通道注意力； 三分支卷積神經(jīng)網(wǎng)絡(luò)； 特征融合

中圖分類(lèi)號(hào)： TN911.7?34； TP391.9" " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " 文章編號(hào)： 1004?373X（2024）23?0089?09

Research on EEG signal decoding based on ECA and

three?branch convolutional fusion network

ZHOU Kai， ARKIN Hamdulla

（School of Mechanical Engineering， Xinjiang University， Urumqi 830017， China）

Abstract： Brain?computer interface （BCI） systems based on electroencephalogram?based motor imagery （MI?EEG） signals can facilitate interaction between the brain and external devices， assisting disabled individuals in controlling assistive devices and thereby improving their quality of life. However， the limited decoding performance of EEG signals has hindered the development of the BCI industry. In view of this， an ECA?TBCFNet model based on efficient channel attention （ECA） and a three?branch convolutional fusion network for decoding MI?EEG signals is proposed. The ECA module can capture the cross?channel interactions in EEG signals automatically. The three?branch convolutional fusion network can extract spatio?temporal features from the signals at multiple scales. The ECA?TBCFNet model achieves accuracy rate of 83.3% and kappa coefficient of 0.78 in the four?class task on the dataset BCI Competition IV?2a. The ECA?TBCFNet model achieves accuracy rate of 87.87% and 69.01% in the two?class tasks and four?class tasks on the dataset Physionet MI?EEG， respectively. The results demonstrate that the proposed ECA?TBCFNet model can improve the recognition accuracy rate of MI?EEG signals effectively， and has high robustness.

Keywords： BCI; EEG; MI; ECA; three?branch convolutional neural network; feature fusion

0" 引" 言

腦機(jī)接口（Brain?Computer Interface， BCI）能夠通過(guò)可穿戴傳感器和智能算法來(lái)監(jiān)測(cè)和解碼大腦活動(dòng)，并將其轉(zhuǎn)換為控制指令，進(jìn)而實(shí)現(xiàn)人腦與外部設(shè)備的交互。腦電圖（Electroencephalogram， EEG）能夠通過(guò)測(cè)量大腦皮層表面電位的微小變化來(lái)反映大腦的活動(dòng)狀態(tài)，并因其具有非侵入性和高時(shí)間分辨率等優(yōu)點(diǎn)而在BCI領(lǐng)域廣泛應(yīng)用[1]。運(yùn)動(dòng)想象（Motor Imagery， MI）是指人通過(guò)想象而非實(shí)際執(zhí)行的方式來(lái)模擬自身肢體（或肌肉）的運(yùn)動(dòng)。基于腦電圖的運(yùn)動(dòng)想象（Electroencephalogram?based Motor Imagery， MI?EEG）信號(hào)的腦機(jī)接口系統(tǒng)在醫(yī)療和非醫(yī)療領(lǐng)域均有許多應(yīng)用[1]。其中，醫(yī)療應(yīng)用包括卒中后的康復(fù)以及控制醫(yī)療輔助設(shè)備（如輪椅、假肢和外骨骼）等。非醫(yī)療應(yīng)用包括無(wú)人機(jī)或地面車(chē)輛的控制、智能家居和游戲中的環(huán)境控制等。雖然基于運(yùn)動(dòng)想象的腦機(jī)接口系統(tǒng)有著廣闊的應(yīng)用前景，但是它的發(fā)展一直受到MI?EEG信號(hào)解碼能力的制約[1]。

基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的深度學(xué)習(xí)模型具有強(qiáng)大的特征提取能力，并且能夠隨著訓(xùn)練數(shù)據(jù)規(guī)模的變化進(jìn)行擴(kuò)展[1]。因此，許多研究者對(duì)基于CNN的MI?EEG信號(hào)解碼模型進(jìn)行了深入研究。文獻(xiàn)[2]將可分離卷積整合到CNN架構(gòu)并提出EEGNet框架，該框架已成功應(yīng)用于各種MI任務(wù)分類(lèi)。文獻(xiàn)[3]提出了FBCNet架構(gòu)，通過(guò)將EEG信號(hào)劃分為多個(gè)頻率帶，利用CNN提取特征并對(duì)MI任務(wù)進(jìn)行分類(lèi)。在眾多CNN模型中，采用多分支結(jié)構(gòu)的CNN不僅可以從多維度提取特征，并可有效緩解MI分類(lèi)中的過(guò)擬合，使模型更易訓(xùn)練。文獻(xiàn)[4]設(shè)計(jì)了一種多分支的三維卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)三個(gè)尺度的卷積從原始腦電信號(hào)中提取時(shí)空信息。文獻(xiàn)[5]提出了一種多分支密集殘差連接的三維卷積網(wǎng)絡(luò)，并通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)多分支網(wǎng)絡(luò)的分類(lèi)效果優(yōu)于單分支，且網(wǎng)絡(luò)性能隨密集殘差連接的增多而增強(qiáng)。

注意力機(jī)制是深度學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)，通過(guò)添加注意力機(jī)制，深度學(xué)習(xí)架構(gòu)能夠自動(dòng)關(guān)注輸入數(shù)據(jù)、特征映射甚至層核中的重要元素[6]。最近一些研究表明，基于注意力機(jī)制的深度學(xué)習(xí)模型在MI?EEG信號(hào)的分類(lèi)任務(wù)上表現(xiàn)良好。文獻(xiàn)[7]提出了一種結(jié)合擠壓和激勵(lì)（Squeeze and Excitation， SE）注意力模塊[8]的三分支CNN模型用于無(wú)預(yù)處理的MI?EEG信號(hào)分類(lèi)。文獻(xiàn)[9]通過(guò)并行多尺度卷積神經(jīng)網(wǎng)絡(luò)提取特征，并采用多頭注意力機(jī)制模塊進(jìn)一步突出已提取特征中的重要部分，進(jìn)而提高模型識(shí)別精度。文獻(xiàn)[10]使用高效通道注意力（Efficient Channel Attention， ECA）[11]模塊聚焦與運(yùn)動(dòng)想象分類(lèi)任務(wù)相關(guān)的特征信息，有效提高了模型性能。

為了進(jìn)一步提升MI?EEG信號(hào)的分類(lèi)性能和解碼能力，本文提出了一種基于ECA和三分支卷積融合網(wǎng)絡(luò)的ECA?TBCFNet模型用于MI?EEG信號(hào)解碼，以此實(shí)現(xiàn)MI?EEG信號(hào)的跨通道交互自動(dòng)關(guān)注以及多尺度特征提取。本文主要貢獻(xiàn)如下。

1） 采用ECA模塊自適應(yīng)學(xué)習(xí)MI?EEG信號(hào)中的跨通道交互，提高M(jìn)I?EEG信號(hào)的空間特征提取能力。

2） 提出了一種三分支卷積融合網(wǎng)絡(luò)模塊，能夠多各尺度地從MI?EEG信號(hào)中提取時(shí)空特征，有效提高了模型性能。

3） 在BCI競(jìng)賽IV?2a數(shù)據(jù)集[12]和Physionet MI?EEG數(shù)據(jù)集[13]上對(duì)ECA?TBCFNet模型進(jìn)行了評(píng)估，取得了較高的分類(lèi)精度。

1" 研究方法

1.1" 網(wǎng)絡(luò)模型

本文提出的ECA?TBCFNet模型包含ECA模塊和三分支卷積融合網(wǎng)絡(luò)模塊，具體結(jié)構(gòu)如圖1所示。首先，采用ECA模塊捕捉原始MI?EEG信號(hào)中的跨通道交互，提高腦電信號(hào)的空間分辨率；然后，采用三分支卷積融合網(wǎng)絡(luò)模塊從多個(gè)尺度提取MI?EEG信號(hào)中的時(shí)空特征；最后，將提取到的特征輸入至全連接層并利用Softmax函數(shù)實(shí)現(xiàn)類(lèi)別劃分。

1.2" 模型輸入表示

本文所提出的ECA?TBCFNet模型以一個(gè)運(yùn)動(dòng)想象實(shí)驗(yàn)[Xi∈RC×T]為輸入，該實(shí)驗(yàn)由[C]個(gè)EEG電極（通道）和[T]個(gè)時(shí)間點(diǎn)組成。ECA?TBCFNet模型的目標(biāo)是將輸入的MI實(shí)驗(yàn)[Xi]映射到其相應(yīng)的類(lèi)[yi]，給定一組[m]標(biāo)記的MI實(shí)驗(yàn)[S={Xi，yi}mi=1]，其中，[yi∈{1，2，…，n}]是實(shí)驗(yàn)[Xi]對(duì)應(yīng)的類(lèi)標(biāo)簽，[n]為集合[S]定義的類(lèi)總數(shù)。

對(duì)于BCI競(jìng)賽IV?2a數(shù)據(jù)集[12]，其中，腦電通道個(gè)數(shù)[C]=22，時(shí)間點(diǎn)個(gè)數(shù)[T]=1 125，MI實(shí)驗(yàn)個(gè)數(shù)[m]=5 184，MI類(lèi)別個(gè)數(shù)[n]=4。對(duì)于Physionet MI?EEG數(shù)據(jù)集[13]，腦電通道個(gè)數(shù)[C]=64，時(shí)間點(diǎn)個(gè)數(shù)[T]=640，MI實(shí)驗(yàn)個(gè)數(shù)[m]=9 241，MI類(lèi)別個(gè)數(shù)[n]=4。

1.3" 高效通道注意力（ECA）

從腦電信號(hào)采集的角度來(lái)看，單個(gè)腦電通道記錄的電信號(hào)是由于體積傳導(dǎo)作用而產(chǎn)生的多個(gè)神經(jīng)元活動(dòng)的疊加。為了減少腦電信號(hào)通道之間的相互干擾，提高腦電信號(hào)的空間分辨率，文獻(xiàn)[14]將通道注意力機(jī)制成功應(yīng)用于MI?BCI的通道選擇，并取得78.8%的準(zhǔn)確率和0.71的Kappa值。受此啟發(fā)，本文引入ECA模塊來(lái)重新校準(zhǔn)腦電信號(hào)的空間信息，提高模型對(duì)腦電信號(hào)空間（通道）特征的提取能力。ECA模塊利用神經(jīng)網(wǎng)絡(luò)對(duì)提取到的時(shí)空特征賦予關(guān)注權(quán)值，并根據(jù)特征的重要性自適應(yīng)優(yōu)化網(wǎng)絡(luò)參數(shù)，詳細(xì)實(shí)現(xiàn)過(guò)程如下。

1） 如圖2所示，ECA模塊輸入的維數(shù)為[（N，H，W，C）]，其中[C]為通道數(shù)。GAP表示全局平均池化，它在不減少通道數(shù)的同時(shí)將輸入的數(shù)據(jù)壓縮，并聚合每個(gè)通道的特征。經(jīng)過(guò)GAP層后，輸入的維數(shù)變?yōu)閇（N，1，1，C）]。

2） 在GAP層之后，通過(guò)一維卷積層自動(dòng)學(xué)習(xí)新的特征圖。當(dāng)計(jì)算權(quán)重時(shí)，一維卷積層的卷積核大小會(huì)影響注意力機(jī)制中特征通道的數(shù)量，即跨通道交互的覆蓋面。因此，需要考慮每個(gè)通道及其相鄰的[k]個(gè)通道，所以采用了一種自適應(yīng)方法來(lái)確定[k]的值，其中[k]與特征通道數(shù)成比例，如式（1）所示，[b]表示[k]與通道數(shù)[C]之間線性映射的偏移量。

[k=ψ（C）=log2 Cy+byodd] （1）

3） 通過(guò)[σ]對(duì)非聚合通道進(jìn)行特征重分布，如式（2）所示。[σ]表示經(jīng)過(guò)通道交互后獲得的效果與分配的權(quán)重之間的關(guān)系，C1D表示卷積核大小為[k]的一維卷積層。在本文中，[σ]采用Sigmoid函數(shù)來(lái)映射權(quán)重。

[ω=σ（C1Dk（y））] （2）

1.4" 三分支卷積融合網(wǎng)絡(luò)模塊

在MI?EEG分類(lèi)任務(wù)中，單分支CNN的性能可能因受試者甚至信號(hào)采集時(shí)間點(diǎn)的不同而受到較大影響，而多分支CNN能夠從EEG信號(hào)中獲得更全面的特征，且魯棒性更好。因此，本文提出一種三分支卷積融合網(wǎng)絡(luò)模塊，從多個(gè)尺度對(duì)MI?EEG信號(hào)的頻譜和空間特征進(jìn)行提取，以此提高模型性能，具體結(jié)構(gòu)如圖3所示。

三分支卷積網(wǎng)絡(luò)融合模塊的第一部分為時(shí)序卷積層，包含[F1]個(gè)大小為[（1，Kc）]的卷積核。本文將[F1]取為16，此外，為了卷積層提取4 Hz及以上的頻率信息，[Kc]被設(shè)定為采樣率[Fs]的[14]。時(shí)序卷積層的輸出是時(shí)序特征圖。

三分支卷積網(wǎng)絡(luò)融合模塊的第二部分為三分支卷積網(wǎng)絡(luò)，其中分支一與分支二具有相同結(jié)構(gòu)，均由一個(gè)深度卷積層和一個(gè)時(shí)空卷積層組成，分支三僅由一個(gè)深度卷積層組成。時(shí)序卷積層輸出的時(shí)序特征圖經(jīng)過(guò)三個(gè)分支中的深度卷積層處理后分別輸出一個(gè)時(shí)間序列[Si，2∈RT×Di×F1]，[i=1，2，3]，其中[i]表示分支序號(hào)，[Di]表示各分支連接到每個(gè)時(shí)序特征圖的空間核數(shù)。本文將三個(gè)分支中的深度卷積層的[Di]分別設(shè)定為[D1=2]，[D2=6]，[D3=3]。在各分支的深度卷積層之后均用內(nèi)核大小為（1，8）的平均池化層將時(shí)間數(shù)據(jù)和采樣頻率降低到輸入的[18]。分支一與分支二的第二個(gè)卷積層均為時(shí)空卷積層，包含[F2]個(gè)大小為[（1，Kc2）]的卷積核。為便于在500 ms（32 Hz采樣數(shù)據(jù)）內(nèi)解碼MI活動(dòng)，兩個(gè)分支的[Kc2]均被設(shè)置[6]為16。時(shí)空卷積層能夠自動(dòng)學(xué)習(xí)如何將時(shí)空特征最優(yōu)融合在一起，并輸出一個(gè)高級(jí)時(shí)空序列[Si，3∈RT1×F2]，[i=1，2]。然后，使用內(nèi)核大小為（1，[P2]）的平均池化層將采樣率降低到[-32P2] Hz，本文將[P2]設(shè)為7。最后，分支一與分支二均輸出一個(gè)時(shí)間序列[zi∈RTc×d]，[i=1，2]，分支三輸出一個(gè)時(shí)間序列[S3，2∈RT×D3×F1]。

將三個(gè)分支輸出的時(shí)空序列展平并拼接成一個(gè)時(shí)序序列，再將其輸入到全連接層并通過(guò)Softmax函數(shù)進(jìn)行類(lèi)別預(yù)測(cè)。上述所有卷積層均通過(guò)批量歸一化加速網(wǎng)絡(luò)訓(xùn)練，并通過(guò)指數(shù)線性單元（Exponential Linear Unit， ELU）激活非線性。

2" 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

2.1" 數(shù)據(jù)集介紹

BCI競(jìng)賽IV?2a數(shù)據(jù)集[12]是一個(gè)著名的MI?EEG公共數(shù)據(jù)集，其包含22個(gè)腦電圖電極記錄9名受試者的 5 184次MI?EEG樣本（每個(gè)受試者576次）。每個(gè)MI實(shí)驗(yàn)持續(xù)4 s，采樣頻率為250 Hz。每次MI實(shí)驗(yàn)均為以下四種任務(wù)之一：想象左手運(yùn)動(dòng)、想象右手運(yùn)動(dòng)、想象雙腳運(yùn)動(dòng)和想象舌頭運(yùn)動(dòng)。每個(gè)受試者均在不同的兩天各進(jìn)行了一次采集實(shí)驗(yàn)，每次實(shí)驗(yàn)記錄288次MI任務(wù)，其中一次實(shí)驗(yàn)的數(shù)據(jù)用于訓(xùn)練模型，另一次用于測(cè)試模型。

Physionet MI?EEG數(shù)據(jù)集[13]包括109名受試者的腦電圖記錄。每個(gè)受試者均進(jìn)行了包含4項(xiàng)任務(wù)的14次實(shí)驗(yàn)，并使用BCI 2000系統(tǒng)以160 Hz的采樣率記錄執(zhí)行任務(wù)時(shí)的64通道腦電圖信號(hào)。14次實(shí)驗(yàn)包括2個(gè)基線實(shí)驗(yàn)、6個(gè)實(shí)際動(dòng)作實(shí)驗(yàn)和6個(gè)MI實(shí)驗(yàn)。MI實(shí)驗(yàn)包括左拳（L）、右拳（R）、雙拳（LR）和雙腳（F）4種MI任務(wù)。每種MI任務(wù)進(jìn)行21次，每次持續(xù)4 s。由于標(biāo)注錯(cuò)誤，本文未采用受試者38、88、89、92、100和104的數(shù)據(jù)。

2.2" 數(shù)據(jù)集預(yù)處理

將采用很少預(yù)處理的腦電信號(hào)作為深度學(xué)習(xí)模型的輸入可以得到更具競(jìng)爭(zhēng)力的結(jié)果[1]。因此本文分別對(duì)BCI競(jìng)賽IV?2a數(shù)據(jù)集和Physionet MI?EEG數(shù)據(jù)集僅進(jìn)行0.5[～]100 Hz的帶通濾波和0[～]80 Hz的帶通濾波。

此外，兩個(gè)數(shù)據(jù)集的MI?EEG信號(hào)在輸入模型前均進(jìn)行了標(biāo)準(zhǔn)化處理，如式（3）所示：

[x′i=xi-mean（xi）std（xi），" " i=1，2，…，C] （3）

式中[C]為EEG信號(hào)通道數(shù)。

2.3" 評(píng)估方法與評(píng)價(jià)指標(biāo)

2.3.1" 評(píng)估方法

在BCI競(jìng)賽IV?2a數(shù)據(jù)集上，使用受試者依賴和受試者獨(dú)立方法評(píng)估提出的模型。對(duì)于受試者依賴方法，本文使用第一次采集的288×9個(gè)MI實(shí)驗(yàn)數(shù)據(jù)用于訓(xùn)練，將第二次采集的數(shù)據(jù)用于測(cè)試。對(duì)于受試者獨(dú)立方法，本文采用留下一個(gè)被試（Leaving One Subject Out，" LOSO）的方法，即模型訓(xùn)練和測(cè)試的次數(shù)等于被試的數(shù)量，每次使用一個(gè)受試者的數(shù)據(jù)測(cè)試模型，剩下的其他受試者數(shù)據(jù)用于訓(xùn)練模型。

在Physionet MI?EEG數(shù)據(jù)集上通過(guò)受試者獨(dú)立的方法對(duì)提出的模型進(jìn)行評(píng)估。具體來(lái)講，是采用10折交叉驗(yàn)證來(lái)評(píng)估模型的性能，即在每次實(shí)驗(yàn)中隨機(jī)選擇10%的數(shù)據(jù)進(jìn)行測(cè)試，其余90%的數(shù)據(jù)用于訓(xùn)練。此過(guò)程重復(fù)10次，并將10次實(shí)驗(yàn)結(jié)果的平均值作為最終結(jié)果。

2.3.2" 評(píng)價(jià)指標(biāo)

本文使用準(zhǔn)確率（Acc），單位為%，以及Kappa系數(shù)（[K]）作為模型性能的評(píng)價(jià)指標(biāo)，具體描述如下：

[Acc=i=1nTPi Iin] （4）

式中：[TPi]為正樣本，即第[i]類(lèi)中正確預(yù)測(cè)的樣本數(shù)；[Ii]為第[i]類(lèi)中的樣本數(shù)；[n]為類(lèi)數(shù)。

[K=1nj=1nPj-Pe1-Pe] （5）

式中：[n]為類(lèi)別的數(shù)量；[Pj]是第[j]類(lèi)被正確分類(lèi)的實(shí)際百分比；[Pe]為所有類(lèi)別被正確分類(lèi)的預(yù)期百分比。

2.4" 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文所有實(shí)驗(yàn)均是在Ubuntu 22.04操作系統(tǒng)上完成，GPU為NVIDIA GTX 3080顯卡，顯存為10 GB，編譯語(yǔ)言為Python 3.8，深度學(xué)習(xí)框架為T(mén)ensorFlow 2.9。在訓(xùn)練前用Glorot統(tǒng)一初始化器進(jìn)行模型權(quán)重初始化，訓(xùn)練時(shí)采用Adam優(yōu)化器進(jìn)行參數(shù)優(yōu)化，損失函數(shù)采用多分類(lèi)交叉熵函數(shù)，學(xué)習(xí)率為0.000 9。在BCI競(jìng)賽IV?2a數(shù)據(jù)集訓(xùn)練1 000個(gè)epoch，批量大小為64，在Physionet MI?EEG數(shù)據(jù)集訓(xùn)練500個(gè)epoch，批量大小為32。

3" 實(shí)驗(yàn)結(jié)果與分析

3.1" 深度卷積層的輸出通道數(shù)選擇

為探究三分支卷積網(wǎng)絡(luò)融合模塊中的深度卷積層輸出通道數(shù)的變化對(duì)模型性能的影響，本文在BCI競(jìng)賽IV?2a數(shù)據(jù)集上對(duì)ECA?TBCNet模型進(jìn)行了參數(shù)對(duì)比實(shí)驗(yàn)。

深度卷積層的輸出通道數(shù)為[F1×Di]，[i=1，2，3]，其中[F1]為輸入通道數(shù)，[Di]是鏈接到前一層每個(gè)時(shí)間特征圖的濾波器數(shù)量，[i]是三分支卷積網(wǎng)絡(luò)模塊中的分支序號(hào)。本文中的三個(gè)深度卷積層的輸入通道數(shù)[F1]均為16，所以輸出通道數(shù)由[Di]唯一確定。對(duì)于單分支卷積網(wǎng)絡(luò)，輸出通道數(shù)為32的深度卷積層有較好的特征提取能力[2，6，15]。因此本文將三分支卷積網(wǎng)絡(luò)模塊的分支一中的深度卷積層的參數(shù)[D1]選定為2，并采用控制變量的方法探究[D2]與[D3]對(duì)ECA?TBCNet模型性能的影響。本文將[D2]與[D3]的取值范圍規(guī)定為2～6之間的整數(shù)。實(shí)驗(yàn)時(shí)，首先將[D2]的值固定，然后記錄下[D3]從2增加到6時(shí)ECA?TBCNet模型性能的變化，結(jié)果如圖4所示。

從圖4可知：隨著[D3]取值增大，模型分類(lèi)準(zhǔn)確率的總體趨勢(shì)是逐步降低的，但當(dāng)[D2]與[D3]取值不同為偶數(shù)或奇數(shù)時(shí)，分類(lèi)準(zhǔn)確率會(huì)有不同程度的增加，這表明[D2]與[D3]同時(shí)取偶數(shù)或者奇數(shù)時(shí)，提取到的特征相似，不能起到相互補(bǔ)充的作用；反之，能夠提取到多種尺度的特征，發(fā)揮出多分支網(wǎng)絡(luò)的優(yōu)勢(shì)。此外，當(dāng)[D2=6]且[D3=3]時(shí)，ECA?TBCNet模型為最佳工作狀態(tài)。

3.2" 不同注意力機(jī)制對(duì)模型性能的影響

為了檢驗(yàn)不同注意力機(jī)制對(duì)于模型性能的影響，本文在模型中分別采用SE、CBAM[16]和ECA三種注意力機(jī)制，并在BCI競(jìng)賽IV?2a數(shù)據(jù)集上進(jìn)行訓(xùn)練與驗(yàn)證實(shí)驗(yàn)，結(jié)果如表1所示。

由表1可知，三種注意力機(jī)制均能提升模型性能，其中ECA模型結(jié)果最好，這是由于ECA具有強(qiáng)大的跨通道交互捕捉能力，并且能夠避免通道降維，能更好地為各個(gè)通道賦予權(quán)值。

3.3" 消融實(shí)驗(yàn)

為了探究各模塊對(duì)模型性能的具體貢獻(xiàn)，本文在BCI競(jìng)賽IV?2a數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如表2所示。

由表2可知，ECA模塊使整體精度提高了0.77%。當(dāng)去除ECA模塊后，即僅有三分支卷積網(wǎng)絡(luò)融合模塊時(shí)，去除三分支卷積網(wǎng)絡(luò)中的分支二使準(zhǔn)確率降低0.82%，去除分支三使準(zhǔn)確率降低0.74%，同時(shí)去除分支二和分支三使準(zhǔn)確率降低2.05%，這說(shuō)明分支二和分支三均有較強(qiáng)的特征提取能力，并且均能對(duì)分支一提取到的特征進(jìn)行補(bǔ)充。

3.4" 分類(lèi)結(jié)果對(duì)比與分析

3.4.1" BCI競(jìng)賽IV?2a數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)

本節(jié)使用BCI競(jìng)賽IV?2a數(shù)據(jù)集評(píng)估ECA?TBCFNet模型的性能，并與復(fù)現(xiàn)模型進(jìn)行比較，包括EEGNet[2]、EEG?TCNet[15]和TCNet?Fusion[17]。復(fù)現(xiàn)模型的分類(lèi)結(jié)果是采用原始文章中定義的參數(shù)訓(xùn)練得到的，而預(yù)處理、訓(xùn)練和評(píng)估是按照本文中指定的方法進(jìn)行的。

表3顯示了10次隨機(jī)訓(xùn)練后，每個(gè)模型在受試者依賴評(píng)估上的最佳性能和平均性能。

表3結(jié)果表明：ECA?TBCFNet模型中所有受試者的精度均優(yōu)于其他模型，其準(zhǔn)確率為83.3%，[K]為0.78；ECA?TBCFNet模型10次訓(xùn)練的平均性能，即平均90次單獨(dú)且隨機(jī)訓(xùn)練（9個(gè)受試者×10次運(yùn)行）也高于其他模型。這表明ECA?TBCFNet模型具有較強(qiáng)的學(xué)習(xí)能力，并能在多次運(yùn)行后重現(xiàn)相似的穩(wěn)定結(jié)果。此外，ECA?TBCFNet模型取得了最佳的標(biāo)準(zhǔn)偏差（std），表明該模型在不同受試者身上的分類(lèi)性能更加穩(wěn)定。

圖5為ECA?TBCFNet模型和其他復(fù)現(xiàn)模型（EEGNet、EEG?TCNet以及TCNet Fusion）的混淆矩陣。與其他模型相比，ECA?TBCFNet模型提升了所有MI活動(dòng)的分類(lèi)性能。

在表4中，本文根據(jù)預(yù)處理、輸入數(shù)據(jù)、網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)性能比較了近年來(lái)的MI解碼研究。

結(jié)果表明，ECA?TBCFNet模型的性能優(yōu)于以往使用原始MI?EEG信號(hào)且未進(jìn)行預(yù)處理的模型。在受試者依賴和受試者獨(dú)立評(píng)估上，ECA?TBCFNet模型都取得了最佳表現(xiàn)，這說(shuō)明該模型對(duì)新受試者具有更好的泛化能力。

t分布隨機(jī)鄰居嵌入（t?Distributed Stochastic Neighbor Embedding， t?SNE）是一種廣泛應(yīng)用的統(tǒng)計(jì)降維和特征可視化技術(shù)，其能夠?qū)⒏呔S數(shù)據(jù)點(diǎn)映射到低維空間，同時(shí)保留數(shù)據(jù)的局部結(jié)構(gòu)。

圖6為復(fù)現(xiàn)模型和本文提出的ECA?TBCFNet模型在BCI競(jìng)賽IV?2a數(shù)據(jù)集上的t?SNE特征可視化結(jié)果。從圖中可知，ECA?TBCFNet模型提取到的特征具有更清晰的邊界和更明顯的聚類(lèi)，這再次證明了該模型能夠有效地提取特征信息，并增強(qiáng)不同類(lèi)別的可分性。

3.4.2" Physionet MI?EEG數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)

為了進(jìn)一步測(cè)試ECA?TBCFNet模型的解碼能力和魯棒性，本文在Physionet MI?EEG數(shù)據(jù)集上對(duì)該模型進(jìn)行了兩類(lèi)（L和R）和四類(lèi)（L，R，LR和F）運(yùn)動(dòng)想象分類(lèi)實(shí)驗(yàn)，并與該數(shù)據(jù)集上的先進(jìn)模型進(jìn)行對(duì)比，結(jié)果如表5所示。

從表5中可以看出：ECA?TBCFNet模型在兩類(lèi)和四類(lèi)運(yùn)動(dòng)想象分類(lèi)任務(wù)上的準(zhǔn)確率分別達(dá)到了87.87%和69.01%，相比于其他模型分別提高了1.17%和0.47%，這證明ECA?TBCFNet模型具有較優(yōu)的特征提取和分類(lèi)性能。

圖7為ECA?TBCFNet模型在兩類(lèi)和四類(lèi)運(yùn)動(dòng)想象分類(lèi)任務(wù)中的混淆矩陣。結(jié)果表明，ECA?TBCFNet模型在識(shí)別左拳、右拳類(lèi)別上表現(xiàn)良好，但在識(shí)別雙拳類(lèi)別上表現(xiàn)較差。這說(shuō)明該模型對(duì)單手運(yùn)動(dòng)時(shí)的雙側(cè)大腦區(qū)域的神經(jīng)活動(dòng)有較好的識(shí)別能力，但對(duì)雙手運(yùn)動(dòng)時(shí)的神經(jīng)活動(dòng)識(shí)別能力較弱。此外，該模型在雙腳類(lèi)別上有較高的分類(lèi)準(zhǔn)確率，說(shuō)明其可以有效識(shí)別來(lái)自單側(cè)運(yùn)動(dòng)皮層的神經(jīng)活動(dòng)。

圖8為使用t?SNE方法對(duì)ECA?TBCFNet模型在Physionet數(shù)據(jù)集上的兩類(lèi)和四類(lèi)分類(lèi)運(yùn)動(dòng)想象任務(wù)中提取到的特征進(jìn)行可視化處理后的結(jié)果。

由圖8可知，在這兩個(gè)分類(lèi)任務(wù)中，來(lái)自左拳和右拳的大多數(shù)特征樣本都表現(xiàn)出較高的可分辨性，這表明ECA?TBCFNet模型可以有效地提取到這兩類(lèi)運(yùn)動(dòng)想象任務(wù)的特征。在四類(lèi)運(yùn)動(dòng)想象分類(lèi)任務(wù)中，提取到的雙腳運(yùn)動(dòng)想象特征具有較高的可分辨性，而雙拳運(yùn)動(dòng)想象特征重疊明顯，可分辨性較低，不利于準(zhǔn)確分類(lèi)。

4" 結(jié)" 論

為提高運(yùn)動(dòng)想象腦電信號(hào)識(shí)別準(zhǔn)確率，本文提出了一種基于ECA和三分支卷積融合網(wǎng)絡(luò)的ECA?TBCFNet模型。首先，通過(guò)ECA模塊捕捉原始MI?EEG信號(hào)中的跨通道交互；然后，使用三分支卷積網(wǎng)絡(luò)融合模塊從多個(gè)尺度提取EEG信號(hào)的時(shí)空特征；最后，將提取到的特征輸入全連接層并利用Softmax函數(shù)實(shí)現(xiàn)類(lèi)別劃分。

為驗(yàn)證本文所提出模型的識(shí)別準(zhǔn)確率與泛化魯棒性，進(jìn)行了相關(guān)實(shí)驗(yàn)，結(jié)論如下。

1） 通過(guò)在BCI競(jìng)賽IV?2a數(shù)據(jù)集的消融實(shí)驗(yàn)證明ECA?TBCFNet模型中的各模塊均對(duì)整體性能有顯著的貢獻(xiàn)。然后，通過(guò)在BCI競(jìng)賽IV?2a數(shù)據(jù)集上的模型對(duì)比實(shí)驗(yàn)可知，ECA?TBCFNet模型的受試者獨(dú)立準(zhǔn)確率為70.8%，受試者依賴準(zhǔn)確率為83.3%，優(yōu)于當(dāng)前模型，證明該模型能夠有效地從原始MI?EEG信號(hào)中檢測(cè)MI活動(dòng)。此外，通過(guò)混淆矩陣可知，該模型還提高了所有受試者的腦電信號(hào)識(shí)別能力，展現(xiàn)了其從不同受試者和不同類(lèi)別中提取更豐富MI特征的能力，并通過(guò)t?SNE特征可視化再次證明了這點(diǎn)。

2） 為了再次評(píng)估ECA?TBCFNet模型的特征提取和分類(lèi)能力，以及在新數(shù)據(jù)集上的泛化性能，本文在Physionet MI?EEG數(shù)據(jù)集上進(jìn)行了兩類(lèi)和四類(lèi)運(yùn)動(dòng)想象任務(wù)的分類(lèi)實(shí)驗(yàn)。結(jié)果顯示，ECA?TBCFNet模型的兩分類(lèi)和四分類(lèi)準(zhǔn)確率分別為87.87%和69.01%，優(yōu)于該數(shù)據(jù)集上的其他模型，證實(shí)了ECA?TBCFNet模型有較強(qiáng)的運(yùn)動(dòng)想象腦電信號(hào)解碼能力和高魯棒性。在未來(lái)的工作中，將繼續(xù)探索和優(yōu)化框架，再次提高M(jìn)I?EEG信號(hào)的識(shí)別能力。

注：本文通訊作者為艾爾肯·亥木都拉。

參考文獻(xiàn)

[1] ALTAHERI H， MUHAMMAD G， ALSULAIMAN M， et al. Deep learning techniques for classification of electroencephalogram （EEG） motor imagery （MI） signals： A review [J]. Neural computing application， 2023， 35（20）： 14681?14722.

[2] LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： A compact convolutional neural network for EEG?based brain?computer interfaces [J]. Journal of neural engineering， 2018， 15（5）： 056013.

[3] MANE R， ROBINSON N， VINOD A P， et al. A multi?view CNN with novel variance layer for motor imagery brain computer interface [C]// 2020 42nd Annual International Conference of the IEEE Engineering in Medicine amp; Biology Society （EMBC）. New York： IEEE， 2020： 2950?2953.

[4] ZHAO X Q， ZHANG H M， ZHU G L， et al. A multi?branch 3D convolutional neural network for EEG?based motor imagery classification [J]. IEEE transactions on neural systems and rehabilitation engineering， 2019， 27（10）： 2164?2177.

[5] LIU T， YANG D. A densely connected multi?branch 3D convolutional neural network for motor imagery EEG decoding [J]. Brain sciences， 2021， 11（2）： 197.

[6] ALTAHERI H， MUHAMMAD G， ALSULAIMAN M. Dynamic convolution with multilevel attention for EEG?based motor imagery decoding [C]// IEEE Internet of Things journal， 2023， 10（21）： 18579?18588.

[7] ALTUWAIJRI G A， MUHAMMAD G， ALTAHERI H， et al. A multi?branch convolutional neural network with squeeze?and?excitation attention blocks for EEG?based motor imagery signals classification [J]. Diagnostics， 2022， 12（4）： 995.

[8] HU J， SHEN L， ALBANIE S， et al. Squeeze?and?excitation networks [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 2011?2023.

[9] 馮澤林，宋耀蓮.多尺度卷積與注意力機(jī)制的腦電信號(hào)識(shí)別研究[J].現(xiàn)代電子技術(shù)，2023，46（23）：85?92.

[10] 周成誠(chéng)，曾慶軍，楊康，等.基于高效通道注意力模塊的運(yùn)動(dòng)想象腦電識(shí)別[J].計(jì)算機(jī)與現(xiàn)代化，2023（12）：19?23.

[11] WANG Q， WU B， ZHU P， et al. ECA?Net： Efficient channel attention for deep convolutional neural networks [C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2020： 11531?11539.

[12] BRUNNER C， LEEB R， MüLLER?PUTZ G R， et al. BCI competition 2008： Graz data set A [EB/OL]. [2023?09?13]. https：//bbci.de/competition/iv/desc_2a.pdf.

[13] GOLDBERGER A L， AMARAL L A， GLASS L， et al. PhysioBank， PhysioToolkit， and PhysioNet： Components of a new research resource for complex physiologic signals [J]. Circulation， 2000， 101（23）： E215.

[14] MIAO Z Q， ZHAO M R， ZHANG X， et al. LMDA?Net： A lightweight multi?dimensional attention network for general EEG?based brain computer interfaces and interpretability [J]. Neuroimage， 2023， 276： 120209.

[15] INGOLFSSON T M， HERSCHE M， WANG X Y， et al. EEG?TCNet： An accurate temporal convolutional network for embedded motor?imagery brain?machine interfaces [EB/OL]. [2020?06?09]. https：//arxiv.org/abs/2006.00622.

[16] WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module [C]// Proceedings of the European Conference on Computer Vision （ECCV）. Heidelberg， Germany： Springer， 2018： 3?19.

[17] MUSALLAM Y K， ALFASSAM N I， MUHAMMAD G， et al. Electroencephalography?based motor imagery classification using temporal convolutional network fusion [J]. Biomedical signal processing and control， 2021， 69： 102826.

[18] AMIN S U， ALSULAIMAN M， MUHAMMAD G， et al. Deep learning for EEG motor imagery classification based on multi?layer CNNs feature fusion [J]. Future generations computer systems， 2019， 101： 542?554.

[19] DOSE H， M?LLER J S， IVERSEN H K， et al. An end?to?end deep learning approach to MI?EEG signal classification for BCIs [J]. Expert systems with applications， 2018， 114： 532?542.

[20] ROOTS K， MUHAMMAD Y， MUHAMMAD N. Fusion convolutional neural network for cross?subject EEG motor imagery classification [J]. Computers （Basel）， 2020， 9（3）： 72.

[21] KOSTAS D， AROCA?OUELLETTE S， RUDZICZ F. BENDR： Using transformers and a contrastive self?supervised learning task to learn from massive amounts of EEG data [EB/OL]. [2021?01?28]. https：//arxiv.org/abs/2101.12037.

[22] XIE J， ZHANG J， SUN J， et al. A transformer based approach combining deep learning network and spatial temporal information for raw EEG classification [J]. IEEE transactions on neural systems and rehabilitation engineering， 2022， 30： 2126?2136.

[23] ALI O， SAIF?UR?REHMAN M， GLASMACHERS T， et al. ConTraNet： A single end?to?end hybrid network for EEG?based and EMG?based human machine interfaces [EB/OL]. [2022?10?02]. https：//doi.org/10.48550/arXiv.2206.10677.

作者簡(jiǎn)介：周" 凱（1997—），男，河南商丘人，碩士研究生，研究方向?yàn)槟X機(jī)接口、運(yùn)動(dòng)想象腦電信號(hào)處理。

艾爾肯·亥木都拉（1972—），男，新疆鳥(niǎo)魯木齊人，碩士研究生，副教授，研究方向?yàn)槟X機(jī)接口、信號(hào)處理和高端農(nóng)牧裝備與特種機(jī)器人。