融合Transformer網絡與卷積神經網絡的穩態運動視覺誘發電位解碼方法

摘要：針對卷積神經網絡（CNN）在感受野有限、缺乏對全局信息的有效感知，以及在處理短時穩態運動視覺誘發電位（SSMVEP）信號時分類效果欠佳的問題，提出了一種緊湊EEGNet-Transformer（即EEGNetformer）網絡。EEGNetformer網絡融合了為腦電（EEG）信號識別任務而設計的通用的卷積神經網絡EEGNet網絡和Transformer網絡的優勢，有效地捕捉與處理腦電信號中的局部和全局信息，增強網絡對SSMVEP特征的學習，進而實現良好的解碼性能。EEGNet網絡用于提取SSMVEP的局部時間和空間特征，而Transformer網絡用于捕捉腦電時間序列的全局信息。在基于SSMVEP-BCI范式采集的數據基礎上，開展了實驗以評估EEGNetformer網絡的性能。實驗結果顯示，當在2 s SSMVEP數據條件下，EEGNetformer網絡在基于被試者內情況的平均準確率為88.9%±6.6%，在基于跨被試者情況的平均準確率為69.1%±4.3%。與傳統的CNN算法相比，EEGNetformer網絡的分類性能提升了4.2%～17.4%。研究內容說明，EEGNetformer網絡在有效提高SSMVEP-BCI識別準確率方面具有顯著優勢，為進一步提升SSMVEP-BCI解碼性能提供了新的研究思路。

關鍵詞：穩態運動視覺誘發電位；EEGNet網絡；Transformer網絡；EEGNetformer網絡

中圖分類號：R318 文獻標志碼：A

DOI：10.7652/xjtuxb202505005 文章編號：0253-987X（2025）05-0044-10

Steady-State Motion Visual Evoked Potential Decoding Method Based on Integration of Transformer Network and Convolutional Neural Network

ZHANG Huanqing， XIE Jun， YANG Hanlin， DU Fangzhao， JIN Zhiwei， CHEN Yujie

（School of Mechanical Engineering， Xi’an Jiaotong University， Xi’an 710049， China）

Abstract：Addressing the issues of limited receptive fields and ineffective perception of global information in convolutional neural networks （CNNs）， as well as their suboptimal classification performance when processing short-duration steady-state motion visual evoked potentials （SSMVEP） signals， a compact EEGNet-Transformer （i.e， EEGNetformer） network is proposed. EEGNetformer network integrates the strengths of the EEGNet network （a general-purpose CNN designed for EEG recognition tasks） and the Transformer network. It efficiently captures and processes both local and global information in the electroencephalogram （EEG） signals， enhancing the network’s learning of the SSMVEP features， thereby achieving an excellent decoding performance. The EEGNet network is utilized to extracts local temporal and spatial features of SSMVEP， while the Transformer network is utilized to capture global information in EEG time series. Based on data collected using the SSMVEP-BCI paradigm， experiments were conducted to evaluate the performance of the EEGNetformer network. The results showed that under the condition of 2 s SSMVEP data， EEGNetformer achieved an average accuracy of 88.9%±6.6% for within-subject conditions and 69.1%±4.3% for cross-subject conditions. Compared with traditional CNN algorithms， the classification performance of the EEGNetformer network was improved by 4.2%—17.4%. These findings demonstrate the significant advantage of EEGNetformer network in enhancing the recognition accuracy of SSMVEP-BCI systems， providing a new research direction for further enhancing SSMVEP-BCI decoding performance.

Keywords：steady-state motion visual evoked potential （SSMVEP）; EEGNet network; Transformer network; EEGNetformer network

腦機接口（BCI）是一種通過采集和解碼大腦信號來實現大腦與外部設備進行直接交互的技術^［1-2］。近年來，隨著神經科學和計算機技術的快速發展，BCI在醫療康復、神經科學和軍事等領域展現出廣泛的應用前景^［3］。其中，穩態視覺誘發電位（SSVEP）作為一種常見的BCI誘發電位信號，因其高信噪比、易于獲取和穩定性好等特點，受到了廣泛關注^［4-5］。

SSVEP是一種由外部周期性視覺刺激（如閃爍的光源）引起的大腦響應，其頻率和外部刺激頻率一致或成整數倍關系^［6-7］。通過解碼SSVEP信號對用戶視覺注意目標的識別，從而實現與外部設備交互。然而，使用傳統SSVEP刺激容易導致用戶視覺不適，降低了BCI系統的使用舒適度和性能^［8］。穩態運動視覺誘發電位（SSMVEP）在緩解用戶視覺不適方面展現出了獨特的優勢和潛力^［9］。SSMVEP是由視覺運動刺激誘發，相比于靜態的閃爍光源刺激，視覺運動刺激通過動態變化的視覺元素來誘發腦電響應^［10］。

腦電信號解碼算法影響著SSVEP-BCI系統的性能。早期Lin等提出了典型相關分析（CCA）^［11］方法。Chen等利用穩態視覺刺激能夠同時誘發諧波頻率的特性，提出了濾波器組典型相關性分析（FBCCA）^［12］方法。這些方法處理簡單，不需要預訓練數據，被廣泛的運用于SSVEP的分類中。然而，由于腦電的復雜性，數據往往含有噪聲，如自發腦電、眼電和電磁干擾等，嚴重污染了腦電數據。CCA方法只有在數據長度足夠長的情況下才有滿意的結果。此外這些特征提取方法是任務相關的，是在特定的先驗知識下獲得的，并且泛化能力有限^［13］。

深度學習模型具有強大的特征提取能力，可以直接應用于原始數據^［14］。目前，各種深度學習模型已被用于不同的腦電分類任務，其中卷積神經網絡（CNN）應用的最為廣泛^［15］。EEGNet是一種緊湊的CNN模型，能夠通過時空濾波實現有效的特征提取，具有明顯優于傳統方法的性能^［16］。復雜卷積神經網絡（cCNN）利用SSVEP信號的復雜頻譜特征作為CNN的輸入，在被試者間和跨被試者訓練情況下均實現優異的SSVEP分類性能^［17］。此外，基于時域的卷積神經網絡（tCNN）用于解決較短時間刺激誘發的SSVEP在頻域上的頻率峰值不明顯、頻域信息作為輸入會導致任務相關信息的丟失等問題，并獲得了優異的識別性能^［18］。這些基于卷積神經網絡的SSVEP解碼算法，在處理短時SSVEP數據分類任務上相較于傳統CCA和FBCCA算法取得了不錯的分類性能。然而，由于CNN通過局部感受野學習特征，缺乏對全局信息的感知能力^［19］，導致其對時間序列的處理效果不佳，尚未能充分提取SSVEP的有效特征。

近年來，Transformer網絡成為最流行的模型網絡之一，在自然語言和圖像處理中廣泛應用^［20-21］。Transformer網絡可以捕獲時間序列的全局特征，但會忽略含有細節的局部特征^［22］。由于Transformer網絡對時間序列具有出色的特征提取能力，Transformer網絡已經開始逐漸應用于腦電解碼領域中^［23-24］。Guo等將Transformer網絡應用于情緒腦電分類任務中^［25］，Xie等將Transformer網絡應用于運動想象腦電分類任務中^［23］，均獲得了優異的解碼性能。這些研究說明Transformer網絡在腦電信號分類算法中具有很好的研究前景。然而，Transformer網絡忽略了對局部特征的學習，而學習局部特征對于腦電解碼也是必要的。在這種情況下，需添加額外的提取局部特征的處理，以進行補償^［26］。

由于真實環境中的噪聲復雜，SSMVEP解碼難度大，傳統CNN分類算法的解碼性能仍有較大的提升空間。CNN具有局部感知性強的優點，然而由于有限的感知域，CNN僅提取腦電信號的局部時間和空間特征，缺乏對全局信息的感知力，對處理時間序列數據表現欠佳^［19］， 解碼性能仍有較大提升空間。Transformer網絡在處理全局信息方面具有優勢，但是對于局部信息處理能力相對較弱^［22］。因此針對上述問題，本研究將EEGNet網絡與Transformer網絡進行結合，旨在融合兩者的優勢， 解決CNN算法在處理短時SSMVEP信號時分類效果欠佳，感受野有限，缺乏對全局信息的感知等問題。通過EEGNet網絡對SSMVEP信號進行初步的特征提取處理，學習腦電信號局部時間和空間特征，通過Transformer網絡充分學習SSMVEP全局時間序列關系，利用卷積操作和自注意力機制來有效地捕捉與處理腦電信號中的局部和全局信息，增強算法對SSMVEP特征的學習，進而實現良好的解碼性能。

本文旨在著重探討融合EEGNet網絡和圖像處理領域的視覺Transformer網絡在解碼短時SSMVEP信號的優勢與潛力。為充分利用EEGNet網絡和Transformer網絡的優勢，提出了一個EEGNet-Transformer網絡，即EEGNetformer網絡。該網絡是在經典的EEGNet網絡基礎上引入Transformer網絡模塊進行改進的一種緊湊型網絡結構。具體而言，EEGNetformer網絡結合了EEGNet網絡的輕量化特性與Transformer網絡的全局信息處理能力，以提升穩態運動視覺誘發電位解碼的性能。通過消融實驗表明，加入的Transformer網絡對EEGNetformer網絡分類準確率有顯著的提升。通過與現有CNN解碼算法對比實驗，驗證了EEGNetformer在被試者內和被試者外的分類性能均優于目前表現較好的cCNN、tCNN和EEGNet網絡分類算法。

1 實驗方法及研究方案

1.1 被試者

10名視力或矯正視力正常的被試者參與了本次實驗，編號為S1～S10。在向所有被試者充分解釋實驗程序后，每個被試者都簽署了書面知情同意書。

1.2 刺激范式

本研究使用了圓環收縮擴張形式的SSMVEP范式。如圖1所示，該刺激范式由高對比亮度的背景與低對比亮度的圓環組成，低對比亮度圓環的主要參數有圓環內徑和外徑，高對比度的背景確定了范式的最大直徑，圓環與背景的面積比值K存在以下關系

K=S₁S－S₁（1）

式中：S₁表示圓環總面積；S表示背景的總面積。

范式初始時，設定每個圓環外徑成等差數列分布，已知范式的最大直徑d_max，則每個圓環的外徑dⁱ₁和內徑dⁱ₂與面積有如下的關系

dⁱ₁=（2i－1）d_max/2n（2）

Sⁱ=π（dⁱ₁）²－π（d^i－1₁）²（3）

Sⁱ₁=π（dⁱ₁）²－π（dⁱ₂）²（4）

式中：i表示從內向外數第i個圓環；n表示圓環的總數；Sⁱ 表示第i個圓環外徑與i－1個圓環外徑所圍成的面積；Sⁱ₁ 表示第i個圓環的面積。

為了保證范式在運動時總體的亮度不發生改變，圓環與背景的面積比值K應該時刻保持固定，因此圓環的內徑需要通過計算獲得，結合式（1）～式（4），可以計算出第i個圓環的內徑dⁱ₂

dⁱ₂=（1－K）（dⁱ₁）²+K（d^i－1₁）²（5）

設圓環外徑的變化區間在［（i+1）d_max/n，id_max/n］，圓環的外徑運動曲線為正弦曲線，可以得到每個圓環的外徑dⁱ₁隨時間的變化如下

dⁱ₁=i+1－cos（2πft）d_max/n（6）

式中：f表示刺激頻率；t表示刺激時間。

刺激范式的排布如圖2所示，一共有8種不同刺激頻率（3.00、3.25、3.50、3.75、4.00、4.25和4.75 Hz）的圓環范式。此外，為了驗證本研究所提出的算法對空閑態和控制態的識別性能，設計了7個空閑位置用于采集空閑態腦電數據，保證被試者在注視虛線框內的時候處于系統空閑態并且不會輸出控制指令。因此，實驗共采集9類目標樣本，包括8類刺激樣本和1類空閑態樣本。

1.3 數據采集

本文通過g.USBamp系統采集腦電（EEG）。SSMVEP在大腦枕葉區域最為顯著^［9］，因此選取位于枕葉區域的O1、Oz、O2、PO3、POz和PO4電極來采集EEG。腦電采集電極按照國際10-20系統標準進行布置，參考電極A1布置于被試者單側耳垂，地電極安放在前額葉處Fpz位置。EEG以1200 Hz采樣率進行采集。使用4階48～52 Hz巴特沃斯陷波濾波器用于消除工頻干擾， 8階2～100 Hz巴特沃

斯帶通濾波器去除低頻和高頻干擾。

1.4 實驗流程

實驗中要求被試者依次注視8類不同刺激頻率（3.00、3.25、3.5、3.75、4.00、4.25、4.5和4.75 Hz）的目標，每類刺激目標進行了20次實驗，在8類刺激目標中還會穿插7種空閑位置的注視實驗。每次實驗前均有注視位置提示，持續5 s，包括了提示時間1 s，范式刺激時間3 s，以及休息時間1 s，總共進行了10輪實驗。每輪實驗進行16次，實驗結束后，被試者有2 min的休息時間。

1.5 EEGNetformer結構設計

EEGNet通過時空濾波器能夠有效提取腦電信號的局部時空特征。Transformer網絡利用自注意力機制，能夠更好地捕捉長距離依賴關系，提升模型的泛化能力和對輸入數據的理解能力。因此，基于Transformer網絡和EEGNet網絡，構建了EEGNetformer網絡。正如圖3所示，EEGNetformer網絡由4個模塊組成：EEGNet網絡中的特征濾波模塊、特征混合模塊、基于自注意力的特征泛化模塊，以及基于多層感知器（MLP）的特征分類模塊。圖3中，C是腦電信號通道數，T是腦電信號數據點數，F₁是時間濾波器數，D是深度乘數，N是分類目標數目，∥表示取整數。

特征濾波模塊：特征濾波模塊與EEGNet網絡的第1個模塊參數一致，通過時間濾波器和空間濾波器初步提取腦電信號的時空特征。該模塊依次執行兩個卷積步驟，首先擬合8個尺寸為（1， 64）二維卷積核，步長為（1， 1），并且卷積操作后保持維度不變。對輸出結果批標準化后，使用16個尺寸為（6， 1）的深度方向卷積核學習空間濾波器以提取空間特征，并再次進行批標準化，以促進訓練過程并減少過擬合風險。使用高斯誤差線性單元（GELU）作為非線性激活函數。隨后，應用尺寸為（1， 4）且步長為（1， 4）的平均池化層平滑時間特征，從而進一步減少過擬合風險并降低計算復雜度。最后，添加一個隨機失活（Dropout）層，以50%的概率舍棄訓練參數。具體細節可參照文獻^［16］。

特征混合模塊：本模塊通過一維卷積層對空間濾波后的數據進行特征混合，以進一步提取有效特征，同時減少特征維度和冗余信息。首先，移除維度為1的通道，以獲得適用于一維卷積的輸入。接著，使用16個尺寸為16的一維卷積核進行卷積操作，步長為1，并保持卷積后的維度不變。隨后，依照特征濾波模塊中的方法，對數據進行批標準化，并使用GELU作為非線性激活函數。之后，應用尺寸為（1， 4）且步長為（1， 4）的平均池化層。最后，添加一個隨機失活層，以50%的概率舍棄部分訓練參數。

特征泛化模塊：Transformer網絡能夠有效提升模型的泛化能力。在此模塊中，利用自注意力機制學習SSMVEP特征的全局時間依賴性，以補償卷積模塊在全局特征捕捉能力上的局限性。首先，在輸入特征序列的最前端添加一個專門用于分類的向量，稱為類別令牌（Class Token）。接著，通過位置嵌入層對包含類標記的特征進行位置信息編碼。隨后，將編碼后的特征輸入歸一化層進行歸一化處理，并通過自注意力機制層進行特征編碼。

注意力機制首先將輸入向量通過3個可訓練的變換矩陣W^Q、W^K、W^V進行相應的矩陣變換，得到查詢向量Q、鍵值向量K和值向量V。隨后在Q和K上使用點積來評估不同類別令牌之間的相關性，并通過歸一化指數（Softmax）函數對結果進行歸一化，得到加權矩陣，即注意力得分。然后，將注意力得分與V進行點積運算，從而實現加權特征的組合。這一過程可以表述為

A（Q，K，V）=SoftmaxQK^Td_kV（7）

式中：d_k 表示 K 向量的維度；A是經過自注意力機制計算后所得的矩陣。

在自注意力機制層之后，加入了一個多層感知器層，用于進一步對自注意力層輸出的特征進行變換和融合。該層首先將自注意力層的輸出通過全連接方式輸入到隱藏層，然后通過線性整流激活函數生成新的特征表示，最后將結果傳遞至輸出層。

特征分類模塊：在本模塊中，首先對數據進行批標準化，然后通過多層感知器頭層提取類標記。多層感知器頭層將輸出的特征向量映射到特定的表示空間，從而對特征進行更高級的抽象和表示，以更好地適應具體任務的需求。這種處理方式能夠提取出更具表達力的特征表示，從而有助于提高模型的性能。最后，通過全連接層輸出分類結果。

具體的EEGNetformer網絡參數如表1所示，其中DF₁是空間濾波器數。

1.6 數據擴充與訓練

為了對采集到的數據進行訓練，首先將原始數據的采樣頻率降低到240 Hz，以減少網絡的輸入數據量，從而提高網絡的推理速度。接下來，通過滑動窗口的方式對數據進行擴充，具體來說，先將9個目標樣本按照7∶3的比例均勻地劃分為訓練樣本和測試樣本，然后設定窗口長度，對數據進行滑動窗口處理，重疊率設為0.8。這種方法確保了訓練集和測試集之間沒有數據泄露，從而避免因數據泄露而導致模型的測試準確率虛高。最后，通過滑動窗口擴充得到的數據集合進行拼接，得到最終的訓練樣本和測試樣本，使用TensorFlow和Keras工具搭建、調試并驗證上述算法結構。模型訓練采用自適應矩估計（Adam）優化器，學習率設為0.001，使用交叉熵作為損失函數，最大訓練輪數為100。

1.7 模型評價指標

在深度學習中，真陽性、真陰性、假陽性和假陰性是評估分類模型性能的重要術語。真陽性表示模型將正樣本正確預測為正樣本的數量，真陰性表示模型將負樣本正確預測為負樣本的數量，假陽性表示模型將負樣本錯誤預測為正樣本的數量，假陰性表示模型將正樣本錯誤預測為負樣本的數量。

基于這些指標，深度學習模型的常見評價指標包括準確率A、精確率P、召回率R和F1分數F。準確率是最直觀的性能指標，表示在所有預測中，正確預測的比例。精確率表示在所有預測為正類別的情況下，實際為正類別的比例。召回率表示在所有實際為正類別的情況下，正確預測為正類別的比例。F1分數是精確率和召回率的調和平均數，用于在精確率和召回率之間達到平衡。F1分數值越高，模型的性能通常被認為越好。各指標具體計算式如下

A=T_P+T_NT_P+T_N+F_P+F_N（8）

P=T_PT_P+F_P（9）

R=T_PT_P+F_N（10）

F=2PRP+R（11）

式中：T_P是真陽性值；T_N是真陰性值；F_P是假陽性值；F_N是假陰性值。

2 結果與討論

2.1 模型訓練收斂性驗證

圖4顯示了EEGNetformer模型訓練過程中訓練集和驗證集的準確率和損失變化情況。隨著訓練次數的增加，模型的分類準確率逐漸上升，而損失函數逐步下降。在訓練50次后，驗證集的準確率和損失值基本趨于穩定。這表明本研究提出的EEGNetformer模型在解碼SSMVEP時表現出良好的收斂性，驗證了算法結構的合理性。

2.2 模塊消融實驗驗證

為了探究EEGNetformer中各模塊對模型性能的貢獻，進一步進行了消融實驗。具體地，分別依次去除特征濾波模塊、特征混合模塊和特征泛化模塊，并將剩余模塊拼接成新的網絡架構，在2 s的數據上進行訓練和測試。實驗結果通過配對樣本t檢驗進行顯著性分析。

圖5 EEGNetformer網絡消融實驗結果

Fig.5 Results of the EEGNetformer network ablation experiment如圖5所示，移除特征濾波模塊后，除被試者S3外，其他所有被試者的識別準確率均有所下降。其中，被試者S8的下降幅度最大，為6.3%，而被試者S3的準確率則上升了0.7%。總體來看，所有被試者的平均準確率相比完整的EEGNetformer模型下降了2.2%。在移除特征混合模塊后，所有被試者的識別準確率均出現下降。其中，被試者S10的準確率下降最為顯著，為7.6%，被試者S3的下降幅度最小，為0.7%。總體上，所有被試者的平均準確率顯著下降了2.8%（plt;0.001）。移除特征泛化模塊后，所有被試者的識別準確率均出現下降，其中被試者S6下降最多，為13.1%，被試者S4的下降幅度最小，為2.7%。所有被試者的平均準確率顯著下降了8.5%（plt;0.001）。

在消融實驗中，消融后的網絡準確率相較于完整的EEGNetformer網絡均有所下降，其中移除特征泛化模塊后的準確率下降幅度最大。為進一步探究特征泛化模塊在EEGNetformer網絡中的具體作用，采用t-分布隨機近鄰嵌入（t-SNE）方法，對典型被試者S6的數據進行了分析。t-SNE是一種基于概率的技術，可以將數據的高維結構映射到低維空間中，保留數據之間的歐氏相似性關系。t-SNE根據高維數據點之間的相似度計算它們之間的歐氏距離并生成一組新的坐標，使得每個數據點在新的低維空間中都能夠更清晰地顯示其在原始高維空間中的關系。圖6對比了不同刺激頻率下EEGNetformer網絡和EEGNetformer移除特征泛化模塊后的網絡在訓練集和測試集上提取的特征聚類差異。

從圖6（a）和圖6（c）可以看出，移除特征泛化模塊后，提取的特征邊界較為模糊，部分類別之間出現了混淆現象。加入特征泛化模塊后，類間距離顯著增大，類內距離減小，各類別之間的區分度明顯提高。從圖6（b）和圖6（d）可以看出，使用EEGNetformer網絡提取的特征雖然類內距較小，但部分類別的類間邊界仍存在模糊現象，且少量樣本存在混淆。相比之下，移除特征泛化模塊后的特征提取結果在某些類別上出現了較大程度的混淆，并且類間距減小，類間區分度明顯下降。

綜上所述，加入特征泛化模塊后，經t-SNE降維處理的特征表現出更小的類內距和更大的類間距，具備更明顯的特征邊界。此外，分類準確率上與未添加特征泛化模塊的模型相比差異顯著。這表明特征泛化模塊能夠有效提升模型對數據的理解和區分能力。

2.3 EEGNetformer網絡被試者內性能分析

通過評估和對比不同時長下EEGNetformer網絡算法與其他4種性能優異的對比算法（即cCNN、tCNN、EEGNet-SSVEP（EEGNetS）和EEGNet），進一步探討了EEGNetformer網絡算法在解碼SSMVEP中的性能表現。圖7展示了5種算法在不同時長的數據上的識別準確率。

如圖7所示，EEGNetformer網絡在各個時長的識別準確率均優于其他算法。在所有時長上，EEGNetformer網絡與tCNN、EEGNetS和EEGNet的識別準確率均存在顯著性差異（plt;0.05）。特別是在2 s時，EEGNetformer網絡與其他算法的準確率差異最大，其準確率達到88.9%±6.6%，相比最優的對比算法cCNN提高了4.2%（plt;0.001），相比表現最差的EEGNet提高了17.4%（plt;0.001）。這些結果進一步證明了EEGNetformer網絡在解碼SSMVEP中的顯著優勢。

2.4 EEGNetformer網絡跨被試者性能分析

進一步分析了EEGNetformer網絡在跨被試者情況下的解碼性能。在跨被試者實驗中，以一名被試者的數據作為訓練集，其余9名被試者的數據作為測試集，依次進行10次測試，并將這10次測試結果的平均值作為最終結果。在2 s數據條件下，使用5種算法進行訓練，并通過準確率和F1分數衡量實驗結果，具體結果如表2所示。使用配對樣本t檢驗對結果進行顯著性檢驗，^*代表plt;0.05，^**代表plt;0.001，加粗的數據表示同一指標下不同算法中的最高值。

在跨被試者條件下，EEGNetformer網絡的準確率和F1分數均顯著優于4種對比算法（plt;0.001）。與cCNN、tCNN、EEGNetS和EEGNet算法相比，EEGNetformer網絡的跨被試者識別準確率分別提升了6%、24.7%、9.7%和14.8%，F1分數則分別提升了9.9%、25.7%、17.1%和19.6%。這表明，EEGNetformer網絡在提取單一被試者的特征時具有較高的穩定性，能夠較好地適應不同被試者的差異。同時，也說明了EEGNetformer網絡在提取和學習目標特征方面的能力較強，優于其他4種算法。

3 結 論

本文針對現有SSMVEP-BCI范式中CNN分類算法在解碼微弱特征信號能力上的不足，提出了一種結合Transformer網絡和EEGNet網絡的EEGNetformer網絡。EEGNetformer網絡通過時空濾波實現局部特征的提取，然后基于Transformer網絡進一步捕捉全局信息，從而增強模型的泛化能力和特征表達能力。實驗結果表明，EEGNetformer網絡在解碼SSMVEP時表現出顯著的有效性。通過消融實驗，以準確率作為評價指標，結果顯示引入Transformer網絡顯著提高了模型的分類準確率。此外，對輸出特征的聚類分析表明，添加Transformer網絡能夠有效減小類內距，并增大類間距。進一步在被試者內和跨被試者的實驗中對EEGNetformer網絡的性能進行了評估，結果表明EEGNetformer網絡在性能上優于cCNN、tCNN、EEGNetS和EEGNet等傳統的卷積神經網絡算法。總之，EEGNetformer網絡在SSMVEP解碼方面展現了良好的性能，證明了其在腦電信號解碼與腦機接口領域的應用潛力。EEGNetformer網絡的設計將有助于推動CNN在SSVEP-BCI解碼方面的研究。通過結合EEGNet網絡和Transformer網絡的優勢，該方法克服CNN缺乏對全局信息的感知力的局限性。促進了對腦電信號局部與全局特征的全面理解，提高了對短時SSMVEP信號的解碼性能。這種創新方法有助于推動CNN在SSMVEP-BCI解碼領域的發展，為未來開發更高效、更精確的腦電信號解碼算法提供了新思路和技術支撐。

參考文獻：

［1］WOLPAW J R. Brain-computer interfaces ［M］. Amsterdam，Holland： Elsevier， 2013： 67-74.

［2］姜耿， 趙春臨. 基于EEG的腦機接口發展綜述 ［J］. 計算機測量與控制， 2022， 30（7）： 1-8.

JIANG Geng， ZHAO Chunlin. A review of the development of brain-computer interface based on EEG ［J］. Computer Measurement amp; Control， 2022， 30（7）： 1-8.

［3］VRBU K， MUHAMMAD N， MUHAMMAD Y. Past， present， and future of EEG-based BCI applications ［J］. Sensors， 2022， 22（9）： 3331.

［4］BONDRE C， KAPGATE D. Brain computer interfaces using SSVEP： an overview ［J］. International Journal of Engineering amp; Technology， 2014， 1： 9-17.

［5］邱爽， 楊幫華， 陳小剛， 等. 非侵入式腦-機接口編解碼技術研究進展 ［J］. 中國圖象圖形學報， 2023， 28（6）： 1543-1566.

QIU Shuang， YANG Banghua， CHEN Xiaogang， et al. A survey on encoding and decoding technology of non-invasive brain-computer interface ［J］. Journal of Image and Graphics， 2023， 28（6）： 1543-1566.

［6］KAPGATE D， KALBANDE D. A review on visual brain computer interface ［C］//Advancements of Medical Electronics. New Delhi： Springer India， 2015： 193-206.

［7］梁栗炎， 孔姝懿， 張倩， 等. 腦機接口的范式、算法與編解碼概念探討與研究 ［J］. 信息通信技術與政策， 2024， 50（5）： 61-70.

LIANG Liyan， KONG Shuyi， ZHANG Qian， et al. Exploration and research on paradigm， algorithm， as well as encoding and decoding concepts of brain-computer interface ［J］. Information and Communications Technology and Policy， 2024， 50（5）： 61-70.

［8］李麗， 陳梟宇， 隨力. 穩態運動視覺誘發電位的誘發及在腦機接口中的應用進展 ［J］. 上海理工大學學報， 2022， 44（1）： 27-33.

LI Li， CHEN Xiaoyu， SUI Li. Induction of steady-state motion visual evoked potential and its application in brain-computer interface ［J］. Journal of University of Shanghai for Science and Technology， 2022， 44（1）： 27-33.

［9］XIE Jun， XU Guanghua， WANG Jing， et al. Steady-state motion visual evoked potentials produced by oscillating Newton’s rings： implications for brain-computer interfaces ［J］. PLoS One， 2012， 7（6）： e39707.

［10］劉貴彤， 張志敏， 柴曉珂， 等. 基于SSMVEP的腦-機接口視覺刺激探究 ［J］. 中國醫療器械雜志， 2018， 42（5）： 313-316.

LIU Guitong， ZHANG Zhimin， CHAI Xiaoke， et al. Study of steady state motion visual evoked potential-based visual stimulation of BCI system ［J］. Chinese Journal of Medical Instrumentation， 2018， 42（5）： 313-316.

［11］LIN Zhonglin， ZHANG Changshui， WU Wei， et al. Frequency recognition based on canonical correlation analysis for SSVEP-based BCIs ［J］. IEEE Transactions on Biomedical Engineering， 2006， 53（12）： 2610-2614.

［12］CHEN Xiaogang， WANG Yijun， GAO Shangkai， et al. Filter bank canonical correlation analysis for implementing a high-speed SSVEP-based brain-computer interface ［J］. Journal of Neural Engineering， 2015， 12（4）： 046008.

［13］ZHANG Yue， XIE S Q， WANG He， et al. Data analytics in steady-state visual evoked potential-based brain-computer interface： a review ［J］. IEEE Sensors Journal， 2021， 21（2）： 1124-1138.

［14］CRAIK A， HE Yongtian， CONTRERAS-VIDAL J L. Deep learning for electroencephalogram （EEG） classification tasks： a review ［J］. Journal of Neural Engineering， 2019， 16（3）： 031001.

［15］XU Dongcen， TANG Fengzhen， LI Yiping， et al. An analysis of deep learning models in SSVEP-based BCI： a survey ［J］. Brain Sciences， 2023， 13（3）： 483.

［16］LAWHERN V J， SOLON A J， WAYTOWICH N R， et al. EEGNet： a compact convolutional neural network for EEG-based brain-computer interfaces ［J］. Journal of Neural Engineering， 2018， 15（5）： 056013.

［17］RAVI A， BENI N H， MANUEL J， et al. Comparing user-dependent and user-independent training of CNN for SSVEP BCI ［J］. Journal of Neural Engineering， 2020， 17（2）： 026028.

［18］DING Wenlong， SHAN Jianhua， FANG Bin， et al. Filter bank convolutional neural network for short time-window steady-state visual evoked potential classification ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2021， 29： 2615-2624.

［19］PENG Zhiliang， HUANG Wei， GU Shanzhi， et al. Conformer： local features coupling global representations for visual recognition ［C］//2021 IEEE/CVF

International Conference on Computer Vision （ICCV）. Piscataway， NJ， USA： IEEE， 2021： 357-366.

［20］HAN Kai， WANG Yunhe， CHEN Hanting， et al. A survey on vision transformer ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（1）： 87-110.

［21］HAN Kai， XIAO An， WU Enhua， et al. Transformer in transformer ［C］//Advances in Neural Information Processing Systems. Red Hook， NY， USA： Curran Associates， Inc， 2021： 15908-15919.

［22］MAURíCIO J， DOMINGUES I， BERNARDINO J. Comparing vision transformers and convolutional neural networks for image classification： a literature review ［J］. Applied Sciences， 2023， 13（9）： 5521.

［23］XIE Jin， ZHANG Jie， SUN Jiayao， et al. A transformer-based approach combining deep learning network and spatial-temporal information for raw EEG classification ［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2022， 30： 2126-2136.

［24］SONG Yonghao， JIA Xueyu， YANG Lie， et al. Transformer-based spatial-temporal feature learning for EEG decoding ［EB/OL］. （2021-06-11） ［2024-08-02］. https： //arxiv. org/abs/2106. 11170.

［25］GUO Jiayi， CAI Qing， AN Jianpeng， et al. A Transformer based neural network for emotion recognition and visualizations of crucial EEG channels ［J］. Physica： A Statistical Mechanics and its Applications， 2022， 603： 127700.

［26］戴洋毅， 何康， 瑚琦， 等. CNN-Transformer混合模型在計算機視覺領域的研究綜述 ［J］. 建模與仿真， 2023， 12（4）： 3657-3672.

DAI Yangyi， HE Kang， HU Qi， et al. Review of CNN-Transformer hybrid model in computer vision ［J］. Modeling and Simulation， 2023， 12（4）： 3657-3672.

（編輯 杜秀杰）