基于卷積注意力機制的運動想象腦電信號識別

杜秀麗，馬振倩，邱少明，呂亞娜

1.大連大學 通信與網絡重點實驗室，遼寧 大連116622

2.大連大學 信息工程學院，遼寧 大連116622

運動想象腦電信號（Motor Imagination-EEG，MIEEG）的識別可以幫助人們直接通過思維來控制基于腦機接口的機器人從事各種工作，是實現人與外界通訊的一種新途徑，對腦認知、腦治療和腦應用的研究具有重要意義。運動想象腦機接口系統不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢，而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。

目前，基于深度學習的網絡框架被廣泛應用于特征提取，在圖像、視頻、語音、文本等方面已經取得了良好的效果，且性能優于傳統的算法[1-2]。由于這些領域的成功應用，研究者開始將深度學習技術應用于腦電圖分析。Xu等人[3]利用一個兩層卷積神經網絡對經過小波時頻變換后的三通道腦電信號進行識別以提高分類性能。Cai等人[4]利用門控遞歸單元（Gated Recurrent Unit，GRU）進一步提取經過卷積神經網絡（Convolutional Neural Networks，CNN）預處理后的運動想象腦電信號中隱藏的一些序列信息，提高了MI-EEG的識別精度。葛榮祥等人[5]提出用深度信念網絡（Deep Belief Network，DBN）對不同波段傅里葉變換后的腦電信號進行分類識別的方法，有效地提高了多類別MI-EEG的識別準確率。胡章芳等人[6]考慮到MI-EEG中蘊含豐富的時頻信息，提出一種基于時頻域的卷積神經網絡識別方法，通過一種新穎的一維卷積CNN結構對短時傅里葉變換后的二維時頻圖進行特征提取，有效地提高了識別的準確率。因此，深度學習已成為MI應用中一種有效的算法。這些模型雖然為MI-EEG的識別提供了方法理論并取得了不錯的效果，但是沒有考慮不同通道和空間腦電信號與識別任務之間的重要程度關系，只是簡單地將一些對該任務有用的原始腦電信號選取出來送入深度學習算法。然而，對于多通道腦電信號來說，信號的通道和空間對于不同的識別任務重要程度顯然不同。

卷積注意力模塊（Convolutional Block Attention Module，CBAM）可以聚焦重要信息，提高卷積的表示能力[7]。最近，將注意力模塊融入網絡中以提高網絡的性能開始成為趨勢，并在自然語言處理和圖像處理方面取得了良好的效果[8-10]。但是目前還沒有將卷積注意力模塊融入到卷積神經網絡中進行腦電信號識別的研究。

因此，為充分挖掘腦電信號的特征，兼顧通道和空間對腦電信號識別程度不同的機制，提高多類別運動想象腦電信號識別準確率，本文提出融合卷積注意力模塊的神經網絡多類別MI-EEG識別模型。為避免噪聲對識別結果的影響，提出采用共空間模式構建的空間濾波器提高腦電信號的信噪比，再利用小波變換進行時頻轉換得到二維時頻圖，最后將二維時頻圖作為輸入特征送入融合卷積注意力模塊的神經網絡中。要驗證多類別MI-EEG識別問題，本文分別利用BCI競賽IV-2a和BCI競賽III-IIIa數據集對該方法進行了測試和評價，兩個數據集存在著受試者人數和實驗經驗的區別。

1 卷積注意力模塊

將給定的中間特征圖作為輸入，通過網絡中融合的卷積注意力模塊聚焦重要信息弱化無用信息，依次推導出一維通道注意力圖和二維空間注意力圖，然后將生成的注意力圖映射相乘為自適應特征細化的輸出特征映射。

1.1 通道注意力模塊

中間特征圖的每個通道都被視為特征檢測器，因此通道注意力模塊在獲取輸入圖像有意義的通道方面較為重要。為了有效利用中間特征圖通道之間的特殊關系，壓縮輸入特征圖的空間維度，聚集空間信息，同時使用平均池化和最大池化，更多地保留輸入特征圖的背景以及紋理信息，極大地提高卷積網絡的表征能力[7]。

通道注意力模塊操作過程如下：第一層卷積的輸出特征圖作為中間輸入特征分別通過平均池化和最大池化壓縮成一個實數，輸出的向量維度與中間特征圖通道數相匹配；通過共享網絡多層感知機（Multilayer Perception，MLP）的調整，輸出經過調整后的向量；將各個向量元素相加，最后通過Sigmoid函數激活。通過式（1）的方法，與輸入中間特征圖逐通道加權求和，完成對第一層卷積輸出特征圖通道注意力的運算。

1.2 空間注意力模塊

沿著特征圖的通道維度對生成的通道注意力圖分別應用平均池化和最大池化操作，在空間位置上進行2種池化方式的維度壓縮，輸出空間特征矩陣；將輸出的特征矩陣合并成一個特征圖，然后通過卷積層的作用生成二維空間注意力圖，更好地擬合空間復雜相關性。經過Sigmoid函數激活后，應用式（2）加權求和，作用于特征圖上，生成空間注意力圖。

其中，σ表示sigmoid函數，f7×7表示卷積操作，卷積核大小為7×7。

2 基于卷積注意力模塊的神經網絡

優秀的CNN結構不僅能成功地應用于計算機視覺和自然語言處理領域[11]，而且在生物醫學信號處理領域也存在著巨大的潛力。CNN能很好地自適應提取腦電信號中隱藏的特征信息，但是它并沒有學習輸入特征向量通道與空間之間的重要程度關系。通過融合卷積注意力模塊[7]，網絡相對于背景可以更高效的聚焦腦電信號特征的提取。卷積注意力模塊作為基本模塊構建網絡，應用于網絡中，一定程度上可以改善卷積核滑動加權求和難以得到全局信息的問題，提高卷積的表示性能。

CNN從腦電信號中充分學習特征需要大量的數據，但MI-EEG的數據集對于經典模型來說是小樣本，很可能出現網絡權值訓練不充分的情況，導致過擬合的發生。為了使網絡權值得到充分地訓練，需要適當地調整CNN的結構，使CNN盡量滿足數據集的要求。

具體MI-EEG識別方案框圖如圖1所示。

圖1 MI-EEG識別方案框圖Fig.1 Block diagram of MI-EEG identification scheme

針對樣本量較小以及未兼顧重要程度關系的問題，本文將注意力模塊和網絡相結合，提出了一個簡單有效的卷積網絡結構，網絡結構如圖2所示。第一層為網絡的輸入層，將預處理得到的輸入圖像統一調整為64×64的大小。第二層L1為卷積層，通過卷積運算提取圖像中的空間和時間頻域低層次特征。第三層L2為卷積注意力模塊，將經過卷積之后的圖像作為中間特征圖輸入，沿著通道維度對中間特征圖進行調整并強化特征圖關鍵通道的信息，沿著空間維度對通道特征圖進行調整并強化關鍵空間位置的信息，對通道注意力信息進行補充。第四層L3為卷積層，繼續進行卷積運算提取高階層全局特征。第五層L4作為池化層，捕獲卷積運算輸出的最重要的抽象特征，過濾掉冗余特征，減小數據維度。第六層F1，第七層F2為全連接層，通過將池化層輸出的特征進行平面化，最終通過分類器得到識別結果。

圖2 基于卷積注意力模塊的神經網絡結構示意圖Fig.2 Schematic diagram of neural network structure based on convolutional attention module

3 實驗及結果分析

3.1 實驗數據描述

目前，MI-EEG的識別雖然已取得了較好的識別效果，但仍然存在識別種類少的問題，針對大多數文獻針對二分類MI-EEG進行研究的問題，本文對四分類MIEEG進行分析。

上述科技創新補貼供給側改革機制從源頭上試圖扭轉企業策略性創新行為，提高創新補貼的邊際效率，引導企業采用實質性研發策略。基于此目的，本文試圖以微觀企業創新為切入點，根據本輪供給側改革的政策特征，考察科技創新補貼供給側改革下企業研發策略的實施效果及其作用機制。具體而言，本文進行以下研究工作: 第一，考察創新驅動供給側改革期間，政府創新補貼的新特征及趨勢。第二，分析企業的創新研發項目類型以及R&D投入及科技產出等研發策略變動。 第三，進一步考察上述問題在不同產權性質的企業分組中，是否存在異質性差異。

本實驗對數據集一BCI競賽IV數據集2a[12]進行分類研究，數據集由9名受試者的22個頭皮電極位置組成，包括4個類別的運動想象任務，即左手、右手、雙腳和舌頭的想象。數據采集的實驗范式如圖3所示。任務想象的時間為4 s；每個受試者在不同日期的兩個會話涉及9個主題，每個會話由6次運行組成，一次運行包含48次實驗，共包括288次實驗。信號采樣頻率為250 Hz，并進行了頻率為0.5~100 Hz的帶通濾波和50 Hz的陷波濾波消除工頻干擾。

圖3 實驗范式時序圖Fig.3 Sequence diagram of experimental paradigm

此外，本實驗采用2005年BCI競賽數據集IIIa對該算法進行了評價。該數據集由三個對運動圖像有不同體驗的受試者（k3b、l1b、k6b）組成，k3b每種運動想象進行90次實驗，共進行360次實驗，l1b和k6b每種運動想象進行60次實驗

，共進行240次實驗。神經掃描腦電圖放大器中60通道可用。腦電圖采樣頻率為250 Hz，所有腦電圖信號均采用1~50 Hz帶通濾波器進行預處理。

運動想象的時間是4 s。一次實驗全過程時序圖如圖4所示。

圖4 一次實驗周期范例Fig.4 Example of experiment cycle

3.2 預處理

不同的運動想象任務在特征頻帶和腦區是不同的，由于腦電圖的事件相關同步和事件相關不同步模式主要反映在8~30 Hz頻段。因此本文在對原始腦電信號進行分段處理后，采用8~30 Hz頻段的帶通濾波器對MI-EEG進行濾波處理。

腦電信號本身的信噪比較低，對最終識別的準確性影響較大。本文使用一對多共空間模式構建空間濾波器來最大限度地提高信噪比。一對多共空間模式是多分類問題的一種常用方法[13]，其將一個類設置為一個正類，其余的類都作為一個反類處理，從而形成一個兩分類的共空間模式。

根據式（3）和式（4）進行空間濾波投影。

其中，Bi代表第i類模式下的空間濾波；UT1,2m代表某類模式下的特征向量；Pi代表這一類模式下的白化矩陣；X∈RN×M表示每個MI-EEG任務樣本的N×M維矩陣，其中N表示電極數，M表示每個電極的采樣點數；Zj∈R2m×M代表j類模式下的濾波后信號，2m表示濾波后的通道數。

腦電信號中隱藏著豐富的時頻信息，小波時頻轉換能夠顯示信號的時間以及頻域信息。通過將MI-EEG轉換成二維時頻圖，并將其作為神經網絡的輸入，能夠增強網絡的特征提取能力，深度挖掘運動想象腦電信號中隱藏的動態信息。

3.3 仿真驗證及結果分析

為了提高本文網絡模型的泛化能力，采用k折交叉驗證（k-fold cross-validation）的方法來驗證模型的有效性，k設為9。采用小批量隨機梯度下降來通過反向傳播算法優化最小化實際標簽和預測標簽之間的交叉熵。

對基于卷積注意力模塊的神經網絡來說，不同的參數決定了不同的網絡結構，這些參數的設置將直接影響最終的識別準確率。本文通過改變參數的大小，驗證不同大小和個數的卷積核對網絡識別效果的影響，實驗結果如表1所示。

表1 不同網絡結構的識別準確率Table 1 Recognition accuracy of different network structures %

其中n1,n2分別代表不同卷積層中卷積核的大小，i1,i2分別代表不同卷積模塊中卷積核的個數。

通過表1中實驗結果可知，當i1、i2分別為8、32、n1、n2分別為4時，模型的識別準確率最高。因為本文提供的腦電信號數據的維度較小，大卷積核容易覆蓋整個二維圖像，使得卷積提取局部特征的分辨率降低，從而影響識別效果。而小卷積核覆蓋的局部區域較小，使卷積只能提取到很小的局部特征，提高了識別效果。

為了進一步比較本文提出的基于卷積注意力模塊的卷積神經網絡模型的有效性，將本文模型和未加入卷積注意力模塊的CNN網絡用于數據集的訓練，同時對比不同壓縮率r下的準確率，實驗結果如表2所示。

表2 不同壓縮率r下網絡結構識別準確率Table 2 Network structure recognition accuracy rate under different compression ratio r

本文對基于卷積注意力模塊網絡模型中不同的壓縮率參數r的值進行實驗，通過表2中實驗結果可以看出，對于本文的腦電信號識別任務，r設置為4時效果最好，準確率達到81.599%，因為r為4時，卷積注意力模塊擁有的非線性能夠更好地擬合通道間復雜的相關性，減少參數量的同時使網絡整體的特征表達能力增強。r設置為8時準確率次之，達到79.830%；r為16時對信號的卷積特征提取起到了反作用，使任務識別的準確率不如未加入卷積塊注意力模塊的CNN網絡好。

將本文提出的基于卷積注意力模塊的神經網絡識別方法與其他多類別MI-EEG識別方法進行了對比。受試者的平均識別準確率由表3給出。其中文獻[14]采用多級加權融合框架將所有卷積層的特征使用完全連接層融合，從而在每個卷積級保留特征，達到的準確率為74.5%；文獻[15]中將FBCSP方法和CNN用作新策略。FBCSP算法用于數據準備并創建包絡表示輸入EEG信號以保持信號的時間和空間屬性，該準確率達到73.4%。本文方法得到的全部受試者的平均識別準確率為81.6%，相比于其他算法結果有較大提高。從結果的準確率來看，本文在一定程度上說明基于卷積注意力機制的卷積神經網絡在多類別腦電信號識別中具有良好的性能。

表3 本文方法與其他方法的識別準確率比較Table 3 Comparison of recognition accuracy between proposed method and other methods

為了進一步驗證本文方法的魯棒性，在BCI-III-IIIa數據集上進行了不同方法的識別準確率對比，實驗結果如表4。

表4 不同方法在BCI-III-IIIa上的識別準確率比較Table 4 Comparison of recognition accuracy of different methods on BCI-III-IIIa

由表4可得，與BCI競賽以及近年來的文獻[16]中采用CBLSTM方法提取頻域和時域特征，文獻[17]中選擇各信道的最優頻帶提取特征的方法相比，本文方法的準確率有了提高，說明本文方法能夠有效地解決多類別運動想象腦電信號的識別問題。

綜合表3，表4可以看出，在同一數據集的情況下本文所提出的基于卷積注意力機制的腦電信號識別方法在多類別腦電信號任務下能夠獲得較好的識別準確率，魯棒性較好。說明本文能夠兼顧通道和空間的重要程度關系，較好地提取運動想象腦電信號的特征，進而獲得良好的識別準確率。

4 結論

運動想象腦電信號特性復雜，在多分類識別任務中準確率不高。本文通過一對多共空間模式對多類別腦電信號進行預處理，減少空間模糊的影響，得到各類別的空間濾波信號后，使用小波變換進行時頻轉換生成二維圖像。利用深度學習網絡可以自適應提取腦電信號中隱藏的特征信息的能力，加入注意力模塊來強化重要信息，抑制相對不重要信息，兼顧網絡通道和空間的重要程度關系，有效提高網絡特征提取的能力。實驗表明，本文融合卷積注意力模塊的神經網絡通過卷積運算對輸入二維特征圖片進行抽象特征提取并執行分類模式的識別分析可有效提高MI-EEG的識別準確率，通過與其他方法相比，說明本文方法在MI-EEG識別方面具有有效性。