基于幻象模塊與深度可分離卷積的運動想象腦電分類方法

李春艷 尹鴻峰 李偉靜 邵銘鑫

摘要：基于運動想象的腦機接口系統可以在無外部刺激的情況下產生有效腦電信號， 控制外接設備，在醫療健康等方面發揮著越來越重要的作用。運動想象腦電信號具有非線性、非平穩、低信噪比和個體差異大等特點，同時許多運動想象腦電算法應用在計算能力差、實時性要求高的移動設備上，對運動想象腦電的分類準確性和模型復雜度提出了很大挑戰?；诖?，文章提出一種新的融合幻象模塊與深度可分離卷積的輕量化分類模型。首先對原始數據進行截取和濾波，使用EMD算法計算IMFs，將二維腦電信號重構為三維數據，然后通過幻象模塊和深度可分離卷積進行數據擴展與特征提取，引入反殘差模塊緩解網絡退化問題，最后用全連接層進行分類。

關鍵詞：深度學習；運動想象；深度可分離卷積；幻象模塊

中圖分類號：TP3 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）28-0017-03

1973年Vidal[1]提出腦機接口的概念，這是一種人機混合增強感知的重要手段。隨著醫學、計算機科學等學科與領域的不斷交融與發展，腦機接口不斷被應用于臨床治療中。隨著研究的推進，腦機接口逐漸在其他領域展現出了更加龐大的潛力。

作為非侵入式腦電范式的典型代表，運動想象信號具有非線性、非平穩、低信噪比、個體差異大、非侵入等特點，如何有效地針對運動想象數據進行分類一直是腦機接口領域的研究重點。大多數傳統方法主要對腦電信號的時序、頻率和空間等特征進行手動提取，然后進行分類。近年來隨著深度學習方法在機器視覺[2]等方面的迅速發展，利用神經網絡進行端到端分類的方法也應用在運動想象腦電信號分類中，Lawhern [3]等人設計EEGNet這種通用且緊湊的卷積神經網絡，Schirrmeister[4]等人建立了不同端到端的神經網絡結構。但目前大部分神經網絡的設計依然運算復雜，無法滿足移動設備的需要。EEGNet等模型使用了可分離卷積減少運算量，但卷積尺度單一，模型層數較少，難以在所有數據集上有穩定且高準確率的表現。

因此，本文設計了一種基于幻象模塊與可分離卷積的神經網絡模型。首先對腦電數據進行截取及濾波，利用EMD算法將原始數據進行重構，再輸入到提出的模型中進行特征提取和分類。該模型主要包括幻象模塊、反殘差模塊和深度可分離卷積模塊。將多尺度卷積的經典卷積模塊替換為幻象模塊，在減少參數量的同時實現對數據的拓展。反殘差模塊在增加模型深度時緩解網絡退化?？煞蛛x卷積分別處理通道內和通道間的信息，進行特征提取。

1 模型分析

1.1 模型基本結構

機器學習在運動想象腦電信號應用中的一個難點就是如何在較少的數據中，保持較低的參數量與計算量的情況下，提取到合適的特征并用于分類，之前有學者[5]應用多尺度卷積提取不同范圍的時頻特性取得了良好的效果。筆者在這基礎上進一步提出一種幻象模塊和深度可分離卷積替換經典二維卷積的分類模型GhostDSNet，減少參數數量，增加深層信息的提取。

將輸入數據傳入多個不同卷積核大小的Ghost模塊中，提取不同時間域中的信息并拼接，進行數據擴充。然后利用Depthwise（DW） 卷積提取單通道信息與Pointwise（PW） 卷積提取通道間信息的特性，提取信號的有效特征，最后通過全連接層進行分類。在這個過程中，加入反殘差模塊緩解加深網絡層次帶來的網絡退化。

1.2 基本結構與經典二維卷積參數對比

1.2.1 經典二維卷積

在進行對比之前做一個基本假設，輸入信號維度為[N*N*C]，輸出信號通道數為[K]，卷積核基本尺寸為[M*M]，不考慮偏置參數。

經典二維卷積核對輸入信號的每一個維度都要進行乘積求和運算，卷積層共有[K]個filter，經典二維卷積的參數量為：[K*M*M*C]。

1.2.2 DW卷積和PW卷積

深度可分離卷積由DW卷積與PW卷積兩部分組成，通過對通道內信息計算與通道間信息計算兩步完成對輸入信號的卷積運算。

每個卷積核只對單通道的數據進行運算，不關注其他通道信息，卷積核的數量與輸入信號的通道數一致，總體卷積層參數量為[M*M*C]。

PW卷積更關注不同通道之間的信息，卷積核大小為[1*1*C]，是將輸入信號的空間維度進行計算，相當于極端情況下的二維卷積。當卷積核的數目大于輸入的通道數，可以對數據進行升維操作，卷積核的數目小于輸入的通道，可以進行降維操作。卷積層參數量為[K*C]。

DW卷積計算通道內的信息，PW卷積計算通道間的信息，并通過卷積核個數控制輸出信號維度，兩者結合可以實現二維卷積的相同功能。

1.2.3 幻象模塊

幻象模塊主要利用相似性對卷積層輸出特征圖的冗余信息進行簡化計算，文獻[6]指出，沒有必要使用大量算力來對冗余數據進行生成，只需要進行少量的卷積作為輸出，剩余部分用卷積前的數據作為冗余加入輸出信息中。

在運算時，首先利用二維卷積生成[KS]通道的數據，再對[KS]通道的數據進行卷積操作，此時可以使用DW卷積，然后將兩部分的數據進行連接，此處S表示進行二維卷積的比例的倒數。

一般情況下，[K>2]，[S>2]，因此深度可分離卷積與幻象模塊均可以大幅度地降低參數數量，適用于移動設備或邊緣設備。

2 數據集與數據預處理

2.1 數據及介紹

本次實驗主要使用的是公開數據集BCIC IV dataset 2a，是運動想象領域最具代表性的四分類數據集之一，分別對左手、右手、雙腳和舌頭進行意圖識別數據集共包括9名受試者，分為兩個大階段的數據采集，每個階段包含6輪次采集，每個輪次進行48次實驗，共進行288次實驗。

2.2 數據預處理

2.2.1 信號選取

在信道選擇方面，經過學者研究表明，10-20國際標準導聯系統中，與運動想象相關的腦電信息主要在C3、C4信道中，Cz信道位于兩者之間，起到基準定位的作用。因此本章主要使用C3、C4和Cz信道數據進行分類研究，并在實驗中驗證信道選取的有效性。

在時間截取方面，進行運動想象時，腦電信號會經歷上升與逐漸消退的過程，主要集中在進行運動想象的前三秒，因此使用3至6秒的腦電信號，采樣頻率為250Hz，共計750個采樣點。

2.2.2 信號重構

1998年N.E Huang等人提出了EMD算法，其在分解腦電信號時不需要提前定義基函數，而是根據腦電信號本身的頻率特點自動選取合適的尺度，把腦電信號分解為多個IMF和一個剩余分量[7]。腦電信號的特點是非線性和非平穩性，采用EMD算法能夠有效地發揮出自適應的特點，有較好的魯棒性。

通過運動想象腦電信號一個信道信息進行經驗模式分解后得到的各IMF分量與原始信號的對比，可以看出原始信號被分解為多個具有不同頻率信息的IMF。假設原始信號定義為：[X=（x1，x2，…，xC）∈RC*T]，其中[xi]為每個導聯數據，[C]為信道數目，[T]為采樣點個數，經過EMD算法分解之后，每個信道數據重構為[xi=（imfi1，imfi2，…，imfik）]，其中[k]為分解的IMF數量，[imfij]表示第i個信道的第j個IMF表示的數據，則原始信號空間維度由[C*T]變為[k*C*T]，完成二維信號向三維信號的變換。

3 實驗結果

3.1 基準模型

本文選取準確率作為主要評價指標，本文與5種基準模型進行對比，這些模型為運動想象分類方法的經典算法或前沿算法：

（1） FBCSP算法。基于CSP對頻帶進行分片處理，進行特征選擇。

（2） Shallow算法[4]。端到端提取時頻空信息的運動想象分類算法，是深度學習在腦電信號分類的第一次嘗試。

（3） EEGNet算法[3]。應用可分離卷積，在小訓練集上有較強的泛化性能與較高的分類準確率。

（4） DeepConvNet算法[4]?？梢暬瘜W習特征的腦電深度網絡分類算法。

（5） DMTL算法[8]。由表示模塊、重構模塊、分類模塊組成的多任務學習框架。

3.2 與基準模型分類結果對比

表1列出了本文設計的模型GhostDSNet與基準模型的對比。實驗表明本文提出的輕量化神經網絡優于其他基準。在四分類平準準確率達到了77.3%，9個數據集中有5個取得了最好的平均準確率。

FBCSP是CSP算法的拓展，與CSP算法相同，其對信道的選擇十分敏感，構建不同信道的矩陣計算出的空間濾波器也不同，會影響分類準確性。EEGNet也使用了可分離卷積減少運算量，但模型結構只有三層，提取不到更深層次的內在信息。端到端算法Shallow和DeepConvnet卷積尺度相對單一，獲取特征不夠豐富。DMTL算法使用多任務學習進行聯合優化，在部分數據集上有較好表現。

3.3 IMF數量對模型的影響

在腦電信號數據進入模型分類之前，本文進行了簡單的預處理，調整了輸入數據的維度。EMD算法會根據原始信號自動計算出IMF信息，但EMD的固有缺點是存在模態混疊的問題，此時得到的分量沒有物理意義。那么模態混疊造成的冗余信息是否影響分類效果、選取哪些分類進行數據重構是值得討論的。

通過不同IMF進行數據重構對分類準確率的影響可以看出，隨著IMF的增加準確率逐漸提高，隨著IMF的增多，重構數據時添加的有效信息更多。在添加到IMF5后，IMF增加對準確率的影響變化不大，因為此時IMF本身含有的頻率信息較少，IMF1含有更高頻率的信息，而運動想象腦電的有效頻率主要是4Hz-32Hz，高頻數據中噪聲占主要成分。經過提前濾波，有助于增加信噪比。

3.4 信道選擇對分類的影響

在腦電信號采集的過程中，不同導聯采集的數據并不是相互獨立的，因為腦電的傳播是范圍性的，即使是單一源的信號也會被不同的導聯所捕獲，在長期的研究中形成了C3、C4、Cz三信道的處理模式，其他信道也同時包含有益于分類的信息和大量的噪聲，因此本小節通過實驗來對比不同的信道選擇對分類的影響。

本次實驗首先探究了單信道（C3、C4、Cz） 及其組合對分類結果的影響，發現使用單一信道可以達到分類的作用，但精確度存在不同的差距，其中相對于Cz信道，C3和C4信道含有的有效信息更多。當信道進行組合使用時，比單一信道提升超過10%的準確率，明顯提高了分類的準確性，因此使用C3、C4、Cz信道進行訓練是合適的。

本次實驗添加其他信道數據進行了實驗。發現添加信道時，準確率反而有所下降，距離C3和C4的信道越遠、越多，準確率下降得越多。因此說明，這些信道中噪聲成分對分類結果的影響大于有效信息的影響，信噪比更低。

3.5 幻象模塊及反殘差結構對分類的影響

圖1展示了應用經典二維卷積模塊與使用幻象模塊和反殘差結構的結果對比。在7個數據集上，幻象模塊與反殘差機構準確率更高，但提升在5%以下，在2個數據集中，使用經典卷積效果更好。整體來說，使用兩種結構分類準確率相差不大，但考慮到幻象模塊參數更少，計算量更小，因此使用幻象模塊進行替換是有價值的。

4 結論

本文提出一種基于幻象模塊與可分離卷積的運動想象腦電信號分類模型。首先將原始信號進行預處理，把二維信號重構為三維信號，再導入新模型中進行特征提取與分類實驗，與基準模型相比，在四分類公開數據集中達到了最高的平均分類準確率。此外，也對IMF信號重構、數據信道選擇、幻象模塊應用有效性方面進行了討論分析。因此，本文設計的輕量化神經網絡在運動想象分類中是有效的。

參考文獻：

[1] Vidal J J.Toward direct brain-computer communication[J].Annual Review of Biophysics and Bioengineering，1973（2）：157-180.

[2] 王文冠，沈建冰，賈云得.視覺注意力檢測綜述[J].軟件學報，2019，30（2）： 416-439.

[3] Lawhern V J，Solon A J，Waytowich N R，et al.EEGNet：a compact convolutional neural network for EEG-based brain-computer interfaces[J].Journal of Neural Engineering，2018，15（5）：056013.

[4] Schirrmeister R T，Springenberg J T，Fiederer L D J，et al.Deep learning with convolutional neural networks for EEG decoding and visualization[J].Human Brain Mapping，2017，38（11）：5391-5420.

[5] Huang W J，Wang L，Yan Z X，et al.Classify motor imagery by a novel CNN with data augmentation[C]//2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society.IEEE， 2020：192-195.

[6] Han K，Wang Y H，Tian Q，et al.GhostNet：more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2020：1577-1586.

[7] Li S F，Zhou W D，Yuan Q，et al.Feature extraction and recognition of ictal EEG using EMD and SVM[J].Computers in Biology and Medicine，2013，43（7）：807-816.

[8] Song Y G，Wang D L，Yue K，et al.EEG-based motor imagery classification with deep multi-task learning[C]//2019 International Joint Conference on Neural Networks （IJCNN）.IEEE， 2019：1-8.

【通聯編輯：代影】