基于時頻域的卷積神經網絡運動想象腦電信號識別方法

胡章芳 張力 黃麗嘉 羅元

摘 要：針對目前運動想象腦電（EEG）信號識別率較低的問題，考慮到腦電信號蘊含著豐富的時頻信息，提出一種基于時頻域的卷積神經網絡（CNN）運動想象腦電信號識別方法。首先，利用短時傅里葉變換（STFT）對腦電信號的相關頻帶進行預處理，并將多個電極的時頻圖組合構造出一種二維時頻圖;然后，針對二維時頻圖的時頻特性，通過一維卷積的方法設計了一種新穎的CNN結構;最后，通過支持向量機（SVM）對CNN提取的特征進行分類。基于BCI數據集的實驗結果表明，所提方法的平均識別率為86.5%，優于其他傳統運動想象腦電信號識別方法;同時將該方法應用在智能輪椅上，驗證了其有效性。

關鍵詞：運動想象;腦電;時頻域;卷積神經網絡;智能輪椅

中圖分類號：?TP242.6

文獻標志碼：A

Motor imagery electroencephalogram signal recognition method based on convolutional neural network in time-frequency domain

HU Zhangfang， ZHANG Li*， HUANG Lijia， LUO Yuan

National Engineering Research and Development Center for Information Accessibility， Chongqing University of Posts and Telecommunications， Chongqing 400065， China

Abstract：?To solve the problem of low recognition rate of motor imagery ElectroEncephaloGram （EEG） signals， considering that EEG signals contain abundant time-frequency information， a recognition method based on Convolutional Neural Network （CNN） in time-frequency domain was proposed. Firstly， Short-Time Fourier Transform （STFT） was applied to preprocess the relevant frequency bands of EEG signals to construct a two-dimensional time-frequency domain map composed of multiple time-frequency maps of electrodes， which was regarded as the input of the CNN. Secondly， focusing on the time-frequency characteristic of two-dimensional time-frequency domain map， a novel CNN structure was designed by one-dimensional convolution method. Finally， the features extracted by CNN were classified by Support Vector Machine （SVM）. Experimental results based on BCI dataset show that the average recognition rate of the proposed method is 86.5%， which is higher than that of traditional motor imagery EEG signal recognition method， and the proposed method has been applied to the intelligent wheelchair， which proves its effectiveness.

Key words：?motor imagery; ElectroEncephaloGram （EEG）;time-frequency domain; Convolutional Neural Network （CNN）; intelligent wheelchair

0 引言

腦機接口（Brain-Computer Interface， BCI）通過分析腦電信號，解碼用戶意圖進而控制外部設備[1]。作為一種新型人機交互方式，腦機接口近年來逐步成為研究熱點。當前腦電信號主要分為大腦皮層電位圖（ElectroCorticoGram， ECoG）、腦電圖（ElectroEncephaloGram， EEG）、腦磁圖（MagnetoEncephaloGraphy， MEG）、功能磁共振成像（Functional Magnetic Resonance Imaging， FMRI）等，由于EEG具有低成本和非侵入性的優點而被廣泛應用于BCI系統[2]。

目前，基于EEG的BCI系統的研究主要集中于運動想象腦電信號。在執行運動想象任務時，μ節律（8～13Hz）的能量下降，這種現象稱為事件相關去同步（Event-Related Desynchronization， ERD）;而在β（14～30Hz）節律的能量增加，這種現象被稱為事件相關同步（Event-Related Synchronization， ERS）[3]。根據ERD/ERS現象，許多運動想象任務識別方法被提出，如共空間模式（Common Spatial Pattern， CSP）[4]、濾波器組共空間模式（Filter Bank Common Spatial Pattern， FBCSP）[5]、自回歸模型[6]等。近年來，卷積神經網絡（Convolutional Neural Network， CNN）在機器視覺、語音識別等領域被廣泛應用，而在BCI領域仍處于起步階段。相比手工提取特征的方法，CNN通過數據驅動的方式提取抽象特征，減少了信息的損失。唐智川等[7]以原始的腦電數據（通道×采樣點）作為CNN的輸入，構建了一個5層的CNN來對運動想象進行特征提取與分類，結果表明，CNN比傳統運動想象識別方法更好;Pérez-Zapata 等[8]結合CNN和功率譜密度特征對運動想象腦電信號分類，識別率亦高于傳統方法。然而，它們并未考慮到腦電信號含有豐富的時間和頻率信息這一特點。為此，本文充分結合時間與頻率信息，將經過短時傅里葉變換（Short-Time Fourier Transform， STFT）[9]得到的時頻圖作為CNN的輸入，并使用一維卷積進行特征提取;此外，本文利用支持向量機（Support Vector Machine， SVM）[10-11]在處理小樣本分類時的良好特性，將經過CNN提取到的特征利用SVM分類器進行分類。通過在BCI競賽數據集上的實驗表明，本文方法在識別率上優于其他傳統運動想象腦電信號識別方法。最后在智能輪椅平臺上進一步驗證了本文方法的有效性。

1 預處理

腦電信號是一種復雜的生物信號，包含大量時頻信息，并且往往由多個通道采集（如本文所使用的數據集，其運動想象腦電信號由C3、CZ和C4三個電極采集而成）。結合ERD/ERS現象，本文基于BCI競賽數據集設計了一種二維時頻圖作為CNN的輸入。對于每個電極采集到的2s長度腦電信號，利用STFT得到257×32的時頻圖，其中STFT采用長度為64的漢明窗，時間間隔為14。為了更好地表示數據，對得到的時頻圖提取8～13Hz頻帶和17～30Hz頻帶，分別得到12×32和29×32的二維時頻圖。此外，為了保證兩個頻帶的一致性，通過立方插值法將17～30Hz頻帶的時頻圖調整為12×32。最后，本文將三個電極的所有頻帶進行組合構成（3×2×12）×32大小的時頻圖（即72×32），如圖1所示。

2 卷積神經網絡

2.1 網絡結構設計

卷積神經網絡是一種多層神經網絡，主要由輸入層、卷積層、全連接層和輸出層組成。與圖像不同，腦電信號是一種包?含豐富時頻信息的信號，本文為了識別運動想象腦電信號而?設計了一種新的CNN結構模型（如圖2所示），該CNN由5層網絡構成，第1層為輸入層，第2、3層為卷積層，第4層為全連接層，第5層為輸出層。各網絡層結構具體如下：

1）L1。該層為神經網絡的輸入層，本文以預處理中得到的72×32時頻圖作為輸入I。

2）L2。該層為卷積層。傳統的CNN往往使用二維卷積核進行運算，以時頻圖作為CNN的輸入時，由于其橫縱坐標分別代表了時間與頻率分量，這種傳統的二維卷積核會使得提取的特征中混雜頻率與時間信息，對提取到的特征十分不利。為了避免時頻信息的混雜，本文采用一維卷積核進行計算。在L2中使用了8個卷積核，卷積核大小設置為72×1，通過與輸入數據進行卷積運算可得8個對應的特征圖，進行卷積第k個卷積核對應的特征圖被定義為：

h2k（j）=f （ ∑ 72 i=1 Ii， j×w2k+b2k（j） ）

（1）

其中：j表示特征圖中的第j個神經元;w2k為72×1的卷積核;b2k（j）為偏置;f（）表示激活函數。本網絡模型以修正線性單元（Rectified Linear Unit， ReLU）作為激活函數，表示如下：

f（a）=ReLU（a）=max（0，a）

（2）

3）L3。該層為卷積層。對L2層中得到的8個特征圖分別使用5個卷積核，卷積核大小為8×1。為了減小過擬合的風險，該層設置卷積步長與卷積核長度相同以減少參數。經過映射后，該層可得40個特征圖，每個特征圖的大小為4×1。與L2層計算方式類似，特征圖可表示為：

h3k（j）=f （ ∑ 8 i=1 h2k（（j-1）×8+i）×w3k+b3k（j） ）

（3）

其中：w3k為8×1的卷積核;b2k（j）為偏置。

4）L4。該層為全連接層，神經元個數為30，其作用為連接所有特征，并將輸出值送給分類器。計算方式為：

h4（j）=f （ ∑ 40 i=1 ∑ 4 p=1 h3i（p）w4i（p）+b4（j） ）

（4）

其中：w4i（p）為L3、L4兩層神經元的連接權值;b4（j）為偏置。

5）L5。該層為輸出層，神經元個數為2，代表左右手運動想象的二分類問題。它與L4層的所有神經元以全連接的形式相連接：

y5（j）=f （ ∑ 30 i=1 h4（i）w5（i）+b5（j） ）

（5）

其中：w5（j）為L4與L5兩層之間的連接權值;b5（j）為偏置。

CNN的訓練主要采用反向傳播算法[12]，即先前向計算每層輸出，根據輸出層的結果與標簽反向計算誤差，據此誤差求權值和偏置的梯度，以此更新各個權值和偏置。

2.2 分類器

在傳統CNN中，各卷積層負責特征提取，分類工作主要通過全連接層完成，其分類性能有待提高。SVM以VC維和結構風險最小化的原則，具有良好的泛化能力，在處理類似于腦電數據這種小樣本時能表現出很好的優勢。為此，本文將CNN與SVM相結合，以SVM作為CNN的分類器，具體做法為：將SVM替換原始CNN中的輸出層（即圖2中的L5），并以全連接層得到的特征（即圖2中的L4）作為SVM的輸入。SVM分類器同樣需要訓練，其訓練過程如圖3所示：首先，將所有樣本作為圖2中CNN模型（已訓練完畢）的輸入，通過L4得到所有樣本的特征向量，再將所有訓練樣本的特征向量作為SVM的輸入，最后得到訓練完畢的SVM分類器。

3 實驗結果與分析

本文在公共數據集BCI Competition Ⅳ 2B上做了離線實驗（http：//www.bbci.de/competition/iv/）。該數據集記錄了9名受試者想象左手運動和想像右手運動的腦電數據，每名受試者通過C3、CZ和C4三個電極采集5組腦電數據，其中前兩組每組包含120個樣本，后三組每組提供160個樣本。在記錄時，腦電數據在0.5～100Hz進行帶通濾波，并使用50Hz陷波濾波器以消除工頻干擾。對于每位受試者，以前3組作為訓練樣本，后2組作為測試樣本。

經過多次實驗，對網絡模型進行參數調整。在CNN模型的學習率設置為0.01的條件下，本文將不同的網絡迭代次數

進行對比，結果如圖4所示， 橫坐標表示網絡迭代次數，縱坐標表示分類正確率。由圖4可知， 可以看出最優的迭代次數在300～500，而過高的迭代次數使模型出現了明顯的過擬合現象。

由于越高的迭代次數需要的訓練時間也越長，在不損失分類

正確率的前提下為了減少訓練時間，本文將迭代次數選為

300。此外，本文SVM中的核函數采用徑向基核函數，并且通過網格搜索法設置SVM的懲罰系數C=0.18，相應的核函數參數σ=0.5。

為了評估本文方法對左右手運動想象腦電信號的識別性

能，對近年來被廣泛使用的CSP方法[4]、CSP的衍生算法FBCSP[13]以及普通CNN方法[7]進行了對比實驗;另外，為了體現對比方法的多樣性，本文也對BCI Ⅳ競賽前三名（按名次由高到低依次為Chin、Gan和Coyle）所使用的方法進行了對比。所有受試者的測試樣本在上述方法下的識別率如表1所示。由表1可以直觀地發現，本文方法平均識別率為865%，優于其他方法，說明充分挖掘腦電信號的時頻信息有利于識別率的提升 ;相比FBCSP和普通CNN這兩種算法，分別提高了6個百分點和2.3個百分點 。對于單個受試者，本文方法識別率最高可達98.3% ，比普通CNN算法提高了0.2個百分點 。此外，本文方法的識別率雖高于普通CNN方法，但在測試集上分類耗時略高，主要原因在于本文方法在CNN之前引入了預處理操作，且分類器更改為耗時較高的SVM。

為了進一步驗證本文方法的有效性和在實際應用中的使用效果，本文基于智能輪椅平臺進行了一系列實驗。其中運動想象腦電信號利用Emotiv傳感器進行采集，如圖5（a）所示。該傳感器具有16個電極，所有電極按照國際10-20標準電極安放來合理分布，如圖5（b）所示。在這16個電極中，FC5、FC6及O1等電極可作為采集通道，而電極CMS和DRL作為參考電極。

以本文方法得到的識別結果作為控制智能輪椅的指令信號，對5名健康受試者按照圖6所示實驗路徑進行走“8”字實驗，并與普通CNN方法進行對比，得到的運動軌跡曲線分別如圖7（a）和（b）所示。由圖7（a）和（b）可知，受試者均能通過兩種方法安全地完成指定路線，但普遍存在“8”字形右邊沒有左邊光滑和波動更大的問題，其主要原因是受試者在左右手運動想象過程中需要高度集中注意力，使得在控制后期易產生疲勞，進而導致腦電信號特征值發生變化[14]，穩定性降低，加重誤識別的可能性。雖然兩種方法均能完成“8”字形路線，但相比較而言，基于本文方法的輪椅運動軌跡曲線比基于普通CNN方法的輪椅運動軌跡曲線更光滑，波動更少，且更具有實際的應用前景。

4 結語

本文采用了一種基于時頻域的卷積神經網絡對左右手運動想象腦電信號進行特征提取和分類。首先，通過STFT提取電極C3、CZ和C4原始時間序列信號的時頻域信息，依據此時頻信息，設計了CNN結構;其次，通過實驗對CNN的相關超參數進行調整和選定，并基于公共數據集將本文方法與其他方法以識別率為標準進行了一系列對比實驗，結果表明，本文方法的平均識別率均優于其他識別方法，單個受試者的識別率亦高于其他識別方法;最后，將本文方法應用于智能輪椅的實時控制中，驗證了本文方法的有效性。本文方法實現了左右手運動想象腦電信號的準確識別，為腦機接口技術在助老助殘領域的應用提供了理論基礎與支持，但相比于其他常用的運動想象腦電信號識別方法，本文方法分類識別時耗時較高，如何減少分類所需時間是我們下一步的研究重點。

參考文獻

[1]?王行愚，金晶，張宇，等.腦控：基于腦——機接口的人機融合控制[J].自動化學報，2013，39（3）：208-221. （WANG X Y， JIN J， ZHANG Y， et al. Brain control： human-computer integration control based on brain-computer interface [J]. Acta Automatica Sinica， 2013， 39（3）： 208-221.）

[2]??MINGUILLON J， LOPEZ-GORDO M A， PELAYO F. Trends in EEG-BCI for daily-life： requirements for artifact removal [J]. Biomedical Signal Processing and Control， 2017， 31： 407-418.

[3]?AVILS-CRUZ C， VILLEGAS-CORTEZ J， FERREYRA-RAMíREZ A， et al. EEG pattern recognition： an efficient improvement combination of ERD/ERS/laterality features to create a self-paced BCI system [C]// Proceedings of the 2016 Mexican Conference on Pattern Recognition， LNCS 9703. Cham： Springer， 2016： 231-240.

[4]?RAMOSER H， MLLER-GERKING J， PFURTSCHELLER G. Optimal spatial filtering of single trial EEG during imagined hand movement [J]. IEEE Transactions on Rehabilitation Engineering， 2000， 8（4）：441-446.

[5]?KAI K A， ZHENG Y C， ZHANG H， et al. Filter Bank Common Spatial Pattern （FBCSP） in brain-computer interface [C]// Proceedings of the 2008 IEEE International Joint Conference on Neural Networks. Piscataway， NJ： IEEE， 2008： 2390-2397.

[6]??IQBAL H， AQIL M. A QR decomposition based RLS algorithm with forgetting factor for adaptation of AR EEG features [C]// Proceedings of the 2016 International Conference on Emerging Technologies. Piscataway， NJ： IEEE， 2016： 1-5.

[7]?唐智川，張克俊，李超，等.基于深度卷積神經網絡的運動想象分類及其在腦控外骨骼中的應用[J].計算機學報，2017，40（6）：1367-1378. （TANG Z C， ZHANG K J， LI C， et al. Motor imagery classification based on deep convolutional neural network and its application in exoskeleton controlled by EEG[J]. Chinese Journal of Computers， 2017， 40（6）： 1367-1378.）

[8]?PREZ-ZAPATA A F， CARDONA-ESCOBAR A F， JARAMILLO-GARZN J A， et al. Deep convolutional neural networks and power spectral density features for motor imagery classification of EEG signals [C]//? AC 2018：? Proceedings of the 2018 International Conference on Augmented Cognition. Berlin： Springer， 2018： 158-169.

[9]?GRAMFORT A， STROHMEIER D， HAUEISEN J， et al. Time-frequency mixed-norm estimates： sparse M/EEG imaging with non-stationary source activations [J]. Neuroimage， 2013， 70（2）： 410-422.

[10]?SHAO S Y， SHEN K Q， ONG C J， et al. Automatic identification and removal of artifacts in EEG using a probabilistic multi-class SVM approach with error correction[C]//? SMC 2008：? Proceedings of the 2008 IEEE Internatioanl Conference on Systems， Man and Cybernetics. Piscataway， NJ： IEEE， 2008： 1134-1139.

[11]??BHARDWAJ A， GUPTA A， JAIN P， et al. Classification of human emotions from EEG signals using SVM and LDA classifiers [C]// Proceedings of the 2015 2nd International Conference on Signal Processing and Integrated Networks. Piscataway， NJ： IEEE， 2015： 180-185.

[12]?NG S C， LEUNG S H， LUK A. Fast convergent generalized back-propagation algorithm with constant learning rate [J]. Neural Processing Letters， 1999， 9（1）： 13-23.

[13]?KENG A K， YANG C Z， WANG C， et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b [J]. Frontiers in Neuroscience， 2012， 6： 39.

[14]?NEU D， MAIRESSE O， VERBANCK P， et al. Non-REM sleep EEG power distribution in fatigue and sleepiness [J]. Journal of Psychosomatic Research， 2014， 76（4）： 286-291.