腦電信號多維特征融合與分類算法研究

朱永清，王文格

湖南大學 機械與運載工程學院，長沙 410006

腦機接口（brain-computer interface，BCI）是直接通過人類大腦信號確定其意圖，實現人腦與外部設備的通信和控制[1]。BCI 在腦控輪椅[2]、疾病康復[3]、神經假肢[4]等領域具有廣泛地應用前景，為殘障人群提供有效生活保障。目前，BCI技術最大難點在于如何提高腦電信號識別準確率，因此腦電信號（electroencephalogram，EEG）的特征提取算法優化以及分類器改進是目前BCI 研究的重點，特別是在運動想象腦電信號領域。

近年來，由于單一特征只能表征特定的腦電信息，而多特征融合因能包含不同維度的有效腦電信息，成為運動想象多分類特征提取的研究熱點之一。其中具有代表性的有：李明愛等[5]提出一種基于希爾伯特-黃變換（Hilbert-Huang transform，HHT）與共空域子空間分解算法（CSSD）的特征提取算法，提取希爾伯特瞬時能量譜和邊際能量譜作為時頻特征，并提取空域特征，將融合特征使用矢量化神經網絡分類器進行分類。Chen等[6]提出融合香農熵、小波熵和樣本熵作為運動想象腦電特征。楊默涵等[7]提出EEMD 與近似熵相結合的多特征提取方法。

在運動想象分類識別中，常用的分類器有支持向量機（support vector machines，SVM）[8]和線性判別分析（linear discriminant analysis，LDA），然而在多任務分類情況下，兩者容易出現無法分類現象，而且隨著類別的增多，準確率隨之下降，而深度學習因具有分類精度高且能夠自動提取最優化特征和解碼等優勢，逐漸被應用于運動想象分類識別。文獻[9]提出具有滑動裁剪策略的深度遞歸神經網絡（recurrent neural network，RNN）應用于腦電分類，并將能控循環單元和長短期記憶單元應用于RNN 架構。文獻[10]提出了使用連續小波變換提取腦電信號作為卷積神經網絡（convolutional neural network，CNN）的輸入特征進行分類。文獻[11]使用多層半監督極限學習機（hierarchical semi-supervised extreme learning machine，HSS-ELM）作為分類器，但識別準確率提升并不明顯。

為了改善運動想象分類準確率，本文提出利用腦電信號的時-頻-空以及非線性動力學4個維度的特征進行加權融合，提取的特征分別為共空間特征，能量特征，邊際譜熵特征和非線性動力學特征；構造CNN分類器，將融合特征作為CNN 分類器的輸入特征，在運動想象多任務識別中取得了較好的效果。

1 相關理論

1.1 OVO-CSP

“一對一”共空間模式（one versus one-common spatial pattern，OVO-CSP）[12]是一種多任務運動想象腦電信號特征提取算法，在多任務分類中取得了良好的效果，該算法思想是將多分類問題轉化成若干個二分類問題。

這里使用傳統二分類CSP 算法進行說明，假設X1,X2∈RN×T是兩分類運動想象的多通道誘發響應時空信號矩陣，其中N為電極通道數，T為采樣長度。則協方差矩陣如下：

1.2 希爾伯特-黃變換

1.3 小波包變換

小波包變換（wavelet packet transform，WPT）具有無冗余、無疏漏優勢，可以對腦電信號局部時頻分析。利用小波包變換可以對運動想象EEG信號進行細致有效的分解，能夠顯著提升運動想象腦電特征分類的準確率。函數的表達式如下[15]：

圖1 小波樹分解圖Fig.1 Diagram of wavelet tree decomposition

1.4 非線性動力學特征

2 特征提取與融合

2.1 數據來源

數據采用2008 年第四屆國際BCI 競賽中，由Graz科技大學提供的腦電數據集（Dataset 2a）[19]，該數據集由9 名受試者提供4 種不同的運動想象任務，包括想象左手、右手、腳和舌頭的運動。腦電信號共采集22 個EEG 通道，3 個EOG 通道，每個受試者共擁有訓練集和測試集兩組數據，每組數據共288 次運動想象，每個運動想象任務隨機生成。

實驗范式如圖2所示，實驗開始時（t=0 s），屏幕出現十字交叉并發出運動想象提示音，2 s 后出現一個持續1.25 s的向左、右、上、下的箭頭（分別表示左手、右手、舌頭、腳）提示受試者開始運動想象，沒有提供反饋；受試者需要一直執行運動想象到t=6 s，接著是1.5 s的休息時間，然后不斷重復上述過程直至結束。

圖2 實驗范式時序圖Fig.2 Sequence diagram of experimental paradigm

2.2 預處理

在特征提取前，需要對原始腦電數據集進行預處理，才能更有效地提取EEG信號特征。根據圖2實驗范式可知，有效腦電信號主要集中在運動想象任務開始的3～6 s，因此提取運動想象3～6 s 的采樣數據作為分類識別數據，將EEG 信號中含有“NaN”的數據置為0[20]。由于運動想象產生的ERD/ERS主要分布在μ節律（8～13 Hz）和β節律（14～30 Hz）[21]，故對運動想象信號進行8～30 Hz的5階巴特沃斯帶通濾波，可以有效提高EEG信號的信噪比。

2.3 特征提取

數據集的采樣頻率為250 Hz，故選取dB4小波作為小波包變換的基函數，將預處理后的EEG信號分解為4層小波包，得到16 個頻率分量，其中最小分辨率f=7.8 Hz。根據表1 的小波子帶頻率范圍可以得知節點（4，1），（4，2），（4，3）的頻帶范圍為7.8～31.2 Hz，基本涵蓋運動想象腦電信號的有效信息，因此選取節點（4，1），（4，2），（4，3）對運動想象腦電信號進行重構。

表1 小波子頻帶頻率范圍Table 1 Range of wavelet sub-bands frequency

將重構后的EEG 信號分別進行相應的特征提取，得到不同維度的有效腦電特征，具體算法流程如圖3所示。

圖3 特征提取算法流程Fig.3 Flow of feature extraction algorithm

提取共空間特征時，使用訓練數據構建OVO-CSP的空間濾波器，由于數據集為4 分類EEG 信號，需要構建6 個空間濾波器。將EEG 數據分別輸入各個空間濾波器，可得共空間特征F1，F1為6×22 的共空間特征矩陣。

提取能量特征前，需要對EEG 信號進行EMD 分解，分解得到的IMF 如圖4（a）所示。由圖可看出EEG信號的能量主要集中在前3 階的IMF，因此可以使用IMF1～IMF3 正向重構信號，重構后的信號含有大量有效腦電信號，重構信號如圖4（b）所示。對于重構后的信號首先提取其能量特征，其中包含22 個通道的能量特征，將腦電信號的能量特征記為F2；再對重構的信號進行Hilbert 變換，得到時頻譜和邊際譜，并提取邊際譜熵特征，每次樣本得到22通道的邊際譜熵特征，記為F3，如圖5 所示，從邊際譜圖可以看出，重構信號能量主要集中在0～30 Hz之間，與運動想象腦電信號分布在μ節律和β節律相符。

圖4 EMD分解和正向重構Fig.4 EMD decomposition and forward reconstruction

圖5 邊際譜圖Fig.5 Marginal spectrogram

最后，提取小波包重構后腦電信號的非線性動力學特征，包括近似熵特征、模糊熵特征和樣本熵特征。3種非線性動力學特征的維數和相似容限值分別取值為m=3，r=0.5，得到的非線性動力學特征記為F4，其為3×22的矩陣。

2.4 特征融合

通過特征提取得到F1、F2、F3、F4這4 種特征，對上述4種特征進行如式（11）的加權融合，最終得到特征融合矩陣F，其中c1、c2、c3和c4為每種特征所賦予的權重值。對F進行歸一化處理后，即可輸入至卷積神經網絡分類器進行分類識別。

3 基于卷積神經網絡的EEG信號分類識別

3.1 卷積神經網絡結構

本章將構建CNN分類器對四分類運動想象數據集進行分類識別，構建的CNN 模型基于二維特征輸入的神經網絡，網絡模型如圖6所示。

圖6 CNN網絡結構Fig.6 CNN architecture

（1）第一層為輸入層，輸入特征大小為11×22。

（2）接下來共有3個卷積層，第1個卷積層的卷積核大小為12×12，共有24 個卷積核；第2 個卷積層的卷積核大小為8×8，共有48 個卷積核；第3 個卷積層的卷積核大小為4×4，共有96個卷積核。每個卷積層后都跟著一個歸一化層和最大池化層，其中池化核大小為2×2，激活函數使用ReLU函數。

（3）最后是全連接層、激活層和分類層，其中全連接層為3個隱含層，神經元個數分別為192、28和4，通過分類層輸出CNN所識別的腦電意圖。

3.2 基于融合特征的CNN分類識別

將9個志愿者的數據集以8∶2劃分為訓練集和測試集，因此每個志愿者共有230個訓練樣本和58個測試樣本。分析融合特征在CNN 分類器的分類效果之前，需要對式（11）的4 個權重參數取值進行分析。對于權重取值，可以運用控制單一變量法，分別對式（11）的4 個權重取值分析。由于不同維度的特征值存在數量級差異，如果差異過大將導致融合特征攜帶信息丟失，因此依次將其中一個權重設置成以100，101，…，105方式遞增，固定其他3個權重，使用相應的融合特征對卷積神經網絡完成訓練，輸入測試集的特征矩陣至CNN分類器，得到結果如圖7 所示。最初先固定權重c2=c3=c4=1，由圖7（a）可知，c1=104時分類器表現最佳。因此將c1置為104對c2進行分析，由圖7（b）得c2=1 時識別準確率最佳。依次類推，分別得到c3=1,c4=104。

圖7 權重分析Fig.7 Weight analysis

通過以上權值分析，發現當權值為c1=104,c2=1,c3=1,c4=104時分類器的識別效果較好。同時，分別使4 個權重中的3 個為1，另一個權重設為自增變量，使用CNN分類器在訓練測試比例不變的情況下迭代300次，選取最高識別率，最終得到4 個權重參數的平均曲線圖，如圖8所示。

圖8 4個權值的平均曲線Fig.8 Average curve of four weights

由圖8 可以發現，c2和c3曲線均呈下降趨勢，隨著c2和c3的增長，CNN 分類器的識別準確率有所下降。而c1和c4均在104時得到較好結果，因此，就整體平均水平而言，融合特征的權值在該取值策略下取值為c1=104,c2=1,c3=1,c4=104時可以得到較好的分類結果。然而由圖7可以發現，就個體而言在權重參數取值并不唯一，可以在不同其他取值情況下得到更好或者相同的識別效果，如圖7（b）的A06T 曲線和圖7（d）的A09T曲線。

最終得到每位志愿者在CNN分類器的識別準確率如表2所示，與此同時得到SVM、BP分類器在該參數條件下也得到較好結果。其中SVM的輸入為11×22，輸出為識別結果；BP 分類器的輸入層、隱藏層、輸出層神經元個數分別為242、34、4。以上分類器均是在參數最優情況下獲得分類準確率。

表2 融合特征下不同分類器的對比Table 2 Comparison of different classifiers under fusion features%

由表2 可知，CNN 分類器的平均分類準確率比SVM高12.65個百分點，比BP高3.27個百分點，其最高準確率比BP 高3.45 個百分點，比SVM 高10.34 個百分點，而最低分類準確率要比兩者高10.33 個百分點。對比CNN和SVM，9位志愿者的分類精度均高于SVM；再對比CNN 與BP，僅A07T 志愿者高于CNN。可以看出CNN的整體分類性能是要比SVM和BP神經網絡優越，是一種分類效果好、準確度高的機器學習算法，而且在獨立個體的運動想象腦電信號分類中表象良好。因此，選擇CNN分類器作為運動想象多任務識別可以有效提高識別準確率。

3.3 融合特征與單一特征對比

常用的特征提取算法是CSP共空間特征提取，該算法屬于單一特征提取算法，為與融合特征對比，同樣進行小波包變換，然后提取其共空間特征。提取的共空間特征分別使用SVM、BP和CNN算法來訓練分類器并進行測試，此時3 種分類器的輸入特征大小為6×22，得到每位志愿者的測試準確率如表3 所示。由表3 可以發現，以單一特征（WPT+CSP 特征提取）作為分類器的特征輸入時，仍是CNN分類器平均分類準確率最高，可以說明CNN分類器在不同的特征輸入下表現出良好的分類情況。通過對比表2和表3可以發現，雖然SVM分類器在兩種特征輸入下的平均分類效果并無明顯區別，甚至前者略低于后者；但BP和CNN分類器以融合特征作為輸入，得到的分類準確率明顯要高于WPT+CSP 特征，對CNN 分類器來說，前者得到的平均準確率為75.88%，比后者高6.30 個百分點，說明融合特征能夠攜帶更多的腦電信息，能夠更好地提高運動想象腦電識別準確率，且明顯優于WPT+CSP特征分類識別。

表3 單一特征下3種分類器的分類性能Table 3 Classification performance of three classifiers under single feature%

4 實驗結果分析

在融合特征權值的取值分析過程中，得到如表3所示的融合特征在CNN分類器的分類結果。分類結果采用目前通用的Kappa系數進行衡量：

式中，p0為準確率。由式( )12 可知，Kappa 系數越高，代表對應的識別率越高。9位志愿者在特征融合算法下得到的Kappa 系數如表4 所示，其中A03T 最高為0.87，A05T 最低為0.46，得到該算法平均Kappa 系數為0.70，處于分類準確率相對較高的水平。

表4 9位志愿者的Kappa系數Table 4 Kappa coefficient of 9 subjects

將特征融合算法結合CNN分類器得到的分類結果與文獻[11]、[22]和[23]進行比較，文獻[11]使用帶通濾波器去除噪聲進行預處理在通過CSP濾波提取特征，最后使用HSS-ELM 進行分類；文獻[22]在帶通濾波預處理后，采用小波分析，使用CSP進行一級特征提取，再通過HT 變換進行二級特征提取，然后使用歸一化和算數求和進行終極特征提取，最后使用PSO-SVM 分類；文獻[23]使用孿生神經網絡對腦電信號進行分類。具體如表5所示。

表5 與已有方法分類準確率的比較Table 5 Comparison with classification accuracy of existing methods%

由表5分析可知，文獻[11]僅A09T的準確率高于本研究算法；而文獻[22]也只有A03T 的準確率高于所提出的算法；對于文獻[23]而言，雖然A01T、A05T、A09T高于特征融合算法，但A01T 和A05T 僅略高1.46 個百分點和3.14 個百分點，就整體而言結合CNN 分類器算法還是要優于文獻[23]，且最大識別率為89.66%，僅次于文獻[22]的最大識別率。由此可見，特征融合算法結合CNN分類器在提高多分類運動想象識別準確率上具有一定的優勢。

5 結論

本文研究提出的運動想象EEG 信號特征融合算法，充分考慮腦電信號多個維度特征，利用小波包變換分析EEG信號的時頻特點，通過共空間模式、希爾伯特-黃變換和非線性動力學算法進行特征提取，然后將不同維度的特征加權融合得到融合特征，相比于小波包變換和CSP 共空間模式組合的特征提取算法具有較高的準確率，再結合構建的CNN分類器，可進一步提高腦電信號的分類準確率。該算法分類準確率高、包含腦電信息多，取得了較為理想的結果。EEG信號多維度特征融合算法結合CNN 分類算法具有一定的優勢，為運動想象的BCI 在特征提取和分類準確率提高等方面提供了理論基礎和實驗借鑒。