基于深度時空特征融合的多通道運動想象EEG解碼方法

楊 俊 馬正敏 沈 韜* 陳壯飛 宋耀蓮

①(昆明理工大學信息工程與自動化學院 昆明 650504)

②(昆明理工大學醫學院 昆明 650504)

1 引言

腦信息解碼是實現腦機接口(Brain Computer Interface, BCI)[1]系統的關鍵環節。傳統腦電(ElectroEncephaloGraphy, EEG)分析需要加入人為經驗進行特征定性，這使得BCI系統的實時性很難達到要求，同時也不能廣泛地應用于不同人群。因此實時性和泛化能力成為制約在線BCI系統發展的瓶頸問題。在此背景下，相對于傳統方法，深度學習[2]具有整合預處理、特征提取和分類環節-簡化解碼過程，且能自動根據數據優化解碼結果的優勢。

在運動想象(Motor Imagery, MI)腦信息解碼研究上，多通道數據固然能提供更為全面的信息，但也會引入冗余信息。因此利用多通道運動想象腦電信號信息解碼需要有目的地對通道信息進行合理取舍。從現有的研究上看，對通道信息進行特征提取的常用方法有主成分分析、獨立成分分析和共空間模式[3]。前兩種方法主要針對含有空間信息的2維數據矩陣做分解和重構轉換，共空間模式則是將數據轉換到另一個新的空間，使得不同類別數據間的方差最大，同類數據的方差最小，從而突顯辨識信息提高分類精度。這些方法由于針對的不只是空間辨識度的獲取，在空間域特征的提取和空間域信息的融合上表現得并不出色。因此在空間特征提取上具有一定的局限性。對于多通道MI-EEG特征來說，捕獲多信道信號之間的相關性是至關重要的，而捕獲通道間關聯性的方法包括特征融合法[4,5]、多信道決策融合策略[6]和深度學習法[7]。從現有的方法來看，文獻[8]所提出的基于卷積神經網絡(Convolutional Neural Networks, CNN)和長短時記憶模型(Long Short Term Memory, LSTM)并聯模型對空間特征進行融合的方法是比較具有代表性的。利用多通道數據進行腦電解碼，通道或通道組合的選取顯得尤為重要。首先需要對不同通道數據進行分析，從這些通道信息中挖掘出具有辨識特性的子空間特征。大部分MI-EEG解碼研究僅針對目標通道(C3, C4)，忽略了非目標通道中能反映腦活動的信息。文獻[9]利用CNN對三通道和五通道腦電數據進行特征提取。文獻[10]利用深度模型進行通道選取下的MI-EEG解碼，該類方法基于2維數據結構對時空特征進行提取并選取有效的通道信息。文獻[11]利用空間濾波器和空間特征權值過濾冗余通道信息。文獻[12]和文獻[13]針對MI-EEG的時間和空間特征進行融合解碼。這些方法都是基于對特征細分后再進行加權融合，并沒有考慮對通道數據處理前數據空間結構和時空局部特征組合表達的合理性。文獻[14]通過計算多通道關聯性分析解碼效率。基于上述分析，本文引入一種新的多通道卷積神經網絡(MC-CNN)的解碼方式，該結構能夠彌補通道位置信息在存儲時的空間關聯信息丟失問題，然后結合卷積神經網絡在空間濾波上的強大功能，對目標通道及其附近的35個通道MI-EEG數據進行時空特征提取。該模型對經過離散小波分解后的α, β頻段的數據進行處理。卷積神經網絡將多通道數據融合映射到幾個子空間特征向量上，然后利用這些提取出的具有辨識信息的融合特征進行解碼。實驗結果表明，基于多通道MI-EEG多元特征融合學習后的識別方法較其他方法預測性能更好。

2 運動想象數據獲取和預處理

2.1 運動想象實驗

在運動想象實驗中，6名被試者參與了腦電信號的收集，并記錄了來自64個電極的腦電信號。被試者被要求進行兩種類型的運動想象：左手，右手(圖1所示)。采集分為6個時段進行，每個時段每個被試者進行48次運動想象實驗。因此，每個被試者總共有288次運動想象實驗腦電序列被采集到。訓練數據采用在左右手視覺提示線索出現后的2.5～4.5 s(共2.0 s)作為運動想象部分。

2.2 MI-EEG通道選擇

眾所周知，事件相關同步和去同步(Event Related Synchronization/Desynchronization, ERS/ERD)現象出現在特定的腦區，因此在運動想象期間只有少數電極被激活(主要是C3, C4和Cz)。另外，不相關和冗余信道會增加計算量，降低識別精度。本次實驗采用運動想象目標通道C3, C4及其周圍的共35個通道，如圖2紅框所圍部分。

2.3 MI-EEG數據預處理

本文將對選出的多通道腦電信號在0.5～100 Hz進行濾波，并以250 Hz的采樣頻率進行采樣，再利用5階Butterworth帶通濾波器去除信號超過40 Hz的噪聲和在4 Hz以下的慢基線信號。然后利用離散小波變換獲取到與ERD/ERS相關的目標頻段(即16～32 Hz和8～16 Hz頻段)進行分析。離散小波變換經過多級分解將原信號轉化為多個不同頻段的細節系數(detail coefficients)和1個低頻成分的近似系數(approximate coefficient)。本次研究針對空間特征進行分析，因此本文針對每個通道組的MI-EEG數據進行特征提取。對于信號的M級小波分解，給定的信號s (n)可以表示為其中，M表示離散小波分解級數，AM表示近似系數，Dj表示不同分解層級下的細節系數。具體的分解方式為

圖1 運動想象實驗過程

圖2 所采用的電極通道位置

其中， g[i]和h [i]代表低通濾波器和高通濾波器，上標L和H分別對應信號的高頻和低頻部分的表達縮寫。本文設計的離散小波分解級數為4級，分級形式為

3 深度學習特征提取及融合方法

3.1 MI-EEG時空間特征提取

一般來說，卷積神經網絡是由1個或幾個堆疊的卷積層組成的。每個卷積層通常包括3個處理階段，即卷積階段、檢測階段和池化階段[15]。本文方法利用不同模型從不同的角度對空間特征進行多樣表達，然后再對生成的特征進行融合解碼。此方法在保證特征表達多樣化的同時進行融合，在很大程度上能夠提升解碼性能，同時采用CNN進行空間特征提取和融合有兩個優勢：(1) CNN能夠從MI-EEG中提取低層次的局部特征，隨著卷積網絡加深，能在這些低層特征結構的基礎上進一步提取更大范圍的高層全局特征。(2) CNN適合處理帶有空間位置信息的數據結構。當使用2維濾波器對2維MI-EEG數據進行卷積時，每層卷積結果可以表示為

其中， x表 示當層輸入數據，Wk表示k階2維濾波器的權值矩陣， bk對應k階濾波器的偏置，i和j表示相鄰的卷積層數。通過不同的濾波器對數據進行卷積從而實現特征的多種組合形式[16]。

通常情況下，設計CNN時，層級數k隨網絡層加深而遞增。這里利用3層的CNN對35通道的MI-EEG進行處理。卷積過程詳見圖3。

在卷積第1層，本文采用2維濾波器，對時間和空間特征同時進行提取。第1層主要對空間信息進行濾波，將35通道的信號濾波為6組子空間特征向量。第2層對時間信息進行濾波，經過卷積和池化最后形成6組長度為101的時空特征向量。該向量空間融合了35個通道的信息的表達。卷積過程詳見表1所示。CNN網絡設計的主要參數是卷積層數、卷積濾波器、學習率、池化函數，這些參數的值預先設定，且在網絡訓練過程中不會產生變化。卷積模型的超參數選擇基于設計標準[17,18]并結合實際情況。

3.2 MI-EEG時空間特征融合

在特征提取以后，要考慮特征的選取和融合。鑒于對全局特征進行選取和融合，本文采用自動編碼器(Auto-Encoder, AE)作為特征生成網絡，AE能以一種非監督學習模式復現輸入信號。采用AE的目的是利用其復現功能重新整合特征，即捕捉輸入特征數據的重要成分。對于所提取的特征，利用AE將其映射到一個具有辨識度的特征子空間上。CNN提取出的特征向量F作為AE的輸入。自動編碼過程表示為

4 實驗及評估

4.1 實驗數據類型及實驗平臺

圖3 所提方法的網絡架構

表1 數據經過各卷積層和神經網絡層后的映射變化情況

實驗數據分為自己采集的實驗室采集數據和BCI競賽IV中的公共數據，采集數據和公共數據均為執行左、右手運動想象任務的腦電數據。數據情況詳見表2。數據以一種3維(時序，通道數，次數)數據矩陣結構存放，因此本文所需要處理的輸入數據格式是針對此類數據格式進行的。

整個神經網絡采用Theano和TensorFlow框架實現。Theano是一個用于構建運算的Python庫，TensorFlow廣泛應用于各類機器學習(Machine Learning, ML)算法的編程實現[19]。由于對多通道MI-EEG信息處理，考慮到計算效率，本文采用相對簡單的MSE作為損失函數。訓練采用自適應隨機優化算法ADAM[20]對MSE損失函數進行優化。學習速率為0.004，為了預防過擬合，權值失效率設為0.5。訓練采用小批樣本梯度下降策略(mini-batch gradient decent)。對于不同的數據集S1, S2, S3均劃分為10個批次樣本子集。以單位批次訓練完畢后計算損失函數和更新參數。對于不同數據集所提方法都接受了50次全部樣本訓練。在每次訓練結束時，如果模型性能超過訓練集上出現過的最佳性能，則保存模型參數。監督訓練的目的在于在已知標簽數據的情況下通過CNN擬合一個從輸入數據到預測分類輸出的函數。用于訓練和測試的數據比例為2:1。最后在測試集上計算模型的最終解碼性能。

本文對CNN中的所有參數(權重和偏差)進行聯合訓練。softmax輸出給出了K分類上的條件概率分布。通過這個分布，本文可以最小化每次訓練的損失函數的總和來訓練整個CNN網絡的參數

4.2 MI-EEG解碼準確率分析

本節主要對不同的實驗數據在不同的深度學習方法下的分類準確率進行分析。為了方便表示，將所提的方法記為MC-CNN，即多通道數據特征融合的CNN。對比方法用了對目標通道特征提取的CNN和提取時域特征的LSTM。表3給出了實驗室采集的數據集D1下，所提的方法與其他深度學習方法的準確度比較情況。3種方法的平均分類準確率分別為84.57%, 85.60%和88.05%。本文所提出的方法比次優方法高出了2%，說明所提的通道融合方法能提高解碼性能。此外，LSTM比CNN在6個被試者中的平均準確率高，但LSTM相比CNN用于時域特征提取需要更大的計算開銷，因此當進行BCI應用設計時，要根據實際情況進行權衡。

表2 MI-EEG實驗數據情況

從競賽數據來看，MC-CNN方法分類性能也較好(見表4)。在競賽數據下，MC-CNN在除被試者D和F外優于其他解碼方法。LSTM在競賽數據上的表現仍然優于CNN。

4.3 深度學習模型性能分析

圖4給出了不同特征提取的深度模型下的混淆矩陣和評價指標，最右下方格子里面的百分數表示對應方法的準確率。從評價指標中可以看出，本文所提方法在各項指標上均優于采用LSTM進行特征提取的方法。此外，本文還發現，所提方法的召回率相對較高，此結果說明在所有的左手運動想象MI-EEG樣本中，本文的方法能夠較好地識別此類樣本。也可以進一步解釋為：本文所提方法在捕獲左手想象時的辨識信息上更具潛力。

圖5顯示了在不同方法下的多通道MI-EEG預測時間。C-RNN表示卷積和遞歸聯合的深度學習方法。本文所提的MC-CNN方法測試用時比CRNN和LSTM少，比CNN多。原因在于，空間特征提取和融合所帶來的參數運算量增加。

表5將本文所提方法與文獻[21]所提出的基于瑞利系數最大化(RC)的多通道特征提取方法及該文獻中所提到的其他方法進行比較，由于針對的被試者不同，這里僅針對不同被試者的平均準確率進行比較。可以從表5中看出所提方法與其他方法相比準確率有所提升。同時，基于RC和GA及其結合的方法在不同被試者的表現上波動比較大，所提方法在不同被試者上的波動變化較小。

表3 不同被試者和方法下的準確率(采集數據D1)

表4 不同被試者和方法下的準確率(公共數據D2,D3)

圖4 不同特征提取方法下的混淆矩陣及評價指標

圖5 不同方法的測試時間對比情況

表5 不同多通道MI-EEG解碼方法的準確率對比(%)

4.4 特征融合分析

本節對局部特征構成全局特征的過程進行分析。為了方便表示，不同頻段的信息特征用離散小波分解系數表示為頻段D1，頻段D2，頻段D3，頻段D4，頻段A4。在時域分析上需要考慮信息的前后關聯性，這使得在分段時要保證一部分的重疊信息，因此本文采用滑動窗將信號的時域部分進行劃分，時段長度定為0.8 s，滑動窗的步長間隔定為0.4 s。這樣本文將長度為2.0 s的腦電信息分為4個不同時段的信息。圖6給出了數據集S1中6個被試者數據中不同頻段和時段的包絡特征對形成全局特征的影響情況。縱坐標系數對應本文完全訓練好的網絡映射系數。從圖中可以得到兩點明顯特點，一是在不同的被試者之間，局部時段-頻段特征有著顯著的分布變化。二是所有被試者在頻段D2和頻段D3上的特征分布都較大，這與ERD/ERS現象相符。識別準確度較高的被試者C，被試者E在局部特征表現上都有共同的特點，即局部特征分布比較集中。這意味較多的辨識特性蘊含在較少的局部特征中，這種辨識特征集中分布也突顯出與非辨識特征的差異，因此本文的方法對這類數據的識別率更高。這一點其實是大部分分類識別模型的特點，如CSP就是通過將MI-EEG數據轉化到另一個空間，使得其類間數據的方差最大化，類內數據的方差最小化，從而提高識別性能。

接下來針對通道局部特征進行分析。這里把35個通道對全局特征的影響按大小劃分為5個等級。劃分結果見表6。從劃分結果電極位置分布情況看，中軸位置除了Cz，其他電極均為微弱級影響通道。這是因為，中路位置位于左右腦分界，這部分區域幾乎沒有有效的腦活動信息，就算有也是其他區域傳過來的代表其他區域的信息。Cz位于兩個目標通道中間，不同影響的辨識信息也會疊加到這個通道上，也可以作為參考通道。另外本文還發現影響度前3的通道只有12個，占總通道數的1/3。從分布來看，它們主要圍繞在C3, C4附近。微弱通道數有18個，占了總通道數的1/2以上。因此在多通道MI-EEG解碼時，對冗余通道的壓縮和濾除是很重要的。由于不同的被試者在通道上的辨識信息分布也存在差異，針對不同的被試者進行有目的的通道選擇再進行相應的解碼是本文進一步需要研究的問題。

圖6 不同被試者數據時-頻特征對分類結果的影響

表6 不同通道對識別結果的影響分布

5 結束語

本文研究了多通道MI-EEG空間特征壓縮融合問題，提出了一種基于多通道腦電特征信息解碼方法MC-CNN。該方法利用卷積神經網絡對經過預處理的多通道腦電數據先進行時空特征提取，在池化過程中，將數據的時域信息進行逐步壓縮，再利用AE對提取出的時空特征進行融合，形成壓縮后的特征子空間。最后通過softmax分類器針對特征子空間進行分類預測。

本文使用識別模型的常用評價指標和一些實驗方法對所提出的方法進行驗證。實驗結果表明，在多通道多被試者運動想象場景中，本文提出的方法性能優于其他多通道特征分析方法的性能，且證明了所提方法在預測性能和效率方面的能力。采用基于深度學習模型的方法也是考慮到多通道數據在大量的復雜信息中蘊含著豐富的有效的辨識資源，通過實驗也證明了這一點。此外，對多通道MI-EEG數據的分析也能幫助我們分析一定腦區位置信息在運動想象過程的變化和關聯情況，從而能夠對大腦結構和功能進行更加深入的探索。