基于圖卷積網絡的運動想象識別

許學添，蔡躍新

1.廣東司法警官職業(yè)學院 信息管理系，廣州510520

2.中山大學孫逸仙紀念醫(yī)院 耳鼻喉科 聽力學與言語研究所，廣州510120

腦-機接口（brain-computer interface，BCI）作為大腦神經活動與外部物理世界的連接橋梁，將大腦活動信息轉為計算機指令，從而控制外部設備，可以有效地幫助殘疾人、老年人等活動能力受限的人。腦電圖（electroencephalogram，EEG）由于其低成本和非入侵等優(yōu)點，在BCI系統(tǒng)中得到最多的應用與研究[1]。基于EEG的運動想象分類與識別是腦機接口的一個重要研究方向，特別是近年來，結合深度學習算法，BCI 系統(tǒng)的發(fā)展取得了巨大的進展[2]。

運動想象EEG識別經歷了從早期的特征統(tǒng)計到結合機器學習算法進行分類識別[3-5]，再到當前的深度學習階段，識別效果在不斷提高，特別是結合深度學習算法，可以自主學習信號不同層次的特征，避免人工參與的特征工程，因此在識別準確率上取得較大的突破。利用深度學習自主提取樣本抽象特征的能力，許多研究將卷積神經網絡（convolutional neural networks，CNN）、長短期記憶網絡（long short-term memory，LSTM）、深度玻爾茲曼機（deep Boltzmann machine，DBM）等方法應用到運動想象腦電分析中，并取得較好的識別效果。Schirrmeister 等[6]研究了一系列不同結構的卷積神經網絡，設計用于解碼原始腦電圖中想象或執(zhí)行運動的不同模型；Lu等[7]提出了一種基于受限玻爾茲曼機（restricted Boltzmann machine，RBM）的深度學習算法，通過快速傅里葉變換和小波包分解得到腦電圖信號的頻域表示，輸入三層RBM 與一個額外的輸出層疊加，完成分類任務；Wang 等[8]將運動想象EEG 時間序列分割為等長的片段，并計算均值，再通過一組空間濾波器以確定不同節(jié)點通道的權重，最后輸入LSTM網絡進行分類；胡章芳等[9]設計了一個多層卷積雙向LSTM 型遞歸網絡，利用多層的卷積神經網絡提取EEG 信號的頻域特征，再用LSTM網絡提取時域特征，最后完成分類；唐智川等[10]將腦電信號事件相關去同步和事件相關同步模式下的EEG 功率值作為分類特征建立矩陣，再用CNN 網絡進行學習分類。

目前基于深度學習的腦電信號分析，主要是將EEG信號當作二維矩陣，或者將EEG 信號的特征轉為圖像（時頻圖、FRMI 圖等），再通過CNN、LSTM 等經典的深度學習算法進行特征提取，這些樣本對象均為歐式空間的規(guī)則數據，對節(jié)點已經進行了默認的排序，在提取抽象、高層的EEG 信號特征時沒有考慮大腦不同區(qū)域神經元之間的關聯(lián)信息，也即節(jié)點的空間結構信息在研究是中被忽略的。圖卷積網絡（graph convolution network，GCN）[11-12]是在非歐式空間結構數據上的深度學習，將傳統(tǒng)的離散卷積思想應用在圖結構上以獲取節(jié)點特征信息在圖結構上不同層次的譜域表示，能夠充分考慮節(jié)點自身的特征信息及節(jié)點之間的關聯(lián)信息，更詳細深入地描述圖信息數據。圖卷積網絡目前已經在交通預測、信息傳播、社交關系、生物結構、動作建模等領域得到廣泛應用[13-17]。多路導聯(lián)電極采集的EEG數據，每個電極節(jié)點上的EEG 信號代表了所在大腦區(qū)域的神經活動信息，可以抽象為一個由點集和邊集組成的圖，因此圖卷積網絡也適合分析多節(jié)點的EEG信號。將圖卷積網絡應用到運動想象腦電信號分析中，結合不同節(jié)點EEG信號的時頻特征和節(jié)點間的圖譜特征，可以從全腦域空間的關聯(lián)中去學習、提取有價值的高層特征信息，以提高運動想象的識別準確率。本文的基本思路是通過不同通道的EEG 信號的相關性建立大腦圖結構，再將每個電極上的EEG信號時頻特征作為每個節(jié)點的輸入特征，通過GCN網絡進行訓練，完成不同運動想象動作的識別。

1 基于圖卷積網絡的運動想象分類模型

1.1 圖卷積網絡

圖卷積網絡分為譜域圖卷積網絡和空域圖卷積網絡[11-12]，其中譜域圖卷積網絡是在圖論的基礎上發(fā)展而來，根據圖譜理論和卷積定理將數據從空域轉到譜域進行卷積處理，具有嚴格的理論基礎。本文采用圖譜卷積模型ChebNet[18]來進行EEG圖信息識別。

為了對局部輸入維度可變，輸入排列無序的圖結構數據進行卷積操作。Bruna等[19]首次提出了利用拉普拉斯矩陣來完成譜域圖卷積。對于N個頂點的無向圖G={E,V,W}，其中V是頂點的集合，E是邊的集合，W∈?N×N是該圖的鄰接矩陣。該圖的度矩陣為D∈?N×N,，該圖的拉普拉斯矩陣L=D-W，規(guī)一化的拉普拉斯矩陣L=In-D-1/2AD-1/2，In為單位矩陣。對L特征分解得到L=UΛUT，其中U=(u1,u2,…,un)∈?N×N為L的特征向量矩陣，Λ=diag(λ0,λ1,…,λn)∈?N×N為特征值對角矩陣，ui∈?N,i=1,2,…,n,為L的特征向量，λi為對應的特征值。在譜域，x1、x2兩個信號的圖卷積定義為：

因此對于輸入信號x，經過卷積核濾波器g∈?n的圖卷積運算定義為：

如果將g表示為gθ=diag(UTg)，則x的圖卷積運算可以簡化為：

譜域卷積都是基于式（3）或者改進而來的。ChebNet圖卷積網絡用切比雪夫（Chebyshev）多項式代替譜域的卷積核，gθ定義為切比雪夫多項式為Ti(x)=2xTi-1(x)-Ti-2(x),T0(x)=1,T1(x)=x，因此ChebNet圖卷積運算為：

ChebNet 圖卷積不需要對拉普拉斯矩陣做特征分解，而且卷積核只有K+1 個可學習的參數，參數的復雜度被大大降低，可以大大提高運算速度。

1.2 系統(tǒng)模型框架

圖1 為本文基于圖卷積網絡的運動想象分類模型。首先根據多路導聯(lián)節(jié)點所采集的EEG 信號建立EEG圖信息，包括EEG圖結構和EEG信號特征；之后將EEG 信號特征作為圖卷積層的輸入特征。圖卷積層首先經過ChebNet卷積計算，之后經過激活層利用Rule函數進行非線性變化，再經過批標準化（batch normalization，BN）層對可學習參數進行歸一化處理，加快訓練的收斂速度，最后再經過池化層進行降采樣操作，減少運算量，防止過擬合。本項目設置兩層圖卷積層，提取EEG圖信息的高層特征信息，最后再經過一個全連接層和Softmax層輸出運動想象分類（左右手、腳、舌頭等）。

圖1 基于圖卷積網絡的運動想象分類模型Fig.1 Motion imagery classification model based on graph convolution network

2 運動想象腦電數據及特征提取

2.1 EEG大腦網絡

將每個導聯(lián)電極定義為圖中的一個節(jié)點，多路EEG信號就能抽象為一個由點集和邊集組成的圖G=(V,E)，其中V為節(jié)點的集合，對應導聯(lián)節(jié)點，E為邊的集合，該圖的鄰接矩陣為W，節(jié)點i和節(jié)點j的權重ωi,j通過其所采集的EEG 信號的皮爾遜相關系數來表示，計算如下：

其中，EEGi和EEGj分別為第i個節(jié)點和第j個節(jié)點的EEG信號時間序列，D為方差，COV為協(xié)方差。

2.2 EEG腦電特征提取

本文分段獲取EEG信號的時頻特征作為圖卷積網絡的節(jié)點輸入特征，主要分為時域特征和頻域特征。時域特征包括EEG信號的標準差、均方根、信息熵三個指標。頻域特征主要計算EEG信號在δ、θ、α、β四個頻段的能量譜值。時頻特征的計算如表1。因此每個節(jié)點的輸入特征為x=(xrms,xstd,xent,xEδ,xEθ,xEα,xEβ)，所有特征在經標準差標準化之后再輸入圖卷積網絡。

表1 EEG信號時頻特征Table 1 Time frequency features of EEG signal

2.3 實驗數據介紹

本文的實驗數據集采用的是BCI Competition IV Dataset 2a（http：//www.bbci.de/competition/iv/），運動想象的類型有4種，分別為左手、右手、腳和舌頭。數據采集電極分布如圖2 所示，單極記錄所有信號，共有22 個EEG 通道和3 個EOG 通道，以左乳突為參照，右乳突為地信號。信號采樣頻率為250 Hz，帶通濾波范圍為0.5～100 Hz，放大器的靈敏度被設置為100 μV，另外一個50 Hz陷波濾波器被用來抑制線噪聲。

圖2 電極示意圖Fig.2 Electrode diagram

數據采集范式如圖3所示。在每一次實驗開始（0 s），會發(fā)有蜂鳴聲，之后屏幕出現一個固定的“十”字光標，持續(xù)2 s，之后出現運動想象標識，持續(xù)1.25 s，在第3 s到6 s為運動想象階段，之后休息，開始下一次實驗。數據集總共有9個人，每個人進行6輪的運動想象采集，每一輪4種運動想象類型實驗各12次，因此每個人總共有288次的運動想象實驗樣本作為訓練數據集。另外還有相同數量的測試數據集。

圖3 實驗EEG數據采集范式Fig.3 Experimental paradigm of EEG data

3 實驗及結果分析

3.1 模型參數設置及訓練

采用早停法（early stopping）來進行模型訓練，以獲取最優(yōu)的泛化性能，防止過擬合。將訓練數據集的30%作為驗證數據集，訓練時只訓練剩下的70%數據，訓練停止的條件為：（1）以10個epoch為一個訓練周期，在一個訓練周期后，在驗證集上驗證測試結果，如果連續(xù)5個訓練周期驗證數據集的最低誤差值都沒有變化，則停止訓練；（2）超過最大訓練次數500，則停止訓練。模型訓練batch 大小設置為60，反向傳播訓練，使用自適應動量估計優(yōu)化器（adaptive moment estimation，Adam）進行參數學習，學習速率為0.000 1，采用交叉熵（cross entropy）指標作為損失函數。

停止訓練后對測試數據集進行檢驗，由準確率Accuracy和kappa系數來衡量分類結果。準確率為運動想象正確識別的比例，kappa系數為：

其中，kappa 系數的計算基于混淆矩陣，p0即為分類準確率，pe為預期與實際一致性的概率。kappa系數用來表示分類識別的一致性級別，如表2所示。

表2 kappa系數一致性Table 2 kappa coefficient consistency

3.2 模型參數分析

圖卷積層是本文運動想象分類模型的核心，其參數設置決定了分類的準確率。ChebNet 的卷積核具有嚴格的空間局部性，其中切比雪夫多項式的階數K就是卷積核的“感受半徑”，K值越大，節(jié)點就能獲取更多其他節(jié)點的特征信息進行聚合，但是也會加入更多的無關信息。另外，圖卷積層的數量，也會影響模型分類的準確率。不同的切比雪夫多項式的階數K和圖卷積層數對模型的分類性能影響如圖4 所示，當K取值為2，圖卷積層的層數取2時，可以得到最佳的分類準確率。

圖4 階數K 和圖卷積層數Fig.4 Order K and GCN layers

3.3 實驗結果

對于BCI Competition IV Dataset 2a數據集，本文所介紹的圖卷積網絡模型取得的準確率和kappa系數如表3所示。9名受試者4種運動想象類型的識別準確率達到80.9%，平均kappa系數為0.74，能夠取得較好的分類效果。

表3 9名受試者實驗結果Table 3 Experimental results of 9 subjects

9名受試者在測試數據集上的分類結果混淆矩陣如圖5 所示。每個子圖為每名受試者的混淆矩陣，橫、縱坐標代表預測和實際的運動想象分類類型（LH、LR 為左、右手，F 為腳，T 為舌頭），中間數值為對應分類概率。根據kappa 系數，有4 名受試者取得了幾乎完全一致的識別效果，有3 名受試者取得高度一致的識別效果，Subject2和6受試者的識別效果相對較差（中等識別效果），主要是由于腦電信號采集時干擾較大、不穩(wěn)定和樣本數量不足。另外，由于圖卷積網絡屬于非結構化數據的深度學習算法，其本質是收集網絡中不同節(jié)點的特征進行聚合和傳遞，進而選擇節(jié)點最優(yōu)的高層抽象特層，因此如果樣本數量不足會導致無法訓練學習到最佳的譜域和時頻域特征，影響算法的泛化性能。

圖5 受試者分類結果混淆矩陣Fig.5 Confusion matrix of subject classification results

3.4 方法比較

為了評價驗證本文所提出圖卷積模型的有效性，與其他文獻的方法進行比較，分類的準確率如表4所示。

表4 不同方法比較結果Table 4 Comparison results of different methods

FBCSP[3]屬于經典CSP 算法的改進，主要是利用腦電信號矩陣找到一組最優(yōu)空間濾波器進行投影，再結合機器學習分類算法進行識別；FDBN[7]通過快速傅立葉變換和小波包分解獲取EEG 信號的頻域數據，再利用三個波爾茲曼機來訓練；Shallow ConvNet 和Hybrid ConvNet[6]采用兩種類型的CNN網絡來處理EEG數據，Shallow ConvNet卷積核長度較長，網絡層數較少，Hybrid ConvNet 卷積核長度較短，網絡層數多；AX-LSTM[8]采用時間序列的符號化表示EEG 數據，再通過信道加權引入一組空間濾波器作為隱藏層，將其輸出反饋給LSTM 網絡以完成分類識別。本文則是將EEG 腦電圖轉化為圖結構信息，再利用圖卷積神經網絡來學習圖譜域和時頻域信息，完成運動想象分類，在四分類問題上可以取得較好的分類效果。

4 結束語

本文提出了一種基于圖卷積網絡的EEG信號運動想象識別方法，根據多路導聯(lián)節(jié)點采集的EEG 信號建立節(jié)點的關聯(lián)圖結構，并提取每個節(jié)點上EEG 信號的時頻特征作為輸入特征進行譜域圖卷積運算，獲取大腦圖信息的高層、抽象特征，最后通過全連接層輸出想象分類結果。在BCI Competition IV Dataset 2a 數據集上取得80.9%的準確率和0.74的kappa系數。本文方法在提取EEG 信號特征時既考慮信號的時頻特征，又結合節(jié)點網絡的譜域空間信息，因此能取得較好的分類效果，為多路EEG 信號的運動想象分類識別提供一種新的思路。