基于EEG微狀態方法的視覺想象識別研究*

李昭陽，伏云發

(昆明理工大學信息工程與自動化學院，云南 昆明 650500)

1 引言

腦機接口BCI(Brain Computer Interface)是一種建立在大腦和計算機或其他外部設備之間的通信系統，不依賴于由外圍神經和肌肉組成的大腦傳輸通路，是一種新的人機交流方式。該技術可望為嚴重運動殘疾患者或健康人群在特定情況下提供可選的、新的通信或控制方式。

BCI 中傳統的想象任務主要是運動想象MI(Motor Imagery)[1,2]，要求被試者或用戶以第一人稱視角感覺或感受自己身體的特定部位(如手或腳)的移動過程[3 - 9]。MI心理活動屬于動覺想象(Kinesthetic Imagination)[3,7 - 9]，人們在日常生活中較少進行此種心理活動，不易習得和控制，存在較嚴重的“BCI盲”[10 - 12]。MI 能力差的被試者難以產生相應的腦信號，這嚴重影響了該類 BCI MI-BCI(Motor Imagery based Brain Computer Interface)的性能，使得他們不能操控這種 BCI。此外，由于 MI 能力不易習得和控制，MI-BCI往往需要被試者進行大量的訓練，其性能主要與被試者的訓練量有關，這類 BCI 的分類性能不可靠[13]，而且大量的訓練會給被試者帶來負擔，大大降低了該類 BCI 的用戶接受度。與MI相比，VI(Visual Imagery)是另外一種較容易完成的心理想象任務，要求被試者以第三人稱視角在腦海中清晰地看到一幅畫面，該種心理想象活動通常不需要訓練，或僅需要少量訓練。本文嘗試研究基于VI心理活動構建BCI(VI-BCI)的可行性。

在VI-BCI的研究中[14 - 18]，VI-BCI范式設計很重要，需要創新，要求設計不同的VI任務使得這些任務誘發的腦電特征具有可分性。Nataliya等[14]設計了花和錘子2類視覺想象任務，對這2類任務相關的腦電信號進行了識別研究，取得的分類精度為52%，分類精度不高，可能是由于選擇的VI任務均是靜態的，導致誘發的腦電信號可分性較差。Azmy等[15]對靜息狀態和VI任務(想象順時針旋轉一顆星)的最大功率差進行了分析，顯示2種狀態下的最大功率無顯著差異，未報道分類精度；Neuper等[16]對被試者以第三人稱視角想象自己手的VI任務和靜息狀態進行分類，平均分類精度為56%；Sousa等[17]對靜態點、垂直上下2個方向運動的動態點以及上下左右4個方向運動的動態點的3類VI任務進行分類，平均分類精度為87.64%；Koizumi等[18]對無人機在3個平面上(上/下，左/右，前/后)運動的3類VI任務進行分類，在前額葉皮層提取特征，取得了84.6%的平均分類精度。從以上VI任務設計可以看出，選擇靜態的VI任務組合，導致誘發的腦電信號可分性較差；選擇動態的VI任務組合，誘發的腦電信號具有一定的可分性。本文擬將動態的VI任務(視覺想象抬腿動作)與動態的VI任務(視覺想象落腿動作)組合，假設這2類顯著不同的VI任務誘發的腦電特征具有可分性。

此外，已有VI-BCI研究所采用的特征提取方法取得的分類精度還有待提高[14,16 - 18]。Nataliya 等[14]對視覺想象花和錘子2類任務相關的腦電信號提取功率譜特征并采用功率譜加權共空間模式SpecCSP(Spectrally weighted Common Spatial Patterns)進行分類，分類精度不高(52%)。Neuper等[16]對被試者視覺想象自己手部運動和靜息狀態2類任務相關的腦電信號提取頻帶特征并采用差異敏感學習矢量量化DSLVQ(Distinction Sensitive Learning Vector Quantization)方法進行分類，平均分類精度也不高(56%)。Sousa等[17]對3類VI任務相關的腦電信號提取功率譜能量特征并采用支持向量機SVM(Support Vector Machine)進行分類，平均分類精度為87.64%。Koizumi等[18]對3類VI任務相關的腦電信號提取了頻段的功率譜密度PSD(Power Spectral Density) 特征并采用SVM進行分類，平均分類精度為84.6%。本文針對所設計的動態VI任務組合，嘗試采用微狀態提取特征并采用SVM進行分類。

在傳統的腦電信號分析中，大都采用時域分析、頻域分析或時頻域分析，這些分析方法往往是基于特定的時間點和少量的電極進行研究，不可避免地忽略了多通道腦電信號本身的空間信息和時域信息，這些信息對腦電信號的研究是非常重要的。本文采用微狀態對腦電信號進行時-空域分析。目前，微狀態方法已用于MI-BCI中，并且具有較好的效果[19 - 21]。

2 材料和方法

2.1 材料

2.1.1 被試者

15名被試者(男性，年齡為24～28)參加了這項研究，所有被試者無感知和認知障礙，視力正常或矯正至正常。每個被試者在實驗前都簽署了知情同意書，本文研究遵照赫爾辛基宣言并獲得昆明理工大學醫學院醫學倫理委員會的批準。

2.1.2 視覺想象任務

已有VI-BCI研究采用視覺靜態圖像想象作為心理任務，誘發的腦電特征可分性較差[14]；也有研究采用視覺運動想象(以第三人稱視角在大腦中看到其他物體的運動，而非被試者肢體的運動)作為心理任務，如圖1所示，誘發的腦電特征具有一定的可分性[17,18]。本文擬將視覺運動想象作為心理任務對，假設這2類不同的VI任務能夠誘發差異顯著的腦電特征。在本文中，一種VI任務是視覺想象抬腿動作，另一種VI任務是視覺想象落腿動作。

Figure 1 Two VI tasks used in this paper

2.1.3 1個trail的執行時序與過程

1個trail的執行時序如圖2所示，要求被試者根據提示首先進行視覺觀察，然后進行視覺想象。在t=0 s時，屏幕上呈現“實驗即將開始”，要求被試者清醒放松，持續時間為3 s；在t=3 s時，屏幕上隨機呈現一幅抬腿或一幅落腿圖像，要求被試者觀察并記憶該圖像，持續時間為3 s；在t=6 s時，提示圖像消失，屏幕為黑屏，要求被試者想象剛才提示的圖像，持續時間為3 s；t=9 s時，屏幕上呈現“休息”，持續時間為5 s。休息結束，開始下一個trail。每個被試者執行200個trails，每個任務各100個trails。

Figure 2 Timing of a single trail

2.1.4 實驗設置

腦電設備是北京中科新拓儀器有限責任公司的新拓NT9200，采樣率為1 000 Hz。電極帽是32通道的(根據國際10-20系統)。接地電極為GND，參考電極為A1和A2，電極阻抗保持在10 kΩ以下。帶通濾波在0.1～100 Hz，并采用50 Hz陷波濾波器以避免電源線污染。在本文中，采集了Fp1、Fp2、F7、F3、Fz、F4、F8、Ft7、Fc3、Fcz、Fc4、Ft8、T3、C3、Cz、C4、T4、Tp7、Cp3、Cpz、Cp4、Tp8、T5、P3、Pz、P4、T6、O1、Oz、O2共30個通道的腦電數據進行研究。

2.2 方法

2.2.1 數據預處理

首先對腦電信號進行基線漂移校正，以消除腦電信號相對于基線的偏離。然后用橢圓濾波器進行1～30 Hz的數字帶通濾波，最后用獨立成分分析移除眼動偽跡、心電偽跡和肌電偽跡等。

2.2.2 微狀態方法

微狀態是一種基于腦地形圖分析的腦電信號表示方法，得到了越來越多的應用。微狀態分析是Lehmann及其同事在工作中發現的[22,23]，他們發現，腦地形圖的時間序列由幾個典型的地形圖組成，在迅速過渡到不同地形圖之前保持穩定(約80～120 ms)，這些穩定的地形圖稱為微狀態。

微狀態方法是一種用大腦頭皮電極的電勢空間分布來描述腦電信號特點的方法。腦電微狀態反映了大腦神經元集群瞬時活動的總和，不同微狀態是由不同的神經元集群活動所引起的，而不同的微狀態反映了大腦不同的功能狀態。

微狀態分析的目的是將記錄的腦電時間樣本分割成微狀態類別，因此屬于同一類別的腦電樣本具有盡可能相似的腦地形圖。微狀態分析的核心是利用聚類方法將腦電信號分割成微狀態[24]。目前有幾種用于微狀態分析的聚類方法，如k-均值聚類、改進的k-均值聚類、主成分分析和混合高斯算法。數據處理的具體流程[24]如下所示：

(1)計算30個通道中每個被試者在每個時間點的全局場功率GFP(Global Field Power):

(1)

(2)采用改進的k-均值方法進行聚類分析。改進的k-均值模型模擬了微狀態的激活，即模擬了每個時間點微狀態的強度。改進的k-均值模型如下所示：

xn=Azn+εn

(2)

其中，xn為第n次采樣的腦電信號樣本，1≤n≤N，N為時間樣本數；A∈RC×K為聚類的地形圖，C為腦電通道數，K為聚類數(微狀態的類別)；zn∈RK×N為第n次采樣腦電信號微狀態的激活狀態；εn為第n次采樣的腦電信號噪聲。從模型來看，改進的k-均值模型可以看做是一個生成模型。

有一個重要的約束條件，即每個時間點只能有一個微狀態處于活動狀態。也就是說，除一種值外，zn的所有k值都為0,模型可以寫為：

xn=alnzlnn+εn

(3)

其中，aln為第n個腦電樣本的地形圖 ，zlnn為第n次采樣的微狀態處于激活狀態時的微狀態標簽。

本文采用改進的k-均值把腦電樣本分割成預定數量的微狀態原型，目的是最大限度地提高腦電樣本和它們所分配的微狀態之間的相似性。本文將腦電數據聚類為2～8個微狀態(這樣的做法是考慮到大多數研究發現4個微狀態最適合描述腦電數據)。

(3)除了根據腦地形圖選擇微狀態的數量外，還應該檢查不同微狀態在擬合度方面的質量。在將腦電數據聚類為微狀態之后，將選擇用于進一步分析的最佳微狀態數目。選擇要使用的微狀態的數量是一個重要的步驟，但這并不簡單。在許多情況下，沒有一個完美的答案能夠很好地解釋數據的微狀態集群。其中一個問題是如何測量微狀態集群和驗證集群之間的關系。本文采用擬合度量的方法用于估計不同的微狀態集群對原始的EEG(Electro Encephalo Gram)的解釋(或擬合)程度。在微狀態分析中，確定微狀態數量的常用方法之一是計算擬合度量，然后根據這些度量和微狀態地形圖的擬合程度(例如它們在生理上是否可行？)做出定性決策。本文采用全局解釋方差GEV(Global Explained Variance)和交叉驗證準則CV(Cross-Validation criterion)來評估微狀態的擬合度。

GEV是衡量每個EEG樣本與分配給它的微狀態之間相似程度的指標，GEV越大越好。計算公式為：

(4)

其中，GFPn為全局場功率，為第n次采樣的腦電所有電極的標準偏差。GEV可以看作是EEG樣本與其微狀態原型之間的相關性。

交叉驗證準則CV的值與殘余噪聲有關，因此其目的是獲得較小的CV值。計算公式為：

(5)

(6)

(4)當獲得最佳數量的微狀態原型后，希望看到原始腦電信號與這些微狀態原型的匹配程度。也就是說，在選擇出微狀態的最佳數量之后，需要將微狀態反擬合到腦電信號中，反擬合是基于它們在地形上最相似的微狀態并給腦電樣本分配一個微狀態標簽，這種相似性用全局地形圖差異GMD(Global Map Dissimilarity)來衡量，也被稱為DISS，是一種距離度量，度量地形圖的相似程度。對于2個EEG樣本xn和xt，GMD的計算方式如下所示：

(7)

通過GFP歸一化，2個屬于同一微狀態的不同EEG樣本將獲得較小的GMD距離。

將提取出的4類微狀態匹配到被試者的腦電信號后，分別計算出2種VI任務下的微狀態時間序列的如下幾個參數：

①平均持續時間MD(Mean Duration)：每種微狀態保持穩定時的平均持續時間(ms)。

②所占時間比TCR(Time Coverage Ratio):每種微狀態在總的信號時間中所占的比值。

③每秒出現頻率OPS(Occurrence Per Second)： 每種微狀態每秒出現的次數。

本文對微狀態的時間序列參數進行統計分析，篩選出差異最顯著的2種微狀態，對差異顯著的微狀態時間參數構建特征向量；最后采用SVM對2類VI任務進行識別。

2.2.3 支持向量機

支持向量機SVM是一種分類算法，它通過尋求結構風險最小來提高學習機泛化能力，實現經驗風險和置信范圍最小化，從而達到在統計樣本量較少的情況下，也能獲得良好統計規律的目的。

SVM算法的核心在于：(1)在線性可分的情況下，利用間隔最大化的學習策略尋求一個間隔最大的超平面；(2)在線性不可分的情況下，通過核函數將低維的特征向量映射到高維來尋求線性可分。本文采集的腦電信號正是小樣本且是非線性的，因此SVM分類器適合本文研究。

在本文中，從視覺想象腦電信號中提取出4種微狀態，每一種微狀態都是大腦神經活動的時-空信息的集合，以微狀態的時間序列進行分類。統計分析表明，微狀態1和微狀態4的差異明顯，本文就以微狀態1和微狀態4的微狀態時間序列作為訓練數據和測試數據進行分類研究。首先用訓練樣本和標簽來訓練模型，然后再用模型對測試樣本進行標簽預測，最后把預測標簽與真實的標簽進行對比，得到分類的精度。

3 t檢驗結果

為了比較微狀態參數在2類任務中的差異顯著性，對所有被試者在2種視覺想象任務下的狀態時間序列進行了t檢驗，結果如表1所示，從結果可以看出，微狀態1和微狀態4的參數MD、TCR和OPS在2種視覺想象任務下都存在顯著性的差異(P<0.05),微狀態2和微狀態3的差異不顯著(P>0.05)。

Table 1 Comparison of significant differences of four microstate time parameter characteristics in two VI tasks

表2呈現了15個被試者在基于微狀態提取特征(視覺想象開始后0～3 s)并利用SVM取得的平均、最高和最低分類精度。

圖3呈現了微狀態平均持續時間存在的差異性。從圖3可以看出，微狀態1的平均持續時間在任務2時(平均113.28 ms)相比任務1時(平均93.75 ms)明顯增長；微狀態2和微狀態3與微狀態1的情況相同；而微狀態4的平均持續時間在任務1時(平均113.84 ms)相比任務2時(平均66.41 ms)明顯增長，與其它3個微狀態相反。

圖3中黑色線代表15位被試者的平均結果，橫坐標上的1和2分別代表視覺想象抬腿動作和視覺想象落腿動作，三角代表值的大小。

Table 2 Classification accuracy of features extracted by microstate

Figure 3 Differences in mean duration of microstate

圖4呈現了微狀態所占時間比值存在的差異。從圖4可以看出，微狀態1所占的時間比值，在任務2時(平均52.21%)比任務1時(平均48.75%)高；微狀態2和微狀態3與微狀態1的情況相同；而微狀態4所占的時間比值，在任務1時(平均39.56%)比任務2時(平均34.85%)高，與其它3個微狀態相反。圖4中各符號的含義與圖3中的相同。

Figure 4 Differences in the time ratio of microstate

圖5呈現了微狀態出現頻率的差異。從圖5可以看出，在任務1時，微狀態4出現的頻率比其它3個微狀態的要高，微狀態1出現的頻率最低；而在任務2時，微狀態1出現的頻率比其它3個微狀態的要高，微狀態4出現的頻率最低。圖5中各符號的含義與圖3中的相同。

Figure 5 Frequency differences of microstate

圖6呈現了采用改進的k-均值把腦電樣本分割成預定數量的微狀態原型，按照預先設定的值，從左到右依次排列。本文將腦電數據聚類為2～8個微狀態原型(這樣的做法是因為考慮到大多數研究發現4個微狀態最適合描述腦電數據)。

Figure 6 EEG data clustered into 2～8 microstate prototypes

圖7呈現了采用GEV和CV來評估微狀態分段的擬合度。從圖7可以看出，在微狀態數量為4時，CV值是最小的，GEV的值是一直增長的，因此，本文選取了4個微狀態進行研究。

Figure 7 Selecting effective number of microstates based on degree of fitting

圖8所示為15位被試者在2種VI任務下的腦電信號被解析成微狀態時間序列示意圖，把每個被試者腦電信號在每個時間點的頭皮電勢地形圖(通過GFP局部峰值點獲得)與聚類得到的4個微狀態進行GMD比較，根據GMD的大小將原始地形圖與MS1～MS4 4個微狀態進行匹配。由圖8可知，各個微狀態基本一樣，即保持準穩定狀態。

Figure 8 Microstate time sequences schematic diagram of EEG signals of 15 subjects in 2 visual imagery tasks

圖9呈現了采用微狀態提取特征的分類精度隨時間變化的曲線。圖9結果表明，測試集在0～3 s的分類精度曲線整體較平穩。在0～0.2 s有一個極大值，0.2～0.5 s有一個較大的上升趨勢，0.5～3 s基本趨于平穩。

Figure 9 Classification accuracy vs. time when using microstate extraction feature

4 討論

目前MI-BCI的研究較多，已有大量文獻對MI相關腦電做了識別研究，取得了一定的進展，但MI范式存在缺點，MI心理活動不易習得和控制，存在BCI盲，難以實用化。與MI-BCI相比，VI-BCI的研究較少，VI相關腦電解碼面臨挑戰，但VI范式具有優點，VI心理活動易習得和控制。VI-BCI是一種較新的BCI，具有潛在的應用前景。

本文在實驗范式上選取了2種動態圖像作為VI任務，科學假設是視覺想象這2類不同的圖像，它們誘發的腦電特征具有可分性。由表1和表2以及圖3～圖5的結果可以看出，這2種VI任務誘發的腦電信號之間最顯著的差異出現在微狀態1和微狀態4。由表3的結果可以看出，采用微狀態方法提取特征在一定程度上能夠區分(平均分類精度為(80.6±2.58)%)所設計的VI任務對。因此，本文設計的VI任務組合具有可分性。可以預見，如果能夠找到更好的特征提取和分類方法，還有可能提高分類精度，這是我們未來要開展的工作。

本文對視覺想象2種不同動態圖像的平均分類精度比Nataliya 等[14]對視覺想象花和錘子的平均分類精度提高了28.6個百分點，比Neuper等[16]對視覺想象自己手部運動和靜息態的平均分類精度提高了24.6個百分點。我們推測可能是由于Nataliya 等[14]設計的VI任務對均為靜態的，導致誘發的腦電信號可分性較差；Neuper等采用的視覺想象自己手部運動具有一定的難度，導致誘發的腦電信號可分性較差。然而，這些研究的特征提取和分類方法各不相同。

本文的平均分類精度比Koizumi等[18]對視覺想象無人機在3個平面(上/下，左/右，前/后)中運動的3類任務的平均分類精度低了4個百分點，比Sousa等[17]對視覺想象靜態點、垂直上下2個方向運動的動態點以及上下左右4個方向運動的動態點的3類VI任務的平均分類精度低了7.04個百分點。本文與Koizumi等和Sousa等的研究相比，分類精度較低。我們推測可能是由于Koizumi等與Sousa等所選擇的電極通道是前額葉的，本文選擇的是全腦通道，這些研究的特征提取方法不同。

本文進行的是離線VI-BCI研究，我們未來的研究工作：(1) 在線驗證和完善所提方法；(2) 進一步完善VI-BCI實驗范式，可以考慮增加新的VI任務；(3) 針對VI-BCI實驗范式，嘗試更有效的特征提取和分類方法。

5 結束語

有別于傳統的MI-BCI，本文針對一種相對較新的VI-BCI進行研究。為提高VI任務對誘發的腦電特征之間的可分性，提出了一種視覺想象2種不同動態圖像組合的范式，實驗研究表明該VI任務對誘發的腦電信號之間最顯著的差異出現在微狀態1和微狀態4。實驗結果也表明采用微狀態提取特征取得了(80.6±2.58)%的平均分類精度。因此，基于腦電識別視覺想象2種不同的動態圖像有望作為一種腦機接口策略，本文也可望為構建新型腦電的在線實時VI-BCI提供思路。