基于空-頻域特征的視聽混合腦機接口

郭柳君，張雪英，陳桂軍

(太原理工大學 信息與計算機學院，山西 太原 030024)

0 引 言

腦機接口(brain-computer interface，BCI)是一種不依賴外圍神經肌肉，只通過腦電信號便可直接操控電腦或開動機器、實現人與外部信息交互的新技術。目前，人們普遍認為基于事件相關電位(event related potential，ERP)的BCI系統(ERP-BCI)較為高效和穩定[1]。視覺和聽覺是人類獲取信息最主要的兩種感覺通道，且視聽交互結合優于單個感覺通道。但關于視、聽覺的ERP-BCI大多數僅采用視覺或聽覺單一模態刺激，近年來，一些學者開始針對視聽交互刺激的BCI范式進行研究：Cui等[2]將相同圖片在8個不同位置隨機出現與8個不同單音節語音刺激相結合來構建視聽交互刺激；Barbosa等[3]將視覺單詞圖片與對應的語音發聲刺激相結合來構建視聽交互刺激。上述研究均得到視聽雙模態刺激具有更好性能的結論，但采用的BCI范式都基于腦電信號的某一特征，能夠提供的有用信息較少。Pfurtscheller和Allison等提出混合腦機接口的概念。Yu等[4]將SSVEP和運動想象(motor imagery，MI)結合提出一種混合反饋范式，實現了患者意圖的檢測。為此，本文提出了基于視聽交互刺激的混合腦機接口，分別設計了混合運動視覺誘發電位(motion-onset visual evoked potential，mVEP)和P300的語義一致的視聽覺誘發實驗、混合mVEP和P300的語義不一致的視聽覺誘發實驗，并以基于mVEP的視覺誘發實驗和基于P300的聽覺誘發實驗為對照進行研究，研究驗證了視聽混合誘發范式的優越性。

1 方 法

1.1 受試者

本實驗招募了7名年齡在21歲-25歲的健康被試，其中男生2名，女生5名，均為在校研究生，都有正常的聽力以及正常或矯正到正常的視力，實驗前都簽署知情同意書，并在實驗后給予一定的報酬。

1.2 實驗設計

實驗包括視覺、聽覺和視聽覺3類刺激，見表1。其中視覺、聽覺刺激分別有目標刺激和非目標刺激兩種形式，視聽覺刺激有目標刺激、非目標刺激以及兩者的組合刺激3種形式。實驗采用Oddball范式[5]，目標刺激和組合刺激出現的概率共占20%，非目標刺激出現的概率占80%。如圖1所示，數字0-9所在的矩形區域按順時針方向均勻的分布在整個界面內，每個區域的寬為6.1°，高為1.7°。刺激程序由E-prime 3.0編寫，呈現在17寸顯示器上。視覺刺激采用mVEP刺激范式，從刺激開始時刻到刺激后200 ms內，一個小正方形隨機地快速從其中一個區域的左邊向右邊運動，若該區域是目標數字所在區域，則該刺激為視覺目標刺激(V)，否則，為視覺非目標刺激(v)。聽覺刺激為0-9對應的自然語音的錄音，持續時間為200 ms，由頭戴式耳機呈現，刺激開始后，若出現的是目標數字對應的自然語音，則該刺激為聽覺目標刺激(A)，否則，為聽覺非目標刺激(a)。視聽覺刺激由視覺和聽覺刺激同時呈現，共有5種不同類型的刺激，分別為視聽覺目標刺激(VA)、視覺目標刺激聽覺非目標刺激(Va)、視覺非目標刺激聽覺目標刺激(vA)、語義一致的視聽覺非目標刺激(va_c)、語義不一致的視聽覺非目標刺激(va_ic)。

表1 刺激類型

圖1 刺激界面

實驗在屏蔽室中進行，被試距離顯示器50 cm，保持舒適的坐姿，眼睛注視屏幕正中央。對于每個試次，上述9種刺激隨機出現，刺激呈現時間為200 ms，刺激間隔為1000 ms-1800 ms的隨機間隔。每組實驗有375個試次(目標和組合試次共75個，所有試次偽隨機呈現)，共6組(目標數字的順序在不同被試間平衡)。每組實驗結束后，被試可根據實際情況休息一段時間。實驗過程中要求被試同時注意視覺和聽覺通道的信息，并對目標刺激以及組合刺激盡快地做出按鍵反應。正式實驗之前，每名受試者都進行50個試次的練習。實驗過程中要求被試頭盡量保持不動，并且少眨眼。

1.3 數據采集和預處理

使用NeuroScan SynAmps2系統采集受試者的腦電信號。64導電極位置參照國際10-20系統，參考電極在Fz和Cz之間，接地電極在Fz和FPz之間，放大器采用0 Hz-100 Hz濾波，采樣頻率為1000 Hz，頭皮與電極之間的阻抗小于5 kΩ。實驗的行為數據(被試是否進行按鍵反應以及從刺激開始到被試做出反應的時間)用E-prime 3.0記錄。在ERP分析前，采集到的腦電數據需用EEGLAB進行如下預處理：將參考電位轉換為左右乳突的平均值，并對原始信號進行0.1 Hz-30 Hz的帶通濾波。按照刺激呈現時間的-200 ms-800 ms對濾波后的信號進行分段，以-200 ms-0 ms為基準進行基線校正。結合行為學數據，手動剔除被試反應錯誤的段。同時，包含較大偽跡的段也被剔除。最后，使用獨立成分分析的方法去除眼電偽跡。然而在分類性能的研究中，對刺激后0 ms-650 ms的數據進行0.1 Hz-20 Hz的8階帶通濾波，并且保留所有的數據段。

1.4 數據分析

1.4.1 行為學數據分析

對于需要反應的5種刺激類型(見表1)，分別將實驗記錄的每個被試是否對該類型試次進行反應，以及反應時間的數據進行統計。將所有被試對該類型刺激的反應時間和反應的正確率(反應正確的試次數與需要反應的總試次數的比值)求平均值得到該刺激類型的平均反應時間和平均反應正確率。為了研究被試對視聽雙模態刺激與視或聽單模態刺激的反應在行為學上的差異，用SPSS 17.0分別對V和VA、V和Va、A和VA、A和vA這4對刺激的反應時間和反應正確率進行配對樣本t檢驗，檢驗的顯著性水平為p<0.05。

1.4.2 ERP統計分析

對目標刺激以及組合刺激的ERP數據進行分析。首先，將每個被試的ERP按不同刺激類型分類疊加平均，然后，計算所有被試每個刺激類型的總平均波形。在進行分析時，僅考慮我們感興趣的ERP成分幅值較大的12個電極，分別為F3、Fz、F4、FC3、FCz、FC4、C3、Cz、C4、CP3、CPz和CP4。為了對比不同刺激類型的ERP成分幅值的差異，我們計算刺激后0 ms-600 ms的波形分別在每30 ms時間窗內的平均幅值，利用SPSS 17.0分別對V和VA、V和Va、A和VA、A和vA這4對刺激的每個時間窗內的平均幅值進行三因素重復測量方差分析：刺激類型×橫向電極(r1,r2,r3,r4)×縱向電極(c1,c2,c3)。檢驗的顯著性水平為p<0.05，分析結果經過Greenhouse-Geisser校正。若兩個或兩個以上因素之間交互效應顯著，則進行簡單效應分析[6]。

1.4.3 空-頻域腦電特征提取及分類識別

本文提出一種特征提取方法(CSP-PSD)，該方法將共空間模式(common spatial pattern，CSP)和功率譜密度(power spectrum density，PSD)相結合，有效利用了腦電信號的空域及頻域信息，圖2為該方法的流程。

圖2 空-頻域腦電特征提取流程

具體過程如下：X1∈RNc×Nt和X2∈RNc×Nt分別為目標刺激和非目標刺激所誘發的腦電信號，其中Nc為腦電信號的通道數，Nt為采樣點數[7]。

X歸一化后的協方差矩陣R為

(1)

式中：XT表示矩陣X的轉置，traceX表示矩陣對角線元素的和。

對復合協方差矩陣進行對角化分解

(2)

將特征值進行降序排列，白化矩陣為

(3)

(4)

對S進行主分量分解，得

(5)

可以證明矩陣S1的特征向量和矩陣S2的特征向量相等，即B1=B2=V，同時，兩個特征值的對角陣α1與α2之和為單位矩陣，即α1+α2=I。S1的最大特征值對應的特征向量對應S2最小特征值，反之亦然[8]。對白化腦電信號的最大特征值的特征向量進行變換，可以獲得兩個信號矩陣的最優分離方差。投影矩陣W表示為

W=BT×P

(6)

將X經過構造的空間濾波器W可得到

Z0=W×X

(7)

對Y求平均功率譜密度[9]

C=EFYt·Yt+τ

(8)

式中：E{ }為求均值，F[ ]為求其傅里葉變換。

特征向量f=f1,f2,…,f2mT∈R2m×1定義為

(9)

為了研究不同類型刺激下目標和非目標腦電信號的分類準確率，對預處理后的腦電信號進行下采樣，下采樣率為25。采用支持向量機(support vector machine，SVM)對其進行分類，分類結果經過6-fold交叉驗證進行矯正。為了驗證本文提出的CSP-PSD特征的有效性，將該特征的分類準確率與原始采樣點下采樣特征和CSP特征進行對比。

2 實驗結果與分析

2.1 行為學分析

如圖3所示(圖中**表示p≤0.001)，與單一視覺刺激相比，加入與視覺刺激語義一致的聽覺刺激時，受試者更容易識別到目標刺激，表現為反應時間的顯著減少(V vs. VA，t=-5.721,p=0.001)以及較低的平均反應錯誤率；而加入與視覺刺激語義不一致的聽覺刺激時，對視覺目標刺激的識別沒有明顯的促進作用，也沒有明顯的抑制作用。與單一聽覺刺激相比，加入與聽覺刺激語義一致的視覺刺激時，受試者也更容易識別到目標刺激，同樣表現為反應時間的顯著減少(A vs. VA，t=-8.041,p<0.001)以及較低的平均反應錯誤率；而加入與聽覺刺激語義不一致的視覺刺激時，對聽覺目標刺激的識別沒有明顯的促進作用，也沒有明顯的抑制作用。通過以上分析發現，語義一致的視聽刺激促進認知，而語義不一致的視聽刺激則沒有促進作用。

圖3 行為學分析結果

2.2 ERP分析

ERP可以很好反應大腦的思維活動，這里主要討論幅值較大的N1、P2、P3成分。N1是早期聽覺注意最重要的成分，P2表征大腦對無關刺激的抑制能力，而P3表征大腦資源的調用情況。為了對比不同類型的刺激下大腦的響應特性，采用重復測量方差分析以及簡單效應分析對其ERP進行研究，分析結果通過圖4呈現。

結合ERP時域波形(圖4左，陰影部分表示兩種腦電信號的幅值在該時間范圍內存在顯著差異，即p<0.05)以及重復測量方差分析結果(表2第二列)可得到：與V相比，VA誘發的N1、P3成分的幅值更大；與V相比，Va誘發的N1、P2成分幅值更大；與A相比，VA誘發的P3成分幅值更大；與A相比，vA誘發的P2、P3成分幅值更大。N1成分幅值略小。我們注意到，無論視聽覺刺激是否語義一致，視聽雙模態刺激總是誘發出更大幅值的ERP(除視聽覺刺激誘發的N1成分比單一聽覺刺激誘發的N1成分幅值略小外)。

圖4 不同刺激類型的腦電信號時域波形圖(左)及地形圖(右)

表2 重復測量方差分析及簡單效應分析結果

結合腦電地形圖(圖4右)及簡單效應分析結果(表2第三、四、五列)可得到：①N1成分：視覺N1成分幅值較小，聽覺N1成分在額區，額中央區，中央區幅值較大，視聽覺VA的N1成分在額區、額中央區的中線附近幅值較大，視聽覺Va的N1成分在額區幅值較大，視聽覺vA的N1成分在額中央區的中線左側幅值較大。由表2可得，V和VA的N1成分的交互效應在額區、額中央區、中央區的中線附近比其它區域更顯著。A和vA的N1成分的交互效應在額中央區的中線右側更顯著。②P2成分：視覺、聽覺、視聽覺VA的P2成分幅值較小，視聽覺Va的P2成分在額中央區、中央區的中線附近幅值較大，視聽覺vA的P2成分在額中央區的中線附近幅值較大。V和Va的P2成分的交互效應在額中央區的中線及中線右側顯著。A和vA的P2成分的交互效應在中線處顯著。③P3成分：聽覺P3成分幅值較小，視覺P3成分在中央區、中央頂葉區、頂葉區的中線附近幅值較大，視聽覺VA和Va的P3成分在整個中央區、中央頂葉區、頂葉區幅值較大，視聽覺vA的P3成分在頂葉區幅值較大，A和VA的P3成分的交互效應在額中央區、中央區、中央頂葉區的中線附近更顯著。

2.3 分類識別性能

如圖5所示，每種刺激類型的最高分類準確率均是由被試2取得，且語義一致的視聽覺刺激的分類準確率為85.56%，顯著高于其它刺激類型。值得注意的是，每個被試的最高分類準確率都在VA或Va類型的刺激時達到，其中，被試2，3，5，6在VA的分類準確率略高于Va。而所有被試各個刺激類型的平均分類準確率也表明VA(74.19%)和Va(74.31%)明顯高于其它刺激類型。

圖5 不同刺激類型的分類準確率

以VA刺激類型為例來驗證本文提出的特征提取方法，如圖6所示。傳統的CSP相比于原始采樣點下采樣特征的分類準確率有了很大的提高，其中被試4提高了29.77%(最多)，被試2提高了10.66%(最少)，驗證了該方法對于本數據集的適用性。采用本文提出的CSP-PSD特征后所有被試的平均分類準確率與傳統CSP相比提高了4.92%，每個被試的分類準確率都達到95%以上，被試2和被試5的分類準確率均達到99.11%。

圖6 不同特征提取方法的分類準確率

3 討 論

以往關于字符拼寫矩陣的研究大多采用黑色背景刺激界面，而本文采用的白色背景刺激界面具有更好的性能[10]。實驗采用的刺激呈現方式為SC范式，即在每次刺激呈現時僅閃爍一個刺激單元。該范式不易受近鄰干擾及雙閃問題的影響，同時也不易引起眼睛的不適，雖然犧牲了信息傳輸速率，但對于數字拼寫這樣的小尺寸矩陣來說有一定的優勢。實驗中視聽覺刺激呈現的時間一致性以及要求被試分配注意(即同時注意視覺和聽覺通道的信息)都有利于視聽覺信息整合，從而誘發更有利的腦電信號。本文采用的mVEP，具有較大的特異性波幅、較小的被試間以及被試內差異，并且與SSVEP相比不易讓被試產生視覺疲勞[11]。

研究采用行為學分析和ERP分析，行為學結果顯示，語義一致的視聽覺刺激促進認知，而語義不一致的視聽覺刺激則沒有促進作用。ERP分析結果顯示，從視覺角度來看，聽覺刺激的加入在額區以及額中央區誘發出更大幅值以及更廣范圍的N1成分。N1成分被認為是早期聽覺注意最重要的成分。而從聽覺角度來看，視覺刺激的加入使得誘發出N1成分的幅值減小，這是由于實驗要求被試分配注意，視、聽覺通道同時刺激使得被試對聽覺的關注有所減少。語義一致的視聽覺刺激比單一視覺或聽覺在中央頂葉區以及頂葉區誘發出的P3成分幅值更大，P3幅值的大小反應大腦資源的調用情況，幅值越大，調用資源越多。說明大腦在處理語義一致的視聽覺信息時調用更多的資源。語義不一致的視聽覺刺激比單一視覺或聽覺在額中央區中線附近誘發出P2的幅值更大，P2反應大腦對無關刺激的抑制能力，非目標刺激的加入，使得誘發出的P2成分幅值更大。

分類性能分析結果表明，VA和Va兩種刺激范式表現出良好的性能，這得益于其誘發出較大的ERP幅值，尤其是Va不僅誘發出很大幅值的P3成分，也誘發出較大幅值的P2成分。對于VA，本文提出的CSP-PSD特征相比于傳統CSP特征的平均分類準確率提高了4.92%。

4 結束語

將視聽覺語義一致與否作為變量去設計字符拼寫應用是本研究與前人研究的不同之處。視聽雙模態刺激誘發的ERP幅值更大，也因此具有更高的分類準確率。值得注意的是，語義不一致的視聽覺刺激誘發出較大幅值的P2成分，這為一直以來依賴P3成分識別目標刺激的腦機接口提供了新的思路。因P2成分潛伏期比P3成分短，有望成為提高腦機接口的信息傳輸速率的一個方法。而且，本文提出的CSP-PSD特征也可以用在其它腦電信號的特征提取中。