融合眼動追蹤和目標動態可調的穩態視覺誘發電位腦機接口系統設計

何柳詩,謝俊,于鴻偉,任志遠,楊育喆,李敏,徐光華

(西安交通大學機械工程學院,710049,西安)

腦-機接口(BCI)是一種通信系統,無需使用大腦外周神經和肌肉作為正常輸出路徑,而是通過采集并分析大腦信號并將其轉化為控制指令傳遞給外部設備[1]。在無創BCI的研究中,從頭皮記錄的腦電圖(EEG)活動是應用最廣泛的腦電采集方式[1]。BCI技術不僅能用于提高嚴重殘疾人群的生活質量,還能夠將神經退行性疾病患者的想法傳遞給照顧者,而且近年來也出現了針對健康用戶娛樂方面的研究[2]。得益于近年來BCI的快速發展,其應用涵蓋了醫學、教育、康復工程、心理學、軍事、娛樂等領域[3-5]。

當前BCI研究的一個關鍵挑戰是如何盡可能準確地提取隨機時變腦電信號的特征并分類[6]。無創BCI常用的EEG腦電信號類型包含運動想象(MI)、穩態視覺誘發電位(SSVEP)、事件相關電位(ERP)等。其中,SSVEP包含平穩的周期性振蕩,不易受眨眼和眼球運動產生的眼電和肌電偽跡干擾,頻譜穩定且信噪比高,所需電極數量少,驅動BCI系統具有優勢[7]。文獻[8]使用閃爍刺激誘發的SSVEP實現了對假肢手的異步控制。相比簡單的閃爍刺激,復雜的棋盤格刺激產生的SSVEP響應更明顯[9],信息傳輸率比傳統BCI高[10]。但由于腦電信號微弱,辨識困難,易受外界環境干擾,目前有研究表明,提供反饋可以極大地改善SSVEP-BCI系統的性能。文獻[9]表明3D沉浸式反饋有助于維持對目標刺激的凝視并抑制分心。在SSVEP-BCI中,反饋會激發被試者的注意力,文獻[11]的研究表明,視覺反饋提高了系統的分類正確率。由于現有的大多數SSVEP-BCI都需要注視,為了進一步擴大BCI的適用性,將SSVEP和非腦信號組合使用,能夠實現更大的控制能力[12]。文獻[13]設計的SSVEP-BCI和眼動追蹤組合的混合系統增強了智能家居環境的控制。因為眼動追蹤具有高信息傳輸率且運行快速、無需強化訓練、可自然表達用戶關注焦點的特點,SSVEP-BCI和眼動追蹤組成的混合BCI系統更加穩定,兼具二者優勢。

目前,大多數眼動追蹤技術選擇目標時都依賴于停留時間,即用戶要在一定時間內保持對目標的注視,而由于任務的復雜性,難以確定最佳停留時間[14],這導致眼動追蹤針對復雜任務容易誤觸發。文獻[15]提出了一種眼動追蹤/SSVEP混合系統,用高速的眼動系統進行粗略選擇,用高分類精度的SSVEP-BCI進行精細目標激活,避免了因停留時間不當造成誤觸發,較單獨使用BCI或眼動,混合系統的控制更穩定。文獻[16]提出一種將異步眼動開關與基于同步SSVEP-BCI相結合的方法,以凝視點作為控制訓練的啟停信號,提高了分類正確率,驗證了混合BCI的可行性和用戶友好性。文獻[17]評估了混合式眼動追蹤和BCI系統的普遍性。可見,因為眼動信號易于識別、處理,以眼動信號作為輔助,BCI系統選擇操作,既能夠減少因眼睛的不當注視產生的假陽性結果,信息傳輸率也較單獨的BCI系統高。然而,用戶長時間集中精力誘發SSVEP響應時,可能由于視覺刺激亮度高、過度刺激和重復性任務造成疲勞、注意力不集中等[18];在同等屏幕大小下,目標刺激小而多的SSVEP-BCI會隨目標數量增多,像素減少而導致性能,如識別正確率等的下降[19]。

為了解決SSVEP-BCI使用過程中,因屏幕大小限制,當刺激目標多而小時刺激響應不強,當被試者疲勞時難以將注意力集中在大小相同目標上的問題,本文設計了一種眼動追蹤與SSVEP-BCI相結合的混合系統,通過眼動儀采集被試者的眼動指標初步判斷注視目標,并將刺激目標放大以吸引被試者注意力,誘發更強的響應。實驗結果表明,與普通SSVEP-BCI范式相比,本文所提出的方法刺激響應更強、識別正確率更高,因而具有更好的識別效果。

1 眼動追蹤/腦機接口混合系統搭建

1.1 混合系統設計

為了驗證提出的利用眼動追蹤動態調整視覺目標對腦機接口性能的積極影響,本文設計了一種眼動追蹤和SSVEP-BCI相結合的混合系統。圖1所示為混合系統的工作原理。它主要實現在實時的視覺反饋作用下動態調整視覺刺激目標,并對采集到的被試者腦電信號進行分析處理。其中,視覺刺激模塊通過MATLAB平臺和Psychtoolbox工具箱將棋盤格刺激范式呈現在屏幕上,以誘發被試者的SSVEP響應;信號采集模塊包括腦電信號和眼動信號的采集,腦電采集設備用于采集被試者的腦電信號,安裝在屏幕正下方的眼動儀用于采集被試者的眼動數據,收集到的眼動數據將以視覺反饋的形式和刺激范式一起實時呈現在屏幕上,提醒被試者集中注意力并作為控制范式大小變化的信號;腦電信號分析模塊是將腦電設備采集到的腦電信號經過預處理、特征提取、模式分類后完成對刺激目標的識別。

圖1 混合系統工作原理Fig.1 Working principle of the hybrid system

1.2 眼動調控設計

有研究表明,人的大腦每天通過感官接受的外部信息中,視覺占比80%以上,故本文應用視覺反饋以增強SSVEP-BCI的性能,實現眼動調控刺激目標的功能。對于實時視覺反饋環節的設計,其關鍵在于實時同步地采集眼動和腦電數據,并將采集到的眼動數據以視覺提示的形式實時傳輸到刺激顯示界面,作為視覺反饋。其作用有兩點,一是實現提示被試者集中注意力并調整視線落點;二是實現眼動調控SSVEP-BCI系統的刺激目標增大。數據的傳輸可以通過TCP/IP協議進行控制。

TCP/IP傳輸協議即傳輸控制/網絡協議,能夠建立連接通道實現可靠的信息傳輸,發送數據時產生的時延一般不超過200 ms。通過TCP/IP傳輸協議控制腦電設備和眼動設備同時開始采集,并將眼動儀采集到的眼動信號發送到腦電采集程序,以視覺反饋的形式在刺激顯示屏幕上呈現,其流程如圖2所示。

圖2 TCP/IP實現流程Fig.2 TCP/IP implementation process

2 實驗驗證

2.1 范式設計

本實驗的范式設計是基于周期運動的振蕩棋盤格運動刺激范式[20],其能量集中,頻率單一,能有效減少被試者的視覺疲勞。

為驗證眼動追蹤下的目標動態可調方式對SSVEP-BCI性能的提升,本文設計了T1、C1、C2這3種范式,如圖3所示。3種范式均有4個刺激目標分別分布在屏幕左右上下4個位置,并以8.6、10、12、15 Hz的頻率進行收縮與擴張運動以誘發SSVEP響應[21]。其中,圖3a范式作為測試組T1,有眼動反饋且目標動態可變,即具有實時視覺反饋環節,以眼動調控目標放大,將被試者的視線落點以紅點的形式實時呈現在刺激顯示界面,由于范式的收縮擴張運動可能會導致被試者眼球隨之飄移,使得視線無法始終保持停留在棋盤格內,所以當視線落點在刺激開始前50幀內,進入某一目標刺激范圍內超過20幀,且大于視線停留在其余3個目標上的幀數時,則鎖定這一棋盤格為目標刺激并將其放大2倍,而其余3個刺激目標保持大小不變并持續單次刺激時長;圖3b范式作為控制組C1,無眼動反饋且目標動態可變,即不具備紅點作為實時視覺反饋,但棋盤格放大機制同T1組原理相同,即當后臺檢測到眼動視線時,目標刺激也放大2倍;圖3c范式作為控制組C2,無眼動反饋且目標不變,即無實時視覺反饋環節且目標大小在實驗過程中保持不變。3種范式除刺激目標大小有所變化外,每個刺激目標的中心位置不變,收縮擴張頻率和視覺刺激灰度等均不變。

(a)T1范式

(b)C1范式

(c)C2范式圖3 視覺刺激范式Fig.3 Working principle of the hybrid system

刺激范式的設計和呈現由MATLAB環境的Psychtoolbox工具箱實現。實驗所使用的顯示器尺寸為43.942 cm(17.3英寸),分辨率為1 920×1 080像素,刷新頻率為144 Hz。

2.2 實驗流程

本實驗分為測試組T1和控制組C1、C2。測試組T1是為了驗證有眼動反饋目標動態可變的SSVEP-BCI的性能,即以紅點表示被試者的視線落點并實時呈現在屏幕上,刺激開始后50幀內,當被試者的視線落點停留在刺激目標范圍內超過20幀,則鎖定此刺激目標為被試者的注視目標并將其放大2倍,單次刺激時長內保持該放大狀態,若不超過20幀則刺激目標不變,此時因達不到實驗效果故判定該次刺激無效。控制組C1是無眼動反饋目標動態可變的SSVEP-BCI,即不在屏幕上以提示的形式呈現被試者的視線落點,但當被試者保持注視某一刺激目標時,也鎖定其為注視目標并放大2倍,單次刺激時長內保持該放大狀態,如若刺激目標不變則判定該次刺激無效。控制組C2是無眼動反饋目標不變的SSVEP-BCI,即在實驗過程中刺激目標的大小不變,且屏幕上無表示被試者視線落點的紅點。本文通過分析3組實驗的腦電響應和目標識別正確率以比較眼動追蹤對腦機接口性能的積極影響。

選取6名被試者(S1～S6)進行實驗,所有被試者皆身體健康,雙眼視力正常或矯正后視力正常,沒有精神病史或神經病史,沒有光或運動知覺障礙或損傷報告。實驗在安靜的房間進行,被試者在實驗開始前調整眼睛距離屏幕的位置,以60 cm處效果為佳,定位和設置板塊如圖4a所示,圖中人臉圓圈重合為一個,并以八點法校準眼動儀,校準結果如圖4b所示,左右眼數據點集中分布在校準點周圍為佳。

(a)調整眼睛位置

(b)校準圖4 眼動儀的定位設置和校準Fig.4 Position setting and calibration of the eye tracker

每個被試者在實驗過程中應保持頭部固定,并按照刺激范式T1、C1、C2的順序分3組依次注視以8.6、10、12、15 Hz運動的4個刺激目標。每個刺激目標進行3組實驗,在屏幕上共呈現120次,連續20次為一輪,一輪結束后被試者可休整一定時間。每輪實驗的刺激時序如圖5所示,開始時有2 s準備時間,每輪實驗重復20次,單次刺激的持續時間為3 s,單次刺激完成后有2 s的間隔時間,系統在2 s間隔內進行在線結果識別并將結果展示在屏幕上,然后重復下一次實驗。3組實驗除了范式不同外,其余實驗設置均保持一致。

圖5 刺激時序圖Fig.5 Stimulus sequence diagram

2.3 信號采集

本實驗需采集的信號包括腦電信號和眼動信號。使用奧地利生產的g.USBamp生物信號放大器和g.GAMMAsys有源電極系統,搭配g.GAMMAcap電極帽完成被試者的腦電信號采集,采樣率為1 200 Hz。如圖6所示,根據國際標準10-20系統布置電極,采用覆蓋視覺皮層區域的O1、OZ、O2、PO3、POZ、PO4共6個電極實現腦電信號的采集,參考電極安放在單側耳垂A1或A2處,地電極安放在前額FPZ處。腦電信號以6×3 600(6表示采集信號的6個通道,3 600表示以1 200 Hz的采樣率連續采集3 s數據)。矩陣形式存儲為MATLAB數據格式,使用瑞典生產的Tobii Pro X2-30眼動儀完成被試者的眼動數據采集,主要應用瞳孔角膜向量反射技術記錄眼球運動,采樣率為30 Hz。眼動儀通過USB與電腦相連,并粘貼在刺激顯示屏幕正下方。眼動儀的輸出數據包括:瞳孔直徑(mm)、視線落點、時間戳(μs)、有效性數據(0、1)等,并以結構數組的形式存儲為MATLAB數據格式。眼動數據坐標系采用顯示區域坐標系(DACS),以屏幕左上角為原點,二維數組標示視線落點,范圍縮放為[0,0]～[1,1]。

圖6 腦電電極位置安放示意圖Fig.6 A schematic diagram of placement of EEG electrodes

2.4 分類方法

腦電信號經過預處理、特征提取和模式分類以識別刺激目標,常用的信號分類方法有典型相關分析(CCA)、支持向量機(SVM)、線性判別分析(LDA)等。CCA是一種利用綜合變量對之間的相關關系來反映兩組指標之間的整體相關性的多元統計分析方法。它可以通過計算兩個隨機變量之間的典型相關系數來度量兩組隨機變量之間的線性相關性。基于CCA算法來識別SSVEP刺激目標是較為流行的方法之一[22],標準CCA使用純正弦和余弦信號的人工參考模板,其頻率與視覺刺激的頻率相對應。本文即使用典型相關分析算法對采集到的腦電信號進行分類處理。利用CCA計算腦電信號與不同頻率的參考模板信號之間的相關系數,判定相關性最高的參考信號頻率對應的刺激單元為被試者的注視目標。

假設有兩組隨機變量,其中一組隨機變量X∈RP×N為單次刺激采集到的EEG數據,P代表采集信號的通道數即6個通道,N代表每個通道采集到的數據個數即3 600個;另一組隨機變量Y∈R2Q×N為參考信號,由具有特定刺激頻率的諧波頻率的正余弦信號組成,Q代表諧波數量,設

(1)

圖7 CCA算法原理示意圖Fig.7 A schematic diagram of CCA algorithm principle

CCA將多維隨機變量X和Y進行線性變換,即投影到一維維度,得到X′=aTX和Y′=bTY,再計算X′和Y′的相關系數

(2)

每個頻率fi都對應一個相關系數值ρi,通過比較ρi的大小來預測被試者注視的目標刺激單元。相關系數最大的參考信號頻率ftarget對應的刺激單元為注視目標,即有

(3)

3 結果分析

3.1 腦電響應分析

實驗共采集數據6×4×3×20×2組(6名被試者×4個刺激單元×3組范式實驗×20組單次刺激×2輪重復實驗),每組包含6×3 600個數據,采樣率1 200 Hz,時長為3 s。使用帶通濾波器對信號進行預處理,取OZ通道數據疊加平均后進行傅里葉變換,得到不同刺激頻率下的腦電響應頻譜如圖8所示。

(a)8.6 Hz頻譜

(b)10 Hz頻譜

(c)12 Hz頻譜

(d)15 Hz頻譜圖8 4種刺激頻率下的腦電響應頻譜圖Fig.8 Spectrogram of EEG responses at four stimulation frequencies

由圖8可見,被試者大腦響應中包含了對應刺激頻率的腦電信號,其中紅色曲線表示測試組T1的頻譜圖,幅值最高,藍色曲線表示控制組C1的頻譜圖,幅值次之,綠色曲線代表控制組C2的頻譜圖,幅值最低。4個刺激目標對T1、C1、C2組的平均腦電響應幅值分別為1.824、1.379、0.987 μV。故無眼動反饋目標不變的SSVEP-BCI引起的腦電響應幅值低于無眼動反饋目標動態可變的SSVEP-BCI引起的腦電響應幅值,又低于有眼動反饋目標動態可變的SSVEP-BCI引起的腦電響應幅值。即在無眼動反饋的前提下,目標動態可變比目標不變的腦機接口效果更好;在受眼動調控目標動態可變的前提下,具有實時視覺反饋環節的有眼動反饋腦機接口效果更好。

3.2 識別結果分析

CCA算法可直接對多通道腦電信號數據和參考模板信號進行相關性分析,按照不同刺激頻率統計測試組T1(Enlarge & Feedback曲線代表T1組)和控制組C1、C2(Enlarge曲線代表C1組,Normal曲線代表C2組)的目標識別正確率。采用橫軸為時間窗,總采樣時長為3 s,縱軸為平均識別正確率,4種刺激頻率下的識別正確率對比如圖9所示。

(a)8.6 Hz正確率

(b)10 Hz正確率

(c)12 Hz正確率

(d)15 Hz正確率圖9 4種刺激頻率下的識別正確率對比圖Fig.9 Comparisons of recognition accuracies under four stimulus frequencies

由圖9可見,隨著時間窗長的增大,3組實驗的平均正確率都呈上升趨勢,在3 s時間窗長時,T1組的平均正確率最高,正確率值為92.97%,C1組次之,正確率值為88.39%,C2組最低,正確率值為79.48%,折線層次區分明顯。在10 Hz的刺激頻率下,當時間窗長度為3 s時,T1和C1正確率相近,大于C2。此時T1和C1的正確率接近可能是因為當時間窗長度超過一定閾值時,對平均識別正確率的提升有限,視覺反饋此時沒有明顯優勢。

對3組實驗的識別正確率數據做統計顯著性分析,為保證統計意義需樣本量足夠大,每組數據點取120個(4個頻率×5個時間點×6個受試者),影響正確率的因素是實驗方法,且因T1、C1組數據不滿足正態性假定,故采用單因素非參數方差分析,Kruskal-Wallis檢驗得到3組實驗數據具有顯著性(χ=33.39,P=5.61×10-8),箱型圖如圖10a所示,多重比較結果如圖10b所示,其中T1組和C1組具有顯著性(χ=66.37,P=0.023 8),T1組和C2組具有顯著性(χ=108.46,P=2.46×10-8),C1組和C2組具有顯著性(χ=73.41,P=0.004 7)。

(a)箱型圖

(b)多重分析結果圖圖10 3組實驗的統計顯著性分析結果示意圖Fig.10 Statistical significance analysis results of three groups of experiments

時間窗長度取1.5 s,6個被試者分別在4個刺激頻率下進行測試組T1、控制組C1、控制組C2實驗的識別正確率如表1所示。從表中可見,T1組的總平均識別正確率達83.21%,C1組的總平均識別率達77.15%,C2組的總平均識別率達65.13%。若去除SSVEP誘發腦電響應效果差的被試者S5,T1組的總平均識別正確率可達90.19%,C1組的總平均識別正確率可達83.58%,C2組總平均識別正確率為71.98%。分析可知,本文提出的有眼動反饋目標動態可變的眼動追蹤/腦機接口混合系統比無眼動反饋目標動態可變的混合系統有優勢,又比無眼動反饋目標不變的SSVEP-BCI更具有優勢,可達到較高的識別正確率。

表1 T1、C1、C2組在1.5 s時間窗長度下的目標識別正確率Table 1 Table of recognition accuracies of T1,C1 and C2 groups in 1.5 s time window length

4 結 論

針對實驗過程中,因屏幕尺寸限制、刺激目標多且面積小而致被試者腦電響應不強、容易產生疲勞、難以將注意力集中在同等大小的刺激目標上等問題,本文提出了一種基于眼動追蹤的視覺目標動態可變的SSVEP-BCI系統。該混合系統以眼動追蹤技術提供視覺反饋,并對刺激目標大小加以調節,兼具了眼動追蹤快速高效和SSVEP平穩高信噪比的優勢。實驗結果表明,被試者使用有眼動反饋目標動態可變的腦機接口時,其識別正確率和腦電響應幅值均高于使用無眼動反饋目標動態可變的腦機接口,又高于使用無眼動反饋目標不變的腦機接口。對于CCA分類方法,在4種刺激頻率下,T1組較C1和C2組能在更短的時間窗內達到90%的識別正確率。對照實驗說明,視覺反饋與目標動態可調對腦電響應幅值和識別正確率有影響。推測C1組腦機接口性能優于C2組是由于目標刺激放大后,受試者觀察刺激時更加清晰,人眼感知到的收縮擴張運動更加明顯,導致性能增強;推測T1組優于C1組是由于眼動反饋的存在有效吸引受試者的目光,從無意識的觀察刺激轉變為主動調整視線并觀察目標刺激,一定程度上提升了受試者的注意力水平,使性能增強。總而言之,實驗結果表明了有眼動反饋目標動態可變的混合系統能有效地激發被試者的注意力,具有更好的識別優勢,能引起更高的腦電響應,驅動BCI系統更具有優勢。

該方向可進一步深入研究,如增加刺激目標數量,使用本文方法進行比對,探索有眼動反饋目標動態可變的腦機接口技術在多目標識別中的優勢;改變視覺反饋的提示形式(顏色、形狀等),探索視覺反饋對腦機接口技術的積極影響。