面向飛行模擬器的立體視覺刺激腦機接口系統

毛玲，魏士松,2，張靈維，章栩苓，周正東

(1.南京航空航天大學機械結構力學及控制國家重點實驗室，江蘇南京，210016；2.上海航天精密機械研究所，上海，201600)

腦機接口技術(brain-computer interface,BCI)能夠在大腦與外部環境之間建立聯系，利用大腦意識活動產生的腦電信號控制外部設備[1?2]。穩態視覺誘發電位(steady state visual evoked potential,SSVEP)是指對人腦實施固定頻率的視覺刺激后產生的腦電信號電位變化[3?4]，因其訓練時間短、通訊速率快、設備配置簡單等優點，被廣泛應用于醫療、航空航天及軍事等領域[5]。NAKANISHI等[6]提出了一種新的數據驅動的空間濾波方法，利用任務相關成分分析方法(Task-related component analysis,TRCA)去除背景腦電活動，提高SSVEP信號的信噪比(signal to noise ratio,SNR)，實驗結果表明該方法有效提高了腦電信號的分類精度。張彥軍等[7]提出了一種以現場可編程門陣列(fieldprogrammable gate array,FPGA)和商用腦電采集設備為核心的SSVEP-BCI 系統。該系統通過所設計的視覺刺激器，完成了基于FPGA的腦電信號處理和特征識別，在4 個刺激目標和單次實驗時長2 s的實驗條件下，能夠實現85.25%的平均識別正確率。邵星翰等[8]提出了一種基于多元經驗模式分解的多元同步指數法，通過對SSVEP 目標識別算法進行優化，提高了SSVEP 信號的識別準確率。KRYGER等[9]將腦機接口技術應用于飛行模擬駕駛領域，通過在殘疾患者大腦皮層植入2 個96 通道的微電極陣列，患者能夠運用運動想像實現對于飛行器的飛行操控。

虛擬現實技術是一種能夠構建和體驗虛擬三維世界的計算機仿真系統，其核心在于沉浸感、交互感與存在感的高度融合[10?11]。虛擬現實系統類型主要有桌面式虛擬現實系統、沉浸式虛擬現實系統、增強式虛擬現實系統及分布式虛擬現實系統。其中，桌面式虛擬現實系統相比其他虛擬現實系統對眼睛更為友好，佩戴更加舒適。桌面式虛擬現實系統包括立體顯示器、輕質3D眼鏡及六自由度操控筆等，通過實時頭部追蹤技術配合用戶的頭部姿態調整來改變空間視圖，以模擬真實環境視覺體驗[12?15]。相比平面圖像，立體圖像增加了虛擬目標的深度信息，能夠為腦電設備采集電位信號提供更具激勵性的視覺刺激[16]，進而提高了腦控飛行模擬駕駛的準確率。黃墉[17]研究了一種基于頭盔式虛擬現實系統的3D立體視覺刺激的P300 范式，實驗結果表明基于立體視覺刺激范式下的電位信號分類準確率有一定的提升。但是頭盔式虛擬現實設備存在質量大、舒適性差、易產生視覺疲勞等問題，而且P300 電位相對較弱，經常受到腦活動干擾，為提高腦電信號的信噪比需反復進行多次視覺刺激，易引起眼部不適、采集效率較低[18]。

為了提高腦控飛行模擬駕駛的準確率，本文作者提出一種面向飛行模擬器的立體視覺刺激穩態視覺誘發電位腦機接口系統。該系統運用桌面式虛擬現實技術為用戶提供立體視覺刺激以誘發高質量的腦電信號，通過Emotive EPOC+腦電設備和OpenVIBE腦電處理模塊對電位信號進行采集與處理、特征提取和分類，最后轉換為飛行控制指令，實現對虛擬現實模擬飛行器的在線操控。

1 研究方法

1.1 實驗系統

為了提升腦電信號分類的準確率，從而更精確地操控飛行器，開發了基于桌面式虛擬現實的立體視覺刺激的SSVEP 腦機接口系統，包括視覺刺激子系統、OpenVIBE腦電處理模塊、指令模塊和通信模塊，如圖1所示。視覺刺激子系統包含2個功能：其一，用于提供固定頻率閃爍的虛擬目標來刺激大腦產生SSVEP 響應，其二，接收分類結果并實時反饋在場景中。OpenVIBE腦電處理模塊用于對腦電數據進行離線訓練和在線分類，并輸出分類結果。指令模塊用于接收分類結果并轉換為可識別的飛行控制指令傳輸至飛行模擬駕駛模塊。通信模塊用于實現視覺刺激子系統、OpenVIBE腦電處理模塊、指令模塊及飛行模擬駕駛模塊之間的數據交互傳輸。

圖1 面向飛行模擬器的立體視覺刺激腦機接口系統示意圖Fig.1 Schematic diagram of stereoscopic vision stimulated brain-computer interface system for flight simulator

1.2 視覺刺激子系統

1.2.1 視覺刺激子系統設計

視覺刺激子系統以Unity3D為開發平臺，C#為開發語言，基于VoxelStation VR 工作站平臺，采用3D立體顯示器作為視覺刺激器，屏幕分辨率為1 920×1 080，刷新頻率為120 Hz。基于桌面虛擬現實技術開發，具有平面視覺刺激和立體視覺刺激2種模式，以便于分析比較2種刺激模式下的腦電信號分類性能。

當顯示器開啟3D 模式，結合用戶佩戴的3D偏振眼鏡，刺激目標以立體形式呈現，三維視景為用戶帶來高沉浸感的體驗，當顯示器關閉3D模式時，刺激目標以平面形式產生視覺刺激。

為了滿足實驗測試的需求，開發了具有SSVEP 離線訓練、SSVEP 在線測試及SSVEP 在線控制功能模塊的視覺刺激子系統。該子系統在立體顯示屏上設置了4個虛擬目標，虛擬目標以固定頻率閃爍實現對用戶的視覺刺激。其中，虛擬目標的顏色、大小及間距等參數可自由調整，以滿足不同用戶對顏色敏感程度差異性的需求，能更有效的刺激用戶產生高質量的腦電信號。

SSVEP 離線訓練模塊主要用于分類模型的訓練，能夠為用戶提供虛擬目標以恒定頻率閃爍的視覺刺激，配合OpenVIBE腦電處理模塊對空間濾波器及分類器進行訓練及構建，為后續在線測試和在線控制提供分類模型。

SSVEP 在線測試模塊主要用于操控性能的在線測試，除了為用戶提供視覺刺激外，還基于腦電處理平臺得到的分類結果進行實時反饋。同時能夠按需生成隨機序列的控制測試，用以統計用戶控制正確率以及響應時間。

SSVEP 在線控制模塊主要用于虛擬飛行器的在線操控，除了為用戶提供視覺刺激外，還基于指令模塊生成的飛行控制指令，實現對飛行器起飛及飛行姿態的操控。

1.2.2 視覺刺激原理

通過虛擬目標按照恒定頻率交替閃爍不同顏色實現對大腦的視覺刺激。為了獲得穩定的刺激頻率，基于Unity3D開發的視覺刺激子系統在頻率閃爍的實現上有Fixed Update 和Shader 2 種方式。Fixed Update 方式是運用Unity3D 自帶的循環周期函數來實現閃爍，這是一種十分消耗性能的循環方式，高頻率的運算需要占用大量的計算機資源，因此，本文采用Shader方式實現視覺刺激。Shader方式通過Unity Shader 配置GPU 渲染管線來實現。在渲染過程中，首先在頂點著色器中，通過矩陣變換將模型頂點數據變換到裁剪坐標系下，然后在該著色器中定義矩陣C，用于存儲虛擬目標2種顏色的R，G，B通道。

式中：Ri為R通道的值，Gi為G通道的值，Bi為B通道的值。

當前時間點的行索引Li(從t=0起始)為

式中：Fl(*)為向下取整；t為程序運行后的時間計數；f為視覺刺激的閃爍頻率；%2 為對2 取余數。計算得到行索引后，將行索引對應的顏色值傳入到片段著色器中。在片段著色器，只需要將顏色值輸出并顯示到屏幕上即可實現交替閃爍功能。

1.3 OpenVIBE腦電處理模塊

OpenVIBE腦電處理模塊的處理流程主要包括腦電信號采集及預處理、特征提取以及特征分類。本文利用Emotive EPOC+腦電設備采集用戶的SSVEP 信號，該設備內置的50 Hz 和60 Hz 陷波濾波器能夠濾除對應的工頻干擾，并對數據進行0.5～45 Hz的帶通濾波處理。通過第三方開源工具Cykit將采集的腦電數據轉換為OpenVIBE可識別的數據流。為了有效提取信號的頻率響應特征，需要對信號進行特定頻帶的濾波處理，針對每個目標的基波(f)與二次諧波(2f)設定相應的Butterworth 帶通濾波器，其對應的頻帶范圍分別為[f-0.25,f+0.25]和[2f-0.25,2f+0.25]腦電信號預處理完畢后，通過共空間模式(common spatial patterns,CSP)[19]對離線腦電數據進行訓練獲得一組空間濾波器矩陣，從而實現對腦電信號的特征提取。二分類情況下空間濾波器的構建過程如下：

令2個類別中第i個信號樣本X1i與X2i的歸一化的協方差矩陣為：

式中：tr(*)表示矩陣對角線上元素和。

空間濾波器的構建公式如下：

式中：P為協方差矩陣R的白化矩陣；B為經白化處理后矩陣的最大特征值和最小特征值對應的特征向量的組合。

信號數據樣本經過空間濾波后的矩陣Z為

式中：W為空間濾波矩陣；X為信號樣本。

對濾波后的特征向量求取對數作為信號特征：

式中：var(Zi)為矩陣Z中第i行的方差；j=1，2，…，2m，2m為矩陣Z的行數。

對于2 個分類以上的情況，通過“一對多”(one vs rest,OvR)的方法將其轉換為多個“二分類”來進行處理。選取n個類中的一類給出協方差矩陣R1，然后將剩余其他類的協方差矩陣結合類頻率進行加權平均作為R2進行求解，以此依次構建出n倍數量的空間濾波器。

線性判別分析(linear discriminant analysis,LDA)[20]用于完成分類器構建，該方法對樣本信號特征進行線性組合以此來區分不同類別的信號。對于二分類問題，設法將樣本投影到一條直線上，使得同類樣例盡可能接近，異類的樣例投影盡可能遠離，獲得LDA 最大化的目標。具體實施過程如下。

首先，假設投影直線為ω，取任意一個樣本xi，定義類內散度矩陣Sω：

式中：μ0和μ1為2類樣本的中心點。

定義類間散度矩陣Sb：

LDA最大化的目標函數J(w)為

采用拉格朗日乘子法對式(10)優化可得：

對于n個分類問題，通過“一對多”將其擴展為多個“二分類”問題進行求解，取出其中一個類，然后將剩下的n?1個類組合為另一個類，通過訓練得出n個分類器。

完成空間濾波器與分類器的構建后，即可進行在線控制，將在線采集得到的腦電信號經預處理、空間濾波器提取信號特征以及分類器分類后輸出分類結果。

1.4 通信模塊

1.4.1 VRPN通信

本系統中視覺刺激子系統、OpenVIBE腦電處理模塊、指令模塊及飛行模擬駕駛模塊之間需要進行數據交互。OpenVIBE腦電處理模塊生成的分類結果分別傳輸視覺刺激子系統與指令模塊，指令模塊接收后轉換為飛行控制指令發送飛行模擬駕駛模塊操控飛行器飛行。

虛擬現實外圍網絡(virtual reality peripheral network,VRPN)是一個設備(程序)之間數據訪問的開源接口工具，具有延遲低、可靠性高的優點。視覺刺激子系統、指令模塊與OpenVIBE腦電處理模塊通過VRPN 實現通信，通訊原理如圖2所示，在視覺刺激子系統、指令模塊與OpenVIBE腦電處理模塊之間配置VRPN客戶端與VRPN服務器，使用時只需配置相應的鍵值名稱即可實現通信。

圖2 VRPN通訊原理圖Fig.2 Schematic diagram of VRPN communication

1.4.2 Socket通信

為了避免飛行視景圖像對SSVEP 誘發產生干擾，將視覺刺激子系統、OpenVIBE腦電處理模塊和指令模塊在一臺計算機中運行，飛行模擬駕駛模塊在另一臺計算機中運行。指令模塊與飛行模擬駕駛模塊通過Socket進行通信，Socket作為應用層與TCP/IP 協議族通信的中間軟件抽象層，能夠將指令模塊輸出的飛行控制指令傳輸至飛行模擬駕駛模塊。在網絡通訊中，信息以字節流的形式傳輸，通常采用XML技術實現數據的序列化與反序列化。本文數據解析功能由Protobuf實現，相比XML 技術，Protobuf 是一個更高效的協議數據交換格式工具庫，可用于通信協議、數據存儲等。Socket 通信原理如圖3所示，通過Visual Studio 開發一個控制臺應用作為Socket 服務端，指令模塊和飛行模擬駕駛模塊分別架設在2個客戶端中，控制指令通過Protobuf 進行數據解析并發送至服務端，再由服務端發送至飛行模擬駕駛模塊所在的客戶端中。

圖3 Socket通信原理圖Fig.3 Schematic diagram of Socket communication

2 結果與分析

2.1 實驗設計

本實驗共有9 位受試者參與實驗，年齡介于20～30 歲之間，身體素質良好，無色盲色弱問題。受試者于相對安靜的環境中獨自進行實驗，實驗過程無明顯外部干擾。受試者坐姿端正，眼睛距離屏幕的距離約為70 cm。

腦電數據由Emotive EPOC+腦電設備采集，根據研究顯示，SSVEP 腦電信號主要位于大腦皮層視覺功能區(枕葉)[21?22]，因此，選擇該設備的O1和O2通道作為實驗信號采集通道。

2.2 刺激頻率選擇

本實驗中，SSVEP 腦電信號通過按恒定頻率閃爍的目標刺激用戶視覺產生。所用立體顯示屏幕刷新頻率為120 Hz(左右眼各60 Hz)，受顯示屏刷新率限制[21]，可供選擇的刺激頻率與所對應的諧波頻率如表1所示。其中，F為屏幕刷新頻率，F=60 Hz，f，2f和3f分別為刺激頻率的基波、二次諧波與三次諧波頻率。

表1 SSVEP 刺激頻率Table 1 SSVEP stimulation frequency

為了產生4 種SSVEP 腦機接口控制指令用于飛行模擬器起飛階段及起飛后的操控，選擇了4個不同的刺激頻率，但多個刺激頻率之間可能會出現頻率耦合現象，應避免這種現象發生。此外，需對刺激頻率及二次諧波進行帶通濾波處理，范圍分別為[f-0.25,f+0.25]和[2f-0.25,2f+0.25]，因此，在選擇刺激頻率時，還應保證一定的頻率間隔。為此，本文選擇了A、B 兩組頻率進行測試，其中A 組頻率為5.45，6.67，7.50 和8.57 Hz；B組頻率為8.57，10，12和15 Hz。

不同刺激頻率下功率譜密度(Power Spectral Density,PSD)圖對比如圖4和圖5所示，其中，采集頻帶為0～40 Hz。由圖4和圖5可以看出，A組刺激頻率附近的功率譜密度明顯較低，B組刺激頻率的特征變化較明顯。因此，選用B組的頻率作為后續實驗的刺激頻率。

圖4 A組刺激頻率下的PSD圖像Fig.4 PSD images at stimulation frequency of group A

圖5 B組刺激頻率下的PSD圖像Fig.5 PSD images at stimulation frequency of group B

2.3 時間窗口選擇

由于腦電圖(electroencephalogram,EEG)為連續收集得到的，若要分析腦電事件相關電位時，需要將信號“切分”為事件片段，時間窗口是指這些事件片段被鎖定到某個刺激中的時間片段[23]。截取的時間窗口越長，腦電信號的分類正確率越高，但響應時間也越長[24]。因此時間窗口和響應時間的平衡對本實驗具有重要影響。為了獲得合適的時間窗口，本實驗選擇了10 組隨機數據樣本進行測試。其中，樣本的80%用于訓練集，20%用于測試集。在相同條件下，對10 組數據樣本分別進行分類器訓練，結果如圖6所示。從圖6可以看出，每組數據樣本的分類正確率隨著時間窗口的增加呈現較快的增長，當時間窗口大于2 s 時，分類正確率的增長趨于緩慢。

圖6 分類器正確率隨時間窗口的變化曲線Fig.6 Variation curve of classifier accuracy with time window length

基于上述實驗結果，對2 s 內不同時間窗口的分類正確率及響應時間進行綜合比較。選取5名受試者通過SSVEP在線測試模塊隨機進行50次腦電響應測試，產生的腦電信號經過分類處理后得到的正確率P和平均響應時間R如表2所示。由表2可知，當時間窗口為0.5 s時，5名受試者平均正確率僅為45.2%，分類精度較低；而當時間窗口為2 s時，5名受試者平均正確率為86.8%，分類精度較高，但此時平均響應時間為2.36 s，控制響應時間較長；當時間窗口為1.0 s和1.5 s時，5名受試者平均響應時間分別為1.366 s和1.85 s，平均正確率分別為72.4%和81.2%。綜合考慮控制正確率以及響應時間，后續實驗中時間窗口取值為1.5 s。

表2 不同時間窗口下分類器正確率和響應時間對比Table 2 Comparison of classifier accuracy andresponse time under different time Windows

本實驗信號采集通道選用O1 和O2 通道，刺激頻率分別為8.75，10，12和15 Hz，時間窗口取值為1.5 s。在該實驗參數條件下，選取9名受試者分別在平面視覺刺激和立體視覺刺激下的腦電信號分類正確率進行對比實驗研究。每名受試者在2種不同的視覺刺激下分別進行50 次隨機目標指示試驗，并通過SSVEP 在線測試模塊得出最終正確率結果。本實驗中，對照組為平面視覺刺激組，實驗組為立體視覺刺激組，腦電信號分類準確率如圖7所示。

圖7 腦電信號分類準確率對比圖Fig.7 Comparison of EEG signal classification accuracy

由圖7可得，對照組腦電信號分類平均準確率為81.3%，實驗組腦電信號分類平均準確率為87.8%，相比對照組，實驗組的平均準確率提升了約6.5%，充分證明了立體視覺刺激所帶來的優勢，可有效提高腦控飛行模擬駕駛的正確率。

3 結論

1)針對刷新頻率為120 Hz 的立體屏幕，選用最優刺激頻率為8.57，10，12及15 Hz時能誘發高質量的腦電信號。

2)在1.5 s 的采集時間窗口下，指令響應時間和分類正確率能取得最優組合；相比于平面視覺刺激，立體視覺刺激條件下的腦電信號分類正確率提高了6.5%，從而可改善腦控飛行模擬駕駛系統的性能。