基于BCI的虛擬現實模擬駕駛教學系統設計

滕 健，黃佳慧，宮 凱

基于BCI的虛擬現實模擬駕駛教學系統設計

滕 健，黃佳慧，宮 凱

(嶺南師范學院機電工程學院，廣東 湛江 524048)

為解決傳統模擬駕駛過于強調正常場景的訓練，缺少對意外場景下學員心理狀態的監測與協助，且無法反饋和評價駕駛心理狀態等問題。以腦機交互(BCI)技術與虛擬現實(VR)為基礎開發VR模擬駕駛教學演示系統，利用三維動力學引擎開發了駕駛模擬操作系統，在硬件上設計可穿戴式腦電波信號檢測頭盔，基于BCI技術實現對學員模擬駕駛大腦狀態的監控與數據評估；有突發模擬事件發生時，系統通過腦機接口技術自動制動或輔助駕駛。在完成模擬駕駛訓練的同時可以根據腦波(EEG)反饋在意外事件中給出緊急解救措施，根據EEG情況評估學員的發揮以及心理素質，為虛擬駕駛等認知負荷較高的教學訓練提供了更為豐富與直觀沉浸式交互操作方式，提高了該領域教學訓練系統的實用性與可用性。

腦機交互；虛擬現實；模擬駕駛；教學演示

BCI腦-機接口(brain-computer interface, BCI) 技術是20世紀70年代發展起來的一項前沿技術，其利用傳感器將人腦電波信號轉換成控制信號，可實現人腦直接與計算機或者電子設備交互操作的技術，涵蓋了神經科學、模式識別、信號處理、計算機科學與人機交互技術等多個學科[1]。WEEVERS等[2]進行包括BCI腦電、觸覺反饋、聲音反饋等多通道感知信息在虛擬駕駛教練(virtual driving instructor)系統中的應用研究，開發了簡易的智能駕駛控制系統使得模擬駕駛學習過程變得更加生動靈活。ZANDER等[3]研究了初學駕駛者在自動駕駛場景中自我適用性的速度和準確性，重點討論了該實驗中初學者BCI數據的質量、駕駛相關運動后頭部位置的偏移、系統的可用性和復雜性以及隨著時間的推移BCI頭盔佩戴舒適性對駕駛的影響。MELANIE等[4]在駕駛模擬器中進行一小時的單調正常駕駛任務，記錄年輕人和老年人的駕駛腦電波動情況與心電水平，發現2組在精神負荷、精神資源消耗方面存在顯著差異。國內基于BCI的虛擬現實(virtual reality, VR)研究主要集中在技術應用領域：趙啟斌[5]利用運動想象產生的思維模式，開發了基于異步BCI技術的“腦驅動”模擬駕駛系統，實現了單純依靠自發想象思維在三維虛擬環境中進行汽車駕駛控制，為殘障人士駕駛汽車以及BCI技術控制數字娛樂提供了技術與理論支撐。PAN等[6]研究和設計了一種基于腦電圖的虛擬駕駛原型系統，利用BCI技術將用戶的腦電波(electroencephalogram, EEG)信號通過采集、分析和識別轉換為控制命令，用于在三維城市環境中對虛擬汽車進行控制，提高了BCI控制虛擬駕駛體驗的沉浸感與逼真性。楊幫華等[7]開發了虛擬現實反饋方式的BCI反饋系統。綜上，國內外在BCI腦電主動控制虛擬現實駕駛有較多的研究，在不同虛擬現實駕駛任務情況下，駕駛員在BCI駕駛控制精神負荷、精神資源消耗情形也有了詳細研究。針對BCI在虛擬現實駕駛被動控制的行車輔助方面研究較少的情況，本文以基于BCI技術的虛擬現實模擬駕駛教學演示系統為設計研究對象，在硬件方面開發了腦電波頭盔，用于腦電波信號檢測與處理，利用基于動力學的三維引擎環境開發的駕駛模擬器操作系統，在完成行駛模擬駕駛訓練的同時根據EEG反饋在意外事件中給出緊急解救措施，根據EEG情況評估學員的發揮以及心理素質，從而有針對性地對不同學員制定差異化駕駛培訓方案，可以有效改善虛擬現實環境訓練帶來的過高認知負荷水平，提高訓練的針對性與效率。

1 BCI-VR系統相關技術研究

1.1 基于BCI的虛擬現實技術原理

基于BCI的VR技術系統通常由BCI接收控制系統和虛擬現實三維表現系統VR組成。BCI一般利用腦電設備，采集受試者腦頭皮層電信號，通過對腦波EEG過濾、除噪、特征處理得到最終分析結果，形成BCI控制信號[8]。VR軟件系統在計算機上通過三維建模與渲染技術實現對真實環境和物體的模擬，其既可以收集用戶的操作數據反饋給BCI接收控制系統，同時又可以接收腦電信號來直接控制VR物體。為實現系統總體的實時反饋與控制，2部分系統需要在總體系統框架下流暢連接，并可高效地輸出控制指令，VR部分要做到逼真展現BCI所需感官虛擬體驗和迅速觸發BCI所需生理信號并提供能使用戶控制的反饋任務。圖1為本文基于BCI的VR技術系統的工作流程。

圖1 基于BCI的虛擬現實技術系統的工作流程

1.2 BCI系統信號采集處理方法

首先本文腦電信號采集采用ThinkGear作為BCI采集與控制芯片，內置TGMA核心和一個干電極，通過配套ThinkGear Connector (TGC)軟件，由TCP端口讀取數據流，經Json解析準確獲取腦波EEG數據。ThinkGear可以獲取佩戴者波、波、波、波、波、PoorSignal、Attention等EEG信號。通過藍牙通道與PC端VR系統傳輸、交換數據。

一般EEG信號是從頭皮表層記錄得到，信號較微弱，容易受到外界以及自身主客觀因素的影響，采集的EEG信帶有各種類型的偽跡比如脈搏、眼電、肌電等。偽跡減法、主成分回歸分析法和獨立成分降維法等都是常用的偽跡減法[9]。本文根據所采用的ThinkGear芯片，通過TGMA芯片接收EEG信號并分析識別眼動和肌電偽跡，采用偽跡減法得到

其中，y()為去噪后的EEG;()為設備獲取的EEG；(i)為噪聲；k為比例常數，即矯正后的EEG是從測量的EEG信號中去除一定比例的偽跡得到的。為標準差；r為和通道的相關系數。

特征提取即從非平穩隨機EEG信號中發現并提取表征意識任務的最有效的特征，使得從不同意識任務提取出的特征差異最明顯。特征提取是模式分類的基礎，本文通過ThinkGear公司成熟的特征提取方案對大腦不同思維任務下EEG信號特征進行分類。該系統方案具有較高的響應速度，保證BCI系統的通訊效率與穩定性。

1.3 虛擬現實駕駛系統原理

虛擬現實駕駛是對VR技術的高程度應用，要求具備全面的、準確的實時三維動畫，精準的聲效、光影、觸感，甚至嗅覺模擬系統。駕駛數據場景庫中包含虛擬場景模型、道路交通模型、車輛數據模型3部分，負責對現實世界環境的還原，外加音響效果和運動仿真，操作者可沉浸在真實的虛擬環境中進行操作，體驗和學習現實世界中的汽車駕駛基本技能。本文采用Unity3D跨平臺三維物理模擬引擎進行VR模擬駕駛教學演示系統設計與開發。設計與開發人員使用該引擎可以創建逼真的VR2D或3D場景，還可以發布實時三維動畫等互動內容至PC，Mac，Android，IOS等平臺。目前Unity 3D逐漸向工業、科研、文化產業等VR開發方向轉型。

2 教學演示系統軟件與交互設計

2.1 系統設計概述

基于BCI的VR模擬駕駛教學演示系統由硬件系統和軟件系統組成。硬件系統主要由ThinkGear頭盔、TGMA控制元件和模擬駕駛外設組成。軟件系統包括MindViewer (測試腦電波，顯示波形與數據)、Unity 3D (生成VR環境)、NeuroSky UnityTGC (Unity插件，可讀取EEG數據并控制突發情況下駕駛程序)。通過使用該系統，可以訓練使用者駕駛能力和對突發情況的應變能力，達到對使用者進行心理教學以及糾正的目的，模擬駕駛教學演示系統使用過程如圖2所示。

圖2 模擬駕駛教學演示系統使用場景

2.2 BCI腦波硬件頭盔設計

本文為BCI系統專門設計了腦電波頭盔，通過Creo進行腦電波頭盔設計，用3D打印設備制作出外殼的各個部分，實體頭盔外殼主要的作用是便于佩戴以及固定藍牙腦電波頭帶。其包括頭盔后蓋1，中蓋2與前蓋7，電池盒蓋3與電池盒4，電路板5，傳感器6和耳夾8，如圖3(a)所示。藍牙腦電波頭帶擁有一個ThinkGear腦電波傳感器6，位于頭盔前額處，可以采集大腦產生的生物電信號，并將其傳輸到軟件設備中。同時左耳夾8處有2個電極，分別為參考電極和接地電極。佩戴時，參考電極緊夾耳朵向腦電波控制器傳輸指令。通過腦電波傳感器采集腦電波信號，通過藍牙無線技術，將測得的數據反饋到連接的軟件設備中，可以遙控軟件中的虛擬模型，從而達到訓練學習者的認知、注意力等能力的目的。

圖3 BCI腦波硬件頭盔設計構成

2.3 模擬駕駛虛擬現實系統的設計

本系統VR軟件環境設計以Unity 3D為開發平臺，利用C#(ODE)語言實現編程。系統開發采用Unity3D引擎載入三維汽車模型，將外部駕駛模擬器設備與三維汽車模型離合器、油門、制動器、方向盤、六檔位變換器對應關聯起來，形成可操縱的VR系統，如圖4所示。在系統輸入模塊中定義外設踏板輸入角度和方向盤角度等連續變量，同時定義六位換擋位枚舉變量，在模擬駕駛程序運行時系統通過計算機硬件設備接口函數獲取駕駛學員對駕駛設備的操控參數值。

圖4 模擬駕駛教學演示系統開發環境

系統中的場景模型主要使用3D Max建模輸出，如圖5所示。城市道路環境主要包括城市建筑與景觀、樹木等。為了真實模擬車輛在道路上行駛，在建模時還建立了相應的交通設施，如交通信號燈、交通指示牌、標志等。車輛模型主要包含車輛本身的外觀模型和動力學模型。將建模圖形以FBX的形式導入Unity3D，中等精度貼紋理圖即可滿足模擬駕駛真實性體驗要求。

圖5 模擬駕駛教學演示系統場景模型設計

系統開發采用Unity3D內置的ODE動力學引擎模擬汽車行駛原理并將車輛模型簡化為車身、車輪以及車身與車輪連接，使用復合關節Hinge來表示車身和車輪之間的連接關系，系統通過人機交互接口將外部輸入信號傳給動力學仿真模塊，不同的運動部件根據自身物理特性對其扭矩進行賦值，駕駛學員通過方向盤、油門、剎車、離合踏板、換擋手柄來控制車輛運動。窗口通過三維物體與環境動態反饋顯示VR事件的進行。

2.4 BCI-VR模擬駕駛系統交互控制運行效果

本文BCI系統與VR軟件需要實現數據互通與人機交互以及BCI。VR系統部分采用NeuroSky-TGC插件作為BCI-VR交互功能接口，NeuroSky-TGC是ThinkGear開發公司針對Unity3D設計的EEG腦波插件，可將數字數據作為異步串行字節流進行傳輸，同時對串行數據流數據包進行提取和解析，最終以波形與數據值形式顯示，并且可以通過狀態判斷對VR系統做出控制，同時，也可以將Unity環境的變化反饋給腦電波采集設備，從而影響駕駛學員腦波EEG變化，系統運行界面效果如圖6所示。NeuroSk-TGC配套軟件MindViewer顯示測得的腦電波波形與數據如圖7所示。

圖6 基于BCI的虛擬現實模擬駕駛教學演示系統界面

圖7 NeuroSky-TGC配套軟件顯示腦電波波形與數據

模擬駕駛教學演示系統需要實時監測駕駛學員專注程度與駕駛心理狀態，因此對腦波進行分類以及提取，有針對性的觀測可以反映駕駛狀態的EEG腦波信號段是本文的重點研究內容。如前文所述通過NeuroSky UnityTGC插件可以獲取佩戴者波、波、波、波、波、PoorSignal、Attention等EEG信號。其中專注度Attention指數值表明用戶當前的精神專注程度或注意力集中程度，當佩戴者能夠進入高度專注狀態并且可以穩定地控制你的心理活動，該指數的值就會很高。該指數值的范圍為0~1rate[10]，專注度Attention指數的數值與佩戴者當時的腦部活動專注與否有關，焦躁不安、情緒波動較大等負面精神狀態都會擾亂Attention波形并降低其指數。由于Attention指數較為適宜反映受試者駕駛狀態，因此本文以專注度Attention為研究對象，正常行駛時，駕駛學員專注度Attention數值穩定且處于較高水平；當有意外事件發生時，其值會劇烈變化，呈現急速降低的趨勢，當系統檢測到Attention值突變且呈現下降趨勢時，系統會判定駕駛學員無法恰當處理意外事件，駕駛存在危險，此時系統會自動進行剎車或輔助駕駛干預，避免交通事故發生，保證駕駛學員心理以及身體健康。

意外情況是駕駛時經常遇到的問題，而傳統模擬駕駛訓練系統缺少對策，本文另一項重點內容為BCI在VR駕駛教學演示系統中意外情況下的反饋與控制，其工作流程為：使用者戴上腦電波頭盔，進行腦電波信號采集及記錄；將原始腦電信號進行預處理，并對預處理過后的信號進行特征提取和特征分類，之后將分類的信號進行輸出；在系統界面MindViewer子窗口顯示Attention指數波形；使用者戴上腦電波頭盔的同時，通過操作模擬駕駛方向盤，對模擬環境中的汽車進行運動控制；當有其他車輛緊急闖入時，使用者腦電波Attention指數發生較大的波動，且當其指數低于設定的閾值0時，本系統將自動對汽車進行緊急制動。系統工作流程如圖8所示。由此可知閾值0需要由實驗測定，且其數值由于人的生理心理固有特性而存在一定個體化差異，通過預測試而檢測每個駕駛學員的最優閾值0，對后續學員的教學與訓練非常重要。

圖8 教學演示系統工作流程

3 系統測試

為了測試系統的有效性并探索個體最優Attention閾值0的取值，本文設計了模擬駕駛典型的意外道路事件，并邀請學員進行測試。測試環境為Windows 10系統，Unity3D結合NeuroSky UnityTGC編譯輸出可運行程序，學員佩戴本文專門設計的BCI頭盔，實驗記錄人員利用NeuroSky-TGC配套軟件顯示監控EEG變化并記錄，主要觀測Attention指數波動與數值。

測試選擇4位年齡在20~23歲之間的男學員各進行10次重復性測試。測試任務情景如圖9所示，受試者佩戴BCI頭盔，操作方向盤、檔位與油門控制虛擬駕駛系統中的白色①號車直線前進，時速高于30 km/h低于50 km/h，進入十字路口時，紅色②號車急速斜插入路口。駕駛員需要根據情況避開或通過輔助駕駛在不發生碰撞的情況下安全駛離路口，即任務完成。測試任務采用分段評分，第1階段：掛前進擋，踩油門啟動；第2階段：扶正方向盤駛入十字路口；第3階段：躲避緊急駛入車輛；第4階段：駛出任務路段，到達終點。每完成一個階段任務即獲得25%正確率評分。經過交叉驗證之后其任務正確率隨著重復次數增加的變化曲線圖如圖10所示，經過10次Reapeat交叉實驗訓練后，被試者測試任務正確率評分Accuracy接近100%，測試結果表明，本文系統設計已達預期。

圖9 測試情景示意圖

為保證系統獲取腦波的正確性與效率，必須在保證信息傳輸率的基礎上為每個被試者設定Attention最佳閾值0[11]，對所有受試者的每次測試Attention數據進行分析。對4個受試者的正確率Accuracy和注意力指數Attention的關系以及信息傳輸率Bit(bits/min)進行分析，最終得到圖11曲線，可以看出受試者在Attention閾值0設定在60~80之間時信息傳輸率與任務正確率達到最高，從整體來看，當閾值設定過小時，正確率會較低，而當閾值設定太大時，信息傳輸率就較低，因此根據圖中受試者的狀況，分別設定不同的閾值用于自適應算法，4個受試者的最終設定見表1。

由于駕駛學員個體之間存在生理與心理能力固有差異，所以針對每個受試者所選擇的Attention閾值需要有所不同。在保證EEG數據有效傳輸與較高任務完成正確率的基礎上，最終受試者P1的閾值取值0.75，P2和P3的閾值取值0.77，受試者P4的閾值取值0.73。后續模擬駕駛任務可以針對不同學員在系統中輸入其最佳Attention閾值，有助于系統實時監控駕駛學員的駕駛狀態，當Attention指數異常并有出現危險跡象時，模擬駕駛系統積極采取干預措施。

圖10 駕駛任務正確率與次數變化曲線圖

圖11 閾值與正確率、信息傳輸率關系

表1 受試者最佳EEG專注力指數閾值取值表

4 結束語

通過Unity 3D內置的ODE動力學引擎開發VR駕駛環境，實現了學員直觀、實時、逼真的感知體驗。在硬件上設計了BCI頭盔，通過TGMA芯片內建濾波算法對EEG腦波信號進行特征分類，選取專注力指數為指標監控駕駛學員的駕駛狀態。既可以利用BCI技術監測駕駛學員的駕駛心理狀態，虛擬駕駛系統又可以向BCI反饋學員駕駛動態，當出現突發性危險事件超出學員處理能力時，系統會進行自動干預解決。通過實驗驗證了系統的可用性，同時在保證駕駛任務正確性與信息傳輸率的基礎上測定了每個被試者專注力最佳閾值，使用者可以在使用的過程中調整自己的心理狀態，提高應變能力，從而達到心理教學以及糾正的目的。

最后實驗表明，基于腦電波控制的VR教學系統特有的沉浸感和實時交互性使得受試者在逼真的汽車駕駛教學環境中更容易激發腦電信號，專注力可以達到較高水平，預期可提高受試者的心理調節能力和應變能力，達到對受試者進行心理教學以及糾正的目的。在今后的研究中，將繼續完善VR駕駛反饋的逼真度、沉浸度，以及反饋的直觀與多樣性。同時提高BCI與VR駕駛系統的協同工作效率與可用性。

[1] WOLPAW J R, MCFARLAND D J, VAUGHAN T M. Brain-computer interface research at the Wadsworth center[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 222-226.

[2] WEEVERS I, KUIPERS J, ZWIERS J, et al. The virtual driving instructor: a multi-agent based system for driving instruction[EB/OL]. [2020-03-23]. https://www. researchgate.net/publication/316498340_The_Virtual_Driving_Instructor_A_Multi-Agent_Based_System_for_Driving_Instruction.

[3] ZANDER T O, ANDREESSEN L M, ANGELA B, et al. Evaluation of a dry EEG system for application of passive brain-computer interfaces in autonomous driving[J]. Frontiers in Human Neuroscience, 2017, 11: 78.

[4] MELANIE K, EDMUND W, STEPHAN G, et al. Proactive vs. reactive car driving: EEG evidence for different driving strategies of older drivers[EB/OL]. [2020-03-23]. https://www.researchgate.net/publication/ 322621338_Proactive_vs_reactive_car_driving_EEG_evidence_for_different_driving_strategies_of_older_drivers.

[5] 趙啟斌. EEG時空特征分析及其在BCI中的應用[D]. 上海: 上海交通大學, 2008.

[6] PAN X, ZHANG Z J, QU J, et al. Enjoy driving from thought in a virtual city[C]//2017 36th Chinese Control Conference (CCC). New York: IEEE Press, 2017: 11034-11040.

[7] 楊幫華, 劉麗, 陸文宇, 等. 基于虛擬現實技術的腦機交互反饋系統設計[J]. 北京生物醫學工程, 2011, 30(4): 401-404.

[8] 周鵬. 基于運動想象的腦機接口的研究[D]. 天津: 天津大學, 2007.

[9] 劉海龍, 王玨, 鄭崇勛. 基于腦電信號的意識信息提取與表達: 腦-機接口[J]. 中國康復理論與實踐, 2005, 11(3): 180-181.

[10] ROGERS J M, JOHNSTONE S J, AMINOV A, et al. Test-retest reliability of a single-channel, wireless EEG system[J]. International Journal of Psychophysiology, 2016, 106: 87-96.

[11] 趙春輝. 基于腦機接口的虛擬人控制研究及應用[D]. 廣州: 華南理工大學, 2017.

Design of virtual reality simulated driving teaching system based on BCI

TENG Jian, HUANG Jia-hui, GONG Kai

(College of Mechanical and Electrical Engineering, Lingnan Normal University, Zhanjing Guangdong 524048, China)

In the traditional simulated driving, the training of normal scenes has received too much attention, the monitoring and assistance of the trainees’ psychological state in the accident scenes has been overlooked, and the driving psychological state has obtained no feedback and evaluation. In order to solve these problems, based on brain-computer interaction (BCI) and virtual reality (VR), a virtual reality simulated driving teaching demonstration system was developed. The simulated driving operating system was developed by using three-dimensional dynamics engine. And the wearable electroencephalogram (EEG) signal detection helmet was designed on hardware. The monitoring and data evaluation of the trainees’ brain state during simulated driving was realized based on BCI technology. When a sudden simulated event occurs, the system will automatically brake or assist driving through brain-computer interface technology. After completing the simulated driving training, emergency rescue measures can be given according to EEG feedback in the accident. In addition the students’ performance and psychological quality can be assessed based on EEG. The method proposed in this article provides a richer and more immersive interactive operation mode for the teaching and training with higher cognitive load, such as virtual driving, and improves the practicality and usability of the teaching and training system in this field.

brain-computer interaction; virtual reality; teaching demonstration; driving simulation

TP 391

10.11996/JG.j.2095-302X.2020020217

A

2095-302X(2020)02-0217-07

2019-10-10；

2019-11-17

廣東省普通高校青年創新人才類項目(2017WQNCX097)；嶺南師范學院校級項目(L1821)

滕 健(1986-)，男，黑龍江牡丹江人，實驗師，碩士。主要研究方向為交互設計、虛擬現實、工業設計。 E-mail：tengjian_id@lingnan.edu.cn

黃佳慧(1989-)，女，湖南永州人，碩士。主要研究方向為增強現實。E-mail：huangjiahui@lingnan.edu.cn