基于虛擬現(xiàn)實(shí)的腦-機(jī)接口技術(shù)發(fā)展研究

武警工程大學(xué)研究生管理大隊(duì) 陳 思軍事基礎(chǔ)教育學(xué)院 肖 輝

基于虛擬現(xiàn)實(shí)的腦-機(jī)接口技術(shù)發(fā)展研究

武警工程大學(xué)研究生管理大隊(duì) 陳 思
軍事基礎(chǔ)教育學(xué)院 肖 輝

腦-機(jī)接口與虛擬現(xiàn)實(shí)是當(dāng)前研究的熱點(diǎn),將二者的有效結(jié)合,既能更有效地發(fā)揮腦-機(jī)接口的功能,提高被試的腦-機(jī)接口控制效果,又能對(duì)虛擬現(xiàn)實(shí)技術(shù)進(jìn)行改善。本文介紹了基于虛擬現(xiàn)實(shí)的腦-機(jī)接口的研究背景,而后介紹了該系統(tǒng)的基本結(jié)構(gòu),并總結(jié)了當(dāng)前該技術(shù)的發(fā)展現(xiàn)狀,最后提出了未來發(fā)展前景。

腦-機(jī)接口;虛擬現(xiàn)實(shí);基本結(jié)構(gòu);發(fā)展現(xiàn)狀

1 引言

腦-機(jī)接口(BCI)是指大腦與外界設(shè)備在不通過傳統(tǒng)的肌肉組織和神經(jīng)末梢的前提下,實(shí)現(xiàn)直接通信的一種方式。BCI最初的用途主要是集中在康復(fù)醫(yī)學(xué)領(lǐng)域,隨著該技術(shù)的發(fā)展,目前其應(yīng)用范圍愈加廣泛。近年來,隨著多媒體技術(shù)的興起與發(fā)展,出現(xiàn)了一種新型的BCI:基于虛擬現(xiàn)實(shí)的BCI(BCI-VR)。也就是說為被試提供一種身臨其境的虛擬現(xiàn)實(shí)環(huán)境,使之更加投入,進(jìn)入感更強(qiáng),進(jìn)而更好地控制BCI系統(tǒng)。

興起幾十年以來,BCI技術(shù)已經(jīng)取得了顯著的進(jìn)展,其分類精度和傳輸速率進(jìn)步飛速,其應(yīng)用領(lǐng)域也從康復(fù)醫(yī)學(xué)拓展到軍事、通信、儀器、多媒體、娛樂等各個(gè)領(lǐng)域,逐漸走進(jìn)人們的生活中。但是,在商業(yè)開發(fā)的過程中,研究者發(fā)現(xiàn),它存在一個(gè)較為致命的瓶頸問題,也正是由于這個(gè)問題,才使得其實(shí)用性較弱,那就是腦-機(jī)接口的控制表現(xiàn)差異問題。所謂控制表現(xiàn)差異,就是不同的被試對(duì)腦-機(jī)接口具有不同的控制表現(xiàn),即使是相同的被試,在不同的心理和生理狀態(tài)下,也會(huì)有不同的控制表現(xiàn)。有些被試甚至無法實(shí)現(xiàn)對(duì)腦-機(jī)接口的有效控制,這部分被試被稱為腦-機(jī)接口盲。在試圖解決這個(gè)問題的時(shí)候,我們發(fā)現(xiàn),對(duì)被試進(jìn)行反饋,使之適時(shí)調(diào)整自己對(duì)腦-機(jī)接口的控制,進(jìn)而找到控制的最佳狀態(tài),是改善BCI控制表現(xiàn)的有效途徑。而虛擬現(xiàn)實(shí)則是反饋的一個(gè)有效手段。

2 BCI-VR的基本結(jié)構(gòu)

BCI-VR在原有BCI系統(tǒng)的基礎(chǔ)上,增加了VR的部分,分為BCI和VR兩個(gè)部分。

2.1 BCI系統(tǒng)

BCI系統(tǒng)主要是用來采集、記錄、分析和傳輸被試的腦電信號(hào),實(shí)現(xiàn)大腦意愿的,主要由信號(hào)采集、信號(hào)處理和控制器三個(gè)部分組成。在BCI-VR中,將BCI系統(tǒng)看作一個(gè)整體,成為BCI硬件部分。其中的信號(hào)處理方法構(gòu)成該整體的軟件部分。

信號(hào)采集根據(jù)是否植入大腦分為嵌入式和非嵌入式采集設(shè)備。嵌入式的信號(hào)采集需要通過外科手術(shù)植入大腦,具有一定的創(chuàng)傷性,因此,除了一些病患之外,在實(shí)驗(yàn)中,我們采用的是非嵌入式信號(hào)采集設(shè)備,例如電極帽等。

信號(hào)處理部分由信號(hào)預(yù)處理、特征提取和特征分類三部分組成。信號(hào)預(yù)處理的方法以空間濾波和帶通濾波為主,主要是為了去除一些不必要的干擾,為特征提取和特征分類奠定基礎(chǔ)。特征提取的方法有時(shí)域方法、頻域方法和時(shí)頻域方法等,主要是對(duì)腦電信號(hào)中的有用特征進(jìn)行提取。特征分類是對(duì)提取到的信號(hào)特征進(jìn)行分類分析,主要方法有有線性判別分析、貝葉斯-卡爾曼濾波、人工神經(jīng)網(wǎng)絡(luò)等。

控制器是將被試的腦電信號(hào)進(jìn)行分析后傳遞出去,實(shí)現(xiàn)對(duì)外部設(shè)備的控制。

BCI系統(tǒng)在BCI-VR中充當(dāng)?shù)氖荲R系統(tǒng)的輸入設(shè)備。

2.2 VR系統(tǒng)

虛擬現(xiàn)實(shí),是利用計(jì)算機(jī)模擬產(chǎn)生一個(gè)虛擬的空間或環(huán)境,為被試提供視覺、觸覺、聽覺等感官上的模擬,使之產(chǎn)生身臨其境般的體驗(yàn)。BCI-VR中的VR系統(tǒng),能夠?yàn)楸辉囂峁?shí)時(shí)情景的反饋,并處理來自BCI的控制指令。

VR系統(tǒng)由建模、仿真和通信協(xié)議等組成,與BCI系統(tǒng)軟件互相通信,協(xié)同實(shí)現(xiàn)對(duì)外部設(shè)備的控制。若想實(shí)現(xiàn)BCI和VR的有效通信,需要一些行之有效的協(xié)議,例如UDP協(xié)議等[1]。BCI-VR的實(shí)現(xiàn),需要數(shù)學(xué)建模、計(jì)算機(jī)技術(shù)、通信技術(shù)等多領(lǐng)域的合作才能完成。

VR環(huán)境是BCI-VR的反饋部分,與傳統(tǒng)的VR相比,能為被試提供更加積極主動(dòng)、豐富多彩、直觀直接的情境反饋。

3 BCI-VR的發(fā)展現(xiàn)狀及應(yīng)用前景研究

3.1 BCI-VR技術(shù)的發(fā)展現(xiàn)狀

2000年,Bayliss和Ballard等人首次將腦-機(jī)接口技術(shù)與虛擬現(xiàn)實(shí)相結(jié)合,使得被試在虛擬環(huán)境中操作一輛汽車在紅燈前停下,紅燈被設(shè)置為P300電位[2]。2005年,Lalor 等人1使用基于視覺穩(wěn)態(tài)誘發(fā)電位的BCI技術(shù)來控制3D虛擬環(huán)境游戲[3]。2007年, Leeb R等人實(shí)現(xiàn)了在虛擬環(huán)境中用BCI控制輪椅前進(jìn)或者停止[4]。西班牙的Sergi Bermudezi Badia等人設(shè)計(jì)了一款基于腦-機(jī)接口虛擬現(xiàn)實(shí)的神經(jīng)康復(fù)系統(tǒng)[5]。

國(guó)內(nèi)關(guān)于BCI-VR的研究也取得了不錯(cuò)的成績(jī)。2006年,清華大學(xué)馬贇、王毅軍等人設(shè)計(jì)出了一種基于腦-機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)康復(fù)平臺(tái),為病患設(shè)計(jì)出了一個(gè)虛擬的訓(xùn)練平臺(tái)[1]。2014年,天津大學(xué)孔麗文、薛召軍等人發(fā)明了一種基于虛擬現(xiàn)實(shí)的智能眼鏡腦-機(jī)接口技術(shù)[6]。上海交通大學(xué)的趙啟兵等人設(shè)計(jì)了一種異步BCI系統(tǒng),使得被試在虛擬環(huán)境中可以自主地控制車輛行駛。2010年,楊幫華等人設(shè)計(jì)了基于虛擬現(xiàn)實(shí)的腦機(jī)交互反饋系統(tǒng),有效改善了BCI的反饋系統(tǒng)[7]。

3.2 BCI-VR技術(shù)的應(yīng)用前景

隨著社會(huì)各界對(duì)腦-機(jī)接口技術(shù)的關(guān)注日益密切,其發(fā)展必將得到廣泛推進(jìn)。而想要發(fā)展,就要解決瓶頸問題。前文中已經(jīng)提到,腦-機(jī)接口發(fā)展的主要障礙之一就是控制表現(xiàn)差異的問題,而解決控制表現(xiàn)差異或者改善被試控制表現(xiàn)的有效方法之一就是基于虛擬現(xiàn)實(shí)的反饋方法。因此,BCI-VR技術(shù)擁有光明的發(fā)展前景。

一是在多媒體和電子科技領(lǐng)域,BCI-VR已經(jīng)打開了電子科技發(fā)展的另一扇窗,成為廣大電子發(fā)燒友關(guān)注的熱點(diǎn)問題,下一步的發(fā)展將會(huì)集中在基于該技術(shù)的電子產(chǎn)品的普及上。

二是在康復(fù)醫(yī)學(xué)領(lǐng)域,BCI技術(shù)在康復(fù)醫(yī)學(xué)領(lǐng)域的發(fā)展日趨成熟,而BCI-VR為那些大腦思維正常但是有行動(dòng)障礙的病患帶來了福音,將成為病患恢復(fù)四肢運(yùn)動(dòng)功能的有效輔助工具。

三是在軍事領(lǐng)域,科技的發(fā)展,最初很多都是為軍事服務(wù)的。而在以和平與發(fā)展為主題的現(xiàn)代社會(huì),BCI-VR技術(shù)在軍事領(lǐng)域已經(jīng)嶄露頭角,相信不久的將來,會(huì)為人類的和平事業(yè)做出應(yīng)有的貢獻(xiàn)。

4 總結(jié)

本文首先介紹了基于虛擬現(xiàn)實(shí)腦-機(jī)接口的基本結(jié)構(gòu)和功能,而后在前人研究的基礎(chǔ)上,總結(jié)了BCI-VR技術(shù)的發(fā)展現(xiàn)狀,并展望了其發(fā)展前景。BCI技術(shù)的發(fā)展進(jìn)入了全新的階段,在解決其發(fā)展瓶頸的基礎(chǔ)上,BCI-VR技術(shù)必將發(fā)揮更大作用。

[1]馬贇,王毅軍,高小榕,高上凱。基于腦-機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練平臺(tái)[J]。中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào),2007,6(26),373:378.

[2]BAYLISS J D, BALLARD D H, A virtual reality test-bed for braincomputer interface research[J]。IEEE Transactions on Rehabilitation Engineering, 2000,8(2):188-190.

[3]LALOR E C, KELLY S P, FINUCANE C et al。 Steady state VEP-based brain-computer interface control in an immersive 3D gaming environment[J]。 EURASIP journal on applied signal processing。 2005:3156-3164.

[4]LEEB R,FRIEDMAN D, MULLER-PUTZ G R,et al。Selfpaced BCI control of a wheelchair in virtual environments:a case study with a tetraplegic[J]。Computational intelligence and neuroscience,2007.

[5]Sergi Bermudezi Badia,Hani,Samaha。Exploring the Synergies of a Hybrid BCI-VR Neurorehabilitation System[C]。International Conference on Virtual Rehabilitation 2011,2011.

[6]孔麗文,薛召軍,明東,等。一種基于虛擬現(xiàn)實(shí)環(huán)境的智能眼鏡腦-機(jī)接口方法[P]。中國(guó)專利:CN103955269A,2014-07-30.

[7]楊幫華,劉麗,陸文宇,等。虛擬現(xiàn)實(shí)在腦機(jī)交互反饋系統(tǒng)中的應(yīng)用[C]。中國(guó)科協(xié)海峽兩岸青年科學(xué)家學(xué)術(shù)活動(dòng)月"仿真科學(xué)與技術(shù)"研討會(huì),2010.