基于三維視覺指導的運動想象訓練性能分析

胡 敏，李 沖，路榮榮，黃宏程

(重慶郵電大學 通信與信息工程學院，重慶 400065)

0 引言

近些年，腦機接口(Brain-Computer Interface, BCI)利用其不依賴于常規大腦信息輸出通路的特點，直接實現人腦對電子設備進行信息交流和控制的特點，已被用于康復醫療、交互控制、虛擬現實(Virtual Reality, VR)等領域[1-2]。

運動想象(Motor Imagery, MI)是BCI中一種常見類型，是指用戶自主地想象做特定動作，且不引發肢體、肌肉的運動。當人們在想象肢體運動(如想象左手或右手運動等)時，在大腦的感覺運動皮層會產生事件相關去同步(Event-Related Desynchronization, ERD)或事件相關同步(Event-Related Synchronization, ERS)的節律性腦電(ElectroEncephaloGram, EEG)變化，這種EEG節律性變化可以被應用在BCI系統中。對于基于運動想象的腦機接口，其使用之前需要通過實驗設計方式對用戶進行訓練，且性能較大程度取決于訓練樣本的質量或者主體參與度[3]。因此，如何設計合理的實驗設計以提高訓練性能，是關乎運動想象腦機接口成功的關鍵。

運動想象的實驗設計一般包括準備、提示、運動想象以及反饋等階段。研究發現在引入一定的視覺指導有助于用戶的訓練，提高訓練效率[4]。目前，視覺指導的運動想象訓練的研究主要集中在兩個方面：一是呈現環境方面的研究，比如，文獻[5]發現在三維立體顯示器的環境下，感覺運動皮質上的Alpha(10～12 Hz)波段有著更明顯的ERD現象。相似地，文獻[6]發現虛擬現實環境能夠引發更為明顯的EEG的節律性變化。然而上述研究中，未對運動想象訓練效果作出說明，無法明確這些呈現環境是否有利于訓練。另外，文獻[7]將反饋階段置于虛擬現實環境下，對用戶的想象腳運動的訓練效果有一定提升；但是其對比中內容形式是不同的，忽略了內容形式對訓練效果的影響。二是內容形式方面的研究，比如，研究者廣泛采用Graz-BCI實驗范式[8]，其主要是以箭頭指向為提示。在此基礎上，文獻[9]對比了視頻和箭頭方式的訓練效果，結論表明兩者運動想象訓練性能并未有顯著性差異，但是只是考慮了短時間的訓練效果，缺乏長時間測試時，視頻方式可能帶來優勢分析。文獻[10]對比了動態手與動態立方體的三維視覺，發現動態手引起中央Beta節律(13～30 Hz)變化有著更強的ERD現象。而后，文獻[11]進一步研究發現有交互對象的三維動畫，其在分類準確性表現相對更好。這些研究表明，生動形象且有交互對象的視覺指導內容有利于運動想象的訓練。

從以上研究可以得出，一些視覺指導的呈現環境和內容形式對運動想象訓練效果有著一定積極影響，尤其以虛擬現實為呈現環境或三維動畫為內容形式為代表的視覺指導，但是目前視覺指導的運動想象訓練仍存在以下問題：1)虛擬現實的呈現環境對能否改善運動想象訓練效果，提高分類準確率、延長訓練時間等仍缺乏明確結論。2)當前研究所使用的訓練樣本和測試樣本，一般為相同視覺指導內容下獲取的腦電數據。而在實際BCI應用環境下，用戶所執行運動想象任務可能存在與訓練場景不一致的情況，此時對BCI系統性能是否存在影響，目前也缺乏討論。

針對以上問題，本文設計了三種三維動畫作為左右手運動想象的視覺指導內容，并通過指導被試在傳統顯示環境和虛擬現實環境進行標準實驗和長測實驗。而后，通過對腦電數據的模式分類，研究了：1)標準實驗下傳統顯示環境和虛擬現實環境的分類準確率的差異；2)長測實驗下傳統顯示環境和虛擬現實環境下分類準確率變化的異同；3)測試樣本與訓練樣本來源不同視覺指導內容訓練下腦電數據，其分類準確率較相同視覺指導內容的區別。最后，通過上述的對比與分析，給出視覺指導方式下改善運動想象訓練性能意見，為運動想象腦機接口的訓練和應用提供一定參考。

1 實驗設計

1.1 動畫設計

本文以三維動畫作為視覺指導內容形式，引導被試執行左右手運動想象任務。為了給被試者一種接近真實場景的引導方式，本文利用三維建模軟件3D Max，設計了人的左右胳膊(包含左右手)的三維模型；與此同時，也設計了三維模型盒子、書本以及地球儀，用于手部的交互動畫設計。而后，將設計的模型導入到游戲引擎Unity3d中，利用Unity3d開發組建和C#腳本語言，設計了三種左右手運動的三維動畫，分別是手推盒子、手翻書以及手撥地球儀，如圖1所示。

圖1 手部運動的三維動畫示意圖 Fig. 1 3D-animation of hand movement

1.2 實驗者與實驗設置

實驗招募了5名被試者(年齡：24～27歲，均為右利手，1名女性)。所有被試者都是第一次參加腦電實驗，且并未告知任何的實驗假設。本實驗使用OpenBCI的腦電采集系統以及64通道腦電帽。根據10/20系統，采集電極設置為FC3、FCz、FC4、C5、C3、C1、Cz、C2、C4、C6、CP1、CP2、CP3、CPz和CP4電極點，參考點電極為Fpz，接地電極為右耳乳突處，采樣頻率為250 Hz。在佩戴好腦電帽后，注入導電膏降低電阻，并進行阻抗檢測，確定每個通道阻抗穩定在20 kΩ以下。

在腦電信號采集過程中，被試者坐在手椅子上，雙手自然地放置在桌子上。實驗過程中，被試者被要求根據屏幕上呈現的場景進行運動想象任務，期間應盡量避免頭部和身體的移動，并避免在運動想象期間眨眼。

1.3 實驗范式和實驗方案

實驗范式如圖2所示，一次訓練持續7 s。具體如下：0～2 s三維動畫場景保持靜止；第2～3 s會箭頭指示出執行左手或右手運動想象，第3 s發出提示音，并顯示運動的三維動畫場景，持續4 s；每次實驗間有5 s的間隔。另外，三種視覺指導動畫都設計了左手和右手兩種交互方式，其中左右手模型、箭頭及背景是相同的，而手部的交互對象、左右手的運動方式及其交互對象的反饋是存在差異的。如圖3所示，給出了三種視覺內容下，左手和右手在實驗范式中各個階段的訓練場景。

圖2 實驗范式 Fig. 2 Experimental paradigm

圖3 三種視覺指導內容下左右手運動想象的訓練場景 Fig. 3 Training scenarios of left hand and right hand motor imagery under three visual guidance contents

實驗中視覺指導的呈現環境分為兩種，分別為24寸液晶顯示器(Liquid Crystal Display， LCD)和HTC VIVE頭盔顯示器(Helmet-Mounted Displays, HMD)呈現環境，如圖4所示。具體的實驗方案具體如下：

1)標準實驗。分別在LCD和HMD呈現環境下，分別使用視覺指導場景為手推盒子、手翻書以及手撥地球儀的實驗范式對被試進行200組腦電采集，其中左手和右手視覺指導隨機出現。另外為了避免被試疲勞，每間隔25組休息5 min，每100組之間休息20 min。

2)長測實驗。分別在LCD和HMD呈現方式下，分別使用視覺指導場景為手推盒子、手翻書以及手撥地球儀的實驗范式對被試進行腦電采集，訓練1次，持續15 min，其中左手和右手視覺指導隨機出現。

圖4 兩種視覺指導的呈現環境 Fig. 4 Two rendering environment with visual guidance

2 數據處理

實驗采集的腦電信號，將分為訓練性本和測試性本。對于訓練性本數據，首先經過預處理，這其中包括去噪、濾波等；其次，使用共同空間模式(Common Spatial Pattern, CSP)算法提取運動想象腦電的特征信息，并利用支持向量機(Support Vector Machine, SVM)的方法對特征信息進行訓練，得到分類器。對于測試樣本數據，同樣需要進行預處理和特征提取，然后將提取的特征導入到已經構建好的SVM分類器中進行分類測試。

2.1 預處理

本文首先對原始腦電信號使用共同平均參考方法，降低對噪聲影響。另外，由于左右手運動想象所誘發的最相關為Mu(8～13 Hz)和Beta(13～30 Hz)節律頻段的腦電信號。因此，再利用FIR(Finite Impulse Response)數字帶通濾波器對腦電信號進行濾波，通帶頻率8～30 Hz。為了更好地提取頻域信息，本文將8～30 Hz的腦電數據分解為[8,13.5]、[13.5,19]、[19,24.5]以及[24.5,30]這4個子帶。

2.2 特征提取

腦電信號的特征提取是為了獲取一些表征大腦活動的特征量，是BCI系統中一個關鍵環節。常見的特征提取方法主要有獨立成分分析(Independent Component Analysis， ICA)、自回歸(AutoRegression, AR)模型、希爾伯特黃變換(Hilbert-Huang Transform， HHT)、CSP等，其中CSP作為一種有效的特征提取手段已被廣泛應用。它是通過構造一個空間濾波器，使得兩類信號經過濾波后，一類信號方差最大化，同時另一類方差最小化，達到區分兩類信號的作用[12]。另一方面，實驗所采集的電極點主要是C3、C4及其相鄰的電極點，其能夠為CSP提供較多與ERD/ERS現象有關的導聯通道，且一定程度上減少冗余信息和噪聲；與此同時，預處理的頻帶分解也能夠為CSP提供了一定的頻域信息。因此，本文使用CSP算法對預處理后EEG信號進行特征提取。

對于左右手運動想象的兩類任務，假設X1和X2分別表示執行左手和右手運動想象任務的EEG信號，X1和X2都為N×M維，其中N表示通道數，M表示采集點數。其CSP的具體實現步驟如下。

步驟1 對EEG信號X1和X2作歸一化處理，獲取協方差矩陣C1和C2：

(1)

其中:T表示轉置，trace表示跡。

步驟2 將歸一化的協方差矩陣C1與C2合成空間協方差矩陣C，并進行特征分解：

C=C1+C2=UλUT

(2)

其中：λ為特征值矩陣，U為相對應特征向量矩陣。另外，在此過程中，特征值矩陣λ按照降序排列，對特征向量矩陣U也進行相應的變換。

步驟3 構造白化變換矩陣P，并對C1和C2進行白化變換：

P=λ-1/2UT

(3)

(4)

再對S1和S2進行特征值分解：

(5)

其中:λ1和λ2為特征值矩陣，U1和U2為相對應特征向量矩陣；且可以證明，U1=U2，λ1+λ1=I，其中I為單位矩陣，也即是表明當S1的特征值較大時S2相對較小，反之亦然。

步驟4 從U1(或U2)中選擇前m列和后m列的重新組成矩陣B，構造如下的投影矩陣：

W=BTP

(6)

其中:m為整數，取值范圍為1≤m≤[N/2]。

步驟5 對信號進行空間濾波，提取特征向量。將腦電信號X通過投影矩陣W獲得新的時間序列Z：

Z=WX

(7)

將Z的第j行記為Zj(j=1,2,…,2m)，并定義其方差為vj為EEG信號的特征向量f：

(8)

f=[v1,v2,…,v2m]T

(9)

其中，var(Zj)是計算樣本Zj的方差。

2.3 訓練與測試

SVM是根據統計學習理論提出的一種機器學習方法，其在小樣本、非線性及高維模式識別問題中表現出良好的特性。它通過適當的非線性映射將輸入向量映射到一個高維的特征空間，使得兩類數據總能被一個超平面分割[13]。由于徑向基核函數是一種局部性強的核函數，其可以將一個樣本映射到一個更高維的空間內，在生物醫學信號的處理方面具有良好表現。本文選用徑向基函數構造的SVM分類器，利用5×5交叉驗證的方法確定最優的參數值，實現對兩類運動想象的特征數據進行訓練和測試。

選取左右手運動想象階段3.5～6.5 s時間段的腦電數據進行CSP特征提取。經數據測試發現，m值為4時平均表現最好。對于標準實驗，每個被試用于訓練樣本數為100組，經過CSP后得到100×32的特征矩陣，利用5×5交叉驗證的方法，使用SVM對特征矩陣進行分類訓練，構建SVM分類器。最后，使用訓練得出的CSP和SVM分類器對100個測試樣本進行測試。而對于長測實驗，本文將15 min的測試數據，按照時間順序等分為3份，每份5 min(25組運動想象腦電數據)。利用標準實驗中該場景下被試訓練得到SVM分類器，對3份測試樣本進行測試。

3 實驗結果

3.1 標準實驗下腦電數據的分類結果

在LCD和HMD兩種呈現環境下，五名被試者的標準實驗的左右手運動想象腦電分類情況如表1所示。從實驗結果可以看出：在手推盒子、手翻書、手撥地球儀三種視覺指導內容下，HMD較LCD分類準確率分別高出5.2%、3.4%、6.6%。綜合三種視覺指導內容形式下腦電分類結果，HMD在分類準確率方面要優于LCD；但是，在數據結果中也發現了被試S2在手翻書作為視覺指導內容時，LCD的分類準確率較HMD高出了2%，且整個實驗的分類結果較其他被試偏低。在對S2調查中了解到，其執行運動想象任務的狀態較差。

表1標準實驗下左右手腦電數據的分類準確率對比%

Tab. 1 Classification accuracy comparison of left and right hand EEG data under standard experiment %

被試編號LCD手推盒子手翻書手撥地球儀HMD手推盒子手翻書手撥地球儀S178.073.077.083.076.084.0S267.065.060.070.063.069.0S375.075.073.086.082.079.0S473.080.076.079.084.082.0S579.071.067.080.076.072.0平均74.472.870.679.676.277.2

為了進一步驗證LCD和HMD兩種呈現環境對被試執行想象左右手運動想象任務的影響，本文使用t檢驗的方法比較兩者。將置信率設為95%，結果表明兩者之間存在顯著性差異(F=6.88，p<0.01)。結合上述數據分析，使用視覺指導的方式引導用戶進行運動想象訓練，采用HMD的呈現環境在訓練效果方面要優于LCD。

3.2 長測實驗下腦電數據的分類結果

在LCD和HMD兩種呈現環境下，五名被試的長測實驗的左右手運動想象腦電分類情況如表2所示。可以直觀地看出，三種視覺指導內容形式下進行長測實驗，被試無論在LCD還是HMD下，整體上分類準確率都出現了明顯下降。綜合三種視覺指導內容形式下訓練結果分析，LCD和HMD的呈現環境下，整體上分類準確率分別平均下降了24.53%、23.2%。

表2 長測實驗下左右手腦電數據的分類準確率對比 %Tab. 2 Classification accuracy comparison of left and right hand EEG data under long-time experiment %

同時，為了進一步分析LCD和HMD在長時間訓練中的差異，本文對比了兩種呈現環境下分類準確率變化的情況。由表3可以看出，HMD相比LCD，在[5,10)min較[0,5)min分類準確率下降比例上減緩了6.13%，但在[10,15)min較[5,10)min分類準確率下降比例上增加了4.8%。

另外，由于在HMD和LCD的呈現環境下[10,15)min的訓練階段，被試的左右手運動想象腦電數據的平均分類準確率分別為50.67%和54.67%，而本文討論的為兩分類問題，任意給出的分類結果都有50%的正確率，一定程度上表明了被試在[10,15)min時間段，已經不能較好地執行運動想象任務。為此，本文將重點考慮[0,5)min和[5,10)min兩個時間段中LCD和HMD對分類準確率下降的影響。置信率設為95%，使用t檢驗進行統計分析，統計結果表明兩者之間存在顯著性差異(F=3.525，p<0.01)。通過上述分析，被試長時間進行運動想象訓練，隨著訓練時長增加，兩者的分類準確率都出現明顯下降；但是，在一定時間內，HMD相對于LCD的呈現環境能夠減緩分類準確率的下降。

表3 長測實驗下兩種環境的腦電平均分類準確率 %Tab. 3 Average classification accuracy of EEG in two environments under long-time experiment %

3.3 三種視覺指導內容下腦電數據交叉測試結果

本文針對HMD的呈現環境，對訓練樣本(100組)與測試樣本(100組)為不同視覺指導內容下獲取的左右手運動想象腦電信號的分類情況進行分析。由表4可以看出，在HMD呈現環境下，訓練樣本和測試樣本是否為同一個視覺指導內容形式，對最終分類準確率有著很大的影響，其中相同視覺指導內容的平均分類準確率為77.67%，而不同視覺指導內容的平均分類準確率僅為61.33%。

表4 三種視覺指導內容下腦電數據交叉測試分類準確率 %Tab. 4 Classification accuracy rate comparison of EEG cross-testing under three visual guidance contents %

為了進一步分析，本文對HMD呈現環境下的訓練樣本和測試樣本進行了新的組合，都為手推盒子(50組)+手翻書(50組)+手撥地球儀(50組)，五名被試的測試結果的分類準確率分別為78%、65.33%、76.67%、77.33%、73.33%，平均為74.13%。這種混合三種視覺指導內容的訓練方式，相對于使用訓練樣本和測試樣本一致的單一視覺指導內容的訓練方式，其分類準確率平均下降了3.54%，但是相對于不一致情況提高了12.8%。根據以上分析可以得出，不同視覺指導內容的左右手運動想象訓練，腦電信號特征存在一定差異。

4 討論

4.1 視覺指導的呈現環境對運動想象訓練的影響

在本文實驗中，重點對比了虛擬現實環境和傳統顯示環境在視覺指導中的訓練表現，并利用HMD和LCD去呈現這兩種顯示環境。實驗結果表明，被試在HMD的呈現環境下分類準確率要優于LCD。

在這兩種呈現環境下，本文設計的三種三維動畫都能夠很清晰地表達手部的運動，但是，使用HMD這種設備所呈現出的虛擬現實環境更具有沉浸性和逼真性[14]。在對被試的調查也發現，被試也表示在HMD較LCD來說，其動畫更具有立體感和真實性。相關文獻研究結論也表明，在虛擬現實環境下用戶參與的積極性更高[15]。另外，在肢體障礙、腦卒等患者的康復訓練中，使用虛擬現實的方式進行運動想象訓練，更能夠調節和增強大腦活動的能力，促進運動想象相關的神經激活和神經元變化[16-17]。

此外，長測實驗的結果表明，長時間的訓練一定程度上會導致被試大腦和視覺的疲勞，造成注意力不集中，無法較好地執行運動想象任務，但是，本研究也表明HMD所呈現虛擬現實環境相對于LCD，其能夠減緩分類準確率下降。值得說明一點，使用HMD的顯示方式的可視角度為固定的，本文所使用HTC VIVE設備的可視角度為110°，而LCD的可視角度與其尺寸、用戶和設備的距離等相關。實驗中，由于人的眼睛可視角度最高可達220°，使用HMD較LCD能夠減少其他環境干擾，提高用戶的注意力。在對被試調研中也了解到，在HMD的呈現環境下，實驗時注意力相對更加集中。這可能是HMD較LCD一定程度上延緩了分類準確率下降趨勢的原因所在。

4.2 視覺指導的內容形式對運動想象訓練的影響

實驗設計的三種三維動畫，其手部交互方式互不相同，主要表現在手部運動方式、交互目標、目標對象運動狀態等。實驗結果也發現，在這三種三維動畫的視覺指導下，被試的腦電分類準確率也存在一定差別。已有的研究也表明，肢體運動姿態、交互邏輯、有無目標物、目標物是否靜止等因素，都對運動想象訓練有著一定程度的影響[18]。對于視覺指導的運動想象訓練來說，設計視覺指導內容對被試訓練效果也應因人而異。

在對訓練樣本和測試樣本來源于不同視覺指導內容的研究中，發現較相同視覺指導內容的情況，前者的分類準確率明顯下降。眾所周知，人在運動想象時，會在大腦的感覺運動皮層引發ERD/ERS特征，研究者也正是利用這種特征對運動想象進行研究。本文設計的三種視覺指導內容，在引導被試進行左右手運動想象時，理論上其腦電特征應該是相似的。根據對實驗設計的分析，產生上述現象的原因可能是由于三種視覺指導內容的差異造成，這其中包含兩個方面：1)想象手部運動的差別。雖然三種視覺指導內容都是左右手運動，但是手部具體運動軌跡、交互對象都存在明顯差異，造成了ERD/ERS特征也存在一定區別。2)不同視覺指導下引發了不同視覺刺激。在相關研究中表明，人處在某種外界視覺刺激下，刺激源與大腦之間會建立起來某種神經聯系[19]。也就說，一直在某種視覺指導內容下進行運動想象訓練，被試的腦電特征不僅有運動想象所觸發的ERD/ERS特征，同時也可能具有視覺指導內容引發其他腦電特征。在實驗中，同時使用三種視覺指導作為訓練樣本發現，分別測試三種視覺指導內容下的運動想象EEG數據，結果也看出，與完全相同的視覺指導內容相比，分類準確率有所下降，但是與完全不一致視覺指導內容相比，分類準確率有較大提高。這在一定程度上也反映了上述分析的合理性。

因此，對使用視覺指導的運動想象訓練，建議跟據BCI的應用場景而設計；尤其是對于使用在多個場景、交互對象和邏輯存在一定區別的BCI系統，應盡可能在每種場景下做一定量的訓練，能夠減少由于環境變化、想象邏輯不一致造成的BCI系統性能下降。

5 結語

本文針對三維視覺指導的運動想象訓練中，不同的呈現環境與內容形式對訓練性能可能產生的影響，進行了探討與分析，研究主要是為了提高運動想象的訓練效率以及分類準確率。通過實驗對比分析了HMD和LCD在標準實驗與長測實驗下訓練性能的區別，以及不同視覺指導下分類模型間的差異。分析結果表明，HMD所呈現的虛擬現實環境，能夠提高運動想象腦電分類準確率，延長單次訓練時長，減少整體訓練時間；另一方面，不同視覺指導內容下所構造的分類模型也存在顯著差別，某一分類模型對非同一視覺指導內容的測試樣本進行分類時，分類準確率明顯下降。此外，本文僅從分類準確率角度說明了不同視覺指導內容下分類模型間差異，而對于產生腦電特征差別的原因，以及如何有效識別不同視覺指導內容缺乏進一步分析，后續將針對這一情況繼續研究。

參考文獻(References)

[1] NICOLAS-ALONSO L F, GOMEZ-GIL J. Brain computer interfaces, a review [J]. Sensors, 2012, 12(2): 1211-1279.

[2] 楊立才,李佰敏,李光林,等.腦-機接口技術綜述[J].電子學報,2005,33(7):1234-1241. (YANG L C, LI B M, LI G L, et al. A review of brain-computer interface technology [J]. Acta Electronica Sinica, 2005, 33(7): 1234-1241.)

[3] SCHUSTER C, HILFIKER R, AMFT O, et al. Best practice for motor imagery: a systematic literature review on motor imagery training elements in five different disciplines [J]. BMC Medicine, 2011, 9: 75.

[4] ONO T, KIMURA A, USHIBA J. Daily training with realistic visual feedback improves reproducibility of event-related desynchronisation following hand motor imagery [J]. Clinical Neurophysiology, 2013, 124(9): 1779-1786.

[5] SOLLFRANK T, HART D, GOODSELL R, et al. 3D visualization of movements can amplify motor cortex activation during subsequent motor imagery [J]. Frontiers in Human Neuroscience, 2015, 9(1): 463-470.

[6] VOURVOPOULOS A, BADIA S B I. Motor priming in virtual reality can augment motor-imagery training efficacy in restorative brain-computer interaction: a within-subject analysis [J]. Journal of Neuroengineering and Rehabilitation, 2016, 13: 69.

[7] LEEB R, KEINRATH C, FRIEDMAN D, et al. Walking by thinking: the brainwaves are crucial, not the muscles! [J]. Presence: Teleoperators and Virtual Environments — Special Issue: 8th Annual International Workshop on Presence II, 2006, 15(5): 500-514.

[8] PFURTSCHELLER G, NEUPER C, MüLLER G R, et al. Graz-BCI: state of the art and clinical applications [J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(2): 177-180.

[9] NEUPER C, SCHERER R, WRIESSNEGGER S, et al. Motor imagery and action observation: modulation of sensorimotor brain rhythms during mental control of a brain-computer interface [J]. Clinical Neurophysiology, 2009, 120(2): 239-247.

[10] PFURTSCHELLER G, SCHERER R, LEEB R, et al. Viewing moving objects in virtual reality can change the dynamics of sensorimotor EEG rhythms [J]. Presence: Teleoperators and Virtual Environments, 2007, 16(1): 111-118.

[11] LIANG S, CHOI K S, QIN J, et al. Enhancing training performance for brain-computer interface with object-directed 3D visual guidance [J]. International Journal of Computer Assisted Radiology and Surgery, 2016, 11(11): 2129-2137.

[12] 李明愛,崔燕,楊金福,等.基于HHT和CSSD的多域融合自適應腦電特征提取方法[J].電子學報,2013,41(12):2479-2486. (LI M A, CUI Y, YANG J F, et al. An adaptive multi-domain fusion feature extraction with method HHT and CSSD [J]. Acta Electronica Sinica, 2013, 41(12): 2479-2486.)

[13] 劉沖,趙海濱,李春勝,等.基于CSP與SVM算法的運動想象腦電信號分類[J].東北大學學報(自然科學版),2010,31(8):1098-1101. (LIU C, ZHAO H B, LI C S, et al. CSP/SVM-based EEG classification of imagined hand movements [J]. Journal of Northeastern University (Natural Science), 2010, 31(8): 1098-1101.)

[14] 趙沁平.虛擬現實綜述[J].中國科學:信息科學,2009,39(1):2-46. (ZHAO Q P. A survey on virtual reality [J]. Science China Information Sciences, 2009, 39(1): 2-46)

[15] VOURVOPOULOS A, BERMUDEZ I BADIA S, LIAROKAPIS F. EEG correlates of video game experience and user profile in motor-imagery-based brain-computer interaction [J]. Visual Computer, 2017, 33(4): 533-546.

[16] GRIMM F, NAROS G, GHARABAGHI A. Closed-loop task difficulty adaptation during virtual reality reach-to-grasp training assisted with an exoskeleton for stroke rehabilitation [J]. Frontiers in Neuroscience, 2016, 10: 518.

[17] VOURVOPOULOS A, CARDONA J E M, BADIA S B I. Optimizing motor imagery neurofeedback through the use of multimodal immersive virtual reality and motor priming [C]// ICVR 2015: Proceedings of the 2015 International Conference on Virtual Rehabilitation Proceedings. Piscataway, NJ: IEEE, 2015: 228-234.

[18] MUKAINO M, ONO T, SHINDO K, et al. Efficacy of brain-computer interface-driven neuromuscular electrical stimulation for chronic paresis after stroke [J]. Journal of Rehabilitation Medicine, 2014, 46(4): 378-82.

[19] 黃秉憲.腦的高級功能與神經網絡[M].北京：科學出版社,2000:133-140. (HUANG B X. Advanced Function of Brain and Neural Network [M]. Beijing: Science Press, 2000: 133-140.)

This work is partially supported by the Basic and Frontier Research Project of Chongqing Science & Technology Commission (cstc2014jcyjA40039), the National Innovation Program for College Students (No. 45, Education Department, Ministry of Education).

HUMin, born in 1971, M. S., associate professor. Her research interests include virtual reality, brain-computer interface, communication network system and protocol.

LIChong, born in 1992, M. S. candidate. His research interests include brain-computer interface, virtual reality interaction.

LURongrong, born in 1995. Her research interests include image processing.

HUANGHongcheng, born in 1979, Ph. D., associate professor. His research interests include pattern recognition, data fusion communication.