基于多模式EEG的腦-機接口虛擬鍵鼠系統設計

謝松云，劉暢，吳悠，張娟麗，段緒

(西北工業大學電子信息學院，陜西西安 710072)

基于多模式EEG的腦-機接口虛擬鍵鼠系統設計

謝松云，劉暢，吳悠，張娟麗，段緒

(西北工業大學電子信息學院，陜西西安 710072)

現有的腦-機接口系統大都只基于單模式的腦電特征，系統能實現的功能非常有限，從而制約了腦-機接口系統的應用。采用基于多種模式腦電信號（electroencephalogram，EEG）的腦-機接口技術來實現虛擬鍵鼠系統，使得被試可以利用自身的腦電信號控制鼠標和鍵盤的操作。研究了腦-機接口中常用的3種腦電信號，分別是P300波、alpha波以及穩態視覺誘發電位（steady state visual evoked potential，SSVEP），通過設計實驗成功的誘發出了被試相應的特征腦電信號。利用SSVEP的腦電特征設計6頻率LED閃爍刺激的虛擬鼠標系統，實現控制鼠標光標移動、單擊左鍵和單擊右鍵的任務；利用P300波的腦電特征設計6×6的字符矩陣虛擬鍵盤系統，實現字符輸入的任務；利用被試自主閉眼增強alpha波的腦電特征，實現鼠標和鍵盤應用切換的任務。研究了適宜這3種腦電特征的最佳測量電極組合及模式識別算法，使得對3種腦電信號的識別正確率均達到了85%以上。測試結果顯示，文中設計的基于多模式EEG的腦-機接口虛擬鍵鼠系統能有效地實現鼠標控制以及鍵盤輸入的任務。

腦電信號；腦-機接口；虛擬鍵/鼠系統；機器學習；模式識別

腦-機接口(Brain-Computer Interface，BCI)是一種不依賴于大腦外周神經與肌肉組成的正常輸出通路的腦-機通訊系統，是一種新型的人機交互系統，它在人體與計算機之間建立連接，利用從人腦采集到的腦電信號控制計算機或者其他外部電子設備從而實現人機交互。腦-機接口系統的研究使得大腦與外界直接進行交互成為可能，在醫學、智能控制和軍事等領域都有著廣泛的潛在應用［1］。

隨著現代電子科技的發展，計算機、手機等電子設備已經成為人們的生活和工作中不可缺少的工具，其中電子設備的拼寫器應用研究是腦-機接口系統研究中的一個熱門方向。鼠標和鍵盤是計算機必備的控制配件，現今很多拼寫器和光標控制腦-機接口系統的功能單一，如僅能實現拼寫器或者光標任務，且不能很好地和普通計算機結合，需要開發相應的特殊應用才能供用戶使用，增加了腦-機接口系統的研發成本，限制了腦-機接口應用的推廣。而且，現有的腦-機接口系統大都只基于單模式腦電特征，系統能實現的功能很有限，限制了腦-機接口系統的應用。多模式腦-機接口技術能大大提高現有腦-機接口系統的性能，提供更豐富的控制信號，但同時這也為BCI的研究帶來了新的挑戰，比如多模式腦-機接口系統的刺激范式的設計，多模式腦電信號的特征提取與識別分類等。這些方法的研究成果將促進腦-機接口技術的發展，為BCI走向實用化打下堅實的理論基礎。

P300(也稱為P3b)是能反映高級認知處理過程的一個內源性成分，是事件相關電位中投入研究最多、應用最廣、最引人注目的成分之一，這種信號峰值一般出現在相關事件發生后大約300ms的時刻。它是腦-機接口中經常使用的一種信號，其幅值與相關事件出現概率成反相關。Farwell和Donchin研發出基于P300的腦-機接口P3Speller［2］，利用字符矩陣行列掃描的方式誘發P300電位，通過檢測P300實現字符的輸入，之后又有很多關于改進這個范式的相關研究［3］。穩態視覺誘發電位(SSVEP)，是當被試者注意特定頻率(3.5～75 Hz)閃爍的視覺刺激時，在腦中產生相應的電位響應變化，其振蕩頻率與閃爍基頻一致，有研究利用SSVEP信號設計的拼寫器［4］。alpha波是種自發腦電，通過眼部運動可以增大alpha波幅度或阻斷alpha波。根據這個機理，可以通過檢測alpha波來檢測人的睜眼和閉眼狀態，以實現信息的傳遞，具有典型例子的是通過檢查人在閉眼后alpha波幅度的升高來控制電子開關。由此，本文選取P300波實現用戶字符輸入，選取SSVEP波實現光標控制，并利用alpha波實現字符輸入與光標控制之間的狀態轉換。

根據以上研究背景，本文研究設計了基于多模式EEG的腦-機接口虛擬鍵鼠系統，使腦-機接口系統應用多元化；研究實時腦電特征提取和模式識別方法，提高腦-機接口系統的信息傳輸率、降低系統的差錯率；研究最優測量腦電信號的電極數目，降低系統成本和使用復雜度。結合相關模塊設計，通過實時分析頭皮上采集的腦電數據解碼人的主觀意愿，獲取大腦所發出的命令信息，轉換為外部設備的驅動信號，實現輸入字符，鼠標移動以及單擊左右鍵任務，并使系統能夠很好地與普通計算機應用結合。實驗結果表明，基于本文提出的虛擬鍵鼠系統可以有效的實現被試利用腦電信號完成對鼠標的控制以及完成鍵盤輸入的任務。

1　多種腦電特征提取及識別方法的研究與實現

1.1基于多模式EEG的腦-機接口虛擬鍵鼠系統

設計的總體方案

基于所采用的特征腦電P300波，SSVEP，alpha波的誘發機理和應用需求，設計如下實驗方案進行實驗驗證，總體方案示意流程如圖1所示：

1)設計實驗范式

采用BCI2000編程實現字符掃描界面及FPGA編程實現LED視覺刺激界面。

2)腦電數據采集

采用EGI公司腦電采集放大器采集腦電數據，輸出至BCI2000平臺進行實時腦電數據的接收。

3)腦電信號處理

圖1　基于多種EEG特征的腦-機接口虛擬鍵鼠系統

在BCI2000平臺對源數據進行去噪，特征提取及模式識別以獲取被試者意愿。

4)驅動外設

將獲取的被試者意愿，通過計算機指令轉化為鍵鼠控制指令。

在該實驗范式下，P300波對應虛擬鍵鼠任務，擴展屏幕上的6×6的字符矩陣隨機行列掃描加亮，誘發P300信號，識別出P300信號后即可得出目標字符的行列坐標，確定要輸入的字符，再驅動計算機虛擬摁鍵任務，輸入要輸入的字符。放置在不同位置的6頻率LED的閃爍刺激分別對應鼠標6種任務：光標左上移動、光標左下移動、光標右上移動、光標右下移動、單擊鼠標左鍵、單擊鼠標右鍵。LED閃爍會誘發對應頻率SSVEP腦電波，提取出相關特征識別出此時SSVEP頻率，即可得到被試關注的LED燈，進而得到鼠標任務，驅動計算機虛擬鼠標任務完成相關鼠標動作。被試還可以通過閉眼誘發alpha波增強來實現虛擬鼠標任務和虛擬鍵盤任務之間的切換。

1.2多模式腦電信號的特征提取及識別方法與實現

被試在本文的實驗中將分為訓練階段與測試階段，訓練階段用以研究特征提取方案以及最優化分類器參數，測試階段用以測試整個系統的性能。

1.2.1P300波的特征提取與識別方案

由于P300波是鎖時信號，對相位敏感，故首先將訓練階段的數據信號用1～15 Hz無相移的帶通濾波器濾除其部分噪聲。之后截取刺激出現前0.1 s到刺激呈現后0.7 s的0.8 s的數據作為一個樣本，將該數據放入由黃廣斌在2003年提的出極限學習機(extreme learning machine，ELM)［5］中進行訓練，以得到最優的分類器參數。本實驗中，在訓練階段，每個被試共有300個樣本，其中隨機選取150個樣本作為訓練集，其余150個樣本作為測試集，并經過交叉驗證以保證結果的可靠性。最終數據處理結果表明，當設置極限學習機的網絡隱藏層為2 500個神經元，激活函數為sigmoidal函數時，分類器性能最好，并在選取O1導聯時，達到最高的正確率。如圖2a)所示，將該算法與支持向量機(SVM)以及反向神經網絡(BPNN)相比，正確率最高。

1.2.2alpha波的特征提取與識別方案

由于alpha波是在8～13 Hz的特征腦電信號，故將原始腦電數據經過6～15 Hz的帶通濾波后分割成長度為2 s的數據段，每個被試共有160個數據段樣本，其中80個睜眼狀態樣本，80個閉眼狀態樣本，對每一樣本提取均方差，作為最終的特征，放入SVM分類器中進行分類。正確率如圖2b)所示，在選取O1導聯時，該方法對所有被試的分類正確率都可達到85%以上。

1.2.3SSVEP波的特征提取與識別方案

由于本文實驗設計的LED閃爍刺激的閃爍頻率為18～23 Hz，因此，本文采用10～30 Hz的帶通濾波器濾除信號的部分噪聲。在不同的時間尺度下，采用基于典型相關性分析(CCA)的特征提取方法［7］，將所得的特征用SVM進行分類，不同的電極組合的結果如圖2c)所示。綜上，本文選取CH35 (O1)，CH37(Oz)，CH39(O2)作為測量電極，對P300波，alpha波，SSVEP波進行測量。

圖2　3種特征腦電信號的識別正確率

2　基于多模式EEG的腦-機接口虛擬鍵鼠系統的設計和測試

2.1基于多模式EEG的腦-機接口虛擬鍵鼠系統設計

基于前文對不同腦電特征的誘發實驗設計和信號處理方法的研究，本文設計了一個基于多模式EEG的腦-機接口系統，實現虛擬鍵鼠功能。系統包括腦電采集帽和計算機，由腦電帽采集數據，計算機處理腦電波信號并實現相關虛擬鍵鼠應用。本系統只需要在普通計算機上外接一個擴展屏幕即可實現。擴展屏幕的4個角和上下邊的中間均放置LED燈，燈位置如圖1所示，從左上角順時針順序閃爍頻率依次為20 Hz、18 Hz、22 Hz、23 Hz、19Hz以及21Hz。系統使用過程中，會在擴展屏顯示一個6×6的字符矩陣，作為虛擬鍵盤刺激界面誘發P300信號，如圖1中所示。腦電帽所用電極為O1、Oz、O2這3個電極。將采集到的信號傳輸至計算機，由計算機處理，最后驅動計算機的鍵盤任務和鼠標任務。

計算機上安裝了BCI2000平臺，EGI腦電采集設備通過Netstation采集后傳輸至BCI2000。整個腦-機接口系統由BCI2000平臺控制和實現信號的接收、信號處理和應用驅動。信號處理過程為腦電預處理、腦電特征提取和腦電模式識別。腦電預處理包括信號的降采樣、信號濾波。原始采集的腦電信號采樣率為1 000 Hz，降采樣至200 Hz。再根據要處理的不同特征進行不同的信號濾波。預處理好數據后先通過檢測alpha波識別是否切換任務，確定要提取特征的信號類型是P300還是SSVEP，再根據前文研究的特征提取及模式識別方法識別相關腦電特征。信號處理模塊使用MATLAB語言編寫。后根據信號的不同特征驅動相關任務。P300波對應虛擬鍵鼠任務，擴展屏幕上的6×6的字符矩陣基于row/column(RC)行列掃描范式隨機行列掃描加亮，誘發P300信號，識別出P300信號后即可得出目標字符的行列坐標，確定要輸入的字符，再驅動計算機虛擬摁鍵任務，輸入要輸入的字符。放置在不同位置的6頻率LED的閃爍刺激分別對應鼠標6種任務：光標左上移動、光標左下移動、光標右上移動、光標右下移動、單擊鼠標左鍵、單擊鼠標右鍵。LED閃爍會誘發對應頻率SSVEP腦電波，提取出相關特征識別出此時SSVEP頻率，即可得到被試關注的LED燈，進而得到鼠標任務，驅動計算機虛擬鼠標任務完成相關鼠標動作。被試還可以通過閉眼誘發alpha波增強來實現虛擬鼠標任務和虛擬鍵盤任務之間的切換。

2.2基于多模式EEG的腦-機接口虛擬鍵鼠系統的測試

根據前文的設計，如圖3所示，本文搭建了腦-機接口虛擬鍵鼠系統，并進行了測試。圖中左邊的顯示器為計算機的主顯示器，右邊顯示器為擴展屏幕。右邊顯示器上粘貼有6個LED燈，以不同的頻率閃爍，閃爍燈由屏幕旁邊的一個FPGA開發板控制。屏幕中央顯示基于P300的拼寫器虛擬鍵盤，由BCI2000平臺實現行/列加亮。實驗任務為被試在普通計算機桌面上新建文檔并打開文檔輸入字符。

圖3　腦-機接口虛擬鍵鼠系統測試實驗圖

實驗時給被試佩戴EGI公司的64導聯的腦電帽設備(BCI系統僅用3個導聯信號)，并讓其舒適地坐在電磁屏蔽室里顯示器前面。實驗設備信號采樣率設為1 000 Hz，參考電極為Cz。啟動BCI2000平臺，配置好相關參數后進行腦-機接口虛擬鍵盤系統測試實驗。在實驗過程中，被試成功地完成在桌面上點擊右鍵，移動鼠標，新建一個文本文檔，并通過點擊右鍵選擇“打開”選項卡實現打開文檔，隨后在文檔內輸入字符任務。根據實驗測試驗證，本系統能有效地在普通計算機上完成鼠標和鍵盤任務。

3　結 論

本文利用SSVEP的腦電特征設計了6頻率LED閃爍刺激的虛擬鼠標系統，實現控制鼠標光標移動、單擊左鍵和單擊右鍵的任務；利用P300波的腦電特征設計了6×6的字符矩陣虛擬鍵盤系統，實現字符輸入的任務；利用被試自主閉眼增強alpha波的腦電特征，實現了鼠標和鍵盤應用切換的任務。同時，研究了適宜這3種腦電特征的最佳測量電極組合及模式識別算法，使得對3種腦電信號的識別正確率均達到了85%以上。測試結果顯示，本文設計的基于多模式EEG的腦-機接口虛擬鍵鼠系統能有效地實現鼠標控制以及鍵盤輸入的任務。

［1］ Wang Y，Chen S，Lin C.An EEG-Based Brain-Computer Interface for Dual Task Driving Detection［J］.Neurocomputing， 2014，129：85-93

［2］ Farwell L A，Donchin E.Talking off the Top of Your Head：Toward a Mental Prosthesis Utilizing Event-Related brain Potentials［J］.Electroencephalography and Clinical Neurophysiology，1988，70(6)：510-523

［3］ Marchetti M，Priftis K.Effectiveness of the P3-Speller in Brain-Computer Interfaces for Amyotrophic Lateral Sclerosis Patients：A Systematic Review and Meta-Analysis［J］.Frontiers in Neuroengineering，2014，7：12-14

［4］ Long J，Li Y，Yu T，et al.Target Selection with Hybrid Feature for BCI-Based 2-D Cursor Control［J］.IEEE Transactions on Biomedical Engineering，2012，59(1)：132-140

［5］ Huang G，Zhu Q，Siew C.Extreme Learning Machine：Theory and Applications［J］.Neurocomputing.2006，70(1/2/3)：489-501

［6］ Lin Z，Zhang C，Wu W，et al.Frequency Recognition Based on Canonical Correlation Analysis for SSVEP-Based BCIs［J］. IEEE Trans on Biomedical Engineering，2007，54(62)：1172-1176

A Hybrid BCI(Brain-ComPuter Interface)Based on Multi-Mode EEG for Words TyPing and Mouse Control

Xie Songyun，Liu Chang，Wu You，Zhang Juanli，Duan Xu
(Department of Electronics and Engineering，Northwestern Polytechnical University，Xi′an，710072，China)

The existing BCI systems are mostly based on single EEG(Electroencephalogram)feature；thus，the functions of these systems are very limited.A hybrid BCI system based on multi-mode EEG for words typing and mouse control has been designed in this paper.This paper studies three commonly used EEG features in BCIs， namely，P300，alpha waves and SSVEP.Three experiments are designed using software E-Prime to evoke the features.According to the different evoking experiments and signal processing methods，SSVEP is used to design 6 flashing LED virtual mouse to move the mouse cursor and click left key and right-click，P300 is used to design a virtual keyboard of 6x6 character matrix to input the characters.The switch of the mouse and keyboard application is controlled by the enhancement of the alpha wave through closing the eyes.The real-time processing method of the three EEG features that include data segment，signal preprocessing，feature extraction and pattern recognition has also been studied；this study makes the average accuracies of the recognition of these three EEGs attain more than 85%.Test results and their analysis showed preliminarily that the BCI system designed in this paper can effectively implement the mouse and keyboard input tasks.

back propagation，computer simulation，computer software，control，data acquisition，design，efficiency，feature extraction，field programmable gate arrays(FPGA)，light emitting diodes，MATLAB，matrix algebra，mean square error，neural networks，pattern recognition，real time systems，signal processing，support vector machines；BCI(Brain-Computer Interface)，EEG(electroencephalogram)， virtual keyboard，virtual mouse

TP391.4

A

1000-2758(2016)02-0245-05

2015-10-12基金項目：國家自然科學基金(61273250)、陜西省工業攻關項目(2015GY003)及西北工業大學研究生創業種子基金(Z2015112)資助

謝松云(1968—)，女，西北工業大學教授、博士生導師，主要從事神經信息處理與腦認知及動態目標識別與跟蹤研究。