基于SSVEP的高傳輸速率腦機(jī)撥號(hào)系統(tǒng)

趙 麗，薛仲林，王宣方

(天津市信息傳感與智能控制重點(diǎn)實(shí)驗(yàn)室，天津 300222)

基于SSVEP的高傳輸速率腦機(jī)撥號(hào)系統(tǒng)

趙 麗，薛仲林，王宣方

(天津市信息傳感與智能控制重點(diǎn)實(shí)驗(yàn)室，天津 300222)

隨著科技的發(fā)展，BCI技術(shù)已有長(zhǎng)足進(jìn)步，但是其識(shí)別率和傳輸率低，是阻礙其走出實(shí)驗(yàn)室、走向?qū)嵺`應(yīng)用一個(gè)重要原因。SSVEP即當(dāng)人的眼睛的視網(wǎng)膜受到固定頻率的刺激時(shí)，大腦視覺皮層也會(huì)產(chǎn)生一個(gè)相同頻率的腦電信號(hào)或者是倍數(shù)頻率的信號(hào)。為此，提出了基于CCA算法的快速腦機(jī)撥號(hào)系統(tǒng)。該系統(tǒng)引入用于識(shí)別和分析SSVEP信號(hào)的空間濾波器，同時(shí)將數(shù)據(jù)分析結(jié)果通過Matlab串口直接發(fā)送給下位機(jī)SIM900撥打電話。該系統(tǒng)不僅可以實(shí)現(xiàn)撥打電話功能，而且還可以實(shí)現(xiàn)電話的實(shí)時(shí)接聽，以幫助有運(yùn)動(dòng)障礙的殘障人士，有效保證了殘障人士生活的便利。實(shí)驗(yàn)結(jié)果表明，基于CCA算法所構(gòu)建的快速腦機(jī)撥號(hào)系統(tǒng)能夠提取腦電信號(hào)的特征，實(shí)現(xiàn)準(zhǔn)確的模式分類，其準(zhǔn)確率達(dá)95%，ITR達(dá)到154 bit/min，為腦機(jī)接口系統(tǒng)推向應(yīng)用提供一種新的思路和方法。

典型相關(guān)分析；穩(wěn)態(tài)視覺誘發(fā)電位；傳輸速率；腦機(jī)接口系統(tǒng)

1 概 述

腦-計(jì)算機(jī)接口是大腦與外部設(shè)備直接建立通信，不依賴外周神經(jīng)和肌肉，旨在幫助殘疾人士和癱瘓人士使用的計(jì)算機(jī)和其他技術(shù)設(shè)備[1]。目前應(yīng)用最廣泛的設(shè)備是非侵入性的腦機(jī)接口系統(tǒng)，該系統(tǒng)不但成本低，而且使用安全，所以被應(yīng)用于試驗(yàn)系統(tǒng)和字符輸入系統(tǒng)中。

SSVEP(Steady-State Visual Evoked Potentials)早在1966年被Regan研究發(fā)現(xiàn),即當(dāng)人的眼睛的視網(wǎng)膜受到固定頻率的刺激時(shí)，大腦視覺皮層也會(huì)產(chǎn)生一個(gè)相同頻率的腦電信號(hào)或者是倍數(shù)信號(hào)。閃爍刺激頻率不同，所誘發(fā)的SSVEP的強(qiáng)度也不同。一般刺激頻率在25～50 Hz所誘發(fā)的頻率的振值最強(qiáng)，12～25 Hz所誘發(fā)的頻率的振值次之，5～12 Hz所誘發(fā)的頻率的振值最弱。目前在非植入BCI系統(tǒng)中，主要有3種SSVEP-BCI實(shí)現(xiàn)形式：以頻率為特征，刺激源以不同的頻率的閃爍;以相位為特征，刺激源以同一頻率但相位不同的閃爍;同時(shí)以相位和頻率為特征，刺激源以不同的頻率和相位閃爍。文中采用不同頻率和相位的閃爍[2-5]。

BCI系統(tǒng)的主要指標(biāo)是信息傳輸率(Information Transfer Rate，ITR)，定義為單位時(shí)間發(fā)出的有效比特?cái)?shù)，因此又稱為比特率(bit rate)。它是一個(gè)用來衡量腦機(jī)接口性能的客觀指標(biāo)，與響應(yīng)時(shí)間、命令數(shù)目和識(shí)別的正確率有關(guān)，單位采用bits/s或bits/min。對(duì)于一個(gè)準(zhǔn)確率的M分類問題，信息傳輸率的計(jì)算方法如下所示：

(1)

其中，C表示系統(tǒng)在單位時(shí)間內(nèi)所能做出的決策次數(shù)[6-8]。

ITR取決于三個(gè)因素：目標(biāo)數(shù)量(必須足夠一個(gè)特定的接口任務(wù))、檢測(cè)速度和精度。因?yàn)镾SVEP訓(xùn)練時(shí)間短，ITR傳輸率高，設(shè)計(jì)實(shí)驗(yàn)?zāi)Ｊ胶?jiǎn)單，因此廣泛應(yīng)用于非侵入性的腦機(jī)接口中。

典型相關(guān)算法(Canonical Correlation Analysis，CCA)是利用變量間的相關(guān)關(guān)系反映兩組指標(biāo)之間的整體相關(guān)性的多元統(tǒng)計(jì)分析方法，分別在兩組變量中提取有代表性的兩個(gè)綜合變量X和Y，利用兩個(gè)綜合變量的相關(guān)關(guān)系來反映兩組指標(biāo)之間的整體相關(guān)性。

在傳統(tǒng)的腦機(jī)撥號(hào)中，利用FFT(Fast Fourier Transformation)和PSD(Power Spectral Density)等方法提取腦電特征，這種基于能量值提取特征值的方法，個(gè)體差異性很大，不利于系統(tǒng)推廣。文中從刺激范式直接采用Matlab PTB工具箱編寫刺激界面，能夠減少硬件電路刺激模塊的使用，從而簡(jiǎn)化電路設(shè)計(jì)。引入CCA算法提取特征值，提高了系統(tǒng)的識(shí)別率和精度；引入SIM900撥號(hào)系統(tǒng)，使用USB供電，增加了系統(tǒng)的便攜性。為此，設(shè)計(jì)并實(shí)現(xiàn)了快速腦機(jī)撥號(hào)系統(tǒng)。該系統(tǒng)在功能、速度和精度上均有提高，且體積更小，更便于攜帶。

2 系統(tǒng)構(gòu)建

基于SSVEP的高傳輸速率腦機(jī)撥號(hào)系統(tǒng)包括腦電誘發(fā)、腦電信號(hào)采集、腦電信號(hào)處理、撥號(hào)系統(tǒng)，系統(tǒng)的工作流程為Matlab PTB工具箱編寫穩(wěn)態(tài)的視覺界面，Neuroscan采集腦電數(shù)據(jù)，Matlab分析信號(hào)結(jié)果，傳給下位機(jī)SIM900模塊撥號(hào)，如圖1所示。

2.1腦電信號(hào)誘發(fā)

Psychtoolbox-3(PTB-3)是一組Matlab工具箱，在原來的PTB2基礎(chǔ)上，兼容和擴(kuò)展了C語言，能更好地與OpenGL交互。主要用于心理實(shí)用程序，而文中用于刺激界面的編寫。

在PTB工具箱上設(shè)計(jì)了一個(gè)12目標(biāo)的BCI腦機(jī)撥號(hào)系統(tǒng)。如圖2所示，實(shí)驗(yàn)刺激界面是3×4刺激矩陣，包含12個(gè)字符(10個(gè)數(shù)字，2個(gè)字符)。具體來說，12個(gè)刺激頻率目標(biāo)包括9 Hz、9.5 Hz、10 Hz、10.5 Hz、11 Hz、11.5 Hz、12 Hz、12.5 Hz、13 Hz、13.5 Hz、14 Hz、14.5 Hz。兩個(gè)相鄰頻率之間的相位間隔為0.5π，12個(gè)刺激頻率以不同的頻率同時(shí)閃爍。以電腦的刷新頻率為基準(zhǔn)，實(shí)現(xiàn)數(shù)據(jù)幀不同時(shí)間的閃爍，從而產(chǎn)生視覺誘發(fā)刺激頻率。如圖2所示，Y為確認(rèn)要撥的電話號(hào)碼，C為退格鍵，其他0～9為數(shù)字鍵。

圖1 系統(tǒng)框圖

圖2 撥號(hào)刺激界面

2.2腦電信號(hào)采集

實(shí)驗(yàn)選取了Neuroscan公司生產(chǎn)的128導(dǎo)腦電數(shù)據(jù)采集儀，參考電極為中央?yún)^(qū)的REF、GND等電極。分別采集Pz、PO3、PO4、PO5、PO6、O1、O2、OZ、POZ等9個(gè)導(dǎo)聯(lián)的SSVEP腦電信號(hào)。采樣率為1 000 Hz，電極阻抗值在10 kΩ以下。實(shí)驗(yàn)共有7名在校健康研究生參加(3男4女)，年齡在20～25之間，保持實(shí)驗(yàn)室安靜，受試者坐在一張舒適的椅子上，距屏幕約70 cm。實(shí)驗(yàn)開始時(shí)有兩次數(shù)據(jù)的建模，每人進(jìn)行10組電話號(hào)碼實(shí)驗(yàn)。

3 信號(hào)的處理

3.1信號(hào)預(yù)處理

在實(shí)驗(yàn)信號(hào)處理中，提取9個(gè)通道的SSVEP由刺激產(chǎn)生的信號(hào)。考慮視覺刺激的延遲性，提取0.5 s的數(shù)據(jù)長(zhǎng)度，首先被降采樣到250 Hz，然后用帶通濾波器從7 Hz濾波到70 Hz無限脈沖響應(yīng)(IIR)濾波器。零相正向和反向?yàn)V波在Matlab中使用filtfilt函數(shù)實(shí)現(xiàn)。

3.2CCA提取特征值

典型相關(guān)分析的實(shí)質(zhì)就是在兩組隨機(jī)變量中選取若干個(gè)有代表性的綜合指標(biāo)，用這些指標(biāo)的相關(guān)關(guān)系表示原來兩組變量的相關(guān)關(guān)系。將采集到腦電信號(hào)的N個(gè)樣本和刺激信號(hào)的參考N個(gè)樣本都進(jìn)行線性變化，CCA應(yīng)用于SSVEP頻率分量的腦電信號(hào)(EEG)。該方法的實(shí)質(zhì)是提取穩(wěn)態(tài)視覺誘發(fā)電位腦電圖窄帶頻率分量，提取相關(guān)的頻率特征。

(2)

其中，channel的下標(biāo)表示不同信道的編號(hào)。

(3)

其中，Y為與刺激頻率相關(guān)的參考信號(hào)；N為刺激頻率的諧波個(gè)數(shù)，X中channel的數(shù)量也為N。

CCA為兩組多維變量X和Y尋找一對(duì)向量WX和WY，通過WX和WY來最大化相關(guān)變量x=XTWX和y=YTWY之間的相關(guān)性，如下所示:

(4)

式(4)得出了X和Y之間的相關(guān)系數(shù)ρ的最大值，選取不同的頻率計(jì)算ρ，最大ρ對(duì)應(yīng)的頻率即為SSVEP響應(yīng)頻率。

CCA是用來衡量?jī)山M多維變量之間的潛在相關(guān)性的一種統(tǒng)計(jì)方法，廣泛用于檢測(cè)SSVEP頻率信號(hào)。考慮兩組多維變量x,y，其中x=XTWX，y=YTWY，WX和WY為CCA的權(quán)向量，用于最大限度地衡量X和Y之間的相關(guān)性。

4 打電話實(shí)現(xiàn)

4.1AT指令介紹

SIM900是SIMCom公司推出的緊湊型的雙頻GSM/GPRS模塊，替代原有T35模塊，不僅能實(shí)現(xiàn)撥打電話、實(shí)時(shí)通話、發(fā)短信等功能，還可以實(shí)現(xiàn)GPS全球定位，因?yàn)槠湫詢r(jià)比高，功能穩(wěn)定，功耗小，體積小，方便攜帶，被廣泛應(yīng)用工業(yè)生產(chǎn)。

AT(Attention)指令即PC設(shè)備與終端設(shè)備之間的通信，也可以是終端適配器(Terminal Adapter，TA)或數(shù)據(jù)電路終端設(shè)備(Data Circuit Terminal Equipment，DCTE)和終端設(shè)備(Terminal Equipment，TE)之間建立的數(shù)據(jù)傳輸。AT指令必須以字符AT開始，以回車換行結(jié)束。通過安裝PL2303的串口驅(qū)動(dòng)，實(shí)現(xiàn)在Matlab直接操作串口，設(shè)置波特率，設(shè)置終端為(LF CR)接收和發(fā)送格式[9-11]。

采用SIM900芯片和PL2303相結(jié)合實(shí)現(xiàn)USB數(shù)據(jù)傳輸和供電，拋棄傳統(tǒng)的電源供電，實(shí)現(xiàn)撥號(hào)模塊的可便攜性。在得到Y(jié)信號(hào)輸入時(shí)，將受試者輸入的數(shù)據(jù)通過Matlab串口發(fā)送給SIM900，執(zhí)行打電話命令[12-14]。

SIM900指令如表1所示。

表1 SIM900指令

4.2實(shí)驗(yàn)流程

(1)受試人員通過注視距自己70 cm的電腦顯示器上閃爍的12字符；

(2)屏幕反饋顯示受試人員選中的目標(biāo)字符；

(3)受試人員選定電話號(hào)碼后，選擇Y字符確認(rèn)電話號(hào)；

(4)Matlab將分析的數(shù)據(jù)結(jié)果通過串口發(fā)給下位機(jī)，實(shí)現(xiàn)撥打電話功能。

5 系統(tǒng)實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果

從表2可以看出，CCA算法可以快速提取特征值，實(shí)現(xiàn)更加準(zhǔn)確的分類，系統(tǒng)的準(zhǔn)確率達(dá)95%，ITR平均達(dá)到154 bit/min，最高可達(dá)160 bit/min；從實(shí)現(xiàn)的過程看來，系統(tǒng)對(duì)實(shí)驗(yàn)被試要求不高，個(gè)體差異性較小。受試者不需要提前訓(xùn)練，但是受試者情緒對(duì)實(shí)驗(yàn)有影響。

6 結(jié)束語

在傳統(tǒng)的SSVEP腦機(jī)信號(hào)特征提取的過程中，使用傅里葉變換和功率譜等方法，不僅影響了系統(tǒng)速度、精度和傳輸率，而且還與受試人員的個(gè)體差異有關(guān)。為此，設(shè)計(jì)并實(shí)現(xiàn)了基于SSVEP的高傳輸速率腦機(jī)撥號(hào)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)的確提高了系統(tǒng)的速度、精度和傳輸率，降低了受試人員個(gè)體差異性，為SSVEP信號(hào)的處理提供了新的思路和方法；此外，還能擴(kuò)大BCI人群的使用范圍，更利于SSVEP-BCI系統(tǒng)的推廣。BCI系統(tǒng)在腦科學(xué)、康復(fù)工程、生物醫(yī)學(xué)工程有著廣泛的應(yīng)用前景，但是通信速率低依然是阻礙BCI系統(tǒng)應(yīng)用的主要原因。總體而言，BCI依然處于基礎(chǔ)階段，需要廣大科技工作者更加努力。

[1] Wolpaw J，Birbaumer N，Heetderks W J，et al.Brain-computer interface technology:a review of the first international meeting[J].IEEE Transactions on Rehabilitation Engineering,2000,8(2):164-173.

[2] Chen Xiaogang，Wang Yijun，Nakanishi M，et al.High-speed spelling with a noninvasive brain-computer interface[J].PNAS,2015,112(44):6058-6067.

[3] Poryzala P,Materka A.Cluster analysis of CCA coefficients for robust detection of the asynchronous SSVEPs in brain-computer interfaces[J].Biomedical Signal Processing and Control,2014,10(1):201-208.

[4] Zhang Yu,Zhou Guoxu,Jin Jing,et al.SSVEP recognition using common feature analysis in brain-computer interface[J].Journal of Neuroscience Methods,2015,244:8-15.

[5] Chang M H，Lee J S，Heo J，et al.Eliciting dual-frequency SSVEP using a hybrid SSVEP-P300 BCI[J].Journal of Neuroscience Methods,2016，258：104-113.

[6] 趙 麗，孫 永，郭旭宏，等.基于穩(wěn)態(tài)視覺誘發(fā)電位的手機(jī)撥號(hào)系統(tǒng)研究[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào)，2013，32(2)：253-256.

[7] 鄧志東，李修全，鄭寬浩，等.一種基于SSVEP的仿人機(jī)器人異步腦機(jī)接口控制系統(tǒng)[J].機(jī)器人，2011，33(1)：129-135.

[8] 王行愚，金 晶，張 宇，等.腦控:基于腦-機(jī)接口的人機(jī)融合控制[J].自動(dòng)化學(xué)報(bào)，2013，39(3)：208-221.

[9] 徐光華，張 鋒，謝 俊，等.穩(wěn)態(tài)視覺誘發(fā)電位的腦機(jī)接口范式及其信號(hào)處理方法研究[J].西安交通大學(xué)學(xué)報(bào)，2015，49(6)：1-7.

[10] 霍 濤，賈振堂.基于STM32和SIM900A的無線通信模塊設(shè)計(jì)與實(shí)現(xiàn)[J].電子設(shè)計(jì)工程,2014,22(17):106-110.

[11] 翟 順，王衛(wèi)紅，張 衎，等.基于SIM900A的物聯(lián)網(wǎng)短信報(bào)警系統(tǒng)[J].現(xiàn)代電子技術(shù),2012，35(5)：86-89.

[12] 笪鋮璐，陳志陽，黃麗亞.基于CCA的SSVEP性能研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015，25(5)：52-55.

[13] 薛 飛，楊友良，孟凡偉，等.基于Matlab GUI串口通信的實(shí)時(shí)溫度監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用，2014，34(1):292-296.

[14] 朱向榮，馮喬生，施少捷，等.信捷PLC與計(jì)算機(jī)串口和以太網(wǎng)通信的VC++編程技術(shù)[J].軟件,2015,36(6)：75-82.

AHighITRBCIDialSystemBasedonSSVEP

ZHAO Li，XUE Zhong-lin，WANG Xuan-fang

(Key Laboratory of Information Sensing and Intelligent Control in Tianjin,Tianjin 300222,China)

With the development of science and technology,BCI technology has made great progress,but its recognition rate and transmission rate are low which constrain its application in practice.SSVEP is the phenomenon that when the retina of the human eye is stimulated by a fixed frequency,the visual cortex of the brain produces a signal of the same frequency,or multiples of the frequency.Therefore,a quick brain computer dialing system based on CCA is proposed which is used for spatial filter for identification and analysis of SSVEP signals and sends the results of data analysis through Matlab serial port to the client SIM900 call.It can not only own the function of calling the telephone but also have real-time answering of the telephone so as to help the disabled person with the movement disorder and effectively ensure the convenience of the disabled.The experimental results show that it can extract the characteristics of EEG signal for realization of accurate pattern classification with accuracy rate by 95% and ITR by 154 bit/min,and has provided a new ideas and method to establish brain computer interface system for applications.

canonical correlation analysis;steady-state visual evoked potentials;information transfer rate;brain computer interaction

TP302

A

1673-629X(2017)10-0185-04

2016-11-15

2017-03-03 < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-07-19

國(guó)家自然科學(xué)基金資助項(xiàng)目(61178081)；天津市應(yīng)用基礎(chǔ)與前沿計(jì)劃重點(diǎn)項(xiàng)目(C14JCZDJC36300)

趙 麗(1962-)，女，博士，教授，研究方向?yàn)樯镝t(yī)學(xué)信號(hào)處理、智能信息檢測(cè)等；薛仲林(1990-)，男，碩士研究生，研究方向?yàn)橹悄芸刂婆c信息處理。

http://kns.cnki.net/kcms/detail/61.1450.tp.20170719.1111.060.html

10.3969/j.issn.1673-629X.2017.10.039