基于SSVEP的嵌入式中文輸入系統(tǒng)

王忠民，劉攀巖

(1.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710121；2.西安郵電大學(xué) 陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；3.西安郵電大學(xué) 西安市大數(shù)據(jù)與智能計(jì)算重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121)

殘障人士在生活中無法通過腦神經(jīng)活動控制肌肉運(yùn)動與外界環(huán)境正常互動[1-2]，通過人工構(gòu)建一條不依賴于人體大腦外圍神經(jīng)系統(tǒng)和肌肉組織的控制通路，即利用腦機(jī)接口[3-4](Brain Computer Interface,BCI)技術(shù)可幫助他們表達(dá)意圖。其中，基于穩(wěn)態(tài)視覺誘發(fā)電位的(Steady-State Visual Evoked Potential,SSVEP)腦機(jī)接口因其系統(tǒng)設(shè)計(jì)簡單、使用難度低和較高的信息傳輸速率(Information Translate Rate,ITR)受到了廣泛的研究[5]。在硬件設(shè)計(jì)方面，視覺字符輸入系統(tǒng)[6]采用濾波器組典型相關(guān)分析算法(Filter Bank Canonical Correlation Analysis，F(xiàn)BCCA)，使用濕電極腦電帽，可識別40個刺激目標(biāo)，信息傳輸速率為267 bits/min，但濕電極腦電帽佩戴舒適性差、調(diào)試過程繁瑣[7]。在軟件設(shè)計(jì)方面，采用成熟框架開發(fā)多樣的實(shí)驗(yàn)范式必須部署在個人計(jì)算機(jī)(Personal Computer，PC)平臺，其對實(shí)時運(yùn)算、功耗要求較高，實(shí)際應(yīng)用有一定困難。采用增強(qiáng)現(xiàn)實(shí)技術(shù)的SSVEP-BCI系統(tǒng)[8]，將PC平臺與濕電極腦電帽組成系統(tǒng)，通過8個SSVEP閃爍刺激控制機(jī)械臂運(yùn)動，但是8個刺激目標(biāo)的識別數(shù)量過少， 無法實(shí)現(xiàn)漢字輸入等復(fù)雜操作?；谇度胧降腟SVEP-BCI輪椅系統(tǒng)[9]，通過硬件設(shè)計(jì)液晶顯示屏(Liquid Crystal Display，LCD)，將其作為刺激器可識別8個SSVEP閃爍刺激，但新的硬件設(shè)計(jì)提高了系統(tǒng)運(yùn)行功耗，需要通過輪椅搭載更大的蓄電池，在漢字輸入系統(tǒng)中無法實(shí)現(xiàn)?；赑300的便攜式中文輸入系統(tǒng)[10]采用嵌入式OpenBCI套件，通過五筆輸入法輸入單個漢字的時長約為85 s，短語輸入速率平均每分鐘1.9個漢字，輸入速率還有待提高。

針對上述問題，擬設(shè)計(jì)一種基于SSVEP的嵌入式中文輸入系統(tǒng)。通過搭建嵌入式系統(tǒng)架構(gòu)，滿足功耗和計(jì)算資源的需求。采用便攜式干電極腦電帽[11]，在追求便攜性的同時，利用典型相關(guān)性分析算法進(jìn)行特征提取，并使用多級刺激-意圖映射改進(jìn)實(shí)驗(yàn)范式，以期滿足殘障人士較長時間的中文溝通交流需求。

1 系統(tǒng)總體架構(gòu)

基于SSVEP的嵌入式中文輸入系統(tǒng)主要由視覺刺激與信號采集模塊、信號處理模塊和人機(jī)交互模塊組成，總體架構(gòu)示意圖如圖1所示。

圖1 系統(tǒng)總體架構(gòu)示意圖

1)視覺刺激與信號采集模塊。產(chǎn)生SSVEP信號的前提，是顯示準(zhǔn)確的頻率閃爍刺激。利用軟件方法控制屏幕上若干刺激分別以不同頻率穩(wěn)定閃爍，使用者通過注視各刺激，在大腦枕區(qū)產(chǎn)生與刺激閃爍頻率相同的SSVEP信號，該信號可通過干電極腦電帽的P3、P4、O1和O2電極采集[12]。

2)信號處理模塊。主要分為特征提取和按鍵識別兩個部分。在特征提取部分，首先通過滑動窗口截取有效數(shù)據(jù)，并對數(shù)據(jù)濾波，完成預(yù)處理操作[12]。隨后通過典型相關(guān)性分析[5](Canonical Correlation Analysis,CCA)算法得到腦電信號的頻率特征，實(shí)現(xiàn)按鍵識別。

3)人機(jī)交互模塊。采用T9鍵盤布局，利用多級刺激-意圖映射方法，將中文輸入劃分為拼音輸入、選音和選字等3個階段，以較少的刺激頻率覆蓋完整中文輸入流程。

2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 視覺刺激設(shè)計(jì)

視覺刺激通常采用控制色塊閃爍的方法，以類似開關(guān)的方式對每一幀的各刺激進(jìn)行開關(guān)操作。將PC作為系統(tǒng)的顯示控制平臺，在Matlab環(huán)境下的Psychtoolbox工具包[13]和Python環(huán)境下的PsychoPy框架[14]下，實(shí)現(xiàn)逐幀控制顯示，產(chǎn)生精確的刺激頻率，其每幀間隔時間為1 000/60≈16.67 ms。然而，在嵌入式平臺，受限于處理能力和運(yùn)行環(huán)境限制，無法實(shí)現(xiàn)逐幀操作，可通過Qt框架[9]下的PreciseTimer類產(chǎn)生精度為1 ms定時器，實(shí)現(xiàn)17 ms的節(jié)拍，間接實(shí)現(xiàn)逐幀操作。以15 Hz刺激為例，17 ms為最小操作周期，60/15=4幀為刺激色塊的顯示時長。對于8 Hz刺激，7.5幀顯示時長為理論計(jì)算值，實(shí)際運(yùn)行中，刺激色塊顯示的準(zhǔn)確時間可四舍五入求得。視覺刺激設(shè)計(jì)示例如圖2所示。

圖2 視覺刺激設(shè)計(jì)示例

以17 ms周期代替16.67 ms周期，相當(dāng)于延長了刺激顯示的時間，降低了實(shí)際閃爍頻率。不同刺激頻率誘發(fā)的SSVEP響應(yīng)頻譜如圖3所示。該誤差可在隨后的按鍵識別中，通過匹配包含誤差的實(shí)際閃爍頻率消除。

圖3 不同刺激頻率誘發(fā)的SSVEP響應(yīng)頻譜

2.2 基于典型相關(guān)分析的按鍵識別

2.2.1 滑動窗口

考慮到用戶根據(jù)個人意圖輸入指令進(jìn)行實(shí)時控制時，存在用戶使用難度、難以適應(yīng)操作流程等問題，系統(tǒng)將采用異步控制[16]策略。用戶并非一直處于輸入狀態(tài)，可能暫時將視線離開顯示器，此時計(jì)算得到的目標(biāo)刺激頻率并不能真實(shí)反映用戶意愿。因此，采用滑動窗口與CCA算法結(jié)合，讓用戶在滑動窗口時間內(nèi)完成輸入操作，以增加信號質(zhì)量，提高準(zhǔn)確率。并對相關(guān)性系數(shù)設(shè)置合適的閾值，僅對超過閾值的結(jié)果進(jìn)行頻率識別，減少用戶未能充分利用滑動窗口所產(chǎn)生的誤差。

2.2.2 CCA頻率識別

CCA是一種多元統(tǒng)計(jì)分析算法，可用于提取相關(guān)性最大數(shù)據(jù)的線性組合，在SSVEP范式下的頻率分析中應(yīng)用廣泛[15]。利用CCA算法可以解決腦電信號的頻率識別問題。將腦電數(shù)據(jù)中P3、P4、O1和O2等4個通道的腦電圖(Electroencephalograph,EEG)信號c1、c2、c3和c4作為一組變量，定義為X。由激勵頻率的正弦波組成參考信號，定義為Y，刺激頻率為f1～f15，Y中各信號長度與X相同，每個通道包含長度為ts的數(shù)據(jù)。使用CCA計(jì)算其相關(guān)性，表達(dá)式分別為

(1)

式中：Cxy為X和Y之間的互協(xié)方差矩陣；Cxx和Cyy分別為X和Y的協(xié)方差矩陣。

將多通道腦電的時域信號X和標(biāo)準(zhǔn)正弦信號Y輸入CCA，ρ的最大值可用于頻率識別，則CCA算法的完整描述為

(2)

式中，ρ,λx,λy>0,λxλy=1。

式(2)可改寫為

(3)

識別頻率fr通過ρmax得到，ρmax可表示為

ρmax=max(ρ1,ρ2,…,ρ15)

(4)

式中，ρ1～ρ15分別為SSVEP信號與各刺激頻率f1～f15的相關(guān)性系數(shù)。最大值ρmax對應(yīng)識別頻率fr，即ts時SSVEP信號的對應(yīng)頻率。

2.3 多級刺激-意圖映射

受限于嵌入式平臺的處理能力與尺寸限制，難以采用全鍵盤輸入布局，其原因?yàn)椋?)如為每一按鍵分配一個刺激頻率，則頻率資源緊張且分配粒度過低，顯示難度大，同時對分類算法也提出了較高要求，不適合嵌入式平臺。2)顯示器尺寸為追求便攜性無法提高，如顯示所有按鍵，則每個按鍵尺寸過小、密度過高，相互之間干擾較大，不利于提高分類準(zhǔn)確率。3)采用輪詢方法增加了使用流程，非傳統(tǒng)輸入步驟也增加了使用者的學(xué)習(xí)難度和適應(yīng)時間。

完整的輸入操作需要經(jīng)歷輸入拼音碼、選音和選字等3個階段。每一階段相互獨(dú)立，從而可將有限的頻率資源集中一個階段內(nèi)，僅需添加返回上一階段或進(jìn)入下一階段的入口。以15個刺激頻率為例，多級漢字輸入過程示意圖如圖4所示。在圖4(a)拼音輸入階段，1號區(qū)域?yàn)閯h除鍵，用來撤銷所有錯誤，該區(qū)域持續(xù)閃爍。2號區(qū)域?yàn)槠匆糨斎雲(yún)^(qū)，此時為該區(qū)域的9個按鍵各分配一個閃爍頻率。3號區(qū)域?yàn)槠匆魸h字選擇區(qū)，此時以同一頻率閃爍，作用為進(jìn)入下一階段。5號區(qū)域?yàn)楣δ苄詤^(qū)域，為便捷短語、數(shù)字鍵盤開關(guān)、空格鍵和中英文切換鍵各分配一個頻率。在圖4(b)選音、選字階段，5號和6號區(qū)域停止閃爍，2號選字區(qū)和3號選音區(qū)的每個按鍵會以不同頻率閃爍，4號區(qū)域的左右箭頭實(shí)現(xiàn)選字區(qū)翻頁功能。當(dāng)完成輸入后，會在圖4(c)中箭頭所指文本框顯示輸入內(nèi)容，并重復(fù)圖4(a)中各按鍵閃爍狀態(tài)。

圖4 多級漢字輸入過程示意圖

通過多級分配調(diào)度，實(shí)現(xiàn)了中、英、數(shù)字和短語輸入功能。此外，通過優(yōu)化頻率分配，給候選音框和候選字框賦予識別準(zhǔn)確率較高的頻率，可進(jìn)一步提高系統(tǒng)效率。

2.4 系統(tǒng)實(shí)現(xiàn)

系統(tǒng)采用Jetson Nano主控芯片[17]、DSI-24干電極腦電帽[11]和5.5吋LCD屏幕，連接與運(yùn)行情況如圖5所示。圖5中1為通用串行總線(Universal Serial Bus，USB)供電線，為開發(fā)板提供5 W低功耗工作模式所需電能。2為高清多媒體接口(High Definition Multimedia Interface， HDMI)線纜，傳輸顯示信號。3為直流供電線，為開發(fā)板提供20 W標(biāo)準(zhǔn)工作模式所需電能。4為無線網(wǎng)卡天線，網(wǎng)卡芯片位于開發(fā)板底部，提供無線網(wǎng)絡(luò)和藍(lán)牙連接支持。5為散熱風(fēng)扇，微控制單元位于風(fēng)扇下方。

圖5 系統(tǒng)連接與運(yùn)行

3 系統(tǒng)功能驗(yàn)證及分析

3.1 視覺刺激質(zhì)量驗(yàn)證

穩(wěn)定產(chǎn)生準(zhǔn)確可靠的視覺刺激是誘發(fā)高質(zhì)量SSVEP的先決條件，因此需要首先測試視覺刺激的質(zhì)量。采集相同時長的9 Hz刺激頻率，在嵌入式平臺的低功耗模式、標(biāo)準(zhǔn)模式和PC平臺下誘發(fā)SSVEP信號的信噪比對比如圖6所示。

圖6 不同模式下9 Hz SSVEP信號的信噪比

由圖6中可見，峰值對應(yīng)頻率均位于9 Hz附近，偏差的產(chǎn)生是由定時器精度偏差所導(dǎo)致，可通過調(diào)整分類目標(biāo)頻率解決漂移問題，不影響分類準(zhǔn)確率。此外，同一刺激頻率下，由于各模式處理能力差異，PC平臺峰值高于嵌入式平臺標(biāo)準(zhǔn)模式，低功耗模式最低，但不影響分類準(zhǔn)確率。該系統(tǒng)的視覺刺激準(zhǔn)確可靠，可以準(zhǔn)確誘發(fā)SSVEP信號。

3.2 系統(tǒng)功耗驗(yàn)證

系統(tǒng)的嵌入式平臺在各工作模式下BCI架構(gòu)性能消耗情況如圖7所示，灰色區(qū)域?yàn)橄到y(tǒng)運(yùn)行時間。

圖7 各工作模式下BCI架構(gòu)性能消耗

由圖7可以看出，在5 w低功耗模式下CPU占有率略高于標(biāo)準(zhǔn)模式，最高不超過35%，平均為21.43%。標(biāo)準(zhǔn)模式下CPU占有率最高不超過30%，平均為17.63%。通過降低CPU占有率，有效控制能耗，延長了工作時間和壽命。在集成于LCD顯示屏下方的8 000 mAh鋰電池供電下，經(jīng)測試標(biāo)準(zhǔn)模式可連續(xù)工作3小時，低功耗模式可連續(xù)工作超過8小時。

3.3 漢字輸入測試

選取年齡介于23～28歲之間的3名男性和3名女性作為測試者，在暗光且安靜的實(shí)驗(yàn)室模擬殘障人士使用場景與習(xí)慣，使用5.5英寸LED屏幕顯示刺激畫面，6名測試者眼睛距離屏幕約25 cm。

輸入預(yù)先準(zhǔn)備的符合殘障人士使用習(xí)慣的短句，標(biāo)準(zhǔn)模式下單次操作識別時間設(shè)置為5 s，低功耗模式下識別時間設(shè)置為10 s。嵌入式平臺工作在標(biāo)準(zhǔn)模式和低功耗模式下實(shí)驗(yàn)結(jié)果分別如表1和表2所示。

表1 標(biāo)準(zhǔn)模式實(shí)驗(yàn)結(jié)果

表2 低功耗模式實(shí)驗(yàn)結(jié)果

由表1和表2結(jié)果可以看出，輸入預(yù)先設(shè)計(jì)的符合殘疾人使用習(xí)慣的復(fù)雜句式，在標(biāo)準(zhǔn)模式下，輸入速率最快達(dá)到每分鐘3.11個漢字，平均速率為每分鐘2.3個漢字，即平均輸入每個漢字耗時約26 s，與基于P300的便攜式中文輸入系統(tǒng)[10]短語輸入速率平均每分鐘1.9個漢字短語相比，輸入速率提高了約21%。雖然在低功耗模式下，輸入速率低于標(biāo)準(zhǔn)模式，但連續(xù)工作時長延長，滿足殘障人士較長時間的中文溝通交流需求。

4 結(jié)語

基于SSVEP的嵌入式漢字輸入系統(tǒng)將腦機(jī)接口技術(shù)與嵌入式技術(shù)相結(jié)合，采用便攜式干電極腦電帽采集SSVEP信號，通過藍(lán)牙無線傳輸至嵌入式主控模塊對數(shù)據(jù)進(jìn)行分析處理，經(jīng)過截取、濾波操作后，采用CCA算法提取特征，進(jìn)而判斷使用者意圖，控制人機(jī)交互鍵盤實(shí)現(xiàn)字符輸入。測試結(jié)果表明，該系統(tǒng)產(chǎn)生的視覺刺激準(zhǔn)確可靠，可以準(zhǔn)確誘發(fā)SSVEP信號，在標(biāo)準(zhǔn)模式和低功耗模式均可使用，且低功耗模式最長可使用約8小時，輸入速率也有所提高，滿足殘障人士較長時間的中文溝通交流需求。