面向癱瘓失語者的腦機字符與語音交互系統

余劍雄 文元美

特約論文

面向癱瘓失語者的腦機字符與語音交互系統

余劍雄 文元美

（廣東工業大學信息工程學院，廣東 廣州 510006）

為解決癱瘓失語者語言交流的困難，研究一種基于單通道柔性干電極腦電采集模塊的腦機字符與語音交互系統。首先，將時序腦電信號繪制成二維圖像并著色處理，利用卷積神經網絡識別出含有眨眼特征的圖像；然后，根據含有眨眼特征圖像的連續幀數，實現短眨眼、中眨眼、長眨眼特征的細分；最后，結合腦電信號中解析的注意力特征，在虛擬交互系統輸出字符與語音。實驗結果表明：該系統的交互準確率達96.4%。

腦電信號采集；單通道；眨眼特征；注意力特征；字符與語音交互系統

0 引言

我國因中風或漸凍癥而癱瘓失語的人數多達10余萬。癱瘓失語者意識清醒卻只有眼珠能動，常因為無法表達身體感覺和情緒而得不到合適照料，同時也因無法與人交流而心理受創[1]。為提升癱瘓失語者的生存質量，國內外學者在腦機接口方面展開了一系列研究以幫助患者進行交流。

在多通道腦機接口研究方面：2011年CECOTTI等基于64通道的腦電信號，利用卷積神經網絡（convolutional neural networks, CNN）設計一種檢查P300電位的算法，最高分類準確率達95.5%[2]；2012年HWANG等采用雙通道（Oz, O2）腦電信號設計一款基于穩態視覺誘發電位（steady-state visual evokedpotential, SSVEP）的字符輸入系統，字符輸入速度為9.39字符/min，交互平均準確率達87.58%[3]；2017年韓國高麗大學的研究人員采用30個電極的電極帽，通過穩態觸覺誘發電位實現電動輪椅的控制[4]；2018年DOSE等采用64通道的腦電信號，利用深度學習方法對運動想象進行分類，在左右手二分類任務上取得86.49%的平均準確率[5]；2019年清華大學神經工程團隊基于與枕葉視覺區有關的6個主要腦電通道，將SSVEP技術應用到漸凍癥患者身上，成功完成打字挑戰[6]；2020年馬斯克通過3只小豬和實時神經元現場演示活動，展示多通道侵入式Neuralink腦機接口技術的實際應用過程[7]；同年浙江大學完成國內首例多通道植入式腦機接口臨床轉化研究，患者利用大腦皮層信號精準控制外部機械臂和機械手，實現三維空間運動[8]。

在單通道腦機接口研究方面：2014年馬超使用單通道腦機接口，基于眨眼特征和注意力特征實現智能輪椅運動控制，控制指令最低識別正確率為87%[9]；2017年趙興平基于單通道腦電模塊通過眨眼和注意力特征實現智能輪椅系統控制，控制指令平均識別正確率達82.96%[10]；2018年RAJ等基于單通道腦電模塊實現字符輸入控制，最高字符輸入準確率達82.5%[11]；2019年邱銅基于單通道腦電傳感器，通過提取眨眼和注意力特征設計一種智能病床運動控制器，系統交互平均準確率為92%[12]。

綜上所述，國內外相關研究大多通過采集大腦皮層多個通道或大腦內部神經元的腦電信號，達到精準控制、交互的目的，但該類腦機接口價格昂貴，設備配戴過程繁雜。而侵入式腦機接口需進行高風險和昂貴的腦機接口植入手術，這對于多數癱瘓失語者家庭而言，是一個沉重負擔，在實際生活中無法廣泛應用。

相對而言，柔性干電極的單通道腦機接口雖然準確率和速度不及多通道和侵入式的腦機接口，但腦電信號采集簡單、價格便宜，且不需要進行腦機接口植入手術，具有較好的應用前景。目前，將單通道腦電信號用于智能輪椅、字符輸入系統和智能病床等控制，多利用眨眼與注意力特征，準確率可達80%且逐年提升?；谇笆鰡瓮ǖ滥X機交互系統的研究，本文以圖像形式記錄腦電信號，并將細分的短眨眼、中眨眼、長眨眼3類眨眼特征與注意力特征結合，用于交互系統的輸入控制，以提高交互準確率。

1 系統框架

面向癱瘓失語者的腦機字符與語音交互系統包括腦電信號獲取、圖像繪制與著色處理、眨眼特征提?。–NN）、眨眼特征細分、注意力特征提取和虛擬鍵盤與語音輸出等模塊，系統框架如圖1所示。

圖1　面向癱瘓失語者的腦機字符與語音交互系統框架

1.1 腦電信號獲取

本系統采用單通道腦電采集模塊（think gear asic module, TGAM）進行腦電信號采集。TGAM包括參考電極、接地電極和測量電極3個干式電極，采集頻率為512 Hz。TGAM經過采樣、放大、去噪、量化和信號處理分析后，獲取前額Fp1或Fp2處的腦電信號，并以腦電數據包形式輸出注意力集中度、冥想度、不同頻率波段（δ波、θ波、α波、β波和γ波）能量值以及信號質量值等數據。為減少工頻信號和電磁信號等干擾，TGAM與PC端通過藍牙通信，將腦電數據包發送到PC端并進行特征提取。

1.2 圖像繪制與著色處理

TGAM的輸出數據以圖像形式記錄。將原始的單通道腦電信號繪制成二維圖像，根據腦電信號和接地電極端信號的數量關系進行著色區間分割，并對分割區間進行顏色編碼。經過著色處理后的腦電信號使眨眼特征更為直觀、顯著，易于理解。

記離散的腦電數據Rawdata序列為()，其中=N0,N1, …,N為Rawdata序列對應的采樣時刻點，=0,1, … ,P為采樣序列。同理，記接地電極端信號為() = 0，=N0,N1, … ,N為Rawdata序列對應的采樣時刻點，=0,1, … ,P為采樣序列。()與()是采樣頻率一致的離散信號，且()與()以包絡形式圍成一個二維圖像，因此可根據()與()的大小關系對圖像進行著色處理，以顏色特征表示()與()的大小關系。

具體操作：記某個采樣點為N，(N)對應的像素點為A點，(N)對應的像素點為B點，A，B像素點之間形成的線段記為AB；當(N)(N)時，AB著色為紅色；當(N) ＜(N)時，AB著色為藍色。對每個采樣點重復以上著色處理，最終得到一幅表征()與()大小關系的二維圖像。

1.3 眨眼特征提取

將著色后的二維圖像作為數據集輸入CNN模型來分類眨眼特征，并對分類后的眨眼特征進行標記。本文采用8層CNN，包括2個卷積層、2個池化層、2個全連接層、1個dropout層和1個softmax層。網絡結構如表1所示。

表1　本文采用的CNN結構

本文采用的CNN第一層為卷積層conv1，卷積核大小為3×3，輸出16個224×224的特征圖；第二層為池化層pool1，池化核大小為2×2，輸出16個112×112的特征圖；第三層為卷積層conv2，卷積核大小為3×3，輸出16個112×112的特征圖；第四層為池化層pool2，池化核大小為2×2，輸出16個56×56的特征圖；第五層full1和第六層full2為全連接層，均輸出128個特征值；第七層為概率=0.6的dropout層；第八層為softmax層。卷積層的激活函數采用ReLU函數。

本文權值與偏置的初始值服從均值為0、標準差為0.005的標準正態分布。訓練過程中，每次隨機從樣本中選取90個樣本，共進行100次隨機采樣。初始學習率為0.01，動量為0.09，每采樣10次驗證1次，驗證過程中發現準確率不變或下降時，學習率下降一個數量級繼續訓練，直到學習率下降到0.0001時不再變化。

每50 ms對腦電信號圖像做1次分類識別，形成20幀/s的標記視頻流。借助該視頻流判斷眨眼開始和結束時間，識別出1次完整的眨眼過程。

1.4 眨眼特征細分

在已標記的視頻流中，根據眨眼特征的連續圖像幀數，將眨眼特征細分為短眨眼、中眨眼和長眨眼。

定義一個大小為20的分類結果記錄隊列，每 50 ms將分類結果插入隊列最后。如果隊列已滿，則舍棄隊列頭的記錄，以保證隊列中的記錄都是最新的。用于眨眼特征細分流程的記錄隊列緩沖區如圖2所示。

圖2　記錄隊列緩沖區

1）開始時，對少于20個分類結果的記錄不做處理；

2）當第20個分類結果加入隊列時，統計隊列中的分類結果，記包含眨眼特征的連續圖像幀數為，以“≥ 4”為眨眼有效的判定條件；

3）以此類推，每50 ms將分類結果插入隊列最后，舍棄隊列頭記錄，重復步驟2）的操作，每50 ms進行一次眨眼是否有效的判定。

頻繁多次的短眨眼信號可構成一次中眨眼或長眨眼信號?；谡Ｑ塾行У呐卸l件（“≥ 4”），進一步細分“10 >≥ 4”，“16 >≥ 10”，“≥ 16”分別對應短眨眼、中眨眼、長眨眼3類眨眼特征。因長眨眼較耗時，系統暫時沒有使用，用于以后其他擴展功能。

1.5 注意力特征提取

人腦中腦電信號的頻率為0.5 Hz到幾十赫茲，將頻率由小到大排列，腦電信號可分為δ波、θ波、α波、β波和γ波[13]。當大腦由放松狀態進入注意力集中狀態時，腦電信號中不同頻率波段能量值會做出相應變化。根據這一現象，可從腦電信號中提取注意力特征[14]。

TGAM每秒輸出一個范圍值為0～100的注意力特征[15]（attention）。本文以文獻[10]的注意力特征閾值58作為參考，將注意力高于或低于閾值的2種狀態分別定義為H和L。

對一次有效的注意力控制過程進行判斷：記為注意力狀態連續為H的持續時間，以0（0= 3 s為時間閾值）作為注意力控制是否有效的判斷條件，從注意力狀態由L轉為H時開始計時，直至注意力狀態由H轉為L時結束，同時置0并開始下一次的注意力控制檢測。以圖3所示的注意力變化過程為例，雖然在第2 s時檢測到注意力狀態為H，但在第3 s時注意力狀態由H轉為L，= 1 s視為無效的注意力特征；從第5 s開始注意力狀態由L轉為H持續到第9 s結束，= 5 s，視為有效的注意力特征。

圖3　注意力變化過程示意圖

1.6 虛擬鍵盤與語音輸出模塊

基于眨眼特征和注意力特征，本文設計虛擬鍵盤交互系統，用于癱瘓失語者與外界進行“言語”溝通。該系統包括虛擬鍵盤和語音輸出模塊。其中虛擬鍵盤包含26個英文字母按鍵、10個數字按鍵和1個句號按鍵，共37個按鍵，并根據字符使用頻率，利用哈夫曼編碼對按鍵進行位置布局，如圖4所示。

虛擬鍵盤有按鍵節點和哈夫曼編碼形成的中間節點2種類型。依據節點使用頻率自上而下、自左至右依次排列，使用頻率越高的節點掃描路徑越短。虛擬鍵盤每層第1個節點主要用作11個非英文字符按鍵；每層的第2，3，4個節點分別對26個英文字符進行布局（字符V除外）。

2013年，湖北省水利廳繼續深入貫徹中央和省關于加快水利改革發展的決策部署，強化工作舉措，加快水利發展，各項工作保持又好又快的發展態勢。

圖4　虛擬鍵盤布局

虛擬鍵盤上用光點的閃動表示當前掃描節點，定義當前掃描節點為CurKey。當檢測到短眨眼信號且CurKey節點為按鍵節點時，輸出按鍵字符；否則開始CurKey節點的下一層掃描，以此類推，直至CurKey節點為按鍵節點。為取消因不由自主眨眼引起的誤操作，用中眨眼信號進行中斷并從頭開始掃描過程。

語音輸出模塊實現音量、語速和語音的控制和輸出，實現過程如圖5所示。

圖5　語音輸出模塊實現過程

為實現實時語音輸出，當一句話輸入完成時，用一次有效注意力特征激活語音輸出模塊，文本輸入框當前內容轉換為語音并輸出，音量與語速可事先設定。

2 實驗結果與分析

2.1 實驗準備

實驗PC機CPU為Intel(R) Xeon(R) W-2123，內存容量為16.0 GB，操作系統為window10 64位。

由于腦電信號微弱，因此在采集過程中，參考電極和接地電極采用耳夾形式，分別夾在左、右耳垂位置A1，A2，如圖6(a)所示。測量電極放置于額頭Fp1或Fp2的腦電極采集點，如圖6(b)所示。參考電極、接地電極和測量電極的硬件連接導線不宜過長（視頭部尺寸大小而定，一般為20 cm～30 cm）。

圖6　腦電信號采集

以圖7(a)所示腦電信號為例，其存在幅值范圍為?0.5 mV～+0.5 mV的干擾信號，反復微調各個電極位置，直到腦電信號幅值范圍減小到?0.1 mV～+0.1 mV，如圖7(b)所示。此時，可輕微地眨動眼睛并觀察腦電信號幅值是否發生變化。若眨眼行為使腦電信號發生短時的幅值跳變，則說明腦機接口配戴位置已調至最佳，如圖7(c)所示。

圖7(a)被干擾的腦電信號

圖7(b)正常的腦電信號

(c)　輕微眨眼時的腦電信號

2.2 實驗數據集構建

本文使用的數據集是由實驗室的受試者A，B，C通過TGAM采集。利用.NET平臺的上位機軟件Capture對TGAM采集的數據包進行解析、繪制并著色成224×224的圖像，著色圖像記錄無眨眼和眨眼2類數據。TGAM采集數據的流程如圖8所示。著色前后的有無眨眼特征數據圖像如圖9所示。

圖8　TGAM采集數據流程

圖9　著色前后的有無眨眼特征數據圖像

由圖9可知：攜帶眨眼特征的腦電信號在圖像中呈現尖峰，而不攜帶眨眼特征的腦電信號較為平穩；從著色處理前后來看，著色處理后的圖像眨眼特征顯示更為直觀，如圖9(d)顯示眨眼次數為5。

2.3 基于CNN的眨眼特征分類算法對比分析

本文采用CNN模型訓練和分類眨眼特征。為驗證該模型的有效性，先用數據集90%的樣本進行CNN訓練，并將該模型以model.pb的文件形式保存。數據集剩下的10%樣本用于結果驗證，得到的驗證準確率為98.6%，說明該模型有效可行。

采用已驗證的CNN模型進行受試者眨眼特征識別對比實驗，對照組為文獻[10]提出的基于閾值判斷的眨眼特征提取算法。實驗分別對受試者A，B，C進行有無眨眼的識別測試各150次。

鑒于從TGAM中獲取的原始腦電信號范圍為?2048～2047，而普通人正常情況下眨眼腦電信號的幅值范圍為450～1000，參考文獻[10]設置的閾值為1021，對該閾值分別加減緩沖值100，即921，1021和1121，再與本文算法進行眨眼特征識別準確率對比。準確率計算公式如式(1)所示，結果如表2所示。

表2　眨眼特征識別準確率對照表

由表2可知：對照組文獻[10]閾值為921和1121時，眨眼特征識別平均準確率均為87.8%；而閾值為1021時取得最佳平均準確率為90.4%，文獻[10]也正是選擇1021為閾值。本文提出的眨眼特征提取算法（著色+CNN）平均準確率為97.1%，高出對照組的最佳平均準確率6.7%。

對照組文獻[10]在不同閾值時有無眨眼的實驗中，受試者A，B，C的眨眼特征識別準確率存在較大差異：閾值為1021時受試者A和C眨眼特征識別準確率較高；閾值為921時受試者B的眨眼特征識別準確率較高。這是由于不同受試者存在眨眼強弱的差異，且文獻[10]根據固定的閾值進行眨眼特征識別，致使整體識別準確率不高。

采用本文（著色+CNN）的眨眼特征提取算法時，受試者A，B，C眨眼特征識別準確率分別為97.3%，98.0%和96.0%，不同受試者眨眼特征識別準確率差異較小。本文算法將腦電信號繪制并著色成二維圖像，再利用CNN模型訓練和分類。不同個體眨眼的差異表現在著色圖像中為位移、縮放和其他扭曲等變化，但CNN能較好地處理這類非線性問題，可識別由于個體差異而導致的眨眼特征變化。

2.4 眨眼細分和注意力特征識別實驗

為驗證系統眨眼細分和注意力的特征識別準確率，本文對受試者A，B，C分別進行短眨眼、中眨眼、長眨眼和注意力特征識別測試各50次，實驗結果如表3和表4所示。

表3　眨眼特征細分識別準確率

由表3可知：本文算法對眨眼特征細分的平均準確率達94.67%，解決了文獻[10]眨眼特征類型單一的缺點；短眨眼、中眨眼和長眨眼的最低識別準確率分別為94.0%，92.0%和94.0%，說明眨眼細分算法對不同眨眼類型都有較高的識別準確率。

表4　注意力特征識別準確率

由表4可知：本文算法的注意力特征平均識別準確率比文獻[10]高3.3%，原因是本文加入了完整注意力周期的判斷，減少注意力噪聲影響。

2.5 系統交互實驗結果與分析

腦機字符與語音交互系統實驗流程如圖10所示。為驗證字符輸入速度，按照圖10的實驗流程對受試者A，B，C進行測試，字符輸入速度計算公式為

實驗要求受試者A，B，C通過眨眼完成字符“welcome”的輸入，并通過注意力完成語音輸出任務，測試結果如表5所示。

表5　字符輸入速度 （單位：字符/min）

由表5可知：腦機字符與語音交互系統字符輸入速度約為5字符/min，除不由自主的誤眨眼指令和用來取消誤操作的中眨眼指令外，1 min內共輸入眨眼指令W(4次)+E(2次)+L(4次)+C(4次)+O(3次)=17次，單次眨眼指令約耗時3.5 s。文獻[10]在64 s內共發出22個眨眼選擇控制指令，單次眨眼指令約耗時2.9 s；比本實驗耗時少0.6 s。

為評價腦機字符與語音交互系統算法的準確率，實驗受試者A，B，C以文獻[10]算法控制虛擬鍵盤完成相同的測試任務作為對照組，測試結果如表6所示。

表6　不同算法控制虛擬鍵盤準確率比較

由表6可知：文獻[10]算法控制虛擬鍵盤的平均準確率為85.6%，而本文算法的平均準確率為96.4%，提升了10.8%；原因是本文算法不但眨眼和注意力特征識別準確率優于文獻[10]，而且以短眨眼、中眨眼信號分別輸入字符和中斷有誤輸入。

腦機字符與語音交互系統界面如圖11所示。

圖11　腦機字符與語音交互系統界面

圖11中，Input文本框用于字符輸入；Output用于輸出文本框內容；圖像顯示框實時顯示腦電信號著色圖像；Threshold是注意力特征閾值，可通過滑動條對其進行調整；Attention進度條顯示注意力持續時間；CountDown是按鍵節點掃描倒計時顯示（單位為秒）；右上方的曲線圖實時顯示注意力特征；界面下半部分為虛擬鍵盤以及音量、語速控制。

3 結語

本文基于單通道腦電采集模塊，采用CNN識別腦電信號中的3類眨眼特征，并將眨眼特征與注意力特征結合，設計一款腦機字符與語音交互系統。經準確率和字符輸入速度的多組對照實驗表明：本文提出的采用CNN識別眨眼特征以及細分眨眼特征用于字符輸入控制的方法，較好地提升了系統的交互準確率。未來借助AI SOC芯片的運算能力，可將本文提出的方法用于智能輪椅、智能病床等控制。

[1] 李燕,章瑋.康復性溝通模式對脊髓損傷并癱瘓患者情緒及生活能力的影響[J].現代中西醫結合雜志,2020,29(18):2046- 2049.

[2] CECOTTI H, GRASER A. Convolutional neural networks for P300 detection with application to brain-computer interfaces[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2011, 33(3):433-445.

[3] HWANG H J, LIM J H, JUNG Y J, et al. Development of an SSVEP-based BCI spelling system adopting a QWERTY-style LED keyboard[J]. Journal of Neuroscience Methods, 2012, 208(1):59-65.

[4] KIM K T, LEE S W. Towards an EEG-based intelligent wheelchair driving system with vibro-tactile stimuli[C]// IEEE International Conference on Systems. IEEE, 2017.

[5] DOSE H, MOLLER J S, IVERSEN H K, et al. An end-to-end deep learning approach to MI-EEG signal classification for BCIs[J]. Expert Systems with Applications, 2018, 114(DEC.): 532-542.

[6] 楊晨.面向應用的穩態視覺誘發電位腦—機接口算法及系統研究[D].北京:清華大學,2018.

[7] 烏肖米.馬斯克的“腦機接口”，能徹底根除殘疾嗎？[J].寧波經濟(財經視點),2020(10):31-33.

[8] 吳雅蘭,柯溢能.高位截癱可用“意念”喝可樂打麻將：浙江大學完成國內首例植入式腦機接口臨床轉化研究[J].今日科技,2020(4):40-41.

[9] 馬超.基于單通道腦機接口的嵌入式智能輪椅控制系統研究[D].南寧:廣西大學,2015.

[10] 趙興平.基于單通道腦機接口的智能輪椅控制及人機交互研究[D].哈爾濱:哈爾濱工業大學,2017.

[11] RAJ R, DEB S, BHATTACHARYA P. Brain-computer interfaced single key omni directional pointing and command system: a screen pointing interface for differently-abled person[J]. Procedia Computer Science, 2018, 133:161-168.

[12] 邱銅.基于腦機接口的智能病床運動控制器研究[D].杭州:浙江大學,2019.

[13] Zhang Lu, Lyu Qingsong, Xu Yishen. Single channel brain-computer interface control system based on TGAM module[C]//International Congress on Image & Signal Processing. IEEE, 2018.

[14] Wu Yu, Xie Ning. Attention optimization method for EEG via the TGAM[J]. Computational and Mathematical Methods in Medicine, 2020, 2020:1-11.

[15] Ni Dan,Wang Shuo, Liu Guocheng. The EEG-based attention analysis in multimedia m-learning[J]. Computational and Mathematical Methods in Medicine, 2020, 2020(4):1-10.

Brain-Computer Character and Speech Interaction System for Paralyzed Aphasia

Yu Jianxiong Wen Yuanmei

(School of Information Engineering, Guangdong University of Technology, Guangzhou 510006, China)

To help paralyzed aphasia patients to solve the difficulty of language communication, a new brain-computer interaction system based on single channel flexible electrode EEG acquisition module was studied. Firstly, the sequential EEG signal is drawn into a two-dimensional image and colored. Secondly, the image with blink feature is recognized by CNN. Thirdly, according to the number of consecutive frames of the image with blink feature, the features of short blink, medium blink and long blink are subdivided. Finally, combined with the attention feature of EEG analysis, characters and speech are output in the designed virtual interactive system. The experimental results show that the interactive accuracy of this method is as high as 96.4%.

EEG signal acquisition; single channel; blink feature; attention feature; character and speech interaction system

余劍雄，男，1993年生，碩士研究生，主要研究方向：模式識別、嵌入式系統。E-mail: 1157247727@qq.com

文元美，女，1968年生，副教授，博士，主要研究方向：智能信息處理。E-mail: ym0218@gdut.edu.cn

TP391.7

A

1674-2605(2021)03-0001-09

10.3969/j.issn.1674-2605.2021.03.001