混合范式腦－機接口研究進展綜述

施文強 肖曉琳 劉 爽 許敏鵬 何 峰* 明 東＃

1(天津大學精密儀器與光電子工程學院，天津 300072)

2(天津大學醫(yī)學工程與轉(zhuǎn)化醫(yī)學研究院，天津 300072)

引言

腦-機接口(brain computer interface，BCI)作為一種新興的人機交互模式，通過檢測中樞神經(jīng)系統(tǒng)活動并將其轉(zhuǎn)化為人工輸出，以替代、修復、增強、補充或者改善中樞神經(jīng)系統(tǒng)的正常輸出，從而改變中樞神經(jīng)系統(tǒng)和內(nèi)外環(huán)境之間交互作用[1]。腦電圖(electroencephalography，EEG)[2]、近紅外光譜(near infrared reflectance spectroscopy，NIRS)[3]、功能性磁共振成像(functional magnetic resonance imaging，fMRI)[4]和腦磁圖(magnetoencephalogram，MEG)[5]等均可作為BCI 系統(tǒng)的輸入信號，EEG 因其具有無創(chuàng)、操作簡單、設備價格低廉等優(yōu)點而常作為腦-機接口系統(tǒng)的控制信號[6]。目前主流的基于EEG 的BCI系統(tǒng)包括基于穩(wěn)態(tài)視覺誘發(fā)電位[7](steady state visual evoked potentials，SSVEP)、基于P300 電位[8]、以及運動想象[9](motor imagery，MI)的BCI 系統(tǒng)。

每種類型的BCI 系統(tǒng)都有各自的優(yōu)缺點，例如基于SSVEP 的BCI 系統(tǒng)必須依靠外界特定頻率的視覺刺激來誘發(fā)信號，會使受試者產(chǎn)生視覺上的不適和疲勞。此外，其可供刺激目標使用的頻帶有限且不適用于眼球移動有困難的用戶[10]，但SSVEP信號信噪比高，且SSVEP-BCI 具有無需訓練[11]、高信息傳輸率等優(yōu)點[12]；基于P300 電位的BCI 具有幾乎不需要訓練即可使用，以及高信息傳輸率等優(yōu)點，但單次P300 響應的信噪比低，需要多次重復檢測，該系統(tǒng)也需要外部刺激，并且在使用時需要精神高度集中，使用者不能分心[13]；基于MI 的BCI 系統(tǒng)雖然不需要外部刺激就能反映使用者的運動意圖，但MI 信號空間分辨率低、信噪比低、容易受干擾且輸出的指令數(shù)量少，此外還需要受試者進行大量訓練才能夠熟練使用[14]。

在hBCI 系統(tǒng)中，可以將基于不同腦電信號的BCI 組合在一起，例如將P300 和SSVEP 結(jié)合[15]、SSVEP 和MI 結(jié)合[16]、P300 和MI 結(jié)合[18]等；或?qū)⒍喾N感覺刺激作為hBCI 系統(tǒng)的輸入信號，例如視聽刺激hBCI[19]，MI 和功能電刺激相結(jié)合[20-21]等；也可以將腦信號與其他生理信號相結(jié)合用于BCI 系統(tǒng)控制，例如，EEG 和眼電圖(electrooculogram，EOG)結(jié)合[22]、EEG 和肌電圖(electromyography，EMG)結(jié)合[23]等，混合后的系統(tǒng)可以在一定程度上提高分類正確率、增加控制命令的數(shù)量以及增加控制維度[24]。表1中列出了近年來各類hBCI 的應用以及相應的性能參數(shù)。

表1 近年來部分hBCI 應用及相應的性能參數(shù)Tab.1 Some hBCI applications and corresponding performance parameters in recent years

表1 續(xù)

1 hBCI 的概念及基本原理

由于hBCI 系統(tǒng)沒有統(tǒng)一的概念，Allison 等[72]通過整合Pfurtscheller 等[51]以及Müller 等[73]提出的hBCI 系統(tǒng)概念，將其定義如下:hBCI 是BCI 系統(tǒng)和一個其他系統(tǒng)或設備相結(jié)合以幫助人們發(fā)送信息的BCI 系統(tǒng)，所結(jié)合的其他系統(tǒng)可能是另一個BCI 系統(tǒng)，也可能是一種基于其他生理信號的系統(tǒng)，如肌電圖、眼電圖以及心率等，還可能是另一種通信設備，例如一種為殘疾用戶設計的輔助技術(shù)，或者鍵盤、鼠標等傳統(tǒng)輸入設備。

hBCI 系統(tǒng)具有兩個重要的特性，即信息融合和控制策略。信息融合根據(jù)信息表征的層次可分為數(shù)據(jù)層融合、特征層融合和決策層融合等3 種[74]。其中數(shù)據(jù)層融合是最底層的融合方法，損失的信息量最小，但對系統(tǒng)的處理數(shù)據(jù)能力要求較高，并且只針對相同類型的信號[75]。雖然基于腦電的hBCI系統(tǒng)的輸入信號均為腦電信號，但從中提取的腦電特征是不同的，且所使用的信號處理算法也不同，而基于腦電信號和其他生理信號的hBCI 系統(tǒng)的輸入信號之間并無共同點，進行數(shù)據(jù)層融合更加困難，所以目前常見的基于EEG 和其他生理信號的hBCI 系統(tǒng)普遍采用特征層融合和決策層融合。在hBCI 系統(tǒng)中，通過特征融合可以從不同的輸入信號中提取不同特征，避免了不同數(shù)據(jù)集之間存在冗余信息，并為后續(xù)決策奠定了基礎；而決策層融合是最頂層的融合，融合后的結(jié)果直接作為hBCI 系統(tǒng)的指令輸出，但為了保證系統(tǒng)輸出的準確性，對融合前的數(shù)據(jù)處理提出了更高的要求。

根據(jù)hBCI 系統(tǒng)的控制策略可以對輸入信號采取并行處理和串行處理兩種方式，在圖1所示常見的hBCI 類型中，(a)、(b)和(c)是把前一種模式的信號當作開關(guān)或選擇器使用，當作開關(guān)時，用來啟動和關(guān)閉hBCI 系統(tǒng)，當作選擇器時，選擇相應的控制指令，由后一種模式進行確認，以保證輸出的準確性，這兩類均為串行處理方式；圖中的(d)～(f)則為并行處理方式，同時處理兩種不同模式的腦電信號或不同種類的信號作為輸入。在串行處理的hBCI 系統(tǒng)中，不同類型的信號分別控制不同的外設或控制不同的維度；而在并行處理的hBCI 系統(tǒng)中，不同類型的信號同時對同一指令進行識別，增加了系統(tǒng)的分類正確率，兩種方法都可以起到擴展指令集的作用。

圖1 常見的hBCI 類型[51]。(a)MI-SSVEP 串行hBCI；(b)EOG-MI 串行hBCI；(c)EMG-SSVEP 串行hBCI；(d)P300-SSVEP 并行hBCI；(e)EMG-MI并行hBCI；(f)NIRS-SSVEP 并行hBCIFig.1 Common types of hBCI[51]. (a)MI-SSVEP serial- BCI； (b)EOG-MI serial-BCI； (c)EMGSSVEP serial -BCI； (d)P300-SSVEP parallel BCI；(e)EMG-MI BCI； (f)NIRS-SSVEP BCI

2 hBCI 分類

2.1 基于腦電信號的hBCI

單模態(tài)EEG 信號如MI、P300、SSVEP 等，由于對應于不同腦區(qū)[76]，分別體現(xiàn)大腦不同的活動狀態(tài)，并且所提取的信號特征不同，例如MI 能誘發(fā)大腦初級運動區(qū)mu 節(jié)律和beta 節(jié)律的事件相關(guān)去同步/同步現(xiàn)象，表現(xiàn)為某些特定頻率成分的能量衰減或增強[14]，通過對其能量特征分析對相應的目標進行分類；SSVEP 使用的是頻域特征，當用戶注視一個以固定頻率閃爍的目標時，視覺皮層會以閃爍頻率和其諧波的形式出現(xiàn)SSVEP 信號[77]，通過檢測SSVEP 的頻率即可識別目標；而P300 信號提取的是時域特征，是在一個小概率目標刺激下，在刺激目標出現(xiàn)后的300 ms 后出現(xiàn)一個峰值，即P300信號，通過對其進行檢測即可實現(xiàn)目標識別，所以hBCI 可以將不同的腦電信號相結(jié)合，利用相互之間存在的信息互補，以及融合各種腦電獨有的特征來提升系統(tǒng)性能。

2.1.1 基于SSVEP 和MI 的hBCI

2010年Allison 等[25]為了解決單一模式BCI 系統(tǒng)可能會遇到“BCI 盲” 的問題，提出將MI 和SSVEP 相結(jié)合。結(jié)果表明，該混合系統(tǒng)比單一模態(tài)BCI 系統(tǒng)的準確率更高，達到了81.0%；同年P(guān)furtscheller 等[26]用基于MI 和SSVEP 的hBCI 來控制手形矯形器，將MI 作為腦開關(guān)，控制矯形器的開啟與關(guān)閉，用SSVEP 來控制矯形器，該系統(tǒng)的分類正確率達到了85.0%；2011年Horki 等[27]將MI 和SSVEP 結(jié)合實現(xiàn)了二自由度的假肢控制。這些研究都證明了二者結(jié)合后可以提升系統(tǒng)的分類正確率與指令集，并且能夠?qū)崿F(xiàn)多維控制。

2014年Cao 等[28]提出將基于MI 和SSVEP 的hBCI 系統(tǒng)用于輪椅的多自由度控制，用左右運動想象來控制輪椅的方向，用SSVEP 來控制輪椅的加速、減速和勻速運動，并采用MI 和SSVEP 混合信號控制系統(tǒng)開關(guān)，防止系統(tǒng)被誤觸發(fā)而啟動或停止。在線實驗中，3 名被試均控制輪椅按照規(guī)定路線完成實驗，分類正確率達到了85%以上，且在不同行進路線中，使用混合系統(tǒng)所需的時間最少。同年，Li等[16]也將基于MI 和SSVEP 的hBCI 系統(tǒng)用于輪椅的多自由度控制，并在訓練中同時加入視覺和聽覺提示、反饋以增強訓練效果。以上研究均表明與傳統(tǒng)的基于MI 或SSVEP 的輪椅控制系統(tǒng)相比，hBCI系統(tǒng)可以同時調(diào)整輪椅的方向和速度，與在實際生活中的操作習慣相符合，且行進相同路線所需要的時間更短，提升了該系統(tǒng)的工作效率。雖然只用SSVEP 也可以對輪椅的方向和速度進行控制，但無法做到同時控制。

2017年Alexandru 等[29]提出了一種混合輔助系統(tǒng)，不僅實現(xiàn)了輪椅的功能，還將步態(tài)訓練結(jié)合在系統(tǒng)中，不僅方便運動障礙患者的移動，而且還可以幫助患者進行運動康復；同年Duan 等[30]提出了一種hBCI 控制機器人，用SSVEP 控制機器人的前進和左右轉(zhuǎn)，MI 控制機器人的抓取動作，并且在真實機器人控制中，整個任務的平均成功率達到了73.3%。此外該混合模式在游戲控制中也有所應用，例如在2019年，Wang 等[31]將MI 和SSVEP 相結(jié)合用于經(jīng)典游戲俄羅斯方塊的控制，使用左右手的MI 控制方塊左右移動，通過SSVEP 控制方塊的旋轉(zhuǎn)，離線實驗結(jié)果顯示該系統(tǒng)的MI 平均分類正確率為87.1%，SSVEP 的平均分類正確率到達了92.8%。由于兩種信號是同時處理的，但在游戲中每一時刻只允許有一個指令輸出，所以研究人員采用設置優(yōu)先級的方式來確定指令輸出，在線實驗結(jié)果表明，所有被試均可控制該系統(tǒng)進行游戲，并且平均分達到了340 分，證明了該hBCI 系統(tǒng)在游戲中應用的可行性。與單模態(tài)BCI 系統(tǒng)相比，hBCI 在多維控制方面有著天然的優(yōu)勢，可以用不同的信號實現(xiàn)對不同維度的控制。

2.1.2 基于SSVEP 和P300 的hBCI

2011年P(guān)anicker 等[33]將SSVEP 融入傳統(tǒng)P300 范式中實現(xiàn)異步控制。當同時檢測到SSVEP和P300 信號時，才可以對系統(tǒng)進行控制，否則系統(tǒng)處于非控制狀態(tài)。在線實驗結(jié)果表明，該系統(tǒng)準確率達到了88.15%，ITR 達到19.05 bits/min；2013年Yin 等[34]也將SSVEP 融入傳統(tǒng)P300 范式中，設計了hBCI 拼寫器，結(jié)果表明，該系統(tǒng)的準確率達到93.85%，并且ITR 比傳統(tǒng)P300 - BCI 提高了67.08%，性能得到了大幅提升。2014年Bi 等[36]開發(fā)了一種基于hBCI 系統(tǒng)的實時光標控制系統(tǒng)，用P300 控制光標的速度，用SSVEP 控制光標移動的方向。結(jié)果表明，該二維光標控制系統(tǒng)具有良好的效率和精度，該系統(tǒng)也可用于輪椅控制，幫助運動障礙患者實現(xiàn)移動能力，并且在該系統(tǒng)中還加入了確認模塊，提高了系統(tǒng)的準確性。

2015年Fan 等[38]將基于P300 和SSVEP 的hBCI 系統(tǒng)用于車輛目的地選擇，其中P300 用于從預先設置的目的地列表中選擇目的地，SSVEP 用于目的地的確認和取消，從而提高系統(tǒng)運行的準確性。研究結(jié)果顯示，16 名受試者在真實駕駛條件下的平均準確率約為99%。該系統(tǒng)的提出使得有嚴重運動障礙的患者駕駛汽車成為可能，也為多模態(tài)交互以及智能汽車的研究提供了新方向，并且和輪椅控制系統(tǒng)相比，極大的擴展了運動障礙患者的活動范圍。

2020年Xu 等[39]采用并行P300 和SSVEP 進行編碼實現(xiàn)了108 指令集的字符拼寫器。該研究發(fā)現(xiàn)，除了傳統(tǒng)P300 和SSVEP 混合特征中包含的頻率相位調(diào)制的SSVEP 和時間調(diào)制的P300 特征外，P300 和SSVEP 并發(fā)特征中還包含時間調(diào)制的SSVEP 和頻率相位調(diào)制的P300 這兩個新的腦電特征。由于TRCA 具有可以準確識別SSVEP 信號之間的微小差異的特性，該研究采用了TRCA 進行解碼。結(jié)果顯示，在SSVEP 特征中加入ERP 比單獨使用SSVEP 特征能更準確的識別子拼寫器，并且在有提示的字符拼寫任務中，平均ITR 達到(172.46±32.91)bits/min，在復制拼寫任務中平均ITR 達到(164.69 ± 33.32)bits/min。與傳統(tǒng)的 P300 和SSVEP 混合系統(tǒng)相比，該系統(tǒng)在擴展指令集的同時也極大地提高了信息傳輸效率。由于在所有的BCI系統(tǒng)中，基于P300 和基于SSVEP 的BCI 系統(tǒng)都可實現(xiàn)較大指令集，但隨著指令集的增大，SSVEP-BCI系統(tǒng)會受到頻率范圍的限制，而P300-BCI 單個指令的刺激時間會增加，該研究將二者結(jié)合，實現(xiàn)了集大指令集、高信息傳輸率、短識別時間等優(yōu)點于一體的字符拼寫器，具有廣闊的應用前景。

2.1.3 基于P300 和MI 的hBCI

2011年Long 等[40]將P300 和MI 相結(jié)合用于二維光標的控制，通過MI 和P300 同時控制光標的左右和上下移動，當光標達到目標點時，根據(jù)MI 和P300 混合特征對目標進行確認。結(jié)果表明，采用混合特征的分類正確率達到了93.99%，高于單一模態(tài)(目標選擇:88.19%±4.47%)，證明了該混合系統(tǒng)的優(yōu)勢。2015年Bai 等[42]提出了一種結(jié)合P300和MI 的瀏覽器，其主要組成部分包括一個BCI 鼠標、一個BCI 拼寫器和一個瀏覽器。其中用基于MI和P300 的hBCI 系統(tǒng)來控制光標移動到目標位置，用基于P300 的拼寫器來進行路徑的輸入。結(jié)果表明，5 名受試者均可通過該系統(tǒng)實現(xiàn)對文件的查找、復制、粘貼、打開以及翻頁等簡單操作，使運動障礙患者操作計算機成為可能。為了適應用戶對鼠標的使用習慣，該系統(tǒng)使鼠標連續(xù)移動，采用P300 和MI 同時控制上下和左右，而對其他離散控制指令采用P300 輸出，提高了系統(tǒng)的用戶體驗效果。

2017年Yu 等[18]提出了基于P300 和MI 的輪椅控制系統(tǒng)，用戶通過順序進行左右手的運動想象來啟動系統(tǒng)，系統(tǒng)啟動后通過左手運動想象來切換輪椅速度，右手運動想象控制輪椅停止，通過P300來選擇輪椅的行進方向，并以左或右的運動想象關(guān)閉方向選擇。8 名受試者均參與了3 次在線控制實驗，其中只有兩次撞到了墻壁，但成功啟動了急停按鈕。該系統(tǒng)與Cao 等[28]和Li 等[16]的提出的輪椅控制系統(tǒng)相比，增加了速度切換指令，對于不同復雜度的行駛路線可以調(diào)整輪椅的行駛速度，提高了系統(tǒng)的靈活性。2019年Zuo 等[43]為了提高MI 訓練的效果，提出了一種基于P300 和MI 的hBCI 系統(tǒng)，采用漢字的書寫來有效的調(diào)節(jié)受試者的感覺運動節(jié)律。離線和在線實驗結(jié)果都表明，混合系統(tǒng)的識別精度明顯高于單獨使用P300 或MI 特征時系統(tǒng)的識別精度。此外，結(jié)合兩種特征可以減少所需的訓練數(shù)據(jù)的大小。

2.1.4 基于多種感覺刺激的hBCI

大腦對各類感覺輸入(視、聽模態(tài))會產(chǎn)生不同的響應信號，腦-機接口正是利用這一響應信號實現(xiàn)大腦與外部設備間接的通訊[78]。單一感覺誘發(fā)事件相關(guān)電位信息過少、不利識別，而跨感覺通道刺激誘發(fā)的事件相關(guān)電位具有波幅高、潛伏期短且含有高維度空間分布信息的特點，可以提高信息轉(zhuǎn)化速度和分類準確率[79]。通過對多感官同時進行刺激可以更有效的提高受試者的注意狀態(tài)，從而達到提高BCI 系統(tǒng)性能的目的。

2005年Stefanics 等[80]通過將聽覺和體感刺激加入視覺刺激中，并探究了不同刺激模態(tài)時的感知效果。結(jié)果表明，視聽交互刺激比單獨視覺刺激和視覺-體感混合刺激具有更好的誘發(fā)效果。在此后的研究中也證明了多感覺刺激的優(yōu)勢，例如2014年在Cui 等[46]的研究中采用基于視聽覺刺激的P300范式，受試者在注視目標刺激的同時注意聽覺刺激。結(jié)果表明，混合范式使得P300 分量顯著增強，3 名受試者的實驗結(jié)果表明混合范式的分類正確率比只有視覺刺激時提高了約10%；同年An 等[81]設計了與注視無關(guān)的BCI 并行拼寫器，15 名受試者參與在線拼寫實驗，并且平均準確率達到了87.7%；2015年Barbosa 等[47]設計了一種基于P300 的并行視聽雙模態(tài)刺激范式，同時進行聽覺和視覺刺激，視覺刺激和聽覺刺激為相同語義的單詞。刺激呈現(xiàn)時，受試者只需通過注視屏幕中心十字并且注意聽覺刺激，結(jié)果表明在視聽混合刺激模式下，相比于單獨隱性視覺刺激范式和單獨聽覺刺激范式，其分類正確率分別提升了32.9%和32.6%，達到了85.3%。該研究使得眼部肌肉有運動障礙的患者使用BCI 系統(tǒng)成為可能。這些研究均顯示視聽刺激結(jié)合比單一感覺刺激對特定感覺皮層的激活強度更大，而且證明了大腦可以同時接收來自多個感覺通道的刺激并進行整合，在宏觀表現(xiàn)為對視聽刺激的響應強度增加，使得系統(tǒng)的分類正確率得到提升。

除了視聽刺激外，體感電刺激[82-83]和振動觸覺刺激也可作為誘發(fā)信號用于BCI 系統(tǒng)，并且體感刺激多用于基于MI 的BCI 中。2007年周鵬等[44]將功能性電刺激融入BCI，開發(fā)了一種可供癱瘓病人根據(jù)自己的運動意圖控制其殘肢運動的智能康復系統(tǒng)，該系統(tǒng)能夠繞過癱瘓病人體內(nèi)受損的神經(jīng)通路，直接將人的運動意圖通過外部通路傳給功能性電刺激儀，刺激相應的神經(jīng)肌肉，完成患者對殘肢的直接控制，并且準確率達到了95%以上；2016年Ahn 等[45]提出的混合系統(tǒng)中，設計了對左右手指震動刺激的觸覺選擇性注意和左右手的運動想象兩種模式，并比較了兩種模式單獨刺激和兩種模式同時刺激、順序刺激時系統(tǒng)的分類性能。實驗結(jié)果表明，兩種模式順序刺激時分類正確率最高，比單一模態(tài)的MI 提高了約10%；2017年Yi 等[49]將電刺激與基于MI 的BCI 結(jié)合，受試者按照提示箭頭進行該側(cè)手的運動想象并同時選擇性注意施加在該側(cè)手的電刺激，結(jié)果顯示了混合系統(tǒng)的分類正確率比只依靠MI 時提高了約14%。這些結(jié)果均證明了加入體感刺激可以提高MI-BCI 系統(tǒng)的性能，并且對于無法使用視聽刺激的用戶來說，該類hBCI 系統(tǒng)提供了一種全新的刺激模式，提高了系統(tǒng)的通用性，擴大了受用人群范圍。

2.2 基于腦電信號和其他腦信號的hBCI

2.2.1 基于EEG 和MEG 的hBCI

目前對hBCI 的研究中鮮有將EEG 和MEG 結(jié)合的案例。2019年Corsi 等[50]使用基于MI 的BCI和MEG 共同控制屏幕中虛擬點的運動，實驗中受試者進行抓握右手的想象動作來控制屏幕內(nèi)圓點擊打屏幕右上方的目標，保持靜息狀態(tài)來擊打屏幕右下方的目標，研究人員采用線性判別分析和基于加權(quán)平均的貝葉斯融合算法對信號進行分類、融合。為了對分類結(jié)果進行統(tǒng)計比較，該研究比較了ROC曲線下的面積。由于腦磁圖信號由磁強計信號和梯度儀信號組成，所以分別對單模態(tài)的EEG、磁強計信號、梯度儀信號和融合后的信號進行分析，結(jié)果表明融合后獲得的性能與最佳單一模態(tài)的性能相比，平均提升了4%±3%，尤其是與僅依靠EEG 相比，性能提升了15%±17%。該類型hBCI 可以同時從電場和磁場兩個角度描述在執(zhí)行腦力任務中對應的神經(jīng)元的活動，并且腦磁圖還有信噪比高，空間分辨率高以及不受顱骨影響等優(yōu)點，二者融合可有效提高系統(tǒng)的分類性能。

2.2.2 基于EEG 和NIRS 的hBCI

相比于MEG，將NIRS 和EEG 融合的研究熱度更高。2010年P(guān)furtscheller 等[51]將NIRS 和SSVEP結(jié)合，將NIRS 用作“腦開關(guān)”，控制整個系統(tǒng)的開啟與關(guān)閉，而SSVEP 用于矯形器的控制；2012年Siamac 等[52]將NIRS 和EEG 結(jié)合對運動想象進行分類，實驗結(jié)果表明二者結(jié)合后分類正確率達到了83.1%，高于單一模態(tài)MI 的分類正確率78.2%，證明了結(jié)合NIRS 的有效性；2014年Jawad 等[54]通過在BCI 系統(tǒng)中加入NIRS 來擴展指令集，通過左右運動想象來輸出左右控制指令，通過心算求和和心算減法來輸出向前和向后的指令，實驗結(jié)果表明每個指令和空閑狀態(tài)的二分類準確率均達到了80%以上；同年Lee 等[53]提出了一種基于腦電圖和近紅外光譜的異步多模態(tài)混合系統(tǒng)，實驗結(jié)果表明，與僅依靠EEG 相比，EEG-NIRS 混合系統(tǒng)的準確率從55.0%提高到了59.6%，系統(tǒng)靈敏度從58.5%提高到了68.1%，整體性能均優(yōu)于單模態(tài)BCI 系統(tǒng)。

有別于傳統(tǒng)的MI-BCI 系統(tǒng)使用不同側(cè)肢體的運動想象來輸出不同的控制指令，2015年Yin 等[56]將NIRS 和EEG 結(jié)合，用于擴展單側(cè)肢體可用的指令集，在該研究中要求被試想象不同的握拳頻率和握拳力度來產(chǎn)生不同的控制指令，結(jié)果表明，二者混合后的分類正確率達到了89%±2%，高于只基于EEG 的準確率(88%±1%)和只基于NIRS 的準確率(76%±5%)。該研究開創(chuàng)性的將動作的頻率和力度作為可分類的指令集，并取得了良好的效果，為進一步擴展系統(tǒng)指令集提供了一種有效的方案。

2015年Almajidy 等[55]將NIRS、圓盤電極腦電圖(EEG)和三極同心環(huán)電極(TCRE)腦電圖(tEEG)融合，受試者通過左右手以及雙手和雙腳運動想象輸出四條控制指令。利用線性判別分析對上述不同的信號組合進行分類。結(jié)果表明，3 種信號融合時系統(tǒng)的分類正確率最高，達到了85.2%，優(yōu)于單一腦電特征的性能，并且3 種信號兩兩組合的準確率也高于基于單一信號時的準確率。2019年Shin 等[57]設計了心算任務和詞語接龍任務，由于EEG 信號的加入，使得NIRS 測量的時間縮短，與僅使用NIRS 相比，該混合系統(tǒng)的ITR 得到了很大提升，在心算任務中提升了96.6%，詞語接龍任務中提高了87.1%，證實了該系統(tǒng)的可行性。2020年，在Kwon 等[58]的研究中，受試者需要執(zhí)行心算、右手運動想象和靜息狀態(tài)等3 種不同的任務，為了降低混合系統(tǒng)的復雜性研究中僅使用2 個導聯(lián)腦電信號和2 對源-探測器對來對3 種狀態(tài)進行分類，且分類準確率達到了77.6%±12.1%。統(tǒng)計結(jié)果檢驗分析表明，在腦電圖中融入fNIRS 信號后，與僅使用腦電圖(分類正確率為72.6%±13.9%)相比，混合系統(tǒng)的分類正確率有顯著差異(P＜0.05)。以上研究都證實了加入大腦血流動力學響應的優(yōu)勢，在執(zhí)行不同的腦力任務時，所對應的腦區(qū)的血流動力學響應會出現(xiàn)明顯的變化，通過兩者結(jié)合可以使hBCI系統(tǒng)同時獲得NIRS 的高時間分辨率和EEG 的高空間分辨率，可以更全面的分析在控制任務中腦功能活動的狀態(tài)。

2.3 基于多生理信號的hBCI

除了不同腦信號之間的相互組合外，還可將其他生理信號融入BCI 系統(tǒng)中構(gòu)建hBCI，例如將EMG[84]、EOG[85]等信號和EEG 結(jié)合構(gòu)建hBCI。

2.3.1 基于EEG 和EMG 的hBCI

雖然基于EEG 的BCI 系統(tǒng)已經(jīng)應用于游戲娛樂、神經(jīng)康復、外設控制等領(lǐng)域，例如游戲控制[86]、輪椅控制[87]、腦卒中后運動功能康復訓練[88]、腦控鍵盤[89]等，但這些系統(tǒng)的應用性能仍落后于傳統(tǒng)的輔助設備，如鍵盤、鼠標等。為了證明融入EMG 信號可以提高BCI 系統(tǒng)的性能，2011年Leeb 等[23]提出了一種腦肌電混合腦-機接口，結(jié)果顯示，采用貝葉斯融合方法進行融合時，準確率高于單一模態(tài)，達到了92%以上。除了在控制外部設備方面可提供較高的準確率以外該系統(tǒng)還可用于輔助患者進行肌肉方面的康復訓練。2013年Carlson 等[59]將該混合系統(tǒng)用于異步遠程機器人的控制，使用EMG 信號作為系統(tǒng)開關(guān)，用EEG 對機器人進行控制。和傳統(tǒng)的單模態(tài)系統(tǒng)相比，該系統(tǒng)能夠降低機器人靜止時的假陽性操作，并且由于EMG 響應速度快，即使發(fā)生誤操作也可短時間內(nèi)再次發(fā)出控制指令，保證系統(tǒng)的異步性能。2016年謝平等[60]提出了一種腦肌電融合的腦-機接口系統(tǒng)，實現(xiàn)單側(cè)肢體不同動作模式的分類，并且動作模式識別率達到了98%，比單獨依靠腦電特征的識別率提高了25%。研究人員還針對患者運動功能不全和長時間運動時出現(xiàn)疲勞、肌力不足等情況，采用降低肌電信號幅值的方法來模擬患者患側(cè)的肌電信號和運動疲勞時的肌電信號，并調(diào)整腦肌電融合系數(shù)來避免由于肌電信號幅值降低導致的動作識別率下降，結(jié)果表明在運動疲勞狀態(tài)下，基于腦肌電融合特征的準確率穩(wěn)定在80%以上，比單獨依靠肌電特征的識別率提高了14%；同年，在Manolova 等[90]的研究中采用同樣的方法來模擬肌肉疲勞，證實了即使用戶在運動過程中產(chǎn)生肌肉疲勞，仍能保持系統(tǒng)的穩(wěn)定和可靠。這些研究結(jié)果均證明了在BCI 系統(tǒng)中融入EMG 信號后可有效提升系統(tǒng)性能，并充分利用了運動障礙患者剩余的運動機能，在輔助患者康復訓練方面有天然的優(yōu)勢。

2016年Lin 等[61]提出一種60 指令的hBCI 拼寫器，刺激界面分為4 塊，用前臂肌電信號對不同的塊區(qū)進行分類，通過握拳次數(shù)區(qū)分4 個刺激區(qū)域，之后用SSVEP 對塊內(nèi)的不同指令進行分類。采用CCA和均值濾波分別對SSVEP 和EMG 進行分類識別，結(jié)果顯示，該系統(tǒng)的ITR 達到了83.6 bits/min，高于兩種單一模式的ITR(EMG 為30.7 bits/min，SSVEP 為60.2 bits/min)。此外在該研究中還對輸出結(jié)果進行二次選擇，以確保輸出的準確性，結(jié)果表明，加入二次選擇后系統(tǒng)的分類正確率和信息傳輸率分別提高到了85.8%和90.9 bits/min；2017年Jie 等[62]也提出融合EEG 和EMG 來增加系統(tǒng)可輸出的指令數(shù)量，通過左右手的運動想象和右手手腕收縮、手腕伸展、手掌伸展和食指伸展4 個手勢之間的相互組合生成8 個指令，有效擴展了傳統(tǒng)MI-BCI 的控制指令。混合指令的準確率由MI 的準確率和手勢識別的準確率相乘得到，5 名被試的實驗結(jié)果表明，8 個混合指令的平均分類正確率達到了75.5%。這些研究表明EMG 也可用于擴展系統(tǒng)指令集，尤其是在MI-BCI中融入EMG，還可以更加精確的描述用戶的運動意圖，實現(xiàn)不同手勢的精確識別。2020年Chai 等[63]將二者結(jié)合用于智能家居系統(tǒng)的控制，將室內(nèi)眾多的設備控制都集成在hBCI 系統(tǒng)中，健康用戶和運動障礙患者均可通過該系統(tǒng)實現(xiàn)對室內(nèi)設備的控制。從該研究可以看出hBCI 未來在智能家居系統(tǒng)方面的存在巨大的潛力，尤其是對于運動障礙患者來說，通過該系統(tǒng)即可滿足日常生活的需求，并且由于咬合肌電的加入，保證了該系統(tǒng)輸出的準確性，提升了系統(tǒng)的安全性能。

2.3.2 基于EEG 和EOG 的hBCI

EOG 信號是由角膜和視網(wǎng)膜之間的電勢差而引起的，眼球的運動或眨眼、揚眉等動作都會產(chǎn)生不同類型的EOG 信號。EOG 信號信噪比高，同時基于EOG 的人機接口相比于EEG 具有更快的響應速度，將其融入BCI 系統(tǒng)中可提升系統(tǒng)的響應速度，而EEG 信號則可以有效提升EOG 系統(tǒng)的控制命令數(shù)量。

2009年Usakli 等[64]提出了一種基于EOG 和EEG 的hBCI，利用EOG 從主菜單中選擇包含虛擬鍵盤、個人需求和運動控制的子菜單，然后利用經(jīng)典的P300 拼寫器從子菜單中選擇特定的指令進行輸出，此外Yan 等[91]以及Zhang 等[92]也開發(fā)了相似的人機界面，輔助運動障礙患者實施一些日常生活中的簡單操作。

2011年Eduardo 等[93]實現(xiàn)了EOG 和EEG 結(jié)合控制屏幕中的點在虛擬三維空間移動，其中EOG 負責控制點在二維平面上移動，而MI 則負責控制點的高度。該研究利用了EOG 響應速度快的優(yōu)點，并且在三維控制中前后左右的控制相對最頻繁，所以采用EOG 控制二維平面的移動可有效提高系統(tǒng)的工作效率。2014年Jiang 等[65]提出了基于MI 和EOG 的目標選擇系統(tǒng)，利用眼睛注視方向來選擇目標，用MI 信號確認所選擇的目標，只有當檢測到左手的MI 信號時，才會對注視方向的指令進行輸出，否則不做任何輸出，該系統(tǒng)的平均準確率達到了89.3%，平均耗時僅為2.4 s，驗證了該系統(tǒng)的可行性。該研究中也利用了EOG 響應速度快的優(yōu)點，用眼睛注視方向來選擇目標大大減少了選擇時間，同時該系統(tǒng)由于加入了確認環(huán)節(jié)，控制者在自由運動時只要不對選擇結(jié)果進行確認就不會影響輸出的準確性，實現(xiàn)了系統(tǒng)完全由用戶控制，為異步腦-機接口的研究奠定了基礎。

2019年Huang 等[69]的研究中使用基于EEG 和EOG 的混合系統(tǒng)來控制輪椅和機械臂的活動。使用者通過左右手的運動想象來控制輪椅左右轉(zhuǎn)動，并通過眨眼和揚眉動作來為輪椅和機械臂生成其他指令。在目標指令閃爍后大約延遲280 ～320 ms受試者才會做出相應的眨眼動作來對該指令進行預選，并且在不自主眨眼時產(chǎn)生的EOG 信號幅值小于自主眨眼時的信號幅值，所以通過設置幅值閾值可以排除不自主眨眼產(chǎn)生的影響，如果指令正確，則通過揚眉動作來對所選指令進行確認，從而保證輸出指令的可靠性。實驗中5 名被試的MI 分類正確率為88%±8.9%，EOG 分類正確率為96.2%±1.3%。該研究的創(chuàng)新點在于將輪椅控制系統(tǒng)和機械臂控制系統(tǒng)相結(jié)合，不僅解決了運動障礙患者的日常活動需求，同時也使其能夠完成日常生活中的一些簡單的任務成為可能，并且取得了較高的控制精度。

此外，基于EEG 和EOG 的hBCI 系統(tǒng)還用飛行器控制。2020年Chen 等[70]的研究中，用左右運動想象控制飛行器的起降，通過眼睛的左右移動控制飛行器左右移動，通過3 次和4 次眨眼來控制飛行器的前后移動。在線實驗結(jié)果表明，4 名被試的分類正確率均達到了95%以上，并且信息傳輸率均在43 bits/min以上。該研究同樣采用不同信號來控制不同維度，將操作頻繁的指令用EOG 控制，有效提高了控制系統(tǒng)的即時性，并且與普通遙控控制的無人機相比，解放了控制者的雙手，而且EEG 只負責起降，在其余時間控制者可以執(zhí)行其他任務，提高控制者的工作效率，尤其是在軍事領(lǐng)域有重要意義。

3 當前面臨的問題和挑戰(zhàn)

雖然和單模態(tài)BCI 相比hBCI 系統(tǒng)在指令集數(shù)量、分類精度等方面均有提升，但還需要克服以下問題:(1)由于hBCI 有多種輸入信號，需要考慮不同類型數(shù)據(jù)的采集、融合以及信號之間信息冗余等問題，并且比傳統(tǒng)BCI 需要更多的電極，可能會影響系統(tǒng)的穩(wěn)定性和兼容性，同時也增加了使用前的準備時間；(2)在范式設計方面，還需要考慮不同輸入信號和腦力任務的密切配合[94]，例如設計一個視聽腦-機接口時，應確保視聽刺激在空間、時間和語義方面的一致性，以激發(fā)更強的腦電信號，但對于用戶而言尤其是在并行hBCI 系統(tǒng)中需要同時執(zhí)行多種任務，隨之帶來的是用戶可接受程度下降[95]，所以hBCI 系統(tǒng)的范式設計要在系統(tǒng)復雜性和用戶可接受程度之間折衷；(3)在數(shù)據(jù)處理方面，隨著系統(tǒng)復雜性的增加，尤其是并行hBCI 系統(tǒng)，需要同時對多種信號進行處理、特征提取、分類識別，增加了算法的復雜度；(4)在系統(tǒng)反饋階段，用戶可能需要能夠反映不同輸入信號有效性的反饋，如同時執(zhí)行運動想象和SSVEP 任務控制光標移動，需要反饋給用戶哪種輸入信號在控制中起決定性作用[96]，從而調(diào)整不同任務的注意力分配；(5)在用戶體驗方面，hBCI 系統(tǒng)對運動障礙患者可能是有效的，但對于健康用戶使用hBCI 控制外部設備比傳統(tǒng)的控制設備如鍵盤、鼠標等需要更長的時間。例如文獻[97]中，受試者使用hBCI 系統(tǒng)完成實驗任務平均需要花費約450 s，而采用傳統(tǒng)鍵盤和鼠標完成同樣任務只需月57 s，同樣在文獻[98]中，受試者完成鼠標移動任務平均需要32.71 s，遠高于使用鼠標操作的時間。

4 總結(jié)和展望

文中主要對基于多種腦信號以及基于腦電圖信號和其他生理信號的hBCI 系統(tǒng)進行綜述，并對系統(tǒng)的刺激范式、控制策略以及系統(tǒng)性能進行分析。研究人員通過在傳統(tǒng)單模態(tài)腦-機接口中融入其他信號進一步提升了系統(tǒng)的實用性能。hBCI 的優(yōu)點主要表現(xiàn)在3 個方面:(1)可以擴展系統(tǒng)的指令數(shù)量。例如文獻[39]中采用并行P300 和SSVEP 混合誘發(fā)，將反應式BCI 指令集擴展到了108 指令；文獻[62]中通過融入EMG 將傳統(tǒng)主動式MI-BCI 的指令集擴展到8 指令等。(2)傳統(tǒng)BCI 相比更容易實現(xiàn)多維控制，采用不同的信號控制不同的維度。例如文獻[12]中用MI-BCI 控制機械臂左右旋轉(zhuǎn)，用SSVEP-BCI 控制機械臂其他方向的運動，同樣在文獻[70]中的腦控無人機系統(tǒng)中，使用MI-BCI 控制無人機的升降，使用EOG 信號來控制其飛行方向，實現(xiàn)多維度控制，尤其是在輪椅控制系統(tǒng)中，hBCI 可以采用并行方式同時對方向和速度進行控制[16]，比單模態(tài)更加節(jié)省時間。(3)適用人群更加廣泛。例如多感覺刺激范式的出現(xiàn)減弱或擺脫了視覺依賴[45，49]，使得有視覺障礙的患者也可使用hBCI，此外由于hBCI 系統(tǒng)的輸入信號攜帶的信息具有互補性，有效減少或消除了“BCI 盲”現(xiàn)象。(4)系統(tǒng)的分類正確率和信息傳輸率得到了提升，在并行任務中，同一個控制指令是同時分類識別多種信號的輸出[47，60]，相比于單模態(tài)，可提供的信息量更大，對應的分類正確率也更高。

雖然近年來hBCI 系統(tǒng)的性能得到了很大程度的提升，但主要還停留在實驗室研究階段，為滿足實際生活和工作的需要，未來hBCI 可能會朝著以下幾個方向發(fā)展:一是會朝著設備小型化、便攜化、可穿戴式的方向發(fā)展，使人們能夠隨時隨地使用hBCI系統(tǒng)，而不必由于眾多的數(shù)據(jù)采集線和設備體積大而局限于有限的活動范圍；二是通用化、范式集成化以及解碼算法復雜化，不需要再根據(jù)具體應用場景來設計專門的范式，將多種范式集成在同一個hBCI 系統(tǒng)中，根據(jù)實際需要選擇相應的范式，提高系統(tǒng)的通用性，同時為適應各種復雜環(huán)境可能需要更大的指令集，使得解碼算法趨于復雜化；三是異步hBCI 系統(tǒng)將越來越多，用戶可以根據(jù)需要來啟動和關(guān)閉系統(tǒng)，而不必局限于系統(tǒng)必須在特定的時間進行控制，真正做到對外部設備的自由控制；四是系統(tǒng)模塊化，同電腦、手機等設備一樣，可以根據(jù)不同的需求更換相應的配件，同時實現(xiàn)軟件系統(tǒng)可在線升級，極大地提升用戶體驗；五是hBCI 系統(tǒng)可能不再僅僅是融合兩種或3 種輸入信號，而是同時融合多種腦信號和眾多其他生理信號，構(gòu)成hBCI 網(wǎng)絡[95]，從而更加準確地判斷用戶的意圖，能夠用于執(zhí)行更加復雜的任務。