混合腦機接口及其研究進展

雍穎瓊,張宏江,程奇峰,孫 光,陽 佳

(中國運載火箭技術研究院 研究發展部，北京 100076)

0 引言

腦機接口技術(brain-computer interface, BCI)是一種將大腦活動產生的腦電信號轉化為控制信號，并利用這些信號對外部輸出設備進行控制的新型人機交互技術[1]。1924年，德國耶拿大學精神病學教授Hans Berger首次在頭皮記錄到腦電信號，并開創了腦機接口發展的新里程[2]。BCI系統根據腦電信號的獲取方式，分為植入式(invasive)和非植入式(non-invasive)。目前提取大腦信號最常用的方式為非植入式，包括腦電圖(electroencephalography，EEG)、功能性磁共振成像(functional magnetic resonance imaging，fMRI)、腦磁圖(magneto encephalo graphy，MEG)和功能近紅外光譜 (functional near-infrared spectroscopy，fNIRS)[3]。其中，基于EEG的腦電信號提取方式具備低成本、快響應、易攜帶等優點，成為腦機接口中普遍使用的一種方式。

圖1 BCI的早期描繪[2]

當前單一模態的腦機接口依舊面臨一些挑戰，包括長時作業魯棒性差、分類精度受命令數量影響、人機適應性和系統穩定性有待提升等。比如單一模態的BCI系統能夠實現的任務數量有限，一定程度上制約了外部輸出設備對復雜任務的完成情況；隨著功能指令數的增多，分類準確率下降，系統穩定性受限，難以在實際應用中獲得較好的結果。鑒于單一模態腦機接口存在的上述問題，近年來混合腦機接口(hybrid brain-computer interface，HBCI)的概念被提出，HBCI又被稱為多模態腦機接口(multi-modal brain-computer interface, MBCI)[4]，指的是將一個單模態腦機接口，如P300視覺誘發電位[5]、穩態視覺誘發電位(steady-state visual evoked potential，SSVEP)[6]、運動想象(motor imagery，MI)[7]等)，和另一個系統(BCI系統或者非BCI系統)混合組成的系統[8]。HBCI具備多種輸入方式，對輸入信號的處理可采用并行處理方式(simultaneously)或者串行處理方式(sequentially)。

圖2 腦電信號獲取方式[9]

HBCI技術，可以滿足多自由度控制系統控制指令多、實時性強的實際控制需求，有利于突破單模態腦機接口控制指令有限和多分類識別準確率低的問題，提升動作指令數量，增加人機交互適用性和輸出特征，完善人機交互系統功能，在空間遙操作及裝備控制領域有著廣闊的應用前景。

本文對HBCI的概念、研究進展、關鍵技術進行介紹，并對HBCI需解決的問題及應用前景進行了討論。

1 混合腦機接口技術國內外研究進展

HBCI可以分為三大類，包括：(1)基于兩種或兩種以上的多腦電模式混合，如P300視覺誘發電位、穩態視覺誘發電位SSVEP、運動想象MI的混合模式；(2)基于多種刺激誘發的HBCI，即由多個刺激誘發腦電信號；(3)基于腦電及腦電以外其他模態信號的HBCI，包括兩種及兩種以上模態，如基于腦電與眼動的HBCI、肌電與腦電的HBCI、腦電與位恣的HBCI等。

基于多腦電模式的混合腦機接口，結合了SSVEP、P300、MI等多種腦電模式，可被用于拼寫器、輪椅等外控設備導航、鼠標和瀏覽器等計算機部件的控制[10-19]。Liu等[10]開發了一個二維光標控制系統，通過利用SSVEP和P300的信號來控制光標的方向和速度，P300視覺刺激分布在上下邊緣，分別代表加速和減速指令，SSVEP刺激位于左右兩側，分別代表順時針和逆時針旋轉。結果表明，該光標控制系統具有良好的控制效率和精度，光標運動平穩連續，方向和速度控制精度達可以達到95.88%。Duan等[13]充分利用SSVEP和MI的優勢，設計了HBCI系統，支持多腦電控制指令對機器人的操控。其中三個SSVEP信號被用于控制機器人的向前、向左、向右運動；一個MI信號用于控制機器人的精確抓取動作。Long等[16]將MI和P300結合，以實現對二維光標的控制以及對控制目標的選擇，結果表明實驗平均準確率為92.84%；通過離線分析，證明基于MI和P300的混合腦機接口在目標選擇上的性能優于單獨的P300或MI系統。Xu等[19]研發了一種新型HBCI拼寫器，能夠在使用同一刺激的情況下，同時顯著激發P300電位信號和SSVEP阻斷(SSVEP blocking，SSVEP-B)。12名受試者進行了試驗，每名受試者在離線狀態下，連續兩次在不同拼寫模式(HBCI拼寫器和P300拼寫器)下完成拼寫操作。研究表明，在無目標刺激階段，HBCI范式下的EEG信號主要來源于SSVEP信號，而被目標刺激后，SSVEP信號被P300信號取代。與P300拼寫器相比，HBCI拼寫器獲得了更高的準確率和信息傳輸率，整體拼寫性能更優。

基于多種刺激誘發的混合腦機接口，通過不同感官信息通道間的競爭現象及信息交叉和整合機制[20-22]，實現操作者注意力自上而下的加強，從而形成一種互協同、互補充機制，進而改善和增強BCI系統的整體性能。Pan等[23]提出一種結合視覺和聽覺的基于EEG的BCI系統，用于意識障礙患者(DOC)的情緒識別。8名DOC患者(包括5名植物狀態患者和3名最小意識狀態患者)和8名健康參照人員進行了相關測試。8名DOC患者中的3名患者和8名健康參照人員都達到了要求的在線檢測準確度。該研究表明，3名DOC患者具有情緒識別和命令跟隨能力。盡管DOC患者無法提供認知功能，但仍可采用BCI系統對DOC患者進行認知實驗。該系統有望用于意識障礙患者意識檢測和康復。Rutkowski等[24]開展了針對視聽受損用戶的觸聽功能研究，比較了三種六指令觸覺和骨傳導聽覺方法對BCI系統的改善能力。實驗結果證實了初步的研究假設，即優化刺激模式可以最終提高BCI的準確性。觸聽誘發的腦機接口性能整體優于單模態P300電位腦機接口，可用于視力受損的用戶。 Belistk 等[25]研究了基于視聽兩種刺激的P300腦機接口，提出了一種基于翻轉字母矩陣的新型擴展矩陣拼寫器，可以在一個交互界面支持視覺、聽覺或視聽混合刺激，允許用戶根據自身狀況進行最佳輸入模式選擇。7名健康受試者進行了操作測試，數據分析結果表明，該系統具有良好的效果，且基于純聽覺系統的拼寫器性能低于視聽雙刺激系統性能。

圖3 混合腦機接口組合方式[8]

基于多模態信號的混合腦機接口，包括腦電信號、眼電信號、肌電信號、近紅外功能信號、位姿信號等[26-33]。通過不同生理通道間信號的融合，起到不同生理信號間的互補作用，最終達到提升混合腦機接口整體性能的目的。Li等[26]提出了一種基于腦電圖-眼電圖(electroencephalography-electrooculogram，EEG-EOG)的多模態高準確率快速拼寫系統。通過結合腦電圖、眼電圖及視覺反饋技術，搭建用戶拼寫系統-高交互系統，協同進行最優決策。拼寫系統包括基于RC(row/column)的事件相關電位拼寫器、EOG命令探測器、視覺反饋模組。20名受試者參加了拼寫系統性能測試，結果表明，系統拼寫準確率可以達到97.6%，信息傳輸率可達到39.6(±13.2) bits/min。Buccino等[28]將EEG與fNIRS相結合，用于分析基于異步感覺運動節律(asynchronous Sensory Motor rhythm，SMR)的BCI信號。研究者嘗試將四種不同的操作(右臂運動、左臂運動、右手運動、左手運動)進行分類。15名受試者參與了實驗，結果表明，在所有操作中，基于EEG和fNIRS的混合交互系統的動作精度高于各單模態(EEG或fNIRS)子系統精度。謝等[32]構建基于支持向量機和粒子群優化算法的腦電-肌電(electroencephalography electromyography，EEG-EMG)融合模式，研究表明，基于EEG和EMG的混合腦機系統模式識別率得到進一步提升，此外融合模態規避了由于運動疲勞而導致的識別率下降問題，提升了整體系統的魯棒性。Cui等[33]開展了基于EEG、EMG和肌動圖(mechanomyography，MMG)的多模融合研究，用于解碼人類對下肢多關節運動的意圖。結果表明，在EEG-EMG-MMG三種模態融合的混合模態下，實驗最優精度可以達到98.61%，精度顯著由于雙模態或單一模態。

2 混合腦機接口的關鍵技術

2.1 混合腦機接口信號采集和預處理

混合腦機接口涉及兩種或兩種以上刺激或模態，其信號采集和預處理也涉及多刺激或多模態的信號采集和預處理。

大多數的生理信號具備低頻率、變化大、穩定性差等特點，容易受到受試者情緒、周圍環境等影響，使得采集到的原始信號中包含一定的干擾信號，從而影響到信號采集的準確率。這些干擾信號可分為神經源噪聲和非神經源噪聲[34]，包括運動偽跡、基線漂移、工頻干擾、信號采集設備內部噪聲等。運動偽跡是由貼附于皮膚表面的電極片由于錯位移動導致皮膚阻抗階躍變化而形成。基線漂移是指由于貼附于皮膚表面的電極片電阻發生變化或受試者皮膚表面電流變化造成采集到的信號偏離原來信號位置，從而對真實信號造成干擾或使信號失真的現象。工頻干擾是指信號采集環境中電磁場在一定頻率(50 Hz或60 Hz)下產生的交流電會對采集到的信號產生干擾的現象。

這些干擾信號會使得真實信號失真，對后續的信號分析的結果產生影響，需要采用各類去噪技術進行預處理，以提升信噪比。如對于運動偽跡的處理，包括讓受試者保持安靜狀態、自適應濾波等方式。對于工頻干擾，通常采用陷波濾波器去除。主要的預處理方法包括，主分量分析(principle component analysis, PCA)、獨立分量分析(independent component analysis, ICA)、Robust Kalman濾波、Kalman濾波、自適應干擾消除、直接相減、非線性濾波等，實際處理中，通過各類算法的融合有望產生更好的效果[34]。

2.2 混合腦機接口信號的特征提取與分類

為了實現混合腦機接口對外部輸出設備的控制，需要將不同的信號進行特征提取及分類。主要的特征提取方法包括基于時域特征和頻域特征的單一特征提取，基于時域-頻域特征組合的復合特征提取，基于AR(autoregression)參數估計的特征提取，基于小波或小波包變換的特征提取，基于共空域模式(common spatial patterns，CSP)算法的特征提取等[35-36]。

對于分類方法，主要包括基于Fisher準則的線性判別分類器(linear discriminant analysis，LDA)、人工神經網絡(BP網絡、PNN網絡、LVQ網絡等)、決策樹、遺傳算法、貝葉斯分類、K-近鄰算法、支持向量機等[37-38]。基于Fisher準則的線性判別分類器具備簡單易行、速度快、存儲量小等特點；人工神經網絡是通過模仿生物的神經網絡，從而進行相關信息處理的數學模型。具備參數選擇方便、分類準確率高、信息處理速度快等優點；支持向量機是基于結構風險最小化原則(structure risk minimization，SRM)提出的一類機器學習方法，在模式識別表現優良，將其應用于腦機接口也顯現出很好的性能，某些實際應用中，尤其對于復雜、大量數據可輸出良好的結果[39]；決策樹作為典型的分類算法，具備生成模式較簡單、魯棒性較高、分類精度較高等特點；遺傳算法是通過模擬自然界遺傳進化過程的一種尋優算法，其具備較好的適用性和靈活性。但遺傳算法對噪聲信號誘發的野值(outliers)較為敏感，在實際操作中需進行合理的預處理設計；貝葉斯分類要求進行分類對象的類別數目固定且需預先知道各個類別的概率分布情況[40]； K-近鄰算法是近鄰分類算法的擴展，屬于應用較為廣泛的一種分類方法，具備實現簡單、運算速度較快等特點。

2.3 混合腦機接口信號的融合

采集到的各刺激或各模態信號，經過預處理、特征提取、分類，隨后進行多級、多層次處理、有機結合，達到提升系統輸出準確性、決策效率等目的。

按照輸入信息融合的抽象程度，融合可以分為三類[41]：一類是數據層的融合，即為不同傳感器獲取的信號數據直接進行融合，隨后再對融合后的傳感數據進行特征提取及分類。數據層融合能夠直接融合各類傳感器的數據，信息更為豐富、全面、準確，丟失的信息量較小。但由于各個傳感器獲取的信息具有一定的冗余性，造成數據處理的耗時較長，對于在線系統等要求快速響應的系統，難以滿足其實時性需求；第二類為特征層次融合，即為通過對各個傳感器獲取的數據先進行特征向量提取，隨后進行特征數據的融合處理，最后將融合后特征用于系統分類決策。特征層融合通過提取各傳感器獲取數據的有效特征，在保留了有用信息的同時又對信息進行了壓縮，利于提升處理速度，滿足系統實時性要求，同時準確率也較優；第三類為決策層融合，即為各個傳感器先分別進行處理分類決策，隨后按照投票或者權重計算等方法輸出整體系統的決策結果。決策層融合有利于形成一種互糾正、互校對模式，即系統中某個傳感器發生決策錯誤，整體系統還可以通過一定的決策占比調整，達到輸出準確決策的目的。如圖4所示。

圖4 三類融合方式

三類融合方法相比較而言，數據層融合的處理信息量最大，融合性能最優，信息損失量最小，但容錯性最小，抗干擾性最差，算法也最難；特征層融合在三類融合中無論從處理信息量、信息量損失、抗干擾性能、算法難度、融合性能等均處于中等；決策層融合的處理信息量最小、抗干擾性能和容錯性能最優、算法最容易，但信息損失量最大，在實際處理過程中，需要根據實際系統需求，進行合理的選擇[41]。

3 混合腦機接口的發展與展望

文章按照基于多腦電模式的混合腦機接口、基于多種刺激誘發的混合腦機接口、基于多模態信號的混合腦機接口三個分類對混合腦機接口的研究進展進行了闡述，通過對比發現，基于多腦電/多模態融合的腦機接口有利于獲得更高的識別率和精度，系統輸出也更穩定。以EEG和EMG混合為例，混合模式有利于降低運動功能部分缺失以及操作疲勞等因素對模式識別結果造成的不利影響，從而提升整體系統的準確率和魯棒性。

但當前混合腦機接口技術仍面臨著不小的挑戰及亟待解決的問題：(1)單模態識別率有待進一步提升。異構信息源需考慮不同程度的非平穩態、魯棒性、源間變量信息[42]，單一模態性能會對融合系統性能產生影響；(2)多信號同步采集及分析方法有待進一步探索研究。基于腦電的多信號融合主要涉及特征層、決策層融合[43]，以多模態混合腦機接口特征層融合為例，各模態信號的同步采集、特征提取是需要融合時需要解決的首要問題，而多模態系統涉及2類以上不同模態的同步處理和檢測，這就為實際融合帶來一定的難度，需要進一步研究；(3)融合方式及融合機制有待進一步探索。融合方式對融合系統的性能，包括準確率、結果輸出穩定性等產生影響。建立互補、互糾正的基于容錯模式的融合機制有利于提升混合腦機接口系統的性能；(4)人機良耦合系統有待于進一步完善。面向應用的混合腦機接口，應當為用戶的使用提供友好、清晰、易于操作的界面及敏捷反饋系統，需要考慮操作人員的適應能力，構建人機良耦合系統。

雖然當前混合腦機接口仍面臨一些挑戰，但由于其可以進一步提升單模態腦機接口控制指令數目、識別準確率、系統穩定性及魯棒性，拓展人機交互通道數，未來在空間遙操作、裝備控制、康復醫療及日常輔助領域具有廣闊的應用前景。

1)應用于空間遙操作，為特殊場景下的外控裝備操控提供路徑。航天員在外太空作業時，受限于現有技術局限性、特殊任務復雜性、太空環境特殊性，可使用混合腦機接口技術，滿足復雜環境多控制通道作業需求。目前，歐洲航天局和美國航空航天管理局已開展腦機接口技術在載人航天中的相關應用研究。

2)應用于裝備領域，作為相關裝備輔助控制方法。美國空軍前期已開展通過腦電等生理通道協同控制研究，用于提升戰斗機飛行員的快速反應能力；美國國防高級研究計劃局開展了“阿凡達”計劃，通過腦機接口技術遠程操控機器人，代替士兵作業，執行相關任務[4]。

3)應用于醫療行業，用于康復醫療與日常輔助[44-45]。針對癱瘓及殘障人員的日常生活，進行生活上的智能輔助。對于重癥癱瘓病人，拓展其對外界的控制能力以及交互能力。美國國防高級研究計劃局開展的“腦計劃”中有一項“假肢革新”項目，用于恢復殘障者的感知能力。

4 結束語

目前混合腦機接口能夠實現一些相對不太復雜的生理信號的讀取與轉換輸出，實現對外部設備的簡單操控。未來，建立穩定、便攜化、良效耦合、精細化的交互系統，還有待人類對混合腦機接口的深入認知，包括人體機能構造、感知情緒影響、生理信號獲取與處理方法等方面的進一步研究，但相信混合腦機接口的應用和發展前景將十分廣闊。