身體現象學視閾下多模態腦機接口的感知他心能力及應用前景分析

靳二峰，宋保林

（1.河南開放大學人文與設計學院，河南鄭州 450046；2.河南大學馬克思主義學院/河南大學馬克思主義研究院，河南開封 475000）

腦機接口（brain-computer interface，BCI）提供了大腦與計算機或其他外部設備之間的直接通信連接。通過BCI 技術，可將人類的大腦設置成終端，連接外部設備進而使大腦與其他設備建立直接通信，實現信息的雙向流動，即人類可以用自己的意念去控制外部設備。自1924 年德國精神醫學家漢斯·伯格（Hans Berger）在一名顱骨缺陷的病人頭皮上首次記錄到腦電波至今，BCI 技術經歷了大概100 年的研發歷程。隨著信息學、神經學、材料學、生物學、醫學、心理學、工程學等多學科領域的快速發展，目前BCI 技術已逐步滲透人們的日常生產生活。2023 年8 月《自然》雜志發表了兩篇論文報告了新的BCI 裝置，不僅能將大腦活動解碼為語言，而且更迅速、更準確且覆蓋更大詞匯量，為癱瘓病人提供了更多可能性，讓他們能更自然地進行交流，展示了在幫助嚴重癱瘓人群恢復溝通能力方面的技術進步。我國于2021 年正式啟動“中國腦計劃”，對腦科學與類腦研究作出了重點部署，工信部把腦機接口作為培育未來產業發展的重要方向，加強腦機接口應用場景的探索，加速推動腦機接口產業蓬勃發展。由于單模態腦機接口容易受到各種噪聲干擾，為提高腦機接口的系統穩定性和魯棒性，多模態腦機接口日益成為未來研究的重要趨勢之一。

1 多模態腦機接口含義界定及研究綜述

1.1 多模態腦機接口含義及特質

傳統的單一模態腦機接口在性能方面尚有一定局限。如根據Choi 等［1］、Pfurtscheller 等［2］的研究，以運動想象腦機接口（MI）為例，有大約20%的用戶使用的準確率低于70%，即我們常說的腦機接口盲（BCI illiteracy）。為了進一步提高BCI 技術的準確性和可靠性，研究人員開始探索多模態腦機接口（multimodal brain-computer interface，mBCI）。mBCI 技術可以將腦電信號、眼動信號、肌電信號等多種信號融合起來，以提高BCI 技術的準確性和可靠性。其核心是信號融合和信號解碼。信號融合是指采用特征級融合以及決策級融合等方法，將多種信號進行融合。將不同信號的特征進行融合的特征級融合以及將不同信號的決策結果進行融合的決策級融合，分別提高信號的區分度和準確性，融合后的信號轉化為對應的控制命令。而常用的信號解碼方法包括機器學習、神經網絡等，這些方法可以通過對大量數據的學習和訓練，提高信號解碼的可靠性以及準確性。多模態腦機接口通常是由單一模態腦機接口與其他單一模態腦機接口或者其他裝置所組成的系統［2］，主要包括多種腦電模式的混合、多種刺激誘發模式的混合以及多種采集方式的混合3種類型［3］。多模態腦機接口的工作流程主要包括多模態信號的采集和獲取，信號處理、信號輸出和執行以及將信號反饋給用戶等環節（見圖1）。其中，信號的輸出和執行即為功能應用，在運動、感覺以及感情等方面感知用戶的心靈世界，以期達到替代、恢復、增強、改善、補充的目的［4］。

圖1 多模態腦機接口基本原理

多模態腦機接口是未來腦機接口研究的重要趨勢，其本質依然是在大腦與外部設備之間創建直接的接口，多模態腦機接口的信息輸入至少包括一種腦信號。與傳統的單一模態腦機接口相比，多模態腦機接口關注多種腦信號、多種編碼技術以及多種采集方式的混合，除此之外，多模態腦機接口與單一模態腦機接口在信號處理、功能應用以及神經反饋等方面具有一致性。

多模態腦機接口技術具有以下兩個方面的特點：

（1）綜合性。主要包括3 種情形：第一種是多種腦信號模式的混合。不同類型的腦信號承載的信息不完全一樣，彼此之間具有交叉與互補，融合不同類型的腦信號有助于增強腦機接口的功能。多模態腦機接口獲取腦信號的重要方式包括腦電圖（EEG）、功能性磁共振成像技術（fMRI）、腦磁圖（MEG）以及功能近紅外光譜成像技術（fNIRS）等。彼此的融合可起到優勢互補的作用，諸如腦電圖（EEG）與功能近紅外光譜成像技術（fNIRS）具有互補融合性［5］。第二種是多種刺激誘發模式的混合或者多種編碼技術范式，如P300 電位、穩態視覺誘發電位（SSVEP）以及運動想象（MI）等的混合。第三種是多種采集方式的混合，如位姿信號、腦信號、近紅外功能信號、眼電信號以及肌電信號等。近年來致力于探知他人心靈情感的情感腦機接口是多種采集方式混合的例證。

（2）風險性。任何事物都是辯證的，多模態腦機接口技術在給人類帶來福祉的同時，也伴隨技術風險和倫理風險。主要包括通過穿戴式外部設備獲取大腦信號、依靠腦電和腦磁等方式實現腦成像的非侵入式多模態腦機接口，操作簡易、安全系數高且技術風險較低。與非侵入式多模態腦機接口相比，侵入式多模態腦機接口和半侵入式多模態腦機接口均需要通過外科手術，將采集電極放置在大腦皮層或者顱腔內，雖然獲取的信息儲量更大，但是風險較大。一方面，外科手術可能會給大腦產生不同程度的損傷，手術后有感染風險，后期維護采集電極需要耗費資金和精力；其次，植入的采集電極是人體內的外部設備，人的免疫系統對此有明顯的排異反應，這種排異反應會損害使用者的身體健康，也會降低多模態腦機接口設備的使用效果。另外，多模態腦機接口除了伴隨技術風險外，還伴隨隱私、公平和自由意志等倫理風險。多模態腦機接口可以從大腦中直接提取信息，獲取用戶大腦中潛藏的個體意識以及情感等個體信息，這些隱私信息在具體運用過程中有可能被泄露或者被非法利用，帶來一定的倫理風險；更甚之，當多模態腦機接口發展到腦與機雙向交互階段時，多模態腦機接口可能會剝奪人類的自由意志，令人作出違背自身想法的行為。多模態腦機接口一旦向大腦發送錯誤信號，就會刺激人們大腦作出錯誤判斷，并按照腦機接口的指令作出錯誤行為，這明顯違背和剝奪了人類的自由意志，帶來相關倫理風險。

1.2 多模態腦機接口技術發展研究及未來趨勢

通過梳理多模態學術史，奧地利格拉茨理工大學的Gert Pfurtscheller較早開展多模態腦機接口研究，此后，多模態腦機接口研究不斷展開，呈現出模態不斷增多以及互補性不斷增強的趨勢。在腦機接口技術發展的100 年時間內，學術界沿著從單一模態腦機接口向多模態腦機接口轉化的思路開展了不同類型的研究與開發。腦電圖（EEG）信號具有時間分辨率較高、采集設備價位相對低廉、采集便捷等優點，是目前腦機接口研究中較常用的獲取腦信號的方法。單一模態的腦機接口主要依靠采集EEG 信號，主要有基于慢皮層電位（SCP）的腦機接口、基于感覺運動節律（SMR）的腦機接口、基于運動想象（MI）的腦機接口、基于P300 的腦機接口以及基于穩態視覺誘發電位（SSVEP）的腦機接口等。其中，穩態視覺誘發電位（SSVEP）、P300 電位等是神經系統響應外部刺激而產生的誘發電位，慢皮層電位（SCP）、與運動想象相關的電位（MI）以及錯誤相關負電位等是由受試者積極主動開展具體思維活動產生的自發電位。單一模態的腦機接口存在自身的局限性［6］，諸如基于SSVEP 的BCI 系統依賴于人的視覺且對刺激器的要求較高，需要優化刺激器顏色、頻率、材質和大小等參數，以使被試能夠集中精力關注特定頻率；基于P300 的BCI 系統在腦電信號發出后不能立即檢測到，只有經過一定時間延遲后才能檢測到等。

李遠清等［7］結合運動想象EEG 以及P300 電位，開發了一套可以應用到發送郵件以及瀏覽網頁等互聯網場合的多模態BCI，該多模態BCI 可以控制光標左右上下不同移動。此后，李遠清等［8］又提出了一種實現腦控輪椅的啟動/停止命令的多模態BCI，這種多模態BCI 將SSVEP 和P300 結合起來以提高異步BCI 系統的控制能力。清華大學高上凱團隊開發了基于時刻視覺誘發電位（mVEP）以及運動想象EEG 的多模態BCI，可以完成拼寫字符以及開關界面等計算機頁面操作功能［9］。國外對多模態BCI 也有較多研究，如Allison 團隊［10］提出一種將MI 與SSVEP 結合以提升系統控制指令精度的多模態BCI，結果表明其性能得到明顯提升。在三模態方面，藺冬雪［11］設計了將SSVEP、運動想象以及μ 節律結合的三模態腦機接口，用于控制機器人行走到指定位置并完成抓取動作。多模態腦機接口研發過程中呈現明顯的互補性，并非將任意模態腦機接口組合。例如，EEG 和fNIRS 的組合，充分利用了二者在時空方面的互補性，EEG 的時間分辨率較高，而fNIRS 的空間分辨率較高，二者的融合可以提高腦機接口5%的性能［12］；Safaie 等人［13］開發了便于臨床以及日常使用的無線便攜式多模態BCI，該多模態BCI 由EEG 和NIRS 多模態采集系統構成，體現了多模態腦機接口的互補性特點。近年來，多模態腦機接口的互補性研究取得積極進展，其中，周亞軍［14］為了提高異步BCI 系統的性能，提出了一種EOG 與SSVEP 信號相結合的新方法，使用EOG信號對應的波形檢測方法來鑒別眨眼意圖，檢測SSVEP 信號則運用基于多頻帶組合的CCA 方法，兩種信號融合的實驗結果表明多模態異步BCI 系統在性能上有所提升。

但是在目前實驗階段，多模態腦機接口在感知他心方面的精準度仍需提高，多模態BCI 商業化落地尚需要一定時間。基于此，有必要從身體現象學視角反思多模態腦機接口的未來。多模態腦機接口的本質是他心感知，感知他心需要借鑒身體現象學的研究成果以推進多模態腦機接口的研究和開發。每個人大腦大約有860 億個神經元和100 萬億個突觸，這些突觸和神經元構成一個錯綜復雜的龐大網絡，負責處理我們的運動、感覺、語言、思維、感情以及記憶等各種功能。目前主流的腦機接口主要通過采集腦信號來感知用戶心靈，當我們尚未真正揭開大腦內在運行機制的時候，我們僅僅依靠微弱的腦信號來讀取用戶心靈，其據證是不充分的。而且，目前多模態腦機接口的多模態是有限的，多數多模態腦機接口實際上仍是單一模態，諸如EEG 和fNIRS 的組合雖然具有互補性，但都是采集腦信號，沒有更加全面地獲取感知他人心靈的生理和非生理信號，尚不足以最大限度感知他人心靈。以感知他人情緒為例，如果我們綜合眼動、肢體行為以及腦信號等更多模態信息，可能會更真切地感知他人的喜怒哀樂。

2 多模態腦機接口感知他心的身體現象學審視

2.1 身體現象學與他心感知

身體交互侵越及多層社交是自我個體感知他人心靈的重要因素。基于身體交互侵越及多層社交，自我個體感知到他人的喜、怒、哀、樂等情緒。梅洛·龐蒂（Merleau Ponty）給予身體因素高度重視，致力于身體現象學研究，以期超越身心二元的傳統觀點。融合社交以及互惠社交是梅洛·龐蒂分析他心感知問題時經常涉及到的重要范疇。按照梅洛·龐蒂的說法，融合社交在嬰幼兒早期就出現了，這對其后的互惠社交持續產生影響。為防止成人思維習慣或者語言風格歪曲兒童心靈，梅洛·龐蒂提出了反對用成人思維或者概念合理化兒童體驗的皮亞杰式觀點［15］。丹·扎哈維（Dan Zahavi）和肖恩·加拉格爾（Shaun Gallagher）也有類似觀點。丹·扎哈維等［16］認為嬰兒出生兩個月出現初級主體間性，肖恩·加拉格爾等［17］則認為胎兒在母體中觸碰、運動以及協調過程中形成初步的身體動覺圖式，彌補了具身理論以及交互理論僅關注當下狀態卻忽視早期經驗生成的不足。融合社交階段嬰幼兒的感知覺具有整體性，并運用整體聯覺來理解他人或者世界，身體不同部位的連接不是依靠經驗積累獲得，運用視覺語言表達觸覺素材以及身體不同部位連接是身體本身一下子同時展現的［18］。

涉及到主體間性以及具身性的互惠社交是融合社交的延續和展現。梅洛·龐蒂［19］認為自我的世界被身體周圍旋渦吸引，自我呈現給他者以及呈現給他者身上的另一種行為而非僅向自我呈現，通過語言公共領域，自我與他者互通觀點以及在同一個世界共在。互惠社交階段，自我與他者的連接是基于概念化情境共存的狀態，如果沒有相同或者近似的概念化情境，彼此之間的交流和溝通將會出現一定程度的阻滯。互惠社交近似于理論說和模塊說的主體交互具身性，是人類發展更加成熟時期產生的理論交互主體性［20］。

2.2 多模態腦機接口感知他心的理論困境

從身體現象學回到多模態腦機接口感知他心的本質探討，多模態腦機接口僅是一個與大腦直接相連的系統或者設備，包括芯片、采集設備、頭皮電極、傳感器、軟件平臺、控制系統、數據分析和管理工具等，不具備人類的血肉之軀，希望腦機接口像人類一樣瞬間感知他人心靈是一種奢望。腦機接口不具備人類的血肉之軀，這是事實，不否定腦機接口可以感知人類心靈，只不過是感知的程度較微弱。身體現象學視閾下，腦機之間缺失身體交互侵越及多層社交，不意味著沒有多層社交的可能。人與人之間的融合社交與互惠社交組成的多層社交是自我個體讀懂他人心靈的重要保障。融合社交出現在嬰兒早期，嬰兒雖不能區分自我與他人的明顯界限，但是嬰兒與世界融為一體，無形地積淀自我感知他人心靈的生活經驗。融合社交是日后互惠社交的前提和基礎，也是自我個體瞬間讀懂他人心靈的重要條件，成人在交際過程中之所以能夠一眼看出對方的喜怒哀樂，往往與融合社交階段積淀的生活經驗密切相關。從這個角度看，多模態腦機接口不具備血肉之軀，不具有融合社交能力，自然不能真切地感知用戶的心靈世界。

雖然多模態腦機接口不具備融合社交能力，但是在互惠社交方面具有一定優勢。多模態腦機接口感知用戶心靈的能力，與讀心理論的理論說和模塊說相近，而與模擬說相距甚遠。人類大腦不同的意圖對應不同的腦信號，多模態腦機接口采集腦信號并對腦信號進行范式編碼以及解碼，感知用戶的心靈世界，符合讀心理論說的因果原則。人們大腦不同的意圖還與不同的腦區相關，通過檢測不同腦區的腦電信號，可以解碼出用戶的心靈意向，與讀心模塊說有相通之處。以運動想象（MI）范式為例，不同的身體部位運動想象會引起對應的身體部位感覺運動皮層區域8-12Hzμ 節律能量下降［21］，這體現了多模態腦機接口感知他心所遵從的因果原則和模塊理論。據此，多模態腦機接口通過識別不同腦區μ 節律變化狀況來感知用戶的運動意向，從而判斷用戶運動想象的身體具體部位。多模態腦機接口不具備血肉之軀以及心靈狀態，不具備以其心靈狀態模擬或者推知用戶的心靈狀態的條件，所以，多模態腦機接口與鏡像他人心靈的讀心模擬說有本質區別。總之，多模態腦機接口關注讀心的因果原則和模塊理論，能夠與人類開展相應的互惠社交，在一定程度上能夠解碼用戶的心靈世界，但是，腦機接口不具備與人類融合社交的能力，不能在用戶眼中感知其存在，不能在其存在中真切地感知用戶心靈，也不能全面整體地對用戶心靈進行范式編碼和解碼，所以多模態腦機接口感知用戶心靈的程度是微弱的和不真切的。

3 多模態腦機接口感知他心能力提升策略分析

3.1 增加盡可能多的模態以感知他心

目前多模態腦機接口的多模態是有局限性的，而且腦信號并非強度大且易受到各種噪聲干擾，所以目前多模態腦機接口不足以真切地感知用戶的心靈世界。人類的運動、感知和感情等意向，并非僅僅表征為腦信號或者一兩種信號，還可以表征為眼動、肢體語言、會話語言以及各種生理和非生理信號，自我個體綜合視覺、聽覺、觸覺、嗅覺以及味覺等不同感知覺，才有可能感知他人心靈。正如心靈哲學家雅克布·霍威［22］所說，自我個體讀取他人心靈過程中，是由聲音、視覺等個別估計的各自精度加權而獲得的統合，比單純的、原始的某一種感覺估計更加精準，更有助于感知他人心靈。多模態腦機接口不具備血肉之軀，不能與人類進行融合社交，人類期望其真正接近讀懂用戶心靈，有必要增加盡可能多的模態。

多模態腦機接口感知他心的首要環節是獲取更多模態信息，既包括文本呈現、語音信號、肢體表情和人體行為等外在信息，也包括心電、身體周邊電、皮層腦電、頭皮腦電、功能近紅外光譜、功能性磁共振成像、腦磁等需要依托醫學成像技術呈現的可視信號。這些多模態信息的可信度具有明顯梯度和差異，腦電、心電和身體周邊電相比于語音信號、肢體表情和人體行為，更具有現實性和真實度，是信息輸入過程中可信度較高的模態。任何事物都是辯證的，完全采集高保真度的腦電、心電和身體周邊電的技術尚不完善，依靠腦電、心電或者身體電來讀取人類心靈尚處于初步階段，未來隨著技術快速發展，多模態腦機接口感知他心的能力將會大大提升。文本呈現、語音信號、肢體表情、人體行為、心電、腦電以及身體周邊電等多模態信息各有優勢和不足，諸如文本呈現或者會話語言的欺騙性、人體行為的假動作以及心電腦電和身體周邊電采集的低保真度等因素，都會影響到多模態腦機接口感知他心的效果，唯有綜合多種模態輸入才能為多模態腦機接口讀取和感知人類心靈提供最大可能性。

3.2 對多模態信息進行加工和處理

多模態腦機接口檢測到多模態信息，為其感知他心提供了豐富素材，但是紛繁復雜的多模態信息容易造成計算復雜度提高或者冗余，增加多模態腦機接口感知他心的難度。如同自我個體獲取豐富的外部信息確實為自我感知他人心靈提供了前提和基礎，但是如果不對紛繁復雜的信息進行去粗取精、去偽存真、由此及彼和由表及里的加工制作，則會帶來信息臃腫，以至于影響自我感知他人心靈。多模態腦機接口采集到豐富翔實的多模態信息后，唯有對多模態信息進行降噪、劃歸和排序，才能更好地處理各種信息。自我個體往往借助外部語言掩飾自我真實心靈，卻不能掩飾自我生理信號或者肢體語言。基于此，多模態腦機接口感知他心過程中需要給予可信度高的生理信號、肢體語言以及肢體表情分配更多權重，而對于可信度低的語音信號或者文本呈現，則需要增加真假辨識機制并分配適量權重。此外，采集到多模態信息后，融合多模態信息以獲得更加穩健的特征表示，可以為多模態腦機接口感知用戶心靈提供良好鋪墊。

實驗表明，更多模態的腦機接口能較真切地感知用戶心靈。采用卷積神經網絡以及梅爾頻率倒譜系數分類和識別情感［23］，驗證了多模態融合有助于帶來較好的情感識別和讀心效果。如果采用單一或者較少模態，腦機接口感知他心的效果則不理想。據上海交通大學呂寶糧教授介紹，多模態信號對于情感腦機接口顯得特別重要，從單獨使用眼動信號或者腦電信號，到將二者融合起來，情緒識別率由78%提升到88%［24］。目前，多模態腦機接口在實驗室取得積極進展，依托腦機接口技術將腦電信號轉化為控制外部設備的命令，以實現患者大腦意識控制外部設備的目的。2023 年，班念銘等人提出了一種基于多模態腦機接口的智能小車自動駕駛系統，把陀螺儀信號、腦電信號以及眼電信號3 種模態信號融合在一起來控制小車，其中，腦電信號、眼電信號和陀螺儀信號分別控制小車的速度、啟停以及轉向功能，實驗結果表明，受試者基于該系統控制小車的平均準確率達到了92.47%［25］。可見，多模態腦機接口更能真切地感知用戶的心靈世界，是未來腦機接口發展的重要方向和趨勢。

4 多模態腦機接口的應用前景

本研究闡述的多模態腦機接口雖然尚處于實驗階段，但是已經展現出較好性能并蘊含較大的技術潛力，未來在健康醫療、教育數字化以及智能家居等其他方面有廣闊應用前景。

4.1 康復醫療

隨著我國人口老齡化的發展，康復需求總人數在不斷攀升，然而傳統的康復設備不能很好地滿足患者康復需求。在此背景下，隨著腦科學、信息科學以及材料學等學科的快速發展，作為交叉科學的腦機接口不斷取得研發突破，未來在康復醫療領域的應用逐漸引起人們的密切關注。多模態腦機接口技術未來在康復醫療領域的應用非常廣泛，其中信息交流、肢體運動以及神經恢復是具有代表性的方面。多模態腦機接口在信息交流方面的應用，主要針對由于自閉癥、神經元疾病、中風以及腦癱等疾病導致的語言功能障礙患者，這些患者有表達自我想法、與人溝通的期望，但是很難用外顯的會話語言等形式表達出來，在這種情況下，多模態腦機接口，融合腦信號、眼動以及面部表情等多模態信息，并把人類擁有的概念化情境賦予到腦機接口范式編碼以及解碼算法技術中，有助于獲取用戶的語言意圖。多模態腦機接口不僅可以更真切地獲取用戶的語言意向，而且可近似獲取語言附隨的情境或者感情色彩。與信息交流的功能輔助類似，多模態腦機接口有助于全面獲取用戶的運動意圖，控制外骨骼以及假肢等外部設備，從而幫助用戶恢復部分運動能力，也可以在獲取用戶運動意圖后，在患肢部位構筑新的人工神經通路，經過反復訓練促進神經通路的重組或者可塑性修復。

4.2 教育數字化

當前，在互聯網、云計算、大數據、人工智能（AI）等現代信息技術深刻改變人類思維、生產、生活以及學習方式的背景下，積極推進教育數字化、推動教育數字化轉型，實現教育公平和更高質量的發展是滿足人民對美好生活的需要，更是建設教育強國的時代要求。因此，腦機接口技術作為教育數字化的重要表現形式，未來將在終身學習方面有著廣闊應用前景。以開放教育為例，它是促進教育公平和擴大教育機會的重要方式，是現代信息技術在教育中應用與創新的重要模式。與傳統的教育模式相比較，開放教育的教育對象、學習形式、辦學模式、培養模式、學習資源以及成果評價等，均具有開放性，而且開放教育依托現代信息技術，一般采用遠程授課模式，突破時空對教與學活動的限制，擴大優質教育資源的覆蓋面。凡事都是辯證的，開放教育在取得積極成效的同時，也存在有待改進的諸多方面，諸如，授課老師與學生處于虛擬空間中，受時空所限，師生互動的真實感缺乏，授課老師不能很好地把握學習者的接受能力和學習效果等，基于此，多模態腦機接口技術有助于全面、真切地讀取學生的學習狀態和心理訴求，授課老師據此可不斷改進教學方法、更新教學內容，提高遠程授課的效果。

多模態腦機接口未來在教育數字化中的應用更有實效。通過多模態腦機接口技術，不僅獲取學生的腦信號，還獲取學生在學習過程中的會話語言、肢體行為、面部表情、眼動以及各種生理和非生理信號，融合多模態信息以獲得更加穩健的特征表示，在范式編碼技術和解碼算法技術中賦予概念化情境，有助于真實、全面和翔實地獲取學生學習過程中的注意力、認知負荷、情緒狀態、焦慮程度、思維變化、身體狀況以及專注程度，據此，一方面授課老師在授課過程中及時提醒學生關注授課要點、講解知識難點以及改變教學策略，另一方面授課老師課后通過分析學生上課的綜合表現與反饋，總結授課過程普遍存在的問題以及學生的接受程度，以及時調整授課理念、授課內容以及授課方式。

4.3 其他方面的具體應用

未來多模態腦機接口不僅可以應用在康復醫療和教育數字化方面，也可應用在智能家居、自動駕駛、軍事以及娛樂等多領域。智能家居是腦機接口、人工智能與物聯網跨領域結合的產物，多模態腦機接口通過獲取用戶的腦信號、肢體語言、會話語言以及面部表情等多模態信息，根據用戶綜合反映出來的需求實現開關燈、開關門以及開關窗簾等日常生活功能。駕駛員良好的駕駛狀態是駕駛員和乘客生命安全的重要保障，單一模態腦機接口僅能獲取微弱且有噪聲的腦信號，不能精準判斷駕駛員的疲勞狀態和注意力程度，基于此，多模態腦機接口可以獲取駕駛員在駕駛過程中的腦信號、肢體行為、眼動以及面部表情等多模態信息，進而全面掌控駕駛員的疲勞程度以及附隨的情緒變化，以降低由于疲勞駕駛以及極端情緒導致事故發生的概率。此外，多模態腦機接口在軍事以及娛樂等領域也將具有廣闊應用前景，未來其將日益滲透到我們的日常生產生活和科學研究中。

5 結論

本研究圍繞多模態腦機接口感知他心過程中存在的缺陷和不足，比照人與人之間心靈感知理論，分析了多模態腦機接口感知他心的能力提升策略和應用前景。與單一模態腦機接口相比較，多模態腦機接口更能真切地感知用戶的心靈世界，在直接讀取他人心靈方面邁出重要一步，未來將在康復醫療、教育數字化、智能家居、自動駕駛、軍事以及娛樂等多領域有廣闊應用前景。我國腦機接口市場規模巨大，多模態腦機接口是我國創新驅動發展的重要技術因素，同時也是高風險技術創新，在研發過程中的不確定因素較多，而且我國腦機接口行業與發達國家尚有一定差距，所以我國需要在政策、資金以及人才等方面給予支持，鼓勵創新、容忍失敗，為其快速健康發展營造良好的創新環境，以期早日實現商業化落地。任何事物都是辯證的，未來積極發展多模態腦機接口的同時，也需要加強該項技術的倫理規約和法律規范，建立健全道德準則、倫理框架以及法律治理體系，充分考量該項技術的安全性和有效性問題，以期服務于人民對美好生活需求的夙愿，也服務于中華民族偉大復興的歷史征程。