腦機接口技術的仿人控制綜述*

韓震坤，陶 慶，2，關向恒

（1.新疆大學機械工程學院，烏魯木齊 830047；2.新疆大學機械工程博士后研究中心，烏魯木齊 830047）

0 引言

腦機接口（BCI）位于信號處理、機器學習和機器人系統的交叉點。腦機接口是一種記錄和處理人的大腦信號以執行所需動作的技術。腦電圖（EEG）、皮層電圖（ECoG）和近紅外光譜（NIRS）是幾種用于記錄大腦信號的方法，而腦電是腦機接口應用中最常用的方法之一［1－2］。腦機接口為開發一種利用大腦信號控制的新的交流機制提供了機會，這種機制對那些運動障礙的人非常有幫助［3］。例如，可以使用腦機接口開發腦控肢體、腦控椅子、腦控語音系統等應用。將這種通信機制結合起來，并與類人機器人對接，為復制人類的行動開辟了幾種可能性。

類人機器人［4－5］在形狀和動作范圍上與人體相似。這使得類人機器人成為接收來自大腦信號的激勵然后與其環境進行相應互動的完美候選者。由于類人機器人幾乎是人類的復制品，它可以被控制來執行人類執行的各種日常任務。因此，類人機器人有很大的潛力，它們可以執行大量預期的日常應用。這樣的人形機器人可以通過幫助殘疾人的日常活動來充當他們的助手。類人系統還可用于關鍵任務操作，如災難恢復［6－7］、軍事行動［8－10］等。然而，此類應用對系統的可靠性要求比以前的應用要高得多。這類系統的安全性也是一個主要問題。

因此，在這個方向上有越來越多的研究來保護這樣的系統，從而避免它們被黑客攻擊和濫用［11－13］。在設計BCI控制的仿人機器人時，腦控接口系統需要對輸入的腦信號進行轉換，生成控制信號給仿人，而傳統的方法是將腦信號單獨作為輸入信號。然而，有時存在訓練時間長、準確性差的問題。造成這一現象的主要因素之一是輸入信號的顯著變化。為了提高這類系統的性能，在過去的幾年里，研究人員積極探索多傳感器融合。這類系統通常被稱為混合腦－機接口系統，它們根據來自不同傳感器的輸入進行融合來做出控制決策。這種多傳感器融合的使用已經被證明提高了基于BCI的系統的魯棒性［14－15］。

本文介紹了國內外腦控技術的研究概況，論述和分析了腦電信號模式、控制信號轉換算法和應用系統研究等問題，探討了進一步研究的方向和思路，并對腦控的未來發展方向和應用前景進行了分析和展望。

1 研究現狀

1.1 國外研究現狀

2006年，布朗大學的研究人員使用植入的猶他州電極來證明侵入性腦－計算機接口技術可以用來控制計算機鼠標。2012年，研究小組證明，侵入性腦－計算機接口技術可以執行更復雜的操作。在這項研究中，癱瘓患者可以使用植入芯片來控制機器人手臂，如喂水或巧克力。匹茲堡大學2013年的一項研究證明，侵入式BCI技術不僅可以控制機器人手臂，甚至可以控制機器人手臂進行各種不同的手運動，從而滿足BCI用戶在日常生活中可能需要的手抓取功能。

2016年，來自巴特利紀念研究所和俄亥俄州立大學的一個聯合研究小組證實，具有侵襲性的猶他州啟用的腦－計算機接口不僅能區分不同的手部動作，也可以用來控制身體的殘疾人，讓其控制自己的手做出不同的手部動作。該研究表明了此技術可以用于控制表面功能性電刺激，收縮失去控制的肌肉，從而使殘疾人對自己的軀體重獲控制。這也是腦機接口研究史上第一次展示侵入式腦機接口直接讓殘疾人控制自己軀體。2017年，凱斯西儲大學用侵入式腦機接口控制植入式功能性電刺激裝置，使得脊柱截癱的殘疾人能夠通過意念控制自己的手臂，喂自己吃點東西。這一技術的突破，不僅使侵入腦機接口能夠控制患者自己的身體，而且也是人類史上首次采用腦信號到軀體控制設備（功能電刺激）的同時，采用了植入技術（2016年研究利用非植入性表面功能電刺激控制了肌肉）。2016年，荷蘭烏特勒支大學通過一種侵入腦機的技術，成功地讓一位患有漸凍癥、失去運動能力甚至眼動的患者利用意念進行計算機打字，其準確度達到了95%，使侵入腦機接口的技術應用程度又向前邁了一步。2017年2月，斯坦福大學研究小組報告了高性能的腦機接口應用系統，該系統使用顱內腦計算機進行字符輸入。研究人員在脊髓側索硬化癥和脊椎損傷癱瘓病人的運動皮層植入高密度微電極陣列，采集動作電位及高頻局部場，解碼該電極上神經活動信息，實現連續控制屏幕二維光標，并選擇字符的“點擊動作”，從而使患者能夠通過屏幕虛擬鍵盤輸入文本和外部交互。3名使用這一系統的患者分別實現了每分鐘輸入39.2、31.6和13.5個英文字符的速度，這也是運動障礙病人中目前最快的信息傳遞速度。

雖然這些侵入式腦機接口的研究很令人振奮，但是上述僅僅只是腦機接口技術需要實現的一方面：解碼大腦的信息，用于控制。腦機接口很重要的另外一方面則是編譯外界的信息，并將其送入大腦。直觀地說，人的本體感覺和觸覺。2014年，凱斯西儲大學團隊證明了使用外周神經刺激技術可以恢復截肢病人的手部觸覺，其后續研究表明此項技術能夠讓截肢病人區分不同的手部觸覺。而對于脊柱截癱病人的觸覺恢復，外周神經刺激不再有效，是因為神經信號無法越過脊柱損傷處再傳回大腦。對于脊柱截癱病人的觸覺回復，刺激的部位會選擇在脊柱損傷處之上更靠近大腦的地方。匹茲堡大學的研究人員于2016年展示了植入式猶他電極的腦機接口技術可以提供微小電流刺激給大腦的感覺中樞，從而恢復高位截癱病人的手部觸覺。

由于非侵入腦機接口的操作比較簡單，研發小組更多地使用了非侵入腦電圖EEG、腦磁圖MEG、近紅外光譜NIRS、功能磁共振成像FMRI等研究方法。其中，基于EEG的腦機接口系統是最常見的，廣泛應用于文本輸入、輪椅控制或機器人的控制。美國羅切斯特大學的一項研究表明，用戶可以利用P300信號來控制一些虛擬實現場景的對象，如開關或操縱虛擬汽車等等。奧地利g.tec公司研發的非入侵式腦機接口系統，可用于恢復腦中風后肢體運動的功能，并獲得FDA認證。日本大坂大學的研究小組發現，通過腦機接口訓練，幻肢在感覺運動皮層的表征減弱，可以有效地減少幻肢的疼痛感，使腦機接口訓練有望成為一種可以面向臨床的幻肢痛治療手段。美國加州大學圣迭戈分校研究小組開發了穩態視覺誘導電位計算機接口系統，該計算機將電極安裝在耳后的無毛發覆蓋地區，并在12分類任務中達到85%，信息傳遞率在30 bit／m左右。這一研究的進展為普通人群提供了有效的腦電收集和高效地使用腦機接口，為日常生活提供可行性的支持。2019年7月17日，Space X和特斯拉創始人埃隆馬斯克召開了一次發布會，宣布Neuralink公司成立兩年來的腦機接口技術取得了重大突破，他們已經找到了高效實現腦機接口的方法。這實際上本身就是一個全大腦機器人接口植入系統：它是利用進行神經移植手術的輔助機器人將數十條波長直徑僅為46μm的“線”通過植入連接到機器人的大腦內，以及植入專用神經技術圖像芯片和大腦信息條，然后通過USB－C接口直接進行讀取進入大腦內的信號。與以往的信息技術應用相比，新型的技術由于損傷人的大腦較小，傳輸數據更多。

1.2 國內研究現狀

中國在腦機接口研究方面也取得了很多成就。清華大學、浙江大學、華東理工大學、華南理工大學、上海交通大學、國防技術大學、天津大學、中科院、華中技術大學等已成立研究組，開展相關領域的研究，在國際BCI大賽上取得成績，在研究結果方面取得突破性進展。例如，清華大學在2001年就開始實現鼠標控制和電視按鍵控制。2006年，他們用運動的想象控制了兩只機器狗，進行足球比賽，并采用了基于運動的想象腦接口和功能電刺激技術進行康復的新方法。浙江大學早年研究的大白鼠“動物機器人”，通過意念控制試驗和猴子腦信號“遙控機械手”，完成了國內首次植入病人顱部的電極，然后用意念控制機械手的實驗，在“入侵式腦接口”領域處于國內領先地位。華東理工大學的研究小組提出，讓用戶想像漢字是一種以手寫為題材的想象運動任務，在分類方面取得顯著優于傳統格式的性能。該范式以國內用戶群體為基礎，設計范式任務，為BCI在中國推廣和應用提供良好思路。華南理工大學正研究以P300為基礎的文本輸入系統，該系統將運動想像、互聯網和電子郵件光標控制、生活輔助（例如，家用電器和輪椅）以及殘疾人的神經功能恢復。2015年，上海交通大學成功地實現了遠程對蟑螂進行控制的目標。2016年10月，天津大學神經工程隊主要負責在軌道上進行互動、腦負荷的設計和發展，將視覺功能及其他神經功能測試系統送入天宮二號，進行了國內首次空間腦機互動實驗。2017年，中國科學院半導體研究所與合作研究組進行了一次突破，提出與任務有關的組成分分析算法，進一步提高穩態VEP腦機接口通信速度為5.4 bit／s，優化結果為6.3 bit／s。這是目前為止最快的頭皮腦電機接口系統之一。華中科技大學的研究小組進行的是非侵入腦機接口系統安全的研究。

2 初步認識

本節討論理解本文中描述的工作所需的幾個初步基礎知識。

2.1 腦機接口

康復是腦－機接口應用的主要領域之一。腦機接口可以作為運動障礙者的溝通機制。對于有運動障礙的人來說，他們的神經系統不能按照大腦的信號執行。例如，大腦可能會想到抬起左手，但由于一個人的左手癱瘓（由于神經紊亂），手可能無法移動。然而，來自大腦的信號可以使用腦電圖電極直接感知，并可以用來控制可能模仿左臂抬起的機械臂［16］。目前已有各種研究討論了幾種腦－機接口的應用，這類應用極大地推動了腦機接口最近的發展，因為它為癱瘓或患有各種身體殘疾的人提供了新的交流可能性［17－30］。腦－機接口的工作分為3個階段。第一階段包括從大腦獲取輸入，通常使用腦電圖（EEG）；第二階段包括將來自大腦的輸入信號映射到預先定義的輸出命令的轉換算法；第三階段包括基于命令控制外部設備［31－33］。

接下來，對這3個階段進行更詳盡地討論。腦機接口（第一階段）：這個階段的數據包括與大腦活動中一個或幾個特性相關的信息。大腦有不同功能負責不同區域的處理。例如，與視覺有關的感知功能在大腦枕葉上進行處理。此外，額葉還負責計劃、決策和演講［34］。根據所需的動作，腦電傳感器可用于從大腦部分獲得大腦信號，以便進行深入處理。第二個階段，即翻譯算法，將獲得的大腦信號轉換成輸入，并將它翻譯為特定的輸出命令，該命令適用于某些動作。特別是，這一階段包括使用線性分析（LDA）、人工神經網絡（ANN）等各種分類方法，將動作劃分為特定的類別。轉換算法的主要特征是使用傳遞函數，適應所有情況。傳遞函數可以是線性的（例如LDA）或非線性的（例如神經網絡）。自適應算法可以使用復雜的機器學習算法來根據大腦進行調整［35］。第三階段，BCI輸出，處理輸出，為專用設備產生的控制輸出可以是離散的或連續的這兩種形式。離散輸出是可以用于在固定輸出（例如，字母選擇）中進行選擇的輸出，而連續輸出可以幫助導航（例如，光標移動）［17］。

2.2 混合腦機接口

傳統的腦機接口方法依賴于僅僅使用大腦信號來產生輸出，然而，據觀察，不同的受試者大腦信號的顯著特征可能不同，事實上，有時甚至對于同一受試者，不同的試驗的特征也不同［36］。此外，分析單個方面或特征有時會導致遺漏重要信息。這些挑戰使得使用機器學習從信號中指定和提取特征變得非常合適。過去，機器學習已經被用于各個應用領域來解決各種性質的挑戰［37－39］，并且在解決與BCI信號相關的挑戰方面也發現了很大的適用性。機器學習方法已經能夠顯著地提高解碼精度，正如本文后面討論的那樣。為了最大限度地提高系統的魯棒性，提高信息傳輸率，減少訓練時間，腦－機接口系統記錄和分析多個互補信號［40－41］。這些系統使用數據融合技術，并使用機器學習算法來融合互補信號。這種技術稱為混合腦機接口，如圖1所示［42］。

圖1 混合腦機接口（BCI）

任何混合式腦－機接口系統必須滿足4個主要標準，即［42－43］：

（1）腦－機接口系統必須使用腦信號；

（2）用戶應能夠有意地控制其中一個腦信號；

（3）腦－機接口系統應對信號進行實時處理；

（4）必須向用戶提供腦－機接口輸出的反饋。

通常，混合腦機接口使用的信號組合包括肌電圖［44］（EMG）＋腦電圖（EEG）、事件相關去同步（ERD）與穩態視覺誘發電位（SSVEP）、近紅外光譜（NIRS）與EEG、ERD與P300等的組合［45－46］。表1所示為上面討論的主要信號和方法的說明［47－49］。

表1 用于記錄特征的各種方法的比較分析

2.3 分類算法

在腦－機接口系統中，分類器的一個主要要求是在分類精度方面確保良好的性能［50］。例如用BCI控制輪椅的患者來做例子。現在，假設他們有控制BCI輪椅的設施，可以根據他們的想法左右、前后或向后移動輪椅。因此，當他們認為輪椅應向左移動的時候，BCI系統應該適當處理大腦的信號，并且必須把動作分類為“向左移動的”。該分類算法有多個特點（例如，大腦信號）用于輸入和區分不同的類別（如，在這個示例中所提供的左右、后兩個類別）。在執行這項任務時，重要的是仔細選擇特征，以便分類算法能夠顯著地區分多個類別［51］。作為一種輸入類型的BCI系統，用于控制類人機器人，其輸入有時間特征和頻率特征這兩個類型。時間特征表示信號隨時間變化產生的幅度，頻率特征表示信號的頻譜功率譜。通常，基于P300的BCI使用時間特征，而基于ERD和SSVEP的BCI使用頻率特征。

不同的分類器用于將從腦信號中提取的特征翻譯成控制命令［52－55］。這些分類器從簡單的線性分類器再到復雜的非線性都不同。一些常用的分類器有線性判別分析（LDA）、支持向量機（SVM）、人工神經網絡（ANN）和統計分類器［56］。下面將對這些分類方法進行詳細的分析討論。

（1）線性判別分析（LDA）

LDA是一種線性分類器。使用LDA的主要優點如下［57］。

①LDA的計算復雜度較小，從而減少了分類所需的時間。當在稍后討論的在線會話中使用該算法時，這是很有用的。

②LDA是一種易于使用和可視化的分類器。在處理非線性腦電圖數據時，線性可能是一個限制。另一方面，更簡單的技術，如LDA，在訓練數據集較小的情況下是合適的。LDA被用于許多由腦－機接口控制的類人應用程序中進行分類。LDA的典型決策邊界如圖2（a）所示，對于LDA，決策邊界是單連通的和凸的。圖中表示了3類分類，其中區域的顏色表示被預測的類。

圖2 不同分類器的決策邊界

（2）人工神經網絡（ANN）

人工神經網絡是一種非線性分類器。分類器的靈感來自于大腦的神經元結構。它用于逼近非線性函數［58－59］。使用人工神經網絡通常是計算密集型的，需要配置許多參數，與LDA相比，它的用法更復雜，生成輸出所需的計算時間也更長。然而，人工神經網絡具有很強的適應性，可以應用于各種各樣的用例。不幸的是，人工神經網絡容易過度擬合，因此參數／結構的選擇和規則化需要仔細地進行。ANN的判決邊界如圖2（b）所示，從圖中可以看出函數的非線性。該圖顯示了兩類，一類用紅色表示，另一類用藍色表示，這兩種顏色已經用人工神經網絡進行了分類。

（3）支持向量機（SVM）

支持向量機也是一種非線性分類器。但是，在使用SVM時，不需要設置配置。它在訓練數據較少的情況下很有用。在大多數情況下，它更好地概括了這一點。這使得它的使用對于BCI系統是有利的，因為一旦訓練好分類器，就可以對多個會話的大腦信號進行分類。即使對于單個用戶，在多個會話期間生成的特征也可能不同。因此，對過擬合不太敏感的模型可能表現得更好［57－60］。支持向量機在處理高維數據時表現也很好。然而，支持向量機有時比其他分類器速度慢，這在處理大數據時成為一個問題。圖2（c）所示為類之間具有最大邊際的決策邊界。

（4）統計分類器

這些分類器［61］基于每個新實例的輸入特征，使用后驗概率來選擇概率最高的類別。這種類型的分類器利用先驗知識對實例進行分類。這些分類器在不確定性的情況下也表現得很好，這在處理大腦信號時是可以預期的。信號的不確定性可能是由疲勞或學習效應引起的。表2所示為BCI中應用的典型分類器。

表2 分類算法比較

2.4 應用系統研究

目前，腦控系統研究多在實驗室和現場研究中，而實際應用系統則較少。然而，與最初的研究相比，許多基于BCI的大腦控制系統實現了在線的實時控制和回饋，并且一些應用系統已經開始發布。從應用角度看，它可分為兩大類：醫學和非醫學。在醫療領域，它主要幫助正常思考和身體障礙的患者外部設備進行外部交流和控制，如基于BCI的智能輪椅、神經假肢、虛擬打字和操作機器人等等。BCI在非醫學領域中已被應用到操作人員的功能狀態監測、游戲娛樂、智能家庭等領域中。其中，游戲娛樂是一種成功的應用方式。利用BCI技術，人們可以通過對鼠標、鍵盤或操作桿進行思想控制來完成視頻游戲，也可以玩機器人足球。

從實際角度看，目前的腦－機接口技術還存在許多問題。在腦電信號模式和控制信號轉換算法方面，除了上述問題外，還需要重點解決以下幾個問題［62］。

（1）腦電信號的更新設備。BCI研究的第一個問題就是穩定地獲取有效信號，以確定系統是否能夠準確地、快速地運行，這是BCI研究的關鍵。通過改進傳感器、放大器等硬件采集設備，在采集過程中有效抑制非腦信號，從而解決因頭皮、顱骨等影響而引起的腦電信號弱化、干擾等問題，提高了腦電信號的質量。另外，設備易用和便攜性也需要不斷提升。一些企業生產便攜腦電圖捕捉裝置。這些攜帶設備雖然還沒有完成，但它們是BCI應用中的一個重要步驟。

（2）大腦控制系統的安全。腦控系統是人機一體化高度的系統，其安全性是首要考慮因素之一。近年來，為了考慮安全，一項研究提出了“腦開關”：在實際的腦控系統中，為了避免非任務狀態下產生任務指令，腦機接口系統切換，也稱腦開關，是必要的。在基于計算機信號的輪椅控制系統中，對假肢的操縱在實際運作中的控制系統指令錯誤會使用戶陷入危險，也可能造成許多不必要的麻煩，而這一系統主要應用對象是無法正常活動的殘疾人，他們經常很難打開具體操作按鈕來控制系統。如何尋找安全、可靠的腦開關信號，也是大腦控制系統應用于實際運行的一個值得研究的方向。

（3）對人腦控制系統人機的適應性。一方面，有必要對BCI性能的問題進一步研究；另一方面，應進一步檢查BCI系統用戶的情況。由于使用終端的人，人的狀態和感受也會對系統性能產生直接的影響，因此判斷腦機界面的范例和設置參數，必須考慮人的情況，因此設計出一個高用戶友好度的大腦界面控制系統，可以真正地為人類服務。

（4）BCI系統性能評價的統一標準。由于現有的研究基本上處于實驗室階段，沒有一個統一的理論體系和規范，兼容性較差。目前，BCI主要從人機互動評估方面，如信息傳遞速率，延遲和反應時間，腦負荷和用戶的友好度等。從應用產品的商品化角度來看，科學評估標準的進一步完善與統一需要。

3 結束語

40多年來，腦控系統研究取得了快速的發展。在未來，作為多學科交叉研究的新興領域，腦控系統有著廣闊的發展前景，也面臨著一系列的嚴峻挑戰，目前主流消費型腦機接口的研究以非侵入型腦電技術為主，盡管相對于侵入型技術更容易得到分辨率較高的分辨信號，但風險和成本仍然很高。然而，隨著大量人才和資本涌入，非侵入腦電技術的發展必然會向小型、便攜、可穿戴和簡單的易用性方向邁進。

而對于非侵入性大腦機器的接口技術來說，在未來，如果能夠解決了由于人體的各種排異生理反應和人類顱骨細胞對外環境傳遞信息的巨大減損，再加之對人類大腦內部神經元的深入科學研究，將會更有望對目前人類整體思維力和意識狀態進行實時地準確認識。這一點可以有助于人類計算機更好地深入了解使用人腦的一些大腦生理活動及其特性，并可以指導人類計算機更好地學習模仿使用人腦；另一方面，可以幫助使人類計算機更好地與其他人相互工作。

總的說來，目前腦機接口技術仍然只能對計算機信號進行讀取轉換，從而對計算機／機器人進行簡單的控制。要想達到更為復雜、精細的交互與功能，實現“想即得”，甚至可以完美地將思想與計算機進行對接，實現通過“下載”熟練掌握新的知識和新技術，而這還要走很長的路。