腦機接口意念打字準確率超99％

上次是馬斯克Neuralink公司實現了猴子用意念控制光標打游戲。這次，斯坦福大學、霍華德休斯醫學研究所（HHMI）、布朗大學等團隊用BCI實現了癱瘓患者將腦中的“筆跡”轉化成屏幕字句。

“這項研究代表了BCI和機器學習技術發展的重要里程碑，相關研究正在揭示人腦如何控制像通訊這樣復雜的過程，為改善神經損傷和癱瘓者的生活提供了重要基礎。”美國國立衛生研究院腦科學計劃主任約翰恩蓋博士在接受媒體采訪時說道。

研究人員開發了一種皮質內BCI，首次對癱瘓患者書寫字母相關的神經信號進行遞歸神經網絡解碼，然后在電腦屏幕上實時顯示這些字母的打字版本。

相關研究以《通過手寫實現高性能意識文本轉換》為題發表在《自然》，并且登上《自然》封面。該研究為BCI開辟了一種新方法，并證明了癱瘓患者在神經麻痹多年后仍可實現精準解碼、快速、靈巧運動。

首次實現解碼手寫“筆跡”

該研究論文作者之一、HHMI研究員克里希納謝諾伊在接受媒體采訪時表示，“此次研究的最大的創新是首次破譯了與手寫筆跡有關的大腦信號，可以讓癱瘓患者不用手也能快速打字。”

據了解，該團隊的研究參與者是一位65歲的截癱患者，其手因脊髓損傷而癱瘓。通過使用該BCI技術，其字母輸入在線原始精度為94.1%，離線通用精度為99%以上。

那么，該技術是如何做到“解讀”大腦信號的呢？

該技術的作用原理是“兩個微小的植入電極陣列將控制手和手臂的大腦區域信息傳遞給相關算法”，該算法將其轉換為出現在屏幕上的字母。

首先，要求參與者復制屏幕上顯示的字母，其中包括26個小寫字母以及一些標點符號：“>”用作空格，“”用作句號。同時，植入的電極記錄了大約200個體神經元的大腦活動，這些神經元在大腦“寫”每個個體特征時反應不同。

經過一系列培訓后，BCI的計算機算法學習了如何識別與單個字母相對應的神經模式，從而使參與者可以”編寫”以前未打印過的新句子，并且計算機可以實時顯示字母。

斯坦福大學HHMI研究科學家弗蘭克威利特博士在接受媒體采訪時說：“這種方法是對現有通訊BCI的顯著改進，后者依賴于使用大腦在屏幕上移動光標來‘鍵入單詞。嘗試寫每個字母會在大腦中產生獨特的活動模式，使計算機更容易以更高的準確性和速度來識別所寫的內容。”

其實，該技術的底層算法邏輯與siri有相似之處。例如，問siri“今天天氣如何”，Siri經多次系統訓練、識別、解讀，最后做出反應。

簡單來講，首先提取腦電波信號，然后生成可視化圖像處理，再對可視化的圖像對應進行信號識別。

密西根州立大學生物醫學工程系助理教授李金星表示，原始的可視化圖像并不代表就是最后識別的結果，研究人員通過一系列訓練，不斷對信號進行修正和改善。識別的精準度從試驗初期的30%提升到了99%。

李金星認為，該技術最大的突破是首次實現了用腦電波手寫打字。他進一步解釋，“實現手寫字母的輸出是對非常靈巧的動作的解碼，用戶在想象字母的手寫筆跡時，腦電波的信號比移動光標更加豐富，因此也更加精準。”

除此之外，該技術還具有輸入速度快、使用靈活的優點。

速度快

華中科技大學AI與自動化學院腦機接口與機器學習實驗室主任伍冬睿表示，該技術輸入速度是一大進步，可接近正常人在智能手機的打字速度。研究中試驗者輸入速度是90字符/分鐘，而正常人在智能手機的打字速度是115字符/分鐘。

目前，基于頭皮腦電（EEG）的P300或運動想象范式的文字輸入速度約為1個字符-5個字符/分鐘，穩態視覺誘發電位（SSVEP）范式的速度可達60字符/分鐘。植入式腦機接口系統可控制二維光標移動來輸入文字，但是速度不超過40字符/分鐘。

使用靈活

穩態視覺誘發電位輸入速度雖然也比較快，但是需要顯示器，而且用戶要非常專注地注視顯示器上閃爍的字符，而且眼睛被完全占用，也易疲勞。

一般來說，其輸入速度（即每個字符閃爍多長時間）也是系統預先設置好的，而不是由用戶自主控制的。

“該技術可以讓用戶自己控制輸入速度，無需其他外在設備配合，也可以把眼睛完全解放出來，因此更為靈活。”伍冬睿說。

該技術雖然優勢明顯，但是在使用時還有一些困難需要克服。例如，怎樣識別2和z這種非常相近的字符。

伍冬睿認為，解決該問題的的途徑可考慮以下兩點：

首先，對于比較相近的字符，可以設計一些替代字符。比如，論文中提出了優化的字符，讓字符間差異盡量大一點，以更容易區分。如果2被設計成類似“n”的形狀，就很容易與z區分。

其次，結合上下文區分相近字符。比如，字母z的前后一般是其他英文字母，而2的前后可能是其他數字或空格。借助這些上下文信息，也有助于區分這兩個字符。

未來BCI有望實現更快、更精準

據媒體報道，研究團隊下一步將嘗試新系統，將手寫輸入文本作為新系統的一部分，該系統還包括點擊導航，類似于當前智能手機上使用的導航，包括嘗試語音解碼。

腦陸科技合伙人、AI算法負責人馬鵬程認為，BCI意念打字可落地的方向與目標群體可明確分為兩類：

第一類是針對有運動障礙的群體，通過腦機接口設備的輔助，利用意念打字功能實現與外界無障礙交流與溝通，解決核心的通信與控制問題;

第二類是正常人群的高效交互工具需求，意念打字成為與文本輸入、語音輸入并行的新的交互方式，或許會成為社會變革、推動下一輪技術革命最重要的導火索。

而該研究想要進一步落地發展，從技術角度，還需要不斷完善。

該研究目前只在一位用戶上實驗成功，能否推廣到更多用戶還需要進一步驗證。

實際上，該研究中的T5用戶是之前實驗中3個用戶中效果最好的用戶，所以被用來做這個實驗。“如果其他用戶也參與本實驗的話，可能效果會差一些。”伍冬睿說。

李金星表示，該技術的未來研究需要考慮個體差異性。每個人的腦電波信號可能不太一樣，所以，未來需要深度學習和技術數據不斷升級以及更多的臨床案例研究。

字符精準度需進一步提升

本研究使用了26個英文字符和5個特殊字符，共31個字符。“實際中常用的字符比這些要多，比如10個數字就沒有被考慮進去。更大的字符集應該會降低準確度。”伍冬睿說。

實現輸入的復雜功能

當前實驗不管結果對錯，用戶都繼續輸入。而正常的文本編輯中，用戶需要糾正錯誤。如何實現光標跳轉、刪除、插入等更復雜的功能，是需要進一步考慮的問題。

腦電信號易用性的提升

腦電信號并非平穩，該系統每次使用前需要重新校準，會花費用戶的時間和精力。該技術需要更好的算法以縮短甚至消除校準，提高易用性。

提高電極質量，降低手術風險

該技術需要精密手術植入式電極，但是因為人體排異反應，該類電極并非一勞永逸，使用一段時間后信號質量會下降，需要重新植入，增加了手術風險和用戶花費。“提高電極質量，降低排異反應，對該技術大規模應用是非常重要的。”伍冬睿表示。

設備的小型化與無線。設備小型化和無線化將有利于用戶運動、操作的便利性。

伍冬睿認為，未來三到五年，隨著電極壽命、靈敏度和密度的進一步提高，以及解碼算法的進一步發展，該技術有望更快、更準確。

談及產業化落地，馬鵬程表示，以我們在各行業AI+BcI的大規模實際應用經驗角度來看，AI結合腦機接口技術（侵入式及非侵入式）實現意念打字，在構建高質量的大規模模型訓練數據集后，結合實際的意念打字需求的使用場景進行產品設計。“我認為，應該能很快研發出可實際應用的腦機意念打字產品。未來產業化的速度有可能超出我們所有人的想象。”

如果未來腦機接口技術成熟，將會怎么樣呢？

李金星表示，短期來看，腦機接口的下一個突破也許會在非侵入的輸入技術發展，通過腦刺激將外界信號傳遞給大腦，從而實現對神經系統損傷疾病（如帕金森、癲癇等）以及心理疾病（如抑郁癥、自閉癥等）的緩解作用。

他認為，從長遠來看，也許人類只需要大腦而存在，可能會真正實現

“人機共融”。