腦機接口技術的發展與展望

(1.北京航天測控技術有限公司，北京 100041；(2.北京郵電大學 自動化學院，北京 100876)

0 引言

腦機接口(brain computer interface， BCI)[1-2]，也稱作“大腦端口”或“腦機融合感知”[3]，是指將人或動物的大腦與外部設備相連，實現大腦對設備直接控制的技術[4-6]。該技術最早出現于加州大學洛杉磯分校關于思維控制機器人方面的研究，至今已有40年的研究歷史。腦機接口技術是以人的思維和想法為中心，通過信號處理算法對腦電信號進行分析，得到相應的控制指令，最終實現對末端設備的控制[7]，這種控制方式也稱為腦控。腦機接口技術是一個多學科融合的前沿研究方向[8]，目前在康復醫療[9-13]、汽車行駛控制[14]、智能家居等領域有較為廣泛的研究和應用[15]。

1 腦機接口概述

腦機接口中的“腦”是指人或動物的大腦或神經系統，“機”是指用來計算或處理數據、圖像等各種信息的設備，從簡單的電子電路到復雜的計算機系統都可以稱為“機”。通過腦機接口，人類或動物就可以不需要通過語言或者動作[16]，而可以直接用大腦來控制機器設備。

大腦是人體語言、運動的控制中樞，通過神經系統向身體各運動器官發出指令。神經科學研究發現，即使神經系統和運動器官由于損傷而喪失作用，只要大腦功能保持正常，則控制指令依然能夠通過腦電信號從大腦傳輸出來。研究發現，人們在進行某些思維活動或在某些外部刺激下，腦電信號將呈現出與刺激相對應的規律性變化[17]。由此可以看出，抽象虛擬的大腦活動可以通過具體真實的物理腦電信號來表達，這些信號成為大腦與外界溝通的橋梁。上述神經科學的研究成果為腦機接口技術的研究提供了理論依據和方向指導。

腦機接口根據信號采集方式的不同，分為侵入式腦機接口[18]、部分侵入式腦機接口[19]和非侵入式腦機接口[20]。侵入式腦機接口是指將信號采集電極通過手術直接植入大腦灰質中，該類接口主要用于對特殊感覺的重建以及恢復癱瘓患者的運動功能。侵入式腦機接口的優缺點非常明顯，優點是能夠獲得質量相對較高的腦電信號；缺點是植入手術容易引發免疫反應和創傷，植入過久容易有信號質量下降甚至消失的問題[21]。部分侵入式腦機接口是指將信號采集電極植入到顱腔內，但在灰質外。與侵入式相比，該采集方式引發免疫反應和創傷的概率較低，但是采集到的腦電信號清晰度較差。

與上述兩種方式相比，將信號采集電極置于頭皮外部的非侵入式腦機接口是對人體創傷最小，采集方法最為簡單的腦電信號采集方式。然而，由于電極與神經元距離較遠，測得的信號噪聲較大，對信號后期的處理要求較高。非侵入式腦機接口技術主要包括腦電圖(EEG)、腦磁圖(Magnetoencephalography，MEG)[22]以及功能核磁共振成像(functional Magnetic Resonance Imaging，fMRI)[23]三種。EEG因具有良好的時間分辨率、易用性、便攜性和相對較低的技術價格，已得到廣泛和深入的研究，成為非侵入式腦機接口主要的研究方向。然而，對噪聲的強敏感性使其發展受到了制約。近年來，MEG和fMRI也得到越來越多的關注。研究發現，利用生物反饋技術，通過改變fMRI檢測到的腦部血液流動產生的信號可以控制乒乓球運動[24]。也有研究利用fMIR信號來實時準確地控制機械臂[25]。

基于不同需求，人們設計出多種基于腦電的BCI系統原型[26]。BCI系統通常由信號采集、信號處理(特征提取)、信號分類與識別等功能環節組成[27]，通過這些環節將輸入信號轉換成輸出信號，實現實驗對象對控制裝置的操作。BCI系統的基本構成如圖1所示[28]。

圖1 BCI結構示意圖

首先根據研究目的對實驗對象的大腦進行觸發，使其產生某種對應的原始信號，該信號即為輸入信號。然后通過腦機接口對輸入信號進行采集，得到的即為腦電信號，腦電信號包含相應活動的特征信息。隨后對腦電信號進行處理(特征提取)，由連續的模擬信號轉換成由某些特征參數表示的數字信號，使其能夠交由計算機讀取和分析。接下來對特征信號[29]進行識別和分類，確定相應的思想活動，生成驅動或操作命令。最后得到的輸出信號即為控制指令，通過這些指令可以操作控制裝置的運動。 BCI系統的末端控制裝置包括各種語音交流、肢體運動、機器交互設備[30]。信號分類與識別作為連接輸入和輸出的中間環節，是BCI系統的重要組成部分。在相同的訓練強度下，可以通過提高信號分類與識別算法的性能，來提高信號分類精度，優化BCI系統的控制性能。

2 腦機接口關鍵技術

腦機接口系統由腦電信號的產生、處理、轉換、輸出等單元組成，其中腦電信號的產生是基礎，腦電信號的處理是關鍵，腦電信號的轉換是核心[31]，腦電控制信號的輸出是目的。腦機接口研究的重點就是尋找合適的信號處理與轉換算法，將腦電信號快速、準確、實時地通過腦機接口系統轉換成計算機能夠識別的命令或操作信號。

人類大腦能夠產生多種信號，包括電信號、磁信號、化學信號等形式[32]。這些信號可以被相應的傳感器檢測到，從而使得BCI的實施成為可能。目前BCI信號的獲取主要基于技術相對簡單、費用較低的EEG檢測技術[33]。該技術的實現過程包括信號的產生、檢測、處理等。

2.1 信號的產生

目前常見的腦機接口信號可以利用視覺誘發電位[34]、事件相關電位[35]、模擬虛擬環境[36]以及自主控制腦電[37]等多種觸發方式產生。根據不同的研究目的，選擇合適的觸發方式，從而獲得相應的腦電信號[38]。

2.2 信號的檢測

信號檢測所用的方法取決于待測腦電信號的性質。圖2為一款Neuroscan的EEG腦電檢測系統，該系統主要由腦電帽、信號放大器、安裝有腦電信號處理軟件的PC機組成。該系統的腦電帽具有64個測量電極，所有電極均按照國際10/20標準分布，可以根據不同的實驗需要任意選擇相應的電極進行組合，檢測需要區域的腦電信號，達到實驗目的。由腦電帽采集到的腦電信號非常微弱，需要通過信號放大器來提高信號的識別精度，放大器的增益倍數通常設定為60～100 dB。此外，也可以通過增加信號檢測的通道數、提高采樣頻率，實現對信號質量的要求[39-40]。

圖2 Neuroscan腦電采集系統

2.3 信號的處理方法

BCI系統的信號處理過程包括信號預處理、特征提取、分類識別等，其中特征提取和分類識別是BCI信號處理的關鍵環節。傳統腦電信號的處理方法是對信號進行多次檢測并進行均值濾波，再用統計學方法尋找EEG的變化規律[41]。該方法信息傳輸率較低，不能滿足實時控制的要求。目前普遍采用的是先對離線EEG信號進行處理和分析，再進行在線調試。

2.3.1 信號預處理

在采集過程中，腦電信號會受到多種噪聲的干擾，如眼電、肌電、心電以及設備和實驗環境的電磁干擾等，信號的預處理是利用濾波器和相應算法對原始信號進行濾波降噪，以消除這些噪聲和偽跡，提高信噪比。目前腦電信號的預處理算法比較成熟，常用的方法有空間濾波器、時間濾波器、通道選擇以及頻帶選擇[42]。

2.3.2 特征提取

特征提取是將特征信號作為源信號來確定各種參數，并以此組成表征信號的特征向量[43]。特征參數包括時域信號和頻域信號兩大類，相應的特征提取方法也分為時域法、頻域法和時頻域方法[44-46]。

時域法：時域分析包括過零點分析、直方圖分析、方差分析、相關分析、峰值檢測及波形參數分析、相干平均、波形識別等[38]，通過時域分析直接提取波形特征參數，然后將這些參數用于EEG的分類、識別、跟蹤和瞬態分析[47-48]。時域法特征提取方式是將特定的濾波方法與采樣方式相結合，去除EEG信號中的時域噪聲，提高信號的信噪比。其中，提取最多的是幅值特征和幅值能量特征。常用的濾波方法有帶通濾波[49]、拉普拉斯濾波、全導聯平均參考法、卡爾曼濾波[50]、移動平均濾波[51]等。此外，連續或離散小波變換也常用于提取EEG信號的時變特征[52-53]。

頻域法：EEG信號處理中常用的頻域法有功率譜估計和參數模型法。功率譜估計是一種能夠反映信號頻率成分及相對強弱的頻域分析方法，利用該方法對腦電信號各頻段的功率和相干性進行分析，可得到信號的規律[38]。參數模型法是現代譜估計使用最為廣泛的一種方法，因其具有頻率分辨率高、譜圖平滑的特性，故能實現參數的自動提取和定量分析，特別適用于短數據處理，多應用于EEG的動態分析。頻域特征通常利用功率譜密度(Power Spectral Density，PSD)、自適應自回歸(Adaptive Antoregressive，AAR)模型參數或小波頻帶能量來對其進行衡量，相應的提取方法主要有快速傅里葉變換(Fast Fourier Transformation，FFT)[54]， AAR模型[55]和小波變換[56]等。

時頻法：EEG信號具有復雜、非平穩的特性，而且傳統的時域和頻域分析也具有信號處理的不確定性，因此研究者們把時域特征值與頻域功率譜相結合，用于EEG信號的特征提取，其中維格納分布與小波變換是目前較常用的時頻分析方法[40]。

維格納分布(Wigner Distribution，WD)[57]是一種時頻混合的信號處理方法，具有很好的時頻分辨率和時頻移特性，用于EEG信號的處理時可以得到不同時刻頻率能量的分布規律[58]。維格納分布因其在時頻域中有良好的對稱性，故能實時反映EEG信號的時域分布和頻域變化，但由于維格納分布含有相交項的問題，該方法并不能很好地反應EEG的穩態特性[40,59]。

小波變換[60]是對EEG信號進行時頻分析的良好方法，通過變換能充分突出信號的特征。對基波進行伸縮平移運算逐步實現多尺度細化，當小波基與EEG信號充分接近時，提取的EEG信號即為所需的特征向量。但小波變換不能均勻劃分信號，因此在信號處理時會產生高頻頻帶寬、低頻頻帶窄的缺點[40,61]。

2.3.3 分類識別

在EEG特征提取的基礎上，需要對特征信號進行分類識別，較為普遍的分類方法有支持向量機、人工神經網絡[62]、貝葉斯-卡爾曼濾波[63]、線性判別分析[64]、遺傳算法[65]、概率模型等。信號分類的質量決定了信號分類識別的準確率高低，分類的質量取決于兩個主要因素：一是待分類的特征信號是否具有明顯特征，即特征信號的性質；二是分類方法是否有效。

2.4 關鍵技術發展

2.4.1 腦電采集技術

腦機接口技術在向實用化、市場化方向發展的過程中，首先需要實現腦電信號采集設備的小型化和無線化。小型化的腦電采集設備目前已有一些[66-67]，但是與傳統腦電采集設備相比，其功能差距還比較大。2017年6月，德國柏林工業大學的腦機接口研究小組發布了一款多功能無線模塊化硬件架構(M3BA: A Mobile, Modular, Multimodal Biosignal Acquisition architecture)[68]。該架構具有腦電采集、近紅外腦功能成像、其他常規生理參數采集等功能，單個模塊(不含電池)的邊長僅為42 mm(圖3)。這是首款既包含多種采集功能，又具有良好應用前景的采集架構，對推動腦機接口技術的市場化應用具有重要意義[69-70]。

圖3 M3BA概念圖

信號采集作為腦機接口技術從實驗室走向現實生活的第一步，目前應用最為廣泛的采集方式是基于頭皮腦電的非侵入式腦機接口。非侵入式腦機接口根據采集電極的不同，分為濕電極[71]系統和干電極[72]系統。目前使用較多的是濕電極系統，但是其實驗前后的準備工作十分繁瑣，為了得到較好的采集信號，需要先清洗頭發去除頭皮的角質層，并花費較長時間對電極進行腦電膏的注入，實驗完成后也需要再次清洗頭發，去除遺留在頭發上的腦電膏。干電極系統因其采集的信號狀態少且準確率較低，在實際應用中使用較少，一般只在需要采集前額區域的腦電信號時才會使用[73]。美國加州大學圣迭戈分校的研究小組開發出一種基于穩態視覺誘發電位的腦機接口系統[74]，該系統將電極置于耳后無毛發覆蓋的區域。在一個12分類的任務中，分類準確率達到了85%，信息傳輸速率達到30 bit/min左右(圖4(a))。這一系統的成功實驗為腦電信號能夠進行便捷高效的采集提供了強大支撐。與此同時，商業化耳后腦電采集設備的推出(圖4(b))，將會推動相關應用快速走進人們的日常生活[75]。

圖4 耳后腦電采集與采集設備

2.4.2 腦電信號處理算法

腦機接口研究領域的一個重要課題是如何提高信息的傳輸速率[76-78]。因為腦電信號的信噪比較低，與正常輸出通路相比，腦機接口的信息傳輸速率較低，如P300[79]腦機接口系統在字符拼寫上的信息傳輸速率只有0.5 bit/s左右。清華大學及合作研究團隊在2015年實驗了一種基于穩態視覺誘發電位的腦機接口系統，該系統的通信速率達到了4.5 bit/s[80-81]。中科院半導體研究所及合作研究團隊在2017年提出了一種任務相關成分分析算法，將該算法與穩態視覺誘發電位的腦機接口相結合，實現了平均5.4 bit/s、最優6.3 bit/s的通信速率，這是目前已報道的頭皮腦電腦機接口系統的最快通信速率[70]。

此外，2017年度腦機接口研究獎(2017 Annual BCI Award)第1名獲得者—丹麥奧爾堡大學研究團隊，提出了一種在線腦機接口算法，該算法可以實時監測受試者的注意力變化并進行自適應特征提取，并在長期使用中始終保持良好性能。這些算法研究的成果可以有效推動腦機接口在普通人日常生活中的應用。

2.4.3 腦電信號誘發范式

腦電信號誘發范式性能的提高，主要是對刺激間隔、界面尺寸、圖像顯示像素等方面進行優化和提升，實現范式更好的觸發目標腦電信號。目前信息傳輸速率最高的腦機接口類型是基于視覺誘發電位的腦機接口[82]，該接口是每條指令對應一個特定的視覺編碼，通過解讀編碼誘發的特定腦電響應來實現目標識別。德國漢堡大學的研究小組于2017年提出了一種新的腦機接口范式，該范式是基于空間信息編碼的穩態視覺誘發電位觸發方法，利用該方法只需一個刺激物[83]便可對多個注意目標進行識別。該范式的原理是基于視覺皮層的視網膜映射，腦電誘發響應隨視覺刺激的空間方位不同而改變。利用該范式進行離線9方位的實驗，分類正確率約為95%。之后，漢堡大學與清華大學合作進行了一個在線4分類系統的實驗，在一個2D運動控制游戲中的分類正確率約為90%。在這種范式的實驗中，因為用戶不需要直接看穩態視覺刺激物，所以視覺負載較低，體驗更好。同時，該范式能更好地利用計算機屏幕，與實驗需求的背景更好地融合[70]。

腦機接口的另一種常用范式類型是運動想象[84]，但目前還沒有此類范式的標準化解決方案。華東理工大學研究小組針對國內用戶的特點，提出了想象手寫漢字的運動想象范式，經過實驗數據對比，該范式的分類性能與傳統范式相比有顯著提高。這一實驗拓寬了國內腦機接口技術的研究思路。

3 腦機接口技術應用

BCI作為一種尖端的新興通信技術，目前更多的還是處于實驗室研究階段，距離真正實現商業化應用還需要一些時間。然而，從實驗室的研究效果來看，未來BCI系統及其技術將在涉及人腦的各項領域中發揮重要作用，尤其對于行動能力嚴重受損的患者在運動功能的恢復和訓練[85]中具有重要意義。目前，對BCI應用的研究主要集中在交流功能恢復、運動功能恢復、車輛行駛控制、環境控制等領域。

3.1 交流功能恢復

腦機接口最重要的應用目標之一，是讓重度運動障礙患者重新獲得與外界交流溝通的能力。其中基于頭皮腦電的字符輸入研究近年來得到了快速發展[86]。美國斯坦福大學的研究小組在2017年2月提出了一種新的腦機接口應用系統，該系統能夠利用顱內腦電進行字符的輸入。首先將高密度微電極陣列植入脊髓側索硬化癥和脊髓損傷癱瘓患者的大腦運動皮層中負責手部運動的區域上；然后采集動作電位和高頻局部場電位信號；隨后對這些信號進行解碼得到相應的運動信息；最后實現對屏幕上光標的連續控制。通過這一系統，患者可以在屏幕虛擬鍵盤上點擊選擇字符以輸入文字，實現與外界的交互，如圖5所示。經過實驗驗證，該系統的信息傳輸速率是目前此類研究的最快記錄，使用該系統的三名運動障礙患者分別實現了每分鐘39.2、31.6、13.5個英文字符的輸入。

圖5 腦機接口交流功能實例

3.2 運動功能恢復

將腦機接口技術用于提升運動障礙患者的生活質量，是一個重要的研究領域，字符輸入是其中的一個方向，控制輪椅[87]、機械手臂[88]等運動輔助裝置是其另一個重要的研究方向[89]。2017年5月，美國凱斯西儲大學的研究小組將腦機接口與功能電刺激(Functional Electrical Stimulation，FES)[90]兩種技術結合在一起，實現了患者控制患肢與外界進行交互的目的。

功能電刺激是指利用一定強度的脈沖電流對肌肉進行刺激，使肌肉實現預定的類自主運動，逐步恢復肌肉功能的技術[91]，如圖6(a)所示。研究人員首先將侵入式腦機接口系統植入患者運動皮層中負責手部運動的區域上，采集相關腦電信號；然后將高頻帶頻譜能量和動作電位超過閾值次數這兩者作為信號特征，解碼得到相應的刺激參數；隨后用相關參數控制功能電刺激器，刺激患者的患肢，實現患肢肌肉的活動。通過一定時間的訓練，患者可以控制患肢實現探出和抓取動作。在使用患肢完成喝咖啡任務的實驗階段，患者12次嘗試11次成功，如圖6(b)所示，每次任務時間為20～40 s。通過對實驗的驗證分析可得，系統能幫助患者實現連續的、接近實際生活的動作控制，有望在未來幫助患者實現對患肢自然流暢的動作控制，從而大大提高患者的生活質量[70]。

圖6 運動功能恢復示意圖

3.3 車輛行駛控制

“腦控汽車”與傳統的手腳并用車輛駕駛方式不同，是一種全新的、具有重要意義的車輛行駛控制方式。2015年7月15日，南開大學計算機與控制工程學院的研究小組成功研發出國內首輛腦控汽車[92]。通過腦電檢測設備采集人在注意力集中時產生的腦電信號，利用信號識別系統分析人對車輛的操控意圖，并將操控指令發送到車輛的控制平臺，實現人腦直接控制汽車的目的。該研究小組在南開大學進行了一次實驗，實驗者頭戴具有16個采集點的腦電信號采集設備，向一輛裝有計算機處理系統、車載電控單元等裝置的汽車傳輸控制指令，在這些指令的控制下，汽車可以準確執行啟動、直線前進、直線倒車、制動、車門開關鎖等規定指令。

“腦控汽車”的研發已能實現汽車的基本操控和低速行駛，但離真正的上路行駛還有一段距離，例如汽車的電動系統以及腦控部分還需進一步改進與完善。未來，隨著“腦控汽車”的安全性、智能性、人性化程度不斷提高，這種駕駛方式不但能夠在大眾生活中普及，更能應用于肢體殘疾人士，幫助他們實現對車輛的駕駛控制。

3.4 環境控制

目前，BCI環境控制的研究主要基于虛擬現實技術[93-94]。虛擬現實具有相對安全以及目標可移動的特點，使其能為腦控系統提供一個安全可靠的環境。科大訊飛在2017年的發布會上，推出了以腦機輸入為控制方式的產品及應用，例如利用腦波對周圍的環境、家電(智能家居)進行控制。雖然目前已有相關概念創意和樣機推出，但要實現消費級的腦機接口環境控制產品仍需一段時間。

4 腦機接口技術面臨的挑戰

對于腦機接口技術來說，過去幾年是該領域充滿機遇并獲得快速發展的一段時間。據估計，美國每年在腦機接口及其相關研究領域有數十億美元的投入，并且這一數字還在不斷增長，許多高科技公司都專門新增了腦機接口技術的相關研發部門。除美國外，其他許多國家政府對該技術也越來越重視，歐洲、日本等發達國家相繼提出“大腦計劃”，中國也于2017年正式推出了自己的“腦計劃”。

隨著腦機接口技術的飛速發展，相關的理論研究和實驗室測試也取得顯著突破，但想要將其廣泛應用于大眾生活中還面臨著許多挑戰。在理論技術、硬件架構、應用領域等方面還有以下幾個亟待解決的關鍵問題：

1)如何設計具有個性化差異的腦電信號誘發范式，以實現具有針對性的信號誘發；

2)如何實現更高效準確的特征提取，以提高信號的分類識別效率；

3)如何設計泛化能力更強的分類識別算法，以提高分類算法的適用性；

4)如何設計實現簡單高效、功能多樣化的無線侵入式腦機設備；

5)如何提高信息的傳輸效率，并實現系統的高穩定性運行；

6)如何在臨床實踐領域更好的應用腦機接口技術。

5 BCI+AI架構

BCI技術作為一種交互智能控制技術，連接數據端與應用端，其主要功能是完成由生物電信號到應用控制指令的映射。數據端主要是對操作者腦電、肌電等生物電信號的采集，應用端則是根據數據端的意圖完成相應的功能或動作。在這個功能劃分原則的基礎上，針對腦機接口技術存在的幾個重要問題，融合云計算的3種服務模式，本文提出一種BCI+AI的腦機接口架構。該架構是一種全新的BCI應用研究設計架構，如圖7所示。從圖中可以看出整體架構由IaaS、PaaS和SaaS三個層構成，其中，IaaS層主要完成基礎設施的搭建，以能夠實現對所需信號的采集；PaaS層主要是構建應用平臺，通過該平臺實現基于IaaS層數據的功能開發；SaaS層主要是構建適用于各行業的具體功能服務平臺，通過該平臺不同行業的用戶可根據自身需求直接啟用已成型的功能模塊，將其植入到自己的項目環節中。

圖7 BCI+AI架構圖

該架構的提出是對腦機接口技術從頂層進行了系統級規劃設計，不僅為未來系統整體研究指明了方向，而且緊跟技術發展趨勢，將多種先進技術融于一體。宏觀上搭建了整體行業技術發展的生態系統并隱含有商業畫布于其中，微觀上明確了技術研究形態與最終落地形式，為未來覆蓋產業應用做好了鋪墊。