雷煜
(軍事醫學研究院軍事認知與腦科學研究所,北京 100850)
腦機接口(brain-computer interface,BCI)是一種實現人腦和計算機或其他設備之間通信的系統。BCI系統通過在人腦和計算機之間建立直接的信息傳輸通道,實現大腦與外部世界的直接交互。BCI的概念是在1973年由 Vidal[1]首次提出,初衷是幫助身體有嚴重運動障礙的人實現對外部設備的控制,為他們創建一個和外界交互的全新通道。近20年來,隨著計算機科學、材料科學和神經生物學等學科的快速發展,來自不同領域的研究者共同推動BCI的研究取得了突破性的進展。
根據電極的不同,BCI系統可以分為3大類。第一類是將微電極陣列直接植入大腦內,通過電極直接記錄細胞的放電信號;第二類是將電極放置于大腦皮質的表面,記錄大腦皮質電位信號;第三類是將電極置于大腦頭皮上,記錄大腦頭皮電信號。前兩類方法都是侵入式的BCI系統,雖然能夠獲得高空間分辨率、高信噪比的神經電信號,但是因為需要侵入大腦,因此,難以進行長期穩定的記錄,并且還存在感染的風險。第三類方法記錄到的雖然是大量神經元的群體電活動信號,而且由于顱骨對電信號傳播的阻礙,記錄到的信號空間分辨率、信噪比都很低,但是頭皮腦電作為3類BCI中唯一具有無創性的方法,采集方便、安全性高、成本較低。基于頭皮腦電的BCI系統應用范圍更廣且適用場景更多,是研究最多的一種BCI系統。本文提到的BCI系統特指基于頭皮腦電的BCI。
基于頭皮腦電的BCI系統主要由3部分組成,分別是信號采集模塊、信號處理模塊和交互控制模塊。其中信號采集模塊主要包括采集電極、信號放大、模數轉換和信號傳輸等部分。信號處理包括信號預處理、特征提取與模式識別等部分。交互控制則是將不同的腦電特征轉換成控制指令,實現對外部設備的控制。
BCI系統中最核心的問題是找到不同的穩定腦電特征信號,并將其轉換成不同的指令,從而與外部設備進行交互。BCI系統能提取的不同特征模式越多,產生的指令也就越多。目前,BCI系統面臨的挑戰主要包括突破現有的材料限制,實現長時間的穩定信號采集,并開發有效的特征提取算法,從極低信噪比的頭皮腦電信號中獲取有用的大腦活動信息。
用于BCI控制的腦電信號主要分為2類,分別是外源性成分和內源性成分。外源性成分是指由外部刺激誘發的腦電信號,主要有視覺和聽覺誘發電位等。內源性成分是指大腦自發產生的腦電信號,例如在執行某種認知任務時或被試者通過自我調節都可以產生。常見的BCI控制信號主要有以下幾種。
視覺誘發電位是由外界視覺刺激所引起的視覺皮質的電活動,Regan[2]在1979年首先發表了關于視覺誘發電位的開創性工作。隨后的研究發現,利用固定頻率的視覺刺激對被試者進行刺激,視皮質就會產生受到刺激頻率調制的腦電信號。例如,當被試者注視一個以7 Hz閃爍的視覺刺激時,在其大腦的視覺皮質區域就可以記錄到一個7 Hz的信號成分;此外,還可以記錄到很多諧波成分,例如14 Hz和21 Hz等,這種明顯受到刺激頻率調制的腦電信號就被稱為穩態視覺誘發電位(steady state visually evoked potentials,SSVEP)。最常見的SSVEP BCI系統就是通過SSVEP攜帶的頻率信息判斷被試注視的屏幕位置,從而確定被試者注視的視覺刺激。
當大腦處于沒有處理感覺信息或運動控制的放松狀態時,在感覺運動皮質區域能夠記錄到頻率為8~12 Hz的節律性腦電信號,也被稱作mu節律。當被試者執行運動任務或者想象運動時,運動皮質區域的這種mu節律信號就會發生改變,出現增強或者減弱。通過識別mu節律信號的變化模式就可以識別不同的運動想象任務,進而實現腦機交互。具體來說,當我們想象單側手部運動時,表現出同側運動皮層區域mu節律升高,對側運動皮質區域mu節律下降的特點,這種mu節律的下降和升高分別稱作大腦運動皮質區域mu節律的事件相關去同步化和同步化(event-related desynchronization/synchronization,ERD/ERS)[3]。除了想象手的運動之外,當我們想象腳動時,頭頂中央區域也會出現明顯的ERD現象[4]。通過算法識別腦電信號中ERD/ERS的空間分布,就可以實現對大腦運動想象任務的識別,進而產生控制指令和外部設備進行交互。
P300電位是一種事件相關電位,由Sutton等[5]最早在oddball實驗中發現,是出現在新奇事件之后250~450 ms之間的一個正波,屬于內源性成分。研究表明,P300電位的強弱和新奇事件出現的概率直接相關,新奇事件出現的概率越小,其所誘發的P300電位成分越強。但是,如果新奇事件出現的概率太小,其誘發P300電位成分的時間就越長,從而影響BCI系統的實時性。最常見的基于P300電位的BCI系統是腦控打字機[6],其基本原理是利用字符矩陣的隨機閃爍,利用被試者想要輸入的字符誘發P300電位信號,從而實現腦控字符輸入。基于P300電位的BCI系統最大的優點是使用者不需要進行專門的訓練,大大擴展了系統的適用范圍。
近年來,為了提升腦機接口的應用范圍,研究者提出了混合BCI的概念[7]。其定義是指不同腦信號或者不同BCI類型的混合,混合的方式主要有串聯混合和并聯混合2種(圖1)。混合BCI的目的主要是通過多種信號或范式的混合,提升解碼準確率或效率。Pfurtscheller等[7]通過將 SSVEP和運動想象結合,實現了對工作和休息狀態的檢測,并在顯著提升系統分類正確率的同時減少了假陽性錯誤率。近年來,大量研究者對SSVEP和運動想象結合的腦機接口系統進行了深入研究,提出了多種結合范式,提升了BCI系統的易用性[8]。基于SSVEP和P300電位的混合BCI系統主要用于改善字符輸入效率,提高字符識別準確率[9-11]。李遠清教授團隊[12]將運動想象和P300電位結合,成功實現了電腦光標在二維空間的自由移動。
除了將不同的BCI系統進行混合之外,研究者還嘗試將生理信號與BCI系統進行混合。Leeb等[13]通過將肌電信號與腦電信號進行融合,提高了左右手運動意圖解碼的穩定性和正確率。
腦電信號是一種低信噪比的生物電信號,信號中包含大量的噪聲和偽跡,因此在數據處理中需要首先對信號進行預處理,盡量保留原始信號中的有用信息并去除噪聲。針對不同的噪聲和偽跡,常用的預處理方法包括主成分分析、獨立成分分析、帶通濾波、典型相關分析和回歸等。對于ERP信號,還可以通過疊加平均的方法提高信噪比。

圖1 混合腦機接口(BCI)的不同模式[7].EEG:頭皮腦電圖;ERD:事件相關去同步化;SSVEP:穩態視覺誘發電位
特征提取是BCI系統的核心部分,目的是為了提取特定的特征用于進行外部控制。針對不同的BCI類型,提取的特征有很大差別。例如,基于P300電位的BCI系統主要提取的是時域特征,基于運動想象的BCI系統主要提取的是頻率特征,基于穩態視覺誘發電位的BCI系統主要提取的是頻率成分的幅度、相位等信息。對于時域特征,常用的分析方法包括峰值檢測、波形面積計算等。對于頻域特征的提取,常用的方法包括譜分析、神經網絡和自回歸(autoregressive,AR)[14]等。對于空間信息的提取,共空間模式分析(common spatial pattern,CSP)是應用最廣泛的一種特征提取方法[15]。這種方法通過訓練數據得到使得2類信號方差最大的空間濾波器,然后再將得到的空間濾波器應用于在線數據分析,得到差異最大化的腦電特征。由于CSP方法具有良好的效果,研究者們又進行了深入研究,并提出了多種改進的CSP算法,進一步提升了算法的魯棒性和抗噪能力[16-18]。此外,很多研究者還嘗試在不同的信號域進行聯合特征提取,例如,基于小波變換的時頻特征提取[19],基于空間自適應的時空特征提取[20]和基于經驗模態分解的特征提取方法[21]等。
腦電信號分類的目的是將腦活動轉變成計算機命令,實現腦機之間的交互,是決定BCI系統性能的重要環節。在實際應用中需要根據提取的腦電特征和分類數目選擇合適的分類器。常用的線性分類器主要有線性支持向量機和線性判別分析[20]。常用的非線性分類器有神經網絡、非線性支持向量機和隱馬爾科夫模型等。還有研究者將由多個分類器組成的組合分類器應用于BCI系統并取得了較好的效果[22]。此外,深度學習技術也被應用于腦信號分類,展現出了很好的應用前景[23]。
清華大學的高上凱教授等[24]最早將SSVEP應用于BCI,成功構建了一個能夠控制光標在二維平面中移動的BCI系統。他們通過4個以不同頻率閃爍的方塊來編碼上下左右4個方向,根據被試者看不同方塊所誘發的SSVEP信號來控制光標的移動。將不同的字符同時呈現在屏幕上,并對每個字符設置一個特定的閃爍頻率,就可以通過提取SSVEP信號的特征,判斷被試者正在看的字母,從而實現利用腦電波進行字符輸入。對于一個信息輸入BCI系統來說,信息傳輸速率(information transfer rate,ITR)是最重要的評價指標之一。ITR的具體含義是指1分鐘內傳輸的比特數(bit·min-1),其具體定義如式①所示(M表示識別任務的數目,P表示分類準確率,T是一次選擇的平均耗時)。

為了保證較高的識別正確率,不同字符誘發的SSVEP必須在特定的變換域上滿足正交或近似正交的性質,這也導致SSVEP腦機接口系統的ITR一直難以滿足實用化的需要,平均ITR只能達到大約60 bit·min-1。最近,高小榕、高上凱教授團隊[25]通過聯合頻率-相位調制方法,將SSVEP字符輸入系統的通訊速率提升到了270 bit·min-1的水平,極大的提高了腦控拼寫系統的實用化水平。
通過提取想象不同肢體部位運動時運動皮質節律信號的變化特征,可以對外部設備進行控制。在基于運動想象的BCI系統中,能夠穩定提取的信號特征數目決定了外部控制系統的自由度,自由度越高控制就越靈活,應用也就越廣。大量研究通過譜分解[26]、AR模型[27]和空間特征提取[28]對運動想象節律信號的解碼進行了研究,實現了基于分類的左右手或腳的想象運動解碼。另一種運動想象解碼的思路是通過運動想象節律信號的線性組合進行連續的運動控制。Wolpaw等[29-30]通過將運動想象節律信號進行線性組合,實現了對不同物體的連續運動控制。近年來,美國明尼蘇達大學的賀斌教授團隊[31]在運動想象信號的解碼方面做了大量開創性的工作,首次實現了利用運動想象信號控制無人機在三維空間的飛行。2016年,賀斌教授團隊[32]又成功實現了通過解碼運動想象信號控制虛擬機械臂在三維空間的移動,完成對物體的抓取和放置。這些研究表明,基于運動想象的BCI系統具有完成復雜運動控制的潛力。
P300電位成分是一個與高級認知加工過程相關的神經電活動,可以反映注意力分配和記憶加工過程[33],因此,有研究者提出可以通過探測P300電位信號來構建圖像檢索系統。其基本假設:是人在看到感興趣的目標時,會產生P300電位,因此,當把很多圖片在被試者眼前進行快速連續呈現時,如果某一張圖片中含有被試者感興趣的目標,就能檢測到P300電位信號。但是在構建實用的P300電位圖像檢索系統時,面臨的一個挑戰是ERP成分的檢測需要進行多次疊加平均來提高信噪比,這就需要對同一個刺激進行反復呈現,而這并不適用于大規模圖像的快速檢索。因此,研究者開始探索如何從單次刺激中提取ERP特征,從而構建實用的BCI系統。通過單次ERP進行圖像檢索所依賴的實驗范式被稱作快速序列視覺呈現(rapid serial visual presentation,RSVP)。Gerson 等[34]首先將RSVP范式應用于圖像檢索,他們以每秒10張的頻率給被試者呈現自然場景圖片,通過頭皮腦電圖(electroencephalography,EEG)信號判斷哪些圖片中有人。結果表明,單次EEG信號就能有效識別目標圖像。此外,還有研究者將RSVP范式應用于衛星圖像中的目標搜索。例如,Huang等[35]利用RSVP范式進行衛星圖像中導彈基地的搜索,Bigdely-Shamlo等[36]利用RSVP范式進行衛星圖像中飛機的搜索。研究結果表明,有時候被試者并沒有意識到目標的存在,但是通過EEG信號得到的圖像檢索正確率仍然很高,表明EEG信號能夠反映大腦的潛意識活動。
目前BCI系統的平均ITR只有60~70 bit·min-1,遠遠不能滿足日常交流的需要。因此,如何提升信息傳輸速率是BCI系統真正實現實用化面臨的巨大挑戰。從ITR的定義可以看出,提升ITR主要的途徑包括:①提升分類準確率;②增加識別任務的數目;③減少單次選擇的時間。其中提升分類正確率潛在的方法包括:通過改善預處理方法,提高腦電信號的信噪比;通過改進BCI范式,提高信號的信噪比。改進機器學習算法,提升分類正確率。增加識別任務的數目需要對BCI范式進行改進,充分利用信號的時間空間和頻率空間。減少單次選擇的時間可以通過自適應算法,自動調整每次選擇的時間實現。
目前的BCI系統大部分還局限于實驗室條件,在易用性、成本控制和系統魯棒性方面仍然與實際應用存在較大差距。首先,采集系統不夠便攜。對于腦電信號的采集目前最常用的還是濕電極,其主要的缺點是準備時間長,導電介質的導電特性會隨著時間改變,無法進行長時間采集。雖然現在已經有人將干電極應用于BCI系統,但是干電極在信號穩定性、信噪比上還有很多不足,仍需進行改進完善。其次,因為腦電信號屬于弱信號,需要放大器進行信號放大,目前的商用腦電采集系統放大器都比較大,不利于攜帶,離實用化還有一段距離。最后,實用化的BCI系統所處的環境要比實驗室環境復雜很多,腦電信號會受到各種干擾源的影響,而現有的去噪算法往往只針對幾種特定噪聲,因此很難有效去除腦電中的所有噪聲,給后期的特征提取帶來了很大的困難。
腦電信號的表征模式具有極大的個體差異性,而且同一個人在不同的狀態下腦電信號的差異也非常大。很多BCI中的特征提取算法都是針對不同的被試者進行構建的,不具有普適性,很難推廣應用。因此,開發具有無監督或半監督特性的自適應算法,根據不同腦電特征自動選擇合適的特征提取算法是提高BCI系統適用范圍的重要方向。此外,大量研究還發現,20%~30%被試者BCI的識別率<70%,這種被試者也被稱作“BCI盲”。對于BCI盲來說很難通過BCI系統實現交互,目前也沒有很好的辦法能夠有效減少BCI盲。如何通過有效的方法,降低BCI盲的比例是一個重要的研究方向。
BCI技術給我們提供了一種全新的人機交互方式,具有廣闊的應用前景。但是目前大多數的BCI技術仍然還處于實驗室研究階段,距離真正的應用還有很多問題亟待解決。但是隨著材料科學、神經科學和信息科學等相關學科的發展,BCI技術必將取得突破性進展,并應用于現實。
[1]Vidal JJ.Toward direct brain-computer communication[J].Annu Rev Biophys Bioeng,1973,2:157-180.
[2 ]Regan D.Electrical responses evoked from the human brain[J].Sci Am,1979,241(6):134-146.
[3 ]Pfurtscheller G,Lopes da Silva FH.Event-related EEG/MEG synchronization and desynchronization:basic principles[J].Clin Neurophysiol,1999,110(11):1842-1857.
[4 ]Pfurtscheller G,Brunner C,Schl?gl A,Lopes da Silva FH.Mu rhythm(de)synchronization and EEG single-trial classification of different motor imagery tasks[J].Neuroimage,2006,31(1):153-159.
[5 ]Sutton S,Braren M,Zubin J,John ER.Evokedpotential correlates of stimulus uncertainty[J].Science,1965,150(3700):1187-1188.
[6 ]Farwell LA,Donchin E.Talking off the top of your head:toward a mental prosthesis utilizing eventrelated brain potentials[J].Electroencephalogr Clin Neurophysiol,1988,70(6):510-523.
[7 ]Pfurtscheller G,Allison BZ,Brunner C,Bauernfeind G,Solis-Escalante T,Scherer R,et al.The hybrid BCI[J/OL].Front Neurosci,2010,4:30(2010-04-21).https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2891647/
[8 ]Yu T,Xiao J,Wang F,Zhang R,Gu Z,Cichocki A,et al.Enhanced motor imagery training using a hybrid BCI with feedback[J].IEEE Trans Biomed Eng,2015,62(7):1706-1717.
[9]Xu M,Qi H,Wan B,Yin T,Liu Z,Ming D.A hybrid BCI speller paradigm combining P300 potential and the SSVEP blocking feature[J/OL].J Neural Eng,2013,10(2):026001(2013-01-31).http://iopscience.iop.org/article/10.1088/1741-2560/10/2/026001/meta
[10 ]Yin E,Zhou Z,Jiang J,Chen F,Liu Y,Hu D.A novel hybrid BCI speller based on the incorporation of SSVEP into the P300 paradigm[J/OL].J Neural Eng,2013,10(2):026012(2013-02-21).http://iopscience.iop.org/article/10.1088/1741-2560/10/2/026012/meta
[11]Panicker RC,Puthusserypady S,Sun Y.An asynchronous P300 BCI with SSVEP-based control state detection[J].IEEE Trans Biomed Eng,2011,58(6):1781-1788.
[12]Li Y,Long J,Yu T,Yu Z,Wang C,Zhang H,et al.An EEG-based BCI system for 2-D cursor control by combining Mu/beta rhythm and P300 potential[J].IEEE Trans Biomed Eng,2010,57(10):2495-2505.
[13 ]Leeb R,Sagha H,Chavarriaga R,Millán Jdel R.A hybrid brain-computer interface based on the fusion of electroencephalographic and electromyographic activities[J/OL].J Neural Eng,2011,8(2):025011(2011-03-24).http://iopscience.iop.org/article/10.1088/1741-2560/8/2/025011/meta
[14]D′Croz-Baron D,Ramirez JM,Baker M,Alarcon-Aquino V,Carrera O.A BCI motor imagery experiment based on parametric feature extraction and fisher criterion[C].International Conference on Electrical Communications and Computers,Cholula,2012:257-261.
[15 ]Müller-Gerking J,Pfurtscheller G,Flyvbjerg H.Designing optimal spatial filters for single-trial EEG classification in a movement task[J].Clin Neurophysiol,1999,110(5):787-798.
[16 ]Lu H,Eng HL,Guan C,Plataniotis KN,Venetsanopoulos AN.Regularized common spatial pattern with aggregation for EEG classification in small-sample setting[J].IEEE Trans Biomed Eng,2010,57(12):2936-2946.
[17 ]Lotte F,Guan C.Regularizing common spatial patterns to improve BCI designs:unified theory and new algorithms[J].IEEE Trans Biomed Eng,2011,58(2):355-362.
[18 ]Wang H, Zheng W.Localtemporalcommon spatial patterns for robust single-trial EEG classification[J].IEEE Trans Neural Syst Rehabil Eng,2008,16(2):131-139.
[19 ]Hsu WY.Assembling a multi-feature EEG classifier for left-right motor imagery data using waveletbased fuzzy approximate entropy for improved accuracy[J].Int J Neural Syst,2015,25(8):1550037(2015-10-30).https://doi.org/10.1142/S0129065715500379
[20 ]Ince NF,Goksu F,Tewfik AH,Arica S.Adapting subject specific motor imagery EEG patterns in space-time-frequency for a brain computer interface[J].Biomed Signal Process Control,2009,4(3):236-246.(請核對于雜志名縮寫)
[21 ]Park C,Looney D,Naveed ur Rehman,Ahrabian A,Mandic DP.Classification of motor imagery BCI using multivariate empirical mode decomposition[J].IEEE Trans Neural Syst Rehabil Eng,2013,2211(1):10-22.
[22]Gao L,Cheng W,Zhang J,Wang J.EEG classification for motor imagery and resting state in BCI applications using multi-class Adaboost extreme learning machine[J/OL].Rev Sci Instrum,2016,87(8):216-219.
[23 ]An X,Kuang DP,Guo XJ,Zhao YL,He LH,A deep learning method for classification of EEG data based on motor imagery[C].International Conference on Intelligent Computing,Springer,2014:203-210.
[24 ]Ming C,Shangkai G.An EEG-based cursor control system[C].Proceedings ofthe First Joint BMES/EMBS Conference,1999 IEEE Engineering in Medicine and Biology 21st Annual Conference and the 1999 Annual Fall Meetring of the Biomedical Engineering Society,Altanta,1999,669.
[25]Chen X,Wang Y,Nakanishi M,Gao X,Jung TP,Gao S.High-speed spelling with a noninvasive brain-computer interface[J].Proc Natl Acad Sci USA,2015,112(44):E6058-E6067.
[26 ]Pregenzer M,Pfurtscheller G.Frequency component selection for an EEG-based brain to computer interface[J].IEEE Trans Rehabil Eng,1999,7(4):413-419.
[27 ]Pfurtscheller G,Neuper C,Schl?gl A,Lugger K.Separability of EEG signals recorded during right and left motor imagery using adaptive autoregressive parameters[J].IEEE Trans Rehabil Eng,1998,6(3):316-325。
[28 ]Guger C,Ramoser H,Pfurtscheller G.Real-time EEG analysis with subject-specific spatial patterns for a brain-computer interface(BCI)[J].IEEE Trans Rehabil Eng,2000,8(4):447-456.
[29]McFarland DJ,Sarnacki WA,Wolpaw JR.Electroencephalographic(EEG) control of three-dimensional movement[J/OL].J Neural Eng,2010,7(3):036007(2010-05-11).https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2907523/
[30 ]McFarland DJ,Wolpaw JR.Sensorimotor rhythmbased brain-computer interface(BCI):model order selection for autoregressive spectral analysis[J].J Neural Eng,2008,5(2):155-162.
[31]LaFleur K,Cassady K,Doud A,Shades K,Rogin E,He B.Quadcopter control in three-dimensional space using a noninvasive motor imagery-based brain-computer interface[J/OL].J NeuralEng,2013,10(4):046003(2013-06-04).https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3839680/
[32 ]Meng J,Zhang S,Bekyo A,Olsoe J,Baxter B,He B.Noninvasive electroencephalogram based control of a robotic arm for reach and grasp tasks[J/OL].Sci Rep,2016,6:38565(2016-12-04).https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5155290/
[33]Polich J,Kok A.Cognitive and biological determinants of P300:an integrative review[J].Biol Psychol,1995,41(2):103-146.
[34]Gerson AD,Parra LC,Sajda P.Cortically coupled computer vision for rapid image search[J].IEEE Trans Neural Syst Rehabil Eng,2006,14(2):174-179.
[35 ]Huang YH,Erdogmus D,Pavel M,Mathan S,Kenneth EHⅡ.A Framework for rapid visual image search using single-trialbrain evoked responses[J].Neurocomputing,2011,74(12-13):2041-2051.
[36 ]Bigdely-Shamlo N, Vankov A, Ramirez RR,Makeig S.Brain activity-based image classification from rapid serial visual presentation[J].IEEE Trans Neural Syst Rehabil Eng,2008,16(5):432-441.
[37 ]WolpawJR, BirbaumerN, McFarlandDJ,Pfurtscheller G,Vaughan TM.Brain-computer interfaces for communication and control[J].Clin Neurophysiol,2002,113(6):767-791.