腦機接口中腦電圖-近紅外光譜聯(lián)合分析進展研究

張力新 周鴻展 王 東 孟佳圓*② 許敏鵬② 明 東②

①(天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院 天津 300072)

②(天津大學(xué)精密儀器與光電子工程學(xué)院 天津 300072)

1 引言

腦電圖(ElectroEncephaloGraphy, EEG)通過放置在頭皮表面的電極記錄，能反映出腦皮層神經(jīng)微弱放電的變化情況。EEG的電位記錄具有較高的時間分辨率，從而使在時間細節(jié)上跟蹤大腦活動過程成為可能[1]。近紅外光譜(Near-InfRared Spectroscopy, NIRS)是通過外置光源和接收器，監(jiān)測大腦特定區(qū)域血紅蛋白濃度波動的方法。在特定腦區(qū)激活時，對氧的需求量增加，從而在大腦中發(fā)生代償性血流動力學(xué)反應(yīng)[2]，使相應(yīng)區(qū)域血紅蛋白濃度等生理指標發(fā)生變化。EEG以采集電信號的方式實現(xiàn)，NIRS以采集光信號的方式實現(xiàn)，兩者所需的信號本身及其采集方式?jīng)]有物理意義上的相互干擾，可以同時采集，故在現(xiàn)有的腦機接口(Brain-Computer Interface, BCI)中，EEG和NIRS是較常用的采集信號。目前，腦電活動及其對應(yīng)的血流動力學(xué)活動的時空對應(yīng)關(guān)系尚不明確，它們通過神經(jīng)血管耦合機制[3]相互作用，各自具有獨特的特征，將EEG和NIRS聯(lián)合分析可能得到更精確、更詳細的大腦活動狀態(tài)[4]。相關(guān)的研究表明，與單模態(tài)BCI相比，將EEG和NIRS聯(lián)合分析的混合BCI系統(tǒng)能在多種范式上提供更多的指令集，提高腦機接口系統(tǒng)分類的魯棒性與準確率，也能夠?qū)η榫w狀態(tài)、持續(xù)注意等時間尺度較長的狀態(tài)進行精細的識別與估計。對于這兩種信號具體的融合方法，隨著研究者對這兩種信號本身及其相互聯(lián)系的不斷加深，其形式于近幾年從較為簡單的基于貝葉斯的決策層融合，到基于特征篩選和拼接的特征層融合，再到基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)、長短期記憶網(wǎng)絡(luò)(Long Short Term Memory network, LSTM)等深度學(xué)習(xí)方法的數(shù)據(jù)層融合，由淺入深逐漸發(fā)展。就目前研究現(xiàn)狀而言，決策層和特征層融合均能給混合BCI帶來一定效果的提升，而利用深度學(xué)習(xí)方向的數(shù)據(jù)層融合方法，某些特定范式的指令融合分類準確率可達99%以上。本文以EEG與NIRS的信號融合層級為主線，綜合概括了兩種信號的融合方法及其應(yīng)用場景，并對未來的信號融合的發(fā)展方向做出了展望。

2 信號融合層級

EEG和NIRS的聯(lián)合分析與融合可以分為決策層融合、特征層融合與數(shù)據(jù)層融合。每個層級具體的處理過程如圖1所示。

圖1 決策層融合、特征層融合與數(shù)據(jù)層融合的處理過程示意圖

本文將從這3個方向介紹相關(guān)研究進展，并進行總結(jié)歸納。

2.1 決策層融合

決策層融合一般指將各模態(tài)信息各自進行處理，并將得到的初步分類結(jié)果進行決策或權(quán)重分配，得到目標的最終分類結(jié)果的融合。各模態(tài)信息獨立處理包括預(yù)處理、特征提取與分類等，也可以選定多種特征提取方法分別進行分類，最后根據(jù)各模態(tài)的分類結(jié)果進行自適應(yīng)的決策。在EEG-BCI的相關(guān)研究中，根據(jù)同一實驗任務(wù)引發(fā)的不同特征分別進行分類，最后通過自適應(yīng)決策得出最終結(jié)果的方法已較為常見，如較為成熟的運動想象(Motor Imagery, MI)-P300 混合BCI使用決策層融合方法，相較于使用單模態(tài)特征，其分類正確率和所需的訓(xùn)練次數(shù)都得到了顯著的優(yōu)化[5]。在EEG-NIRS BCI中使用決策融合的方法是單模態(tài)BCI研究的自然延續(xù)。

決策層融合可對BCI輸出結(jié)果進行預(yù)測與校正、增加BCI的指令集、提高EEG-NIRS BCI的分類準確率等。且由于決策層融合計算算法較為簡單，實時性較強，更適合應(yīng)用于對反應(yīng)時間要求較高的BCI系統(tǒng)中。如在輸出結(jié)果的預(yù)測與校正方面，在Fazli等人[6]的研究中，EEG與NIRS兩系統(tǒng)是串聯(lián)的關(guān)系。該研究以運動想象BCI為背景，通過最近時段的NIRS活動來預(yù)測EEG-BCI控制的性能波動。然后以基于NIRS的預(yù)測結(jié)果迭代魯棒性更強的EEG分類器。此方法可以顯著增強BCI分類效果，同時最小化性能波動，從而提高BCI性能的穩(wěn)定性。Tomita等人[7]針對低頻穩(wěn)態(tài)視覺誘發(fā)電位(Steady-State Visually Evoked Potential, SSVEP)范式容易將受試者空閑狀態(tài)識別為指令的問題，在枕區(qū)引入了NIRS通道用于識別“空閑”指令。具體而言，該研究綜合EEG和NIRS的分類結(jié)果，判斷決定當前是否為“空閑”狀態(tài)。若判斷為是，則讓SSVEP-BCI系統(tǒng)暫停輸出。該方法的引入成功降低了假指令出現(xiàn)的概率。在增加BCI指令集的方向上， Khan等人[8]通過受試者執(zhí)行不同算術(shù)心理任務(wù)情況下的NIRS信號，得出輪椅向前和向后運動的控制命令；通過分析左右手的想象敲擊對應(yīng)的EEG信號得出向左和向右轉(zhuǎn)動的控制命令，實現(xiàn)了輪椅的更靈活的控制。

提高分類準確率是決策層融合的直接目的。如在Fazli等人[9]的研究中，以基于運動想象的BCI系統(tǒng)為研究對象，對EEG和NIRS信號分別訓(xùn)練線性判別分析(Linear Discriminant Analysis, LDA)濾波器，在決策階段綜合3個濾波器估計1個元分類器，以最優(yōu)地組合LDA算法的輸出。通過這種融合方法，90%以上受試者的運動想象的分類準確率顯著提高，平均提高5%。Kwak等人[10]對EEG和NIRS分別通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，在分類階段對分類結(jié)果進行加權(quán)。EEG-NIRS加權(quán)后的分類結(jié)果始終顯著優(yōu)于EEG獨立分類的結(jié)果(對于運動想象，比單模態(tài)EEG分類準確率高2.82%；對于心算任務(wù)則提高了3.92%)，并緩解了NIRS響應(yīng)延遲導(dǎo)致的BCI性能下降。Alhudhaif[11]則使用了含氧血紅蛋白(Oxygenated Hemoglobin, HbO)濃度、脫氧血紅蛋白(Deoxygenated Hemoglobin, HbR)濃度、HbO+HbR,EEG,EEG+HbO和EEG+HbR 6種數(shù)據(jù)組合方式，用K-means聚類中心差異屬性加權(quán)方法(K-Means Clustering Centers Difference based,KMCCD-based)對各種選定的特征進行加權(quán)，最后使用LDA、支持向量機(Support Vector Machine,SVM)等分別進行分類，比較各種分類器的性能。分析結(jié)果顯示，經(jīng)上述處理，運動想象和心算任務(wù)的最終分類結(jié)果均達到98%以上，顯著高于單模態(tài)分類結(jié)果。

決策層融合是根據(jù)已有的分類結(jié)果決定最終的分類結(jié)果的融合過程。一般而言，各模態(tài)的分類結(jié)果的決定策略或由訓(xùn)練集的結(jié)果確定，或在BCI的使用過程中自適應(yīng)調(diào)節(jié)。現(xiàn)有的決定策略的選擇一般為貝葉斯方法，構(gòu)建混淆矩陣等純數(shù)學(xué)方法，不涉及EEG和NIRS信號的內(nèi)在機制或聯(lián)系，這也導(dǎo)致決策層融合的研究深度有限。但由于決策層融合的算法復(fù)雜度一般較為簡單，運行快速，這種融合方式有一定的實際應(yīng)用價值。

2.2 特征層融合

特征層融合是對從不同模態(tài)信息中提取的特征向量或參數(shù)進行聯(lián)合，有效的特征選取和融合方式能大大提高不同指令之間的可分性，從而提升BCI的表現(xiàn)。而缺點在于不同模態(tài)信息分開提取特征時無法表征模態(tài)間的信息聯(lián)系，而盲目的選取和融合各模態(tài)的特征反而可能會降低系統(tǒng)的表現(xiàn)。經(jīng)典的單模態(tài)EEG-BCI已有將MI和P300的混合特征直接訓(xùn)練、選擇并組合的方法[12]，實現(xiàn)了單信號源自身的特征融合。以單模態(tài)信號的特征融合研究為基礎(chǔ)，研究EEG-NIRS多模態(tài)信號特征融合方法是應(yīng)有之義。而在目前EEG-NIRS BCI的研究中，如何選取EEG和NIRS信號的特征是特征層融合能否提高BCI系統(tǒng)性能的一個關(guān)鍵因素。

在實際的研究結(jié)果中，特征選取只要合適，無論簡單或者相對復(fù)雜，均有良好的性能提升效果。對于簡單的特征選取，如均值、功率、相關(guān)性等，不少研究均認為合適的組合能顯著提升其分類準確率。Aghajani等人[13]以n-back任務(wù)為研究對象。EEG特征選取為特定頻帶功率，而NIRS特征選取為HbO, HbR濃度變化的斜率，HbO與HbR之間的相關(guān)性和神經(jīng)血管耦合指數(shù)(該研究將其定義為EEG特定頻帶功率與HbO, HbR之間的相關(guān)性)，最后對合并的特征利用SVM進行分類。從分類結(jié)果來看，特征融合后的分類準確率高于兩種單模態(tài)信號各自的分類準確率(較EEG高3.8%，較NIRS高8.5%)，表明多模態(tài)信號的特征融合和神經(jīng)血管耦合在量化心理負荷方面的協(xié)同作用。Almajidy等人[14]以左手、右手、雙手和雙腳的運動想象為范式。采用HbO信號在特定時間窗內(nèi)的斜率作為NIRS信號特征進行特征提取，采用8～30 Hz頻段內(nèi)EEG的功率譜密度作為EEG信號特征進行特征提取。組合兩特征后采用線性判別分析特征選取進行分類。與純腦電圖特征相比，當使用多模態(tài)信號特征時，分類準確率的提高非常顯著，平均達11.6%。其他研究[15-17]也采用了類似的特征以融合EEG與NIRS信號，并獲得了有顯著性的分類提升。對于復(fù)雜特征的選取，則一般使用信號處理過程中獲得的某些參數(shù)。Shin等人[18]以心算任務(wù)和運動想象范式為研究對象，EEG特征選擇了共空間模式(Common Spatial Pattern,CSP)方法中按典型特征值得分排序后前3個和后3個特征值的對數(shù)方差，NIRS特征使用5～10 s和10～15 s時間窗口內(nèi)HbR和HbO在時間上的平均值。值得注意的是，該研究也嘗試了NIRS信號的其他特征，如斜率和方差等，但除時間平均值以外的特征并沒有提高分類性能。Han等人[19]以心算任務(wù)作為范式，也做了類似的研究。對于EEG，采用具有自動濾波選擇的CSP分析方法，得到第1個和后兩個CSP分量的對數(shù)方差作為EEG特征。對于NIRS則將HbO和HbR的平均值和斜率作為NIRS信號的特征。值得注意的是，與Shin等人[20]的研究相比，該研究實現(xiàn)了在線應(yīng)用，表明了EEG-NIRS BCI的實際應(yīng)用能力。在其他范式或任務(wù)中，類似的特征融合方法也有所應(yīng)用[21-23]。Dehais等人[24]則在腦力負荷狀態(tài)檢測的研究中，EEG特征采用各頻帶(α,β和θ)的功率，NIRS特征采用了特定頻率下的基于小波變換的相干性，也得出了高水平的分類結(jié)果，聯(lián)合分類結(jié)果較單模態(tài)分類結(jié)果高出1.4%。可見，特征層融合對于提升BCI性能也有較好的效果，且融合方法多種多樣，值得深入研究。

EEG數(shù)據(jù)和NIRS數(shù)據(jù)在原理和獲取機制上有很大的不同，是兩種不同的腦信號。當結(jié)合這兩種不同類型的數(shù)據(jù)時，簡單的特征拼接往往會導(dǎo)致機器學(xué)習(xí)算法的性能較差。因此，有必要在融合前對兩者的特征進行歸一化，在融合后進行特征選擇。Qiu等人[25]提出了一種多模態(tài)特征級融合方法：歸一化-重構(gòu)方法。該方法在偏好音樂和中性音樂誘發(fā)的大腦活動分類中，準確性高達98.38%。而各模態(tài)信號通道之間的相關(guān)性計算過程中，也可以視為進行了歸一化處理。Cao等人[26]將EEG的腦網(wǎng)絡(luò)特征與NIRS的腦網(wǎng)絡(luò)特征相融合，在工作負荷的分類中達到了較為先進的水平。

除了簡單的特征拼接外，還有以優(yōu)化EEG與NIRS特征之間互補性，降低冗余性為目的特征融合方法。Deligani等人[27]將互信息作為特征選擇的工具，以最小化高維多模態(tài)EEG-fNIRS特征之間的冗余。在P300-speller BCI使用此方法進行特征融合后進行分類。基于互信息的特征選擇比沒有特征選擇的混合選擇分類準確率提高了16%，比使用EEG和fNIRS的單模態(tài)分類準確率分別提高了12%和23%。Zhang等人[28]使用基于時間和空間對齊的特征融合方法，在MI范式中得到了相對于非對齊方法顯著提高的分類水平。

特征層融合的深入研究，不僅在于適合的特征選取與組合方式，更在于挖掘更多有效的、含義豐富的特征。目前，在特征層融合上，EEG信號與NIRS信號所應(yīng)用的特征較為單一，尤其是對于NIRS信號特征的選取，多停留在峰值、均值等簡單統(tǒng)計量，少有涉及NIRS信號內(nèi)蘊含的豐富的空間信息。不僅如此，相關(guān)方向的研究多停留于1維特征的分類，對2維乃至高維的特征的融合方法仍有待發(fā)掘。實際上，以2維特征為分類依據(jù)的EEGBCI和NIRS-BCI均已問世，如以時頻特征為分類依據(jù)的EEG-BCI[29]、以廣義線性模型(Generalize Linear Model, GLM)分析為分類依據(jù)的NIRSBCI[30,31]等。對于2維乃至高維特征的融合是未來特征層融合的一個具有前景的研究方向。

2.3 數(shù)據(jù)層融合

現(xiàn)在的數(shù)據(jù)層融合研究可大致分為兩種：第1種是根據(jù)一方的數(shù)據(jù)包含的信息或特征，對另一方的原始數(shù)據(jù)進行時域、空域等維度的篩選，從而得到與指令更相關(guān)，特征更明顯的數(shù)據(jù)段；第2種是將EEG和NIRS的數(shù)據(jù)以某種方式融合為單模態(tài)的數(shù)據(jù)。第1種數(shù)據(jù)層融合通常方法簡單易行，容易理解，但研究的可深入程度有限；第2種數(shù)據(jù)層融合的優(yōu)點在于保留了較完整的原始數(shù)據(jù)，因此可以保持各模態(tài)數(shù)據(jù)之間的數(shù)學(xué)關(guān)聯(lián)。缺點一是由于不同模態(tài)數(shù)據(jù)的時間、空間信息難以對齊，提高了融合后的計算復(fù)雜度，不適合對實時性要求高的系統(tǒng)；二是需要同時考慮不同類型信號的偽跡的處理，增加了數(shù)據(jù)處理模型的設(shè)計難度。

第1種數(shù)據(jù)融合方法著眼于提高數(shù)據(jù)質(zhì)量，濾除冗余信號。對于單模態(tài)信號，濾除冗余信號的方法多基于統(tǒng)計方法，如將數(shù)據(jù)通過z分數(shù)標準化，然后通過對統(tǒng)計指標設(shè)定閾值后進行篩選[32]。對于多模態(tài)信號，由于各模態(tài)信號之間具有內(nèi)在聯(lián)系，相應(yīng)的數(shù)據(jù)篩選方式也更為可靠。且由于該融合方法的意義簡單直觀，在EEG-NIRS聯(lián)合分析中起步較早。如Shu等人[33]提出了一種針對BCI系統(tǒng)中單次試驗分類問題進行時間窗最優(yōu)選擇的方法。由于EEG與NIRS之間存在耦合關(guān)系，該研究根據(jù)HbO的信號狀態(tài)來定義受試者大腦的激活狀態(tài)。具體而言，該研究將HbO波形峰值處定義為大腦被完全激活的時間點，然后以這個時間點為中心選擇附近時間窗內(nèi)的EEG數(shù)據(jù)。在特定選擇的3 s時間窗下，與原始12 s時間窗相比，解碼準確率從69%顯著提高到79%。Khan等人[34]在空域上進行了類似的研究。該研究以HbO和HbR的空間平均值為指標篩選與運動活動相關(guān)的活動區(qū)域，然后選取該區(qū)域中腦電圖電極數(shù)據(jù)進行特征提取與分類。結(jié)果表明，NIRS相關(guān)區(qū)域可以更準確地識別BCI的活躍腦區(qū)。在選定的EEG通道中使用SVM進行分類的平均準確率也高于選取所有通道的平均值。Al-quraishi等人[35]從運動皮層區(qū)域內(nèi)選取EEG導(dǎo)聯(lián)中事件相關(guān)去同步化(Event-Related Desynchronization, ERD)特征最明顯的數(shù)個導(dǎo)聯(lián)，同時根據(jù)NIRS信號中的HbO濃度確定數(shù)個最活躍的NIRS通道。根據(jù)選中的EEG導(dǎo)聯(lián)和NIRS通道的皮爾遜相關(guān)性，最終確立用于分類的EEG與NIRS導(dǎo)聯(lián)。使用最終確立的相關(guān)通道中的導(dǎo)聯(lián)信號進行踝關(guān)節(jié)運動分類。結(jié)果表明，與單模態(tài)信號全導(dǎo)聯(lián)分類相比，此研究提供的方法顯著提高了踝關(guān)節(jié)分類準確率，為93.01 ± 5.60%。Meng等人[36]采用滑動時間窗對EEG和NIRS信號進行分割，然后將交叉時間窗與獨立選擇的EEG和NIRS中的每個片段相結(jié)合。此外，利用濾波器組共空間模式(Filter Bank Common Spatial Pattern,FBCSP)和統(tǒng)計方法(信號的均值和峰值)從每個樣本中提取腦電圖和NIRS特征。通過計算FBCSP和統(tǒng)計特征的互信息來表征交叉時間窗口的識別，并根據(jù)最大的互信息選擇最優(yōu)時間窗。該方法的分類準確率為92.52 ± 5.38%，高于其他方法，說明了該方法的合理性和優(yōu)越性。Li等人[37]以運動想象范式為例，建立了一個由EEG調(diào)制的NIRS分析框架。在運動想象任務(wù)執(zhí)行期間，對典型的EEG節(jié)律調(diào)制，并將其引入到NIRS的GLM的建立過程中。該方法提高了GLM分析的性能，實現(xiàn)了更高的檢測靈敏度以及事件相關(guān)去同步顯著性。還有研究將EEG中的矢量-相位分析特征作為篩選NIRS通道的依據(jù)[38]。與篩選前相比，篩選后的NIRS信號分類準確率由63.8%提升至86.0%，提升效果極為明顯。

第2種數(shù)據(jù)層融合方法在近幾年才出現(xiàn)，目前仍處于純數(shù)據(jù)驅(qū)動階段。常規(guī)方法在于尋找這兩種信號的擬合關(guān)系，從而將數(shù)據(jù)類型歸一化。如文獻[39]提出了EEG和NIRS信號的張量融合方法和p階多項式融合方法，在心算任務(wù)和運動想象任務(wù)中，相比于單模態(tài)信號分類結(jié)果均有更良好的分類表現(xiàn)，且融合過程的時間、算力成本不高的方法，具有較高的實用價值。

隨著深度學(xué)習(xí)的發(fā)展，由于深度學(xué)習(xí)不要求多輸入端的語義一致性，使其應(yīng)用在EEG信號與NIRS信號聯(lián)合分析相關(guān)研究時，無需研究兩信號之間的生理聯(lián)系即可進行數(shù)據(jù)層融合。Nour等人[40]提出了一種基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的多頻帶分類方法的分類框架。該研究的主要工作在于提出了一種使用EEG和NIRS信號進行全連接層優(yōu)化的CNN體系結(jié)構(gòu)，然后根據(jù)受試者左-右運動想象，對測試集的EEG和NIRS信號進行分類。該方法比現(xiàn)有的分類方法具有更高的分類性能，準確率為99.85%。基于CNN的用于分類EEG-NIRS信號的神經(jīng)網(wǎng)絡(luò)還有諸多變體，如CNN-LSTM等[41]。Chen等人[42]對于MI范式提出了一種多通道融合方法，并設(shè)計了一種多通道融合混合網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)合了深度卷積層、通道注意機制和雙向長短期記憶層，使其在空域和時域上具有很強的特征提取能力，在公開數(shù)據(jù)集上的平均準確率達到了99.64%。除此之外，還有對常規(guī)使用于EEG分類的EEGNet進行改造[43]以容納fNIRS數(shù)據(jù)的方法等。長期來看，隨著算力的發(fā)展，使用深度學(xué)習(xí)領(lǐng)域的方法搭建合適的神經(jīng)網(wǎng)絡(luò)，是未來數(shù)據(jù)層融合的主流方向。

在數(shù)據(jù)層融合上，目前的融合方法仍有可改進之處。對于第1類數(shù)據(jù)層融合，對信號的多維度篩選固然增加了信噪比，有利于分類準確率的提升，但是由于兩種信號的信噪比本身不高，特征成分復(fù)雜且微弱，以信噪比為主要依據(jù)進行數(shù)據(jù)篩選可能損失其他未知的、有用的特征。對于第2類數(shù)據(jù)層融合，目前的相關(guān)研究不多，但因其保留了更多的信號的原始特征，在對信號的利用程度方面潛力更大，是更值得繼續(xù)研究的方法。

3 總結(jié)與展望

就目前的EEG-NIRS BCI 研究而言，依托于機器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展，主流數(shù)據(jù)融合層級從決策層逐漸過渡到特征層和數(shù)據(jù)層。機器學(xué)習(xí)中的SVM, LDA等方法已成為EEG和NIRS數(shù)據(jù)的基礎(chǔ)分類方法，并在數(shù)據(jù)的決策層、特征層融合中得到了廣泛的應(yīng)用；而數(shù)據(jù)層融合方法中，CNN，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)等深度學(xué)習(xí)方法由于其良好的工程應(yīng)用能力，在信號融合BCI指令集分類的表現(xiàn)尤為突出。未來的EEGNIRS的信號融合相關(guān)研究將趨向于更新穎、更深層次的特征層與數(shù)據(jù)層融合方法。

在上述介紹的EEG信號與NIRS信號融合層級中，較非融合與決策層融合而言，由于特征層融合與數(shù)據(jù)層融合更能挖掘EEG信號與NIRS信號的內(nèi)在聯(lián)系，這兩種方法是相對更值得研究的信號融合方法。研究特征層與數(shù)據(jù)層融合方法不僅可以在應(yīng)用層面上提高BCI的性能，而且能促進研究者對腦電信號與腦血氧信號理論上的相互關(guān)聯(lián)的認識與理解。特征層融合與數(shù)據(jù)層融合的研究現(xiàn)狀仍較為初步。在特征層融合研究中，可選的有效特征仍較少，在NIRS信號的特征選擇上尤其明顯；在數(shù)據(jù)層融合中，將EEG與NIRS融合為單模態(tài)信號的融合方式更有潛力，但相關(guān)的研究多依托于深度學(xué)習(xí)框架。以神經(jīng)-血管耦合等客觀規(guī)律為基礎(chǔ)融合兩種信號的方法偶有出現(xiàn)[44]，但是并非較為普及的研究手段，相關(guān)的融合方法值得探究。進一步來說，兩種信號可以在多個層級上漸進融合[45]，以充分利用兩種信號各自蘊含的豐富信息。

EEG-NIRS信號聯(lián)合分析的不足不僅在于其各層次融合方法的局限，也在于研究范式的局限。在EEG-NIRS信號聯(lián)合分析的研究中，多數(shù)以運動想象、心算任務(wù)等作為BCI的研究范式，對其他范式涉獵較少。一方面，未來EEG-NIRS信號聯(lián)合分析研究可以擴大其應(yīng)用范式的范圍，如P300-BCI等；另一方面，EEG-NIRS BCI與EEG-BCI, NIRSBCI均有差別，可以針對EEG-NIRS BCI的特征開發(fā)新的范式，為BCI的應(yīng)用場景開辟新的領(lǐng)域。

EEG-NIRS數(shù)據(jù)聯(lián)合分析在BCI研究領(lǐng)域中具有重要的作用與廣泛的應(yīng)用前景。當前的研究進展與結(jié)論說明了NIRS與EEG信號分別蘊含獨特的信息，可以各自作為對方的補充，對兩種數(shù)據(jù)不同手段的應(yīng)用可以對大腦活動有更深刻的理解，得到對BCI系統(tǒng)的不同方面的提升。EEG和NIRS都是對腦皮層放電及其影響的不完全觀測結(jié)果，兩種信號之間必然存在共同性與互補性。在數(shù)據(jù)算法上的現(xiàn)有研究不僅提高EEG, NIRS信號進行建模分析，能讓我們深入理解大腦的運作模式，也有利于研究者設(shè)計更準確、更高效、更多功能的BCI系統(tǒng)。