運動想象腦電信號的跨域特征學習方法

摘要：運動想象腦電信號采集成本高且個體差異大，跨個體域構建腦電信號模式識別模型屬于典型的小樣本跨域學習任務。針對該任務，提出了一種運動想象腦電信號的跨域特征學習方法。該方法首先選擇最優度量方法對齊協方差并提取共同空間模式特征；其次，在該特征基礎上采用領域自適應方法學習目標域的最優跨域特征。為驗證所提方法的可行性與有效性，采用經典模型識別跨域特征，在兩個公開的數據集上進行對比實驗。實驗結果表明，通過所提方法學習到的跨域特征，在運動想象模式識別中明顯優于現有方法學習到的特征。此外，還詳細對比了跨域特征學習方法的各項參數設置、性能及效率。

關鍵詞：運動想象；腦電信號；跨域特征學習；領域自適應；協方差對齊

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2022）08-017-2340-07

doi：10.19734/j.issn.1001-3695.2022.01.0016

Cross-domain feature learning method for motor imagery EEG signals

Wei Hongyua，Chen Lifeia，b，c，Luo Tianjiana，b

（a.College of Computer amp; Cyber Security，b.Digital Fujian Environmental Monitoring Internet of Things Laboratory，c.Fujian Applied Mathematics Center，Fujian Normal University，Fuzhou 350108，China）

Abstract：Motor imagery EEG signals requires a high cost for recording，and there is a large difference for individual’s signals.Cross-subject motor imagery EEG signals recognition task belongs to a typical cross-domain learning problem with a small samples set.To solve this problem，this paper proposed a cross-domain feature learning method for motor imagery EEG signals to improve the recognition performance.The proposed method firstly selected the optimal measurement to align the covariance of EEG signals，and then extracted common spatial patterns（CSP） from the aligned EEG trials.Secondly，based on the CSP features，it selected an optimal domain adaptation algorithm to learn the optimal cross-domain features for the target domain.To validate the feasibility and effectiveness of the learned cross-domain features，it adopted a classical model to recognize the learned cross-domain features，and conducted the comparative experiments on two public datasets.Experimental results show that the learned cross-domain features are obviously better than state-of-the-arts methods in recognition performance.In addition，this paper also compared the parameters setting，performance and efficiency for the proposed method.

Key words：motor imagery；EEG signal；cross-domain feature learning；domain adaptation；covariance alignment

0引言

腦機接口（BCI）[1，2]技術繞過肌肉系統，允許大腦與外部設備之間建立直接的通路，實現神經系統和外部設備間的直接信息通信。BCI技術分為收集大腦信號、分析并解碼大腦信號和根據解碼結果向外部設備輸出控制命令三個主要步驟。頭皮腦電（EEG）是BCI最常用的腦電信號類型之一，該信號采用非侵入方式記錄大腦活動的電生理現象?；贓EG的BCI主要包括運動想象（MI）、穩態視覺電位（SSVEP）和事件相關電位（ERP）三種方式。其中，MI屬于主動BCI模式，因此基于EEG的MI-BCI是最常使用的BCI范式，也是本文研究的對象[3]。

在MI-BCI中，用戶根據提示想象自己身體部位的運動，此時會在對應的大腦皮層區域引起感知運動節律，產生大腦相關皮層區域的腦節律調制，從而在EEG信號中編碼不同的運動想象規律和特性。因此，不同運動動作的想象可以產生不同的空間局部化解碼，從而識別出不同的運動感知節律模式，最終可根據模式識別結果的映射關系控制外部設備。早期MI-BCI已經應用至醫學領域，用于幫助嚴重癱瘓的患者在沒有肌肉系統參與的情況下控制輪椅[4]。近年來，MI-BCI已經幫助中風患者做康復訓練以改善其運動功能[5，6]，并且MI-BCI的娛樂性應用已經擴展至健康人群。然而，EEG信號記錄人腦頭皮層的微弱信號變化，易受噪聲影響，常用的特征提取方法為共同空間模式（CSP）。CSP是應用非常廣泛的一種空域濾波特征提取算法[7，8]，在運動想象任務的特征提取與分類中有不錯的效果，該方法能夠從多通道的EEG信號中提取出每個類別的最優空間分布成分。在CSP特征基礎上，一般可采用線性判別分析（LDA）或支持向量機（SVM）等模型完成運動想象任務的模式識別。

實際上，由于EEG信號采集的成本較高，通常單個被試者的EEG樣本數量較少，并且每個被試者的EEG信號分布存在個體差異性，無法將跨被試的全體EEG信號直接用于構建高性能模式識別模型。因此，一些研究者希望通過遷移學習的方法降低EEG信號特征分布的個體差異性[9]，并在全體跨被試者的EEG信號上構建高性能模式識別模型。遷移學習中最常見的任務為領域自適應，經典的領域自適應方法包括遷移成分分析（TCA）[10]、聯合分布適配方法（JDA）[11]、考慮稀疏特征選擇的遷移聯合匹配改進方法（TJM）[12]和動態分布自適應（BDA）[13]。在解決領域自適應的方法中，其基本目標是降低源域和目標域的特征分布差異，以保證源域和目標域的特征分布能共同用于訓練分類器，這些方法可拓展至MI-BCI的CSP特征之上，用于提升模式識別的性能[14，15]。

在基于MI-BCI的遷移學習中，一些研究者[16]結合核共同空間模式（KCSP）[17]和遷移核學習（TKL）[18]提出了遷移核共同空間模式方法（TKCSP），并應用于跨被試者的腦電信號處理中。文獻[19]提出了一種不需要目標域標記數據的跨被試者遷移學習的多任務學習框架，并證明該方法對一名肌肉萎縮患者的遷移效果不錯。Azab等人[20]對上述方法做了進一步的改進，提出MI分類中對跨被試者利用Kullback-Leibler散度進行加權遷移學習。在集成遷移學習中，Hossain等人[21]提出了多類MI分類中跨被試遷移的集成學習方法。

在數據對齊方面，Zanini等人[22]提出了一種黎曼距離對齊方法（RA），并采用改進的MDRM[23]分類器驗證了該方法的有效性。Yair等人[24]提出了一種在SPD矩陣的錐流形上，通過平行輸運解析表達式的領域自適應方法，并證明該方法在跨被試者運動想象分類、睡眠階段分類和心算識別方面有不錯的效果。文獻[25]在RA的基礎上做了改進，提出了一種歐氏距離對齊方法（EA），該方法在歐氏空間上將不同被試者的EEG信號協方差矩陣對齊到單位矩陣上，比RA方法更方便、高效。此外，文獻[26]提出了黎曼Procrustes分析（RPA）方法，用于對齊跨被試者的EEG信號，該方法在跨被試MI、ERP和SSVEP分類中有著不錯的效果。

在流形遷移學習中，文獻[27]在黎曼流形協方差矩陣對齊基礎上，提出了一種在切空間上的流形知識遷移方法（MEKT）。文獻[28]提出了一種樣本選擇的遷移學習方法，該方法從少量的目標域樣本中估計MDRM分類器使用的樣本協方差矩陣。另外，基于深度學習的MI-BCI遷移學習[29]也獲得了不錯的效果。文獻[30]提出了一種應用于MI-BCI分類的并行多尺度濾波器（CNN），提升了分類結果在遷移上的性能。

運動想象EEG信號具有非平穩特性且易受噪聲影響，獲取個體域記錄的信號代價高且特征分布差異大，跨個體域構建腦電信號模式識別模型屬于典型的小樣本跨域學習任務。從現有研究綜述中可以看出，目前的研究集中在樣本協方差對齊、流形特征自適應或模式識別模型的遷移[31]。為了在個體域之間學習穩定、可靠的跨域特征，本文提出了一種運動想象腦電信號的跨域特征學習方法，用于提升跨個體域腦電信號模式識別性能。首先，該方法選擇最優的協方差矩陣距離度量方法，在個體域之間將樣本集協方差對齊至單位矩陣。其次，在對齊后的樣本集上提取CSP特征，并引入TCA、JDA、BDA和TJM四種不同的領域自適應方法，在待識別的目標域上學習最佳的跨域特征。本文在兩個公開數據集上驗證了所提出跨域特征學習方法的可行性與有效性，并且從參數設置、模式識別性能和效率上進行了詳細對比實驗分析。

現有面向運動想象腦機接口的跨域特征學習方法僅針對樣本對齊角度或CSP特征跨域自適應角度，跨域的特征學習能力不夠，導致運動想象模式識別性能不足。本文同時針對樣本角度和CSP特征角度構建跨域特征學習方法，為個體域腦電信號樣本集選擇最優的樣本對齊度量方法，以及CSP特征跨域自適應方法，并在兩個公開的腦電數據集上驗證了所提方法的模式識別性能及效率。

1最優協方差矩陣樣本對齊

在跨個體域的EEG信號樣本對齊中，本文選用歐氏距離對齊方法（EA）[25]。由于該方法需將樣本對齊至協方差中心，所以本文將協方差中心計算擴展至不同距離度量方法，并為不同個體選擇最優的協方差中心度量方法。

1.1協方差矩陣中心對齊方法

協方差矩陣中心可作為多維時間序列分布的度量方式。假設Xi是被試者進行運動想象任務獲得的第i個樣本，每個被試者擁有n個 EEG樣本，則個體域的EEG信號樣本協方差矩陣中心為：=1n∑ni=1XiXTi。該中心采用算法平均值表達，在經典的EA算法中使用歐氏距離度量。隨后，根據協方差矩陣中心，對每個EEG樣本進行對齊操作：

i=-12Xi（1）

經過n次對齊后，所有被試者的EEG樣本的平均協方差矩陣都等于單位矩陣，因此來自不同被試者的協方差矩陣分布會更為相似。

1.2最優協方差矩陣中心距離度量方法

由于不同任務、不同被試者對EEG信號樣本的分布都有影響，在實際個體域的對齊中，需根據每個個體域的樣本分布情況，靈活選擇合適的協方差中心度量方法。除了歐氏距離以外，本文將采用如下七種均值度量方法：

a）黎曼均值。

=argmin（∑iδR（X，Xi）2）（2）

其中：δR表示黎曼空間上兩個協方差矩陣的距離。采用梯度下降法，在黎曼空間上進行迭代的均值求解。

b）對數歐氏均值。

=exp（1n∑ilog Xi）（3）

c）對數det均值。

=（∑i（0.5X+0.5Xi）-1）-1（4）

d）Wasserstein均值。

K=（∑i（KXiK）12）12（5）

其中：K=-1/2。根據Wasserstein度量方式，初始化迭代次數，不斷更新K，直到迭代次數停止。

e）AJD對數均值。

=ATexp（∑ilog BTXiB）A（6）

其中：矩陣B是基于Pham算法的近似聯合對角化；A是B的逆矩陣。

f）調和均值。

=（1n∑iX-1i）-1（7）

g）KL散度均值，計算方式為

=（1n∑ni=1Xi）12[（1n∑ni=1Xi）-12（1n∑iX-1i）-1]12×（1n∑ni=1Xi）12（8）

實際上，該均值是算術平均值和調和平均值之間的幾何平均值。

實際實驗中，本文將根據不同個體域EEG樣本分布情況，采用trial-and-error的方式選擇最優的度量方式，計算協方差矩陣中心算術平均值，并采用式（1）對齊不同個體域的EEG信號樣本集。

2EEG信號的跨域CSP特征學習

在遷移學習方法中，領域自適應是常見的基于核空間的方法。其本質是最小化源域特征分布和目標域特征分布的距離，最常使用衡量源域特征分布和目標域特征分布的距離為MMD[32]。在EEG信號的跨域CSP特征學習中，目標是在多個源域和目標域CSP特征最小化MMD距離。

2.1遷移成分分析方法

遷移成分分析方法（TCA）為基于邊緣分布的自適應[10]方法。假設用源域和目標域的邊緣分布采用P（Xs）和P（Xt）表示，TCA方法的目的是減小P（Xs）和P（Xt）之間的差異。TCA的目的是最小化MMD距離，其優化目標為

minw tr（ATXLXTA）+μ‖A‖2Fs.t.ATXHXTA=I（9）

其中：A是最小化MMD的映射矩陣；H是中心矩陣；H=In1+n2-1/（n1+n2）11T；L即為MMD距離。采用拉格朗日乘子法即可求得A的最優解為（XLX+μI）-1XHX最大的m個特征值對應的特征向量。最終，通過映射A變換源域和目標域特征。

2.2聯合分布自適應

聯合分布自適應方法（JDA）[11]的目標是減小源域和目標域的聯合概率分布的距離。用P（Xs）和P（Xt）之間的距離以及P（Ys|Xs）和P（Yt|Xt）之間的距離來近似表達。由于目標域沒有標記數據，所以無法直接求解P（Yt|Xt）。JDA方法通過迭代的方式在源域特征和樣本上訓練簡單的分類器，并在目標域特征上預測偽標簽y′t。形式地，JDA的優化目標為

minA∑Cc=0tr（ATXMcXTA）+λ‖A‖2Fs.t.ATXHXTA=I（10）

其中：ATXHXTA=I；H是中心矩陣；I是單位矩陣；Mc表示由源域樣本和標簽，以及目標上樣本和預測偽標簽計算的MMD。通過同樣計算方法，獲得映射矩陣A，用于變換源域和目標域特征。

2.3動態分布自適應

JDA方法將邊緣分布和概率分布的重要性視做相同，然而，由于不同BCI任務和不同人群，其重要性并不始終相等。針對JDA的不足之處，動態分布自適應方法（BDA）設置平衡因子μ ∈[0，1]動態調整邊緣分布和條件分布的重要性[13]。形式地，BDA的優化目標為

minA tr（ATX（（1-μ）M0+μ∑Cc=1Mc）XTA）+λ‖A‖2F

s.t.ATXHXTA=I，0≤μlt;1（11）

其中：BDA方法采用A-distance估計。需要指出的是，BDA方法每輪迭代后，利用偽標簽和A-distance計算新的μ值。同樣地，獲得的映射矩陣用于變換源域和目標域特征。

2.4遷移聯合匹配

無論是JDA還是BDA，都將源域中所有的特征整體用于計算MMD，從而獲得最優特征映射矩陣A。實際上，源域中只有一些有遷移特征意義的特征對計算MMD能夠起到決定作用，而另一些是存在負遷移的特征，則會對MMD計算造成反作用。因此，TJM方法[12]在計算放射矩陣時，將源域的放射矩陣添加稀疏正則化‖As‖2，1，而保證目標域的放射矩陣為二范數不變‖At‖2F。通過系數正則化的選擇，即可在優化過程中從源域中選擇更具代表性的特征，用于計算MMD，從而提升特征遷移的性能[33]。因此，在TCA基礎上TJM的定義可寫為

minA tr（ATKMKTA）+λ（‖As‖2，1+‖At‖2F）

s.t.ATKHKTA=I（12）

其中：λ為正則項的系數。由于上述優化目標具有非凸的特征，所以需要通過迭代的方式求解。最終，由A=[As，At]構建稀疏映射矩陣，在變換源域和目標域特征的同時保證稀疏性，提取最具代表性的特征。

3運動想象EEG信號跨域特征學習方法

3.1共同空間模式

共同空間模式（CSP）[34]針對二分類任務，從多通道EEG信號中提取可區分特征。假設X1和X2分別為兩類不同運動想象任務的EEG信號，首先，計算各域對齊后EEG信號樣本集的平均協方差矩陣Ci（i=1，2）；其次，尋找一個最優的空間濾波器w，使得類別1的方差最大，類別2的方差最小，其優化目標為[34]

C1w=λ（C1+C2）w（13）

其中：λ和w分別為廣義特征值和特征向量；然后利用ZM×N=WM×MXM×N將EEG信號進行空域濾波獲得特征向量Z。隨后，選擇特征向量Z的前m行和后m行（2mlt;M），形成的特征向量作為分離后的空域濾波特征。對于EEG信號Xi，CSP算法最終提取到的特征為fi=log（ZZT）。

3.2線性判別分析

線性判別分析（LDA）[35]是MI-BCI中常用的分類器，對提取到的CSP特征分類后，完成運動想象任務的模式識別。給定特征集合D={（xi，yi）}mi=1，yi∈{0，1}，Xi、μi、Σi分別表示第i∈{1，2}類運動想象EEG信號提取到的跨域特征、均值向量和協方差矩陣。首先，LDA分別計算類內散度矩陣Sb和類間散度矩陣Sw，并保證Sb足夠大且Sw足夠小，其優化目標為

arg maxwJ（w）=WTSbWWTSwW（14）

采用拉格朗日乘子法，即可求解出最優的投影向量w*=S-1w（μ0-μ1）。在實際的運動想象模式識別中，本文將學習到的跨域特征投影至最優方向，并采用LDA方法進行模式識別。

3.3運動想象EEG信號跨域特征學習方法流程

本文基于MI-BCI的EEG信號跨域特征學習方法流程如圖1所示。該方法步驟如下：

a）根據不同個體域的EEG樣本分布情況，采用trial-and-error方法選擇最優的協方差距離度量方法；隨后，將不同個體域的EEG信號樣本對齊至單位陣，使得個體域的EEG信號樣本分布更相似；b）針對每個域對齊后的EEG信號樣本提取CSP特征，在此基礎上將其中某個被試者的CSP特征作為目標域，余下所有被試者的CSP特征作為源域，在源域和目標域間執行領域自適應方法，使得CSP特征之間的MMD最小化；具體來看，從TCA、JDA、TJM和BDA方法中選擇最優的領域自適應方法，從多個源域中學習到最適合目標域的跨域特征；c）采用LDA模型用于跨域特征分類，完成運動想象EEG信號的模式識別。

4實驗與結果分析

4.1實驗初始化

為了驗證本文跨域特征學習方法的可行性與有效性，本文選擇2008 BCI Competition IV中的兩個公開的MI-BCI數據集[36，37]，既MI 1和MI 2a。這兩個數據集基本實驗范式如圖2所示，被試者舒服坐在椅子上，面對屏幕開始實驗。t=0時，屏幕出現十字架集中注意力，伴隨短暫提示音開始本次實驗；t=2時，屏幕將隨機出現指導運動想象方向的箭頭，被試者根據箭頭指導的方向進行運動想象任務；t=6時，被試者結束運動想象且箭頭消失；此后，短暫停頓休息后進入下一次實驗。

a）數據集MI 1。該數據集采集了7名健康被試者運動想象的EEG數據。采集到的數據包含59個通道，采樣率為100 Hz。本文實驗從三個運動想象任務中提取左手和右手類別，分別標記為class1和class2，每個用戶的每個類別有100個樣本。

b）數據集MI 2a。該數據集采集了9名健康被試者運動想象的EEG數據。采集到的數據包含22個通道，采樣率為250 Hz。本文實驗從四個運動想象任務中提取左手和右手類別，分別標記為class1和class2，每個用戶的每個類別有72個樣本。

在跨域特征學習和模式識別實驗中，首先在MATLAB上對兩個數據集進行預處理，將運動想象提示箭頭后的[0.5，3.5] s之間的采樣點數作為一個運動想象樣本。因此，MI 1數據集每個樣本采樣時間點數為300；MI 2a數據集每個樣本采樣時間點數為750。

實驗硬件配置為Intel CoreTM i7-9700 CPU@3.00 GHz，8 GB內存，運行64位Windows 10系統、MATLAB R2017b以及Python 3.7.4。協方差矩陣中心對齊方法采用代碼https：//github.com/hehe91/EA，領域自適應方法代碼則使用代碼https：//github.com/jindongwang/transfer learning/tree/master/code。針對JDA、BDA和TJM的迭代過程中，都將迭代次數設置為10，其他參數則針對實際數據集的測試結果設置最佳參數。本文取所有迭代結果中的最佳性能作為最終的分類結果。

4.2協方差矩陣中心對齊方法實驗結果分析

為了驗證不同均值度量計算的協方差矩陣中心對齊方法在不同數據集上的對齊效果，分別記錄數據集上平均準確率最高的均值度量，以及每個被試者域最佳的均值度量，在后續實驗中分別驗證兩種情況下的最佳跨域特征學習結果。表1、2分別給出了數據集MI 1和MI 2a的實驗結果。其中，每行表示使用八種不同均值對應的同一被試者的分類準確率，每列表示不同被試者在同一均值計算的協方差矩陣中心對齊下的分類準確率，最后一行為平均結果。從表1、2的實驗結果中可以看出：

針對MI 1數據集，分類效果最好的是歐氏均值，效果最壞的是KL散度均值。由于調和平均值對單個低于平均值的值特別敏感，而本質上KL散度均值是算數和調和均值之間的幾何平均值，在KL散度均值下第1個被試者和第4個被試者的分類結果表現都很差，導致對整個平均效果變差。在MI 2a數據集下的測試結果中，分類效果最好的是KL散度均值，分類效果最壞的是調和均值。與MI 1數據集的分析過程相同，第2個被試者在調和均值下的分類準確率僅有50.69%，是八種均值下表現最差的，因此導致最后的平均結果較差。在KL散度均值下表現最差的分類準確率是54.86%，比其他均值下的最差表現都要好，單個最差值對KL散度均值的影響最小，因此KL散度均值的效果最好。

4.3跨域特征學習實驗結果分析

針對不同域對齊后的EEG樣本，分別提取CSP特征，并使用LDA獲得分類識別準確率。由于樣本數量較少，分別對每一個數據集選用交叉驗證法，即采用留一法依次選出目標域樣本和源域樣本，每輪實驗依次選擇一個被試者的樣本集為目標域，余下的樣本集為源域，每一個被試者都會被選擇為目標域，最終使用分類的平均正確率作為實驗結果的度量。

4.3.1實驗結果

在上文的協方差矩陣中心對齊方法實驗結果基礎上，本文分別在兩個數據集上繼續測試樣本對齊對領域自適應特征學習分類性能的提升效果。本節單獨對四種領域自適應方法進行實驗，以及在樣本對齊后提取的CSP特征基礎上，分別進行TCA、BDA、JDA、TJM四種領域自適應方法和協方差矩陣中心對齊的對比實驗。為了更加明顯地分析在協方差矩陣中心對齊方法下四種領域自適應方法的優劣，所有對比均在歐氏均值對齊獲取到的CSP特征上進行，表3、4分別給出了兩個數據集在不同特征學習方法上的實驗結果。從表3、4的結果可以看出，在平均分類準確率方面：

a）在四種領域自適應特征學習方法的對比下，跨域特征學習的準確率高于領域自適應特征學習的準確率，實驗結果充分說明協方差矩陣中心對齊方法對領域自適應特征學習方法有著至關重要的作用以及對降低個體分布差異的有效性。

b）不管跨域特征學習方法選擇哪種核函數，本文可以發現，在MI 1的數據集上TJM的方法最優，在MI 2a的數據集上JDA的方法最優。所以在歐氏距離樣本對齊基礎上，TJM方法更適合MI1數據集的樣本分布，JDA方法更適合MI 2a數據集的樣本分布。

c）與缺少樣本對齊的領域自適應特征學習方法相比，在協方差矩陣中心對齊方法的預處理條件下，四種領域自適應特征學習方法均得到了提升。其中，在MI 1數據集上采用EA+TJM方法提高了14.35%，在MI 2a數據集上采用EA+JDA方法提高了3.09%。

從兩個數據集總體跨域特征學習的結果可以看出，本文方法在每個數據集上均取得了比單一跨域特征學習角度更好的運動想象模式識別性能。為了探索單個個體域特征學習的最佳方法，本文針對每個個體域選擇最優的樣本對齊度量方法和CSP特征跨域特征方法，通過實驗獲得個體最優的運動想象模式識別結果。表5、6分別給出了兩個數據集個體域最優運動想象識別性能的方法。

從表5、6中的結果中可以看出：

a）經過最優度量方式對齊后的樣本，其CSP特征能夠在最優域自適應方法和參數下獲得再次提升，平均提升幅度為2.43%和3.40%；b）針對不同數據集的不同個體域，樣本對齊的度量方式對最終識別準確率有較大影響，花費一定時間代價獲取最優的識別準確率能夠極大地提升模式識別性能；

c）實驗結果充分說明，本文方法對個體分類性能有所提升，且面向個體域數據分布差異靈活選擇合適的方法，隨著算法的發展，在實際應用中可保證其高性能和魯棒性。

為了對比分析本文算法在模式識別性能上的提升，針對兩個數據集中每個被試者對比如下幾種情況的運動想象識別準確率：a）非跨域的識別方法（CSP+LDA）；b）不經過樣本對齊而直接使用領域自適應方法（CSP+DA+LDA）；c）經過最優均值度量樣本對齊后的識別方法（EA+CSP+LDA）；d）本文提出的最優跨域特學習方法（EA+CSP+DA+LDA）。圖3分別給出了兩個數據集在上述四種情況下的運動想象識別準確率對比。從圖3中的結果可以看出，針對每個個體域的最優跨域特征學習方法的識別準確率均高于對比的三個方法。此外，最優度量樣本對齊效果基本優于經典域自適應方法。對比非跨域識別方法和本文最優跨域特征學習方法，運動想象識別準確率得到了明顯提升。例如MI 1數據集的subject4，最優跨域特征學習方法比非跨域識別提升了36.5%。

同時，如圖4所示，本文還分析了在樣本對齊下參數dim對四種域自適應特征學習方法的影響。從圖4的結果中可以看出，參數dim的選擇對實驗影響較大。當dim較小時，所能承載的可遷移CSP特征較少，因此造成了識別準確率的降低。隨著dim的提升，總體識別準確率先上升后下降，在dim=4時獲得了最佳的分類性能。

隨后，本文聯合跨域特征學習的實驗，選擇rbf核函數，驗證在它們共同作用下對分類性能的影響，MI 1和MI 2a數據集上的實驗結果分別如圖5所示。從圖5可以看出：

a）從分類整體情況可以看出，MI 1數據集使用歐氏均值作為距離度量的領域自適應方法效果最佳，使用KL散度均值作為距離度量的效果最差。MI 2a數據集使用對數歐氏均值作為距離度量的效果比較好，對比協方差矩陣中心對齊方法獲得的分類準確率都有了一定的提升，使用調和均值的效果整體比較差。

b）MI 1數據集中經過樣本對齊的四種領域自適應方法中效果最好的是TJM，MI 2a數據集中效果最好的是JDA。由此可看出，采用歐氏均值和TJM領域自適應的特征學習方法更適合MI 1的樣本分布，采用對數歐氏均值和JDA域自適應的特征學習方法更適用于MI 2a數據集的樣本分布。

在實驗采用的四種領域自適應方法中，TCA方法為無監督方式且不需要多次迭代，而BDA、JDA和TJM三種算法均需迭代獲得偽標簽以及求解系數矩陣。因此，圖6給出了不同迭代次數BDA、JDA和TJM三種方法在不同核函數下的迭代準確率對比。從圖6的結果可以看出，算法的效果隨著迭代的次數變得更好。此外，雖然迭代對比實驗中將最大迭代次數設置為10次，實際上絕大多數情況僅需5次迭代即可獲得與最終迭代下匹配的平均準確率。在實際腦機接口應用場景，本文采用提出的跨域特征學習方法，僅需少量的迭代次數即可獲得較好的識別準確率。

4.3.2特征可視化

為了更直觀地觀察跨域特征學習對EEG樣本和特征的變化，本文對四種領域自適應特征學習方法進行了可視化處理。本文選擇展示MI 1數據集中第4個被試者以及MI 2a數據集中第8個被試者的EEG信號跨域特征學習方法的可視化結果。可視化采用t-SNE，將特征投影至2維空間并展示，圖7、8給出了數據可視化結果，圖中圓點和三角分別代表兩個不同類別。

從圖7中可以看出，進行樣本對齊之后，圓點和三角相互之間交錯比較多，說明分類的效果不是很好，但采用經過樣本對齊的領域自適應方法后，圓點和三角的間隔變小了，交錯也少了，能比較明顯地區分出樣本的兩個類別。

從圖8可以看出，在樣本對齊之前，圓點和三角也有比較好的分類效果，但經過樣本對齊的預處理后，圖中圓點和三角的交錯點明顯少了，在采用跨域特征學習方法后，圓點和三角的區分度也有了一定程度的提升。

從上面的結果可以看出：協方差矩陣中心對齊方法可將不同類別的數據分布的邊緣分布差異減小，保證分類器不受不同被試者EEG信號樣本的邊緣分布影響。此外，TCA方法可在協方差矩陣中心對齊方法基礎上，將相同被試者不同類別信號的邊緣分布差異減小，而JDA和BDA方法則不但減小邊緣分布，更減小了標簽參與的條件分布差異，因此能夠更好地提升平均識別準確率。TJM方法保證了特征選擇的稀疏性，因此在可視化的結果上，可以使被選擇后的特征具有稀疏性，且讓不同類別的特征分離的差異更大。

4.4時間復雜度分析

圖9給出了本文方法的運行時間復雜度對比結果。其中，圖9（a）展示了不同均值度量平均運行時間。從該柱狀圖的結果可以觀察到，兩個MI數據集中在歐氏均值度量下的運行時間最短，而基于AJD的對數歐氏均值運行時間最長，前者快2～10倍。此外，MI 1數據集數據量更大，運行時間更久。

以歐氏均值度量為基礎，圖9（b）（c）給出了不同域自適應方法運行時間。在BDA、JDA和TJM三種算法中，迭代次數為5次時已經接近最優解，從圖8（b）（c）中的結果可以看出， TCA的運行時間最短，相對而言BDA、JDA和TJM的運行時間相差不大，且均在1.5 s以內。因此，所提方法對腦電信號識別方法的響應時間足以應對運動想象刺激范式的流程，可應用于在線腦機接口。上述結果表明，最優跨域特征學習方法的平均時間復雜度在可接受范圍內，同時在實際的MI-BCI應用中使用跨域特征學習方法時，需根據實際情況同時考慮準確率和時間復雜度，選擇適合場景的協方差中心均值度量及領域自適應方法。

目前，現有腦機接口系統（如外骨骼輔助康復）遭遇新被試者時，往往采集大量樣本訓練模式識別模型。從圖2可看出，單個樣本至少需要4 s時間，且通常需要200～300個樣本才能穩定識別。采用本文提出的跨域特征學習方法，新的被試者僅需采集少量樣本（100個以內），即可通過跨域特征學習使用已有使用者的腦電信號樣本集，且隨著使用者增多，可使用的腦電信號樣本集也越多，對模式識別的效果也越好。此外，新的被試者所采集少量樣本的最優選擇，即可使用現有樣本集獲得更高的模式識別性能，其時間代價在可接受范圍內。

5結束語

針對運動想象個體域EEG信號獲取代價高且特征分布差異大的特性，本文提出了一種運動想象腦電信號的跨域特征學習方法，用于提升跨個體域腦電信號模式識別性能。該方法首先選擇最優的協方差距離度量方法，對齊各域樣本集并提取CSP特征；其次，在CSP特征基礎上，選擇合適的領域自適應方法，從多源域中學習出最適合目標域的跨域特征；最后采用LDA分類完成模式識別任務。實驗結果表明，所提方法明顯可提升模式識別準確率?？缬蛱卣鲗W習能夠極大地提升BCI應用中的樣本數量和質量，提升控制外部設備的性能，然而現有方法存在采用離線方式進行的缺點。在實際應用中，源域樣本或許能夠長期積攢，但是目標域樣本不斷產生，無法直接計算協方差矩陣中心以及CSP特征。今后的工作集中在：探索迭代式協方差計算方法，設計增量迭代式的跨域特征學習方法，并將迭代式跨域特征學習應用至在線MI-BCI中。

參考文獻：

［1］Lance B J，Kerick S E，Ries A J，et al.Brain-computer interface technologies in the coming decades[J].Proceedings of The IEEE，2012，100（1）：1585-1599.

[2]Wolpaw J R，Birbaumer N，Mcfarland D J，et al.Brain-computer interfaces for communication and control[J].Clinical Neurophysiology，2002，113（6）：767-791.

[3]周鵬.基于運動想象的腦機接口的研究[D].天津：天津大學，2007.（Zhou Peng.The research of brain-computer interface based on motor imagery[D].Tianjin：Tianjin University，2007.）

[4]Pfurtscheller G，Müeller-Putz，Gernot R，et al.Rehabilitation with brain-computer interface systems[J].Computer，2008，41（10）：58-65.

[5]Hashimoto Y，Kakui T，Ushiba J，et al.Development of rehabilitation system with brain-computer interface for subacute stroke patients[C]//Proc of IEEE International Conference on Systems Man and Cybernetics Conference.2018：51-56.

[6]Kasashima-Shindo Y，Fujiwara T，Ushiba J，et al.Brain-computer interface training combined with transcranial direct current stimulation in patients with chronic severe hemiparesis：proof of concept study[J].Journal of Rehabilitation Medicine，2015，47（4）：318-324.

[7]Blankertz B，Tomioka R，Lemm S，et al.Optimizing spatial filters for robust EEG single-trial analysis[J].IEEE Signal Processing Magazine，2008，25（1）：41-56.

[8]He He，Wu Dongrui.Transfer learning enhanced common spatial pattern filtering for brain computer interfaces：overview and a new approach[C]//Proc of the 24th International Conference on Neural Information Processing.2017：811-821.

[9]莊福振，羅平，何清，等.遷移學習研究進展[J].軟件學報，2015，26（1）：26-39.（Zhuang Fuzhen，Luo Ping，He Qing，et al.Survey on transfer learning research[J].Journal of Software，2015，26（1）：26-39.）

[10]Pan S J，Tsang I W，Kwok J T，et al.Domain adaptation via transfer component analysis[C]//Proc of the 21st International Joint Confe-rence on Artificial Intelligence.2009：1187-1192.

[11]Long Mingsheng，Wang Jianmin，Ding Guiguang，et al.Transfer feature learning with joint distribution adaptation[C]//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2013：2200-2207.

[12]Long Mingsheng，Wang Jianmin，Ding Guiguang，et al.Transfer joint matching for unsupervised domain adaptation[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2014：1410-1417.

[13]Wang Jindong，Chen Yiqiang，Hao Shuji，et al.Balanced distribution adaptation for transfer learning[C]//Proc of IEEE International Conference on Data Mining.Piscataway，NJ：IEEE Press，2017：1129-1134.

[14]李晶晶，孟利超，張可，等.領域自適應研究綜述[J].計算機工程，2021，47（6）：1-13.（Li Jingjing，Meng Lichao，Zhang Ke，et al.A review of domain adaptation research[J].Computer Engineering，2021，47（6）：1-13.）

[15]田磊，唐永強，張文生.兩階段領域自適應學習[J].模式識別與人工智能，2019，32（9）：773-784.（Tian Lei，Tang Yongqiang，Zhang Wensheng.Two-stage domain adaptive learning[J].Pattern Recognition and Artificial Intelligence，2019，32（9）：773-784.）

[16]Dai Mengxi，Zheng Dezhi，Liu Shucong，et al.Transfer kernel common spatial patterns for motor imagery brain-computer interface classification[J].Computational and Mathematical Methods in Medicine，2018，2018：article ID 9871603.

[17]Albalawi H，Song Xiaomu.A study of kernel CSP-based motor imagery brain computer interface classification[C]//Proc of IEEE Signal Processing in Medicine and Biology Symposium.Piscataway，NJ：IEEE Press，2012：1-4.

[18]Long Mingsheng，Wang Jianmin，Sun Jiaguang，et al.Domain invariant transfer kernel learning[J].IEEE Trans on Knowledge and Data Engineering，2015，27（6）：1519-1532.

[19]Jayaram V，Alamgir M，Altun Y，et al.Transfer learning in brain-computer interfaces[J].IEEE Computational Intelligence Magazine，2015，11（1）：20-31.

[20]Azab A M，Mihaylova L，Ang K K，et al.Weighted transfer learning for improving motor imagery-based brain-computer interface[J].IEEE Trans on Neural Systems and Rehabilitation Engineering，2019，27（7）：1352-1359.

[21]Hossain I，Khosravi A，Hettiarachchi I，et al.Multiclass informative instance transfer learning framework for motor imagery-based brain-computer interface[J].Computational Intelligence and Neuroscience，2018，2018：article ID 6323414.

[22]Zanini P，Congedo M，Jutten C，et al.Transfer learning：a riemannian geometry framework with applications to brain-computer interfaces[J].IEEE Trans on Biomedical Engineering，2018，65（5）：1107-1116.

[23]Barachant A，Bonnet S，Congedo M，et al.Multiclass brain-computer interface classification by riemannian geometry[J].IEEE Trans on Biomedical Engineering，2012，59（4）：920-928.

[24]Yair O，Dietrich F，Talmon R，et al.Domain adaptation with optimal transport on the manifold of SPD matrices[EB/OL].（2020-07-27）.https：//arxiv.org/abs/1906.00616v4.

[25]He He，Wu Dongrui.Transfer learning for brain-computer interfaces：a Euclidean space data alignment approach[J].IEEE Trans on Biomedical Engineering，2020，67（2）：399-410.

[26]Rodrigues P L C，Jutten C，Congedo M.Riemannian procrustes analysis：transfer learning for brain-computer interfaces[J].IEEE Trans on Biomedical Engineering，2019，66（8）：2390-2401.

[27]Zhang Wen，Wu Dongrui.Manifold embedded knowledge transfer for brain-computer interfaces[J].IEEE Trans on Neural Systems and Rehabilitation Engineering，2020，28（5）：1117-1127.

[28]Singh A，Lal S，Guesgen H W.Small sample motor imagery classification using regularized Riemannian features[J].IEEE Access，2019，7（1）：46858-46869.

[29]Wu Dongrui，Xu Yifan，Lu Baoliang.Transfer learning for EEG-based brain-computer interfaces：a review of progress made since 2016[J].IEEE Trans on Cognitive and Developmental Systems，2020，14（1）：4-19.

[30]Wu Hao，Niu Yi，Li Fu，et al.A parallel multiscale filter bank convolutional neural networks for motor imagery EEG classification[J].Frontiers in Neuroscience，2019，13（1）：1-9.

[31]Wang Peitao，Lu Jun，Zhang Bin，et al.A review on transfer learning for brain-computer interface classification[C]//Proc of the 5th International Conference on Information Science and Technology.2015：315-322.

[32]Ren Jiangtao，Liang Zhou，Hu Shaofeng.Multiple kernel learning improved by MMD[C]//Proc of the 6th International Conference on Advanced Data Mining and Applications.2010：63-74.

[33]趙鵬，吳國琴，劉慧婷，等.基于特征聯合概率分布和實例的遷移學習算法[J].模式識別與人工智能，2016，29（8）：717-724.（Zhao Peng，Wu Guoqin，Liu Huiting，et al.Transfer learning algorithm based on feature joint probability distribution and instance[J].Pattern Recognition and Artificial Intelligence，2016，29（8）：717-724.）

[34]Mishuhina V，Jiang Xudong.Feature weighting andregularization of common spatial patterns in EEG-based motor imagery BCI[J].IEEE Signal Processing Letters，2018，25（6）：783-787.

[35]Subasi A，Gursoy M I.EEG signal classification using PCA，ICA，LDA and support vector machines[J].Expert Systems with Applications，2010，37（12）：8659-8666.

[36]Tangermann M，Müller K R，Aertsen A，et al.Review of the BCI competition IV[J/OL].Frontiers of Neuroscience.（2012-07-13）[2022-01-15].https：//doi.org/10.3389/fnins.2012.00055.

[37]Ang Kaikeng，Chin Z Y，Wang Chuanchu，et al.Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b[J].Frontiers of Neuroscience.（2012-03-29）[2022-01-15].https：//doi.org/ 10.3389/fnins.2012.00039.

收稿日期：2022-01-15；修回日期：2022-03-11基金項目：國家自然科學基金資助項目（U1805263）；國家自然科學基金青年項目（62106049）

作者簡介：韋泓妤（1999-），女，廣西桂平人，碩士研究生，主要研究方向為腦機接口；陳黎飛（1972-），男（通信作者），福建長樂人，教授，博士，主要研究方向為統計機器學習、數據挖掘、模式識別（clfei@fjnu.edu.cn）；羅天?。?990-），男，湖北黃岡人，講師，博士，主要研究方向為腦機接口與模式識別．