運動想象腦電信號的跨被試動態(tài)多域?qū)箤W(xué)習(xí)方法

曹 鉉，羅天健*

（1.福建師范大學(xué) 計算機與網(wǎng)絡(luò)空間安全學(xué)院，福州 350117；2.數(shù)字福建環(huán)境監(jiān)測物聯(lián)網(wǎng)實驗室（福建師范大學(xué)），福州 350117）

0 引言

腦機接口（Brain Computer Interface，BCI）采集人腦信號并解譯成控制指令，繞過外周肌肉系統(tǒng)達到控制外部設(shè)備目的，實現(xiàn)人腦與外部設(shè)備的直接通信［1］。由BCI 技術(shù)構(gòu)建的系統(tǒng)不但能夠為腦卒中類病人提供輔助康復(fù)［2］，還能服務(wù)于工業(yè)生產(chǎn)和多媒體娛樂［3］。按照采集人腦信號級別，BCI 技術(shù)通常劃分為非侵入式和侵入式［4］。其中，非侵入式手段無須開顱手術(shù)，其代表性的腦電（ElectroEncephaloGraphy，EEG）信號［5］，采集時間分辨率較強的腦皮層信號，廣泛應(yīng)用于常人可參與的場景?；贓EG 信號的常見BCI 任務(wù)包括：運動想象，事件相關(guān)電位，以及穩(wěn)態(tài)視覺電位。其中，運動想象（Motor Imagery，MI）為主動BCI 技術(shù)，通過分析記錄不同肢體MI 過程中的EEG 信號，解碼出相應(yīng)的意圖并形成控制指令。運動想象腦電（MI-EEG）信號編碼運動腦區(qū)，不同肢體MI 意圖特征主要集中在μ 節(jié)律和β 節(jié)律，呈現(xiàn)大腦同側(cè)能量增加以及對側(cè)能量降低的模式，該模式被稱為事件相關(guān)去同步（Event-Related Desynchronization，ERD）現(xiàn)象［6］。解碼MI-EEG 信號即為識別出不同MI 意圖ERD 模式，從而獲取BCI 系統(tǒng)可用的控制指令。

實際上，MI-EEG 屬于典型時變性強、多通道耦合且信噪比低的信號，它的解碼過程是一項具有挑戰(zhàn)性的困難任務(wù)。常用的MI-EEG 信號解碼方法包含兩個分支：以共同空間模式（Common Spatial Pattern，CSP）為代表的空域特征濾波器，和以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）為代表的端到端模型。CSP 方法［7］構(gòu)建類別間最優(yōu)空域投影，保證不同MI 類別的空域特征差異最大化。基于CSP 特征，Ang等［8］通過濾波器組提取MI-EEG 不同頻段FBCSP（Filter Bank CSP），并在各個頻段上提取具有頻率特性的CSP 特征。Kang 等［9］構(gòu)建了被試間可遷移的組合CSP 特征（Composite CSP，CCSP），Samek 等［10］則在子空間中構(gòu)建可遷移的CSP 特征SSCSP（Stationary Subspace CSP），這些可遷移的CSP 特征，在跨被試的MI-EEG 解碼中取得了不錯的效果。經(jīng)典的CSP系列空域特征向量，一般使用支持向量機或線性判別分析實現(xiàn)分類。隨著研究的深入，以支持矩陣機（Support Matrix Machine，SMM）為代表的直接矩陣分類方法，也被應(yīng)用至MI-EEG 的分類［11］。Zheng 等［12］為了進一步提取稀疏特征，構(gòu)造了稀疏支持矩陣機（Sparse SMM，SSMM），篩選稀疏的特征提升分類性能。CNN 模型則采用端到端的MI-EEG 解碼過程，無須分類器，直接提取特征并獲取分類結(jié)果。Schirrmeister 等［13］應(yīng)用淺層CNN 模型（ConvNet）即獲得了超越CSP 的解碼性能。Sakhavi 等［14］使用CNN 模型學(xué)習(xí)了MIEEG 信號的時域信息C2CM（Channel-wise Convolution with Channel Mixing），同時聯(lián)合時域和空域特征提升分類性能。Dose 等［15］采用一維卷積神經(jīng)網(wǎng)絡(luò)同時提取時域和空域特征MI-CNN（Motor Imagery-Convolutional Neural Network），并嘗試應(yīng)用于跨被試的遷移學(xué)習(xí)。

盡管以CSP 與CNN 為代表的解碼方法已經(jīng)在MI-EEG 分類中取得不錯進展，但是由于EEG 信號的非線性、非平穩(wěn)特性，使它在跨采集周期和跨被試上呈現(xiàn)分布變化，跨被試樣本集不再符合獨立同分布（i.i.d）假設(shè)，無法直接應(yīng)用機器學(xué)習(xí)方法［16］。針對跨被試的MI-EEG 分類方法，以域適應(yīng)（Domain Adaptation，DA）為代表的遷移學(xué)習(xí)方法取得了不錯的解碼性能。DA 類方法將每個被試者看作“域”，采用域適應(yīng)方法提取域間可泛化的特征，從而實現(xiàn)跨被試MI-EEG信號解碼，主要包含兩大研究分支。一類是基于經(jīng)典信號處理方法的EEG 協(xié)方差或特征對齊的方法。協(xié)方差矩陣均值能夠衡量MI-EEG 樣本集分布。Zanini 等［17］將協(xié)方差矩陣映射到黎曼空間，并將不同被試者信號的協(xié)方差均值對齊至單位矩陣（Riemannian Alignment，RA），隨后提出了基于最小黎曼均值距離的分類器方法，獲得了不錯的跨被試解碼性能。He 等［18］為了解決黎曼均值計算的低效率問題，直接在歐氏空間對齊協(xié)方差矩陣（Euclidean Alignment，EA），隨后在對齊后的樣本上提取CSP 特征，提升了跨被試解碼性能。Zhang 等［19］則聯(lián)合子帶CSP 濾波與目標(biāo)域?qū)R方法，獲取了更有分辨性的跨域特征。在此基礎(chǔ)上，Zhang 等［20］則構(gòu)建了兩步驟的對齊方法，首先通過EA 對齊協(xié)方差矩陣，提取切空間特征向量，隨后在特征向量之上構(gòu)建流形嵌入知識遷移方法，進一步提升了跨被試解碼性能。Cai 等［21］則提出流形嵌入遷移學(xué)習(xí)方法，通過Grassmann 流形和結(jié)構(gòu)風(fēng)險最小化提升跨被試解碼性能。

另一類方法則是基于深度神經(jīng)網(wǎng)絡(luò)的對抗學(xué)習(xí)方法。Ganin 等［22］首次將域?qū)股窠?jīng)網(wǎng)絡(luò)應(yīng)用至圖像跨域分類，通過域分類器保證特征提取器提取到域不變特征。近年來，域?qū)箤W(xué)習(xí)方法也逐漸被應(yīng)用至EEG 跨被試解碼領(lǐng)域。Sakhavi 等［23］利用目標(biāo)域被試樣本集的偽標(biāo)簽樣本，微調(diào)源域被試樣本集預(yù)訓(xùn)練的CNN 模型，雖然達到跨域解碼效果，但是當(dāng)目標(biāo)域樣本量較少時容易造成過擬合問題。為了解決樣本量稀少問題，Li 等［24］提出了一種雙半球域?qū)股窠?jīng)網(wǎng)絡(luò)模型（Bi-hemisphere Domain Adversarial Neural Network model，BiDANN），解決跨被試樣本分布偏移問題，并成功應(yīng)用至EEG 情感識別。在基于對抗神經(jīng)網(wǎng)絡(luò)的跨被試MI-EEG解碼中，Zhao 等［25］提出了深度表征的域適應(yīng)（Deep Representation-based Domain Adaptation，DRDA）方法，通過同時優(yōu)化MI-EEG 特征提取器、分類器和域鑒別器這3 個模塊，由神經(jīng)網(wǎng)絡(luò)模型獲取域不變的深度表征，提升解碼性能。為了解決DRDA 方法忽略的不同MI 類別子域分布差異，Hong等［26］采用動態(tài)對抗適應(yīng)網(wǎng)絡(luò)（Dynamic Joint Domain Adaptation Network，DJDAN），在模型中加入多個子域鑒別器，以期提升對抗模型性能。

綜上，在跨被試MI-EEG 解碼領(lǐng)域，協(xié)方差對齊方法與神經(jīng)網(wǎng)絡(luò)域?qū)鼓Ｐ筒⑽从袡C結(jié)合起來，且最新的DJDAN 模型雖然考慮到多個子域的樣本分布差異，但是構(gòu)建了過于復(fù)雜的梯度反向傳播模塊，它的性能和效率還有進一步的提升空間。此外，文獻［16］將協(xié)方差對齊方法與CSP 特征的聯(lián)合分布對齊方法相結(jié)合，雖然有一定的性能提升效果，但是經(jīng)典的聯(lián)合分布對齊方法受限于所提取特征的有效性。通常情況下，CSP 特征僅能表達MI-EEG 的空域特征，其有效的時頻域特征將被忽略。因此，它跨被試MI-EEG 解碼的性能遠低于基于神經(jīng)網(wǎng)絡(luò)的跨域?qū)鼓Ｐ汀ａ槍ΜF(xiàn)有跨被試MI-EEG 解碼性能不足問題，本文提出了一種動態(tài)多域?qū)咕W(wǎng)絡(luò)（Dynamic Multi-Domain Adversarial Network，DMDAN）模型，該模型同時考慮到樣本協(xié)方差對齊優(yōu)勢，以及面向不同MI 類別的多域?qū)箖?yōu)勢，并通過跨域?qū)股窠?jīng)網(wǎng)絡(luò)模型提取有別于經(jīng)典CSP 特征聯(lián)合分布對齊方法的有效特征，獲取更佳的MI-EEG 解碼性能。所提出的方法包含兩個關(guān)鍵步驟：首先，針對不同被試樣本域?qū)嵤〦A 樣本對齊；其次，劃分源域與目標(biāo)域樣本集，分別構(gòu)建跨域所有樣本的全局域鑒別器，以及跨域不同類別樣本的類別子域鑒別器，通過多個鑒別器的動態(tài)多域?qū)箤W(xué)習(xí)過程，提取全局域以及各MI 類別子域均不變的特征，服務(wù)于跨被試MI-EEG 解碼。本文的主要工作如下：

1）融合樣本協(xié)方差對齊方法和跨被試域?qū)股窠?jīng)網(wǎng)絡(luò)模型的優(yōu)勢，克服單一域適應(yīng)類型方法的瓶頸，進一步提升了跨被試MI-EEG 解碼性能。

2）分別針對跨被試樣本集的邊緣分布和條件分布，構(gòu)建了全局域鑒別器和類別子域鑒別器，通過動態(tài)對抗學(xué)習(xí)過程適應(yīng)兩類分布，并在兩個公開數(shù)據(jù)集上驗證了可行性。

1 跨被試動態(tài)多域?qū)箤W(xué)習(xí)方法

1.1 符號定義

假設(shè)MI-EEG 樣本集Datasetu|u=1，2，…，U含有U個被試者，每個被試者u含有相同數(shù)量的樣本集，其中：xi∈RC×T表示每個MI-EEG 樣本，C為通道數(shù)，T為采集時間點數(shù)；yi表示相應(yīng)的MI 類別標(biāo)簽。在跨被試的MI-EEG 解碼中，每個被試者樣本集被看作一個域D，該域由特征空間S'和邊緣分布P(X)組成，包含有個樣本，每個樣本均來自特征空間S。通常，跨被試包含多源域至單目標(biāo)域（Multi To Single，MTS）和單源域至單目標(biāo)域（Single To Single，STS）的兩種設(shè)定，而MTS 更符合MI-BCI 的應(yīng)用特點。因此，本文研究MTS 問題，針對U個被試者，選定1 個被試作為目標(biāo)域Dt，剩下U-1 個被試作為源域Ds，源域與目標(biāo)域之間的EEG 樣本來自不同分布?？绫辉嚱獯a的目標(biāo)是在ns個源域樣本上學(xué)習(xí)解碼模型M，使得nt個目標(biāo)域上樣本在M上取得最高的解碼性能。

1.2 樣本域協(xié)方差均值對齊

在劃分源域Ds和目標(biāo)域Dt之前，每個被試者域Du(u=1，2，…，U)的EEG 樣本集存在邊緣分布差異。由于協(xié)方差矩陣可有效刻畫邊緣分布，因此在進行對抗學(xué)習(xí)之前，本文應(yīng)用EA 方法［18］，對齊每個被試者域的協(xié)方差均值至單位矩陣，實現(xiàn)邊緣分布域適應(yīng)的預(yù)處理。針對被試者域Du，對該域中的個樣本，首先計算協(xié)方差矩陣均值：

EA 方法應(yīng)用協(xié)方差均值的-1/2 次冪對齊樣本，即針對該域中的某個樣本xi，通過如下方式對齊樣本：

顯然，由對齊后樣本重新計算協(xié)方差矩陣均值即為單位矩陣I。因此，針對U個被試者域的EEG 樣本，均實施式（2）的對齊策略，使得所有被試者樣本集的協(xié)方差矩陣均為單位矩陣。經(jīng)過EA 預(yù)處理后，選擇任意被試者作為目標(biāo)域，余下被試者作為源域，即可保證相同的協(xié)方差矩陣，減少了邊緣分布差異。

1.3 DMDAN模型架構(gòu)

實際上，僅依靠協(xié)方差矩陣的對齊，還不足以有效提升跨域MI-EEG 解碼的性能。因此，本文在對齊后的樣本集基礎(chǔ)上劃分源域Ds與目標(biāo)域Dt，并基于CNN 模型構(gòu)建動態(tài)多域?qū)咕W(wǎng)絡(luò)。圖1 給出了本文構(gòu)建的DMDAN 模型架構(gòu)。

圖1 DMDAN模型架構(gòu)Fig.1 Architecture of DMDAN model

由圖1 可知，DMDAN 模型涵蓋4 個部分：特征提取器、分類器、全局域鑒別器和類別子域鑒別器。

DMDAN 模型的工作原理與流程如下：MI-EEG 信號xi∈RC×T首先經(jīng)過EA 方法進行協(xié)方差對齊，對齊后的樣本由特征提取器Gf提取特征fi，同時作為分類器、全局鑒別器和多個局部鑒別器的輸入。如果xi來自源域Ds，還需根據(jù)源域的真實標(biāo)簽值和提取到的特征fi計算中心損失。分類器根據(jù)特征fi確定樣本xi的類別向量P。全局鑒別器根據(jù)特征fi輸出二分類概率，判斷樣本xi來自源域或目標(biāo)域。局部鑒別器將特征fi和分類器的輸出概率作為輸入，由特征與類別的乘積Pi×fi判斷對應(yīng)子類的樣本xi來自源域或目標(biāo)域。模型的訓(xùn)練過程如下：將全局鑒別器和多個子鑒別器的輸出概率值和輸入樣本xi的真實域標(biāo)簽值之間的交叉熵，分類器的輸出概率和樣本xi的真實分類標(biāo)簽之間的交叉熵，以及樣本xi的中心損失，共同構(gòu)建損失函數(shù)并采用梯度下降方法，逐步優(yōu)化DMDAN 的模型參數(shù)。在模型的訓(xùn)練過程中，全局鑒別器和多個局部鑒別器的損失在梯度下降前還需要分別乘以對應(yīng)的動態(tài)對抗系數(shù)ωg、，動態(tài)對抗系數(shù)在圖1中用ω表示。

1.3.1 特征提取器與分類器

由于MI-EEG 信號中含有復(fù)雜時變和空間耦合特征，因此采用經(jīng)典的ConvNet［13］模型，分別對時域和空域進行卷積操作，實現(xiàn)DMDAN 模型的特征提取器。鑒于MI-EEG 樣本時間維度較高，采用1×30 的卷積核提取時域特征，而采用C×1 的卷積核提取所有采集通道的空域特征。在特征提取卷積操作后，連接均值池化層防止過擬合。為進行MI 任務(wù)分類，首先采用兩個全連接層將卷積特征圖轉(zhuǎn)化為特征向量，最后采用softmax 實現(xiàn)分類，選擇概率最高的類別輸出。圖2給出了特征提取器和分類器的結(jié)構(gòu)。

圖2 DMDAN模型中的特征提取器和分類器結(jié)構(gòu)Fig.2 Architectures of feature extractor and classifier in DMDAN model

表1 給出了特征提取器與分類器CNN 模型參數(shù)。

表1 特征提取器與分類器CNN模型參數(shù)Tab.1 CNN model parameters of feature extractor and classifier

1.3.2 全局鑒別器

雖然通過EA 對齊方法降低了邊緣分布差異，但是由特征提取器提取到的源域與目標(biāo)域特征依然存在邊緣分布差異。在DMDAN 模型中，本文構(gòu)建的全局域鑒別器進一步降低邊緣分布差異。采用DRDA 模型［25］的對抗學(xué)習(xí)思路，全局域鑒別器構(gòu)建源域與目標(biāo)域特征的二分類問題，通過對抗訓(xùn)練保證鑒別器無法鑒別特征來源，達到提取全局域不變特征目的。全局域鑒別器在二進制標(biāo)簽集Z={0，1}上進行對抗學(xué)習(xí)，并將源域和目標(biāo)域特征向量的類別標(biāo)簽分別設(shè)置為0和1。表2 給出了全局域鑒別器的CNN 參數(shù)，具體由4 個全連接層組成，分別為128、64、32 和1。其中，前3 層采用修正線性單元（Rectified Linear Unit，ReLU）作為激活函數(shù)，最后1層采用二分類sigmoid 激活函數(shù)。圖3 給出了全局鑒別器和特征提取器的結(jié)構(gòu)。

表2 全局域鑒別器和各類別子域鑒別器CNN模型參數(shù)Tab.2 CNN model parameters of global discriminator and all local discriminators

圖3 DMDAN模型中特征提取器和全局鑒別器結(jié)構(gòu)Fig.3 Architecture of feature extractor and global discriminator in DMDAN model

1.3.3 類別子域鑒別器

研究表明，域適應(yīng)中邊緣分布和條件分布同等重要［27］。在基于神經(jīng)網(wǎng)絡(luò)的域?qū)箤W(xué)習(xí)中，Yu 等［28］采用子域鑒別器進行條件分布適應(yīng)，而DJDAN 將它應(yīng)用至跨域EEG 解碼中。同樣地，DMDAN 模型通過添加類別子域鑒別器，解決源域和目標(biāo)域具體MI 類別的條件分布適應(yīng)問題。具體地，添加與MI 類別數(shù)相同的子領(lǐng)域鑒別器，負責(zé)源域與目標(biāo)域中同一個類別的樣本集條件分布適用，對抗學(xué)習(xí)過程與全局域鑒別器類似。由于在條件分布適應(yīng)時需要目標(biāo)域樣本的偽標(biāo)簽，因此類別子域鑒別器依賴每輪迭代時分類器的輸出。采用文獻［28］中的實現(xiàn)方式，本文將分類器輸出的類別概率作為權(quán)重，在對抗學(xué)習(xí)時預(yù)先與輸入特定類別子鑒別器的特征向量相乘，實現(xiàn)特定類別的條件分布動態(tài)對抗學(xué)習(xí)。圖4 給出了局部鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)。

圖4 DMDAN模型中子域鑒別器結(jié)構(gòu)Fig.4 Architecture of sub-domain discriminators in DMDAN model

表2 給出了每個類別子域鑒別器的CNN 參數(shù)，具體由4個全連接層組成，分別為128、32、16 和1。其中，前3 層采用ReLU 激活函數(shù)，最后一層采用二分類sigmoid 激活函數(shù)。

1.4 動態(tài)多域?qū)箤W(xué)習(xí)的損失函數(shù)

在DMDAN 模型訓(xùn)練中，源域Ds和目標(biāo)域Dt使用共享權(quán)重的特征提取器和鑒別器。通過全局域鑒別器和類別子域鑒別器的結(jié)合，能夠解決邊緣分布相似的情況下，各個類別子域條件分布不一致的情形。同時，源域和目標(biāo)域之間邊緣分布與條件分布的重要性，則通過動態(tài)計算的對抗系數(shù)獲得，實現(xiàn)自適應(yīng)的動態(tài)多域?qū)箤W(xué)習(xí)。具體地，DMDAN 模型對特征提取器和分類器，以及全局域鑒別器與類別子域鑒別器進行交叉訓(xùn)練。即首先固定特征提取器和分類器的參數(shù)，通過反向傳播更新全局域鑒別器與類別子域鑒別器的參數(shù)；隨后，再固定全局域鑒別器與類別子域鑒別器的參數(shù)，通過反向傳播更新特征提取器和分類器的參數(shù)，如此交錯訓(xùn)練，直到鑒別器無法鑒別提取到的特征來自源域Ds或目標(biāo)域Dt，此時由分類器給出最佳的跨被試MI-EEG 解碼結(jié)果。因此，DMDAN 模型包含如下4 個損失函數(shù)。

1.4.1 分類損失函數(shù)

分類器采用交叉熵作為損失函數(shù)，即：

其中：C表示MI 類別數(shù)表示屬于類別c的概率，數(shù)值是分類器輸出的概率；Gy表示分類器CNN 模型，Gf表示特征提取器CNN 模型。

1.4.2 全局域鑒別器損失函數(shù)

全局域鑒別器同樣使用交叉熵作為損失函數(shù)，源域和目標(biāo)域的域標(biāo)簽分別設(shè)置為0 和1，損失函數(shù)Lglobal為：

其中：Ld表示交叉熵，Ed表示全局鑒別器模型，Gf表示特征提取器CNN 模型，di表示對齊后的輸入樣本的域標(biāo)簽。

1.4.3 類別子域鑒別器損失函數(shù)

類別子域鑒別器數(shù)量與類別數(shù)C相同，每個子域鑒別器模型分別負責(zé)適應(yīng)類別c的條件分布，同時依賴分類器迭代輸出的類別概率，其損失函數(shù)為：

1.4.4 中心損失函數(shù)

為保證特征提取和域鑒別交叉訓(xùn)練過程中的穩(wěn)定性，DMDAN 模型同樣添加了DRDA 模型［25］給出的中心損失函數(shù)：

1.5 損失函數(shù)的權(quán)重計算

在動態(tài)多域?qū)W習(xí)過程，多個域鑒別器對于跨被試MI-EEG 解碼貢獻不同。為了動態(tài)適應(yīng)不同域?qū)箤W(xué)習(xí)，本文采用A-distance［28］衡量貢獻度。每輪訓(xùn)練迭代完成后，通過各域損失函數(shù)估計邊緣分布與條件分布的相對重要性。其中，全局域鑒別器與類別子域鑒別器的A-distance 分別為：

其中Lglobal代表全局鑒別器的損失。為C個類別構(gòu)建的C個子域鑒別器，它們之間的A-distance 為：

DMDAN 模型訓(xùn)練起始階段，動態(tài)對抗系數(shù)設(shè)置為：ωg=1.0；=0.0，c=1，2，…，C。

每輪迭代完成后，全局鑒別器的損失計算方法如下：

分類器將為目標(biāo)域所有樣本輸出偽標(biāo)簽，通過輸出的偽標(biāo)簽，可以計算類別c的子域鑒別器損失：

綜上，在DMDAN 模型的訓(xùn)練中，應(yīng)考慮上所有損失函數(shù)的加權(quán)結(jié)果，其學(xué)習(xí)目標(biāo)為：

其中：θf為特征提取器的CNN 模型參數(shù)，θc為分類器的CNN模型參數(shù)，θg為全局域鑒別器的CNN 模型參數(shù)，為類別c子域鑒別器CNN 模型參數(shù)。動態(tài)對抗參數(shù)在每輪迭代完成后由式（9）和式（10）進行更新，分類損失、對抗損失和中心損失權(quán)重αcls、αadv、αct采用經(jīng)驗值。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集

為驗證所提出DMDAN 模型的可行性與有效性，選擇兩個常用的公開數(shù)據(jù)集進行跨被試MI-EEG 解碼實驗。數(shù)據(jù)集具體信息［29］如下：

2.1.1 數(shù)據(jù)集2A

數(shù)據(jù)集2A 采集了9 個健康被試者的MI-EEG 信號，包含4 個類別的MI 任務(wù)，分別是左手、右手、雙腳和舌頭。實驗刺激范式如圖5（a）所示，實驗由響鈴刺激開始，［0，2］ s 屏幕中心出現(xiàn)十字架集中被試者注意力，［2，3］ s 出現(xiàn)4 個類別的MI 任務(wù)提示，被試者根據(jù)提示進行4 s 的MI 過程。本次MI結(jié)束后給予1.5 s 休息時間，隨后進入下一次MI 任務(wù)。實驗采集設(shè)備包含22 個EEG 電極，采樣率設(shè)置為250 Hz，樣本采集分為訓(xùn)練周期和測試周期，每個周期采集288 個MI-EEG樣本，共計576 個樣本，每個MI 類別包含144 個樣本。MIEEG 解碼實驗選擇［2，6］ s 時間段內(nèi)的EEG 時間點作為樣本。

圖5 數(shù)據(jù)集2A和數(shù)據(jù)集2B運動想象范式示意圖Fig.5 Schematic diagrams of motor imagery on dataset 2A and 2B

2.1.2 數(shù)據(jù)集2B

數(shù)據(jù)集2B 同樣采集了9 個健康被試者的MI-EEG 信號，包含2 個類別的MI 任務(wù)，分別是左手和右手。實驗刺激范式如圖5（b）所示，實驗開始后，［0，3］ s 屏幕中心出現(xiàn)十字架集中被試者注意力，響鈴刺激出現(xiàn)在第2 s，［3，4］ s 出現(xiàn)2 個類別的MI 任務(wù)提示，被試者根據(jù)提示進行4 s 的MI 過程。本次MI 結(jié)束后給予1.5 s 休息時間，隨后進入下一次MI 任務(wù)。實驗采集設(shè)備包含3 個EEG 電極，采樣率設(shè)置為250 Hz，樣本采集分為5 個周期，前兩個周期每個包含120 個樣本，后三個周期每個包含160 或120 個樣本。MI-EEG 解碼實驗選擇［3，7］ s 時間段內(nèi)的EEG 時間點作為樣本。

2.2 實驗設(shè)置

在采用所提出的DMDAN 模型進行跨被試MI-EEG 解碼時，都采用留一被試交叉驗證法（leave one subject crossvalidation）。針對數(shù)據(jù)集2A，一共有A01～A09 這9 個被試者，每次交叉驗證選擇1 個被試者樣本集作為目標(biāo)域，其中訓(xùn)練周期樣本作為訓(xùn)練集，測試周期樣本作為測試集，余下8 個被試者樣本集作為源域。針對數(shù)據(jù)集2B，一共有B01～B09這9 個被試者，每次交叉驗證選擇1 個被試者樣本集作為目標(biāo)域，其中前三個周期樣本作為訓(xùn)練集，后兩個周期樣本作為測試集，余下8 個被試者樣本集作為源域。表3 給出了數(shù)據(jù)集2A 和2B 的樣本設(shè)置情況。

表3 數(shù)據(jù)集2A和2B的樣本設(shè)置情況Tab.3 Sample ettings of dataset 2A and 2B

在訓(xùn)練DMDAN 模型時，權(quán)重經(jīng)驗參數(shù)設(shè)置為：αcls=1.0，αadv=0.01，αct=0.05。CNN 模型采用Adam 優(yōu)化器，初始學(xué)習(xí)率設(shè)置為l=0.000 2，每經(jīng)過10 輪迭代，學(xué)習(xí)率衰減0.01%，每次訓(xùn)練的批處理大?。╞atch size）為64，訓(xùn)練迭代輪數(shù)為epoch=200。訓(xùn)練過程中采用early stopping策略，每訓(xùn)練20輪若損失未出現(xiàn)明顯下降，則停止訓(xùn)練避免過擬合。

本文的實驗由python 編程語言實現(xiàn)，采用的深度學(xué)習(xí)框架為Tensorflow1.14。實驗使用的硬件為Intel Core 5-9300HCPU 和NVIDIA GeForce GTX1650 GPU。本文提出的DMDAN 模型在兩個數(shù)據(jù)集上的運行時間如表4 所示。

表4 DMDAN模型在數(shù)據(jù)集2A、2B上的運行時間 單位：sTab.4 Running time of DMDAN model on dataset 2A and 2B unit：s

2.3 基線方法

為了驗證DMDAN 模型在跨被試MI-EEG 解碼上的性能，在兩個公開數(shù)據(jù)集上，分別選擇兩類基線方法進行對比：1）非深度學(xué)習(xí)方法：包括經(jīng)典的FBCSP［8］、CCSP［7］和SSCSP［10］等跨被試遷移空域特征提取算法，以及直接采用EEG 矩陣計算的SMM［11］和SSMM［12］算法。2）深度學(xué)習(xí)方法：包括經(jīng)典的ConvNet［13］、C2CM［14］和MI-CNN［15］等卷積神經(jīng)網(wǎng)絡(luò)模型，以及采用深度神經(jīng)網(wǎng)絡(luò)對抗學(xué)習(xí)的DRDA［25］和DJDAN［26］模型。最終，模型和方法對于跨被試MI-EEG 解碼性能，采用留一被試交叉驗證法的平均分類準確率衡量。

2.4 跨被試MI-EEG解碼結(jié)果

表5 給出了DMDAN 模型與基線方法在數(shù)據(jù)集2A 上的對比結(jié)果，數(shù)據(jù)來自相應(yīng)的參考文獻。從表5 中結(jié)果可知，DMDAN 模型獲得了更高的跨域MI-EEG 平均分類準確率，同時在不同被試者之間獲得了更小的標(biāo)準差。數(shù)據(jù)集2A 中的A02、A05 和A06 三個被試者的樣本被認為是樣本分布差異很大的代表，對于這3 個跨域分類難樣本集，本文提出的DMDAN 模型能獲得60.53%的平均跨域分類準確率。不同于基線方法僅對齊邊緣分布或僅對齊條件分布，DMDAN 模型一方面通過EA 預(yù)處理和全局域?qū)箤崿F(xiàn)邊緣分布適應(yīng)，另一方面添加多個類別子域鑒別器實現(xiàn)條件分布適應(yīng)，同時利用A-distance 動態(tài)計算多域?qū)箤W(xué)習(xí)權(quán)重，尤其是子域內(nèi)原本就難以區(qū)分類別的情況（A02/A05/A06），學(xué)習(xí)到了更具分辨性的特征，提升了識別準確率。相較于DRDA，DMDAN的平均分類準確率提高了1.80 個百分點。然而，DMDAN 模型在2A 數(shù)據(jù)集上的平均準確率低于DJDAN，原因在于DJDAN 使用梯度反轉(zhuǎn)層（Gradient Reversal Layer，GRL）策略。該策略使域分類損失梯度傳播在更新特征提取器前自動取反，加強了特征提取器、分類器和域鑒別器之間的對抗關(guān)系，使它在通道數(shù)更多、樣本分布更復(fù)雜的2A 數(shù)據(jù)集上取得了更佳效果。相較于文獻［16］在2A 數(shù)據(jù)集上左手、右手兩個類別上取得最高的76.70%跨被試MI-EEG 解碼性能，本文所提出的DMDAN 模型在2A 數(shù)據(jù)集上左手、右手、雙腳和舌頭四個類別上取得最高的76.50%跨被試MI-EEG 解碼性能。DMDAN 模型在樣本量更大、實驗設(shè)置更復(fù)雜且類別數(shù)更多的實驗中取得了與文獻［16］幾乎相同的準確率。實際上，DMDAN 模型的性能高于文獻［16］的最佳性能。

表5 DMDAN模型與基線模型在數(shù)據(jù)集2A上的平均分類準確率和kappa系數(shù)對比結(jié)果Tab.5 Comparison results of average classification accuracy and kappa coefficient between DMDAN model and baseline models on dataset 2A

為了展示DMDAN 模型在不同類別上的分類結(jié)果，圖6給出了數(shù)據(jù)集2A 上9 個被試者的平均混淆矩陣。從圖6 中的結(jié)果可以看出，DMDAN 模型在左手、右手、雙腳和舌頭四個類別上均取得了70%以上的識別準確率，不同運動想象類別之間提取到的特征差異較大。其中，雙腳和舌頭之間具有一定的概率出現(xiàn)混淆，左手和右手之間的混淆概率較低。

圖6 數(shù)據(jù)集2A的平均混淆矩陣Fig.6 Average confusion matrix of DMDAN on dataset 2A

表6 給出了DMDAN 模型與基線方法在數(shù)據(jù)集2B 上的對比結(jié)果，數(shù)據(jù)來自相應(yīng)的參考文獻。從表6 中結(jié)果可知，DMDAN 模型獲得了更高的跨域MI-EEG 平均分類準確率，相較于DRDA，提高了2.52 個百分點；同時在不同被試者之間獲得了更小的標(biāo)準差。對于分布差異較大的B02 和B03 被試者樣本集，DMDAN 也取得了超過70%的識別準確率。相較于多域?qū)箤W(xué)習(xí)的DJDAN［26］模型，DMDAN 模型設(shè)計了更為復(fù)雜的多域鑒別器，并通過動態(tài)對抗學(xué)習(xí)的方式適應(yīng)不同域的深度特征圖。同時，采用EA 預(yù)處理策略能夠保證特征提取器獲取的特征具有域不變性，從而加強了類別子域鑒別器區(qū)分特征來源能力。此外，與新近提出的DRDA［25］和DJDAN［26］模型相比，在B01、B04、B06 和B09 上的準確率有所下降，其原因可能是因為過多地引入類別子域鑒別器，對全局域鑒別器有一定的抑制作用。與此同時，采用EA 對齊樣本預(yù)處理，也有一定風(fēng)險降低樣本的多樣性。

表6 DMDAN模型與基線模型在數(shù)據(jù)集2B上的平均分類準確率和kappa系數(shù)對比Tab.6 Comparison results of average classification accuracy and kappa coefficient between DMDAN model and baseline models on dataset 2B

2.5 消融實驗

為了進一步驗證所提出的DMDAN 模型的性能，本文從各模塊影響因素、特征展示和收斂分析三個方面進行消融實驗。

2.5.1 各模塊影響因素

DMDAN 模型包含兩個關(guān)鍵模塊：EA 樣本對齊預(yù)處理和動態(tài)多域?qū)箤W(xué)習(xí)。為了進一步驗證兩個模塊的有效性，設(shè)置了如下的4 個消融實驗：單域?qū)箤W(xué)習(xí)模型（實驗1）、EA預(yù)處理后單域?qū)箤W(xué)習(xí)模型（實驗2）、動態(tài)多域?qū)箤W(xué)習(xí)模型（實驗3）、EA 預(yù)處理后動態(tài)多域?qū)箤W(xué)習(xí)模型（即DMDAN 模型）。圖7 給出了上述4 個任務(wù)分別在數(shù)據(jù)集2A和2B 各個被試者上的跨域MI-EEG 分類準確率，不同消融實驗設(shè)置在兩個數(shù)據(jù)集上的平均分類結(jié)果則統(tǒng)計了4 個消融實驗設(shè)置在兩個數(shù)據(jù)集上的平均準確率。

圖7 不同消融實驗設(shè)置在數(shù)據(jù)集2A、2B上各被試分類準確率Fig.7 Different subject classificaiton accuracies under different ablation experiment settings on dataset 2A and 2B

從圖7（a）的結(jié)果可知，DMDAN 模型在A01、A03、A07、A08、A09 幾個被試者上獲得了最高的分類準確率，實驗1 在A04，實驗2 在A02、A06，以及實驗3 在A05 上獲得了最高的分類識別準確率。從圖7（b）的結(jié)果可知，DMDAN 模型在B01、B02、B03、B05、B06、B07、B09 幾個被試者上獲得了最高的分類準確率，而實驗2 在B04，實驗3 在B08 上取得了最高的識別準確率。上述結(jié)果說明，將不同被試者樣本集作為目標(biāo)域，由于樣本集的邊緣分布和條件分布各不相同，因此不同消融實驗設(shè)置在相應(yīng)的目標(biāo)域上取得了不同結(jié)果。形式上，EA 樣本對齊預(yù)處理對邊緣分布適應(yīng)效果更好，而動態(tài)多域?qū)箤W(xué)習(xí)模型則對條件分布適應(yīng)效果更好。由于EEG 非線性、非平穩(wěn)特性，實際需要適應(yīng)的樣本分布是未知的。因此，所提出的DMDAN 模型同時考慮適應(yīng)邊緣分布和，因此能夠在數(shù)據(jù)集2A 和2B 所有被試者上，獲得最佳的平均的跨域MI-EEG 分類準確率。

根據(jù)表7 中的結(jié)果顯示，對比消融實驗1、2、3，DMDAN模型在兩個數(shù)據(jù)集上均取得了更高的平均分類準確率。對比實驗1 與實驗2，EA 樣本對齊預(yù)處理方法的分類準確率在數(shù)據(jù)集2A 和2B 上分別提升了0.88 和0.75 個百分點；對比實驗1 與實驗3，動態(tài)多域?qū)鼓Ｐ驮跀?shù)據(jù)集2A 和2B 上的準確率分別提升了1 和0.1 個百分點；對比實驗3 與DMDAN模型，在動態(tài)多域?qū)鼓Ｐ突A(chǔ)上，EA 樣本對齊預(yù)處理在數(shù)據(jù)集2A 和2B 上的準確率分別提升了2.1 和2 個百分點。上述結(jié)果表明，本文所使用的EA 樣本對齊預(yù)處理方法、動態(tài)多域?qū)鼓Ｐ停軌蛱嵘诸悳蚀_率，尤其將二者相結(jié)合，帶來了更大幅度的跨域MI-EEG 分類準確率。

表7 不同消融實驗設(shè)置在兩個數(shù)據(jù)集上平均分類準確率 單位：%Tab.7 Average classification accuracy of different ablation experiment settings on two datasets unit：%

2.5.2 特征可視化

為了可視化DMDAN 模型提取到的特征，分別從數(shù)據(jù)集2A 和2B 選擇A03 和B05 被試樣本，展示模型學(xué)習(xí)到的不同類別特征。實驗中，分別將A03 和B05 作為目標(biāo)域，其他被試者作為源域，訓(xùn)練DMDAN 模型200 輪迭代后，獲取特征提取器輸出特征向量，并使用t-SNE［30］工具將特征降至二維展示。圖8 分別給出了在A03 和B05 測試集上，提取到的最佳特征可視化結(jié)果。

圖8 不同數(shù)據(jù)集的被試者特征可視化Fig.8 Visualization of subject features on different datasets

從圖8 中可以看出，無論是A03 還是B05 的EEG 樣本集，經(jīng)過200 輪迭代訓(xùn)練后，DMDAN 模型中訓(xùn)練好的特征提取器，均可獲取到具有較強分辨性的特征，不同類別的樣本之間存在明顯的分界線，因此具有更高的跨被試識別準確率。其中，圖8（a）的雙腳（綠色）與舌頭（紫色）類別之間仍然有一些樣本不可分。實際上，數(shù)據(jù)集2A 的雙腳與舌頭兩個類別是MI-EEG 模式識別中的困難問題，有待進一步研究更強的特征提取器，以期在難分辨的MI 類別上，獲得更高的跨被試識別準確率。

2.5.3 收斂分析

應(yīng)用所提出的DMDAN 模型，在數(shù)據(jù)集2A 和2B 各9 個被試者樣本集上，經(jīng)過有限輪次迭代均能夠收斂到最佳的跨被試MI-EEG 識別結(jié)果。以數(shù)據(jù)集2A 和2B 中A03 和B05 樣本集為對象，圖9 分別給出了DMDAN 模型的分類器損失以及各個鑒別器損失收斂情況。由圖9 總體結(jié)果可以看出，DMDAN 模型經(jīng)過100 輪迭代后，分類器損失和各個鑒別器損失均下降至較低水平，在隨后的迭代輪次中基本保持平穩(wěn)。對于圖9（a）的收斂過程，在100 次迭代后鑒別器總損失出現(xiàn)過擬合現(xiàn)象，由圖中可以看出過擬合是由各個類別子域鑒別器形成的。實際上，DMDAN 模型采用了early stopping策略，在損失上升超過一定比例后即停止訓(xùn)練，獲得最佳的結(jié)果。反觀圖9（b）的收斂過程，則沒有出現(xiàn)過擬合現(xiàn)象，無論是分類器損失還是各個鑒別器損失，在200 輪迭代后均下降至最低水平。

圖9 DMDAN模型訓(xùn)練多個鑒別器誤差收斂情況Fig.9 Error convergence situations of multiple discriminators trained by DMDAN model

3 結(jié)語

在跨被試MI-EEG 信號解碼領(lǐng)域，EEG 信號時變強、多耦合的特性極易被忽視，僅依靠邊緣分布適應(yīng)或條件分布適應(yīng)，容易導(dǎo)致分類性能瓶頸。本文提出了一種動態(tài)對抗學(xué)習(xí)方法，分別使用樣本對齊預(yù)處理和全局域鑒別器適應(yīng)樣本邊緣分布，以及類別子域鑒別器適應(yīng)樣本條件分布，并自適應(yīng)學(xué)習(xí)多鑒別器對抗系數(shù)，自適應(yīng)調(diào)整不同鑒別器的貢獻，克服了經(jīng)典對抗學(xué)習(xí)方法在樣本分布適應(yīng)上的缺點。在兩個代表性的公開MI 數(shù)據(jù)集上進行跨被試EEG 解碼實驗驗證，結(jié)果表明所提出的DMDAN 模型是可行的，與經(jīng)典對抗學(xué)習(xí)方法相比，在兩個數(shù)據(jù)集上分別獲得76.50%和86.50%的平均分類準確率。后續(xù)將展開兩個方面的研究工作：一是探究多個類別子域鑒別器在迭代中容易產(chǎn)生的過擬合問題，以及評價EEG 樣本分布適合何種類型的分布適應(yīng)方法，在實際在線MI-BCI 應(yīng)用中保障跨域解碼性能；二是將新方法推廣到其他EEG 類型跨被試識別應(yīng)用中。當(dāng)前，EEG 信號分析的瓶頸在于時變性和低信噪比，如何提取被試域間可泛化的特征，是未來工作重點。