多預測融合的腦電情緒識別遷移方法

梁圣金

（昆明理工大學 信息工程與自動化學院，云南 昆明 650500）

0 引 言

情緒對人們的言行舉止有著重要的影響。情緒的刺激和響應理論認為，主體對客觀事物和環境的評價水平是情緒喚醒和產生的關鍵所在[1]。已有研究表明，情緒與一些精神疾病密切相關，如受到情緒調節影響的抑郁癥[2]。所以，對情緒的研究，將有助于人們對自身情緒狀態及其影響擁有更深入的認知。

近年來，一種能夠從人類的大腦活動中檢測情緒狀態的情感腦機接口[3]技術得到了越來越多的關注。腦電具有非侵入性和時間分辨率高等優點，常用于記錄大腦活動。相比于面部表情、聲音及身體姿態等，腦電信號不易受到個體的刻意控制，為情緒識別提供了客觀可靠的基礎。但是，腦電信號的非平穩特性[4]使得不同個體間（跨被試）或不同時段下（跨會話）的腦電數據不滿足機器學習中獨立同分布的要求，不利于已有情緒識別模型的推廣應用。最近，遷移學習技術為該問題提供了一些解決方案，如其中的領域自適應[5-7]方法嘗試從原始領域（源域）和應用領域（目標域）中挖掘領域不變的成分。

但是，在一些實際應用場景中，模型可能無法預先獲取待測試被試的任何數據。而且，對目標被試建立的情緒識別模型也會隨著時間的推移而過時。對此，少部分研究者嘗試求助于領域泛化[8]方法。例如，MA 等人[9]和ZHAO 等人[10]為所有源域被試提取共享特征，并為每個源域被試獨立地提取特定特征，其中提取共享特征的組件有利于改善對目標被試的預測效果。相比于領域自適應方法，領域泛化方法因其在模型的訓練階段無需訪問目標域而有利于情感腦機接口的推廣應用，值得進一步的開發。

為了探討領域泛化在腦電情緒識別中的可行性，本文提出一個名為領域對抗多預測融合的遷移方法，利用特征提取器和領域分類器之間的對抗訓練來從各個源域中提取領域不變的特征。此外，分別為每個源域延伸出一個獨立的標簽預測器，以充分利用不同源域的情緒判別信息進行融合預測。最后，在情緒腦電數據集上驗證了所提方法的性能。

1 方 法

1.1 問題定義

當測試領域（目標域）完全未知時，只能盡可能地從訓練領域（源域）中學習具有較好泛化能力的模型。在基于腦電信號的情緒識別中，當預先訓練的模型服務于大眾時，它可能會遇到為模型提供過訓練數據的人（跨會話場景），但更多時候都會面臨著未知的測試者（跨被試場景）。這些真實的場景對模型的成功應用提出了較高的要求。本文嘗試探索領域泛化在腦電情緒識別中的可行性，以減少對目標域數據的需求。

1.2 領域對抗多預測融合

1.2.1 網絡框架

為了應對在訓練模型過程中無法訪問目標域的情況，本文提出了一個領域對抗多預測融合（Domain-Adversarial Multi-Prediction Fusion，DAMPF）網絡，結構如圖1 所示。其中，虛線箭頭表示對目標域進行預測時的行為。DAMPF 網絡主要由一個特征提取器、一個領域分類器以及K個標簽預測器組成。

圖1 領域對抗多預測融合（DAMPF）網絡框架

特征提取器用Gf表示，參數為θf。其作用是把各個領域的輸入數據映射到一個公共的特征空間中，以供后續使用。

領域分類器用Gd（參數為θd）表示，用于判斷輸入樣本來自哪個領域。對于K個輸入源域，Gd是一個K類分類器。它和特征提取器之間通過一個特殊的梯度反轉層[11]進行連接。梯度反轉層在前向傳播過程中不起作用，而在反向傳播過程中先將領域分類器傳給它的梯度乘以-1 再傳給前面的特征提取器。在梯度反轉層的作用下，特征提取器和領域分類器在基于標準反向傳播的訓練過程中往相反的方向進行優化。具體而言，領域分類器盡量區分輸入樣本的原始領域，而特征提取器盡量混淆輸入樣本的原始領域以提取領域不變的特征。

1.2.2 模型優化

在本文考慮的問題中，各個給定的源域的數據均已標注。這些帶標簽的源數據可以用來訓練各個標簽預測器，其中第k個標簽預測器的損失可以計算為：

式中：λ為權衡標簽預測損失和領域分類損失的超參數。訓練模型時，在梯度反轉層的幫助下，優化過程可利用標準的梯度下降來完成。因此，通過最小化總的損失就可以同時學習所有組件的參數。

1.2.3 模型預測

在預測階段，對所有標簽預測器的預測輸出進行融合，來判斷對應目標樣本的情緒類別。所采用的融合策略為求多個預測的平均值，相當于給予各個標簽預測器相同的權重。具體地，對于來自目標域的樣本xi，第k個標簽預測器的輸出為：

2 實驗設置

2.1 數據集

為了對所提的DAMPF 網絡進行評估，本文在常用的情緒腦電數據集SEED[13]上執行遷移實驗。SEED 數據集包含15 名被試在觀看情感電影片段時所采集的腦電數據，包含積極、中性及消極三種情緒類別。每名被試在不同的日期共參與了三次數據采集實驗，其中每次實驗被稱為一個會話。在每個會話中，每名被試共觀看了15 個情感電影片段，每個電影片段持續約4 min。每種情緒所對應的電影片段數量是一致的，這意味著每種情緒的樣本數量基本一致。由于腦電采集實驗中所使用的設備有62 個通道，而每個通道的數據又劃分為5 個頻段，所以每個樣本的維度為62×5=310。預處理后的腦電數據被分割成許多個長度為1 s 的無重疊時間序列，并從中提取微分熵特征。最終從每個會話得到3 394 個樣本。

2.2 遷移場景

本文考慮跨被試和跨會話這兩種遷移場景下的腦電情緒識別。

在跨被試場景中，每個方法都需要執行15 次實驗。每次實驗都從15 名被試中選擇一名被試作為目標域，而其余14 名被試作為源域，使得每名被試都有機會成為目標域。實驗中每名被試僅包含其一個會話的腦電數據。對15 次實驗的目標域準確率求平均值和標準差。

在跨會話場景中，對于每名被試，都將其第一個會話和第二個會話作為源域，而剩余的第三個會話作為目標域，使得每名被試獨立地進行實驗。對于每個方法，對所有15 名被試的目標域準確率取平均值和標準差。

2.3 對比方法及實現細節

對比實驗將所提方法與基線方法、領域自適應方法及領域泛化方法進行比較。

本文將k最近鄰（k-Nearest Neighbors，KNN）方法作為基線方法。它沒有采用遷移學習技術，直接將從源域訓練得到的模型應用于目標域。KNN的參數k設置為5。

領域自適應方法包括遷移成分分析（Transfer Component Analysis，TCA）[14-15]和聯合分布自適應（Joint Distribution Adaptation，JDA）[16]方法。TCA通過對齊源域和目標域的邊緣分布來促進知識遷移，而JDA 又進一步地對齊跨領域的條件分布。對于TCA 和JDA，降維后的維度為30，正則化參數為1，訓練模型的源域樣本數量為5 000（由于內存有限，僅使用所有源域樣本的子集）。JDA 的迭代次數為10。

領域泛化的對比方法為領域對抗神經網絡的領域泛化變體（Domain Generalization in Domain-Adversarial Neural Network，DG-DANN）[9]。 它 利用一個特征提取器、一個標簽預測器及一個領域分類器來從源域的數據中提取領域不變成分。對于DG-DANN，特征提取器有3 層，分別有512，256，128 個節點。標簽預測器有3 層，節點數量分別有64，32 和3 個。領域分類器有3 層，分別有256，256 和K個節點，其中K為源域的數量。

對于本文所提出的DAMPF 網絡，特征提取器、領域分類器及每個標簽預測器的層數和節點數都與DG-DANN 的一樣。此外，與僅有一個標簽預測器的DG-DANN 不同，DAMPF 網絡為每個源域都設置了一個標簽預測器。

對于DG-DANN 和DAMPF 網絡，權衡參數λ的設置遵循文獻[11]：λ=2/(1+e-ηp)-1，其中η=10，p為模型訓練進度，使得λ從0 逐漸變化到1。

3 實驗結果及分析

3.1 跨被試實驗

各個方法在SEED 數據集上進行跨被試實驗的結果如圖2 和表1 所示。

表1 各個方法的跨被試實驗的平均結果

圖2 每名被試作為目標域時所對應的跨被試實驗結果

基線方法KNN 取得了62.15%的平均準確率和8.85%的標準差。KNN 沒有使用任何遷移學習技術，因此將它作為最基礎的對比方法。

傳統的領域自適應方法TCA 和JDA 分別取得了66.26%（6.57%）和68.41%（9.03%）的平均結果，在平均準確率上與KNN 相比分別提升了4.11%和6.26%。由此可見，對齊源域和目標域的邊緣分布和條件分布，可以減小領域之間的差異；使用遷移學習技術，可以改善跨被試的腦電情緒識別效果。

基于神經網絡的方法（DG-DANN 和DAMPF）均比基于傳統機器學習的方法（KNN、TCA 及JDA）有較大的性能提升，平均準確率都提升了10%以上。可見與神經網絡相結合的遷移方法能夠提取可遷移性更高的特征，使得源域和目標域的差異變得更小，從而更有利于對目標域數據的預測。

本文所提出的領域泛化方法DAMPF 取得了80.50%的平均準確率和6.19%的標準差。在平均準確率上，利用神經網絡構建的DAMPF 方法相比傳統的領域自適應方法TCA 和JDA 有了較大的提升，分別提升了14.24%和12.09%；DAMPF 方法比僅有一個標簽預測器的領域泛化方法DG-DANN提升了1.34%，在所有方法中取得了最好的效果，說明利用多個標簽預測器的預測進行融合的遷移方法可以提升模型的泛化能力。此外，DAMPF 方法取得了最低的標準差，說明它的穩定性較高。由于DAMPF 不需要目標域的任何數據參與模型訓練，所以這些實驗結果表明它在跨被試場景中應用時具有較好的性能。

3.2 跨會話實驗

各個方法在SEED 數據集上的跨會話實驗結果如圖3 和表2 所示。圖3 比較了各個方法在每名被試中進行跨會話實驗的準確率，表2 給出了各個方法在所有跨會話實驗中的平均準確率和標準差。下面對跨會話實驗結果進行分析。

表2 各個方法的跨會話實驗的平均結果

圖3 每名被試所對應的跨會話實驗結果

在跨會話實驗中，所有方法的平均準確率都比跨被試實驗有了很大的提升，其中基于傳統機器學習的方法（KNN、TCA 及JDA）的提升幅度尤為明顯。這些觀察說明，同一被試內部不同會話的腦電數據雖然存在領域差異，但其差異比不同被試之間的要小很多。

可以發現，TCA 和JDA 的結果略遜于KNN。這可能是因為TCA 和JDA 只使用了源域的部分數據來訓練模型，而KNN 則使用了全部的源域數據。

從實驗結果中同樣也發現了基于神經網絡的方法（DG-DANN 和DAMPF）比基于傳統機器學習的方法（KNN、TCA 和JDA）取得了更好的效果。這說明在跨會話場景下，神經網絡有利于提高所學習特征的判別性，使得情緒識別模型的準確率更高。

本文所提出的領域泛化方法DAMPF 的平均準確率較傳統領域自適應方法有了較大的提升，也優于領域泛化方法DG-DANN，并且在所有對比方法中取得了最好的預測效果。這些結果表明，DAMPF 充分利用了源域中各個會話的數據分布來學習較為通用的模型，并通過利用不同標簽預測器的輸出進行多預測融合提供了較好的性能。

4 結 語

本文提出了一個領域泛化的遷移方法，即領域對抗多預測融合。該方法利用特征提取器將所有源域映射到一個公共的特征空間，并利用領域分類器和梯度反轉層增強特征的領域不變性；目標域數據的預測由所有標簽預測器的預測的平均融合來決定。為了評估所提方法的性能，本文分別執行了跨被試和跨會話兩種場景的遷移實驗。實驗結果表明，所提方法的性能優于其他對比方法，證明了所提方法在腦電情緒識別的遷移問題中的有效性，也表明領域泛化方法可以在無需利用目標域數據來訓練模型的前提下維持較好的情緒識別準確率。