基于多源域領域適應字典學習和稀疏表示的腦電情感識別方法

摘要腦電信號容易記錄且不易偽裝，基于腦電信號的情感識別越來越受到人們的關注．然而，人類情感具有多樣性和個體可變性，基于腦電信號的情感識別仍是情感計算領域的難題．本文提出一種多源域領域適應字典學習和稀疏表示方法．為減少源領域和目標領域數據分布的差異，將所有領域的數據投影到共享子空間，并在共享子空間中學習一個共有字典．根據稀疏重建的最小化類內誤差和最大化類間誤差準則，稀疏表示具有類別的分辨能力．另外，每個源域自適應學習領域權重，可以避免負遷移的發生．模型參數的求解通過參數交替優化方法，所有參數可同時達到最優解．DEAP數據集的實驗結果顯示本文方法在所有對比方法中是最優的．

關鍵詞腦電情感識別;稀疏表示;領域適應;子空間;字典學習

中圖分類號TP391 文獻標志碼A

0 引言

情感是人類溝通、決策、人機交互的重要因素．基于計算機技術和人工智能技術的人類情感分析，可使用不同的生理信號測量方法，如肌電圖、心電圖、呼吸率、皮膚電反應和腦電圖（Electroencephalogram，EEG）等．近年來，隨著便攜式腦機接口（Brain Computer Interface，BCI）設備的普及，基于EEG信號進行情感識別已成為研究的熱點［1-2］．與其他生理信號相比，EEG信號具有獲取簡便、非侵入性和低成本的優點．Zheng等［3］通過差分熵進行了一系列實驗，并比較了具有不同機制的各種分類算法．Shen等［4］通過集成學習模型研究了多尺度頻帶對EEG情緒識別的影響．他們根據每個頻帶的數據訓練分類器，并自適應地為每個分類器分配一個權重，以提高模型性能．

現有的基于EEG的情感識別需要在訓練階段花費大量的帶標簽數據．一種比較簡單而直接的方法是重復利用之前采集的EEG數據訓練一個通用分類器，而不考慮個體間的差異．但是，傳統的機器學習算法建立在訓練數據和測試數據獨立同分布的假設之上．EEG信號具有非線性和非平穩性的固有特性．針對相同情緒狀態從不同人群中提取的特征集，如腦電通道的譜帶功率，并沒有表現出很強的相關性．因此，EEG信號訓練和測試數據往往具有不同的分布［5］．如何減少系統的訓練成本，構建穩健的情感識別模型是當前研究的熱點問題．Kang等［6］使用復合公共空間模式來利用不同個體EEG信號之間共享的公共信息．Yang等［7］提出一種結合顯著性檢驗和順序反向選擇的多源半監督選擇轉移機用于跨個體EEG情感識別，該方法不利用原始EEG信號的特征，而是根據不同被試對象之間的顯著差異來分析和選擇特征．Li等［8］提出一種跨個體和跨會話EEG情緒分類方法，該方法通過使用無監督字典學習源領域和目標領域的公共數據空間．Lan等［9］提出一種領域適應方法，該方法設計了一個線性變換函數，使子空間特征中源領域和目標領域的邊緣分布相匹配．Cimtay等［10］利用經過預訓練的最新卷積神經網絡結構挖掘特征潛在信息，以提高獨立于個體的EEG識別模型精度．字典學習和稀疏表示（Dictionary Learning and Sparse Representation，DLSR）已成功運用在圖像去噪、信號處理、圖像識別等領域［11-12］．Ni等［13］提出一種域自適應DLSR分類器，該方法為了減少域分布的差異，利用局部信息保持準則將源域和目標域樣本投影到共享子空間．但該方法只考慮單個源領域，并將所有相關的輔助腦電圖數據視為一個源領域，沒有涉及多源域學習問題．

本研究考慮了多源域領域適應場景，其中多個源域包含豐富的監督標簽信息，目標域只有少量帶標簽樣本．本文將字典學習和多源域遷移學習結合成一個聯合學習模型，提出一種多源域領域適應字典學習和稀疏表示方法（Multi-source Domain Adaptive Dictionary Learning and Sparse Representation，MDA-DLSR）．盡管EEG信號存在不同個體和會話之間的差異，但也會存在一些潛在獨立于個體和會話的公共知識，且共享的公共知識可以保存在一個共享的投影子空間中．MDA-DLSR方法的基本思想是將多個源域和目標域的EEG樣本投影到一個共享的投影子空間，在共享子空間中學習共有字典．共有字典的學習準則是最小化類內稀疏重建誤差和最大化類間稀疏重建誤差，能將源領域的識別知識傳遞到目標領域．此外，為避免負遷移的發生，MDA-DLSR方法為每個源域分配一個領域適應權重，并自適應學習源領域權重最佳值．MDA-DLSR目標函數的求解采取參數交替優化的方法，可以保證所有參數同時達到最優解．DEAP數據集［14］上的實驗結果表明，本文方法優于比較的領域適應學習方法．

1 字典學習和稀疏表示

3 實驗

3.1 數據集

本文使用DEAP數據集［14］來驗證所提出的情感識別方法的有效性．DEAP數據集來自英國倫敦瑪麗皇后大學等4所大學，記錄了32名志愿者在觀看40段音樂視頻時的EEG信號和視頻信號．對每位志愿者進行了40次數據采集，每次采集過程中播放一段特定的63 s視頻．這些視頻由參與者根據喚醒（Arousal）和效價（Valence）等指標進行評分，評分范圍為1～9．實驗中采用的類別標簽設定為：將評分劃分成2個帶有閾值5的二元分類問題，即高／低Arousal和高／低Valence（低：≤5;高：gt; 5）．EEG信號按照10-20國際標準導聯系統放置32個電極采集得到．數據預處理時將EEG數據下采樣至128 Hz，去除信號的偽影并刪除3 s基線數據，并應用4.0～45.0 Hz的頻率實施帶通濾波．在EEG信號的眾多特征提取方法中，微分熵（Differential Entropy，DE）［18］被認為能反映EEG特征的連續隨機變量的復雜性．對于固定長度的EEG片段，DE特征可以等價于特定頻帶內的對數能量譜．實驗使用256采樣點的短時傅里葉變換和1 s的非重疊窗口來提取EEG信號的5個頻帶（δ：1～3 Hz;θ：4～7 Hz;α：8～13 Hz;β：14～30 Hz;γ：31～50 Hz）．然后計算每個頻帶的DE特征.由于每個頻帶信號有62個通道，一個樣本可提取310維的DE特征．

3.2 實驗設置

為驗證所提方法的性能，實驗與兩類方法進行了比較．一類是基線方法——高斯核支持向量機（Support Vector Machine，SVM）［19］和標簽一致K-SVD （LC-KSVD）［16］方法;另一類是領域適應方法——自適應子空間特征匹配（Adaptive Subspace Feature Matching，ASFM）［20］方法、最大獨立域自適應（Maximum Independence Domain Adaptation，MIDA）［21］方法、穩健主成分分析（Robust Principal Component Analysis，RPCA） ［22］．具體的參數設置如下：高斯核的核參在網格｛10-3，10-2，…，103｝中搜索，正則化參數在網格｛2-6，2-5，…，26｝中搜索．LC-KSVD的字典原子數設置為訓練樣本個數的1／3．MIDA的投影空間維度在網格｛20，30，…，100｝中搜索．ASFM的閾值參數設置為0.45．RPCA的平衡參數設置為樣本數和特征數最大值的平方根．本文所提方法的子空間維度是通過搜索網格｛20，30，…，100｝來確定的．每個類的原子數在｛10，15，20，25，30，35｝中選擇．實驗中源領域和目標領域的設置策略采取留一法，即數據集中的每個個體均可作為目標領域，其他的個體均作為源域．因此，DEAP數據集上進行了32輪實驗，其中31名個體作為多個源域.因為訓練集樣本較多，實驗中在每名個體樣本中隨機選擇1／2數量的EEG數據進行訓練，目標域中隨機選擇20個樣本作為訓練集，剩余的目標域樣本作為測試集．這一實驗過程進行了10次，記錄了每種方法的分類精度．所有算法均在MATLAB 2019a中實現．

3.3 對比實驗

實驗比較了MDA-DLSR方法在DEAP數據集上的Arousal和Valence的識別率．各方法在32名個體上的平均識別率如表1所示，其中個體編號用ID表示．為了充分顯示各方法在每名個體上的具體結果，圖1、圖2分別顯示了各方法在32名個體上的Arousal和Valence的識別率．從實驗結果可以看到：1） 基線方法SVM和LC-KSVD的Arousal和Valence識別率最低．SVM和LC-KSVD將所有的源域數據和目標域訓練數據混合在一起，不同領域數據分布上的差異使得源領域對于目標域上數據識別的輔助效果是有限的．2） 在對比的領域適應方法中，本文提出方法MDA-DLSR的Arousal和Valence識別率最高．主要原因在于：MDA-DLSR從多個源領域學習的共享字典可以使用更多的判別知識來輔助目標域上分類器的建立，而且每個源領域自適應地學習權重，可以有效防止負遷移的發生．MDA-DLSR方法的參數迭代學習策略保證了所有參數同時達到最優解，可以保證遷移學習的效果．3） 從表1結果可以看出，MDA-DLSR方法的標準差也是較小的，說明該方法具有較好的穩定性．而SVM和LC-KSVD的標準差較大，說明這2種方法在處理跨個體EEG情感識別任務易發生過擬合的現象．

3.4 參數分析

所提MDA-DLSR方法中需要尋優的參數有平衡指數γ、子空間的維數m和字典原子個數d．其中平衡指數γ的尋優范圍是｛1，1.5，…，3｝，子空間的維數m的尋優范圍是｛10，20，…，100｝，字典原子個數d的尋優范圍是｛30，40，…，120｝．表2列出了參數γ在DEAP數據集上的Arousal和Valence識別率．圖3和圖4分別顯示了參數m和d在DEAP數據集上的Arousal和Valence識別率．從實驗結果可以看出：1） 平衡指數γ的作用是調節各源域在目標函數的權重．因為各源域的權重是介于［0，1］之間的實數，γ的值越小，各源域的權重比就越大;相反，γ的值越小，各源域的權重比就越接近．根據表2中的結果，平衡指數γ對應的Arousal和Valence識別率的變化是溫和的．實驗中可設置γ=2．2） 投影空間的維數m和字典原子個數d對MDA-DLSR方法的性能起到決定性作用，不同m和d值對應不同的Arousal和Valence識別率．從圖3和圖4可以看出，MDA-DLSR方法可以在m和d較小時就可以得到較高的Arousal和Valence，當m大于50且d大于80時，MDA-DLSR的性能可以達到穩定．根據圖3—4的結果，實驗可以設置m和d值分別設置為60和80．

4 結語

本文提出了一種用于腦電情感識別的多源域領域適應字典學習和稀疏表示方法．該方法為多個源領域和目標領域尋找一個投影子空間，在子空間中通過共有字典建立多個源域和目標領域之間的橋梁．為充分利用源領域數據的識別能力，共有字典的學習準則是最小化類內稀疏重建誤差和最大化類間稀疏重建誤差．同時，通過源領域自適應地權重學習可以有效避免負遷移的發生．在真實腦電情感識別數據集DEAP上的實驗證明了本文方法的有效性．本文方法將在更多的腦電情感數據集上實踐和應用，以增加模型的魯棒性．本文方法的時間復雜度相對較高，如何進一步優化算法和開發快速訓練模型是需要解決的問題．另外，將腦電信號和其他生理信號如肌電圖、心電圖、呼吸率等進行多模態情感識別方法也是下一段工作的主要內容．

參考文獻

References

［1］ 權學良，曾志剛，蔣建華，等.基于生理信號的情感計算研究綜述［J］.自動化學報，2021，47（8）：1769-1784

QUAN Xueliang，ZENG Zhigang，JIANG Jianhua，et al.Physiological signals based affective computing：a systematic review［J］.Acta Automatica Sinica，2021，47（8）：1769-1784

［2］ 鄭偉龍，石振鋒，呂寶糧.用異質遷移學習構建跨被試腦電情感模型［J］.計算機學報，2020，43（2）：177-189

ZHENG Weilong，SHI Zhenfeng，L Baoliang.Building cross-subject EEG-based affective models using heterogeneous transfer learning［J］.Chinese Journal of Computers，2020，43（2）：177-189

［3］ Zheng W L，Zhu J Y，Lu B L.Identifying stable patterns over time for emotion recognition from EEG［J］.IEEE Transactions on Affective Computing，2019，10（3）：417-429

［4］ Shen F Y，Peng Y，Kong W Z，et al.Multi-scale frequency bands ensemble learning for EEG-based emotion recognition［J］.Sensors （Basel，Switzerland），2021，21（4）：1262

［5］ Ruan Y，Du M Y，Ni T G.Transfer discriminative dictionary pair learning approach for across-subject EEG emotion classification［J］.Frontiers in Psychology，2022，13：899983

［6］ Kang H，Nam Y，Choi S.Composite common spatial pattern for subject-to-subject transfer［J］.IEEE Signal Processing Letters，2009，16（8）：683-686

［7］ Yang F，Zhao X C，Jiang W G，et al.Multi-method fusion of cross-subject emotion recognition based on high-dimensional EEG features［J］.Frontiers in Computational Neuroscience，2019，13：53

［8］ Li J P，Qiu S，Du C D，et al.Domain adaptation for EEG emotion recognition based on latent representation similarity［J］.IEEE Transactions on Cognitive and Developmental Systems，2020，12（2）：344-353

［9］ Lan Z R，Sourina O，Wang L P，et al.Domain adaptation techniques for EEG-based emotion recognition：a comparative study on two public datasets［J］.IEEE Transactions on Cognitive and Developmental Systems，2019，11（1）：85-94

［10］ Cimtay Y，Ekmekcioglu E.Investigating the use of pretrained convolutional neural network on cross-subject and cross-dataset EEG emotion recognition［J］.Sensors （Basel，Switzerland），2020，20（7）：2034

［11］ 鄭雄風.基于字典學習的域適應方法研究［D］.南京：南京郵電大學，2020

ZHENG Xiongfeng.Research of domain adaptation method based on dictionary learning［D］.Nanjing：Nanjing University of Posts and Telecommunications，2020

［12］ 萬超.基于SCAD稀疏約束的字典學習算法及其在信號處理中的應用［D］.廣州：廣東工業大學，2021

WAN Chao.A dictionary learning algorithm with the SCAD sparse constraint and its application in signal processing［D］.Guangzhou：Guangdong University of Technology，2021

［13］ Ni T G，Ni Y Y，Xue J，et al.A domain adaptation sparse representation classifier for cross-domain electroencephalogram-based emotion classification［J］.Frontiers in Psychology，2021，12：721266

［14］ Koelstra S，Muhl C，Soleymani M，et al.DEAP：a database for emotion analysis using physiological signals［J］.IEEE Transactions on Affective Computing，2012，3（1）：18-31

［15］ 楊金龍，陳小平，湯玉，等.標簽一致K-SVD稀疏編碼視頻跟蹤算法［J］.計算機輔助設計與圖形學學報，2018，30（2）：262-272

YANG Jinlong，CHEN Xiaoping，TANG Yu，et al.Visual tracking algorithm based on label consistent K-SVD sparse coding［J］.Journal of Computer-Aided Design ＆ Computer Graphics，2018，30（2）：262-272

［16］ Jiang Z L，Lin Z，Davis L S.Label consistent K-SVD：learning a discriminative dictionary for recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（11）：2651-2664

［17］ Zhang G Q，Sun H J，Xia G Y，et al.Multiple kernel sparse representation-based orthogonal discriminative projection and its cost-sensitive extension［J］.IEEE Transactions on Image Processing，2016，25（9）：4271-4285

［18］ Zheng W L，Lu B L.Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks［J］.IEEE Transactions on Autonomous Mental Development，2015，7（3）：162-175

［19］ Cortes C，Vapnik V.Support-vector networks［J］.Machine Learning，1995，20（3）：273-297

［20］ Chai X，Wang Q S，Zhao Y P，et al.A fast，efficient domain adaptation technique for cross-domain electroencephalography（EEG）-based emotion recognition［J］.Sensors （Basel，Switzerland），2017，17（5）：1014

［21］ Yan K，Kou L，Zhang D.Learning domain-invariant subspace using domain features and independence maximization［J］.IEEE Transactions on Cybernetics，2018，48（1）：288-299

［22］ Lin Y P.Constructing a personalized cross-day EEG-based emotion-classification model using transfer learning［J］.IEEE Journal of Biomedical and Health Informatics，2020，24（5）：1255-1264

Multi-source domain adaptive dictionary learning and sparse representation

approach for electroencephalogram-based emotion recognition

YUAN Kaifeng1 HOU Lu1 HUANG Yongfeng2

1College of Information Engineering，Changzhou Vocational Institute of Industry Technology，Changzhou 213164

2School of Computer Engineering，Jiangsu University of Technology，Changzhou 213001

Abstract Electroencephalogram （EEG） signals are easy to record and difficult to camouflage，so EEG-based emotion recognition has attracted more and more attention.However，the diversity and individual variability of human emotion make the EEG-based emotion recognition still a difficult problem in the field of affective computing.To solve this problem，a multi-source domain adaptive dictionary learning and sparse representation approach is proposed in this study.To reduce the difference of data distribution between the source domain and the target domain，the data of all domains are projected into a shared subspace，where a common dictionary is learned.The sparse representation has the ability of class recognition according to the criteria of minimizing intra-class error and maximizing inter-class error of sparse reconstruction.In addition，each source domain adapts its domain weight to avoid negative migration.The model parameters are solved by parameter alternating optimization，and all parameters can reach the optimal solution simultaneously.The experimental results on DEAP dataset show that the proposed approach is the best among all the compared methods.

Key words EEG-based emotion recognition;sparse representation;domain adaptation;subspace;dictionary learning

收稿日期2022-06-23

資助項目國家自然科學基金（12005182）

作者簡介袁凱烽，男，副教授，主要研究方向為計算機應用技術.ykf@ciit.edu.cn