基于微分熵與深度殘差網絡的腦電信號情感識別

杜秀麗 馬振倩 郭慶汝 邱少明 呂亞娜

(大連大學通信和網絡重點實驗室 遼寧 大連 116622) (大連大學信息工程學院 遼寧 大連 116622)

0 引 言

人類的情感既包含人類對所處外界環境或者自身心理活動而引發的生理反應,還包含這些生理反應而觸發的心理反應,可以概括為一種整合了人類的行為、感覺、思維的狀態活動[1]。人的情感是人與人交往的一個重要因素,對一個自然的人機交互界面來說,識別、解釋和響應語音中表達的情感史至關重要的[2]。在人-機交互系統中,如果能夠準確并且快速地識別出體驗者的情感變化,智能設備可以以此作為依據進行相應的調整,使得在使用過程更加滿足使用者的生理與心理需求[3];在軍事領域運用情感識別,能夠輔助指揮人員依據戰士的情感狀態制定相應合適的作戰計劃。所以,對人的情感狀態進行準確而有效的評估與識別,已經成為各個研究領域的重點話題[4]。

腦電信號(Electroencephalogram,EEG)因具有不可偽裝性、實時差異性和容易采集等優點逐步成為研究情感識別的生理依據。Duan等[5]利用能量頻譜特征對積極與消極情感進行二分類,分類準確率為76.56%。柳長源等[6]通過左、右側導聯的微分熵特征,提取腦電信號的不對稱性特征,結合支持向量機對情感分類識別,平均準確率為88.625%。Murugappan等[7]提取EEG信號熵特征,比較了六種情緒狀態,如恐懼、高興、驚奇等,發現利用腦電熵特征分類的最大平均準確率為83.04%,表明腦電熵特征可以有效地區分不同情感狀態。Chai等[8]提取腦電信號的六種時域統計特征,利用卷積神經網絡識別憤怒、驚奇和悲傷等情感,識別準確率最高可達95%。Zheng等[9]利用挑選的8個電極:AF3、AF4、F3、F4、F7、F8、T7和T8,得到了87.5%的情感識別效果。田莉莉等[10]將截取的62導聯的腦電信號數據結合改進的卷積神經網絡實現腦電情感狀態的識別,達到94.7%的準確率。張家瑞等[11]采用多頻帶與多通道的EEG信號情感識別方法提取EEG信號的微分熵特征實現情感狀態識別,總體準確率為91.99%。總結以上分析方法可以發現:現有的腦電信號情感識別方法大都是挑選出與EEG信號情感變化相關度較大的某幾個單導聯進行特征提取與特征選擇,往往會忽略掉其他導聯EEG信號的信息以及導聯間隱匿存在的空間拓撲結構特征,而這些信息和特征往往對情感狀態的識別具有關鍵性作用。

本文提出基于微分熵特征(Differential Entropy,DE)[12]和深度殘差網絡(Deep Residual Network,ResNet)[13]相結合的腦電信號情感識別方法。在對原始EEG信號進行分頻帶后,采用微分熵來衡量每個導聯在特定時間間隔的特征,將各個導聯的特征組織映射到二維平面中,作為深度殘差網絡的輸入,進行腦電信號特征自動提取、學習和分類,以提高EEG信號情感識別的準確率。

1 全導聯腦電信號微分熵特征

傳統的腦電信號情感識別過程中往往是挑選某幾個導聯進行特征提取,實現特征識別的目的。現存的方法沒有利用其他導聯采集的信息,也會忽略掉導聯間存在的整體空間拓撲結構特征,這些隱匿的特征往往對提高情感識別的準確率發揮著舉足輕重的作用。針對以上問題,本文提出基于微分熵特征的全導聯腦電信號特征表示方法。對情感EEG信號利用短時傅里葉變換,分別將EEG信號的全頻段、γ段、β段和α段的微分熵特征映射到二維平面,得到情感腦電信號的二維特征表示。

1.1 腦電信號短時傅里葉變換與微分熵特征

EEG信號是最常見的非平穩、隨機信號,如果僅僅從時域或者頻域上進行特征分析,很難達到我們所期待的目的。信號的時頻分析往往相對于時域和頻域分析更能隨著時間的變化反映出頻域的變化特征。短時傅里葉變換就是種常用的時頻分析工具,因具備簡捷有效的優點,被廣泛應用。

假設研究的原始信號為x(n),選取的窗函數為d(n),利用式(1)可以得到腦電信號的短時傅里葉變換,本文在實際操作中選擇漢寧窗作為窗函數(漢寧窗不但能夠得到EEG信號隨時間變量的頻譜變化,還能有效減少頻譜能量泄露):

(1)

對于微分熵的定義如下:

(2)

式中:f(x)表示時間序列的概率密度函數。滿足高斯分布特性的連續時間信號微分熵計算公式如下[13]:

(3)

根據上述公式可以清晰地發現:滿足高斯分布的時間序列信號的微分熵只與方差相關。對于一段已經經過歸一化處理的EEG信號XN(N表示腦電信號的長度),可以得到其方差表示如下:

(4)

EEG信號的方差可以由能量譜P的均值表示,得:

(5)

通過上述的敘述,EEG信號某個頻帶的DE可以由此頻帶能量譜的對數近似表示。

1.2 腦電信號微分熵二維特征映射

為了盡可能多地挖掘到所有導聯間隱匿空間拓撲結構特征,將截取的62通道的腦電信號分別提取得到信號的全頻段、γ段(31～50 Hz)、β段(14～31 Hz)和α段(8～14 Hz)的微分熵映射到二維平面,具體的映射排列方式如圖1所示(沒有放置電極的部位進行置零處理)。圖1中左側為腦電信號采集時62路電極放置方式,右側分別表示全頻段、γ段、β段和α段的62導聯微分熵特征,以此作為深度殘差網絡的輸入,實現全導聯信息及空間拓撲結構特征的自動挖掘和學習,建立EEG情感分類模型。

圖1 EEG信號微分熵二維特征映射展示

2 本文方法

2.1 框 架

卷積神經網絡(Convolution Neural Network,CNN)是一種非常高效的深層前饋神經網絡,其網絡結構對平移、比例縮放、傾斜或其他形式的變形具有高度不變性。典型的CNN結構由輸入層、卷積層、池化層、全連接層、輸出層組成。

對于深度神經網絡,普遍認為加深網絡層次是增強非線性擬合能力、提高模型識別準確率的有效手段。但隨著網絡層次的增加,會伴隨出現梯度消失和梯度爆炸的問題。為了解決深度卷積神經網絡因網絡層數加深而引發的退化現象,He等[13]提出了深度殘差網絡的模型結構,解決了深層網絡面臨的收斂難、調優難等問題,克服了傳統卷積網絡隨著網絡層數增加而導致的退化問題。

為自動挖掘各個導聯信息及導聯間空間拓撲結構特征,本文提出的基于微分熵特征與深度殘差網絡的腦電信號情感識別方法整體流程如圖2所示。對預處理后的情感腦電信號按照不同的頻帶提取微分熵特征,并將全頻段、γ段、β段和α段的微分熵特征映射到二維平面,得到情感腦電信號的二維特征表示;進一步地將EEG信號的二維特征微分熵特征作為深度殘差網絡的輸入,實現多導聯間隱匿空間拓撲結構特征的自動提取和學習,建立EEG情感分類模型。

圖2 基于微分熵特征與深度殘差網絡相結合的腦電信號情感識別總體框架

2.2 腦電信號情感識別的深度殘差網絡設計

62導聯的情感腦電信號經過預處理、短時傅里葉變換后得到全頻帶、γ段、β段和α段的微分熵特征,將提取到的特征按照圖1的排列方式轉化為二維特征。由于圖像的像素較小,并且數據較為“集中”,所以本文將原始圖像利用“雙立方插值算法”[14]放大到224×224×1的像素,以此作為深度殘差網絡的輸入。表1為設計的網絡結構參數,圖3為結構,本文針對EEG情感狀態這個數據集,采用ResNet18網絡模型進行分析,并通過Softmax函數得到情感識別的結果。

表1 ResNet18超參數

圖3 本文設計的ResNet18結構

3 實驗與結果分析

3.1 實驗數據

本文采用國際公認的人類腦電情感數據集SEED作為實驗數據[3]。該數據集使用電影片段作為情感誘發素材,情感狀態分為3類:積極、消極和中性。

EEG基本頻段如圖4所示,對EEG信號數據預處理,截取的腦電數據長度為800,樣本總量為10 860。EEG信號經過歸一化處理后,得到EEG信號微分熵二維特征映射圖。

3.2 仿真及實驗結果分析

實驗采用的硬件設備為Intel Core 4.20 GHz i7-7700 K CPU和NVIDA Geforce GTX 1080 Ti GPU。軟件環境采用MATLAB2014a和PyCharm 2019,同時借助Keras框架實現改進的ResNet18網絡,采用自適應動量估計(Adaptive Moment Estimation,Adam)優化算法,分別設置參數為:循環迭代次數100次,初始化學習率為0.001。

本文采用下列四個定量模型評估指標對模型的性能進行評估:準確率(Accuracy)、精確率(Precision)、召回率(Recall)與綜合調和分數指標(F1)。評估指標定義如下:

(6)

(7)

(8)

(9)

式中:TP表示被模型分類正確的正樣本;FP表示被模型分類錯誤的負樣本;TN表示被模型分類正確的負樣本;FN表示被模型分類錯誤的正樣本。

對于N分類問題的綜合調和分數指標為:

(10)

3.2.1 基于全導聯腦電信號微分熵識別結果

為了驗證本文方法的優越性,同樣提取了相同時間段內情感腦電數據的功率譜密度、近似熵特征,按照以上方法得到相應的二維特征映射圖開展對照實驗。表2分別給出了利用功率譜密度(PSD)、近似熵(ApEn)[15-16]和本文的微分熵(DE)特征進行腦電信號情感識別的每折實驗測試集準確率、五折實驗的平均準確率、標準差。

表2 不同EEG信號特征每折實驗測試集準確率、五折實驗的平均準確率、標準差

分析表2可以得出:應用功率譜密度、近似熵和本文的微分熵特征識別的平均準確率分別達到了90.985%、86.916%和95.091%。腦電信號的三種特征分別結合本文方法進行情感識別都得到了比較令人滿意的準確率,說明本文將全部導聯腦電信號作為統一整體,利用深度殘差網絡自動地挖掘全導聯信息及導聯間隱匿的整體空間拓撲結構特征進行情感識別的方法是十分有效的。

每折實驗對應的分類混淆矩陣如表3所示。為了更全面地對模型性能進行評估,采用精準率、召回率和均值作為評級指標,結果如表4所示。可以看出,每折實驗的精準率與召回率之間都相差大約0.02,并且兩個指標普遍保持在0.92以上,整體在0.92～0.97之間,體現出本文模型具有很強的泛化能力。對于綜合指標Macro而言,模型每折實驗的值均在0.940以上,說明在Precision與Recall一樣重要的情況下,本文方法達到了較為理想的結果。

表3 微分熵特征混淆矩陣

表4 微分熵特征分類指標

3.2.2 同類研究對比

為了進一步驗證基于本文方法的腦電情感識別效果的科學性與優越性,將本文方法與采用相同數據集的其他識別方法進行比較。Li等[17]將提取到的不同導聯腦電信號的微分熵映射為二維形式,以此作為分層卷積神經網絡的輸入,識別準確率為88.20%,同時發現Beta波和Gamma波對情感識別起著關鍵作用。Zheng等[3]提取腦電信號的微分熵特征進行特征平滑、降維,將得到的低維特征結合判別圖正則極限學習機進行情感識別,準確率為91.07%。田莉莉等[10]采用一維卷積神經網絡隨機森林情感識別的方法對62導聯的腦電數據進行自動特征提取,識別準確度達到94.7%。對比發現,本文基于微分熵特征與深度殘差網絡的腦電信號情感識別方法在相同數據集上充分挖掘了各個導聯信息及導聯間隱匿的空間拓撲結構特征,該方法的識別平均準確率為95.10%。

4 結 語

本文針對現有EEG信號情感識別中沒有考慮到導聯間存在的整體空間拓撲結構問題,提出基于微分熵與深度殘差網絡的識別方法。首先,將全部導聯腦電信號作為一個整體,把EEG信號各個頻帶的微分熵特征按照相應的電極空間位置、頻段順序映射為EEG信號微分熵二維特征;然后,利用深度殘差網絡實現二維特征的自動提取,以充分挖掘了各個導聯信息,及導聯間EEG信號中隱匿的空間拓撲結構特征,進而提高腦電信號情感識別的準確率。

為了驗證本文方法的性能,分別提取了相同時間段內各導聯EEG信號的功率譜密度、近似熵和微分熵特征得到二維映射特征圖,以此作為深度殘差網絡的輸入。實驗結果表明:腦電信號的三種特征分別結合本文設計的網絡進行情感識別都得到了比較令人滿意的準確率,說明本文將全部導聯腦電信號作為統一整體,利用深度殘差網絡自動地挖掘導聯間隱匿的整體空間拓撲結構特征進行情感識別的方法是十分有效的;進一步對比三種特征結合本文方法的準確率可知,微分熵的平均識別準確率最高,功率譜特征次之,近似熵特征最低,說明微分熵特征更適合表示腦電信號。與其他識別方法進行比較可知,本文基于微分熵特征與深度殘差網絡的腦電信號情感識別方法在相同數據集上充分挖掘了各個導聯信息及導聯間隱匿的空間拓撲結構特征,識別平均準確率為95.10%,進一步表明了本文方法的優越性。