基于無閾值遞歸圖和深度殘差網絡的腦電信號情感識別

杜秀麗 郭慶汝 邱少明 呂亞娜

(大連大學通信與網絡重點實驗室 遼寧 大連 116622)

0 引 言

人類的情感既包含人類對外部世界或自身刺激產生的心理反應，同時也包含這些心理反應帶來的生理反應[1]。它是一種綜合了人的思維、感覺、行為的狀態[2]。對情感進行識別有助于探尋精神疾病、心理障礙產生機理與發作規律，幫助醫生做出最有針對性的治療方案。在人機交互系統中，如果能夠準確并且快速地識別體驗者的情感變化，智能設備可以以此為依據進行調整，使交互過程更加智能和友好[3]。因此，對情感進行分析和評估已經成為心理學、神經科學、計算機科學、認知科學和人工智能等領域的一項重要的交叉學科研究課題。

腦電信號(Electroencephalogram,EEG)因具有不可偽裝性、實時差異性和容易采集等優點逐步成為研究情感識別的生理依據。EEG信號是一種復雜的、時變的非線性信號，在利用傳統的一維線性分析方法分析腦電信號過程中會不可避免地丟失非線性隱匿特證。當前，腦電信號的非線性分析方式主要有Lyapunov指數、近似熵[4]、遞歸圖[5-6](Recurrence Plot,RP)和在遞歸圖理論基礎上的遞歸定量分析[7](Recurrence Quantification Analysis,RQA)等。Ouyang等[6]利用RQA分析大鼠癲癇發作各個階段EEG信號的確定性特性。Yang[8]對心電信號進行小波分解，并對產生的各層分量進行遞歸量化分析實現對心肌梗塞疾病的分類識別，平均敏感性為96.5%，平均特異性為75%。李世丹等[9]采用排序遞歸圖和遞歸量化分析方法，對不同刺激下各導聯的腦電數據進行特征提取，可以有效地分析不同狀態下視覺、聽覺的整合效應，得到較高的準確率。Goshvarpour等[1]利用遞歸定量分析的方法評估情感視覺刺激期間大腦的狀態，通過分析EEG信號在遞歸圖中的遞歸率、確定性、對角線結構長度等特征來捕捉不同情感狀態間的差異。Heunis等[10]選取17個導聯的腦電數據，經過相空間重構，對生成的RP進行遞歸定量分析選取10個特征參數結合支持向量機識別有患自閉癥風險的兒童，準確率達到92.86%，靈敏度為100%，特異性為85.71%。遞歸圖幾乎不會受到信號長度的影響，并且對信號的穩定性要求也比較低。將非線性動力系統的行為直觀可視化，是分析時間序列非平穩性、混沌性的一種重要手段。傳統的遞歸圖分析方法都是引入遞歸定量分析方法進行定量分析(即選擇遞歸率、確定率、遞歸熵、分層度等)，使得特征選擇比較繁瑣，這也是當前遞歸圖應用所面臨的挑戰。

當前腦電信號情感識別研究中存在如下問題：傳統機器學習方法大都需要對不同的數據進行相應的特征提取和后續的結合數據特點進行特征選擇，這往往會因手動設計特征不當而無法捕捉到輸入信息中能夠反映情緒變化的特征，進而導致情感分類準確率下降；利用淺層神經網絡分類器對大數據進行訓練，效率不高，非線性擬合能力較低。深度學習可以消除當前在情感識別建模過程中特征提取和特征選擇的局限性，特別是近年來，得益于卷積神經網絡(Convolution Neural Network,CNN)的蓬勃發展，深度學習在圖像處理[11]、音頻處理[12]、文本識別[13]領域應用十分廣泛。卷積神經網絡通過從圖像的像素特征中逐漸組合線條、邊、角、簡單形狀、復雜形狀等更有效的復雜特征，以發現數據的分布式特征表示，實現特征的自動提取。相比于傳統人工提取的特征，這些自動提取的特征在眾多研究中被證實更具有表征力，可以獲得更優異的分類識別效果。

本文提出基于無閾值遞歸圖[14](Thresholdless Recurrence Plot,TRP)和深度殘差網絡(Deep Residual Network,ResNet)相結合的腦電信號情感識別方法。該方法在相空間重構與遞歸圖理論相結合的基礎上將情感腦電信號轉換為相應的無閾值遞歸圖，從而將情感腦電信號非線性特征映射到二維平面，作為深度殘差網絡的輸入，進行腦電信號特征自動提取、學習、分類，以提高EEG信號情感識別的準確率。

1 相關概念

1.1 相空間重構

相空間重構是遞歸圖方法的必要步驟，此步驟的好壞直接影響到遞歸圖的質量。相空間重構的關鍵是構造一個非線性時間序列的嵌入，選擇合適的延遲時間和嵌入維數[15]。給定某非線性時間序列為x(n),n=1,2,…,N；相空間重構后得到m維的相空間向量：

X(n)=(x(n),x(n+τ),…,x(n+(m-1)τ))

(1)

式中：n=1,2,…,N-(m-1)τ;m為嵌入維數;τ為延遲時間。

結合目前現有的研究，確定嵌入維數m常用的方法有假近鄰算法(False Nearest Neighbor,FNN)[16]、Cao分析法、C-C算法[17]；確定時間延遲τ常用的方法有自相關分析法、平均位移分析法、互信息分析法[18]。以上方法各有優缺點，需要根據實際情況選擇。

1.2 遞歸圖

遞歸圖的核心思想就是將高維運動狀態的軌跡映射到二維平面上，來實現可以直接表征其動力學行為的目的，將系統動力學特征可視化。RP算法如下所示。

時間序列經過相空間重構后得到向量集合{X(n)}，兩個時刻X(i)與X(j)之間的距離為rij，則遞歸圖定義如下：

Rij=Θ(ε-rij)i,j=1,2,…,N-(m-1)τ

(2)

式中：rij=‖X(i)-X(j)‖;ε為距離閾值;Θ(·)為Heavside函數即：

(3)

遞歸圖可以表示為：

(4)

如圖1所示，根據兩個時刻的遞歸狀態，分別由i、j表示橫、縱坐標，可以得到一個由0和1組成的二值遞歸矩陣Rij。將遞歸矩陣中的0用白點表示，代表i和j時刻的狀態明顯不同，1用黑點表示，代表i和j時刻的狀態相似，從而將遞歸矩陣轉換成一個黑白遞歸圖，即為非線性時間序列x(n)的遞歸圖。

圖1 遞歸圖構造示意圖

1.3 深度殘差網絡

CNN是一種非常高效的深層前饋神經網絡，誕生的主要目標是識別二維圖像，其網絡結構對平移、比例縮放、傾斜或其他形式的變形具有高度不變性。典型的CNN結構由輸入層、卷積層、池化層、全連接層，以及輸出層組成。

對于深度神經網絡，普遍認為加深網絡層次是增強非線性擬合能力、提高模型識別準確率的有效手段。因為網絡層數與神經元數量越多，就意味著可以挖掘到不同層的特征越豐富，提取到的特征就越抽象，越具有語義信息。但是這也同時出現了一個嚴峻的問題，隨著網絡層次的增加，會時常伴隨著梯度消失和梯度爆炸的現象。為了解決深度卷積神經網絡因網絡層數加深而引發的退化現象，He等[19]提出了深度殘差網絡的模型結構。ResNet與以往的網絡模型最大的不同就是引入了殘差塊[20]，其核心思想是通過多層網絡來達到擬合一個殘差映射的目的，而不是簡單地利用網絡層來擬合所期望的恒等映射。如圖2所示,H(x)是期望得到的隱匿映射關系，x用來表示前一網絡的輸出。通過多個連續堆疊的非線性計算層來擬合輸入數據與映射后的輸出數據之間的殘差F(x)=H(x)-x，殘差越是逼近于零，表示網絡挖掘的特征與原始輸入越相近。

圖2 殘差學習：堆疊模塊

將殘差模塊按照一定的規則進行堆疊構成的深度殘差網絡解決了深層網絡面臨的收斂難、調優難等問題，克服了傳統卷積網絡隨著網絡層數增加而導致的退化問題。

2 方法設計

本文提出的腦電信號情感識別方法原理框圖如圖3所示，對EEG預處理后進行相空間重構，轉換為無閾值遞歸圖，然后將生成的二維無閾值遞歸圖作為深度殘差網絡的輸入進行自動特征提取、學習，建立EEG情感分類模型。為了提高情感識別的性能，本文在單導聯識別的基礎上，進行多導聯聯合識別。

圖3 本文方法原理框圖

2.1 腦電信號的無閾值遞歸圖

首先對EEG分別利用互信息分析法與假近鄰算法確定對應的延遲時間與嵌入維數，參數如表1所示，進行相空間重構。為了盡可能保留腦電信號中的非線性特征，也考慮到卷積神經網絡可以模擬人類神經元結構逐層實現信息傳遞，具有強大的特征自動提取能力，增強模型的自適應性，將EEG信號轉換為相應的無閾值遞歸圖，以此作為網絡的輸入。

表1 各個導聯時間延遲與嵌入維數

圖4是三類EEG信號波形和所對應的遞歸圖、無閾值遞歸圖，觀察RP可以發現：三種情感狀態下的EEG遞歸狀態的點主要集中在少數區域，使得RP中某些區域出現了空白區域，此現象與正弦信號的RP相類似。

圖4 三種情感腦電所對應的遞歸圖、無閾值遞歸圖

對比遞歸圖與無閾值遞歸圖可以發現，雖然遞歸圖可以直觀地表達EEG信號遞歸特性，但相較于無閾值遞歸圖丟失了較多的肉眼無法識別的隱匿信息；無閾值遞歸圖包含了更多豐富的非線性動力學特征，保留了較多抽象的高層表示屬性特征，這種特性正好與CNN的優越特性形成完美的契合。仔細觀察可以發現，無閾值遞歸圖關于45°對角線對稱，沒有明顯的周期現象，與腦電波形相符合，可以充分反映出EEG信號各個時刻波峰與波谷之間的起伏走勢。

2.2 深度殘差網絡設計

腦電信號經過相空間重構、無閾值遞歸圖表示后轉化為1 500×1 500×1大小的矩陣、通過偽彩色處理變成224×224×3的特征圖，以此作為深度殘差網絡的輸入。表2為設計的網絡結構參數，圖5為結構圖，原始的ResNet18是為了1 000個分類類別設計的，本文只針對EEG情感狀態的三分類，所以網絡最后通過Softmax函數得到三種情感識別結果。

表2 ResNet18超參數

圖5 本文設計的ResNet18結構圖

圖4中的三種情感狀態所對應的無閾值遞歸圖經過各個網絡層自動提取后得到的部分特征圖如圖6所示。不同卷積核提取不同的特征，(a)、(b)、(c)是無閾值遞歸圖經過conv1處理后，提取的主要初級紋理特征，有效保留了圖像整體輪廓，(d)、(e)、(f)是特征圖經過conv7處理后輸出的特征圖。通過對比可以清楚地發現conv7輸出特征圖比conv1輸出特征圖可以反映出更多的紋理細節信息，是對原始圖像細節特征與更高級特征的提取，幾乎無法用肉眼清晰識別，充分挖掘了無閾值遞歸圖的隱匿特征，使不同情感狀態下腦電無閾值遞歸圖有了更好的可分性。所以，可以通過合理的卷積層的設置與堆疊獲得不同層級紋理信息。另外卷積核處理得越多，挖掘的無閾值遞歸圖的紋理信息就愈發全面，更好地表現出情感腦電信號的非線性動力學特征。

圖6 三種無閾值遞歸圖經不同卷積的特征提取結果

3 實 驗

3.1 實驗環境

實驗采用的硬件設備為 Intel Core 4.20 GHz i7-7700 K CPU和NVIDA Geforce GTX 1080 Ti GPU。軟件環境采用MATLAB 2014a和PyCharm 2019，同時借助Keras框架實現改進的ResNet18網絡，采用自適應動量估計(Adaptive Moment Estimation，Adam)優化算法，分別設置參數為：循環迭代次數100次，初始化學習率為0.001。

3.2 數據來源

EEG信號采集流程如圖7所示，本文采用國際公認的人類腦電情感數據集SEED作為實驗數據[2]。該數據集使用電影片段作為情感誘發素材，情感狀態分為三類：積極，消極，平靜。

圖7 視聽情感腦電信號采集實驗

對EEG信號數據預處理，選擇與情感腦電有關的前額區(Fp1、Fp2)、額區(F3、F4)通道數據做相關分析(實驗中每部電影EEG采樣時長為4 min，截取信號長度為1 500個點，步長為1 500，去除不符合實驗要求的樣本后，每個通道的樣本數據量為9 225條腦電數據)。把數據歸一化到[0,1]區間上。

3.3 仿真及實驗結果分析

本文采用下列四個定量模型評估指標對模型的性能進行評估，即準確率(A)、精確率(P)、召回率(R)與調和均值(F1)，定義如下：

(5)

(6)

(7)

(8)

對于N分類問題的調和均值為：

(9)

式中：TP為被模型分類正確的正樣本；FP為被模型分類錯誤的負樣本；TN為被模型分類正確的負樣本；FN為被模型分類錯誤的正樣本。

3.3.1單導聯腦電信號情感識別

為了評估基于無閾值遞歸圖與深度殘差網絡相結合的情感腦電信號識別效果，對與情感相關大的Fp1、Fp2、F3、F4單通道腦電數據進行了分析。為了使結果更具有說服性與有效性，將樣本進行隨機打亂操作，對樣本集進行五折交叉驗證實驗，每一折中訓練集占80%，測試集占20%，模型中batch_size=32，epoch=100，模型優化函數為Adam。表3給出了四導聯腦電數據五折實驗的測試集平均準確率、標準差(std)。

表3 四導聯腦電數據五折實驗的平均準確率、標準差

仔細觀察可以清晰地發現：單導聯腦電(Fp1、Fp2、F3、F4)數據在基于無閾值遞歸圖與深度殘差網絡相結合的情感識別模型上都取得了比較理想的識別效果。Fp1、Fp2、F3、F4測試集平均準確率分別達到了93.82%、93.62%、94.54%、92.92%，證明了本文方法的有效性。對比四個單通道的平均識別準確率可以發現，本文方法在F3導聯數據集上腦電情感識別效果明顯高于其他三者，說明本文情感識別方法在相同環境條件下與F3導聯EEG信號特性較其余三個通道更加貼切符合。

如表4所示,為了更全面地對模型性能進行評估，采用另外三個模型評價指標，分別為精確率、召回率和調和均值。精確率與召回率這兩個指標是一對矛盾體，一般呈現負相關關系，從表中來看，每折實驗的精準率與召回率之間都相差大約0.03，并且普遍保持在0.91以上，整體在0.91～0.97之間，體現出本文模型具有很強的泛化能力。對于綜合指標Macro-F1來說，單導聯F3模型每折實驗的值均在0.940以上，說明在Precision與Recall一樣重要的情況下，本文方法達到了較為理想的結果。

表4 F3導聯分類指標

3.3.2多導聯腦電信號情感狀態的聯合識別

不同導聯腦電信號之間具有很強的相關性，在上述實驗的基礎上，將不同導聯的腦電(Fp1、Fp2、F3、F4)信號情感結果做綜合考慮，同時將其對應的輸出結果按照“投票法”完成多導聯EEG信號情感狀態的聯合識別，如果投票結果呈現出2∶2的局面，以F3導聯腦電情感識別分類作為最終決策結果(上述實驗表明F3導聯數據集上腦電情感識別準確率最高)。

為了對比多導聯聯合情感識別與單導聯情感識別的效果，同樣采樣五折交叉驗證實驗取平均測試準確率，圖8分別給出了單導聯(Fp1、Fp2、F3、F4)EEG情感識別與多導聯EEG情感狀態聯合識別的平均準確率，通過對比可以發現多導聯EEG信號情感狀態聯合識別的平均準確率高達94.95%，比識別效果最好的F3導聯的平均準確率(94.54%)還高出0.41%。分析可以發現，即使單導聯腦電可以取得良好的識別效果，但是多導聯聯合識別的總體性能都高于單導聯腦電情感識別效果。說明基于本文方法的多導聯EEG信號情感狀態的聯合識別效果明顯比單導聯腦電情感識別效果要好。

圖8 單導聯腦電信號情感識別與多導聯聯合識別平均準確率

分析表5，可以發現多導聯聯合模型的Macro-F1較單導聯F3的值有所改善，也證明了基于本文方法多導聯聯合情感識別效果比單導聯情感識別效果要好。

表5 多導聯聯合分類結果

續表5

3.3.3同類研究對比

為了進一步驗證基于本文方法的腦電情感識別效果的科學性與優越性，將本文方法與采用相同數據集的其他識別方法進行比較，對比結果如表6所示。文獻[21]將提取到的不同導聯腦電信號的微分熵映射為二維形式，以此作為分層卷積神經網絡的輸入，識別準確率為88.20%，同時發現Beta波和Gamma波對情感識別起著關鍵作用。文獻[2]提取腦電信號的微分熵特征進行特征平滑、降維，將得到的低維特征結合判別圖正則極限學習機進行情感識別，準確率為91.07%。文獻[22]采用一維卷積神經網絡隨機森林情感識別的方法對62導聯的腦電數據進行自動特征提取，識別準確度達到94.7%。由表6對比發現，本文基于無閾值遞歸圖與深度殘差網絡相結合的識別方法在相同數據集上充分挖掘了EEG信號非線性特征，利用了較少的導聯腦電信號得到了較高的識別效果，不但減輕了腦電信號采集工作量，還減少了參數的計算，具有明顯的優勢。

表6 同類研究對比

4 結 語

腦電信號情感識別過程中，特征提取與特征分類在情感識別過程中占據著決定性作用。本文提出一種基于無閾值遞歸圖和深度殘差網絡相結合的腦電情感識別方法，不但克服了傳統遞歸圖分析中閾值選取的問題將EEG信號非線性特征映射到二維平面，同時利用深度殘差網絡實現特征圖非線性特征的自動提取，充分挖掘了EEG信號中的隱匿特征。該方法將預處理、歸一化后的情感腦電信號經過相空間重構、遞歸圖轉化后得到無閾值遞歸圖，將情感腦電信號的非線性特征映射到二維平面。同時基于本文識別的情感類別，設計了深度為18層的深度殘差網絡，將無閾值遞歸圖作為ResNet18的輸入，利用網絡進行特征的自動提取、學習、分類。在單導聯情感識別的基礎上，采用“投票法”完成多導聯腦電信號情感狀態的聯合識別，以進一步提高腦電情感識別的精度。

為了驗證本文方法的有效性，首先將本文方法結合單導聯(Fp1、Fp2、F3、F4)腦電信號進行情感識別，測試集平均準確率分別為93.82%、93.62%、94.54%、92.92%，有效地證明了本文方法的有效性。利用精準率、召回率、調和均值三個模型分類指標將多導聯聯合識別與單導聯識別進行對比，發現多導聯聯合識別效果能對各個單導聯識別效果進行信息的補償與強化，性能更優。實驗結果表明，本文提出的腦電信號情感識別方法是有效的，相比當前的腦電情感識別方法可以獲得更高的分類準確率，有較強的實用價值。