基于RCNN-LSTM 的腦電情感識別研究

柳長源 李文強 畢曉君

情感在人們的理性行為和日常生活中起著重要作用,與我們息息相關(guān).通過情感的識別,我們可以去看一些患有自閉癥和抑郁癥的兒童,為他們提供心理咨詢與輔導(dǎo),這不僅能夠更好地促進人們之間的交流,在人機交互的應(yīng)用中也具有重要意義,這是一個涉及現(xiàn)代醫(yī)學(xué)心理學(xué)領(lǐng)域、計算機領(lǐng)域和人工智能等眾多領(lǐng)域內(nèi)的重要研究課題[1].

目前,對于情感分析的分類方法已有一定的規(guī)模,一般我們在研究過程中經(jīng)常使用的方式就是在研究生理特點的基礎(chǔ)之上對人的各種情感差異進行對比分析,例如通過人的面部表情、行為動作和語音語調(diào)等外部生理特征來進行情感分析,但是這種研究方法易導(dǎo)致情感識別的精度有所下降[2].因為人的面部表情、聲音等又容易受到自己的主觀控制,與這些外在表現(xiàn)出來的生理信號特征相比,腦電信號存在于人們的中樞神經(jīng)系統(tǒng)中,能夠體現(xiàn)出不同時刻的差異,因此,與情感的關(guān)聯(lián)性遠(yuǎn)遠(yuǎn)超過其他信號.基于腦電信號的情感識別有著非常廣闊的應(yīng)用前景和研究價值,越來越多的科研人員投入到了這項工作中.Krisnandhka等[3]提取了腦電信號的小波能量,并計算出其相對利用率作為最后的腦電特征進行情感識別,達(dá)到了76% 的情感識別率.Duan等[4]對常見的正向情感和和負(fù)向情感做了二分類,提出采用腦電信號的差分熵作為腦電特征,準(zhǔn)確率達(dá)到了83.28%.Murugappan等[5]利用三種不同的 “db8”,“sym8”和 “coif5”小波基函數(shù)來提取腦電信號的統(tǒng)計特征,對常見的快樂、驚訝、恐懼、厭惡和中性情緒進行分類識別,最大平均準(zhǔn)確率達(dá)到了83.04%.黃檸檬[6]基于共同空間模式(Common patial pattern,CSP)算法對腦電信號中的多種特征進行選擇與融合,分類識別率為80.5%.楊默涵等[7]利用總體經(jīng)驗?zāi)B(tài)分解(Ensemble empirical mode decomposition,EEMD)和希爾伯特變換提取了邊際譜和瞬時能量作為腦電特征,利用線性判別分類器(Linear discriminant analysis,LDA)對腦電信號進行分類,平均識別率為 82.74%.Zhang等[8]提出了利用變分模態(tài)分解(Variational mode decomposition,VMD)和自回歸(Auto regressive,AR)相結(jié)合的方法進行腦電特征提取,并采用隨機森林分類器處理三分類任務(wù),取得了不錯的效果.另外,也有研究者通過非線性動力學(xué)特征對腦電情感信號進行了分析,孫穎等[9]利用功率譜熵和非線性全局特征相結(jié)合構(gòu)造出腦電情感特征,采用支持向量機對腦電情感進行四分類,平均識別率達(dá)到了86.42%.但是,上述文獻(xiàn)中的這些腦電特征都是依據(jù)經(jīng)驗進行設(shè)計手動提取的特征,所得到的腦電特征的質(zhì)量得不到保證且容易出現(xiàn)特征丟失.利用傳統(tǒng)的分類方法支持向量機,隨機森林和LDA 等進行情感識別時,這些算法的分類結(jié)果很大程度上依賴于特征質(zhì)量,且泛化性不強.所以,構(gòu)造出一個能夠自動提取情感特征和進行分類的模型是提高腦電情感分類識別率的關(guān)鍵.

深度學(xué)習(xí)(Deep learning,DL)作為機器學(xué)習(xí)領(lǐng)域的一個重要分支,其目標(biāo)是創(chuàng)造一個模仿人腦學(xué)習(xí)的網(wǎng)絡(luò).與傳統(tǒng)機器學(xué)習(xí)方法相比,其省去了手動提取特征的環(huán)節(jié),通過半監(jiān)督或者無監(jiān)督的方式來滿足特征自動提取的需要,為數(shù)據(jù)的高級別抽象表示提供了可能[10].如今,深度學(xué)習(xí)在語音識別、圖像識別等領(lǐng)域中都得到一定程度的運用,并且為這些領(lǐng)域的發(fā)展做出了一定的貢獻(xiàn).由于深度學(xué)習(xí)具有自動學(xué)習(xí)提取樣本抽象特征的能力,避免了特征選擇與降維的過程,在情感識別方面,Jirayucharoensak等[11]應(yīng)用堆疊自編碼器(Stack autoencoder,SAE)方法建立情感識別模型,除此之外,并與一些我們傳統(tǒng)使用的分類計算方式支持向量機(Support vector machine,SVM)、樸素貝葉斯(Naive Bayesian,NB)等進行對比分析,以此驗證了深度網(wǎng)絡(luò)的優(yōu)越性.楊豪等[12]采用深度信念網(wǎng)絡(luò)(Deep belief network,DBN)來識別三種腦電情感狀態(tài),平均準(zhǔn)確率達(dá)到89.12%,但是DBN 訓(xùn)練所需的時間較長,且訓(xùn)練過程中易產(chǎn)生冗余特性.Cheng等[13]利用深度卷積神經(jīng)網(wǎng)絡(luò)對腦電情感進行分類識別,但是隨著情感分類類別數(shù)的增加準(zhǔn)確率出現(xiàn)下降,此時體現(xiàn)出單一卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)模型的局限性.此后,Wang等[14]引入了3D-CNN 對腦電信號進行情感識別,喚醒度和效價的分類準(zhǔn)確率分別為73.3%和72.1%,但是識別腦電信號時所需的時間較長,因為在識別前,需要將一維的腦電信號轉(zhuǎn)成三維數(shù)據(jù)形式.闞威等[15]利用LSTM 網(wǎng)絡(luò)對腦電情感信號進行二分類,愉悅度分類的準(zhǔn)確率為73.5%,喚醒度的分類準(zhǔn)確率為73.87%.把腦電時序信號的各個時間點直接輸入長短期記憶網(wǎng)絡(luò)(Long short term memory,LSTM)中,并沒有達(dá)到理想的分類結(jié)果,主要原因可能是將腦電信號的時序信息直接輸入LSTM 網(wǎng)絡(luò)并不能獲得與情感相關(guān)的空間頻率信息特征.在腦電情感信號處理時,前后的關(guān)聯(lián)和表征能力仍有不足之處.所以,有必要在LSTM 的前層嫁接一個合適的用于提取腦電情感特征的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).

因此,本文采用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)CNN和長短期記憶網(wǎng)絡(luò)LSTM 為基礎(chǔ),設(shè)計了RCNN-LSTM 混合深度學(xué)習(xí)模型來提高腦電情感信號的識別率,首先,改進傳統(tǒng)的CNN 模型,利用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(Recurrent convolutional neural network,RCNN)來提取腦電信號特征,以充分挖掘腦電信號的內(nèi)在情感信息,再結(jié)合LSTM對時序特征信息的融合與建模,使其綜合考慮了腦電信號的時間和空間特性,更全面地保留了腦電信號的抽象和深層特征,通過對最后實驗結(jié)果的評估,證明了RCNN-LSTM 模型的有效性.

1 卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)主要含有兩大重要特性:1)局部連接特性;2)權(quán)值共享特性.所謂的局部連接特性的優(yōu)勢在于可以在一定程度上降低擬合過程中所遇到的風(fēng)險;權(quán)值共享性特征的優(yōu)勢在于可以降低訓(xùn)練參數(shù)的數(shù)量,使網(wǎng)絡(luò)更易于優(yōu)化[16].

卷積層通過前向操作可使不同的卷積核與輸入數(shù)據(jù)來進行運算,輸出的就是輸入數(shù)據(jù)所產(chǎn)生的不同特征.卷積計算公式為

其中,xi表示輸入數(shù)據(jù),表示第i通道上的第n個卷積核,bn是偏置值,* 表示卷積運算,Yn是計算得到的第n個特征圖.

池化層也叫降采樣層.為了把權(quán)值控制在一定范圍之內(nèi),降低網(wǎng)絡(luò)擬合中產(chǎn)生的風(fēng)險,卷積神經(jīng)網(wǎng)絡(luò)將池化層引用其中,以此來對特征圖來進行降采樣處理,保障數(shù)據(jù)的精確度和可靠性.

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network,RNN)在神經(jīng)網(wǎng)絡(luò)的領(lǐng)域里已有一定歷史[17],與卷積神經(jīng)網(wǎng)絡(luò)不同,RNN 具有環(huán)狀結(jié)構(gòu),可以使信息得以維持.RNN 每次處理一個時序輸入,更新一種向量狀態(tài),該向量含有序列中所有過去的元素.圖1展示了一個輸入為Xt,輸出為Ot的神經(jīng)網(wǎng)絡(luò).

圖1 一個含有內(nèi)部環(huán)的RNNFig.1 An RNN with an inner ring

St是網(wǎng)絡(luò)中的一個向量狀態(tài),可以視為系統(tǒng)的一種記憶模式.它含有輸入序列中所有之前的元素中的信息.另一方面,圖中的循環(huán)使得信息可以由網(wǎng)絡(luò)中的每一步移動到下一步.狀態(tài)向量St由當(dāng)前輸入和之前的狀態(tài)向量通過矩陣U和W計算.

式中,f是一個非線性函數(shù),與tanh和ReLU 類似.可以看到,函數(shù)中的兩項要先求和,然后由f處理.最后,Ot是網(wǎng)絡(luò)輸出,由矩陣V計算得來.

RNN 在時間結(jié)構(gòu)上是存在循環(huán)的一個狀態(tài),這就意味著可以保證數(shù)據(jù)信息的長時間保存,可以使神經(jīng)網(wǎng)絡(luò)對時間序列的前后關(guān)聯(lián)問題進行處理.但是梯度的消失-爆炸問題也會影響RNN,RNN網(wǎng)絡(luò)的時序不能太長就是出于這個原因.如果梯度在數(shù)層之后開始消失或爆炸,網(wǎng)絡(luò)就不能學(xué)習(xí)數(shù)據(jù)之間比較高的時間距離關(guān)系.

2 RCNN-LSTM-EEG 結(jié)構(gòu)

2.1 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)

對于RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò),其結(jié)合了循環(huán)神經(jīng)網(wǎng)絡(luò)的特性[18],對傳統(tǒng)的CNN 中層與層之間自上而下的連接方式進行了改進,通過在同一層上遞歸連接多個迭代的卷積子得到了循環(huán)卷積層(Recurrent convolutional layer,RCL),使CNN 每一層前饋網(wǎng)絡(luò)上進行了反復(fù)的循環(huán)計算,而相鄰的RCL 層之間只有前饋連接.RCNN 結(jié)構(gòu)主要包含一個標(biāo)準(zhǔn)的卷積層、數(shù)層循環(huán)卷積層以及最終輸出層.圖2 是整個RCNN 構(gòu)成的結(jié)構(gòu)分布圖.

圖2 RCNN 結(jié)構(gòu)分布圖Fig.2 RCNN structure distribution

第1 層(C1)是標(biāo)準(zhǔn)的前饋卷積層,沒有遞歸連接.第1層C1之后跟隨著多個循環(huán)卷積層 (RCL1～RCLm),并且每個循環(huán)卷積層都是由眾多的卷積子組建而成,每兩個循環(huán)卷積層中間有一個maxpooling 層來進行降維,并且在T+1 個時刻 RCL 層中的多個卷積子都可以對權(quán)值進行共享.假如把一個 RCL 層進行展開,可以把其作為有T+1 深度的前饋子網(wǎng),圖3 就是RCL 層的具體展開圖.但是我們需要明確的是一個RCL 層和具有T+1 深度的CNN 是有一定差別的,主要體現(xiàn)在:RCL 層主要是通過卷積來進行具體計算的,它的輸入是卷積運算在不同時間點上的數(shù)值,而T+1 深度的CNN的輸入的時間點是一致的.因此,在參數(shù)量固定的狀態(tài)下,可以把RCL 取任意時間點進行展開,從而得到相應(yīng)的神經(jīng)網(wǎng)絡(luò).

圖3 RCL 展開圖Fig.3 RCL expansion diagram

確定分類效果的一個非常重要的因素就是模型所采用的深度,層次越深,越可以讓網(wǎng)絡(luò)學(xué)習(xí)到更加復(fù)雜的特征.相反,網(wǎng)絡(luò)深度越淺,那么越有利于梯度回傳.RCNN 能夠更加高效合理地權(quán)衡這兩點,它可以看作是一個具有彈性路徑的CNN.不僅可以對網(wǎng)絡(luò)深度進行一定程度的加深,而且還能夠有效地對其進行訓(xùn)練.也就是說RCL 的這種迭代的計算,實現(xiàn)了路徑長度可以進行延展,從1 層可以延展到T+1 層.因此,若在一個完整的RCNN網(wǎng)絡(luò)中RCL 層為4 個,那么就可以計算出總路徑可以從6 轉(zhuǎn)變?yōu)?(T+1)+2 (包括第1 層的卷積層和最后的輸出層).正是因為RCL 此特性,從而使網(wǎng)絡(luò)深度得到了更好的延展,并且能夠大大地提高權(quán)值共享效果,使得參數(shù)量大幅度減少.本文在設(shè)計卷積核時避免使用較大尺寸的核,主要是由于腦電情感信號的時間序列不同于圖像中的特征點很密集.也就是說在一個腦電信號的區(qū)域內(nèi)會存在很多無關(guān)的特征,卷積核尺寸越大,其感受野就越大,就會提取到很多無用的腦電特征.同時卷積核尺寸增大,也會增加計算量的開銷,不利于模型深度的增加,計算性能會大大降低.一般情況下在更深的模型中用較小的卷積核能夠?qū)崿F(xiàn)正則化的效果.在多次實驗后得到了各層具體參數(shù)如表1 所示.

表1 RCNN 網(wǎng)絡(luò)模型結(jié)構(gòu)Table 1 RCNN network model structure

2.2 長短期記憶神經(jīng)網(wǎng)絡(luò)

作為時間遞歸神經(jīng)網(wǎng)絡(luò)的一種形式,LSTM 網(wǎng)絡(luò)不但能夠體現(xiàn)出腦電信號信息的前后關(guān)聯(lián)性,并且更能夠處理長時間依賴的問題.在許多時間序列的分類問題上,如語音分類、自然語言處理 (Natural language processing,NLP)等,LSTM 網(wǎng)絡(luò)都獲得了很大的進步.由于腦電情感信號的時間特征和頻譜特性與上述的時序信息類似,考慮將LSTM神經(jīng)網(wǎng)絡(luò)應(yīng)用于腦電情感信號分類.LSTM具有RNN 的優(yōu)勢,能夠比較精準(zhǔn)地對序列數(shù)據(jù)進行準(zhǔn)確的分析[19].為了保證整個循環(huán)網(wǎng)絡(luò)能夠更加穩(wěn)定地進行,LSTM 模型增添了其他機制,以此來降低梯度消失和發(fā)生爆炸的可能性.記憶單元c、輸入門i、遺忘門f及輸出門o這些機制相互組合運用,可以大幅度地提高神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理能力.LSTM模型具體運算為

在上述函數(shù)式中,it表示輸入門,ft表示遺忘門,ct表示記憶單元,ot表示輸出門向量值,W表示權(quán)值響應(yīng)數(shù)據(jù),b是偏置數(shù)值,tanh 是雙曲正切函數(shù).其中輸入門主要的作用就是對記憶單元c的強度進行控制;輸入門、遺忘門以及輸出門三者之間各自有著其相應(yīng)的用途,當(dāng)有新的信息輸入到LSTM 網(wǎng)絡(luò)當(dāng)中時,可以根據(jù)輸入門的規(guī)則來進行選擇性的添加,并通過遺忘門對無用的信息進行選擇性過濾遺忘.它們之間的計算方式存在相似之處,但是又有著不同的參數(shù),LSTM 結(jié)構(gòu)如圖4 所示.

圖4 LSTM 結(jié)構(gòu)示意圖Fig.4 LSTM structure diagram

在實驗過程中,主要利用的是單層LSTM 結(jié)構(gòu),選擇 tanh 函數(shù)作為模型的激活函數(shù),設(shè)置隱層的節(jié)點數(shù)為30 個,輸出層采用使用Softmax 函數(shù)來對情感進行分類識別.LSTM 在訓(xùn)練和識別的過程中通過輸入當(dāng)前信息和前一時刻隱層的狀態(tài)以此來改變隱層的狀態(tài),并且對這一步驟進行不斷地循環(huán),一直到處理結(jié)束.

2.3 RCNN-LSTM 結(jié)構(gòu)

腦電信號在經(jīng)過RCNN 網(wǎng)絡(luò)之后,我們可以得出時序信號的具體特征及其所承載信息的特點.因為在這個過程中我們所得到的特征也是一個相應(yīng)的時間序列,所以,需要借助LSTM 建立模型來對這些時序信息進行詳細(xì)全面的分析,圖5 為RCNNLSTM 模型整體結(jié)構(gòu)示意圖.

在圖5 所示結(jié)構(gòu)中,EEGinput為送入網(wǎng)絡(luò)訓(xùn)練或測試的單條腦電信號長度,樣本長度的設(shè)置非常重要,它和網(wǎng)絡(luò)結(jié)構(gòu)、分類數(shù)目、訓(xùn)練速度都緊密相關(guān).考慮到實驗者觀看視頻時需要一定的反應(yīng)時間,并且在最后階段難免會出現(xiàn)倦怠感,因此把實驗中前23 s和后20 s 的數(shù)據(jù)去除,只保留中間20 s 的數(shù)據(jù),共2 560 個時間節(jié)點.eeglen為對長度EEGinput的腦電信號進行再切分的單段長度,也是RCNN網(wǎng)絡(luò)進行特征提取的腦電信號長度.在各個切分的腦電信號段數(shù)互不重疊的情況下,可切分的段數(shù)stepn可由式(9)計算得到

stepn就是腦電信號切分的段數(shù),也是獲取到腦電特征的總步數(shù),是輸入到LSTM 的總步數(shù).當(dāng)依次將長度為eeglen的腦電信號送入RCNN 后,會分別提取到各段腦電信號的特征.將得到的多時段腦電特征送入LSTM 后將獲得最后一步的隱層輸出hstepn.將隱層數(shù)據(jù)與全連接層相連,圖5 中所示的Nclasses為分類類別,將全連接層的輸出再通過Softmax 計算可獲得預(yù)測輸出的情感類別.本文將eeglen分別定為64,128,160和256,將所有樣本數(shù)據(jù)分為10 折,在其中的9 折數(shù)據(jù)內(nèi)部進行了交叉驗證實驗,嘗試不同的eeglen和stepn,以此來尋找最優(yōu)的eeglen和stepn組合,將剩下的1 折數(shù)據(jù)作為最終的測試數(shù)據(jù).通過比較9 折實驗后腦電情感信號的平均識別率可以看到,當(dāng)eeglen為160,stepn為16 時,能夠獲得較好的分類效果.

圖5 RCNN-LSTM 結(jié)構(gòu)示意圖Fig.5 RNCN-LSTM structure diagram

3 實驗結(jié)果分析

3.1 實驗數(shù)據(jù)

DEAP (Database for emotion analysis using physiological signals)[20]數(shù)據(jù)庫中主要采集了32 名身體健康參與人員的腦電數(shù)據(jù),在這些樣本人員之中,男女性別之間的比例是1:1,參與實驗人員的平均年齡為26 歲,并且在實驗之前把整個實驗的細(xì)節(jié)和過程詳細(xì)地告知了受試人員.這些受試人員的身體和心理都是呈現(xiàn)良好的健康狀態(tài),在收集樣本數(shù)據(jù)的過程中主要采用32 導(dǎo)AgCl 電極,此外,還有8 個電極采集外周生理信號.每個實驗時長為63 s,前3 s 為實驗準(zhǔn)備階段,隨后的60 s 是被試者觀看的MV 時間.每位受試者每次實驗信號采集過程如表2 所示.

表2 DEAP 數(shù)據(jù)收集統(tǒng)計表Table 2 DEAP data collection statistics

本文在實驗過程中所采用的DEAP 數(shù)據(jù)庫中的數(shù)據(jù)是經(jīng)過預(yù)處理之后得到的,經(jīng)過預(yù)處理后的數(shù)據(jù)采樣頻率為128 Hz,并且去除了眼電等噪聲,從而使得數(shù)據(jù)的準(zhǔn)確性和精確度都能夠保持在可靠范圍之內(nèi).根據(jù)相關(guān)的研究成果表明,大腦的額區(qū)和中央?yún)^(qū)域主要參與人們的情感處理[21].因此,本文主要提取集中在大腦額區(qū)和中央?yún)^(qū)的腦電通道數(shù)據(jù)來進行研究,分別是FP1、FP2、F3、Fz、F4、F7、F8、C3、C4[22].DEAP 數(shù)據(jù)庫主要是運用效價和喚醒度所構(gòu)成的二維情感模型[23],該模型可以把人類的情感劃分為兩種對應(yīng)極端,一端為正極,另一端為負(fù)極.當(dāng)情感處于正極意味著是正性情感,能夠為人帶來良好的比較愉悅的內(nèi)心感受;而情感處于負(fù)極意味著是負(fù)性情感,即給人帶來不好的情感感受,例如:焦慮、暴躁等.

3.2 結(jié)果分析

將本文提出的RCNN-LSTM 模型應(yīng)用到DEAP 數(shù)據(jù)集上,對常見的5 類情感:輕松、沮喪、快樂、壓力和平靜進行研究分析,輕松、沮喪、快樂、壓力和平靜的樣本分別為1 250、1 178、1 153、1 132和1 228 個.此外,又比較了采用傳統(tǒng)的識別算法和淺層神經(jīng)網(wǎng)絡(luò)(SVM、BP、CNN、LSTM)對5 種腦電情感信號的分類進行實驗,取eeglen為160,stepn為16,不同算法均對最后的1 折數(shù)據(jù)進行10 次測試實驗,并利用整體情感的平均分類識別率和單個情感的分類識別率既召回率(Recall)對模型的分類結(jié)果進行評估,結(jié)果如表3 所示.

表3 不同算法下的召回率和分類識別率(%)Table 3 Classification recognition rate under differrnt algorithms (%)

分類問題中,最常見的評價指標(biāo)是準(zhǔn)確率(Accuracy,ACC),它能夠直接反映出分正確的比例,同時計算非常簡單.但是實際的分類問題中,可能各個類別的數(shù)據(jù)量有一定差異,導(dǎo)致有時整體的準(zhǔn)確率(ACC)較高,但是部分類別的分類效果較差,這時單純的準(zhǔn)確率(ACC)不能完全作為模型的評價標(biāo)準(zhǔn).為此,計算模型的分類準(zhǔn)確率的方差和kappa 系數(shù)來衡量分類模型的好壞,結(jié)果如表4所示,kappa 用于一致性檢驗,具體計算為

表4 不同算法下的kappa值和方差Table 4 Kappa values and variances under different algorithms

式中,p0是每一類正確分類的樣本數(shù)量之和除以總樣本數(shù),也即總體分類識別率;pe是預(yù)期與真實結(jié)果一致的概率.

在表3 中,SVM 與BP 神經(jīng)網(wǎng)絡(luò)兩種方法是在MATLAB2015 平臺中調(diào)用相應(yīng)的分類函數(shù)分析得出的結(jié)果,SVM 是一種有監(jiān)督的學(xué)習(xí)模型,可以對腦電情感信號進行分類識別,使用的核函數(shù)為高斯徑向基核函數(shù),其形式為

SVM 的分類性能主要依賴于懲罰因子c和徑向基函數(shù)(Radial basis function,RBF)核函數(shù)的參數(shù)g,在許多情況下,找到合適的參數(shù)一般需要人為進行大量的嘗試,這樣計算量較大且不易獲得最佳參數(shù).為了解決參數(shù)選擇的問題,本文使用遺傳算法(Genetic algorithm,GA)對兩個參數(shù)進行優(yōu)化.得到的最優(yōu)的懲罰因子c=1.3055,核參數(shù)g=0.82359.GA-SVM 的適應(yīng)度曲線如圖6 所示.

圖6 GA-SVM 的適應(yīng)度曲線Fig.6 GA-SVM fitness curve

BP 神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置目前并沒有明確的規(guī)則來確定,根據(jù)以往的經(jīng)驗和多次實驗,本文將BP 神經(jīng)網(wǎng)絡(luò)隱藏層設(shè)置為兩層,每層的節(jié)點數(shù)分別為30、10,用-1～1 的隨機數(shù)來初始化BP 神經(jīng)網(wǎng)絡(luò)中的權(quán)重,用反向傳輸算法進行BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練,采用帶有動量項的梯度下降法進行參數(shù)優(yōu)化.CNN、LSTM 與本文的RCNN-LSTM 模型是在開源框架Tensorflow 中進行分類訓(xùn)練和測試.表1 中的RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)里有1 個標(biāo)準(zhǔn)的卷積層和4 個循環(huán)卷積層RCL,因此,表3 中的CNN模型設(shè)為5 層標(biāo)準(zhǔn)卷積層,每層的卷積核的數(shù)量和核大小與RCNN 中的參數(shù)相同,表3 中的LSTM模型設(shè)為單層,參數(shù)與RCNN-LSTM 模型中的LSTM 相同,表3 中CNN-LSTM 網(wǎng)絡(luò)由上述的CNN 與LSTM 進行組合,分別與本文的RCNNLSTM 模型進行對比實驗.

由表3 可以看出,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)算法對腦電情感的分類準(zhǔn)確率較為一般,且單個情感類別的召回率波動較大,本文構(gòu)建的RCNNLSTM 模型整體平均識別率達(dá)到96.63%,并且對每種情感的召回率都比較高且比較穩(wěn)定,最低的分類精度為94.3%,最高的分類準(zhǔn)確率達(dá)到了100%,與傳統(tǒng)方法相比,具有明顯的優(yōu)勢.由表4 可以看出,本文提出的RCNN-LSTM 模型在進行多類的腦電信號分類時的kappa 系數(shù)高于其他5 種算法,并且方差最小,魯棒性較優(yōu).由于腦電信號具有復(fù)雜的時空特性,傳統(tǒng)的CNN 網(wǎng)絡(luò)通過不斷訓(xùn)練能夠?qū)W習(xí)腦電信號的空間頻率信息,但卻忽略了時間域的信息.LSTM 方法則正好相反,LSTM 作為RNN的一種特殊形式,可處理各部分輸入的數(shù)據(jù)并進行統(tǒng)一分類,但是,直接將腦電信號以各個采樣點輸入LSTM 并未取得良好的效果.因此,本文構(gòu)建了RCNN-LSTM 模型來提高腦電情感識別率.在送入LSTM 前,利用RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)用于對 EEG 信號的頻域進行分析,相較于傳統(tǒng)的CNN,RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò)不但能夠?qū)W習(xí)腦電信號的空間頻率信息,通過循環(huán)卷積層聯(lián)系網(wǎng)絡(luò)隱層中當(dāng)前時刻和前幾個時刻,還能獲得腦電信號序列的時序關(guān)系.再通過對腦電信號的單步切分eeglen,依次將每一步的eeglen送入RCNN 中,以此來獲得更豐富的腦電情感特征,最后采用LSTM 對時序特征信息進行融合建模與分類,更全面地保留了腦電信號的內(nèi)在情感特征.因此,將RCNN-LSTM 模型用于多類腦電情感信號的分類相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)算法具有更好的識別效果.

將本文的研究方法與已有研究成果進行對比,比較結(jié)果如表5 所示,文獻(xiàn)[24]提取了腦電信號的功率譜密度為特征,利用SVM 進行二分類,識別率達(dá)到了70.1%,文獻(xiàn)[25]將近似熵、樣本熵、排列熵進行組合作為特征,利用K-最近鄰(K-nearest neighbor,KNN)進行分類,分類精度達(dá)到了77.8%,文獻(xiàn)[26]中利用了卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的方式對DEAP 腦電數(shù)據(jù)進行了情感分類,整體識別率為73.09%.文獻(xiàn)[27]將堆棧自編碼器與循環(huán)神經(jīng)網(wǎng)絡(luò)相融合,得到的情感識別率為79.26%.文獻(xiàn)[28]采用新型動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(Dynamical graph convolutional neural networks,DGCNN)對腦電情感信號進行分類識別,平均識別率達(dá)到了90.4%.文獻(xiàn)[29]采用3D-CNN 模型對腦電信號進行情感識別,在喚醒度上和效價上的準(zhǔn)確率分別為88.49%和87.44%,整體平均識別率為87.965%.

表5 已有研究成果與本文的對比Table 5 The existing research results are compared with our method

本文通過構(gòu)建新的RCNN-LSTM 模型對腦電情感信號進行5 類識別研究,整體的平均分類識別率達(dá)到了96.63%,比上述已有的相似研究成果都有了一定程度的提高,驗證了本文方法的可行性.

4 結(jié)束語

本文在研究的過程中主要使用了DEAP 數(shù)據(jù)庫中的腦電數(shù)據(jù),對沮喪、輕松、快樂、壓力和平靜5 種情感腦電信號進行研究分析.針對目前基于腦電信號情感分類準(zhǔn)確率較低且分類類別少的問題,提出了一種將循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(RCNN)與長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)模型相融合的腦電情感識別方法.通過遞歸連接的RCNN 循環(huán)卷積神經(jīng)網(wǎng)絡(luò),可以在每個RCL 層參數(shù)量固定的條件下,增加網(wǎng)絡(luò)的深度,使模型能夠自動學(xué)習(xí)到高度復(fù)雜的腦電情感特征,避免了手動特征選擇與降維等步驟,并對原始的腦電信號序列進行單步切分,通過RCNN特征提取后進行多時段特征融合,并借助LSTM 對時間序列分類識別的優(yōu)勢,使其對腦電情感信號的時、空、頻域特征能有很好的泛化能力和強魯棒性,平均整體情感分類識別率達(dá)到了96.63%,結(jié)果表明本文所提的RCNN-LSTM 模型可以幫助人們有效地識別腦電情感信號,為能夠得到性能完善可靠的情感識別腦–機接口提供了一定的參考.