腦電信號與個人情緒狀態關聯性分析研究*

陳 萌，李幼軍，劉 巖

北京工業大學 電子信息與控制工程學院，北京 100124

腦電信號與個人情緒狀態關聯性分析研究*

陳 萌+，李幼軍，劉 巖

北京工業大學 電子信息與控制工程學院，北京 100124

人的情緒是人們對于客觀事物是否滿足自身需求而產生的一種綜合狀態，與生理信號有著密切的關聯。對被試者心理狀態剖面圖（profile of moods states，POMS）的分量值和同時記錄的個體靜息態的腦電信號（electroencephalogram，EEG）特征值進行關聯性分析研究。用小波變換對原始腦電信號進行預處理，腦電信號的特征值提取過程采用了經驗模態分解（empirical mode decomposition，EMD）的方法，從預處理過的腦電信號中提取波動指數作為腦電特征值，隨后將提取出的腦電特征值與POMS各分量值進行Pearson關聯性分析。通過對8個被試者連續7天的POMS量表和腦電信號的記錄與分析，得到腦電信號與情緒量表中的分量存在一定的正相關關聯。

心理狀態剖面圖（POMS）量表；腦電信號（EEG）；經驗模態分解（EMD）；皮爾森相關性分析

1 引言

情緒是人們對客觀事物或情景（外界或自身刺激）是否滿足自身愿望或需要而產生的態度體驗，是人們多種感覺、思想和行為反應綜合產生的心理和生理狀態[1]。情緒狀態有積極和消極之分，日常生活中人們較常體驗到的情緒感受有高興、抑郁、疲勞、驚慌、憤怒和緊張等。情緒研究的應用前景廣闊，在人機交互、醫療健康、遠程教育、娛樂游戲開發等眾多領域均有重大的應用價值[2-3]。之前，對于人們情緒狀態的評估手段主要是通過被試者主觀地反饋對自身的評價得到的，而通過客觀的生理信號獲取被試者情感狀態的手段更具有客觀性，生理信號是伴隨著人的情感狀態由人體器官產生的一種客觀的生物電信號。對于從客觀生理信號來進行人們情緒狀態的評估是有理論依據的。美國紐約城市大學巴魯克學院和研究生院的心理生理學實驗室的Andreassi教授指出生理信號與情緒狀態的變化存在客觀關系[4]。

腦電信號是最重要的生理信號之一，在情緒研究方面一直受到高度的重視。腦電信號是大腦內部億萬神經元活動在大腦皮層的綜合反映，能夠直接反映大腦的活動情況，情緒狀態的不同和各種情緒的變化會在不同的大腦皮層位置反映出不同的腦電信號。英國倫敦大學的Eimer和Holmes用帶有驚恐和中性表情的人臉圖片作為刺激材料并利用事件相關電位來找出驚恐情感和中性情感間的差異[5]。Lin等人以音樂作為刺激材料，通過電極帽采集情感實驗中的被試者腦電信號來進行情緒識別[6]。Frantzidis等人以圖片作為視覺刺激對測試者進行試驗，他們將所得到的數據分為心情愉悅和心情低落，高興奮度和低興奮度，并利用馬氏距離分類法進行情感分類具有很高的分類精度[7]。Scotti等人將腦電特征與皮膚阻抗、血壓、心電等外圍生理信號一起作為情感識別的特征[8]。Zhang和Lee將腦電信號與人臉表情信號結合在一起來識別被試者的情感狀態[9]。

雖然對情緒分析的方法有很多[10-11]，但以往研究主要以通過圖片或者音樂刺激被試者從而記錄被試者的腦電反映為主，而且主要研究正性、中性、負性情緒的識別，對長時間跟蹤個人情緒狀態變化進行研究和多情緒之間識別則很少。本文通過運用心理狀態剖面圖（profile of moods states，POMS）量表在長時間周期（每個被試者測試7天）跟蹤記錄被試者情緒狀態和同時期的腦電信號來進行研究。

POMS量表是由美國的Mcnair等人于1971年編制而成的一種情緒狀態評定量表，它包括6個分量表（緊張、壓抑、憤怒、精力、疲勞和慌亂），共65個選項[12]。Grove等人在1992年第2期國際運動心理學雜志發表簡式POMS問卷，其中增加了“與自尊心有關的情緒”分量表，其信度相關系數平均值為0.798，其預測效度也很高[13]。Zhu等人在全國22個省市內隨機測試了大學生1 060名，中學生522名，對他們回答的各分量表得分與相應的有關題目得分進行相關考驗，發現簡式POMS問卷的信度在0.62～0.82之間，平均r=0.71，同樣具有很高的信度[14]。因此本文采用簡式POMS量表作為記錄和評估被試者情緒狀態的工具。

簡式POMS共7個分量表，40個形容詞，各分量表的詞目混合排列。每一項的回答有5個分數等級；0表示全無；1表示有一點；2表示中等；3表示很多；4表示非常多。情緒狀態總估價的計算公式是：消極的情緒分（緊張、壓抑、憤怒、疲勞和慌亂分之和）減去積極的情緒分（精力和與自尊有關的情緒分之和），加上一個常數100。計算出來的情緒狀態總估價（total mood disturbance，TMD）分數越高，表明更有消極的情緒狀態，即心情更為紛亂、煩悶和失調，反之性情平靜。在實驗過程中，被試者要求根據當時的心境狀態在這些描述心境的形容詞上選擇一種最符合自己情況的相應等級。

本文設計了一套收集數據的標準流程和方法，用以收集被試者的情緒變化情況和靜息態的腦電信號；然后，采取經驗模態分解（empirical mode decomposition，EMD）的分析方法進行腦電信號特征值提取，得到了相應的特征向量；最后，將POMS量表的情緒分量值與提取出來的EMD腦電特征值，通過Pearson關聯性分析，以得到腦電信號與情緒狀態分量之間的關聯情況。

2 實驗設計、實驗過程及數據收集

2.1 實驗設計

實驗目的是為了分析長周期內靜息態腦電信號與個人情緒狀態（通過POMS量表分量）之間的關聯性分析。為此目的，需要采集被試者的靜息態腦電信號和同時期的POMS量表分量。

腦電數據使用Neurosky公司生產的Mindwave腦電設備進行采集，采集前額葉FP1位置信號，參考電極為左耳垂，采樣頻率為512 Hz。為了得到可控的腦電信號，本實驗設計了基于安卓4.0操作系統的便攜式腦電采集軟件和POMS量表評估的移動端應用軟件，軟件主要通過藍牙信號將腦電設備連接到移動設備，在移動設備內存自動生成文本文件，用以保存被試者的個人信息、腦電信息及POMS量表評估分數。采集地點為北京工業大學WIC實驗室。

2.2 實驗過程及數據收集

實驗對象為8例健康人，均來自北京工業大學在校學生。被試者7男1女，年齡范圍在22～26周歲，均值24.57，標準差1.62。被試者全部都是右利手，無任何精神疾病病史。被試者要求在每天傍晚7點左右帶上Mindwave腦電信號采集裝置，清醒閉目，靜坐在安靜、弱光的室內，與移動設備建立連接采集腦電數據。實驗持續一周，由于腦電信號采集與受試者精神狀態有極大關系，為了保證受試者保持在同一穩定的精神狀態下，數據采集時間為5 min。腦電信號采集完畢后，被試者依據個人此時情緒狀態進行POMS量表的評定，每天一次。實驗一共采集到56條腦電原始數據及POMS量表結果數據，每條腦電數據包含3列信息，分別為時間、EEG轉換值、腦電電壓值，每個文件大小為4 MB，提取第三列作為腦電分析數據。每條POMS量表數據包括各個題目得分及總分。

3 數據處理

3.1 數據預處理

在POMS量表分析中發現8號被試者量表分量幾乎沒有變化，原因可能是8號被試者對POMS量表產生記憶影響或者是被試者對于自身情緒變化的敏感程度不大，因此其情緒分量幾乎沒有變化，對其進行關聯分析沒有太大的意義，故將8號被試者剔除。

實驗中腦電信號十分微弱（μV級），主要頻段在3～32 Hz范圍內，極易受到外界各種噪聲的干擾，主要有工頻干擾（50 Hz）、肌電干擾、偽跡等，需要進行預處理。首先，從腦電原始數據中提取第2到第3分鐘之間的1分鐘進行分析，共13 720個腦電原始數據。使用1～40 Hz的帶通濾波器濾掉EEG漂移信號和肌電干擾信號，保留主要頻段。然后運用小波分析方法，通過極大極小值閾值法將腦電信號頻帶重疊部分的干擾消除，對處理過后的小波系數進行小波重構后得到濾波后的EEG波形。經測試，采用db5小波函數進行5層分解濾波，重構后的信號效果最好。處理前后腦電圖如圖1、圖2所示。

由圖1和圖2可以看到，經過小波去噪后的腦電信號毛刺部分減少，光滑性較好，可以得到較好的腦電重構信號，便于下一步的處理。

預處理后的信號需要進行特征值提取，基于腦電信號的非線性和非平穩性特點，本文采用EMD時頻分析方法。EMD方法是Huang等人提出的一種自適應的高效的數據分解方法[15]，該方法能根據信號本身的尺度特征對信號進行分解，獲得一系列的固有模態函數（intrinsic mode function，IMF）分量，信號的非線性和非平穩特征能在各層IMF分量中顯示出來。Thuraisingham等人計算每個IMF的希爾伯特加權頻率來研究脊髓損傷的病人與正常人在連續睜眼與閉眼時腦電變化[16]。Chai等人對每個IMF成分求其功率譜密度作為特征進行研究[17]。EMD已經在腦電研究領域得到了廣泛的應用。

Fig.1 Original EEG signal圖1 原始腦電信號

Fig.2 Preprocessed EEG signal圖2 預處理后腦電信號

EMD基本思路是：假設任何復雜信號都是由一系列幅度和相位都隨時間變化的基本模式分量構成，這種基本模式分量滿足兩個約束條件：

（1）在整個信號曲線上，極值點的數目與過零點的數目相等或者至多相差為1；

（2）在整個波形曲線中，由局部極大值所定義的上包絡線和由局部極小值所定義的下包絡線的均值等于0。

具體做法是：

步驟1找到原信號x的極值點，將所有極大值點及所有極小值點分別用一條曲線聯接起來，使兩條曲線間能夠包含所有的信號數據，從而得到信號x的上、下兩條包絡Umax和Umin。

步驟2計算兩條包絡線的平均值。

步驟3將均值從數據中減去x-m1=h1。

步驟4檢查h1是否滿足IMF的定義，不滿足需要將h1視為新的數據，重復（1）～（4）；否則，h1為分離出來的第一個IMF，記為c1=h1。

步驟5 x1-c1=r1。將r1看作新的數據重復以上步驟，直至rn變成一個常量、一個單調函數，或者成為僅有一個極值點的函數，即不能再提取出IMF時分解過程結束，此時rn稱為余量。原信號可表示為：

至此獲得了m個IMF和1個余量，標號從低到高的IMF分別對應于原信號時間尺度從細到粗的特征信號。對EEG信號進行EMD分解得到各個IMF分量，然后提取IMF分量的特征。

EMD分解后可以得到11個IMF分量，前4個分量及頻譜圖如圖3所示。

由圖3可以看到，各層IMF代表了原始腦電信號中不同尺度的特征信號。第一層IMF主要包含25 Hz的能量，第二層主要包含了10 Hz的能量，第三層主要包含5 Hz的能量，第四層主要包含低頻2 Hz左右的腦電信息，各IMF分量有頻率隨著層數逐漸下降特性。而前3個IMF分量包含大部分腦電信息，因此選取前3個IMF分量進行特征提取。

3.2 EEG特征向量提取

本文將波動指數作為特征值進行研究，波動指數是用來衡量信號變化強度的指標。不同情緒狀態下信號變化強度不一樣。其定義為：

其中，c(i)為EMD后得到的第i個IMF分量；n為IMF長度。即用信號相鄰之間差值總和的平均數來表示信號的波動強度。

每條腦電數據可以得到3個IMF特征值。選取第6人的特征值作為示例，如表1所示。

Fig.3 The first 4 IMF components and frequency spectrum圖3 前4個IMF分量及頻譜圖

Table 1 Fluctuation index of the sixth subject表1 第6個被試者波動指數特征

3.3 皮爾森相關系數分析

皮爾森相關系數是一種線性相關系數，用來反映兩個變量線性相關程度的統計量，或者說可以用來計算兩個向量的相似度。隨機變量X、Y的相關系數為協方差與其標準差之積的比值。

兩個樣本之間的皮爾森相關系數如下公式：

其中，Pc為相關系數；(xi,yi),…,(xn,yn)為樣本值。相關系數是-1到+1之間的數值，Pc＞0，稱為正相關，Pc＜0，稱為負相關。絕對值越大，樣本之間的相關性就越高。

需要將被試者的POMS量表分量與腦電各個IMF特征值做相關性分析，同樣選取第6個被試者的POMS量表得分作為示例，如圖4所示。

將各個IMF分量的波動指數特征值與POMS各分量的得分進行相關性分析可以得到表2、表3、表4的結果，分別展示了前三層IMF分量與POMS量表的Pearson相關分析結果。

4 結果分析

Fig.4 POMS scale scores of the sixth subject圖4 第6號被試者POMS量表得分

Table 2 Correlation between the first IMF component fluctuation index and scale component表2 第一層IMF分量波動指數與量表分量相關性

Table 3 Correlation between the second IMF component fluctuation index and scale component表3 第二層IMF分量波動指數與量表分量相關性

由表2到表4的結果可以看到，第一層IMF特征值與量表的相關結果中，憤怒分量有4個被試者都呈現出顯著正相關，其中7號被試者出現了極顯著相關。而且6號被試者情緒中的自我分量與IMF特征值有顯著的負相關。第二層IMF分量特征值與情緒分量的相關結果中，憤怒分量有6個被試者都出現了顯著的正相關，其中1號被試者的自我分量與特征值有顯著的負相關。第三層IMF特征值與量表分量的相關結果中，憤怒分量也有4個呈現顯著的正相關，其中1號被試者與7號被試者出現了極顯著正相關的情況。1號與6號情緒中自我分量也有顯著的負相關。總體的相關性結果中，除了憤怒與自我分量有顯著相關性出現，其他情緒分量與IMF分量均沒有出現顯著相關。

在所有的21個特征值中，憤怒分量與IMF分量呈現顯著正相關高達15個，包含了3個極顯著正相關，所占比例為71.4%，情緒中的自我分量只有4個出現顯著的負相關，而其他的分量并沒有出現顯著相關。由此可以得出前額葉FP1位置的腦電與情緒量表中的憤怒分量有顯著正相關。

Table 4 Correlation between the third IMF component fluctuation index and scale component表4 第三層IMF分量波動指數與量表分量相關性

5 結論與展望

為了研究長周期內情緒狀態與腦電的相關性，本文設計了一套進行數據收集的標準流程和方法，采集被試者的POMS情緒狀態與腦電信息。隨后用EMD分析方法將腦電信號進行分解，以波動指數為特征值從IMF中提取相應的特征向量。最后，將特征向量與POMS量表分量進行Pearson關聯性分析，得到前額葉FP1位置腦電信號與情緒狀態量表的憤怒分量之間存在顯著的正相關。

本研究也有許多不足之處，未來工作中有以下方面需要加以改進和提升：應增加被試者數量來繼續驗證結論。嘗試通過使用多電極便攜式腦電設備對其他腦部位置研究與情緒分量的相關性。在通過POMS量表記錄被試者情緒變化的過程中，可以通過隨機排列POMS量表分量順序的方式，減少由于被試者的記憶效果而不能正確反映情緒狀態的影響等。

[1]KoelstraS,Mühl C,Soleymani M,et al.DEAP:a database for emotion analysis using physiological signals[J].IEEE Transactions onAffective Computing,2012,3(1):18-31.

[2]Frantzidis C A,Bratsas C,Klados M A,et al.On the classification of emotional bio signals evoked while viewing affective pictures:an integrated data-mining based approach for healthcare applications[J].IEEE Transactions on Information Technology in Biomedicine:Special Section on Affective and Pervasive Computing for Healthcare,2010,14 (2):309-318.

[3]Kim M K,Kim M,Oh E,et al.A review on the computational methods for emotional state estimation from the human EEG[J].Computational and Mathematical Methods in Medicine,2013:573734.

[4]Filipovic S R,Andreassi J L.Psychophysiology:human behavior and physiological response[J].International Journal of Psychophysiology,2001,15(3):210-212.

[5]Eimer M,Holmes A.An ERP study in the time course of emotional face processing[J].NeuroReport,2002,13(4): 427-431.

[6]Lin Yuanpin,Wang Chihong,Jung T P,et al.EEG-based emotion recognition in music listening[J].IEEE Transactions on Biomedical Engineering,2010,57(7):1798-1806.

[7]Frantzidis C A,Bratsas C,Klados M A,et al.On the classi-fication of emotional biosignals evoked while viewing affective pictures:an integrated data-mining-based approach for healthcare applications[J].IEEE Transactions on Information Technology in Biomedicine,2010,14(2):309-318.

[8]Scotti S,Mauri M,Barbieri R,et al.Automatic quantitative evaluation of emotions in e-learning applications[C]//Proceedings of the 28th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,New York,Aug 30-Sep 3,2006.Piscataway,USA:IEEE,2006: 1359-1362.

[9]Zhang Qing,Lee M.Ahierarchical positive and negative emotion understanding system based on integrated analysis of visual and brain signals[J].Neurocomputting,2010,73(16/ 18):3264-3272.

[10]Senechal T,Bailly K,Prevost L.Impact of action unit detection in automatic emotion recognition[J].Pattern Analysis andApplications,2014,17(1):57-67.

[11]Murugappan M,Ramachandran N,Sazali Y.Classification of human emotion from EEG using discrete wavelet transform[J].Journal of Biomedical Science and Engineering, 2010,3(4):390-396.

[12]Mcnair D M,Lorr M,Droppleman L F.Mannal for the profile of mood states.EdITS,1971.

[13]Grove J R,Prapavessis H.Preliminary evidence for the reliability and validity of an abbreviated profile of mood states [J].International Journal of Sport Psychology,1992,23(2): 93-109.

[14]Zhu Beili.Brief introduction of POMS scale and its model for China[J].Journal of Tianjin University of Sport,1995, 10(1):35-37.

[15]Huang N E,Shen Zheng,Long S R,et al.The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[M]//Mathematical, Physical and Engineering Sciences.London:The Royal Society,1998:903-995.

[16]Thuraisingham RA,Tran Y,CraigA,et al.Frequency analysis of eyes open and eyes closed EEG signals using the Hilbert-Huang transform[C]//Proceedings of the 34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,San Diego,USA,Aug 28-Sep 1, 2012.Piscataway,USA:IEEE,2012:2865-2868.

[17]Chai R,Ling S,Hunter G P,et al.Toward fewer EEG channels and better feature extractor of non-motor imagery mental tasks classification for a wheelchair thought controller [C]//Proceedings of the 34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,San Diego,USA,Aug 28-Sep 1,2012.Piscataway, USA:IEEE,2012:5266-5269.

附中文參考文獻：

[14]祝蓓里.POMS量表及簡式中國常模簡介[J].天津體育學院學報,1995,10(1):35-37.

CHEN Meng was born in 1988.He is an M.S.candidate at Beijing University of Technology.His research interests include brain informatics,signal processing and data mining.

陳萌（1988—），男，河南鄭州人，北京工業大學碩士研究生，主要研究領域為腦信息，信號處理，數據挖掘。

LI Youjun was born in 1978.He received the M.S.degree in computer application technology from North China University of Technology in 2009.Now he is working toward the Ph.D.degree at International WIC Institute,Beijing University of Technology.His research interests include machine learning,data mining and pattern recognition.

李幼軍（1978—），男，河南洛陽人，2009年于北方工業大學計算機應用專業獲得碩士學位，現于北京工業大學WIC研究院攻讀博士學位，主要研究領域為機器學習，數據挖掘，模式識別。

LIU Yan was born in 1989.He is an M.S.candidate at Beijing University of Technology.His research interests include brain informatics,signal processing and data mining.

劉巖（1989—），男，河北石家莊人，北京工業大學碩士研究生，主要研究領域為腦信息，信號處理，數據挖掘。

Analysis of Correlation Between EEG Signal and Personal Emotional State*

CHEN Meng+,LI Youjun,LIU Yan
College of Electronic Information&Control Engineering,Beijing University of Technology,Beijing 100124,China

+Corresponding author:E-mail:Chenmeng0527@126.com

CHEN Meng,LI Youjun,LIU Yan.Analysis of correlation between EEG signal and personal emotional state. Journal of Frontiers of Computer Science and Technology,2017,11(5)：794-801.

People's emotion is a kind of comprehensive state whether objective things meet people own needs is closely associated with the physiological signal.The subjects POMS(profile of moods states)scales and the EEG (electroencephalogram)signals of resting state at the same period are collected to study the correlation between them.Wavelet transform is used to preprocess the original EEG signal.EMD(empirical mode decomposition)method is adopted to decompose the denoised EEG into IMFs(intrinsic mode functions).Volatility index is extracted from the IMFs as a feature.The EEG features and POMS scales are analyzed by Pearson correlation analysis.The POMS scale and EEG signals are recorded and analyzed in 8 subjects for a period of 7 days.The experiment shows that there exists a strong correlation between the EEG signal and the related components of the personal emotion state.

profile of moods states(POMS)scale;electroencephalogram(EEG);empirical mode decomposition (EMD);Pearson correlation analysis

10.3778/j.issn.1673-9418.1603055

A

TP183

*The National Basic Research Program of China under Grant No.2014CB744600(國家重點基礎研究發展計劃(973計劃)).

Received 2016-03,Accepted 2016-05.

CNKI網絡優先出版:2016-05-13,http://www.cnki.net/kcms/detail/11.5602.TP.20160513.1434.008.html