視覺刺激情感變化β波同步分析

陳志華，蘇 雅

(大連交通大學(xué) 軟件學(xué)院，遼寧 大連 116052)*

0 引言

如今，腦電信號廣泛應(yīng)用于情感識別研究領(lǐng)域.英國倫敦大學(xué)的Eimer和Holmes使用分別帶有驚恐和中性表情的人臉圖片作為視覺刺激并利用事件相關(guān)電位來找出驚恐情感和中性情感間的差異［1］.美國休斯頓大學(xué)的 Zouridakis等人通過過濾將原始腦電信號映射到常見的五個(gè)頻帶上，再分別求出五個(gè)頻帶所對應(yīng)的頻帶能量，以此作為腦電特征進(jìn)行情感識別［2］.Frantzidis等人以圖片作為視覺刺激對測試者進(jìn)行試驗(yàn)，他們將所得到的數(shù)據(jù)分為心情愉悅和心情低落，高興奮度和低興奮度，并利用馬氏距離分類法進(jìn)行情感分類，具有很高的分類精度［3］.雖然對情感分析的方法種類有許多［4-8］，但通過事件相關(guān)去同步化/同步化方法研究情感識別的研究還有待深入，并且本研究在實(shí)現(xiàn)了當(dāng)左右腦對應(yīng)區(qū)域均為活動(dòng)狀態(tài)時(shí)，通過左右腦系數(shù)差值百分比判斷哪一個(gè)區(qū)域活動(dòng)較為劇烈的功能.

1 預(yù)備知識

當(dāng)大腦皮質(zhì)某區(qū)域受到感官、動(dòng)作指令或想象運(yùn)動(dòng)等刺激而開始激活時(shí)，該區(qū)域的代謝和血流增加，同時(shí)進(jìn)行信息加工可以導(dǎo)致相應(yīng)頻段的腦電信號振蕩的幅度減低或者阻滯，這種電生理現(xiàn)象稱作事件相關(guān)去同步化(ERD)［9-10］.大腦在靜息或惰性狀態(tài)下表現(xiàn)出明顯波幅增高的電活動(dòng)，將其稱為事件相關(guān)同步化(ERS)［11-12］.ERD/ERS具有頻段特異性:大腦振蕩的活動(dòng)頻率范圍波動(dòng)較大，這些頻率常被分為以下頻段:delta(＜4Hz)，theta(4 ～7 Hz)，alpha(8 ～12 Hz)，beta(13～30 Hz)及 gamma頻段(＞30 Hz).Alpha和beta頻段的ERD可作為大腦激活的指標(biāo)，而ERS的出現(xiàn)則表明大腦處于失活狀態(tài)，提示皮質(zhì)區(qū)域恢復(fù)到靜息或惰性狀態(tài)［13］.本研究采用事件相關(guān)去同步化和同步化方法研究過濾后的腦電信號.現(xiàn)有常用的ERD/ERS分析方法主要有時(shí)頻圖譜法(TFS)，功率譜密度(PSD)曲線法，ERD/ERS系數(shù)法，腦地形圖法，功率譜嫡分析法，小波嫡分析法等［14-15］.本文將主要介紹ERD/ERS系數(shù)法.

2 方法

在介紹ERD/ERS系數(shù)法之前必須先引入另外兩個(gè)概念:短時(shí)傅里葉變換(Short Time Fourier Transform，STFT)和功率譜密度(Power Spectral Density，PSD).

2.1 短時(shí)傅里葉變換

一般情況下，ERD/ERS的發(fā)生是與特定時(shí)間段的特定頻段相關(guān)的，使用可以同時(shí)提取時(shí)域與頻域信息的時(shí)頻分析方法是更符合實(shí)際情況的選擇.因此基于短時(shí)傅里葉變換的時(shí)頻圖譜和功率譜密度法常用在誘發(fā)腦電信號的分析中.短時(shí)傅里葉變換的公式如下:

公式涵義:在時(shí)域用窗函數(shù)去截信號，對截下來的局部信號作傅里葉變換，即在t時(shí)刻該段信號的傅里葉變換，不斷地移動(dòng)t，即不斷地移動(dòng)窗函數(shù)的中心位置，即可得到不同時(shí)刻的傅里葉變換，這些傅里葉變換的集合，既是Sx(ω，t).

2.2 功率譜密度

定義:當(dāng)波的頻譜密度乘以一個(gè)適當(dāng)?shù)南禂?shù)后將得到每單位頻率波攜帶的功率，這被稱為信號的功率譜密度.功率譜密度(PSD)同樣是基于短時(shí)傅里葉變換(STFT)其具體公式如下:

2.3 ERD/ERS 系數(shù)

ERD/ERS系數(shù)的計(jì)算公式如下:

其中，tR為參考時(shí)間，tA為測試時(shí)間，在本次研究實(shí)驗(yàn)中用當(dāng)前選定的時(shí)間段作為參考時(shí)間，而間隔0.1 s的后一個(gè)時(shí)間段作為測試時(shí)間.

2.4 研究方法

整個(gè)實(shí)驗(yàn)ERD/ERS判斷方法(ERD/ERS系數(shù)零一法):將原始腦電數(shù)據(jù)過濾為腦電極為Fp2(右前額)、Fp1(左前額)、C4(右腦中央?yún)^(qū)域)、C3(左腦中央?yún)^(qū)域)為四個(gè)電極，beta頻帶(14，18，22，26和30 Hz)的腦電波數(shù)據(jù).設(shè)定時(shí)間段的時(shí)間長度為0.4 s，時(shí)間間隔為0.1 s，依次提取十一個(gè)時(shí)間段的腦電數(shù)據(jù)，計(jì)算十個(gè)事件相關(guān)去同步/同步系數(shù).將計(jì)算得到的同步去同步系數(shù)大于0的值(表示同步)均標(biāo)記為1，小于0的值(表示去同步)均標(biāo)記為0，將10個(gè)數(shù)相加，若所得結(jié)果大于7則表明同步現(xiàn)象明顯，小于3則表明去同步現(xiàn)象明顯.

當(dāng)左右腦對應(yīng)區(qū)域均為ERD時(shí)，可以通過比較左右腦參考時(shí)間和測試時(shí)間功率譜差值的絕對值大小比較活動(dòng)強(qiáng)度.絕對值較大的代表能量下降多即活動(dòng)強(qiáng)度大.比較Fp2和Fp1，C4和C3腦電極十個(gè)時(shí)間段參考時(shí)間和測試時(shí)間功率譜差值的絕對值大小，若Fp2值大于Fp1，證明Fp2區(qū)域能量下降的多，即活動(dòng)強(qiáng)烈，C4，C3同理.

3 實(shí)驗(yàn)

3.1 測試者

所有測試者均為在校大學(xué)生，年齡在20～25歲之間，25名男性，10名女性.

3.2 實(shí)驗(yàn)準(zhǔn)備

安裝了如下電極:Fp1、Fpz、Fp2、C3、C4、F7、F8、Fz、C3、C4、T3、T4、Cz、P3、P4、T5、T6、Pz、O1、O2、Oz，奇數(shù)表示大腦左側(cè)，偶數(shù)表示大腦右側(cè)，F(xiàn)pz、Fz、Cz、Pz、Oz 表示大腦中軸，兩個(gè)耳垂電極A1、A2及Z作為參考電極，并要求有地線接地.腦電極的具體位置根據(jù)Neurofax EEG-9100K(NKC，Japan)的國際電極位置系統(tǒng)的標(biāo)準(zhǔn).采樣頻率設(shè)為1 000 Hz.

3.3 實(shí)驗(yàn)步驟

第一步，讓實(shí)驗(yàn)受試者保持放松閉眼，并記錄其腦電波，時(shí)間大約120 s，此過程的最大目的是為了讓實(shí)驗(yàn)參與者能處于相當(dāng)比較平和的狀態(tài);

第二步，讓受試者睜眼，給予高興圖片視覺刺激，引起其情感變化，并記錄其腦電圖;

第三步，讓受試者閉眼放松約120 s，再給予不高興圖片視覺刺激，引起其情感變化，并記錄腦電圖.

4 結(jié)果

計(jì)算測試者分別在頻段為 14、18、22、26、30Hz時(shí)，F(xiàn)p2、Fp1、C4、C3 四個(gè)腦電極上，十個(gè)時(shí)間段的ERD/ERS系數(shù).其具體的數(shù)據(jù)和圖形情況，以某測試者為例，如表1和圖1.

表1表示 beta波14 Hz，視覺刺激為高興時(shí)，某測試者在各電極各時(shí)間段的ERD/ERS系數(shù).每行表示14 Hz時(shí)，每個(gè)時(shí)間段的上各電極的ERD/ERS系數(shù)，每一列表示特定電極上各時(shí)間段的ERD/ERS系數(shù).

圖1第一行表示視覺刺激為高興時(shí)5個(gè)beta頻段上特定電極的ERD/ERS系數(shù)圖，每子圖的橫坐標(biāo)表示時(shí)間段，縱坐標(biāo)表示ERD/ERS系數(shù)最大上限和最小下限.第二行表示視覺刺激為不高興時(shí)5個(gè)beta頻段上特定電極的ERD/ERS系數(shù)圖.

表1 某測試者在各電極各時(shí)間段的ERD/ERS系數(shù)

圖1 某測試者兩次實(shí)驗(yàn)beta頻段各電極的ERD/ERDS系數(shù)圖

根據(jù)ERD/ERS系數(shù)零一法，分別計(jì)算所有男性和女性在視覺刺激時(shí)，beta頻段，各電極上的ERD/ERS系數(shù)零一值和的平均值來判斷其大腦活動(dòng)狀態(tài)，其具體內(nèi)容如表2所示.

表2 男性、女性視覺刺激ERD/ERS數(shù)據(jù)表

由表2可知，視覺刺激為高興時(shí)，男性電極Fp2，F(xiàn)p1和C3均變現(xiàn)為ERD，C4表現(xiàn)為ERS;視覺刺激為不高興時(shí)，男性的Fp2和Fp1，C3和C4均表現(xiàn)為ERD，可以推斷出男性對高興和不高興的視覺刺激反應(yīng)均比較明顯.視覺刺激為高興時(shí)，女性電極Fp2，F(xiàn)p1和C3均變現(xiàn)為ERD，C4表現(xiàn)為ERS;視覺刺激為不高興時(shí)，女性的Fp2，F(xiàn)p1，C3和C4均表現(xiàn)為ERS，可以推斷出女性只對高興的視覺刺激明顯.

當(dāng)左右腦對應(yīng)電極均表現(xiàn)為ERD時(shí)，即男性:高興刺激時(shí)的Fp2和Fp1電極，不高興刺激時(shí)的Fp2和Fp1電極，C4和C3電極;女性:高興刺激時(shí)的Fp2和Fp1電極.比較功率譜差值絕對值，來判斷大腦活動(dòng)的強(qiáng)度，得出結(jié)果:視覺刺激為高興時(shí)，男性Fp1上的譜密度差值較大，即左前額區(qū)域活動(dòng)較為強(qiáng)烈;視覺刺激為不高興時(shí)，男性Fp2和C4上譜密度差值較大，即右額區(qū)域和右腦中央?yún)^(qū)域活動(dòng)較為強(qiáng)烈，而女性Fp2上的譜密度差值較大，即右前額區(qū)域活動(dòng)較為強(qiáng)烈.

5 結(jié)論

為了研究由視覺刺激產(chǎn)生的情感變化時(shí)大腦的活動(dòng)狀態(tài)，本文采用了ERD/ERS系數(shù)零一法通過特定時(shí)間段細(xì)化研究受刺激階段的腦電信號，保證了狀態(tài)檢測的準(zhǔn)確信，充分發(fā)揮ERD/ERS系數(shù)的定量性的特點(diǎn)，并在此基礎(chǔ)上研究了左右腦均活動(dòng)時(shí)的強(qiáng)烈程度.本文結(jié)論對不同性別針對不同情感的情感識別有一定參考價(jià)值.

［1］EIMER MARTIN，HOLMES AMANDA.An ERP study on the time course of emotional face processing.［J］.NeuroReport，2002，13(4):1-5.

［2］EIMER M，HOLMES A.Event-related brain potential correlates of emotional face processing［J］.Neuropsychologia，2007，45(1):15-31.

［3］ZOURIDAKIS G，PATIDAR U，PADHYE N S，et al.Spectral power of brain activity associated with emotion-a pilot MEG study［C］//17th International Conference On Biomagnetism Advances in Biomagnetism-BIOMAG2010，IFMBE Proceedings. Dubrovnik， Croatia:Springer，2010:354-357.

［4］LUZHENG BI，XIN’AN FAN.Emotion recognition from EEG based on Bayesian Networks［J］.Energy Procedia，2011(11):278-285.

［5］PETRANTONAKIS PANAGIOTIS C，HADJILEONTIADIS LEONTIOS J.Emotion recognition from EEG using higher order crossings.［J］.IEEE transactions on information technology in biomedicine:a publication of the IEEE Engineering in Medicine and Biology Society，2009，142:97-186.

［6］THIBAUD SENECHAL，KEVIN BAILLY，LIONEL PREVOST.Impact of action unit detection in automatic emotion recognition［J］.Pattern Analysis and Applications，2014，17(1):57-67.

［7］YAACOB SAZALI，NAGARAJAN RAMACHANDRAN，MURUGAPPAN MURUGAPPAN.Classification of human emotion from EEG using discrete wavelet transform［J］.Journal of Biomedical Science and Engineering，2010，3(4):390-396.

［8］陳曾.腦電信號在情感識別中的研究［D］.重慶:西南大學(xué)，2010.

［9］PFURTSCHELLER G，ARANIBAR A.Event-related cortical desynchronization detected by power measurements of scalp EEG［J］.Electroencephalogr Clin Neu-rophysiol，1977，42:817-826.

［10］聶聃.基于腦電的情感識別［D］.上海:上海交通大學(xué)，2012.

［11］PFURTSCHELLER G.Event-related synchronization(ERS):an electrophysiological correlate of cortical areas at rest.［J］.Electroencephalography and clinical neurophysiology，1992，831:9-62.

［12］莊平.腦電事件相關(guān)去同步化和同步化活動(dòng)與運(yùn)動(dòng)相關(guān)性作業(yè)［J］.中國臨床康復(fù)，2004(1):152-154.

［13］JAIME A，PINEDA.The functional significance of mu rhythms:Translating“seeing”and“hearing”into“doing”［J］.Brain Research Reviews，2005，50(1):57-68.

［14］REKTOR I，Sochu。rkováD，BocˇkováM. Intracerebral ERD/ERS in voluntary movement and in cognitive visuomotor task［J］.Progress in Brain Research，2006，159:311-330.

［15］王麗佳.基于BCI多動(dòng)作模式的ERD/ERS信號分析及識別方法的研究［D］.南昌:南昌大學(xué)，2010.