語音情緒變化內隱加工的神經生理機制*

2013-02-03 01:45:11陳煦海楊曉虹楊玉芳

心理學報 2013年4期

陳煦海楊曉虹楊玉芳

(1陜西省行為與認知心理學重點實驗室,陜西師范大學心理學院,西安 710062)(2腦與認知國家重點實驗室,中國科學院心理研究所,北京 100101)

1 導言

口頭語言表現情緒主要有兩種手段：“說什么”和“怎么說”。前者指語義傳達的情緒內容;后者則指依靠語音的音高、語速、響度和音質等聲學特征的不同組合所表達的情緒,稱作語音情緒(Banse&Scherer,1996)。在交流中,人們更多依靠語音來判斷他人的情緒(Dietrich,Ackermann,Szameitat,&Alter,2006)。語音情緒變化是生活中常見的現象,也是凸顯情緒的重要手段(Paulmann,Jessen,&Kotz,2012;Paulmann,Pell,&Kotz,2008),人腦能敏感地識別語音情緒的變化并有效加工,但人們對語音情緒變化加工的神經生理機制還知之甚少。因此,本研究擬運用腦電技術探索語音情緒變化加工的神經生理機制。

盡管語音情緒變化加工機制的研究還不多見,但聽覺刺激變化加工的研究卻頗為豐富。聽覺刺激在時間維度延伸,導致預期式加工是聽覺加工的重要特征(Winkler,Denham,&Nelken,2009),即聽者會根據已聽到的刺激對即將出現的刺激形成預期,并將后來的刺激與預期相對比,二者相符則順利整合,不相符則造成期待違反,形成變化檢測與再整合的過程。對這一機制研究最多的是oddball范式,大概率呈現標準刺激讓被試提取規則形成預期,小概率呈現偏差刺激與預期違反。大量研究發現人腦能夠迅速檢測這種聽覺刺激的變化,在自動加工時偏差刺激誘發MMN(N??t?nen,2007),主動加工時誘發N2/P3復合成分(Polich,2007;Polich&Kok,1995)。連續性聲音刺激的變化加工也表現出相似的機制。如連續語流中,后續語音與前文句法違反誘發ELAN和P600(Hahne&Jescheniak,2001),而音韻違反誘發PMN(D'Arcy,Connolly,Service,Hawco,&Houlihan,2004;Newman,Connolly,&Mcivor,2003)。音樂旋律中某個音符的音高違反或句法違反也可誘發早期負波ERAN和晚正成分P300(Magne,Schon,&Besson,2006;Sch?n,Magne,&Besson,2004)。與語言和音樂相似,語音情緒也是依靠聲音為載體,在時間維度展開,并且擁有某種固有的發展趨勢,人們可能根據已聽刺激對即將聽到的刺激形成預期,表現出預期加工的特點。

已有一些研究運用語音情緒變化來考察語音情緒加工的時間進程(江愛世等,2009)。一些研究沿用oddball范式,分別用攜帶不同情緒的聲音為標準刺激和偏差刺激,結果發現語音情緒偏差刺激在自動加工中誘發MMN,但峰值潛伏期不一(Bostanov&Kotchoubey,2004;Goydke,Altenmüler,M?ller,&M?nte,2004;Th?nnessen et al.,2010),而在主動加工時則誘發P300(Thierry&Roberts,2007;Wambacq,Shea-Miller,&Abubakr,2004)。另一些研究則用語句情緒韻律為材料,Kotz和Paulmann(2007)在語句中交互拼接構建情緒變化,形成語音情緒發展模式的期待違反,發現語句中情緒韻律的變化誘發潛伏期約為350 ms的正成分—— 韻律期待違反正波(prosodic expectancy positivity,PEP)。他們隨后的研究證明該成分不受情緒類別、注意資源投入程度的影響(Paulmann et al.,2012;Paulmann&Kotz,2008),且在基底節受損的患者中仍然存在(Paulmann et al.,2008)。最近Chen 等人(2011)發現人腦對情緒韻律期待違反的識別可能更早,表現為早期負波類N200,然后是反映對違反再加工并整合的正成分PEP及LPC,且這些成分會受任務要求和違反特征的調制。顯然,這些研究以情緒變化為手段對語音情緒加工進行了很好的探索,但其焦點在語音情緒,未把語音情緒變化本身作為一種現象予以關注。

上述有關聲音變化的電生理研究都僅從時域考察變化誘發的事件相關電位(ERP)并推測其背后的認知機制。然而,在鎖時又鎖相的ERP數據之外,對腦電(EEG)數據進行頻域的神經振蕩分析(event related oscillations,ERO),具體離析各個頻段能量變化(事件相關攝動,event related spectral power,ERSP)和相位變化特征(試次間相位相干系數,inter-trial coherence,ITC),能從神經活動的層面說明語音情緒加工的神經生理機制(Delorme&Makeig,2004)。已有研究證明不同頻段的神經振蕩往往和不同的認知活動相關,一般認為低頻振蕩(theta和alpha頻段)和大范圍的神經活動相關,而高頻(如gamma頻段)振蕩和局部的神經活動相關(Ba?ar,Ba?ar-Eroglu,Karaka?,&Schürmann,2001;Pfurtscheller&da Silva,1999)。在與本研究內容相關的一些研究中,Fuentemilla等人(2008)發現前中部分布聽覺MMN主要源于偏差刺激theta能量的增加以及試次間相位同步性增加,而乳突記錄到的顳區MMN則只源于試次間相位同步性增加。另外,Yordanova等(1998)則發現theta能量增加是時域P300成分的主要貢獻者。事實上,對獎賞預期的違反也導致theta頻段的能量增強(Cavanagh,Frank,Klein,&Allen,2010;Tzur&Berger,2007),且theta能量增加值和期待違反的凸顯性有線性關系(Chen,Yang,Gan,&Yang,2012;Tzur&Berger,2007)。因此,基于如上一些神經振蕩理論和研究事實,可以預期,從神經振蕩特征的角度深入分析語音情緒變化的腦電數據可能進一步揭示語音情緒加工的神經生理機制。

綜上所述,當前有關語音情緒的研究僅以變化為手段來考察語音情緒的加工特點,未曾把語音情緒變化本身作為一個現象來研究,而且已有的電生理研究都只做時域ERP分析,沒有揭示語音情緒變化加工在頻域的神經振蕩機制。因此,本研究擬將語音情緒變化作為關注的焦點,記錄被試加工語音情緒變化的腦電,從時域和頻域挖掘腦電數據,進一步揭示語音情緒加工的神經生理機制。本研究沿用交互拼接的方法(Chen et al.,2011;Kotz&Paulmann,2007)構建語句情緒韻律的變化,同時將凸顯程度不同的兩種變化模式(中性到憤怒,憤怒到中性)納入考察范圍,然后讓被試完成與情緒變化無關的語音判斷任務,以期回答如下問題：情緒無關任務條件下語音情緒變化加工時域和頻域的神經生理機制是怎樣的？語音情緒的變化模式對這些機制有什么影響？本研究預期在完成情緒無關任務時,語音情緒變化仍能誘發反應期待違反與整合的ERP成分,且受變化模式的調控;另外,這種變化加工可能和theta能量的增加以及相位同步性變化相關。

2 方法

2.1 被試

在校大學生15名,其中女生7名,年齡在20至26歲之間,平均21.45歲。所有被試均為漢語母語的右利手者,身體健康,沒有情感或精神障礙。所有被試均自愿參加實驗并獲得適量報酬,正式實驗前簽署知情同意書。其中一名被試的數據因為偽跡太多而剔除。

2.2 實驗材料

以50個長度均為12個音節的句子為文字材料(例子見圖1)。所有語句均描述一個客觀事實,不含情緒詞。請30位大學二年級學生就語句的情緒效價評分(1到7點liket評分,7為表現了積極情緒,1為表現了消極情緒,4為沒有表現明顯情緒),結果50個語句的得分均在3.83到4.97之間,平均4.3,標準差0.37。請一名有專業表演經驗的男演員用中性和憤怒情緒錄制所有語句,采樣率為22050 Hz。用Praat軟件(Boersma&Weenink,2006)對所有語句完成的聲學分析表明：與經典情緒韻律聲學特征的研究結果一致(Banse&Scherer,1996),相對于中性韻律,憤怒的情緒音高更高(197 Hz vs.132 Hz,

(49)=28.12,

<0.001),強度更強(70 dB vs.63 dB,

(49)=23.18,

<0.001),語速更快(206 ms vs.216 ms/字,

(49)=5.43,

<0.01),見圖1B。另請8名被試就所有語句韻律情緒進行歸類,被試區分兩種韻律的正確率接近100%。用交互拼接法將原始材料制作成包含情緒變化的新語句：中性—憤怒、憤怒—中性,拼接模式見圖1-A。為了避免被試就發生拼接的位置形成固定預期,分別在第五和第九個音節上拼接。共200個語句(兩種包含情緒變化的語句和兩種沒有情緒變化的控制語句)作為刺激材料呈現給被試。

2.3 實驗程序

所有材料隨機分為5個block,每個block 40句,含“aa”,“nn”,“an”,“na”各10 句,以等概率、偽隨機順序用耳機呈現給被試,確保同一類別刺激不會連續呈現3次。實驗在隔音的小房間進行,被試端坐在電腦屏幕前115 cm。先呈現注視點“+”300 ms,接著注視點變成紅色,耳機呈現語句韻律,聽覺呈現完畢即呈現問號要求被試判斷整個句子聲音大小是否有變化,被試雙手按鍵盤上的“F、J”反應,F、J鍵代表的含義和反應手在被試間平衡。在整個句子呈現過程中,要求被試盯著注視點并減少眨眼和頭動。判斷完畢后間隔1500 ms進入下一個trial。在正式實驗前給被試數次練習以熟悉實驗程序。

2.4 數據記錄與分析

用NeuroScan公司放大器及64導電極帽記錄腦電信號Electroencephalogram(EEG),采樣率500 Hz,帶寬0.05至100 Hz,左側乳突在線參考,離線分析時從各導聯的腦電數據中減去雙側乳突的平均數作再參考。垂直眼電通過左眼上下電極記錄,水平眼電通過兩只眼睛外周約1 cm處電極記錄。GND電極作為接地,所有電極的阻抗小于5千歐。

圖1 實驗材料示意圖。A：例句及拼接。紅色和綠色分別代表憤怒和中性情緒的句子,在第五和第九個音節上對兩種韻律進行拼接,形成具有情緒變化的韻律“an”和“na”。B：語句韻律拼接后的聲學特征,中性到憤怒變化的韻律在拼接點處音強、基頻增高,語速增快,而憤怒到中性韻律聲學特征相反。(縮寫：aa——全憤怒;an—— 憤怒-中性;nn——全中性;na——中性-憤怒;請下載電子版查看彩圖,下同。)

首先用NeuroScan 4.3軟件對數據進行預處理,包括去除眼電,去除極端偽跡數據。然后截取關鍵點(拼接處)之前1000 ms和之后2000 ms的數據存為EEG數據,剔除判斷不正確以及偽跡污染嚴重的trial(電位超過±90 μV),每個條件平均約40個trial進入最終的時域ERP分析和頻域ERSP和ITC分析。ERP分析中,首先以句子呈現前200 ms做基線校正,然后以違反點前200 ms為基線再做矯正,再分條件平均得到各個被試四種韻律誘發的ERP,導出關鍵時間窗的數據進行統計分析,平均所有被試各條件下的ERP得到總平均圖,本文只呈現關鍵點前200 ms到關鍵點后1000 ms的數據?；趯偲骄鶊D的觀察和初步分析,選取如下時間窗作為我們的興趣窗口：130～230 ms(N2),250～450 ms(早正成分)和450～900 ms(晚正成分LPC)。

運用EEGLAB工具箱對EEG數據進行ERO分析。該分析用正弦小波與時域數據卷積,隨著頻率升高小波周期也升高(Delorme&Makeig,2004),先進行單試次分析,然后再進行多個試次的平均,最終獲得各個條件下的ERSP和ITC。然后以關鍵點前200 ms為基線對關鍵點后的ERSP和ITC進行校正。本實驗分段的數據包括關鍵點之前1000 ms和之后2000 ms,保證感興趣的時間段(-200至1000 ms)在頻域處理后不被遺失。為了簡明起見,ERSP和ITC數據都只選擇Cz點作頻譜圖,有差異的頻段和時程內的全腦數據做地形分布圖,見圖5。

然后以變化(CHANGE：有情緒變化 vs.無情緒變化)和關鍵韻律類型TYPE：憤怒vs.中性)為被試內因素對正確率數據做重復測量方差分析。以CHANGE、TYPE和電極點(ELECTRODE：F5,FZ,F6,C5,CZ,C6,P5,PZ,P6,前中后和左中右各取一個電極)為被試內因素對ERP數據做重復測量方差分析。ERSP和ITC數據先用EEGLAB工具箱導出統計差異圖,找到有顯著差異的頻段和時間窗,然后導出該范圍的數據做統計分析(因素設置跟ERP數據相同)。當自由度分子大于1時,

值都進行Greenhouse-Geisser校正,

值進行 Bonferroni校正。

3 結果

3.1 行為結果

被試對四種韻律反應的正確率都約為90%(見圖 2)。兩因素(CHANGE×TYPE)的重復測量方差分析表明幾種韻律彼此之間沒有顯著差異[CHANGE:

(1,13)=0.02,

=0.90;TYPE:

(1,13)=0.71,

=0.42;CHANGE×TYPE:

(1,13)=2.23,

=0.16]。由于實驗中被試在語句呈現完成后再做反應,反應時數據有不同延遲,故未作分析。

圖2 對四種韻律判斷的正確率(M±SE)。

3.2 ERP結果

四種韻律誘發的ERP總平均圖見圖3。包含情緒變化的韻律(na和an)相對于無變化的韻律(aa和nn)都誘發前中部分布的更大波幅的N2,“na”韻律誘發N2的潛伏期相對較早。100 ms到300 ms峰值潛伏期分析驗證了這一點,在中線:Fz,Cz,Pz,兩種韻律變化誘發負波峰值潛伏期分別為171 ms、206 ms,

(13)=5.02

<0.001。在該負成分之后,包含情緒變化的韻律誘發了更大波幅的正飄移。下文分時間窗做具體分析。

3.2.1 N2分析(130～230 ms)

N2平均波幅的重復測量方差分析發現顯著的ELECTRODE 效應[

(8,104)=4.08,

<0.05,

=0.24]和CHANGE 效應[

(1,13)=9.51,

<0.01,

=0.42],其他主效應和交互作用均不顯著。兩兩比較表明,有情緒變化的韻律誘發N2波幅更大,右中前部F6、C6電極N2波幅相對較大,而后部電極P5、P6、PZ的N2波幅相對較小(見圖3B地形圖)。

3.2.2 早正波分析(250～450 ms)

該時間窗的重復測量方差分析發現顯著的ELECTRODE 主效應,

(8,104)=5.20,

<0.01,

=0.29,事后比較發現中部電極的ERP相對雙側電極顯著更正(

<0.01)。還發現顯著的TYPE主效應[

(1,13)=14.19,

<0.01,

=0.52]和CHANGE 主效應[

(1,13)=6.96,

<0.05,

=0.35]。另外CHANGE與TYPE有顯著的交互作用,

(1,13)=28.55,

<0.001,

=0.69。簡單效應分析發現從中性變化到憤怒的韻律相對全無變化憤怒韻律誘發顯著更大的正成分,

(1,13)=21.57,

<0.001;而相對無轉換的中性韻律,“憤怒—中性”韻律在則沒有誘發顯著更大的正成分,

(1,13)=0.08,

=0.778(見圖3 ERP波形圖和地形圖)。

3.2.3 晚正波分析(450～900 ms)

該時間窗的重復測量方差分析發現顯著的ELECTRODE 主效應[

(1,104)=16.91,

<0.001,

=0.57]、CHANGE 主效應[

(1,13)=7.50,

<0.05,

=0.37]以及兩因素的交互作用[

(8,104)=4.80,

<0.01,

=0.27]。簡單效應分析表明變化效應出現在中部和后部電極[C5:

(1,13)=5.07,

<0.05,C6：

(1,13)=3.61,

=0.08,CZ：

(1,13)=9.05,

<0.01,P5:

(1,13)=11.70,

<0.01,P6:

(1,13)=10.40,

<0.01,PZ:

(1,13)=22.92,

<0.001],且后中部電極PZ的幅度值最大(見圖3 ERP波形圖和地形圖)。

圖3 四種韻律誘發的ERP。A：各個條件在中線3個代表性電極點上的ERPs;B：四種韻律誘發ERP在興趣時間窗的地形圖。

3.3 ERO結果

如圖4可見,包含情緒變化的韻律(na和an)相對于無變化的韻律(aa和nn)在theta和beta頻段的能量都有顯著的變化。下文分頻率段做具體分析。

Theta頻段(4～6 Hz)ERSP在200到600 ms較長時程內出現差異,重復測量方差分析表明CHANGE主效應顯著,

(1,13)=11.58,

<0.001,

=0.27,其他條件主效應及交互作用的均不顯著,說明情緒變化相對于無情緒變化的韻律都會引起theta的能量的增加。Theta頻段(4～6 Hz)ITC在0到500 ms時程內出現差異,重復測量方差分析表明CHANGE主效應顯著,

(1,13)=7.84,

<0.05,

=0.38,說明情緒變化相對于無情緒變化的韻律都會引起theta頻段試次間相位一致性性增高。其他條件主效應及交互作用的均不顯著。Beta頻段差異的頻率和時程有較大差別,將兩種變化模式分別分析。從中性到憤怒的韻律選擇CZ和C6兩個電極點,取23到25 Hz在500到700 ms內能量做重復測量方差分析,發現有變化的韻律能量顯著降低,

(13)=7.26,

<0.05,

=0.36。而憤怒到中性的韻律相對無情緒變化的中性韻律beta能量降低主要出現在20～24 Hz的450到700 ms時程內,選擇9個電極做方差分析發現CHANGE主效應邊緣性顯著,

(13)=4.41,

=0.056,

=0.25,進一步分析這種降低主要出現C3、CZ和P5幾個電極。憤怒變化到中性的韻律相對于無情緒變化的中性韻律Beta頻段ITC差異出現在19～21 Hz,300到600 ms的時程內。重復測量方差分析表明CHANGE主效應顯著,

(1,13)=8.65,

<0.001,

=0.40,說明從憤怒到中性變化的韻律在該頻段試次相干性增加。而中性到憤怒相對于無變化的憤怒韻律在C3點24～26Hz頻段內,600至800 ms的時程內ITC顯著增加

(13)=2.38,

<0.05。

圖4 四種韻律誘發的ERSP。方形圖為4種韻律所對應的ERSP,豎虛線對應于韻律中的拼接點,紅色代表能量增加,藍色代表能量降低,單位為分貝。方形圖右側為有、無情緒變化韻律之間有顯著差異的頻段和時程所對應的能量分布地形圖。

4 討論

本研究采用交互拼接技術構建語音情緒變化,記錄被試不關注情緒時語音情緒變化誘發的腦電以考查語音情緒變化加工的神經生理機制,結果發現語音情緒變化誘發反映變化檢測與整合的N2/P3復合成分,同時4～6 Hz的theta能量顯著增加,ITC也顯著提高,而beta頻段能量在有所下降。這些神經生理特征受情緒變化模式的調節,激烈的情緒變化檢測時間早,theta能量和相位變化更強烈。下文對上述結果及意義分別進行討論。

圖5 四種韻律誘發的ITC。方形圖為4種韻律所對應的ITC,豎虛線對應于韻律中的拼接點,紅色代表試次間相關系數增大,綠色代表降低。方形圖右側為有、無情緒變化韻律之間有顯著差異的頻段和時程所對應的ITC分布地形圖。

4.1 語音情緒變化加工的時域特征

當被試不關注情緒變化,僅就情緒韻律的聲學特征完成任務時,語音情緒的變化仍然誘發早期負波加晚正波的復合成分。而且該復合成分的特征受到變化模式的調節,變化越激烈早期負波的潛伏期更早,前中部正成分(類P3a)越明顯。這些結果跟Chen等人(2011;2012)的研究一致,跟Kotz等人(Kotz&Paulmann,2007;Paulmann et al.,2012)的系列研究發現也有相似性,即情緒韻律變化誘發PEP。但是,Kotz等人的研究僅用了中性到情緒性的變化,情緒凸顯性都較高,造成正成分十分明顯,而且他們的研究也只報告了該正成分。問題在于,語音情緒變化的檢測不可能需要300ms以后才被人腦所檢測到,因為這跟oddball范式研究的結果相左(Goydke et al.,2004;Th?nnessen et al.,2010)。因此,結合Chen等人(2011;2012)的研究,本研究認為語音情緒變化誘發的早期負成分(從產生機理、潛伏期和地形圖分布來看,類似于oddball范式中的N200)反應了人腦對語音情緒變化的檢測和對新異刺激的注意。該負成分之后的正成分,包括中性到憤怒條件下的稍早的前中部分布正波以及兩種轉換中均存在的中后部分布的晚正成分LPC,可能反應了對語音情緒變化的再加工以及重新整合。

事實上,這一推斷跟語音和音樂的研究結果相一致。如語句中句法的違反會誘發早期成分ELAN加晚期正成分P600的復合波,Friederici等人(Friederici,2002)曾提出這種組合分別反應了句法違反的檢測和再整合。另外,音樂旋律中個別音符音高的違反形成旋律句法的違反也有類似的發現(Koelsch,2010;Sch?n et al.,2004)。本文關注的語音情緒也是負載于聲音載體之上,表現一種情緒的韻律就有其固有的發展趨勢,讓聽者逐步構建預期,一旦語音情緒發生變化,大腦將迅速檢測到該變化并進行再加工。

這種變化檢測與整合的現象可能具有進化論層面的意義。事實上,語音情緒是比語言更為原始的一種交流信號,在人類和其他物種都廣泛使用。生活中不難發現,人和其他物種都能迅速檢測交際對方語音情緒的變化并采用相應的對策。這種推測得到本研究所觀察到另一現象的支持,即語音情緒變化的激烈程度影響情緒變化引起的ERP成分的特征。當從中性變成憤怒時,N200潛伏期更短,前中部分布的正成分更明顯,而反向變化,情緒變化不夠激烈時,則N200潛伏期稍長,只有反映后期整合的LPC。這再次說明語音情緒變化的加工是一個變化檢測到再整合的過程,變化的模式具有調節作用。

4.2 語音情緒變化加工的頻域特征

時域分析明晰了語音情緒變化加工是變化檢測與再整合的過程,且人腦對此十分敏感。但人腦是靠何種機制迅速檢測這種變化并重新整合？本研究通過對EEG數據的ERSP和ITC分析,對這一問題進行探討。結果表明,語音情緒變化導致了theta頻段(4～6 Hz)ERSP的增加和ITC的增加,theta能量提升發生在變化約200 ms之后,而變化發生之后立即出現ITC的提升。此外語音情緒的變化導致了beta(na:23～25 Hz;an：20～24 Hz)ERSP的降低,還導致了beta(na：24～26 Hz;an：19～21 Hz)頻段ITC增加。

Theta能量和相位變化的結果跟前人研究結果一致。Fuentemilla等人(2008)曾經考察了聽覺MMN的神經生理源,發現前中部分布的MMN主要源于刺激變化引發的theta能量和試次間相位同步性的增加。Yordanova等(1998)發現theta能量增加是時域P300成分的主要貢獻者。另外,其他一些有關規則違反的研究也發現期待違反引起theta頻段的能量增強,能量增幅與違反強度之間存在線性關系(Cavanagh et al.,2010;Tzur&Berger,2007)。將本研究關注的語音情緒變化置于聲音變化研究的大背景之下,可以很容易找到本研究與前人研究的相似性—— 都依靠一些刺激(大概率刺激或連續的同類刺激)來提取規則并形成對即將到來刺激的期待,而隨后刺激違反原有規則發展,構成了期待違反。因此,基于本研究的結果和已有的研究事實,可以推知theta能量的變化和相位特征的改變是語音情緒變化快速檢測并重新整合最主要的神經生理源。

除了theta能量和相位的變化之外,beta頻段的能量和相位在語音情緒變化中也發生了顯著的變化。Beta能量(15～25 Hz)活動被認為和動作控制相關(Pfurtscheller&Lopes da Silva,1999)。而言語相關研究中,beta能量的功能還沒有一致說法,Bastiaansen等人認為16～21 Hz beta能量的降低可能反應了視覺輸入的感知加工(Bastiaansen,van der Linden,Ter Keurs,Dijkstra,&Hagoort,2005),而另有研究則發現13～30 Hz能量下降和短語的結構違反相關,認為該頻段能量降低反映了語法規則違反的加工(Davidson&Indefrey,2007)。最近有研究發現與期待不符的韻律結構也導致beta(20～24 Hz)能量的降低,可能反映了對這種反常韻律結構的再加工(Luo,Zhang,Feng,&Zhou,2010)。本研究中,兩種含有情緒變化的韻律都導致beta能量的顯著降低,而ITC值升高,出現的時間在較晚的400到500 ms之后。這和前人研究結果一致,可能反應了對韻律情緒期待違反的再加工。

和時域的結果相似,語音情緒變化的模式對ERSP和ITC都有影響,不過這種影響并不顯著,僅表現了一種趨勢。這和Chen等人(2012)發現的“情緒變化越激烈,其誘發的能量就越強烈”不完全一致,可能反應內隱加工與外顯加工的差異。beta頻段能量和相位特征在兩種情緒變化中沒有顯著差異。這可能和該頻段主要和對情緒變化的再加工有關,因為在兩種變化模式下,都涉及到對韻律情緒的再加工和重新整合。

4.3 神經震蕩分析對腦機制研究的貢獻

傳統的腦電研究多從時域分析數據,對同質試次疊加后得到ERP,然后根據ERP出現差異的成分推測其后的認知加工過程。ERP的長處在于其高時間精度,對于探討認知過程的時間進程有無可取代的優勢,非常適合回答“when”的問題。但是,認知活動的神經生理基礎在于神經細胞的電活動,神經細胞群的電位能量變化以及相位變化可能才是認知活動的真正基礎(Klimesch,Sauseng,Hanslmayr,Gruber,&Freunberger,2007;Lopes da Silva,2006)。ERP只能就鎖時又鎖相的數據進行分析,會丟掉不同頻段能量變化和相位變化的信息,因而無從回答認知活動是何以實現(how)的問題。如本研究中,若只做ERP分析,可知語音情緒變化誘發N2/P3復合成分,進而推知語音情緒變化加工是變化檢測與整合的過程,但無法回答該過程在神經層面是如何實現的。

神經振蕩分析避免直接的疊加平均,而是對單試次的數據進行小波分析或傅里葉分析,然后再進行多個試次的平均(Delorme&Makeig,2004),最終獲得事件相關的能量變化(ERSP)和相位變化(ITC),能更好地從神經振蕩層面回答認知活動何以實現的問題。如本研究中,語音情緒變化的檢測與整合就是因為神經細胞theta頻段能量和ITC增高,beta能量降低與ITC增加得以實現的,這就更好地回答了語音情緒變化加工的神經生理基礎問題。近年來,從神經振蕩層面考察認知活動何以實現的研究越來越多。除了以病人或動物為被試做顱內記錄,精細地分析單個神經細胞或神經細胞群的能量及相位變化外,還以正常人為被試,運用腦電圖和腦磁圖記錄數據做神經振蕩分析(Luo,Liu,&Poeppel,2010;Mu&Han,2010),以解讀認知活動的神經生理基礎,有力地促進了認知神經科學的發展。

4.4 本研究的局限與未來研究方向

本研究從時域和頻域考察語音情緒變化加工的神經生理機制,提出語音情緒變化加工是變化檢測與再加工整合的過程,該過程主要依靠theta頻段能量和相位變化得以實現。但本研究仍存在一些局限。首先,本研究僅考察中性與憤怒之間情緒變化加工的特點,沒有涉及積極情緒以及不同情緒之間的轉換,因而將本研究的結論推及所有語音情緒變化加工時需要謹慎對待。其次,由于實驗時間限制,本研究僅用了一個錄音人的語音作為實驗材料,也可能限制了本研究的外部效度。另外,本研究雖然嘗試回答了語音情緒變化加工神經生理基礎中“when”和“how”的問題,但由于腦電研究空間分辨率較低,尚不能很好回答“where”的問題,即這種變化加工的腦區及大腦加工網絡。

這些局限都可能是未來研究的方向。首先可以擴展研究的情緒和刺激的多樣性,并且逐步引入更具有生態效度的刺激,提高研究的生態效度。其次,未來的研究還應當進一步推進神經振蕩分析,對不同腦區之間的相干等特性進行深入分析。最后,也可以引入fMRI等研究手段,對語音情緒變化加工的腦區和網絡進行深入探討,進一步揭示語音情緒變化加工的神經生理機制。

5 結論

語音情緒變化的加工是變化檢測與再整合的過程,反映為情緒變化誘發的N2/P3復合成分以及theta和beta頻段能量和試次間相位同步性的變化。語音情緒變化加工是通過theta頻段能量和試次間相位同步性的增加,beta頻段能量的降低和相位一致性增加得以實現的。情緒變化的模式會調控情緒變化加工神經生理特點,變化越激烈,誘發N2/P3復合成分潛伏期越早,theta能量和相位改變也相對強烈。

Banse,R.,&Scherer,K.(1996).Acoustic profiles in vocal emotion expression.

Journal of Personality and Social Psychology,70

(3),614–636.Ba?ar,E.,Ba?ar-Eroglu,C.,Karaka?,S.,&Schürmann,M.(2001).Gamma,alpha,delta,and theta oscillations govern cognitive processes.

International Journal of Psychophysiology,39

(2-3),241–248.Bastiaansen,M.C.,van der Linden,M.,Ter Keurs,M.,Dijkstra,T.,&Hagoort,P.(2005).Theta responses are involved in lexical-semantic retrievalduring language processing.

JournlofCognitive Neuroscience,17

(3),530–541.

Boersma,P.,&Weenink,D.(2006).Praat:Doing phonetics by computer[computer program](Version 4.2).Retrieved July 2006,from http://www.praat.org/.

Bostanov,V.,& Kotchoubey,B.(2004).Recognition of affective prosody:Continuous wavelet measures of eventrelated brain potentials to emotional exclamations.

Psychophysiology,41

(2),259–268.Cavanagh,J.F.,Frank,M.J.,Klein,T.J.,&Allen,J.J.B.(2010).Frontal theta links prediction errors to behavioral adaptation in reinforcement learning.

NeuroImage,49

(4),3198–3209.Chen,X.H.,Yang,J.F.,Gan,S.Z.,&Yang,Y.F.(2012).The contribution of sound intensity in vocal emotion perception:Behavioral and electrophysiological evidence.

PLoS One,7

(1),e30278.Chen,X.H.,Zhao,L.,Jiang,A.S.,&Yang,Y.F.(2011).Event-related potential correlates of the expectancy violation effectduring emotionalprosody processing.

Biological Psychology,86

(3),158–167.D'Arcy,R.,Connolly,J.,Service,E.,Hawco,C.,&Houlihan,M.(2004).Separating phonological and semantic processing in auditory sentence processing:A highresolution event-related brain potential study.

Human Brain Mapping,22

(1),40–51.Davidson,D.J.,&Indefrey,P.(2007).An inverse relation between event-related and time-frequency violation responses in sentence processing.

Brain Research,1158

,81–92.Delorme,A.,&Makeig,S.(2004).EEGLAB:An open source toolbox for analysis of single-trial EEG dynamics including independent component analysis.

Journal of Neuroscience Methods,134

(1),9–21.Dietrich,S.,Ackermann,H.,Szameitat,D.,&Alter,K.(2006).Psychoacoustic studies on the processing of vocal interjections:How to disentangle lexical and prosodic information?

Progress in Brain Research,156

,295.Friederici,A.D.(2002).Towards a neural basis of auditory sentence processing.

Trends in Cognitive Sciences,6

(2),78–84.Fuentemilla,L.,Marco-Pallarés,J.,Münte,T.F.,&Grau,C.(2008).Theta EEG oscillatory activity and auditory change detection.

Brain Research,1220

(1),93–101.Goydke,K.N.,Altenmüler,E.,M?ller,J.,&M?nte,T.F.(2004).Changes in emotional tone and instrumental timbre are reflected by the mismatch negativity.

Cognitive Brain Research,21

(3),351–359.Hahne,A.,&Jescheniak,J.D.(2001).What's left if the Jabberwock gets the semantics?An ERP investigation into semantic and syntactic processes during auditory sentence comprehension.

Cognitive Brain Research,11

(2),199–212.Jiang,A.S.,Chen,X.H.,&Yang,Y.F.(2009).The time course of verbal emotional prosody processing.

Advances in Psychological Science,17

(6),1109–1115.[江愛世,陳煦海,楊玉芳.(2009).言語情緒韻律加工的時間進程.

心理科學進展,17

(6),1109–1115.]Klimesch,W.,Sauseng,P.,Hanslmayr,S.,Gruber,W.,&Freunberger,R.(2007).Event-related phase reorganization may explain evoked neural dynamics.

Neuroscience and Biobehavioral Reviews,31

(7),1003–1016.Koelsch,S.(2010).Towards a neural basis of music-evoked emotions.

Trends in Cognitive Sciences,14

(3),131–137.Kotz,S.A.,&Paulmann,S.(2007).When emotional prosody and semantics dance cheek to cheek:ERP evidence.

Brain Research,1151

(2),107–118.Lopes da Silva,F.H.(2006).Event-related neural activities:What about phase?

Progress in Brain Research,159

,3–17.Luo,H.,Liu,Z.,&Poeppel,D.(2010).Auditory cortex tracks both auditory and visual stimulus dynamics using lowfrequency neuronal phase modulation.

PLoS Biology,8

(8),e1000445.Luo,Y.,Zhang,Y.,Feng,X.,&Zhou,X.(2010).EEG oscillations differentiate semantic and prosodic processes during sentence reading.

Neuroscience,169

(2),154–164

Magne,C.,Schon,D.,&Besson,M.(2006).Musician children detect pitch violations in both music and language better than nonmusician children: Behavioral and electrophysiological approaches.

Journal of Cognitive Neuroscience,18

(2),199–211.Mu,Y.,&Han,S.H.(2010).Neural oscillations involved in self-referential processing.

NeuroImage,53

(2),757–768.N??t?nen,R.(2007).The mismatch negativity:Where is the big fish?

Journal of Psychophysiology,21

(3-4),133–137.Newman,R.,Connolly,J.,Service,E.,&Mcivor,K.(2003).Influence of phonological expectations during a phoneme deletion task:Evidence from event-related brain potentials.

Psychophysiology,40

(4),640–647.Paulmann,S.,Jessen,S.,&Kotz,S.A.(2012).It's special the way you say it:An ERP investigation on the temporal dynamics of two types of prosody.

Neuropsychologia,50

(7),1609–1620.Paulmann,S.,Pell,M.D.,&Kotz,S.A.(2008).Functional contributions of the basal ganglia to emotional prosody:Evidence from ERPs.

Brain Research,1217

(4),171–178.Paulmann,S.,&Kotz,S.A.(2008).An ERP investigation on the temporal dynamics of emotional prosody and emotional semantics in pseudo-and lexical-sentence context.

Brain and Language,105

(1),59–69.Pfurtscheller,G.,&da Silva,F.H.L.(1999).Event-related EEG/MEG synchronization and desynchronization:Basic principles.

Clinical Neurophysiology,110

(11),1842–1857.Polich,J.(2007).Updating P300:An integrative theory of P3a and P3b.

Clinical Neurophysiology,118

(10),2128–2148.Polich,J.,& Kok,A.(1995).Cognitive and biological determinants of P300:An integrative review.

Biological Psychology,41

(2),103–146.Sch?n,D.,Magne,C.,&Besson,M.(2004).The music of speech:Music training facilitates pitch processing in both music and language.

Psychophysiology,41

(3),341–349.Thierry,G.,&Roberts,M.(2007).Event-related potential study of attention capture by affective sounds.

Neuroreport,18

(3),245–248.Th?nnessen,H.,Boers,F.,Dammers,J.,Chen,Y.H.,Norra,C.,&Mathiak,K.(2010).Early sensory encoding of affective prosody:Neuromagnetic tomography of emotional category changes.

NeuroImage,50

(1),250–259.Tzur,G.,&Berger,A.(2007).When things look wrong:Theta activity in rule violation.

Neuropsychologia,45

(13),3122–3126.Wambacq,I.J.A.,Shea-Miller,K.J.,&Abubakr,A.(2004).Non-voluntary and voluntary processing ofemotional prosody:An event-related potentials study.

Neuroreport,15

(3),555–559.Winkler,I.,Denham,S.,&Nelken,I.(2009).Modeling the auditory scene:Predictive regularity representations and perceptual objects.

Trends in Cognitive Sciences,13

(12),532–540Yordanova,J.,&Kolev,V.(1998).Single-sweep analysis of the theta frequency band during an auditory oddball task.

Psychophysiology,35

(1),116–126.