身體表情識別的ERP 研究 *

梁宗保 楊 韻,2 張光珍 楊元魁 鄭文明 曹睿昕

(1 東南大學兒童發展與學習科學教育部重點實驗室/兒童發展與教育研究所，南京 210096) (2 東南大學人文學院，南京 210096) (3 中國人民大學國際學院，蘇州 215123)

1 前言

在日常生活中，理解和表達情緒對人類社交起著重要作用。相比于面部表情和聲調表情，情緒性身體語言的研究起步較晚（de Gelder, 2006）。很多研究發現，人類大腦可能使用相似的方式加工面部表情與身體表情。ERP 研究也表明，身體表情和面孔表情可誘發相似的ERP 成分。例如，威脅性身體表情與面孔表情一樣，都可以在早期階段獲得加工，表現為P1 對恐懼表情的波幅增大；P3 與晚期正成分（Late Positive Potential,LPP）可以表明存在情緒效應，即相對于中性情緒，人們識別恐懼身體表情時，也會誘發更大的P3 與LPP 成分（Gu, Mai, & Luo, 2013; 張丹丹, 趙婷, 柳昀哲, 陳玉明, 2015）。f MRI 的研究發現，當被試在觀看恐懼身體表情圖片時，視覺皮層（visual cortex）有更強的激活（Hadjikhani & de Gelder, 2003）。與識別面部表情一樣（Ales, Yates,& Norcia, 2010），威脅性身體表情也可以直接通過皮層下通路到達杏仁核進行處理（Borgomaneri,Vitale, Gazzola, & Avenanti, 2015; van den Stock et al.,2011）。一些研究者直接比較被試在面孔表情和身體表情刺激下的腦區激活情況，發現人們在加工面孔表情和身體表情時，梭狀回和杏仁核均有不同程度的激活（van de Riet, Grezes, & de Gelder,2009; Kret, Pichon, Grèzes, & de Gelder, 2011）。

根據情緒效價分類，一般可將情緒分為正性情緒與負性情緒。情緒的不同效價逐漸形成兩套與生存關系密切的動機系統，一套叫做喜好-趨近動機系統（appetitive-approach motivational system）（Lang & Bradley, 2010），它有利于人類的生存與繁衍，引發人們的積極情緒，并使人們做出進食，交配等趨近行為；另一套叫做厭惡-防御性動機系統（aversive-defensive motivational system），它負責應對威脅情境，激活人們在危險情境下的恐懼或憤怒等負性情緒，并產生戰斗或逃跑的行為傾向。所以，在前人大部分研究中都選擇使用恐懼與憤怒情緒來誘發負性偏向，而悲傷作為負性情緒之一，對于機體生存與發展也有重要意義，是否也存在負性偏向？還有待進一步研究。悲傷與威脅性情緒在腦電時間進程上表現出的特點是否也存在差異？

在情緒識別中，相比于正性刺激，負性刺激會得到更多的注意和加工，即“負性偏向”（negativity bias）（Mama, Ben-Haim, & Algom,2013; Sun, Sun, Wang, & Gong, 2012）。ERP 研究的證據表明，相比于正性情緒刺激，個體對某些負性情緒刺激（比如威脅性刺激）的加工更敏感，表現在早期P1 峰值的增強與提前（Gu et al., 2013）。腦影像學的證據表明，負性刺激引起的杏仁核和海馬的激活水平比正性刺激更高（Aldhafeeri,Mackenzie, Kay, Alghamdi, & Sluming, 2012）。當被試觀看中性與恐懼刺激時，肢體相關的特異腦區（EBA）對恐懼表情有更強的激活（van den Stock,Vandenbulcke, Sinke, & de Gelder, 2014）。悲傷情緒是否也存在這種“負性偏向”？負性情緒是否總是可以得到優先加工呢？

早期大量行為研究表明，相比男性，女性在對情緒進行分類時，能更準確更快速的識別情緒，對情緒的體驗更加敏感（袁加錦, 汪宇, 鞠恩霞, 李紅, 2010; Proverbio, Brignone, Matarazzo, Del Zotto, & Zani, 2006a, 2006b）。Proverbio 等人（2006a, 2006b）在實驗中發現，相比于男性，女性對于情緒的加工會占用更多的注意資源，表現在P110 成分上的波幅顯著增大。在Hofer 等人（2006）的實驗中，無論誘發正性還是負性情緒，女性相比于男性都有更多的腦區被激活。因此，在情緒識別中，性別差異也是研究者關注的興趣點。而現有研究大都使用面孔與和場景情緒圖片作為刺激材料，性別差異是否也會存在于身體姿態情緒的識別中，還有待進一步考察。

面孔表情和情緒性身體姿態的加工在很大程度上會存在相互影響。van den Stock, Righart 和De Gelder（2007）把在快樂和恐懼之間變化的面孔表情分別與快樂和恐懼的身體表情結合，制作成復合刺激圖片，并要求被試對面孔傳達的情緒分類。結果顯示，當面孔表情類型模糊，處于快樂和恐懼互相轉換的中間狀態時，它的識別受到身體表情的影響最大；隨著面孔模糊性的降低，這種影響減小。之后，Aviezer, Tropeh 和Todorov（2012）的實驗要求被試觀看含有情緒信息的面孔刺激、肢體刺激，以及面孔與身體的復合刺激，并且區分刺激的情緒效價。結果發現，相比于面孔表情線索，個體更容易根據身體表情線索來區分強烈的積極和消極情緒。由此可知，面孔提供的信息存在一定的模糊性，而對于情緒的正確理解離不開身體表情的參與。那么，單獨識別身體表情是否會出現情緒識別不準確，是否可以單從身體表情來判斷一個人的情緒，還有待于進一步研究。

本研究采用情緒識別任務與事件相關電位技術，分析愉快、悲傷、中性身體表情所誘發的不同時期的ERP 成分，另一方面，考察其中存在的性別差異。根據前人研究結果，我們預期對負性情緒（悲傷）在早中期會出現負性偏向，后期階段情緒性刺激能得到進一步的注意加工。對于情緒的識別加工，女性識別速度和注意程度均優于男性。

2 研究方法

2.1 被試

共43 名（22 男, 21 女）成年被試參加實驗。被試年齡2 1-2 6 歲（平均年齡: M=23.22 歲;SD=1.75），均為右利手，精神狀態正常，身體健康，視力或矯正視力正常。實驗前均知曉實驗目的，并簽署知情同意書，實驗后給予現金報酬。

2.2 實驗材料

實驗材料選自Atkinson 等人制作的身體表情視頻庫（Body-expression movie clips）（Atkinson,Dittrich, Gemmell, & Young, 2004）。該視頻庫是通過光學捕捉系統對演員的身體姿態動作進行捕捉，演員表演時穿戴統一的灰色服裝和頭盔。因此，捕捉后的身體姿態無面孔表情信息，并且沒有身體物理特征的差異。可見圖1 示例。

對視頻進行循環讀取，將視頻中的每一幀截取成一張圖片。得到悲傷身體表情圖片117 張，中性80 張和愉快103 張。正式實驗之前，隨機招募了30 名被試對刺激圖片依據效價（1-7 點, 1 為悲傷, 7 為愉快, 4 為中性）與喚醒度（1-7 點, 1 為完全無喚醒, 7 為完全喚醒）進行評定，根據識別正確率（80%以上）降序篩選出適宜的實驗刺激圖片，所有參加評定的被試不再參加正式實驗。結果顯示，不同情緒圖片在效價上差異顯著（F（2,28）=50.36, p＜0.05; 具體圖片組成見表1），在喚醒度上無顯著差異（F（2,28）＜1, p＞0.05）。篩選后得到身體表情圖片共90 張，愉快、悲傷與中性圖片各30 張。

2.3 實驗設計

實驗為3×2 混合實驗設計。自變量一為情緒類型，分為悲傷/中性/愉快三個水平；自變量二為性別，分為男/女兩個水平。不同情緒類型的圖片以隨機方式呈現，每張圖片重復呈現2 次。實驗共180 個試次。正式實驗開始前有練習實驗。

表1 身體情緒圖片的效價與喚醒度分布

2.4 實驗程序

實驗程序如圖2 所示。被試需要在看到刺激圖片以后盡快的做出按鍵反應。愉快、中性和悲傷分別對應“S”、“J”和“L”，按鍵順序在被試間平衡。反應時從刺激界面出現時開始計算，若反應時超過3500 ms，則自動進行下一個試次。所有的圖片均在黑色背景下呈現。

2.5 腦電數據采集及分析

使用Neuroscan（4.5 版本）軟件記錄并分析腦電數據，按國際10-20 系統拓展的64 導電極帽收集腦電數據，水平眼電在雙眼外側記錄，垂直眼電在左眼上下位置記錄，參考電極為左側乳突。頭皮電阻降至5 KΩ 以下，濾波帶通為0.05-70 Hz，采樣頻率為500 Hz/導，連續采樣。

腦電數據中的眼電利用Neuroscan 軟件內置的回歸程序去除。腦電數據依次經過以下處理：分段（-200 至800 ms）、基線校正、疊加平均。結合前人文獻與本實驗數據所得的腦地形圖和總平均圖，本實驗分析的ERP 成分包括P1、N170、P2 和LPP。P1 成分分析的電極為O1、O2（數據取均值），峰值檢測時間窗口為8 0-1 2 0 m s；N170 成分分析的電極為P7、PO7、P8、PO8（數據分別取左右半球均值），峰值檢測時間窗口為150-200 ms（Luo, Feng, He, Wang, & Luo, 2010）。P2 成分的分析電極點為CP1、CPZ、CP2（數據取均值），峰值檢測時間窗口為1 8 0-2 5 0 m s；LPP 成分分析的電極為PZ，P1 和P2（數據取均值），平均幅度計算時間窗口為300-600 ms。

統計分析采用SPSS（16.0 版本）軟件。描述性統計量表示為均值±標準誤。行為實驗的正確率與反應時采用兩因素（情緒類型/性別）重復測量方差分析。P1、P2 的潛伏期/波幅與LPP 的平均波幅均采用兩因素（情緒類型/性別）重復測量方差分析，N170 的潛伏期/波幅采用三因素（情緒類型/大腦半球/性別）。方差分析采用Greenhouse-Geisser矯正。

3 結果

3.1 行為實驗結果

為了考察個體在識別不同身體表情情緒類型的行為反應差異，對被試在不同情緒類型下的識別反應時與正確率差異進行了檢驗。反應時的結果表明情緒類型的主效應顯著，F（2, 82）=41.16，，p＜0.05，被試對愉快身體姿態的反應時（7 5 7.1 5±8.5 7 m s）顯著快于悲傷（863.19±12.76 ms）。識別正確率結果表明情緒類型主效應顯著，F（2, 82）=8.10，，p ＜0.0 5，對于愉快（9 6.0 7±5.7 0%）與悲傷（92.72±12.09%）識別的正確率顯著高于中性身體姿態（86.67±1.61%）。

3.2 ERP

3.2.1 P1

在P1 波幅方面，情緒類型與性別之間存在交互效應，F（2，82）=3.37，η2=0.14，p＜0.05。女性在觀看悲傷情緒時，誘發的P1 波幅顯著大于男性，女性誘發平均波幅為2.30±0.94 μV，男性為1.58±0.80 μV。(見圖4)。

3.2.2 N170

在N170 波幅方面，情緒類型的主效應顯著，F（2，82）=3.67，，p＜0.05，其中悲傷身體姿態誘發的N170 波幅（-6.43±0.61 μV）顯著大于愉快（-5.37±0.65 μV）。

情緒類型與性別之間也存在交互效應，F（2,8 2）=5.2 8，η2=0.0 8，p ＜0.0 5，相比男性（-3.50±0.34 μV；-4.28±0.30 μV），女性在識別愉快（-5.46±0.52 μV）與悲傷（-6.94±0.45 μV）身體姿態情緒時，誘發出更大的N170 波幅。(見圖5)。

3.2.3 P2

在波幅方面，情緒類型的主效應顯著，F（2，82）=3.54，，p＜0.05，愉快誘發的波幅（7.82±0.54 μV）顯著大于悲傷（6.48±0.63 μV）。

在潛伏期方面，情緒類型的主效應顯著，F（2，82）=8.33，，p＜0.05，被試識別愉快的潛伏期（204.93±3.07 ms）顯著快于悲傷（216.21±2.76 ms）與中性（209.13±3.26 ms）。

3.2.4 LPP

平均波幅方面，情緒類型的主效應顯著，F（2, 82）=12.46，，p＜0.05，愉快（6.42±0.64 μV）與悲傷（6.67±0.65 μV）誘發的平均波幅顯著大于中性（4.11±0.47 μV）。

4 討論

本研究通過ERP 實驗分析了人類識別身體表情情緒信息過程中的腦皮層時間加工進程問題，具體考察了愉快、中性、與悲傷三種身體表情識別過程中的腦電反應時間進程。首先，行為實驗結果發現，相比于悲傷與中性身體表情，個體對愉快的身體表情識別速度最快。該結果說明個體對身體表情的識別出現了“正性偏向”，這與以往研究中發現“負性偏向”并不一致（Mama et al.,2013; Sun et al., 2012; Gu et al., 2013）。在以往的大部分研究中，研究者選取的基本上是恐懼或害怕等威脅性極其明顯的圖片刺激，或者是帶有面部表情的身體表情。在實驗刺激中，面部表情較為夸張（如, 張大的嘴巴, 睜大的眼睛），身體動作的幅度較為明顯（退縮, 防御性狀態），帶有明顯的防御性。而悲傷的身體表情一般動作幅度較小，在本實驗中多表現為掩面哭泣，且面孔無法提供任何信息，身體姿態的幅度較小。相反，愉快的身體表情肢體動作幅度較大，更為開放，被試更容易識別，因而出現了對于正性身體表情識別速度快于負性身體表情的現象。這說明人類無論是在面孔情緒識別中，還是在身體表情情緒識別中，并非簡單地存在著“負性”或“正性”偏向的加工偏好，而是主要取決于情緒效價背后的載體信息的醒目程度。一般來說，對于與生存休戚相關的情緒反應，其載體表達的信息比較引人注目，則相對更容易被識別。在本研究中，愉快、中性和悲傷三種情緒不像恐懼、憤怒等情緒的生存意義那么重要，相對來說，愉快情緒的身體表情信息更為明顯，因此更快被識別。

ERP 早期階段，女性在識別悲傷情緒時誘發的P1 成分顯著大于男性，顯示出了性別差異，這一結果與前人研究一致，Proverbio 等人（2006a,2006b）使用嬰兒情緒（正性/負性）面孔作為實驗材料，要求被試對不同類型的情緒進行判斷，考察個體中存在的性別差異，結果發現，在P110 成分上，相比于男性，女性誘發的波幅更大。所以，在情緒識別過程中，女性對嬰兒表情的覺察投入了更多的注意資源。Lee, Kim, Shim 和Lee（2017）采用掩蔽范式，使用恐懼與中性面孔表情作為實驗材料，比較神經生理活動時間進程中存在的性別差異，結果也發現存在這種與性別相關的P1 效應，主要表現為相比于男性，女性在觀察閾下的恐怖面孔表情時，誘發了更大的P1 波幅。從生理基礎的大腦結構角度分析，出現性別差異的可能原因是由于男女本身腦結構的差異（Gur, Gunning-Dixon, Bilker, & Gur, 2002）。男性與女性在某些大腦結構上存在差異，表現在女性灰質較男性更多。灰質的功能主要是認知加工，與對刺激和信息的認知加工過程密切相關。女性具有更大的邊緣葉體積，尤其表現在女性具有更大的眶額皮層，眼眶皮層會影響人們的主觀認知評價（Gur et al., 2002; 袁加錦等, 2010）。第二個原因是女性在日常生活中更注重情緒體驗，比較關注自我和他人的情緒表達和體驗，長期形成了情緒反應優勢。而P1 成分具有自動加工的性質，即使閾下刺激也可以得到無意識反應（Luo et al.,2010），因而在情緒識別的早期階段出現的性別差異，可以推論女性不僅在面孔表情識別中具有優勢，對于身體表情的識別也同樣較為敏感。

悲傷情緒誘發的N170 波幅顯著大于愉快與中性情緒，出現了“負性偏向”，與前人的研究相吻合（Rellecke, Sommer, & Schacht, 2012; Hietanen &Astikainen, 2013）。N170 成分被看做是面孔加工特異性成分，不受注意控制影響，具有自動加工性質（Eimer, 2000; 俠牧, 李雪榴, 葉春, 李紅,2014）。一方面，N170 在身體姿態的刺激中仍然出現了明顯的情緒效應，且存在“負性偏向”，證明N170 不僅僅是對面孔表情敏感，對于情緒性身體姿態同樣敏感，可以推測，N170 是對情緒結構編碼敏感的成分。另一方面，N170 成分的出現在一定程度上也說明了面孔情緒加工與身體表情加工存在著相同的特點。

中期階段P 2 成分的自動加工程度較大（Rellecke et al., 2012）。在研究中，愉快身體表情誘發的P2 波幅顯著大于悲傷和中性，這表明愉快圖片受到被試更多的注意，并且行為實驗的結果也印證了這一點。對于情緒的早期加工，人類主要是快速判斷帶有威脅性的情緒和非威脅性的情緒，這種判斷加工的速度非常快，幾乎都是在閾下完成的（Luo et al., 2010; Zhang, Luo, & Luo,2013）。到了情緒加工的中期階段，個體主要對情緒信息的細節加工，判斷情緒的具體類型，這就需要人們對情緒載體所傳達出來的信息進行分類和判斷。在本研究中，相對于中性和悲傷的身體表情，愉快的身體表情所表達的信息更加明顯。當身體表情是愉悅情緒時，兩手張開，遠離軀體或是跳起，表現的手舞足蹈，而悲傷身體表情更多是蜷縮身體，手臂掩面。前人研究中使用的威脅性刺激圖片多是雙臂與軀干分離，動作幅度較大，誘發出更多的“負性偏向”。相對而言，悲傷情緒雖然是一種負性情緒，但并非是威脅性的情緒，其通過身體姿態表達出的信息并沒有愉快身體姿態表現出的信息更加明顯。因此，本研究中愉快情緒的識別快于中性和悲傷情緒，即出現了“正性偏向”，根本原因在于人類都對動作幅度較大的身體表情注意投入更多。

晚期階段LPP 出現了明顯的情緒效應，即無論是正性還是負性情緒刺激，相比于中性刺激，都誘發出了更大的波幅。這說明大腦在晚期加工階段進一步加工了身體表情所提供的信息，該結果印證了前人的研究（Hietanen & Astikainen, 2013;Gu et al., 2013）。LPP 反映了大腦皮層對情緒刺激的意識評價，工作記憶表征，決策和反應等高級加工過程（俠牧等，2014）。情緒效應恰恰說明了情緒性的身體表情確實比中性身體姿態能夠得到人類更深刻的加工。這一點也與面孔加工中的特點相似，也說明了身體姿態加工可能與面孔加工存在相同的加工方式。

5 結論

本研究得出如下結論：（1）在行為層面，個體對愉快情緒身體表情的加工速度最快，悲傷情緒次之，中性情緒最慢。（2）腦電層面，女性在識別悲傷情緒身體表情時，在P1 成分上表現出更大波幅，而在N170 上，個體對悲傷情緒身體表情的識別中誘發了更大的波幅，表現出了“負性偏向”；在P2 上，個體對愉快情緒的識別則誘發了更大波幅，表現出了“正性偏向”；在晚期LPP 成分上，愉快與悲傷相比于中性情緒刺激誘發了更大的波幅，表現出了“情緒效應”。（3）綜合來看，個體對情緒身體表情的加工與面孔表情的加工可能存在著相似的方式。