語言差異對跨通道情緒啟動效應的影響 *

張芳文 馬 驍 馬 諧

(云南師范大學教育學部，云南師范大學民族教育信息化教育部重點實驗室，昆明 650500)

1 引言

成功地識別和加工情緒信息是社會交往的關鍵環節之一，其中，言語和面孔是傳遞情緒信息的最主要方式，也是個體感知情緒的主要渠道。越來越多的研究發現，現實生活中個體所接收的情緒信息往往不是單一感覺通道傳遞的，而是多個感覺通道同時傳遞。個體通常是迅速整合外界各通道感知的情緒信號，調整身心狀態以及應對突發事件（De Gelder, B?cker, Tuomainen, Hensen, &Vroomen, 1999）。因此，研究者越來越關注不同通道間（尤其是視覺和聽覺）信息加工的相互影響和相互作用關系（Filippi et al., 2017; Logeswaran &Bhattacharya, 2009; Paulmann & Pell, 2010）。

跨通道情緒啟動范式常用于研究言語情緒信息與面孔情緒信息加工的相互影響和相互啟動效應。較多研究發現，言語情緒信息會對感知同時或相繼呈現的面孔情緒信息產生重要的影響，具體表現為，當言語與面孔中的情緒信息具有效價上的一致性時，會對面孔情緒加工產生促進作用，反之，則會產生抑制作用。例如，多項研究發現，當面孔刺激伴隨著不協調的語音信息一起出現時，面孔的情緒識別效果會顯著降低（Carroll &Young, 2005; Collignon et al., 2008; Ethofer et al., 2006;Pell, 2005），說明言語情緒信息能夠影響對面孔情緒的感知和加工。

也有研究發現面孔情緒信息會對加工言語情緒信息產生影響（Paulmann & Pell, 2010），例如，Pourtois，De Gelder，Rossion，Vroomen 和 Crommelinck（2000）的ERP研究采用Oddball實驗范式要求，被試判斷在呈現情緒面孔后，言語情緒信息的效價，結果發現，面孔和言語信息包含的情緒效價一致時所誘發的N100比不一致時的更大。隨后的研究也進一步證實了這一結論（Pourtois, De Gelder,Bol, & Crommelinck, 2005）。然而，目前不少研究并不支持以上研究結果，例如，Vesker等人（2018）采用跨通道啟動范式研究發現，情緒面孔的啟動對言語情緒詞分類并沒有產生影響，相比情緒面孔對言語情緒感知的影響而言，情緒性言語對情緒面孔的影響程度更大。實驗范式的變化、刺激材料的差異，以及信息呈現方式的不同都會影響跨通道間信息加工的相互作用關系，言語與面孔的情緒信息能否相互通達和相互作用，尤其是視覺面孔信息能否影響聽覺言語信息的加工，尚存在諸多的爭議，需要更多實驗進行論證。

雙語現象越來越普遍，母語和非母語的功能差異逐漸受到研究者的關注，其中一個核心問題就是母語與非母語是否存在情緒和情感功能上的差異。現有研究發現，相比于非母語，母語往往具有更強的情緒連接或情緒啟動功能。Segalowitz，Trofimovich，Gatbonton 和 Sokolovskaya（2008）采用內隱聯想測驗發現雙語者在對一語和二語情感詞加工的過程中都會出現效價的自動激活，但一語激活的程度要強于二語。Eilola，Havelka和Sharma（2007）在對比英語本族語者和希臘英語雙語者完成情感Stroop任務時發現，英語本族者只有在加工英語情感詞匯（尤其是消極詞和禁忌詞）時，才能較英語中性詞匯產生更高的皮電反應水平。但也有少部分研究并不支持差異性的存在（陳俊, 李佳南, 2016; Sutton, Altarriba, Gianico, &Basnight-Brown, 2007）。可見，母語和非母語的情緒連接或情緒啟動功能是否存在差異，尚未形成定論。

基于以上論述，本研究將采用跨通道情緒啟動范式，對兩方面的問題做出重點討論，首先，進一步驗證前人的研究，對言語和面孔情緒信息加工能否相互影響和相互啟動進行佐證，實驗1將以聽覺言語詞匯為啟動刺激，以視覺面孔刺激為目標刺激，討論言語詞匯中的情緒信息能否影響面孔刺激中情緒信息的加工。實驗2將以視覺面孔刺激為啟動刺激，以聽覺言語為目標刺激，討論面孔刺激中的情緒信息能否影響言語詞匯中情緒信息的加工。其次，本研究試討論言語和面孔中情緒信息的相互啟動和相互影響效應是否受母語和非母語差異的影響。跨通道情緒啟動范式本質上探討的也是啟動刺激的情緒連接功能，以及啟動刺激與目標刺激之間的情緒連接關系（Chan, Ybarra, & Schwarz, 2006;Fazio, 2001）。言語情緒信息之所以能夠對感知面孔情緒信息產生影響，是因為加工言語情緒信息的過程中直接或間接地（通過語義概念）激活了情緒的形象性信息（例如，面孔），進而對加工后續的面孔情緒產生易化效應（Filippi et al., 2017; Vesker et al., 2018）。與之相似，面孔情緒信息之所以能夠對感知言語情緒信息產生影響，是因為加工面孔情緒信息過程中激活了情緒語音信息或情緒語義概念，進而對加工后續的言語情緒產生易化效應（Campanella & Belin, 2007; Klasen, Kreifelts, Chen,Seubert, & Mathiak, 2014）。本研究認為，如果母語相比非母語具有更強的情緒連接或情緒激活功能，那么，當其作為啟動刺激時（實驗1），相比于非母語，可能會對加工后續面孔情緒刺激產生更顯著的影響。而當其作為目標刺激時（實驗2），相比于非母語，可能會更容易被之前面孔刺激激活，進而在更大程度上受到面孔刺激情緒信息的影響。

2 實驗1：言語情緒詞對面孔情緒的啟動效應

2.1 研究方法

2.1.1 被試

選取云南省某兩所高校英語專業且通過英語專業八級（TEM-8）的在校大學生（熟練雙語者）26名，平均年齡M為23.32歲，標準差SD為2.34歲，其中男生9名，女生17名。被試視力或矯正視力正常，無聽力缺陷。由于被試的抑郁或焦慮情緒會對情緒刺激的加工造成一定的影響，被試需要通過SAS（焦慮自評量表）與SDS（抑郁自評量表）測試（汪向東, 王希林, 馬弘, 1999），被試在兩個量表上的得分轉化為標準分后，均低于分界值。其中，SAS量表的分界值為53分，SDS量表的分界值為50分。

2.1.2 實驗材料

（1）言語情緒詞選取。言語刺激為48個漢語情緒詞（24個積極情緒詞和24個消極情緒詞），均從漢語情感詞庫中選取（王一牛, 周立明, 羅躍嘉, 2008），且都是雙字詞。然后對選取的漢語情緒詞進行錄音，錄音方法和評價方法參考以往研究（姜帆, 劉永兵, 2015）。英語情緒詞選用漢語情緒對等詞，即漢語情緒詞翻譯之后的英語情緒詞，由大學英語教師進行錄制，錄制過程和漢語情緒詞錄制過程相同。最終確定48個英語情緒詞。邀請英語專業與播音與主持專業的在校大學生進行情緒效價（7點評分）和喚醒度（5點評分）的等級評定，具體評定結果如下，漢語言語情緒詞中，積極言語情緒詞24個（M效價=5.92,SD效價=0.91;M喚醒度=3.92,SD喚醒度=0.97）；消極言語情緒詞24個（M效價=1.81,SD效價=0.72;M喚醒度=3.78,SD喚醒度=1.10)；t效價(46)=45.88，p＜0.01，t喚醒度(46)=0.68，p＞0.05。英語言語情緒詞中，積極言語情緒詞24個（M效價=6.01,SD效價=0.98;M喚醒度=3.97,SD喚醒度=0.97)；消極言語情緒詞24個（M效價=1.76,SD效價=0.81;M喚醒度=3.90,SD喚醒度=1.00）；t效價(46)=43.28，p＜0.01，t喚醒度(46)=0.68，p＞0.05。

（2）情緒面孔實驗材料。從中國化情緒面孔圖片系統（白露, 馬慧, 黃宇霞, 羅躍嘉, 2005）中選取認同度大于等于90、強度大于等于5的圖片，其中，消極情緒圖片24張，積極情緒圖片24張。邀請在校大學生評定效價（7點評分）和喚醒度（5點評分），具體評定結果如下，積極情緒圖片24張（M效價=5.45,SD效價=1.01;M喚醒度=3.5,SD喚醒度=0.97）；消極情緒圖片24張（M效價=2.4,SD效價=0.61;M喚醒度=3.04,SD喚醒度=0.92）；t效價(46)=28.15，p＜0.01，t喚醒度(46)=0.78，p＞0.05。

2.1.3 實驗設計

采用2（語言類型：漢語、英語）×2（言語情緒類型：積極、消極）×2（一致性：一致、不一致）完全被試內設計。因變量為做出按鍵判斷的反應時和正確率。

2.1.4 實驗程序

實驗分為兩個階段，第一個階段中，英語情緒詞作為啟動刺激，首先呈現言語情緒詞（啟動刺激），隨后呈現面孔情緒（目標刺激），要求被試判斷，言語情緒詞是否和面孔的情緒類型一致，例如：聽到“表彰”，看到積極情緒面孔，則為一致；聽到“殘酷”，看到積極情緒面孔，則為不一致；若一致，按“F”鍵，不一致按“J”鍵。整個階段共96個試次（48個一致試次，48個不一致試次）。第二個階段中，漢語情緒詞作為啟動刺激，其他程序與第一階段相同。具體流程見圖1。在實驗開始前，需要進行12個練習試次，被試正確完成11個試次或以上，才能進入正式實驗，實驗大約需要20分鐘。

圖1 實驗1流程圖

2.2 實驗結果

面孔情緒判斷的反應時和正確率見表1。以正確率為因變量，重復測量方差分析顯示：語言類型主效應顯著，F(1, 25)=13.18，p＜0.01，=0.35，漢語條件下的正確率顯著高于英語條件下的正確率；言語情緒主效應顯著，F(1, 25)=8.53，p＜0.01，=0.25，積極條件下的正確率顯著高于消極條件下的正確率。其他變量的主效應及交互作用效應均不顯著。

以反應時為因變量，語言類型主效應顯著，F(1, 25)=45.76，p＜0.001，=0.65，漢語條件下的反應時顯著短于英語條件下的反應時；言語情緒類型主效應顯著，F(1, 25)=80.05，p＜0.001，=0.76，積極情緒條件下的反應時顯著短于消極情緒條件下的反應時；一致性主效應顯著，F(1,25)=25.03，p＜0.001，=0.50，一致性條件下反應時顯著短于不一致條件下的反應時；語言類型與一致性的交互作用顯著，F(1, 25)=5.59，p＜0.05，=0.18，英語條件下，一致與不一致條件的差異顯著，而漢語條件下，一致與不一致條件的差異僅此達到邊緣水平；一致性與言語情緒的交互作用顯著，F(1, 25)=31.52，p＜0.001，=0.56，積極言語情緒詞啟動下，一致條件下的反應時顯著短于不一致條件下的反應時，消極言語情緒詞啟動下，一致條件與不一致條件的反應時無顯著差異。

表1 面孔情緒判斷的反應時與正確率

3 實驗2：面孔情緒對言語情緒詞的啟動效應

3.1 研究方法

3.1.1 被試

選取云南省某兩所高校英語專業且通過英語專業八級（TEM-8）的在校大學生（熟練雙語者）23人，平均年齡M為23.13歲，標準差SD為2.43歲，其中男生10名，女生13名。其他篩查標準與實驗1相同。

3.1.2 實驗材料

同實驗1。

3.1.3 實驗設計

采用2（語言條件：漢語、英語）×2（面孔情緒類型：積極、消極）×2（一致性：一致、不一致）完全被試內設計。因變量為進行按鍵判斷時反應時和正確率。

3.1.4 實驗程序

實驗分為兩個階段，第一個階段中，英語情緒詞作為目標刺激，首先呈現面孔情緒（啟動刺激），隨后呈現言語情緒詞（目標刺激），要求被試判斷，言語情緒詞是否和面孔的情緒類型一致，若一致，按“F”鍵，不一致按“J”鍵。整個階段共96個試次（48個一致試次，48個不一致試次）。第二個階段中，漢語情緒詞作為目標刺激，其他程序和試次與第一階段相同。具體流程見圖2。在實驗開始前，需要進行12個練習試次，被試正確完成11個試次或以上，才能進入正式實驗，實驗大約需要20分鐘。

圖2 實驗2流程圖

3.2 實驗結果

言語情緒判斷的反應時和正確率可見表2。以正確率為因變量，重復測量方差分析顯示：語言類型主效應顯著，F(1, 22)=10.55，p＜0.01，=0.32，英語條件下的正確率顯著低于漢語條件下的正確率；語言類型與面孔情緒類型的交互作用效應顯著，F(1,22)=6.75，p＜0.05，=0.24，消極面孔下，英語與漢語條件的差異不顯著，積極面孔下，漢語條件下的正確率顯著高于英語條件下的正確率。其他自變量的主效應和彼此之間的交互作用效應均不顯著。

表2 言語情緒判斷的反應時與正確率

以反應時為因變量，語言類型主效應顯著，F(1, 22)=17.73，p＜0.001，=0.45，漢語條件下的反應時顯著短于英語條件下的反應時；面孔情緒類型主效應顯著，F(1, 22)=21.54，p＜0.001，=0.49，積極條件下的反應時顯著短于消極條件下的反應時；一致性與面孔情緒的交互作用顯著，F(1,22)=18.79，p＜0.001，=0.46，積極情緒面孔啟動下，一致條件下的反應時短于不一致條件下的反應時，而在消極情緒面孔下，一致條件下的反應時長于不一致條件下的反應時。其他自變量的主效應和彼此之間的交互作用效應均不顯著。

4 討論

本研究旨在考察言語情緒詞與面孔情緒的相互啟動效應，以及語言差異（漢語和英語）對情緒跨通道啟動效應的影響。

實驗1的目的是考察母語（漢語）和非母語（英語）條件下，言語情緒詞的啟動對情緒面孔分類的影響，實驗1的結果發現，語言類型主效應顯著，被試在漢語情緒詞的啟動條件下，對情緒面孔的判斷具有更高的正確率和更短的反應時。出現了母語加工優勢效應，此結果符合研究假設。推測原因可能是與語言的心理距離相關。本研究選取的被試都是以漢語為母語、英語為非母語的英漢雙語者，雖然他們習得英語的平均年齡大約在10年以上，但是日常的交流及生活用語大多數仍然是以漢語（母語）為主，相比起英語，漢語仍然與個體具有更深層和更緊密的關系。母語通常被認為是情緒具身性語言，而非母語可以被描述為情緒距離語言，研究者認為母語在啟動情緒過程中可能會有更為直接的通路，從而表現出更自動化的加工特征（Dewaele, 2004; Dewaele & Pavlenko, 2002）。

其次，實驗1發現了一致性主效應，被試在一致性條件下的反應時顯著短于不一致條件下的反應時，出現了情緒啟動效應（Egner & Hirsch,2005; Zinchenko, Kanske, Obermeier, Schr?ger, & Kotz,2015），并且，這種啟動效應主要出現在啟動刺激為積極情緒的條件下。此結果說明言語情緒的加工對后續面孔情緒的加工具有重要的影響作用，而當言語刺激為積極情緒時，這種影響效應會更為明顯。以往較多研究發現言語情緒刺激對面孔情緒刺激能夠具有啟動效應（Carroll & Young,2005; Collignon et al., 2008; Pell, 2005），而本研究的結果再一次支持了以往的研究。研究者通常用激活擴散理論來解釋情緒啟動效應的原理（常翼,許晶, 史娜, 2010; Fazio, 2001）。言語情緒信息之所以能夠對感知面孔情緒信息產生影響，可能是因為加工言語情緒信息的過程中直接或間接地（通過語義概念）激活了情緒的形象性信息（例如，面孔），進而對加工后續的面孔情緒信息產生易化（情緒一致時）或抑制作用（情緒不一致時）（Filippi et al., 2017; Vesker et al., 2018）。但相比以往研究，本研究進一步發現了言語刺激對面孔刺激的影響主要表現在積極情緒條件下，出現積極情緒啟動的加工優勢。Anooshian和Hertel（1994）研究發現，西班牙語-英語雙語者在情緒詞的回憶任務中，母語條件下積極情緒詞比中性詞回憶的成績更好，出現了積極情緒加工優勢。Kissler，Herbert，Winkler和 Junghofer（2009）采用電生理和神經成像技術發現對積極詞匯的優勢效應，同時也在記憶和注意領域出現。情緒詞的加工更快是因為情緒效價扮演著重要的角色（Kazanas &Altarriba, 2016），個體對積極情緒面孔的加工更為有效，存在積極加工偏向（Lepp?nen & Hietanen,2004）。從言語情緒詞與情緒面孔分類的角度分析，本研究結果與以上研究結論是一致的，即在積極情緒詞的啟動下，對后續面孔刺激中的積極情緒的感知可能會存在更強的促進效應，而對非積極情緒信息的感知反而會存在更強的沖突和抑制效應。

實驗2以面孔為啟動刺激，探討面孔情緒對言語情緒的啟動效應，以及母語和非母語在其中的差異。實驗2發現，首先，語言類型主效應顯著，被試在采用漢語條件情緒詞作為目標條件時，情緒面孔對其具有更強的影響效應，對言語情緒的判斷表現出更高的正確率，以及更短的反應時，此結果再一次證實了母語加工優勢效應的穩定存在；其次，在積極情緒面孔啟動條件下，對言語情緒詞的判斷出現了情緒啟動的一致性效應，本實驗結果說明面孔情緒能夠啟動言語情緒，但僅出現在積極情緒條件下。實驗2的結果能夠得到以往研究的支持（劉文娟, 沈曼瓊, 李瑩, 王瑞明, 2016; 呂勇, 張偉娜, 沈德立, 2010; Vroomen,Driver, & De Gelder, 2001）。同時，實驗2在實驗1的基礎上，再一次說明在積極情緒條件下，詞語信息和面孔信息可能具有更強的自動化聯結，因而會在相互啟動過程中，表現出更強的啟動效應。與本研究預期不一致的是，在消極情緒面孔啟動條件下，出現了情緒感知的反轉效應（reversing effect），即被試對與啟動刺激效價相反的目標刺激反應更快（Hermans, Spruyt, & Eelen, 2003）。有研究發現情緒啟動的反轉效應依賴于刺激材料的可通達性與注意導向，啟動字與目標字的反應競爭關系通常會導致情緒啟動的反轉效應（王若茵,范寧, 2016），李芳、張海燕、田銳和丁亮（2015）的研究發現情緒一致性前瞻記憶呈現反轉效應，即在高興情緒背景下前瞻記憶負性詞成績比正性詞成績高，在悲傷情緒背景下前瞻記憶正性詞成績比負性詞成績高。也有研究者認為個體對負面情緒刺激的加工更快更準確（Vaish, Grossmann, &Woodward, 2008），消極情緒刺激比積極情緒刺激更能吸引注意力，使得注意力從消極情緒移開的速度慢于積極情緒移開的速度（Fox et al., 2000），從而給其他認知活動帶來更大的干擾阻礙（蔣重清, 楊麗珠, 劉穎, 2007; Bach, Schmidt-Daffy, &Dolan, 2014）。這也可能是產生情緒啟動反轉效應的重要影響因素之一。當前，情緒啟動效應與情緒啟動反轉效應的研究未有定論，本研究的結果為積極情緒下的啟動效應和消極情緒啟動下的反轉效應提供了證據。

實驗1與實驗2的相同之處在于，都采用跨通道啟動范式探討言語情緒詞與情緒面孔之間的相互啟動效應，在實驗設計與實驗程序上基本相同，不同之處在于，實驗1以言語情緒詞為啟動目標，探討其對加工面孔情緒的情況，實驗2則以情緒面孔為啟動目標，探討其對加工言語情緒的影響，從實驗結果來看，兩個實驗中都發現了啟動效應，說明個體對言語情緒詞與情緒面孔的感知存在相互作用關系和相互影響效應，并且，這種相互作用關系在啟動刺激為積極情緒條件時，會表現得更加突出和穩定。此外，實驗1和實驗2都發現了語言類型的主效應，即不管母語（漢語）是作為啟動刺激呈現時使用的語言類型，還是作為目標刺激呈現時使用的語言類型，都能夠顯著提高被試完成情緒感知任務時的表現，說明母語和非母語在情緒功能上具有差異性，母語體現出加工優勢效應。

5 結論

在本實驗條件下，得到如下結論：相比于英語作為目標刺激條件，在漢語為目標刺激條件下，言語情緒判斷具有更好的表現；在積極情緒啟動條件下，面孔刺激能夠啟動言語刺激。研究結果表明，言語情緒與面孔情緒的加工能夠相互影響，但這種相互關系主要表現在積極情緒啟動條件下。此外，母語和非母語在情緒功能上具有差異性。