語言中情緒韻律加工的研究進展

摘 要：情緒韻律在語言加工中有重要的作用。近年來，關于情緒韻律的研究主要是用一些行為和ERP實驗來探討關于情緒韻律在語言加工中的作用。我們認為，情緒韻律加工的大腦機制，主要是關于大腦兩半球在情緒韻律加工中的作用。本文總結了情緒韻律加工的時間進程問題，并展望未來對于情緒韻律加工研究的一些方向。

關鍵詞：情緒韻律 大腦機制 情緒語義 事件相關電位

韻律是語言的超音段特征，包括重音、時長、音調等幾個方面。在人類的言語交流中，人們不僅可以通過口語的語言信息來獲得所要傳遞的信息，理解說話人所要表達的情緒，而且還可以通過聲音中的音高、時長、強度和基頻等聲學線索的變化來感知說話者的情緒狀態，這些聲學線索就叫做情緒韻律。在口語交流中，情緒韻律是人類情緒的重要表達方式之一。通過情緒韻律，可以判斷一個人的情緒狀態，因此，對情緒韻律的理解在日常生活中有很大作用。

一、情緒韻律的腦機制

情緒韻律的腦機制研究很多是用一些腦損傷病人做的研究。大量的研究發現，對于情緒韻律的加工主要是定位在大腦右半球。大腦右半球受到損傷，就會導致他們對外人情緒表達的識別出現困難。隨著研究的發現表明，左半球也會對韻律進行加工。

Bryan（1989）實驗發現，當音段信息減少，判斷時對于語調提供信息的依賴性增強，右半球損傷的病人對其實驗任務的完成遠遠差于左半球損傷的病人；當音段信息保留時，情況相反。這說明右半球主要負責相關句子層面語言的韻律加工。Robin（1990）發現左側聽覺皮層損傷的病人對于完成感知時間信息的實驗任務完成較差，卻能很好地完成涉及感知頻譜信息的實驗任務；右側聽覺皮層損傷的病人完成情況則相反。由于語音加工側重于時間的分析，韻律加工側重對頻譜的分析，所以，語音加工具有左半球偏側化，韻律加工具有右半球偏側化。Liang（2004）對說漢語的左半球損傷的病人進行研究，發現該類病人的元音感知存在缺陷，但對詞匯聲調的感知完好。另外，Law（2001）對于說廣東話的腦損傷病人的研究及劉麗等（2004）對普通話聲調加工實驗也都得到相似結論。

Marc D.Pell（2005）提出，左右兩半球的損傷都會導致對韻律理解產生困難，但是他提出，右半球受到損傷，會導致更大程度上對于韻律刺激的情緒性特征的不敏感。也就是對于韻律特征的分析主要集中在右半球，然而左半球的損傷會導致對于語義和韻律信息的整合表征的解釋出現困難。Marc D.Pell的實驗中的被試是由于血栓阻塞而導致左右半球受到損傷的病人和配對的正常人。實驗材料分為兩種：一種是韻律聲音，是一種沒有語義內容的句子，分別用情緒語調讀出材料。例如，用“高興、悲傷”等語調讀出來。第二種是語義/韻律聲音，語義本身是有意義的，然后用與句意匹配的語調讀出來，（例如，“我今天得了獎狀”，與它一致的就是用高興的語調把這個句子讀出來）。所有的句子都用“高興、驚奇、生氣、厭惡和悲傷”五種情緒語調讀出來。實驗共設計了三種任務來研究腦損傷的人對于情緒韻律的識別。第一個任務是情緒辨別。這個任務中選用的實驗材料就是單獨的無意義內容的韻律。實驗時，成對出現無意義詞匯，讓被試聽30對實驗材料（15對相同的，15對不同的）。被試判斷是否相同，進行按鍵反應。第二個任務是命名任務，分為兩組，一組是用無意義內容的詞讓被試按照情緒語調進行情緒命名。第二組是用有語義信息內容的詞進行命名。第三個任務是情緒的等級評定。實驗材料是一些純音，就是無意義內容的材料，讓被試先聽一個情緒，在這個基礎上，在六點等級量表上評定每一個情緒韻律的程度。最后分析得出左右兩半球的損傷都會導致對韻律理解產生困難，但是右半球受到損傷，會導致更大程度上對韻律刺激的情緒性特征的不敏感。然而，左半球的損傷會導致對于語義和韻律信息的整合表征的解釋出現困難。

最近，有的研究證據表明，與情緒相關的聲學線索，如頻率和時間信息具有不同的大腦單側化，例如右半球損傷患者在加工情緒韻律信息時普遍地依賴于時間線索，而左半球損傷患者則更多地依賴于基頻。換句話說就是，左半球似乎在更廣的時間范圍內加工韻律信息，因而能夠覺察言語信息的快速變化，而右半球則特異化于音調加工（Schirmer，2004）。關于韻律加工的失語癥，臨床研究發現腦功能區主要涉及右半球皮層。

二、情緒韻律加工的進程

在情緒韻律的加工中主要涉及到了兩個層次的韻律加工：韻律的情緒和語義的情緒。

韻律和語義都是口語聲音中情緒信息重要的傳遞通道。人們在對口語信息加工的過程中，對語義情緒信息和韻律信息的加工，在時間上的關系進行了大量研究，經典的就是用情緒加工的Stroop效應這樣的范式進行的，在Stroop效應研究中反映了情緒語義加工的自動性，情緒韻律也會引起不隨意的加工偏向（Grandjean，et al.，2005）。

對韻律和情緒韻律語義的聯合加工在大腦中有不同的反應，也就是說，對韻律信息的反應會出現不同的時間進程。Sike Paulmann在句子水平上對情緒韻律和情緒語義/韻律的聯合加工的時間進程進行了研究，實驗材料是通過cross-splicing這種方法來進行呈現的。結果發現，情緒性韻律的預期違反會引起一個獨立于基本情緒韻律和朗讀者聲音的一個右偏轉正走向的ERP成分。另外，綜合的情緒性韻律/語義的預期違反會產生一個在整個頭上分布的負波。實驗材料是六種基本情緒（生氣、害怕、厭惡、幸福、高興、驚奇、悲傷）和中性情緒（分別30個句子），分別用了語義和韻律匹配刺激（210個詞匯句子，210個假句子）。有兩種實驗條件，一種是韻律預期違反條件。我們把一個假句子的開始部分用中性的語調，第二部分也就是假句子末尾用情緒性韻律的語調來讀（也就是每個句子都是由這兩部分組成的）。第二種條件是語義和韻律結合的預期違反條件。把語義/韻律的句子用中性語調讀出句子的開始部分和用與句子韻律相匹配的語調讀出后半句。實驗過程是讓被試在一個聲音實驗室，距離電腦屏幕115厘米。句子通過耳機呈現出來，句子出現后會呈現出一個視覺刺激300ms，不管視覺探測單詞是否在句子出現前呈現，被試都要盡可能快地做出反應——平衡按鍵的反應。用實驗的進程系統來操控實驗，分析韻律預期違反時，選擇的是700ms到1000ms。結果發現，與匹配句子相比，所有的情緒性韻律不匹配句子在右半球電極中有一個正走向的ERP效果。結果也表明，只有由男性聲音讀出的不匹配生氣的句子，才能對于不匹配句子引發一個雙側的正波。而語義韻律結合的預期違反，選擇的是450ms到650ms，對加工的波形進行分析就會發現，由男性和女性讀出的句子之間ERP振幅差異顯著。而且，對于韻律和語義結合的不匹配的句子，表現出了整個頭分布的負走向ERP效應。

對于情緒韻律的研究主要是韻律與語義情緒的加工過程。在這個過程中，以前對于情緒性韻律和情緒性語義的整合研究只是通過跨模型操作來進行，然而，這種方法不能反映不同信息類型的整合。通過cross-splicing這種方法的應用來研究不同信息類型的整合和跨時間的發展，能進行時間分析，能給予更多的直接整和的方法。目前研究的目標是證實和說明沒有語義的情緒性韻律和有語義的情緒性韻律的綜合的時間進程。同時也用來檢測隨著情緒效價的功能性或者說話者的性別的變化信息類型的預期違反。目前的實驗結果證實了以前的ERP效應，而且也進一步說明了男性和女性使用六種基本情緒讀出的假句子。這個結果表明在不同的時間進程中大腦有不同的反應：1.情緒性韻律預期沒有實現；2.情緒性語義和情緒性韻律的預期沒有實現。ERP效應在兩個條件下產生，展示出了不同的時間進程、形態和極性。

對于語義情緒和韻律情緒內容的整合研究，未來的一些研究方向是要進一步來探討其時間過程，而且在研究過程中要研究這種韻律加工在漢語中是否也會存在這種效果。漢語與英語或者其他外語有很大不同，屬于不同的語系，所以對于外部效度的推廣還有待提高。

參考文獻：

[1]江愛世，陳煦海，楊玉芳.言語情緒韻律加工的時間進程[J].心

理科學進展，2009，（17）.

[2]于澤，韓玉昌，任桂琴.韻律在語言加工中的作用及其神經機制

[J].心理科學進展，2010，（18）.

[3]王穗蘋，黃紅清，吳烈堅.大腦兩半球在語言加工中的作用[J].

華南師范大學學報（社會科學版），2005，（5）.

[4]楊潔，舒華.言語韻律加工的ERP研究[J].心理學探新，2009，

（2）.

[5]劉麗，彭聃齡.漢語普通話聲調加工的右耳優勢及其機理：一項

雙耳分聽的研究[J].心理學報，2004，（3）.

[6]Marc D.Pell.Cerebral mechanisms for understanding emotional

prosody in speech[J].Brain and Language，2006，（96）.

[7]Robin DA.Tranel D.Damasio H.Auditory perception of temporal

and spectral events in patients with focal left and right cerebral lesions[J].Brain and Language，1990，（39）.

[8]Liang J.van Heuven VJ.E.vidence for separate tonal and

segmental tiers in the lexicalspecification of words: A case study of a Brain-damaged Chinese speaker[J].Brain and Language，2004，（91）.

[9]Marc D.Pell.Cerebral mechanisms for understanding emotional

prosody in speech[J].Brain and Language，2006，（96）.

[10]Silke Paulmann.SonjaA.Kotz.An ERP investigation on the

temporaldynamicsof eprosody and emotional semantics in pseudo-and lexical-sentence context[J].Brain and Language，2008，（105）.

（賈丹丹 北京 首都師范大學心理系100048）