劉建榕 謝林君 鄭 琳
(1 福建師范大學心理學院,福州 350117) (2 福建省心之力心理學研究院,福州 350025)
個體適應社會生活所發展出相關能力與品質的過程稱之為個體的社會性發展(social development,SD)(陳會昌, 1994)。無論個體的認知發展狀況如何,只要其SD 未能表現出該階段應具有的發展狀態即為廣義的社會性發展遲滯。狹義的社會性發展遲滯為認知發展正常,僅SD 水平低于同齡人的狀態(劉建榕, 連榕, 2012)。本研究的對象屬于狹義社會性發展遲滯個體。
情緒韻律(emotional prosody)是一種獨立于言語內容之外的情感信息,即不考慮詞匯意義和句法結構,僅靠不同聲學參數線索的變化反映個體不同情緒狀態的情感信息(Monrad-Krohn, 1947)。它在個體社會化過程中起著重要作用,如在嬰幼兒時期情緒韻律能為個體提供重要的情感信息;5 個月大的嬰兒就對積極與消極的聲音有不同的行為反應(Fernald, 1992)。情緒韻律識別具有跨文化一致性,以英語為母語的被試識別用五種語言(英、德、漢、日語和塔加拉族語)錄制的四種情緒韻律(喜、怒、悲、懼),結果顯示被試對所有語言中的情緒韻律識別準確性均高于隨機水平(Thompson & Balkwill, 2006)。可見,個體雖會受到自身語言與文化的限制,但對情緒韻律的識別是獨立于言語理解之外的能力(Pell et al., 2009)。
對他人情緒的理解與個體的SD 息息相關。大學生處于剛完成自我同一性的建立,正為建立親密關系做準備的階段。此時,個體若能準確解讀他人情緒,并做出恰當的反應,則有助于其建立親密感。但研究發現,社會性發展遲滯大學生(college students with social delay, CSSD)情緒識別能力不足(魏碧芬, 2017)。在CSSD 的面孔情緒識別方面探究發現,CSSD 對他人面部表情的識別能力比正常個體更弱(劉建榕 等, 2018)。在六種基本面部表情中,CSSD 對憤怒表情存在識別困難的情況,這種面部表情識別障礙可能是由其在認知上無法準確感知情境中的重要視覺線索,在行為上消極逃避所造成的(魏碧芬, 2017)。除面部表情傳達情緒外,聲音也是傳達情緒常用的媒介,那么,CSSD 在聽覺通道上的情緒韻律識別又有何特點?CSSD 與社會性發展正常大學生的情緒韻律識別是否會存在差異?本研究在CSSD 面孔情緒加工研究的基礎上,進一步明確CSSD 對聲學情緒線索的認知特點。
以往研究發現,個體在對他人狀態解讀時依賴韻律信息,即存在情緒韻律識別偏好(Horta?su &Ekinci, 1992)。當他人所傳遞的情緒韻律與語義信息相矛盾時,語義信息在一定程度上影響個體對他人情緒的判斷。以往研究采用詞-韻律干擾范式,要求被試在快樂、恐懼、厭惡、驚訝、憤怒五種情緒句子與韻律一致與否的情況下判斷韻律情緒種類,發現正常被試對情緒韻律識別的準確性顯著高于孤獨癥患者,尤其是在情緒韻律與語義不一致的情況下(Stewart et al., 2013)。同時,CSSD 在與人交談過程中易受無關信息干擾(連榕,劉建榕, 2014),且有時抓不住對方話語中的重點(劉建榕, 連榕, 2014),以不太恰當的方式與人交往,造成社交困難。以上問題是否與CSSD 無法有效整合他人韻律與語義中的情緒信息有關?語義線索對CSSD 的情緒韻律識別又存在什么影響?在語音通話逐漸成為主要交流方式的今天,語義判斷顯得尤為重要。因此本研究通過控制詞與韻律之間的一致性程度,探討語義對CSSD 的情緒韻律加工存在何種影響。
實驗1 采用分類范式研究CSSD 是否對不同情緒韻律的敏感性不同,以及CSSD 對情緒韻律的辨別是否與社會性發展正常大學生存在差異。本研究提出假設1:CSSD 對不同情緒韻律的識別存在差異;假設2:CSSD 比對照組的情緒韻律識別的準確性更低。
2.1.1 被試
使用大學生社會性發展水平評定量表(修訂版),在高校中隨機發放問卷701 份,回收有效問卷666 份,其中CSSD75 名(男17 名)。從75 名CSSD 中抽取遲滯組29 名(男10 名),平均年齡20.86±0.95 歲,社會性發展水平量表得分為8.32±0.57,屬于發展遲滯;從其他被試中抽取對照組30 名(男12 名),平均年齡20.10±1.42 歲,量表得分為10.83±0.87,屬于發展中等。兩組量表得分差異顯著,t=12.89,p<0.001。
2.1.2 實驗設計
采用2(SD 水平:遲滯組、對照組)×5(情緒韻律:高興、悲傷、憤怒、厭惡、恐懼)混合實驗設計,SD 水平為被試間變量,情緒韻律為被試內變量,因變量為反應時和正確率。
2.1.3 實驗材料
大學生社會性發展水平評定量表(修訂版)。采用劉建榕(2012)編制的大學生社會性發展水平評定量表,5 點計分,因該量表項目冗長且隨時間的推移項目的實效性有所減弱,故本研究以此為藍本進行修訂。基于1078 名高校大學生對該量表結果進行項目分析、探索性因素分析、驗證性因素分析、信度分析和相關分析,保留34 個項目,歸納為3 個因素。修訂后的量表信效度良好,Cronbach’s α 系數為0.92;結構擬合良好:NC(χ2/df)=3.67,RMSEA=0.07,GFI=0.97,AGFI=0.93,TLI=0.95,CFI=0.98。此次施測的Cronbach’s α 系數為0.90。量表總分3~6 分表示發展較嚴重遲滯;6~9 分表示發展遲滯;9~12 分表示發展中等;12~15 分表示發展良好。
中性詞材料。從《新編現代漢語詞典》(吉林教育出版社, 2008 年版)選取250 個中性雙字詞,15 名不參與實驗的被試從愉悅度、喚醒度、具體性、熟悉性方面對詞匯進行7 點評定(實驗2 的情緒詞匯材料一同評定),1 為“非常不”,4 為“中等”,7 為“非常”。有效數據為13 份,1 個中性詞因被重復評定將其刪除,最終參與評定為248 個中性詞。刪除所有維度評分在3 個標準差以外的詞匯,剩余詞匯按愉悅度從小到大排列,再以愉悅度4 分為中心進行詞匯篩選,愉悅度評分相同則以熟悉性高、喚醒度低的詞匯優先,最終篩選出50 個詞匯。
情緒韻律材料。男、女專業配音員各1 名,分別用高興、悲傷、憤怒、驚訝、厭惡、恐懼六種情緒朗讀25 個中性詞并錄制。錄制全程在隔音房中進行,語音材料采樣頻率為44.1 kHz,采樣精度為16 bit。使用音頻編輯軟件Adobe Audition CC 2018 進行降噪處理及語音剪切,最終錄制男、女聲音頻各150 個。為確保韻律材料符合情緒要求,邀請15 名(男7 名)不參與實驗的被試對音頻進行情緒識別,被試平均年齡為20.80±2.73 歲。因被試難以準確識別驚訝情緒韻律,故正式實驗將驚訝情緒韻律的識別刪除。在每種情緒韻律中隨機選取20 個音頻(男聲10 個;抽象詞10 個),共100 個音頻作為正式實驗材料。最終情緒韻律材料識別正確率見表1。用Praat 軟件對實驗材料的聲學線索進行分析,各情緒韻律在音強、音高、音長這些韻律要素方面均存在顯著差異,ps<0.001。高興與憤怒韻律的音強顯著高于厭惡、恐懼及悲傷韻律,憤怒韻律呈現最高音強;高興、憤怒、恐懼韻律表現出較高的音高,厭惡與悲傷韻律表現出較低的音高;厭惡與悲傷韻律表現出較長的音長,憤怒韻律表現出較短的音長,與前人研究相符(Juslin & Laukka, 2001)。

表1 實驗1 情緒韻律材料識別正確率及其聲學特征(M)
2.1.4 實驗程序
被試在實驗室內單獨測驗。使用耳機給被試雙耳傳遞音頻,音頻呈現軟件為E-Prime 3.0。實驗分為練習(20 個試次,單個試次流程與正式實驗一致,若被試在練習階段正確率低于80% 則繼續練習)與正式實驗(2 個組塊,男、女聲各一個組塊,每個組塊50 個試次,共100 個試次)。單個試次流程:紅色注視點“+”呈現在屏幕中心800 ms,接著播放情緒韻律刺激,要求被試做出分類判斷并進行按鍵反應。被試做出判斷后,注視點消失,呈現空屏,800 ms 后進入下一個試次。若被試未在5000 ms 內做出判斷,則直接進入下一個試次。為消除順序效應,在被試間對情緒韻律材料和兩個組塊的呈現順序進行完全隨機化處理。實驗約15 分鐘。
2.1.5 數據收集與處理
數據整理,剔除數據標準:(1)剔除錯誤反應的反應時數據;(2)剔除每組條件下超過2.5 個標準差的反應時數據(方丹, 2016)。最終有效被試數據為對照組和遲滯組各27 人。所有實驗數據使用E-Prime 3.0 采集,通過Excel 2016 與SPSS22.0整理與分析,并使用OriginPro 9.1 進行作圖。
2.2.1 不同SD 水平大學生的情緒韻律識別正確率
不同SD 水平大學生的情緒韻律識別正確率的描述性統計如表2 所示。

表2 不同SD 水平大學生對不同情緒韻律的識別正確率
重復測量方差分析表明,SD 水平主效應顯著,F(1, 51)=9.08,p<0.01,=0.15,進一步檢驗發現,對照組識別正確率顯著高于遲滯組被試;情緒韻律主效應顯著,F(4, 204)=4.91,p<0.01,=0.09,進一步檢驗發現,被試對厭惡與恐懼的識別正確率不存在顯著性差異,其余情緒韻律兩兩間均存在顯著差異,具體為:被試對高興韻律的識別正確率最高,接著是憤怒、悲傷、恐懼和厭惡韻律。SD 水平與情緒韻律的交互作用顯著,F(4, 204)=2.50,p<0.05,=0.05,簡單效應檢驗發現,在識別厭惡和恐懼韻律時,兩組被試識別正確率存在顯著差異,F(1, 52)厭惡=5.16,p<0.05,=0.09;F(1, 52)恐懼=8.43,p<0.01,=0.14,對照組對厭惡與恐懼韻律的識別顯著高于遲滯組;兩組被試對高興、悲傷、憤怒韻律的識別不存在顯著差異,ps>0.05。
不同SD 水平大學生在不同性別的韻律類型中識別正確率的配對樣本t檢驗。對照組在對不同性別類型的高興、厭惡與恐懼韻律的識別上存在差異,t(26)高興=-2.75,p=0.011,Cohen’sd=0.53;t(26)厭惡=-3.72,p=0.010,Cohen’sd=0.72;t(26)恐懼=2.98,p=0.006,Cohen’sd=0.57;對照組對女聲的高興與厭惡韻律識別好于對男聲的識別,而對男聲的恐懼韻律識別好于對女聲的識別。遲滯組在不同性別類型的高興與厭惡韻律的識別上存在差異,t(26)高興=-5.11,p<0.001,Cohen’sd=0.98;t(26)厭惡=-2.66,p=0.013,Cohen’sd=0.58;CSSD 對女聲的高興與厭惡韻律識別好于對男聲的識別。
2.2.2 不同SD 水平大學生的情緒韻律識別反應時
不同SD 水平大學生的情緒韻律識別反應時的描述性統計結果如表3 所示。

表3 不同SD 水平大學生對不同情緒韻律正確反應的反應時(ms)
不同SD 水平大學生對不同情緒韻律正確反應的反應時進行重復測量方差分析,結果顯示SD 水平主效應不顯著,p=0.084;情緒韻律主效應顯著,F(4, 204)=20.01,p<0.001,=0.28,進一步檢驗發現,被試對悲傷與恐懼韻律的識別反應時差異不顯著,剩余情緒韻律兩兩之間均存在顯著差異,具體為:被試對高興韻律的識別速度最快,隨后是憤怒、恐懼、悲傷和厭惡韻律;SD 水平與情緒韻律的交互作用不顯著,p=0.861。
實驗1 關注沒有語義情緒干擾下,CSSD 在識別情緒韻律時表現出的基本特征。在日常交流中常有語義情緒不一致的情況,恰當的情緒韻律能增強語義線索,能提高他人對說話者意圖的理解(鐘毅平 等, 2011)。實驗2 采用詞-韻律干擾范式探究語義中的情緒信息是否會對不同SD 水平大學生的情緒韻律識別造成不同影響,以及不同情緒效價的語義線索造成的影響是否存在差異。本研究提出假設3:不同的語義線索對CSSD 的影響不同,CSSD 在語義與韻律不一致比語義與韻律一致的情況下更容易受到干擾;假設4:相比對照組,語義情緒線索對CSSD 的影響更大。
3.1.1 被試
被試抽取方法同實驗1,遲滯組共29 名(男10 名),平均年齡20.86±0.95 歲,使用大學生社會性發展水平評定量表(修訂版)測量得分為8.32±0.57,屬于發展遲滯;對照組共30 名(男12 名),平均年齡20.19±1.42 歲,量表得分為10.89±0.87,屬于發展中等。兩組量表得分差異顯著,t=13.20,p<0.001。
3.1.2 實驗設計
采用2(SD 水平:遲滯組、對照組)×2(詞-韻律一致性:一致、不一致)兩因素混合實驗設計,SD 水平為被試間變量,詞-韻律一致性為被試內變量,因變量為反應時和正確率。
3.1.3 實驗材料
大學生社會性發展水平評定量表(修訂版)。同實驗1。
情緒詞匯材料。情緒詞匯抽取方法和篩選同實驗1,抽取數量略有不同。從《新編現代漢語詞典》選取積極和消極雙字詞各100 個,最終篩選出的50 個詞匯材料平均分為:消極詞愉悅度1.84±0.16,積極詞愉悅度5.68±0.30,二者愉悅度差異性顯著,t=-80.45,p<0.001;消極詞喚醒度4.65±0.49,積極詞喚醒度4.78±0.43,二者喚醒度差異不顯著,t=-1.42,df=98,p>0.05;消極詞熟悉性5.91±0.32,積極詞熟悉性5.98±0.39,二者熟悉性差異不顯著,t=-1.06,p>0.05;具體性方面,消極具體詞5.76±0.67,消極抽象詞3.47±0.49;積極具體詞5.90±0.67,積極抽象詞3.65±0.27。
情緒韻律材料。情緒韻律材料錄制方法同實驗1,錄制數量略有不同,男女專業配音員分別用高興和憤怒情緒朗讀積極詞、消極詞各25 個并錄制,最終錄制男女聲音頻各100 個。刪除識別正確率低于80%的音頻,最終選取80 個音頻作為正式實驗材料,男女聲各占一半。具體包括:40 個詞-韻律一致音頻,即積極-高興音頻、消極-憤怒音頻各20 個;40 個詞-韻律不一致音頻,即積極-憤怒音頻、消極-高興音頻各20 個。用Praat 軟件對音頻進行分析,其具體聲學特征見表4。相比于高興韻律,憤怒韻律的音強更強,音長更短,t音強=-0.39,p<0.05;t音長=5.76,p<0.001;二者在音高上沒有顯著差異,p>0.05。

表4 實驗2 情緒韻律材料識別正確率及其聲學特征(M)
3.1.4 實驗程序
被試在實驗室單獨測驗。使用耳機給被試雙耳傳遞音頻,音頻呈現軟件為E-Prime 3.0。實驗包括練習(16 個試次)與正式實驗(2 個組塊,男女聲各1 個組塊,每個組塊有40 個試次)。試次流程同實驗1。為消除順序效應,在被試間對情緒韻律材料和2 個組塊的呈現順序進行隨機化處理,并對按鍵順序進行了平衡處理。實驗全程約10 分鐘。
3.1.5 數據收集與處理
正式數據分析之前,對數據進行整理,剔除每種條件超過2.5 個標準差的反應時數據,最終有效被試數據為對照組29 人,遲滯組28 人。所有實驗數據使用E-Prime 3.0 采集,通過Excel 2016 與SPSS22.0 整理與分析,并使用OriginPro 9.1 進行作圖。
3.2.1 韻律判斷下不同SD 水平大學生的情緒韻律識別正確率
以韻律判斷為標準,對遲滯組與對照組的判斷正確率進行描述性統計分析,結果如表5 所示。

表5 韻律判斷下不同SD 水平大學生的情緒韻律識別正確率
重復測量方差分析表明,SD 水平主效應顯著,F(1, 55)=6.15,p<0.05,=0.10,進一步檢驗發現,對照組被試的識別正確率顯著高于遲滯組被試;情緒韻律主效應顯著,F(1, 55)=70.17,p<0.001,=0.56,進一步檢驗發現,相比于詞-韻律不一致的情況下,被試在詞-韻律一致的情況下對情緒韻律的識別正確率更高。SD 水平與詞-韻律一致性的交互作用顯著,F(1, 55)=5.44,p<0.05,=0.09,簡單效應檢驗發現,在詞-韻律一致條件下,兩組被試對韻律的識別正確率沒有顯著差異,p>0.05,但在詞-韻律不一致條件下,對照組對韻律的識別正確率顯著高于遲滯組對韻律的識別正確率,F(1, 55)=6.07,p<0.05,=0.10。
比較不同性別韻律條件下,對照組與遲滯組的情緒韻律識別情況,獨立樣本t檢驗結果顯示,當韻律類型為男聲時,對照組與遲滯組在詞-韻律一致與不一致條件下的情緒韻律識別正確率均存在顯著差異,t(55)男聲一致=2.44,p<0.05,Cohen’sd=0.65;t(40.21)男聲不一致=2.04,p<0.05,Cohen’sd=0.54,CSSD 的情緒韻律識別正確率顯著低于對照組。當韻律類型為女聲時,對照組與遲滯組在詞-韻律一致條件下的情緒韻律識別正確率不存在顯著差異,p=0.714;而在詞-韻律不一致條件下的情緒韻律識別正確率存在顯著差異,t(44.74)女聲不一致=2.49,p<0.05,Cohen’sd=0.66,遲滯組的情緒韻律識別正確率顯著低于對照組。再比較不同詞-韻律一致性條件下,兩組大學生對男女聲韻律識別的情況,配對樣本t檢驗結果顯示,無論是詞-韻律一致還是不一致的條件下,對照組與遲滯組對男聲韻律與女聲韻律的識別均不存在顯著差異,ps>0.05。
3.2.2 韻律判斷下不同SD 水平大學生的情緒韻律識別反應時
以韻律判斷為標準,對遲滯組與對照組的識別反應時描述性統計結果如表6 所示。

表6 韻律判斷下不同SD 水平大學生的情緒韻律識別反應時(ms)
對情緒韻律識別反應時進行重復測量方差分析。結果顯示,SD 水平主效應不顯著,p=0.068。詞-韻律一致性的主效應顯著,F(1, 55)=3.48,p<0.001,=0.48,進一步檢驗發現,相比于詞-韻律一致的情況下,被試在詞-韻律不一致的情況下,對情緒韻律的識別反應時更慢。SD 水平與詞-韻律一致性的交互作用不顯著,p=0.585。
CSSD 情緒韻律識別的準確性顯著低于對照組。以往研究也發現,CSSD 對面孔情緒識別的正確率顯著低于對照組(劉建榕 等, 2018),他們在情緒識別方面存在困難,可能是因為他們的心智化能力(mentalizing)存在障礙,如連榕和劉建榕(2014)發現CSSD 在進行人際交往時,與他人互動較少,容易心不在焉,難以準確捕獲他人傳遞的信息。根據Baron-Cohen(2005)的心智化模型,個體隨著年齡增長會發展出越來越復雜的心智化能力。但CSSD 可能在共享注意機制上存在缺陷,難以整合覺察器提供的信息,導致其在情緒韻律識別過程中,不能有效地提取關鍵的聲學線索,從而造成其情緒韻律識別困難。
CSSD 的情緒韻律識別趨勢與對照組一致,正確率方面依次為高興、憤怒、悲傷、恐懼與厭惡韻律。首先,被試對高興韻律的識別成績最好,這可能是因為實驗中只有高興韻律屬于積極情緒,在沒有相似情緒干擾下,高興韻律的識別障礙相對較小(Juslin & Laukka, 2001)。其次,遲滯組被試對憤怒韻律的識別準確率與識別速度都僅次于高興韻律。情緒識別包括面部表情的識別、情緒韻律和肢體情緒的識別等,情緒韻律能夠實時地調節口語情緒詞的識別,從而調節口語情緒詞的加工(鄭志偉 等, 2013),因此遲滯組被試也許在用聲音線索來彌補視覺線索中對憤怒情緒搜索不足的影響。最后,CSSD 對厭惡韻律的識別準確性與識別速度都最差,且正確率顯著低于對照組。在SD 方面,CSSD 與孤獨癥患者、述情障礙者有許多相似的特征,如與他人相處時難以識別他人情緒,也難以針對他人情緒做出恰當反應等(劉建榕, 2012; Heaton et al., 2019)。如前文所述,這可能是因為遲滯個體大腦中缺少復雜的韻律圖式,難以有效地提取關鍵的聲學線索與之相匹配,最終造成了其對厭惡韻律的識別障礙。
不同SD 水平的大學生的情緒韻律識別都會受到語義影響,但CSSD 比對照組更容易受到語義干擾,此研究結果符合實驗假設。現實中人們常遇到語義信息與聲音情緒不一致的情況,而在此時,個體更傾向于依據聲音中的情緒線索而非話語內容來判斷說話者的情緒(Horta?su & Ekinci,1992)。實驗2 中CSSD 與對照組在判斷說話者情緒時,對韻律線索的判斷均大于隨機水平(0.5),可見,不同SD 水平大學生在面對詞-韻律不一致的情況時,都更傾向于通過韻律來判斷他人情緒。
同時,本研究發現,當詞-韻律一致時,遲滯組與對照組的情緒韻律識別沒有顯著差異;但當詞-韻律相矛盾時,遲滯組比對照組更易依據語義來判斷說話者情緒。Stewart 等(2013)的研究發現,孤獨癥患者在詞-韻律不一致的情況下,更容易依賴語義線索對情緒進行判斷。Castagna 等(2013)對于精神分裂癥患者的研究也發現,當要求被試將注意力集中于聲音所表達的情感上,忽略句子所代表的(不一致的)意義時,精神分裂癥患者的成績顯著差于正常被試。說明CSSD 也同這些特殊個體一樣,在進行情緒韻律識別時更容易表現出語義依賴效應。研究結果幫助了解CSSD 的情緒識別缺陷也存在于聲學刺激識別的層面,為后續的綜合干預提供了一定方向與啟示。
遲滯個體對語義進行加工可能是一種替代性補償。Schirmer 和Kotz(2006)認為個體在情緒韻律加工后期需要將聲學線索中的情緒信息與語義線索中的情緒信息相整合,最終達成對他人情緒的理解。CSSD 智力正常,不存在語義方面的認知障礙,但在提取與識別他人傳遞的情緒韻律信息時存在困難,故他們可能在情緒韻律與語義線索相矛盾時,用語義線索的加工彌補其在情緒韻律識別方面的缺陷。鄭志偉等(2013)的研究發現情緒韻律可以調節情緒詞的音韻編碼,因此遲滯個體可以將情緒韻律當作背景信息使用,對詞匯在語義記憶中進行激活和選擇,從而實現對語義加工的補償。
本研究主要通過行為實驗的方法,對被試外顯的行為數據指標進行考察,雖在一定程度上揭示了不同SD 水平大學生在情緒韻律識別上的差異,但仍未能了解其內在的加工機制。研究已發現個體在進行情緒韻律加工時,存在右半球優勢效應(Grandjean, 2021),故未來的研究可考慮結合ERP、fMRI 等技術,從認知神經科學角度對CSSD 在情緒韻律識別時的神經機制進行探索。
(1)CSSD 情緒韻律識別正確率趨勢與對照組一致,從高到低分別為高興、憤怒、悲傷、恐懼和厭惡韻律,但CSSD 情緒韻律識別正確率顯著低于對照組,尤其是在恐懼、厭惡韻律上。(2)詞-韻律矛盾時,CSSD 比對照組更容易受語義干擾。