聲調在漢語音節感知中的作用*

2016-02-01 09:18:34王小娟楊劍峰

心理學報 2016年8期

趙榮王小娟楊劍峰

(陜西師范大學心理學院, 西安 710062)

1 引言

口語詞匯識別是認知科學, 尤其是心理語言學研究的重要問題?；诖罅康膶嶒炞C據, 研究者提出了不同的認知理論模型(Marslen-Wilson & Tyler,1980; McClelland & Elman, 1986)和神經生理模型(Hickok, Houde, & Rong, 2011; Hickok & Poeppel,2007)。這些模型大都基于英語等非聲調語言的研究(Malins & Joanisse, 2012), 而口語詞匯不僅包含元音、輔音等音段信息, 還包含重讀、聲調、語調等超音段信息, 合理的口語詞匯識別模型需要考慮兩種信息共同作用的機制(Schulze, Zysset, Mueller, Friederici,& Koelsch, 2011)。因此, 對聲調等超音段信息加工機制的研究日益受到研究者的廣泛關注(詳見綜述Gandour, 2006; Jongman, Wang, Moore, & Sereno,2006)。

音節感知是口語詞匯識別的早期階段, 是從連續語音的聲學線索中檢測和區分出音節及其成分單元的過程。漢語音節感知需要同時覺察出結合在一起的音段(聲母、韻母)和超音段信息(聲調), 揭示聲調在音節感知中的作用能有效探討音段與超音段信息的相互作用機制。

漢語音節由聲母、韻母和聲調三部分構成, 聲母和韻母屬于音段信息(即構成音節的元音、輔音等音位信息), 而聲調屬于超音段信息, 附著在音段信息之上。研究者對聲調在心理詞典中的表征機制(Malins & Joanisse, 2012; Zhou, Qu, Shu, Gareth,& Marslen-Wilson, 2004)、兒童聲調知覺的發展(Liu,Chen, & Tsao, 2014; Meng et al., 2005)以及聲調感知加工的大腦神經機制(Kung, Chwilla, & Schriefers,2014; Luo et al., 2006)等問題都進行了初步探討。在漢語音節感知的研究中, 楊玉芳(1989)以及楊玉芳和金凌娟(1988)很早就探討了漢語聲調的知覺機制。但是, 大部分研究致力于探討聲調的范疇知覺及其影響因素(席潔, 姜薇, 張林軍, 舒華, 2009;王韞佳, 李美京, 2010), 如鄭秋晨(2014)的研究發現, 元音的內在音高會影響聲調范疇感知(T1到T2)的邊界位置。然而, 聲調與音段信息在音節感知中的共同作用還沒有得到深入地探討, 在行為與認知神經層面都缺乏相應的實驗證據。

漢語音節感知的研究發現, 聲調加工具有不同于聲母和韻母的認知機制。Meng等人(2005)對比了閱讀障礙兒童與正常兒童在加工漢語聲調、聲母與韻母時的事件相關電位(Event Related Potential, ERP)。雖然他們的研究沒有直接對比聲調與聲母、韻母的加工區別, 但從正常兒童的腦電數據可以看出, 與標準刺激相比, 聲母和韻母偏差刺激都在250 ms之后誘發了較大的負波, 而聲調偏差刺激并沒有出現此現象, 說明聲調感知可能具有與聲母、韻母不同的機制。但是, Lee等人(2012)在探討學前兒童(4～6歲)感知音段和超音段信息時發現, 聲調和韻母偏差刺激都誘發了與成人相似的失匹配負波(Mismatch Negativity, MMN), 而聲母偏差刺激誘發了失匹配的正向反應(Positive Mismatch Response, P-MMR)。Tong等人(2014)在對香港二年級小學生的研究中得到了相似的結果, 與標準刺激相比, 聲調改變的偏差刺激誘發了MMN, 而聲母變化的偏差刺激誘發了P-MMR。上述發現是基于不同年齡段的兒童知覺研究, 聲調與音段信息感知能力的發展不均衡可能成為影響結果的因素。在對成人的語音感知研究中, Li等人(2010)掃描被試在檢測聲母、韻母和聲調變化時的大腦活動, 讓被試對3個音節構成的序列和隨后出現的探測音節進行匹配, 結果發現, 與音段信息相比, 聲調加工具有獨特的大腦神經回路,更多的激活了右側額下回和頂下回區域, 從而表明了聲調與音段信息在漢語音節感知中的不同作用機制。

由于漢語聲調具有區別于非聲調語言的獨特性, 口語詞匯識別的研究者更多關注聲調在詞匯語義通達中的作用, 結果也發現聲調與音段信息在詞匯識別的作用不同。如Gandour等人(2003)要求被試判斷連續呈現的第三個音節與第一個音節的聲母、韻母和聲調是否相同, 結果發現被試在判斷兩個音節的聲調不同和韻母不同條件下的反應時間沒有差異, 而判斷聲母不同的反應時最短。雖然基于單字詞語音違反(Zhao, Guo, Zhou, & Shu, 2011)和句子尾音節違反的實驗(Brown-Schmidt & Canseco-Gonzalez, 2004)發現, 聲調、聲母與韻母違反誘發的N400成分之間沒有差異。但是, 聲調在詞匯語義通達中仍然可能具有與音段信息不同的作用機制。如有研究考察被試在聽到成語的第四個音節時出現語音違反時的腦電活動, 結果發現韻母違反誘發了N400反應, 而聲調違反誘發了晚期正成分, 表明聲調能影響到更晚期的加工成分(Hu, Gao, Ma, & Yao,2012)。使用詩歌作為實驗材料的研究得到了類似的結果, 并認為在漢語口語詞匯加工中, 聲調違反引起了對語義加工的再分析(Li, Wang, & Yang, 2014)。

聲調與音段信息的不同作用還得到了漢語詞匯產生研究證據的支持。有研究使用內隱啟動的實驗范式, 在一系列實驗中發現音節(聲調不同)對漢語雙字詞具有啟動效應, 而單獨的聲調(音節不同)并沒有內隱啟動效應, 進而認為漢語音節是詞匯產出的計劃單元, 而聲調更多是韻律結構的組成部分(Chen, Chen, & Dell, 2002)。研究發現在內隱圖片命名和語義分類任務中, 行為數據和N200腦電成分都表明口語產生中聲母信息的獲得要早于韻母和聲調, 進一步的溯源分析則發現聲母、韻母和聲調具有相對分離的腦區活動(Zhang & Damian, 2009;Zhang & Zhu, 2011)。來自腦損傷病人的研究(Liang& van Heuven, 2004)發現, 左半球損傷病人的元音產出幾乎沒有受影響, 而在聲調產出任務上表現受損, 表明了聲調與音段信息在口語產出中的不同作用來源于腦機制的差異。也就是說, 聲調和音段信息在口語詞匯產出中具有不同的作用, 而且這種不同可能源于聲調獨特的加工機制。

綜上, 語音知覺、口語詞匯識別和口語產生的研究都表明聲調具有與聲母、韻母不同的作用, 不僅反映了聲調的獨特加工機制, 而且為認知神經科學研究提供了神經生理方面的證據。有研究表明聲調與音段信息是由不同大腦半球加工完成的, 如Luo等人(2006)的ERP實驗發現, 語音知覺早期的音段信息(聲母)加工主要在左半球進行, 而聲調加工主要在右半球進行。來自詞匯產生的腦成像研究(Liu et al., 2006)也發現, 與韻母產出相比, 聲調產出的左側化程度更低。而且, 就單獨的聲調加工來說, 聲調變化需要通過音高的變化實現, 同時包含了聲學線索和言語線索, 這兩類線索在聲調加工中也可能起著不同的作用(Yu, Wang, Li, & Li, 2014)。例如, 對聲調分類知覺的ERP研究(Xi, Zhang, Shu,Zhang, & Li, 2010)發現, 相對于標準刺激, 聲調范疇內與范疇間變化的偏差刺激都誘發了MMN反應,而且右側電極比左側電極的MMN更強; 與范疇內變化相比, 范疇間的聲調變化誘發了左側電極的MMN反應, 表明聲調的聲學特征與言語特征同時誘發了MMN, 但言語特征主要由左腦負責加工。

探討大腦左右半球的信息整合機制是認知神經科學長期關注的問題, 從而探討音段與超音段信息的相互作用就成為語音感知研究的焦點。漢語語音感知的研究已經表明音節感知需要結合聲調與音段信息共同完成, 聲調會與音段信息相互影響。如Lee和Nusbaum (1993)在快速知覺分類實驗范式中發現, 語音知覺依賴于音段與超音段信息的交互作用。有研究同樣采用快速語音分類范式, 探討了聲調、聲母和韻母三者之間在語音知覺中的相互作用, 結果發現聲母和韻母對聲調的干擾效應要大于聲調對音段信息的干擾(Tong, Francis, & Gandour,2008)。當聲調與音段信息共同作用時, 已有研究發現檢測整體音節的變化(聲母、韻母和聲調都不同)要比檢測任一單獨的語音成分更容易, 比如, Li等人(2003)發現被試檢測整體音節要比檢測單獨的聲調變化反應時間更短, 在Zhao等人(2011)的ERP研究中也發現整體音節違反比單獨語音成分的違反要誘發更早的N400反應。然而, 整體音節的識別優勢是否源于語音成分的簡單相加？以及聲調在信息組合中的相對重要性如何？這些問題還沒有得到相關的研究證據, Tong等人(2008)的實驗發現聲調與韻母的整合要強于聲調與聲母的整合效應, 表明聲調與不同音段信息的組合效應不同。因此, 聲調在語音感知中究竟與音段信息如何共同作用還需要系統深入地研究。

綜上所述, 漢語聲調在音節感知中具有獨特的作用機制, 同時又依附于音段信息, 但聲調與音段信息的共同作用機制還缺乏系統地研究?，F有的大量聲調加工研究大都利用聲調區別詞匯語義的特性, 考察其在口語詞匯語義通達中的作用。然而,音節感知是由聲學信息通達詞匯語音的過程, 是相對語義通達更為早期的加工階段, 聲調是否能與音段信息一起影響音節感知還不清楚。因此, 在排除語義加工影響的情況下, 考察聲調與音段信息在音節感加中的作用機制成為本研究的出發點。本研究采用oddball實驗范式, 通過兩個行為實驗, 分別操縱偏差刺激與標準刺激變化的語音單元, 考察漢語聲調在音節感知中的作用。在oddball實驗范式下, 采用無意義的漢語音節, 可以排除聲調的語義作用, 單純探討聲調在音節感知中的作用; 而且,該實驗范式在語音感知的認知神經科學實驗中被廣泛采用, 能有效考察聲母、韻母和聲調在音節感知中的作用機制。實驗1操縱偏差刺激與標準刺激的聲母、韻母和聲調變化, 考察被試在漢語音節感知加工中對3種變化信息的覺察, 以揭示聲調和兩種音段信息的相對作用; 實驗2考察聲調與聲母、韻母共同變化時, 被試對偏差刺激的覺察, 以探討3種信息對漢語音節感知的共同作用, 實驗結果在行為層面揭示音段與超音段信息在音節感知加工中的共同作用機制。

2 實驗1 聲調在音節感知中的相對作用

2.1 方法

2.1.1 被試

在校大學生28名(4名男生, 24名女生), 平均年齡20歲(18～23)。被試的聽力正常, 視力或矯正視力正常, 無其它身心疾病。每個被試都詳細閱讀了《被試知情同意書》, 并簽字同意, 在實驗后獲得適量報酬。

2.1.2 設計和材料

采用經典的oddball實驗范式, 要求被試在一連串的音節(標準刺激)中檢測出與眾不同的音節(偏差刺激)。實驗材料由4個漢語音節組成, 1個作為標準刺激(da1), 另外3個作為偏差刺激。3個偏差刺激與標準刺激分別在聲母(ga1)、韻母(du1)和聲調(da4)上不同, 從而組成了3種實驗條件, 用來檢測被試對標準刺激的聲母、韻母或聲調發生改變時的覺察情況。4個音節的錄音材料來自同一名女性錄音人, 其普通話等級為一級乙等。錄音參數為單聲道,采樣頻率44.1 kHz, 音節時長在240～267 ms之間。后期對4個音節的聲音強度進行了標準化處理(70 dB)。

2.1.3 實驗程序

實驗過程中, 每種條件的偏差刺激各呈現54次, 兩個偏差刺激之間呈現隨機數量的標準刺激(至少5個), 標準刺激與偏差刺激呈現的次數比例為8:1, 共呈現刺激材料486次。所有實驗材料被分成3個環節(session)進行, 每個環節包含3個實驗組塊(block), 兩個組塊之間間隔15 s的靜默。每個組塊的前10次刺激固定為標準刺激, 共呈現144次標準刺激和18次偏差刺激, 3個條件的偏差刺激各呈現6次。每個組塊開始時, 屏幕中央的“+”注視符號會閃爍3次, 提醒被試注意, 隨后注視符號會一直呈現, 直到該組塊結束。呈現刺激時播放一連串的音節, 每個音節播放完有650 ms的靜音時間,被試的任務是從一串音節中檢測出與標準刺激不同的音節, 并快速而準確地按空格鍵做出反應。每個環節的持續時間大約為8 min, 被試完成全部實驗程序需要大約半小時。實驗的刺激呈現和反應記錄采用E-Prime程序實現。

2.2 結果與分析

28名被試都完成了實驗任務, 其中一名被試的錯誤率高于20%, 在最終的數據分析中被剔除,參與數據分析的有效被試為27名。在反應時數據的整理時, 首先去掉小于150 ms, 大于1500 ms可能錯誤反應的數據, 再排除正負2.5個標準差之外的極端數據, 計算每個被試在3種實驗條件的平均反應時間和正確率(結果見圖1)。對反應時和正確率數據分別進行單因素重復測量的方差分析, 條件間的多重比較采用配對樣本

檢驗進行兩兩比較,對檢驗的顯著性水平進行Bonferroni校正。從被試的反應正確率來看, 實驗任務比較簡單,被試的平均反應正確率在90%以上。單因素重復測量的方差分析結果顯示, 被試對3種變化音節的覺察正確率差異僅達到邊緣顯著(

(2, 52)=2.91,

MSE

=0.02,

=0.06, 偏η=0.10), 出現這種微弱的差異是因為對聲母變化覺察的正確率(

=90.81%,

=12.06%)比韻母變化的覺察正確率(

=95.47%,

=3.79%)稍低,

(26)=1.84,

=0.08, Cohen

=0.53。覺察聲調變化(

=94.92%,

=3.47%)與覺察聲母變化的差異不顯著,

(26)=1.65,

=0.11, Cohen

=0.47。覺察聲調變化與覺察韻母變化的差異也不顯著,

(26)=0.63,

=0.54, Cohen

=0.17。對反應時的單因素重復測量方差分析發現, 被試檢測聲母、韻母和聲調變化的反應時間存在顯著差異,

(2,52)=19.41,

< 0.01,

MSE

=11445.01, 偏η=0.43。多重比較的結果發現, 覺察韻母變化的音節(

=453 ms,

=59 ms)要顯著快于覺察聲母變化的音節(

=483 ms,

=57 ms),

(26)=4.28,

< 0.01, Cohen

=0.53, 同時也顯著快于對聲調變化音節的覺察(

=492 ms,

=59 ms),

(26)=7.13,

< 0.01, Cohen

=0.67。而在覺察聲母變化和聲調變化的音節時, 反應時間的差異不顯著,

(26)=1.30,

=0.20, Cohen

=0.16。

2.3 討論

實驗1的結果表明, 在覺察聲母、韻母和聲調單獨發生改變的音節時, 被試對韻母改變音節的覺察最敏感。實驗結果與前人在口語詞匯識別中的研究一致(Brown-Schmidt & Canseco-Gonzalez, 2004;Zhao et al., 2011), 韻母在漢語口語詞匯識別中起到最重要的作用。實驗1在反應時間上沒有發現聲調與聲母的作用差異, 在正確率上, 聲調與韻母的作用程度相同, 都比聲母的作用更強。但是, 聲調與聲母的正確率差異并沒有達到顯著, 聲調在漢語音節感知中的作用還需要進一步的探討。

同時, 結果還發現被試對韻母的覺察要顯著快于對聲母的覺察, 這與Hu等(2012)和Li等人(2014)ERP研究的結果是一致的, 都發現韻母的作用更強。但是在Gandour等人(2003)的腦功能成像研究中, 行為數據的結果與本研究的結果相反, 被試在聲母變化條件的反應時間要快于韻母變化條件。相反的結果可能來源于實驗任務的差異, Gandour等人的研究要求被試檢測連續呈現的第一個和第三個音節是否具有相同的聲母、韻母和聲調, 此時聲母在音節的起始位置就起了重要作用。在本研究的語音oddball實驗范式中, 音節的總體差異量可能具有更為重要的影響因素, 韻母在漢語音節的時長要顯著長于聲母, 所以對韻母的覺察要顯著快于聲母。

在自然語言處理研究中, 元音和輔音在聽覺感知中的相對重要性受到了研究者長期的關注, 但仍然缺乏統一的結論(詳見綜述：顏永紅, 李軍鋒, 應冬文, 2013)。在語音知覺研究領域, 對聲母與韻母的相對重要性還需要更多的實驗進行深入探討。

在現實的語音感知加工中, 聲母、韻母和聲調往往是同時發生變化的, 而超音段信息是附著在音段信息之上。因此, 實驗2將聲母、韻母和聲調信息同時發生變化的音節做為偏差刺激, 進一步考察聲調信息在語音感知中的作用。另外, 實驗1的被試大多是女性, 實驗2將在平衡被試性別的情況下進行。

圖1 覺察聲母、韻母或聲調變化的反應時間(A)和正確率(B)

3 實驗2 聲調與聲母、韻母在音節感知中的共同作用

3.1 方法

3.1.1 被試

在校大學生31名(14名男生, 17名女生), 平均年齡20歲(18～27), 均未參與實驗1。被試的聽力正常, 視力或矯正視力正常, 無其它身心疾病。每個被試都詳細閱讀《被試知情同意書》, 并簽字同意,實驗后獲得適量報酬。

3.1.2 設計和材料

采用與實驗1相同的oddball范式, 標準刺激仍然為da1, 同時構建5種不同的偏差刺激, 依次由標準刺激改變韻母(du1)、聲母+韻母(gu1)、聲母+聲調(ga4)、韻母+聲調(du4)以及聲韻調都改變(gu4)而來。之所以設計以上5種實驗條件, 是因為實驗1發現韻母改變條件的效應最強, 通過與韻母改變的對比, 可以考察聲調與聲母、韻母的同時變化是否會起到比單獨的韻母更強的作用。如果發現聲調與音段信息的結合比單獨的韻母變化更容易被覺察, 一種可能是聲調的附著作用, 另一種可能是兩種信息比韻母一種信息的作用更強。因此, 增加聲母+韻母的變化作為對比條件, 進而考察聲調與音段信息結合效應的內在機制。另外, 增加聲母+韻母+聲調的變化條件來考察是否存在多種信息結合的累加作用。

實驗材料的錄音參數與實驗1相同, 聲音的強度標準化為70 dB, 持續時間在248～281 ms之間。

3.1.3 實驗程序

刺激呈現和實驗程序與實驗1相同。5種實驗條件的偏差刺激各呈現54次, 標準刺激與偏差刺激呈現的次數比例為8:1, 每種條件下共呈現刺激486次。所有實驗刺激分3個環節(session)進行, 每個環節包含3個實驗組塊(block), 兩個組塊之間間隔15 s的靜默時間。每個組塊開始的前10個刺激固定為標準刺激, 共呈現240個標準刺激與30個偏差刺激, 5個條件的偏差刺激各呈現6次, 兩次偏差刺激之間至少間隔5個標準刺激。每個環節的持續時間約為13 min, 被試完成全部實驗程序需要大約40 min。

3.2 結果與分析

31名被試都完成了實驗任務, 其中一名被試沒有按任務要求按鍵反應, 另外有兩名被試的錯誤率高于20%, 這3名被試的數據被剔除, 最終納入數據分析的有效被試28名。在反應時數據的整理時, 首先去掉小于150 ms, 大于1500 ms可能錯誤反應的數據, 再排除正負2.5個標準差之外的極端數據, 計算每個被試在3種實驗條件的平均反應時間和正確率(結果見圖2)。對反應時和正確率數據分別進行單因素重復測量的方差分析, 條件間的多重比較采用配對樣本

檢驗進行兩兩比較, 對檢驗的顯著性水平進行Bonferroni校正。與實驗1相同, 被試對5種條件下音節變化的覺察的正確率很高, 平均都在95%以上, 5種條件間的差異僅達到邊緣顯著,

(4,108)=2.05,

MSE

=0.001,

=0.09, 偏η=0.07。條件間兩兩配對樣本的

檢驗結果(見表1)顯示, 校正之后的

值在0.05水平都沒有達到統計顯著。反應時數據的重復測量方差分析結果發現, 被試對5種刺激變化的覺察反應時差異顯著,

(4,108)=10.92,

MSE

=1951.35,

< 0.01, 偏η=0.29。多重比較的結果(見表1)表明, 覺察韻母變化的反應時間(

=444 ms,

=64 ms)最長, 與其它4種條件相比, 只與聲母+韻母變化(

=435 ms,

=67 ms)的差異在校正之后差異不顯著, 與其它3種具有聲調改變的條件差異都顯著。而聲母+韻母的同時改變與聲母+聲調的改變(

=428 ms,

=59 ms)之間的差異在校正之后不顯著, 與另外兩種具有聲調改變的條件差異都顯著。聲母+聲調、韻母+聲調(

=424 ms,

=65 ms)、聲韻調都改變(

=424 ms,

=67 ms)3種條件之間兩兩差異都不顯著。

圖2 覺察韻母變化以及組合變化的反應時間(A)和正確率(B)

表1 實驗2的反應時和正確率條件間配對樣本t檢驗結果

3.3 討論

實驗2主要考察了聲調與音段信息結合的條件下, 被試對漢語音節的知覺加工。相對于單獨的韻母變化和聲母+韻母條件, 聲調與其它音段信息的結合都促進了被試對音節變化的覺察。

在實驗1中, 聲母或聲調單獨的作用都比韻母變化要弱, 但在實驗2中二者結合之后, 被試的覺察反應時間比單獨的韻母變化條件更快。韻母+聲調的結合比聲母+韻母的結合的反應時間更快, 表明聲調附著于音段信息時, 在漢語音節感知中的作用優于聲母附著, 證明了實驗1的正確率結果, 即聲調的作用略優于聲母, 但它是通過與音段信息的結合體現。當聲調與音段信息同時改變時, 其共同作用不僅僅來源于兩種信息的簡單累加, 更多是因為聲調的影響得到了加強。從數據可以看出, 聲調+聲母的結合比聲母+韻母的結合反應時間有更快的趨勢。表明聲調在漢語音節感知中具有重要的作用,這種作用是通過聲調與音段信息結合起來共同產生的。但是, 聲調與音段信息結合的3種組合條件之間并沒有發現差異。從反應時間來看, 可能是達到了天花板效應; 從技術手段上來看, 也可能是行為實驗手段的局限所在, 敏感度不夠高。同時也說明, 當多種信息同時起作用時, 其內部加工過程還需要采用多種實驗手段進行更加深入的研究。

4 總討論

本研究探討了超音段信息(聲調)在漢語音節識別中的作用及其與音段信息的共同作用。結果發現單獨的聲調變化對于漢語音節變化的感知作用有限, 不如韻母變化。當聲調、聲母、韻母信息相結合時, 聲母與韻母的結合并不優于韻母的單獨變化,而聲調與聲母、韻母的結合均要優于對韻母單獨變化的覺察。實驗結果不僅表明聲調信息在漢語音節感知中起作用, 而且表明聲調是通過與聲母、韻母附著來共同影響音節感知。在認知行為層面提供了聲調影響音節感知的直接證據, 彌補了對漢語音節感知中聲調作用的認識不足, 同時為進一步探討音段和超音段信息的交互作用機制提供了基礎。

Oddball范式在語音分類知覺的ERP研究中被廣泛采用, 本研究采用oddball范式在行為上得到了與前人ERP實驗一致的結果。Hu等(2012)和Li等人(2014)都發現韻母違反誘發了N400, 而聲調違反更多誘發了相對晚期的P600效應, 表明聲調可能比韻母的作用時間要晚一些。本研究發現, 覺察聲調變化的時間比覺察韻母變化的時間長, 聲調在漢語音節感知中的作用不及韻母。但是, ERP研究中的行為數據無法與本研究進行直接對比。在ERP研究中, 為了保證數據的可靠性, 被試不能做即時的反應任務, 一般采用被動聽的任務。雖然有研究探討了兒童的聲調、聲母和韻母變化的腦電反應(Meng et al., 2005; Lee et al., 2012; Tong et al., 2014), 但沒有提供有效的行為反應數據。在Gandour等人(2003)腦功能成像實驗中, 行為數據的結果與本研究的結果不同。他們發現被試在漢語聲母變化的條件下反應時間最快, 韻母和聲調條件沒有差異, 這可能與他們的實驗任務相關, 因為被試要對聲母、韻母和聲調進行選擇性注意并做出判斷, 聲母由于位于音節的前面, 所以更容易被覺察, 從而不能體現出它們在音位覺察中的相對作用。也就是說, 在認知行為層面, 本研究為聲調在音節感知中的作用提供了直接的實驗證據。

采用oddball實驗范式的另一個目的是試圖利用該范式的優勢, 即前人發現MMN效應量可以反映出刺激偏差量的累積作用(N??t?nen, Paavilainen,Rinne, & Alho, 2007)。實驗2的反應時數據確實反映出了這種信息累積量的效應, 當聲調與其它音段信息同時變化時, 反應時間都要比單獨的韻母變化條件下的反應時更快。這與Li等人(2003)的研究結果是一致的, 被試對聲調變化的音節檢測時間, 要慢于聲、韻和調同時變化的音節的反應時間。

然而, 當聲調信息與音段信息分別結合時, 實驗結果并沒有發現組合條件之間的差異, 聲調+聲母, 聲調+韻母以及聲韻調三者結合的效應相等。條件間差異不顯著并不能否定內部加工的差異, 從反應時間來看, 被試對這些條件的反應都相當快速,可能達到了天花板效應, 從而無法看到條件間更細微的差別。另外一個可能的解釋是, 實驗2構建了5種條件的偏差刺激, 可能導致被試對變化覺察的標準發生改變。在多個實驗條件下, 被試以“足夠好”的標準進行反應, 從而對各條件內部的細微差別不再敏感。采用ERP等更為精確的實驗技術手段, 或許能揭示出行為實驗無法體現的條件間的內部加工機制差別(Luck, 2014)。而且, 在oddball實驗范式下, MMN不僅能反映出刺激材料在質上的不匹配,還能反映出偏差刺激的量上累積效應(N??t?nen et al., 2007)。本實驗的幾種組合條件的累積效應可能會在MMN上得到體現。而且, 通過ERP實驗技術,可以計算出兩種信息單獨誘發MMN的累加量, 考察計算出的累加結果與實際的兩種信息同時變化條件MMN進行對比, 能有效揭示出兩種信息的累加和整合機制。對這種整合機制的探討通過行為實驗很難實現。因此, 今后的研究可以考慮使用ERP技術深入探討聲調與音段信息共同作用的內部機制。

本研究一個有趣的發現是, 聲調與音段信息的結合有效促進了對音節的識別加工。與前人在口語詞匯的語義通達中的實驗發現相一致, 聲調參與并影響了口語詞匯的加工(Zhou et al., 2004)。ERP的研究發現, 聲調與音段信息的共同違反要比單獨成分的違反要誘發更早的N400成分(Zhao et al., 2011;Brown-Schmidt & Canseco-Gonzalez, 2004), 表明聲調信息可能依附于音段信息之上起作用。本研究發現聲調和音段信息的結合在音節感知中的促進效應, 并在音段和超音段信息的結合作用中發現了聲調的作用優于聲母。聲調之所以能與音段信息相結合起到更強的作用, 可能是聲調與音段信息的神經回路不同, 兩個回路信息的結合可能優于單獨神經回路的作用, 這也能解釋本研究發現的聲母+韻母的結合作用弱于聲調+音段信息這一結果。在漢語音節結構中, 韻母的持續時間明顯要比聲母的時間更長, 因而其作用會強于聲母, 聲調+韻母的變化就成為對漢語音節感知作用最強的組合。

本研究在行為層面觀察到聲調與音段信息的結合, 但對二者共同作用機制還不能給出更多的解釋。今后的研究可以嘗試使用更加敏感的實驗范式,或者使用腦功能成像等認知神經科學手段對此進行深入地探討。有研究發現超音段信息的加工是右腦優勢, 而音段信息加工是左腦優勢(Li et al., 2010;Luo et al., 2006), 這兩種信息在大腦中是如何完成整合加工的呢？來自腦損傷患者的研究表明, 超音段信息在右腦加工后通過胼胝體的后1/3傳遞到左腦, 從而實現與音段信息的整合(Sammler, Kotz,Eckstein, Ott, & Friederici, 2010)。但是, 目前對超音段與音段信息的整合機制并沒有得到統一的結論, 探討二者的整合機制是當前研究的焦點(Schulze et al., 2011)。利用漢語的聲調語言優勢,探討聲調與超音段信息整合的大腦神經機制將成為今后研究的方向。

另外, 實驗1的被試性別問題可能是另一個潛在的影響因素, 雖然沒有研究報道對音段和超音段信息的感知存在性別差異, 但是, 音調變化是情緒表達的一個重要方式(Goydke, Altenmüller, M?ller,& Münte, 2004), 女性對情緒韻律的覺察能力更強(Collignon et al., 2010), 是否同樣對聲調的覺察能力也更強, 還有待做出進一步的探討。

5 結論

本研究考察了聲調在漢語音節識別中的作用,結果發現聲調的單獨作用相對有限, 它在音節感知中的作用弱于韻母, 但它與音段信息(聲母和韻母)的結合對漢語音節識別的影響更大。表明在漢語音節感知中超音段信息與音段信息共同起作用, 而采用認知神經科學的技術和手段, 更為深入地探討兩種信息的整合機制, 不僅能揭示出音段信息與超音段信息在音節感知中的共同作用機制, 還將完善和發展口語詞匯識別的認知和神經生理模型。同時,本研究為語音感知的認知神經科學研究提供了新的研究方向。

Brown-Schmidt, S., & Canseco-Gonzalez, E. (2004). Who do you love, your mother or your horse? An event-related brain potential analysis of tone processing in Mandarin Chinese.

Journal of Psycholinguistic Research, 33

(2), 103–135.Chen, J.-Y., Chen, T.-M., & Dell, G. S. (2002). Word-form encoding in Mandarin Chinese as assessed by the implicit priming task.

Journal of Memory and Language, 46

(4),751–781.Collignon, O., Girard, S., Gosselin, F., Saint-Amour, D., Lepore,F., & Lassonde, M. (2010). Women process multisensory emotion expressions more efficiently than men.

Neuropsychologia,48

(1), 220–225.Gandour, J. T. (2006). Brain mapping of Chinese speech prosody. In P. Li, L. H. Tan, E. Bates, and O. J. L. Tzeng(Eds.),

Handbook of east asian psycholinguist

(Vol. 1, pp.308–319). Cambridge: Cambridge University Press.Gandour, J., Xu, Y. S., Wong, D., Dzemidzic, M., Lowe, M., Li,X. J., & Tong, Y. X. (2003). Neural correlates of segmental and tonal information in speech perception.

Human Brain Mapping, 20

(4), 185–200.Goydke, K. N., Altenmüller, E., M?ller, J., & Münte, T. F.(2004). Changes in emotional tone and instrumental timbre are reflected by the mismatch negativity.

Cognitive Brain Research, 21

(3), 351–359.Hickok, G., Houde, J., & Rong, F. (2011). Sensorimotor integration in speech processing: Computational basis and neural organization.

Neuron, 69

(3), 407–422.Hickok, G., & Poeppel, D. (2007). The cortical organization of speech processing.

Nature Reviews Neuroscience, 8

(5),393–402.Hu, J. H., Gao, S., Ma, W. Y., & Yao, D. Z. (2012). Dissociation of tone and vowel processing in Mandarin idioms.

Psychophysiology, 49

(9), 1179–1190.Jongman, A., Wang, Y., Moore, C. B., & Sereno, J. A. (2006).Perception and production of Mandarin Chinese tones. In P.Li, L. H. Tan, E. Bates, & O. J. L. Tzeng (eds.),

Handbook of east asian psycholinguistics

(Vol. 1, pp. 209–217).Cambridge: Cambridge University Press.Kung, C., Chwilla, D. J., & Schriefers, H. (2014). The interaction of lexical tone, intonation and semantic context in on-line spoken word recognition: An ERP study on Cantonese Chinese.

Neuropsychologia, 53

, 293–309.Lee, C.-Y., Yen, H.-L., Yeh, P.-W., Lin, W.-H., Cheng, Y.-Y.,Tzeng, Y.-L., & Wu, H.-C. (2012). Mismatch responses to lexical tone, initial consonant, and vowel in Mandarinspeaking preschoolers.

Neuropsychologia, 50

(14), 3228–3239.Lee, L., & Nusbaum, H. C. (1993). Processing interactions between segmental and suprasegmental information in native speakers of English and Mandarin Chinese.

Perception& Psychophysics, 53

(2), 157–165.Li, W. J., Wang, L., & Yang, Y. F. (2014). Chinese tone and vowel processing exhibits distinctive temporal characteristics:An electrophysiological perspective from classical Chinese poem processing.

PLoS One, 9

(1), e85683.Li, X. J., Gandour, J., Talavage, T., Wong, D., Dzemidzic, M.,Lowe, M., & Tong, Y. X. (2003). Selective attention to lexical tones recruits left dorsal frontoparietal network.

Neuroreport, 14

(17), 2263–2266.Li, X. J., Gandour, J. T., Talavage, T., Wong, D., Hoffa, A.,Lowe, M., & Dzemidzic, M. (2010). Hemispheric asymmetries in phonological processing of tones versus segmental units.

Neuroreport, 21

(10), 690–694.Liang, J., & van Heuven, V. J. (2004). Evidence for separate tonal and segmental tiers in the lexical specification of words: A case study of a brain-damaged Chinese speaker.

Brain and Language, 91

(3), 282–293.Liu, H.-M., Chen, Y. C., & Tsao, F.-M. (2014). Developmental changes in mismatch responses to Mandarin consonants and lexical tones from early to middle childhood.

PLoS One, 9

(4), e95587.Liu, L., Peng, D. L., Ding, G. S., Jin, Z., Zhang, L., Li, K., &Chen, C. S. (2006). Dissociation in the neural basis underlying Chinese tone and vowel production.

Neuroimage, 29

(2),515–523.Luck, S. J. (Ed). (2014).

An introduction to the event-related potential technique

(2nd ed.). Cambridge: MIT Press.Luo, H., Ni, J.-T., Li, Z.-H., Li, X.-O., Zhang, D.-R., Zeng,F.-G., & Chen, L. (2006). Opposite patterns of hemisphere dominance for early auditory processing of lexical tones and consonants.

Proceedings of the National Academy of Sciences of the United States of America, 103

(51), 19558–19563.Malins, J. G., & Joanisse, M. F. (2012). Setting the tone: An ERP investigation of the influences of phonological similarity on spoken word recognition in Mandarin Chinese.

Neuropsychologia, 50

(8), 2032–2043.Marslen-Wilson, W., & Tyler, L. K. (1980). The temporal structure of spoken language understanding.

Cognition,8

(1), 1–71.McClelland, J. L., & Elman, J. L. (1986). The TRACE model of speech perception.

Cognitive Psychology, 18

(1), 1–86.Meng, X. Z., Sai, X. G., Wang, C. X., Wang, J., Sha, S. Y., &Zhou, X. L. (2005). Auditory and speech processing and reading development in Chinese school children: Behavioural and ERP evidence.

Dyslexia, 11

(4), 292–310.N??t?nen, R., Paavilainen, P., Rinne, T., & Alho, K. (2007).The mismatch negativity (MMN) in basic research of central auditory processing: A review.

Clinical Neurophysiology,118

(12), 2544–2590.Sammler, D., Kotz, S. A., Eckstein, K., Ott, D. V. M., &Friederici, A. D. (2010). Prosody meets syntax: The role of the corpus callosum.

Brain, 133

(9), 2643–2655.Schulze, K., Zysset, S., Mueller, K., Friederici, A. D., &Koelsch, S. (2011). Neuroarchitecture of verbal and tonal working memory in nonmusicians and musicians.

Human Brain Mapping, 32

(5), 771–783.Tong, X. H., McBride, C., Lee, C. Y., Zhang, J., Shuai, L.,Maurer, U., & Chung, K. K. H. (2014). Segmental and suprasegmental features in speech perception in Cantonesespeaking second graders: An ERP study.

Psychophysiology,51

(11), 1158–1168.Tong, Y. X., Francis, A. L., & Gandour, J. T. (2008). Processing dependencies between segmental and suprasegmental features in Mandarin Chinese.

Language and Cognitive Processes,23

(5), 698–708.Wang, Y. J., & Li, M. J. (2010). The effects of tone pattern and register in perceptions of tone 2 and tone 3 in mandarin.

Acta Psychologica Sinica, 42

(9), 899–908.[王韞佳, 李美京. (2010). 調型和調階對陽平和上聲知覺的作用.

心理學報, 42

(9), 899–908.]Xi, J., Jiang, W., Zhang, L. J., & Shu, H. (2009). Categorical perception of VOT and lexical tones in Chinese and the developmental course.

Acta Psychologica Sinica, 41

(7),572–579.[席潔, 姜薇, 張林軍, 舒華. (2009). 漢語語音范疇性知覺及其發展.

心理學報, 41

(7), 572–579.]Xi, J., Zhang, L., Shu, H., Zhang, Y., & Li, P. (2010).Categorical perception of lexical tones in Chinese revealed by mismatch negativity.

Neuroscience, 170

(1), 223–231.Yan, Y. H., Li, J. F., & Ying, D. W. (2013). Perception of vowels and consonants in speech.

Applied Acoustics, 32

(3),231–236.[顏永紅, 李軍鋒, 應冬文. (2013). 語音中元音和輔音的聽覺感知研究.

應用聲學, 32

(3), 231–236.]Yang, Y. F. (1989). The vowels and the perception of Chinese tones.

Acta Psychologica Sinica, 21

(1), 31–36.[楊玉芳. (1989). 元音和聲調知覺.

心理學報, 21

(1), 31–36.]Yang, Y. F., & Jin, L. J. (1988). Stop consonants and tone perception.

Acta Psychologica Sinica, 20

(3), 236–242.[楊玉芳, 金凌娟. (1988). 塞輔音和聲調知覺問題.

心理學報, 20

(3), 236–242.]Yu, K. K., Wang, R. M., Li, L., & Li, P. (2014). Processing of acoustic and phonological information of lexical tones in Mandarin Chinese revealed by mismatch negativity.

Frontiers in Human Neuroscience, 8

, 729.Zhang, Q., & Damian, M. F. (2009). The time course of segment and tone encoding in Chinese spoken production:An event-related potential study.

Neuroscience, 163

(1), 252–265.Zhang, Q. F., & Zhu, X. B. (2011). The temporal and spatial features of segmental and suprasegmental encoding during implicit picture naming: An event-related potential study.

Neuropsychologia, 49

(14), 3813–3825.Zhao, J. J., Guo, J. J., Zhou, F. Y., & Shu, H. (2011). Time course of Chinese monosyllabic spoken word recognition:Evidence from ERP analyses.