聲調的范疇知覺及其神經機制*

吳 倩 王韞佳,2

?

聲調的范疇知覺及其神經機制*

吳 倩1王韞佳1,2

(1北京大學中國語言文學系) (2北京大學中國語言學研究中心, 北京 100871)

語音范疇知覺是指聽者能夠區分不同音位范疇的刺激而不能區分同一范疇內的不同刺激。聲調知覺的范疇化程度可能與刺激的聲學相似度有關, 相似度越高則知覺的范疇化程度越低。除了聲調本身的特征外, 影響聲調知覺范疇化的因素還包括母語背景、年齡、刺激所在語境和刺激屬性(語言和非語言)。電生理技術的使用加深了聲調范疇知覺的研究, 并有助于解決一些長期存在爭議的理論問題。

聲調; 范疇知覺; 神經機制

語音的范疇型知覺模式最早是由Liberman及其同事提出的(Liberman, Harris, Hoffman, & Griffith, 1957), 該術語是指在聲學連續統中, 連續的語音刺激被感知為若干離散范疇中的一個, 聽者能夠區分屬于不同范疇的刺激, 但不能很好地區分屬于同一范疇的刺激(Studdert-Kennedy & Shankweiler, 1970)。與范疇型知覺相對的是連續型知覺, 即連續的語音刺激不能被感知為離散范疇中的一個, 聽者對等間距刺激的區分度始終是相同的。

早期的語音范疇知覺研究主要集中在音段上, 例如, 大量研究表明人們對輔音的感知屬于范疇型感知, 對元音的感知則屬于連續型感知(例如, Fry, Abramson, Eimas, & Liberman, 1962; Liberman et al, 1957)。1976年, 王士元發現, 被試對北京話陰平和陽平的感知也屬于范疇感知(Wang, 1976), 從此聲調的范疇感知問題也成為語音范疇知覺研究的熱點之一。進入新世紀之后, 隨著腦神經科學的發展, 電生理學的研究方法使得探究聲調知覺行為背后的神經機制成為可能。本文將對有關聲調范疇化問題及其影響因素的研究進行評述。

1 聲調知覺的范疇化研究

1.1 行為研究

由于技術的原因, 早期的范疇感知研究都是基于行為實驗的, 對刺激的辨認和區分是范疇感知實驗的兩個組成部分。典型的范疇型感知在辨認率曲線和區分正確率曲線上的特點分別是：(1)跨范疇邊界的兩個相鄰刺激的辨認率差別遠遠大于處于邊界同側的兩個相鄰刺激的辨認率差別; (2)在聲學距離相同的情況下, 跨范疇的兩個刺激的區分正確率高于處于范疇同側的兩個刺激的區分正確率(Liberman et al., 1957)。

關于聲調的范疇知覺, 學界已有大量行為實驗的研究。聲調的感知究竟是范疇化的還是連續型的, 這一問題在20世紀70年代后期曾經有過激烈爭論。王士元通過研究北京話陰平和陽平的知覺, 率先提出了聲調知覺是范疇型感知的假設(Wang, 1976)。然而, Abramson (1979)對泰語聲調的研究表明, 泰語中三個平調的辨認雖然是范疇型的, 但區分曲線上都未出現范疇邊界處的區分高峰, 因此他認為泰語的平調感知是非范疇型感知。

進入21世紀, 聲調的范疇感知問題再次引起許多研究者的關注。在漢語普通話和漢語方言聲調的研究中, 范疇型感知的實驗結果屢見不鮮(例如, 蔡雯清, 2016; Francis, Ciocca, & Ng, 2003; Hallé, Chang, & Best, 2004; 劉思維, 2015; Peng et al., 2010; 覃夕航, 2012; Shen, 2015; Wang, 1976; 王韞佳, 李美京, 2010; 王韞佳, 覃夕航, 2015; Xi, Zhang, Shu, Zhang, & Li, 2010; Xu, Gandour, & Francis, 2006; 張林軍, 2010)。然而, 也有研究者得到了非范疇型的結果, 例如Francis等人(2003)對粵語三個平調以及兩個升調的研究結果都與泰語平調的感知結果類似。王韞佳和覃夕航(2015)對普通話陽平?上聲的感知研究也得到了辨認率和區分率不一致的結果, 對此她們提出一個假設, 即調形相似(聲學相似)的聲調之間不存在清晰的區分范疇邊界。根據該假設, 劉思維(2015)在對北京話、重慶話和天津話聲調的感知研究中區分了相異調形和相似調形, 結果表明, 相異調形的感知呈現出典型的范疇化特征, 但相似調形的感知結果卻呈現出弱范疇化或非范疇化的特征。蔡雯清(2016)對合肥話聲調的研究結果也支持王和覃提出的假設。

關于聲調知覺是否具有范疇化特征, 前人的研究結果出現了不一致。造成前人結果不一致的一個重要原因是前人所用的聲調類型不同, Francis等人(2003)認為, 曲折調的感知呈現范疇型特征, 而平調的感知則具有連續型特征。然而, 粵語兩種升調的感知(Francis et al., 2003)以及普通話陽平?上聲連續統的感知(王韞佳, 覃夕航, 2015)卻得到了與泰語平調相類似的結果。由此可見, 聲調知覺的范疇化程度可能并不僅僅與聲調的類型(平、升、降以及更復雜的曲拱類型)相關, 而是與兩個聲調的音高曲拱是否具有相似性相關：兩個聲學相似度低的聲調之間可能存在較為清晰的知覺范疇邊界, 而聲學相似度高的聲調之間則不存在清晰的知覺邊界。因此, 相比于以往在聲調范疇研究中區分平調和曲折調, 區分相似調形和相異調形(這里的調形特指聲調在聲學層面的音高走向, 而不是音系學層面的聲調類型)更便于解釋知覺結果。

聲調連續統的設計也會影響聲調的知覺模式。對聲調的知覺, 實際上是對某種聲學線索組合的知覺(比如終點音高、起點音高等), 不同的連續統設計可能會對不同的聲學線索進行改變, 而被試對不同聲學線索的敏感程度是不同的, 這就會造成知覺結果的差異。例如, 王韞佳和覃夕航(2015)比較了不同的刺激設計對陽平?上聲連續統感知的影響, 她們以降升調的拐點位置為自變量, 在不同的下降段降幅和上升段升幅條件下觀察聲調知覺的范疇化程度, 結果表明, 在特定下降段降幅和上升段升幅條件下, 陽平和上聲的知覺才會呈現弱范疇感知的特點。

另一個值得注意的結果是, 在多數針對兩個聲學層面具有較大相似性的聲調的行為實驗中, 辨認實驗的結果都遠遠好于區分實驗的結果。從前人的結果看, 區分實驗結果在很大程度上與記憶機制有關。首先, 記憶中的音高衰減會影響一部分區分結果(Francis & Ciocca, 2003)。其次, 人們對于聲調在語流中的各種變異的記憶也會影響一部分區分結果(王韞佳, 覃夕航, 2015)。因此, 如何評估經典范疇知覺實驗中區分結果的可靠性, 是一個很值得研究的問題, 它既有理論層面的重要性, 也有技術層面的必要性。而從前人對區分實驗結果不符合理論預期的分析看, 在兩個相似調形的范疇感知實驗中, 區分結果與辨認結果的矛盾幾乎是傳統的范疇感知實驗范式所難以克服的。此外, 還有一個技術層面的問題值得研究, 即區分實驗結果中的個體差異, 劉思維(2015)在她的研究中嘗試性地對個體差異進行了簡單分析, 她發現, 區分實驗結果中沒有出現區分高峰, 并不一定是聽者不能很好地區分跨范疇的刺激, 有時候是因為不同聽者感知到的范疇邊界的位置不同, 因此在結果的均值中, 個體所具有的峰值就被削平了。

1.2 ERP研究

隨著腦神經科學的發展, 電生理學的研究方法使得探究聲調感知行為背后的神經機制成為可能。ERP技術具有較為精確的時間分辨率, 可以用此探究聲調范疇知覺的加工過程。到目前為止, 已有很多研究使用ERP技術對聲調范疇知覺模式展開探究(例如Chandrasekaran, Krishnan, & Gandour, 2009; Kaan, Barkley, Bao, & Wayland, 2008; Shen, 2015; Wu et al., 2015; Xi et al., 2010; Zhang et al., 2011; Zhang, Xi, Wu, Shu, & Li, 2012)。

一些ERP研究表明, 聲調母語者對母語聲調的知覺呈現范疇化特征, 具體表現為, 與范疇內偏差刺激相比, 范疇間的偏差刺激可以誘發更大的電生理反應(Shen, 2015; Xi et al., 2010; Zhang et al., 2012)。例如, 在前注意階段, Xi等人(2010)考察了漢語普通話陽平?去聲連續統的范疇知覺, 結果表明, 與標準刺激相比, 在大腦前?中區域的雙側腦區, 范疇內和范疇間刺激都可以誘發出MMN成分, 并且, 范疇間刺激在左側腦區能夠誘發更大的MMN成分。基于ERP的研究還可以區分大腦對聲學信息和音系范疇的不同加工, Yu, Wang, Li和Li (2014)使用與Xi等人(2010)相類似的連續統設計, 分別考察了這兩種層面的信息對漢語聲調范疇知覺的作用, 結果表明, 音系范疇和聲學差異對MMN成分的波幅都存在顯著的影響, 而對于MMN成分的潛伏期, 只有音系范疇存在主效應。他們認為, 這兩種層面的信息在漢語聲調知覺過程中起著不同的作用, 聲學信息只會影響聲調加工的程度, 而音系范疇既會對聲調加工程度產生作用, 也會影響聲調加工的時程。綜上來看, 在非注意加工階段, 聲調的知覺過程不僅僅依據聲學信息, 也在一定程度上依賴語言層面的信息(Jia, Tsang, Huang, & Chen, 2015)。

在注意加工階段, 范疇內偏差刺激和范疇間偏差刺激也會誘發不同的電生理反應(Shen, 2015; Zhang et al., 2012)。Zhang等人(2012)的研究結果表明, 被試對漢語聲調連續統進行反應時, 范疇內偏差刺激在左、右雙側都誘發了N2a和P3a成分, 并且范疇間偏差刺激在大腦左側誘發了更大的電生理反應, 反映了注意加工階段對語言信息的加工。Shen (2015)也指出, 不管是在早期的前注意階段, 還是較晚的注意階段, 普通話母語者對漢語聲調的知覺都呈現出范疇型知覺模式, 范疇間偏差刺激比范疇內偏差刺激誘發了更大的電生理反應。

然而, 另外一些研究卻得到了不同的結果。Chandrasekaran等人(2009)對漢語普通話陰平和陽平(T1和T2)的感知研究結果表明, 范疇內條件下誘發的MMN大于范疇間條件下的結果。該研究結果與其他結果不同, 可能是因為刺激差異導致的。在大多數的研究中, 范疇內和范疇間的刺激與標準刺激在聲學層面的差異是相同的, 即標準刺激在聲學空間上居于范疇內偏差刺激和范疇間偏差刺激中間的位置。但該研究所用的范疇間刺激與標準刺激在聲學上更加相似, 因此得到了相反的結果。Zheng等人(2014)對比了語言刺激與非語言刺激的范疇知覺, 他們發現, 非語言的范疇間刺激比范疇內刺激誘發了更大的晚期失匹配成分(late mismatch component), 而語言刺激的知覺則不存在這種范疇效應。

與行為實驗的情況相類似, 基于ERP的研究結果也出現了分歧。由上文可知, 部分研究結果表明, 聲調的知覺具有范疇化特征, 表現為范疇間偏差刺激比范疇內偏差刺激誘發的電生理反應更大(Shen, 2015; Xi et al., 2010, Zhang et al., 2012); 而另一些研究則沒有得到這種范疇效應(Zheng et al., 2014), 甚至得到與之相反的結果(Chandrasekaran et al., 2009)。我們認為, 造成這些差異的重要原因是聲調加工過程存在階段性, 即前注意階段和注意階段。在注意加工階段, 聲調的知覺模式是范疇型的, 即在該階段, 聲學信息和音系信息都得以加工, 以往的研究對此爭議較小。這里值得注意的是前注意階段的結果, 在前注意階段, 是否存在音系信息的加工是問題的關鍵所在。如果該階段能夠對音系層面信息的加工, 那么范疇間刺激誘發的電生理反應就會更大; 如果該階段只對聲學層面的信息進行加工, 范疇效應就會較小甚至不出現。到目前為止, 在前注意階段是否存在語言層面的信息加工, 學界的看法仍未達成一致。

對于語音信號的加工過程, 有研究者提出了兩階段模型(two-stage model) (Luo et al., 2006), 該模型認為, 在早期自動加工階段, 右腦對低層次的聲學信息進行加工, 因此加工優勢位于大腦右半球; 但到了注意階段, 較高層次的語言信息獲得加工, 加工優勢位于大腦左半球(Luo et al., 2006)。前文所述的研究結果部分驗證了該模型的合理性, 但是, 前注意階段是否存在語言信息的加工, 仍有待于進一步的研究。

2 影響聲調范疇知覺的非聲調因素

上文討論了聲調本身的特征以及聲調加工的階段性對聲調范疇知覺的影響。本節將討論影響聲調知覺模式的幾種非聲調因素：母語背景、年齡、聲調所處語境以及刺激屬性(語言刺激或非語言刺激)。

2.1 母語背景對聲調范疇知覺的影響

大量行為實驗的結果表明, 被試的語言經驗會影響聲調的知覺。與非聲調母語者相比, 聲調母語者感知母語聲調時的范疇化程度更高(例如, 普通話 vs英語：Mattock & Burnham, 2006; Xu, Gandour, & Francis, 2006; 普通話 vs. 法語：Hallé et al., 2004)。而非聲調語言的母語者對聲調進行范疇感知時, 存在一定的困難(Hallé et al., 2004; Zou, Zhang, & Cao, 2012)。Hallé等人(2004)對中國臺灣漢語母語者的研究顯示, 法語母語者對聲調的感知主要依賴物理層面的聲學參數的差異, 對聲調范疇的感知明顯弱于中國臺灣漢語母語者。Zou等人(2012)對普通話陽平?上聲連續統的研究結果也表明, 漢語母語者呈現范疇知覺, 而日語母語者的范疇化傾向不明顯。

母語背景會對聲調范疇知覺產生影響, 那么, 母語的聲調經驗是否可以遷移到非母語聲調的知覺過程中呢？張林軍(2010)考察了韓國、日本和泰國留學生對漢語聲調的感知, 結果表明, 零起點的韓國和日本留學生的知覺是連續型的, 泰國留學生則表現出一定的范疇化特征, 但與漢語母語者的知覺模式存在差異。Peng等人(2010)進一步比較了語言和方言背景對漢語陽平?陰平連續統和去聲?陰平連續統知覺的影響, 結果表明, 普通話、粵語和德語三組母語者, 范疇邊界的位置沒有差異, 但聲調母語者的范疇邊界寬度顯著小于德語母語者, 這表明聲調語言母語者感知這兩種聲調的范疇化程度比非聲調母語者高, 而兩種方言母語者之間的范疇化程度沒有差異。Zheng (2010)比較了粵語、普通話和法語母語者對粵語平調的知覺模式, 結果表明, 粵語母語者呈現出范疇知覺模式, 普通話母語者的范疇化特征較弱, 法語母語者則是連續知覺模式。Shen和Froud (2016)的研究考察了三組被試(漢語水平較高的英語母語者、完全不懂漢語的英語母語者和漢語母語者)對普通話聲調的范疇知覺模式, 結果顯示, 漢語母語者表現出典型的范疇知覺模式, 不懂漢語的英語母語者辨認的范疇邊界比其他兩組被試更寬, 且沒有出現區分高峰。漢語水平較高的英語母語者呈現出與漢語母語者相似的范疇知覺模式。王韞佳、劉思維和卿瑋(2017)對兩種漢語方言研究的結果表明, 重慶話母語者感知普通話陰平和陽平的模式為范疇型, 但范疇化程度不及普通話母語者, 她們認為這個差異是重慶話聲調系統中不存在高平調和升調的對立所導致的。

語言經驗或者母語背景對語音范疇知覺的作用在ERP研究中也被發現。大量實驗結果表明, 音段(輔音、元音等)和超音段(語調、聲調等)加工過程中誘發的知覺電生理反應都會受到被試語言經驗的影響(Bidelman, Gandour, & Krishnan, 2011; Bidelman & Lee, 2015; Chandrasekaran, Krishnan, & Gandour, 2007; Kaan et al., 2008; Krishnan, Gandour, Xu, & Suresh, 2017; Xu, Gandour, Talavage et al., 2006)。例如, Chandrasekaran等人(2007)的研究結果表明, 在T1/T3(T3為偏差刺激)條件下, 普通話母語者比英語母語者產生了更大的MMN成分。Bidelman和Lee (2015)考察了母語背景和上下文語境對漢語陽平?上聲連續統知覺的影響, 結果表明, 與英語母語者相比, 普通話母語者在進行聲調范疇判斷時, 產生了更大的腦電反應, 因此他們認為, 早期的聽覺皮質活動受到母語背景的影響。Zheng等人(2014)發現, 在對非語言刺激的非注意加工過程中, 粵語母語者在范疇間刺激條件下產生了更大的電生理反應, 而普通話母語者則沒有出現范疇效應。造成該結果的原因可能是, 粵語母語者受到母語音系的影響, 能夠更好地區分音高高度和斜率的變化。Zheng, Minett, Peng和Wang (2012)考察了普通話母語者和粵語母語者對粵語聲調的范疇知覺模式, 結果表明, 在注意條件下, 范疇間偏差刺激和范疇內偏差刺激誘發的電生理反應也會受到被試語言背景的影響, 只有粵語被試表現出了范疇效應, 范疇間偏差刺激誘發了更大的P300成分。

從行為結果可以看出, 母語的聲調經驗能夠擴展到非母語聲調的知覺中, 聲調語言和非聲調語言的被試感知非母語聲調存在差異, 非聲調母語的二語習得者能夠發展出聲調的范疇知覺模式。但需要注意的是, 母語聲調系統的復雜程度以及母語聲調中的對立種類也會影響到聲調的知覺模式。例如, Peng等人的結果表明, 普通話和粵語母語者對普通話陽平?陰平和去聲?陰平連續統的知覺模式沒有顯著差異(Peng et al., 2010), 但Zheng的研究結果顯示, 普通話母語者感知粵語平調的范疇化程度比粵語母語者低(Zheng, 2010)。我們認為, 該結果可能是普通話和粵語聲調系統的差異造成的, 粵語有9個聲調, 其中有6種聲調是依靠音高互相區別的, 而普通話只有4個聲調。在感知聲調對立種類比母語少的普通話聲調時, 粵語母語者與普通話母語者沒有差異; 而在感知聲調對立種類比母語多的粵語聲調時, 普通話母語者的范疇化程度就比粵語母語者低了。上文提到的王韞佳等人(2017)的研究結果表明, 即便母語聲調系統中的聲調音位數目與非母語者聲調一致(重慶話和普通話都是4個聲調), 如果對立的具體情況不同, 在感知非母語聲調時范疇化程度依然會稍低。

基于ERP的研究結果對于母語經驗在聲調范疇知覺中的作用有了更深入的揭示, 大量結果表明, 在前注意階段, 母語背景對聲調知覺的影響已經開始起作用, 早期的皮質活動也會受到母語經驗的影響。我們認為, 這些結果可以有兩種解釋：一種解釋是, 在前注意階段, 對聲調的知覺既有聲學信息的加工, 也有語言信息的加工, 因此母語背景可以通過語言信息的加工過程對知覺模式產生影響。具體來說, 聲調母語者由于母語系統中存在這種音系層面的范疇差異, 在聲調知覺過程中更加容易感知到范疇的差異, 從而產生更大的電生理反應, 而非聲調母語者長時記憶中沒有這種范疇概念, 因此也不會出現范疇效應。第二種解釋是, 在前注意階段, 只有聲學信息的加工, 沒有語言信息的加工。母語經驗之所以會存在顯著影響, 是因為聲調母語者長期受到母語聲調系統的影響, 對某些聲學參數的變化更加敏感, 因此, 即便不存在語言層面的信息加工, 聲調母語者對某些聲學參數的高度敏感也會導致范疇效應。總之, 在非注意階段, 母語背景是通過何種方式對聲調的范疇知覺產生影響的, 仍有待于更加深入的實驗研究。

2.2 年齡對聲調范疇知覺的影響

年齡也是影響聲調范疇知覺的一個重要因素, 在生長發育的不同階段, 聲調的知覺會呈現出不同的模式。語音知覺發育的研究表明, 在出生后的第一年中, 嬰兒會出現語音知覺重組(perceptual reorganisation)現象, 即在出生初期, 嬰兒對母語和非母語的語音都能夠區分, 但隨著母語的輸入的增加, 嬰兒會逐漸失去辨別非母語語音的能力。以往的研究表明, 嬰兒對非母語輔音知覺能力的下降出現在6個月左右(Polka & Werker, 1994), 而對元音的知覺會更早表現出該特點(Rvachew, Alhaidary, Mattock, & Polka, 2008)。

關于聲調知覺, Mattock和Burnham (2006)考察了6個月和9個月大的英語嬰兒和漢語嬰兒對泰語升調與降調、升調與平調的區分能力, 結果表明, 中國嬰兒的聲調知覺能力不斷增強, 而英語嬰兒的聲調知覺能力逐漸減弱, 6~9月齡時兩者的聲調識別成績已表現出顯著性差異。為了進一步驗證非聲調語言的嬰兒對聲調辨別能力的下降是否早于6個月, Mattock, Molnar, Polka和Burnham (2008)考察了4個月、6個月和9個月的英語和法語嬰兒, 結果表明, 英語和法語嬰兒聲調辨別能力的下降的確出現于6~9月之間。Yeung, Chen和Werker (2013)比較了母語為英語、普通話和粵語的嬰兒對粵語聲調的知覺能力, 結果表明, 英語嬰兒在4~9個月期間對聲調的區分能力持續下降, 在此期間普通話嬰兒和粵語嬰兒都能夠區分聲調, 但不同方言背景的兩組嬰兒在4個月左右就開始表現出母語偏好。Liu和Kager (2014)的結果有所不同, 他們發現, 非聲調語言(荷蘭語)的嬰兒對聲調的感知表現出U-型的發展模式, 即嬰兒在5~6個月時可以對聲調進行區分, 到9個月左右, 他們對聲調的敏感有所退化, 但長到17~18個月時, 聲調的知覺能力又得以恢復。

近年來, 學界也開始使用電生理的方法研究嬰兒言語知覺過程的神經機制。Friederici, Friedrich和Christophe (2007)比較了4個月大的德語嬰兒和法語嬰兒對重音模式的感知, ERP結果表明, 母語背景會影響嬰兒感知重音時的大腦反應, 嬰兒對母語的重音模式更加敏感。Cheng等人(2013)考察了漢語新生兒和6月齡嬰兒感知聲調時的腦電反應, 結果表明, 在T1/T3(T3為標準刺激)條件下, 新生兒產生了正向的失匹配反應(positive mismatch response, P-MMR), 而6個月大的嬰兒則產生了與成人類似的失匹配負波(MMN); 在T2/T3(T3為標準刺激)條件下, 新生兒沒有出現顯著的MMR, 而6個月大的嬰兒卻出現了P-MMR。他們認為嬰兒的年齡和刺激的差異程度都會影響嬰兒感知聲調時的腦電反應。該研究讓我們聯想到前文介紹的Chandrasekaran等人(2007)對成人感知T1/T3和T2/T3的ERP研究, 成人的結果表明, 聲學相似度低的偏差刺激能夠誘發幅值更大的MMN, 而嬰兒對于聲學差異的反應顯然更為復雜, 偏差刺激誘發的MMR同時受到嬰兒年齡和刺激聲學相似度的影響。

研究嬰兒的聲調知覺問題, 其中一個重要的問題則是, 嬰兒何時能夠區分母語聲調和非母語聲調, 對非母語聲調的辨別能力何時開始下降。根據上文所介紹的研究, 嬰兒聲調知覺的發展模式與元音和輔音都有所不同, 嬰兒對非母語聲調敏感程度的下降比元音和輔音出現得更早。這在一定程度上可以說明, 不同層次的語音知覺具有不同的發展模式。非聲調語言的嬰兒對聲調的感知呈現出U-型發展模式, 而如前文所述, 成年的非聲調語言與聲調語言母語者對聲調的知覺也具有不同的特征。因此, 我們認為, 嬰兒在后期所謂的聲調知覺能力的恢復, 可能僅僅是對聲學信息知覺的恢復, 這種“恢復”并不意味著非聲調語言的嬰兒重新發展了對聲調音位層面的知覺加工能力。

由于實驗條件的限制, 目前學界對嬰兒聲調知覺的ERP研究仍比較少。對不同的聲調進行感知時, 4月齡嬰兒甚至新生兒的大腦反應已經表現出差異, 這一結果與行為實驗的結果是一致的。關于聲調語言和非聲調語言的嬰兒在感知聲調時的神經機制, 還有待進一步的研究。

2.3 聲調語境(tonal context)對聲調范疇知覺的影響

聲調的范疇知覺不僅僅依賴音節內部本身的基頻線索, 上下文語境中的音高變化也起著非常重要的作用。聲調又可以分為兩種類型：平調和曲折調, 從前人的研究結果看, 上下文的聲調語境對平調和曲折調的影響是不對等的, 一般來說, 聲調語境對平調的影響要大于曲折調。例如, 粵語平調的知覺依賴于上下文語境(Francis, Ciocca, Wong, Leung, & Chu, 2006; Wong & Diehl, 2003; Zhang, Peng, & Wang, 2012)。Francis等人(2006)發現, 當上下文聲調的基頻較低時, 目標聲調刺激更可能被感知為高調; 而當上下文聲調的基頻較高時, 目標聲調刺激則被感知為低調的可能性更大。Wong和Diehl (2003)使用粵語的三種平調作為目標刺激, 他們發現, 同一目標刺激在基頻較低的聲調語境中, 99.5%被感知為高平調; 而在基頻較高的語境中, 被感知為低平調的可能性為95.8%; 當語境的平均基頻位于中間位置時, 則91.9%的情況會被感知為中平調。Zhang等人(2012)的結果也得到了類似的對比效應。聲調語境也會影響粵語平調的范疇知覺模式, 粵語平調的知覺在獨立音節和句末條件下, 呈現出非范疇化特征, 而在句中條件下, 則呈現出范疇知覺模式(Francis et al., 2003; Zheng, 2010)。Zheng (2010)還發現, 目標聲調前、后語境對知覺的作用是不對等的, 目標聲調后接音節基頻的高低會對目標聲調的知覺模式產生影響, 而前接音節的作用不顯著。

與平調的知覺相比, 上下文語境對曲折調的作用更加復雜。一些研究表明, 上下文語境對普通話聲調的感知沒有顯著作用。Fox和Qi (1990)考察了普通話陰平?陽平連續統的知覺, 并比較了目標刺激單獨呈現和將目標刺激與前接音節同時呈現的結果, 他們發現, 兩種條件對聲調知覺的影響較小且不穩定。其他一些研究卻表明, 語境能夠對聲調知覺的范疇化程度和范疇邊界產生作用。Chen和Peng (2016)對普通話陰平?陽平連續統的行為研究表明, 目標聲調的前接語境能夠影響聲調范疇知覺的邊界位置：當前接音節基頻較高時, 目標音節更傾向于被感知為陽平; 如果前接音節基頻較低, 則更傾向于被感知為陰平。Bidelman和Lee (2015)的ERP研究結果表明, 母語背景和上下文語境對普通話平?上聲連續統知覺都存在顯著作用; 語境對母語者的影響更大, 具體表現為, 當目標聲調與前接音節同時呈現時, 普通話母語者感知目標聲調的范疇化程度更高。

總的說來, 語境對平調和曲折調知覺的作用有所不同, 我們認為有以下幾種因素在起作用。首先, 曲折聲調的知覺, 更多依賴聲調本身的曲拱特征, 因為不同的曲折調以及曲折調與平調之間的區分, 主要是依賴曲拱特征(包括曲拱的有無)。第二, 與上面的因素相關的是, 平調的感知更多依賴調階的高低, 而高低的判斷是相對的而非絕對的, 因此語境對平調知覺的作用會更為明顯。第三, 聲調的感知具有“延后性”, 即, 對于一個聲調的高低判斷是在后接聲調出現之后才實現的, 因此前接聲調對于目標聲調感知的作用遠不如后接聲調的作用大。

2.4 刺激屬性(speech vs. nonspeech)對聲調范疇知覺的影響

聲調作為一種超音段特征, 必須負載于音段之上。在以往的研究中, 負載聲調的刺激既有語言刺激也有非語言刺激, 而前人的結果表明, 刺激屬性會影響聲調知覺的范疇化(Xu, Gandour, & Francis, 2006)。

從行為結果來看, 不管聲調負載于語言刺激還是非語言刺激, 聲調母語者對母語聲調都能較好地進行區分, 并且對語言刺激條件的區分能力更強(Lee, Vakoch, & Wurm, 1996), 范疇化程度更高(Xu, Gandour, & Francis, 2006; Zheng et al., 2012)。非聲調母語者感知聲調或聲調母語者感知非母語聲調, 語言刺激與非語言刺激的差異不明顯, 非聲調母語者對非語言刺激的知覺甚至還呈現出更強的范疇化特征。例如, Xu等人(Xu, Gandour, & Francis, 2006)考察了普通話和英語被試對普通話陰平?陽平連續統的知覺, 結果表明, 不管是語言刺激還是非語言刺激, 普通話母語者的感知結果都呈現出范疇化特征; 但是英語母語者對非語言刺激的知覺呈現出更強的范疇化特征。

基于ERP的研究結果與行為實驗的結果有所不同。Ren, Yang和Li (2009)考察了前注意階段語言刺激和非語言刺激對音高知覺模式的影響, 結果表明, 不管音高負載于語言刺激還是非語言刺激, 兩者誘發的MMN成分都沒有顯著差異, 這說明, 被試在前注意階段僅對聲學信息進行加工, 在之后階段的加工中, 刺激的語言功能才會起作用。然而, Zheng等人(2014)的結果卻表明, 對于非語言刺激, 范疇間刺激比范疇內刺激誘發了更大的晚期失匹配成分(late mismatch component), 而對于語言刺激, 則不存在這種范疇效應。他們認為, 與語言刺激相比, 非語言刺激可以誘發更大的范疇效應, 可能是由于在前注意階段的聲調知覺主要受到諧波結構的影響, 非語言刺激的諧波結構更簡單更有規律性, 因此范疇效應更大。另一種解釋是聽覺皮層的激活以及失匹配成分的產生受到了電影及字幕等視覺刺激知覺的抑制——盡管在語言和非語言條件下, 被試都會關注字幕, 但在語言刺激條件下, 字幕的干擾可能更大。另外有研究表明, 在注意加工階段, 與非語言刺激相比, 語言刺激的范疇效應更大(Zheng et al., 2012)。

從以往的行為研究來看, 刺激屬性和母語背景都會對聲調的范疇知覺產生作用, 兩因素之間還存在交互作用。僅當聲調母語者感知母語聲調時, 語言刺激才能夠有助于聲調知覺的范疇化, 也就是說, 只有在這種條件下, 被試長時記憶中的聲調原型才會被激活, 并作用于聲調的范疇知覺。而非聲調母語者感知聲調或聲調母語者感知非母語聲調, 語言刺激和非語言刺激沒有差異, 這是因為被試長時記憶中不存在與感知目標相似的聲調原型, 無法進行匹配, 被試只能依靠聲學信息進行知覺判斷, 因此語言刺激與非語言刺激并不存在顯著差異。基于ERP研究結果與行為結果出現了分歧, 且不同研究者在ERP研究中也得到了不同的結果, 爭議的焦點在于, 在非注意階段, 刺激屬性是否能夠作用于聲調的范疇知覺。

3 學界爭論與未來展望

本文對聲調知覺的范疇化問題和影響聲調范疇知覺的因素進行了評述, 關于聲調的范疇知覺, 學界較為關注以及迄今為止尚未解決的問題如下：

1)決定聲調加工范疇化程度的最重要因素是什么？聲調范疇化加工過程的神經機制是怎樣的？

2)母語背景對聲調范疇知覺的影響是否受到母語聲調系統復雜程度的制約？母語背景作用于聲調范疇知覺的內在神經機制是怎樣的？

3)嬰兒聲調范疇知覺能力的發展模式是怎樣的？在聲調知覺過程中, 嬰兒和成人的神經機制有哪些相似性和差異？

4)母語背景、年齡、語境和刺激屬性是如何共同作用于聲調范疇知覺的？

如前文所述, 雖然學界對聲調范疇加工的行為和神經機制研究已經取得一些成果, 但仍有諸多問題存在爭議, 我們認為, 未來的研究可以從以下幾個方面進一步展開。

首先, 調形的相似度與聲調知覺模式之間的關系有待通過更多的實驗尤其是電生理實驗加以驗證。目前行為實驗的研究結果表明, 曲拱特征不同的聲調的知覺呈現出明顯的范疇化特征, 而曲拱特征相似度較高的聲調則感知為連續型或弱范疇化型, 具體表現是辨認結果呈現出范疇化特點, 而區分結果無法通過辨認結果進行預測, 或偏差刺激沒有誘發出MMN。如前文所指出的那樣, 區分實驗結果受到了諸多因素的影響, 區分任務本身又具有一定的復雜性, 尤其是個體差異歷來被人們所忽視, 因此對于區分實驗結果不宜像過去那樣采用均值來對結果進行簡單評估, 而是應該從刺激排序、刺激在連續統中的位置以及個體差異等幾個方面進行深入細致的分析。

如上文所述, 行為實驗的結果在很大程度上受到了行為實驗無法克服的設計缺陷的作用, 因此基于行為實驗結果提出的假設是否正確, 還需通過實驗技術的更新加以驗證。曲拱特征的相似度, 即聲學層面的相似度, 是否能夠在大腦加工過程中反映出來, 影響聲調范疇知覺的因素到底是什么, 都有待借助電生理技術進行更深入的研究。而從目前的研究現狀來看, 這方面的研究幾乎還是一個空白。

第二, 關于母語背景對聲調范疇知覺的影響, 未來研究可以關注一下幾個問題：第一, 以往研究主要關注聲調語言和非聲調語言被試之間的差異, 我們認為這是遠遠不夠的。未來的研究中需要充分考慮不同聲調語言聲調系統的復雜程度。比如, 母語聲調系統的復雜程度是否會影響被試感知聲調的能力？是否母語聲調系統越復雜, 在感知非母語聲調時就會越敏感？第二, 母語背景對聲調范疇知覺的影響, 主要發生在認知加工的哪一層面？哪一階段？母語經驗是否只會影響語言信息的加工？是否也會影響到聲學參數的感知？只有把這些具體問題研究清楚了, 才能更好地解釋母語背景對聲調范疇化知覺的作用。另外, 方言背景對聲調感知的作用, 學界研究仍比較少。漢語的方言資源非常豐富, 而各漢語方言在聲調種類和調形上千差萬別。未來的研究應該加大力度研究漢語方言母語者對非母語方言聲調的知覺, 以期在聲調知覺的細節上得到更深入和更全面的結果。

第三, 關于年齡對聲調知覺能力的影響, 如前文所述, 有研究認為嬰兒的聲調知覺能力呈U-型發展模式。我們認為這只是一個初步的結論, 有待加以精準化研究, 并與成人非母語聲調的感知研究進行聯系。所謂精準化研究, 是對一系列細節問題的深入討論, 例如, 聲調感知能力的U-型發展與整個語音能力的發展之間是什么關系, 嬰兒非母語聲調感知能力的恢復期何時結束、在何種水平上結束, 嬰兒對非母語聲調的感知特征是什么等等。另外, 聲調語言和非聲調語言的嬰兒對聲調感知過程中的神經機制, 也有待進一步研究。這里最重要的問題是, 聲調語言的嬰兒對母語聲調的感知具有相當的復雜性, 或者說嬰兒和成人對母語聲調的感知具有不同的特點, 這些不同特點都有哪些, 它們是如何逐漸消失的, 都需通過更多的電生理實驗加以深入研究。

第四, 關于語境對聲調感知范疇化的影響, 目前學界得到的結果是一致的, 即, 在孤立條件或者句末、詞末條件下未呈現范疇化知覺模式的聲調, 在句中或者詞首位置的感知都會出現范疇化程度的加強。如上文所述, 我們猜測這與聲調感知的延后性相關。但“延后性”只能對前后語境影響的不對稱給予解釋, 卻無法說明知覺模式從非范疇型到范疇型的改變。這一問題的解決除了需要在實驗設計上有所突破外, 純理論層面的討論也許是更加重要的。

最后, 母語背景、年齡、語境和刺激屬性對聲調范疇知覺的作用是相互影響的, 比如, 刺激類型對范疇知覺的影響在聲調母語者和非聲調母語者之間存在差異。那么, 這四種因素是如何單獨起作用, 它們之間又是如何共同起作用的呢？還有有待于進一步的研究。

蔡雯清. (2016).(碩士學位論文). 北京大學.

劉思維. (2015).(博士學位論文). 北京大學.

覃夕航. (2012).(碩士學位論文). 北京大學.

王韞佳, 李美京. (2010). 調型和調階對陽平和上聲知覺的作用., 899–908.

王韞佳, 劉思維, 卿瑋. (2017). 從范疇感知看重慶話陰平和陽平的調型——兼論重慶話陽平和上聲演變的動因. 見李愛軍(編).pp. 18–27). 北京: 中國社會科學出版社.

王韞佳, 覃夕航. (2015). 普通話單字調陽平和上聲的辨認及區分——兼論實驗設計對聲調范疇感知結果的影響., 337–352.

張林軍. (2010). 日本留學生漢語聲調的范疇化知覺.(3), 9–15.

Abramson, A. S. (1979). The noncategorical perception of tone categories in Thai. In B. Lindblom & S. ?hman (Eds.),(pp. 127–134). London, UK: Academic Press.

Bidelman, G. M., Gandour, J. T., & Krishnan, A. (2011). Cross-domain effects of music and language experience on the representation of pitch in the human auditory brainstem., 425–434.

Bidelman, G. M., & Lee, C. C. (2015). Effects of language experience and stimulus context on the neural organization and categorical perception of speech., 191–200.

Chandrasekaran, B., Krishnan, A., & Gandour, J. T. (2007). Mismatch negativity to pitch contours is influenced by language experience., 148–156.

Chandrasekaran, B., Krishnan, A., & Gandour, J. T. (2009). Relative influence of musical and linguistic experience on early cortical processing of pitch contours., 1–9.

Chen, F., & Peng, G. (2016). Context effect in the categorical perception of mandarin tones., 253–261.

Cheng, Y. Y., Wu, H. C., Tzeng, Y., Yang, M. T., Zhao, L. L., & Lee, C. Y. (2013). The development of mismatch responses to mandarin lexical tones in early infancy., 281–300.

Fox, R. A., & Qi, Y. Y. (1990). Context effects in the perception of lexical tone., 261–284.

Francis, A. L., & Ciocca, V. (2003). Stimulus presentation order and the perception of lexical tones in Cantonese., 1611– 1621.

Francis, A. L., Ciocca, V., & Ng, B. K. C. (2003). On the (non)categorical perception of lexical tones., 1029–1044.

Francis, A. L., Ciocca, V., Wong, N. K. Y., Leung, W. H. Y., & Chu, P. C. Y. (2006). Extrinsic context affects perceptual normalization of lexical tone., 1712–1726.

Friederici, A. D., Friedrich, M., & Christophe, A. (2007). Brain responses in 4-month-old infants are already language specific., 1208–1211.

Fry, D. B., Abramson, A. S., Eimas, P. D., & Liberman, A. M. (1962). The identification and discrimination of synthetic vowels., 171–189.

Hallé, P. A., Chang, Y. C., & Best, C. T. (2004). Identification and discrimination of Mandarin Chinese tones by Mandarin Chinese vs. French listeners., 395–421.

Jia, S., Tsang, Y. K., Huang, J., & Chen, H. C. (2015). Processing Cantonese lexical tones: Evidence from oddball paradigms., 351–360.

Kaan, E., Barkley, C. M., Bao, M. Z., & Wayland, R. (2008). Thai lexical tone perception in native speakers of Thai, English and Mandarin Chinese: An event-related potentials training study., 53.

Krishnan, A., Gandour, J. T., Xu, Y., & Suresh, C. H. (2017). Language-dependent changes in pitch-relevant neural activity in the auditory cortex reflect differential weighting of temporal attributes of pitch contours., 38–49.

Lee, Y. S., Vakoch, D. A., & Wurm, L. H. (1996). Tone perception in Cantonese and mandarin: A cross-linguistic comparison., 527–542.

Liberman, A. M., Harris, K. S., Hoffman, H. S., & Griffith, B. C. (1957). The discrimination of speech sounds within and across phoneme boundaries., 358–368.

Liu, L. Q., & Kager, R. (2014). Perception of tones by infants learning a non-tone language., 385–394.

Luo, H., Ni, J. T., Li, Z. H., Li, X. O., Zhang, D. R., Zeng, F. G., & Chen, L. (2006). Opposite patterns of hemisphere dominance for early auditory processing of lexical tones and consonants., 19558– 19563.

Mattock, K., & Burnham, D. (2006). Chinese and English infants￠tone perception: Evidence for perceptual reorganization., 241–265.

Mattock, K., Molnar, M., Polka, L., & Burnham, D. (2008). The developmental course of lexical tone perception in the first year of life., 1367–1381.

Peng, G., Zheng, H. Y., Gong, T., Yang, R. X., Kong, J. P., & Wang, W. S. Y. (2010). The influence of language experience on categorical perception of pitch contours., 616–624.

Polka, L., & Werker, J. F. (1994). Developmental changes in perception of nonnative vowel contrasts., 421–435.

Ren, G. Q., Yang, Y., & Li, X. (2009). Early cortical processing of linguistic pitch patterns as revealed by the mismatch negativity., 87–95.

Rvachew, S., Alhaidary, A., Mattock, K., & Polka, L. (2008). Emergence of the corner vowels in the babble produced by infants exposed to Canadian English or Canadian French., 564–577.

Shen, G. N. (2015).(Unpublished doctorial dissertation). Columbia University.

Shen, G. N., & Froud, K. (2016). Categorical perception of lexical tones by English learners of mandarin Chinese., 4396– 4403.

Studdert-Kennedy, M., & Shankweiler, D. (1970). Hemispheric specialization for speech perception., 579– 594.

Wang, W. S. Y. (1976). Language change., 61–72.

Wong, P. C. M., & Diehl, R. L. (2003). Perceptual normalization for inter- and intratalker variation in Cantonese level tones., 413–421.

Wu, H., Ma, X. H., Zhang, L. J., Liu, Y. Y., Zhang, Y., & Shu, H. (2015). Musical experience modulates categorical perception of lexical tones in native Chinese speakers., 436.

Xi, J., Zhang, L., Shu, H., Zhang, Y., & Li, P. (2010). Categorical perception of lexical tones in Chinese revealed by mismatch negativity., 223–231.

Xu, Y. S., Gandour, J. T., & Francis, A. L. (2006). Effects of language experience and stimulus complexity on the categorical perception of pitch direction., 1063–1074.

Xu, Y. S., Gandour, J. T., Talavage, T., Wong, D., Dzemidzic, M., Tong, Y. X., … Lowe, M. (2006). Activation of the left planum temporale in pitch processing is shaped by language experience., 173–183.

Yeung, H. H., Chen, K. H., & Werker, J. F. (2013). When does native language input affect phonetic perception? The precocious case of lexical tone., 123–139.

Yu, K. K., Wang, R. M., Li, L., & Li, P. (2014). Processing of acoustic and phonological information of lexical tones in mandarin Chinese revealed by mismatch negativity., 729.

Zhang, C. C., Peng, G., & Wang, W. S. Y. (2012). Unequal effects of speech and nonspeech contexts on the perceptual normalization of Cantonese level tones., 1088–1099.

Zhang, L. J., Xi, J., Xu, G. Q., Shu, H., Wang, X. Y., & Li, P. (2011). Cortical dynamics of acoustic and phonological processing in speech perception., e20963.

Zhang, L. J., Xi, J., Wu, H., Shu, H., & Li, P. (2012). Electrophysiological evidence of categorical perception of Chinese lexical tones in attentive condition., 35–39.

Zheng, H. Y. (2010).:(Unpublished doctorial dissertation). The Chinese University of Hong Kong.

Zheng, H. Y., Minett, J. W., Peng, G., & Wang, W. S. Y. (2012). The impact of tone systems on the categorical perception of lexical tones: An event-related potentials study., 184–209.

Zheng, H. Y., Peng, G., Chen, J. Y., Zhang, C. C., Minett, J. W., & Wang, W. S. Y. (2014). The influence of tone inventory on ERP without focal attention: A cross-language study., 961563.

Zou, T., Zhang, J. S., & Cao, W. (2012). A comparative study of perception of tone 2 and tone 3 in Mandarin by native speakers and Japanese learners. In(pp. 431–435). Kowloon, Hong Kong, China: IEEE.

Categorical perception of lexical tone and the neural mechanisms

WU Qian1; WANG Yunjia1,2

(1Department of Chinese Language and Literature, Peking University, Beijing 100871, China)(2Center for Chinese Linguistics, Peking University, Beijing 100871, China)

Categorical perception (CP) refers to the ability that listeners can distinguish cross-category stimuli, but cannot discriminate different stimuli within the same category. The degree of categorization for lexical tone perception may be influenced by the acoustical similarity of different tones. The perception of two similar tones seems to be less categorical than that of dissimilar tones. In addition to the internal features of tones, the factors influencing the categorical perception of lexical tone include language experience, age, tonal context and stimulus type (speech or nonspeech). The use of electrophysiological techniques has advanced the study of categorical perception of lexical tone, and is expected to be helpful in solving more theoretical problems.

tone; categorical perception; neural mechanisms

2016-11-29

* 教育部人文社會科學重點研究基地2013年重大項目“漢語聲調認知的實驗研究——聲學變異、范疇感知與連讀變調” (13JJD740002)和國家社科基金項目“漢語和非漢語母語者加工普通話聲調的ERP研究” (11YB047)。

王韞佳, E-mail: wangyunjia@pku.edu.cn

10.3724/SP.J.1042.2018.00062

B842