語言理解中的語音預期效應研究進展*

南京師范大學 徐曉東 李桃慧

提 要：語言交流中,人們能在讀到或聽到句子的某些內容之前,就已經根據常識以及語境線索預測到了與之相關的語義、句法和語音信息。很多研究報告了穩定的語義和句法預期,但對語音預期是否存在爭議較大。為此,本文綜述了近十年來,心理語言學領域對語音預期效應的實驗研究。文章介紹了母語和外語領域的語音預期研究,并探討了語音預期的時間進程以及語音預期與語義預期的關系問題。文章分析了語音預期效應的解釋機制及其潛在影響因素。

1. 引言

預期是個體利用現有經驗對即將出現的事件產生預判的能力,廣泛存在于日常生活中以幫助人們規避風險(Clark, 2013)。預期加工在人類的言語交際中同樣發揮著重要作用。言語交際中的預期指的是當人們理解句子時,會在讀到或聽到某些內容之前,已經根據常識以及語境線索預先激活了與之相關的語言信息,這種預激活會發生在語言的語義、語音等各個層面(Pickering &Gambi, 2018)。例如,大多數英語母語者在聽到“The day was breezy so the boy went outside to fly a”這個句子時,能夠預測到潛在目標詞“kite”的語義(flyable)、句法(noun)、語音(/kait/)等特征。因此,當他們之后聽到“kite”一詞時,便會因為已經提前激活的語言信息而降低加工難度,從而提高句子理解的效率。從這個角度來看,預期對于非母語者來說可能更為關鍵,因為預激活的語義、語音等信息能在某種程度上減輕外語交流過程中的認知負荷,從而降低外語理解的難度;外語句子理解之所以比母語句子理解更為困難,很可能是因為在外語語境下人們的預期效率更低(Ito &Pickering, 2021)。

在心理語言學領域,關于語義和句法的預期性研究已持續多年,并取得較為一致的結論(Altmann &Kamide, 1999;李琳等,2017;陳慶榮等,2010)。然而,語音預期問題近年才引起關注,且相關結論也不盡一致——一些實驗發現存在語音預期效應,而另一些則未發現顯著的效應(尤其是在外語語境下)。本文從母語和外語兩個角度出發,回顧了近期利用事件相關電位(ERP)和眼動技術探究語音預期問題的研究進展,并從不同的理論視角對現有結果進行闡釋,探析語音預期效應的本質,總結造成語音預期效應受限的潛在因素,并在此基礎上提出語音預期問題未來的研究方向。

2. 母語中的語音預期研究

目前語音預期研究主要集中在母語方面,圍繞著“語音預期是否存在”、“語音預期的時間進程”以及“語音預期與語義預期的對比”這三個關鍵問題展開。如表1所示,這些研究所得出的結果相當復雜。

表1. 母語中的語音預期研究

1) 是否存在語音預期?

對于是否存在語音預期這一問題,美國加州大學圣地亞哥分校的Delong 教授團隊(Delong et al., 2005)率先利用英語中的冠詞搭配規則進行了ERP實驗。他們讓英語母語者逐詞閱讀具有高預期度的句子(如“The day was breezy so the boy went outside to fly”),句尾關鍵短語分為符合預期(a kite)和不符合預期(an airplane)兩種情況。ERP結果顯示,冠詞的可預期度與冠詞所誘發的N400的大小呈負相關關系——冠詞的可預期度越低,所誘發的N400越大(1)N400是一個與語義加工密切相關的ERP成分,在目標刺激出現后400毫秒左右最為明顯。一般認為N400與語義信息的提取或整合的難度有關,難度越大,N400波幅越大。。由于冠詞本身并不能區分語義,似乎有理由相信這一效應主要源自于冠詞所搭配名詞的語音特征。因此,該結果表明母語者可以預期語境中潛在目標詞的語音信息,至少能預期名詞開頭的音素是元音還是輔音。這一結果引發了大量的跟蹤研究,有的支持了這一結論(如Delong et al., (2012)中的青年人群體; Martin et al., 2013),有的則沒有(如Delong et al., (2012)中的老年人群體;Nieuwland et al., 2018; Ito et al., 2017)。事實上,冠詞處出現的N400效應除了難以重復外,其本身也并不一定是由名詞語音信息的預激活所致。研究表明人們對經常出現的詞組十分敏感,詞組的頻率越高加工處理的速度就越快,而這種頻率效應不應簡單地還原到構成詞組的單個詞上(Arnon &Snider, 2010)。因為常見的詞組或固定搭配一般都會被儲存在心理詞典中,所以被試也許是根據語境預先激活了心理詞典中相應的冠-名組合,而非預測到了名詞的語音特征(Ito at el., 2016)。

鑒于使用冠詞搭配規則來探究語音預期問題上的含糊性,相關違例范式(related anomaly paradigm)成為近幾年來語音預期研究中的新方法。其操作方式是將句中具有高預期度的目標詞(如“The student is going to the library to borrow abook”中的“book”)分別替換為與之語音相關的干擾詞(hook)或無關詞(sofa),以此觀察被試在各個詞匯上的不同ERP反應。語音干擾詞與無關詞均為不符合語境的詞匯,所以當出現在句中時應誘發比目標詞更強的N400效應。然而相關研究顯示,目標詞與語音干擾詞均誘發了比無關詞更小的N400反應(Delong et al., 2019; Ito et al., 2016)。此結果表明,由于目標詞和語音干擾詞的語音重疊,被預先激活的目標詞的語音信息降低了語音干擾詞出現時的加工難度。因此,母語句子理解過程中詞匯的語音信息是可以被預期的。

2) 語音預期的時間進程

雖然ERP技術可以用于探測語音預期是否存在,但由于它的數據采集點一般位于目標詞上,所以無法直接展示語音預期的時間進程。因此,有研究者(Ito et al., 2018)開始采用眼動視覺情境范式(visual world paradigm)來探究英語母語者“語音預期的時間進程”,因為在此范式下被試的眼睛注視軌跡能夠完整地呈現其根據聽力材料的內容而進行信息檢索的全部過程。在實驗中,被試一邊聽高預期度的句子,一邊觀看電腦屏幕上的圖片,其中包括與句中目標詞匹配的圖、與語音干擾詞匹配的圖以及無關圖。實驗結果顯示,被試在聽到目標詞前500毫秒左右便已經開始出現對語音干擾圖的注視偏好。由于語音干擾圖與語境無關,這表明目標詞的語音信息在其出現之前的500毫秒左右已經被激活,并影響了被試的閱讀。然而在相同范式下,Ito和Sakai(2021)卻并未發現語音預期效應。這可能是因為在Ito和Sakai(2012)的實驗中,目標詞和語音干擾詞的語音信息重疊度較低(例如“魚/sakana/”和“桜/sakura/”),不足以激發被試在語音干擾圖上表現出注視偏好。

3) 語音預期與語義預期的對比

為了對語言預期機制有更加系統的認識,研究者分別采用ERP和眼動方法對語音預期和語義預期進行了對比研究。在ERP研究中,他們同時操縱了目標詞的預期程度以及詞語呈現的時間間隔(SOA: 長間隔700 ms vs. 短間隔500 ms),發現無論在長間隔還是短間隔條件下都存在語義預期效應,即語義干擾詞所誘發的N400效應明顯比無關詞小;然而語音預期效應相對應的N400減弱現象只在長間隔且預期度極高(93.5%)的語境中才出現(Ito et al., 2016)。這說明語音預期比語義預期受到了更為嚴格的限制,不但需要更多的加工時間,而且對句子的預期度也有更高的要求。與ERP研究結果一致,采用眼動視覺情境范式的研究發現,在目標詞出現之前,只有語義干擾圖的注視比例明顯比無關圖高,語音干擾圖與無關圖的注視比例沒有顯著差異(Ito &Husband, 2017)。這說明語音預期效應的確不如語義預期效應強。后續研究進一步顯示,語音預期與語義預期之間的強度差異不受句子結構的影響: 無論在對比焦點結構(not... but rather...)中,還是在帶有插入語的修復結構(... uh I mean...)中,句子理解中的預期總是以語義驅動為主(Karimi et al., 2019)。然而,也有研究者對語音預期的局限性提出了質疑(Delong et al., 2019),由于在同樣每秒呈現兩個單詞的速率下,語義干擾詞與語音干擾詞呈現出了相似的N400減弱現象,他們認為語音預期與語義預期遵循相似的時間進程,并沒有受到額外的限制。導致這些不一致結果的原因,有待于進一步研究。

3. 外語中的語音預期研究

相較于母語語音預期研究,目前探究外語語音預期的研究不但數量極少,且仍停留在考察“非母語者是否可以進行語音預期”這一問題上。如表2所示,現有的實驗研究均未能在外語語境下發現明顯的語音預激活證據。

表2. 外語中的語音預期研究

1) 二語者是否可以進行語音預期?

在使用冠詞搭配規則探究語音預期的研究中,語境中不符合預期的冠詞并沒有在英語二語者(母語為西班牙語)中誘發明顯的N400效應(Martin et al., 2013)。這表明二語者并不能基于語境預激活詞匯的語音信息,至少不能預測到名詞開頭的音素是元音還是輔音。為了探究閱讀時間的影響,使用相關違例范式的研究設置了500 ms與700 ms兩種間隔條件,結果發現這兩種條件下英語二語者在語音干擾詞和無關詞上引發的N400波幅均沒有差別(Ito et al., 2017a)。這表明即使在時間相對充足的情況下,非母語者仍然不能進行語音預期。

然而,上述兩項研究存在一個共同問題——實驗句中的關鍵詞在語境中的預期度并不高(65%與61%),語音預期效應的缺失很可能與句子較低的預期度有關。為了驗證這一假設,后續眼動研究(Ito et al., 2018)進一步提高了實驗句的預期度(89%),以此觀察英語二語者(母語為日語)的語音預期情況能否得到改善。然而結果顯示,在目標詞出現之前,二語者對語音干擾圖和無關圖的注視比例并沒有明顯差異。此結果進一步證實,即使句子預期度非常高,二語者也無法提前激活詞匯的語音信息。另外,最近一項針對專業同聲傳譯譯員的眼動研究(Amos et al., 2022)同樣沒有發現外語語境下的語音預激活證據,說明即使是極高水平的二語者也無法預期語音信息。

2) 二語者無法預期語音信息的可能原因

目前來看,二語者無法預測語音信息的原因可能有兩個。第一,二語者在進行語言預期的過程中受到了母語詞匯表征的干擾。雙語詞匯通達理論中存在選擇性加工和非選擇性加工兩種觀點,其中非選擇性加工觀認為雙語詞匯的通達總是伴隨著非目標語言的同步激活(Costa et al., 2000)。基于此,當人們根據外語語境預測目標詞的語音信息時,可能會同時激活母語對應詞的語音信息,母語語音信息的激活會延遲或阻礙外語語音信息的通達,從而減弱外語的語音預期效應(王芙蓉、王敏,2020)。然而這種解釋也受到了質疑。在上述針對日-英雙語者的實驗中(Ito et al., 2018),除了設置有外語語音(英語)干擾圖,還另外設置了母語語音(日語)干擾圖。結果顯示,被試并沒有在母語語音干擾圖上顯示出注視偏好,即沒有證據表明外語預期過程中母語的對應信息會被激活。

第二,母語與外語之間的差異阻礙了外語語音預期的進程。具體來說,如果外語中某些獨特的語法特征是母語中缺失的,那么二語者由于受到資源限制的影響,在利用這些規則進行句子理解時就會比較困難(Bobb et al., 2015)。因此,上述冠詞實驗之所以沒有在不符合預期的冠詞處發現N400效應,很可能是因為西-英雙語者對于英語中的冠詞搭配規則并不敏感。

4. 語音預期效應的解釋機制

雖然目前尚不存在語言預期的專有理論模型,但的確有研究者提出了語言預期加工機制,試圖對語言預期加工的生成機制和過程進行闡釋。其中有較大影響力的是基于聯想的預期機制(prediction-by-association mechanism)以及基于產出的預期機制(prediction-by-production mechanism)。

1) 聯想預期機制

基于聯想的預期機制認為啟動(priming)是預期過程中固有的一部分(Huettig, 2015; Kukona et al., 2011)。具體來說,當人們理解句子時,會自動激活與語境中各個詞匯有所關聯的信息,這種激活會擴散到語言知識的各個層面,從而形成對后文內容的預測。例如,當人們閱讀到“The student is going to the library to borrow a”中的“library”時,會自動激活包括目標詞“book”在內的一組相關概念。從聯想預期機制的角度來看,語音信息的預激活是較難實現的。因為在可預期的語境中常見與目標詞語義相關的詞匯,卻少有與目標詞存在語音關聯的詞匯。雖然有眼動研究發現,當把語境中與目標詞(如book)存在關聯的詞匯(library)單獨提取出來作為聽覺刺激時,被試仍然對語音干擾圖(hook)表現出明顯的興趣,表明語音預期可以通過語境詞匯的聯想實現(Kukona, 2020);但是這種預期效應并不是直接通過語音啟動實現的,而是必須經過語義聯想的中介(library-book-hook)才能產生。這就解釋了為何語音預期效應總是不如語義預期效應強。

2) 產出預期機制

基于產出的預期機制認為人們對句子內容的預測是通過語言產出系統完成的(Pickering &Garrod, 2013)。具體來說,人們在理解句子時會即時對目前可及的內容進行內隱的模仿(covert imitation),也就是把說話者輸入的話語當作是自己輸出的,然后再利用語言產出系統把未盡的話語根據自己的預測補充完整。在此過程中,理解者不僅會考慮整個語境傳達的信息,還會同時考慮其他的非語言因素,比如與說話者共享的背景知識等。因此,對于可預測到的信息而言,產出預期是比聯想預期更加準確的一種預期機制;但另一方面,產出預期也比聯想預期更加消耗時間與資源。由于產出預期機制認為預期加工與語言產出一致,遵循先激活語義、再激活句法、最后激活語音信息的層次順序(Levelt et al., 1999),所以當預期時間與認知資源不充分時,預期就會在其中一個階段發生中斷。而語音信息的預激活由于處在整個預期加工過程的最后階段,尤其容易中斷。這就解釋了為何母語情境中語音預期效應不穩定(Delong et al., 2005; Nieuwland et al., 2018),外語情境中甚至無法發現語音的預期效應(Martin et al. 2013; Ito et al. 2018),以及為何語音預期比語義預期更容易受時間限制(Ito et al., 2016)。

目前,不少研究已經證實了語言產出系統在預測加工過程中的參與性(Mani &Huettig, 2012)。其中最直接的證據是當理解者在默讀高預期度的句子時,若語言產出系統被其他任務所占用(如要求不斷發出“嗒嗒嗒”的聲音),便無法對不符合預期的詞匯產生N400反應;但若沒有語言產出任務,則會出現(Martin et al., 2018)。此結果強有力地說明了語言產出系統在預期加工中的必要性。然而,部分研究結果也與此不符。例如,Drake和Corley(2015)發現,在語言產出任務中,具有高預期度的語境并不能夠促進對目標詞語音相關項的命名,說明語言產出系統可能并沒有參與預期加工。

雖然目前有大量研究關注聯想預期與產出預期,但這些研究只分別針對其中一種加工機制開展探索。Pickering和Gambi(2018)認為人們的預期加工過程同時包括聯想預期和產出預期,并基于此提出了一種雙重加工預期模型: 預期由聯想加工開始,這個過程是自動的,但效率較低;語言產出系統在聯想的基礎上繼續進行預期,這個過程的效率更高,但因受到時間與資源的限制,并不能一直發揮作用。盡管這兩種預期加工機制仍需進一步檢驗,它們的確為現有實驗結果提供了相對合理的解釋。

5. 影響語音預期的潛在因素

綜合語音預期的實驗結果以及語言預期理論機制的內容來看,相較于穩定的語義預期,語音預期的情況比較復雜,在同樣情境下語音信息是否可以被預期尚存較大爭議。具體來說,語音預期容易受到語境的限制程度、句子理解時間以及實驗程序設置等諸多因素的制約。由于語言熟練度的干擾,外語語音預期比母語語音預期的難度更大。

1) 語境限制程度

研究發現在中、高預期度的語境中均存在對語義信息的預期,而穩定的語音預期效應只出現在預期度極高的語境中(Ito et al., 2016),這說明語音預期更加受到關鍵詞所在語境的制約。從聯想預期機制的解釋來看,可預期的語境中往往存在個別與目標詞語義相關的詞匯,卻不會有任何一個詞匯能直接通過語音啟動激活目標詞的語音信息。這表明只有當理解者可以通過語境明確預測到特定的目標詞是什么的時候,其語音特征才會被預激活。然而在日常生活中我們聽到的大部分語句的預期度都是比較低的,除非在特殊語境中的個別詞匯才具備較高的預期性(Luke &Christianson, 2016)。因此在日常的言語交際中,語音預期由于受到語境限制性的制約,發生的概率比較低。

2) 句子理解時間

在對Delong等(2005)進行的一系列重復實驗中,只有將原實驗中的詞語時間間隔從500 ms調整為700 ms時發現了語音預期效應(Martin et al., 2013);相關違例實驗也發現詞語呈現的時間間隔會明顯影響語音預期效應的強弱(Ito et al., 2016),這表明語音信息的預激活會受到處理時間的限制。究其原因,一方面是因為預期活動本身就高度依賴于時間因素: 語言刺激呈現速度越慢,語境的促進作用就越明顯,預期加工進而就更容易產生(Wlotko &Federmeier, 2015);另一方面,此現象可以從產出預期機制的角度加以闡釋。與聯想預期的自動化與即時性不同,產出預期是一個需要耗費時間和資源的非必然過程。由于語音信息的預激活處于整個預期加工過程的最后一個環節,所以當句子理解時間不足以使語言產出系統完全發揮作用時,語音預期進程容易中斷。

3) 實驗程序設置

為了排除無關因素的干擾,心理語言學實驗一般會對實驗環境和實驗材料進行嚴格的控制,其與自然條件下的閱讀或聆聽任務有較大差異,因此實驗結果很有可能跟特定的測試環境有關。例如,使用冠詞搭配規則探究“語音預期是否存在”的研究之所以難以取得一致結果,很可能就與各個實驗中填充句的設置比例有關。在沒有設置填充句的實驗中,被試更容易意識到研究問題與冠詞相關,所以對冠詞是否符合預期變得非常敏感,從而預激活了名詞的語音信息(Delong et al., 2005; Martin et al., 2013);而在填充句數量是實驗句兩倍的實驗中,較多無關句分散了被試對關鍵句的注意,他們對不攜帶語義信息的冠詞變得不再敏感,從而沒有發現語音預期效應(Ito et al., 2017)。這說明某些方面的語音預期需要依賴特定的實驗條件才能發生,這在自然語言環境下并不常見。

4) 語言熟練程度

對于二語者來說,除了上述因素之外,還另外受到語言熟練度的制約。即使是高水平二語者,其語言熟練度也難以達到母語水平,因此二語者通常需要花費更多時間和資源來激活語境中的詞匯信息以獲取句義(Ito &Pickering, 2021)。而任何語言預期均須建立在理解前文語境的基礎之上,所以二語者在目標詞預期的速度和準確度上均不如母語者。依照前文所述,目標詞語音信息的預激活尤其依賴于時間因素以及目標詞的預期度,因此二語者往往不能像母語者一樣進行明確的語音預期。除了語言理解之外,二語產出也比母語產出更加耗時(Ivanova &Costa, 2008)。根據產出預期機制,如果語言產出系統受到時間制約,預期過程便不能順利通達到語音層面,因此二語者很難成功預激活目標詞的語音信息。

6. 總結與展望

*本文對采用ERP和眼動技術探究語音預期問題的實驗研究進行了綜述,發現母語者可以在句子理解過程中預激活潛在目標詞的語音信息,但這種語音預期并非必然發生,而且發生的時間與強度也比語義預期更晚、更弱。這是因為語音預期更容易受到句子的預期度、句子理解時間以及實驗程序設置等諸多因素的影響。二語者則因為母語遷移與語言熟練度的制約,受限程度更強,至今未發現支持外語語音預期效應的證據。而聯想預期機制與產出預期機制可以為語音預期效應的這種受限性與復雜性提供相對合理的闡釋。為了更加深刻地認識語音預期效應的本質,未來研究可以從以下幾個方面進行拓展。

首先,促進語言預期理論的進一步發展。目前有關語音預期問題的研究主要停留在現象層面,比如探討“是否存在語音預期”以及“語音預期何時開始”等,對其背后的認知機制的關注不夠。未來應加強這方面的探討。例如,在實驗設置階段就考慮聯想預期機制的作用。在過往研究中,實驗語境里往往存在與目標詞有語義關聯的詞匯,卻幾乎沒有與目標詞語音相關的詞匯,所以觀察到語義預期效應比語音預期效應強很多的現象并不意外。通過操控語境詞匯與目標詞的語義關聯和語音關聯,未來研究不但可以考證聯想機制在語言預期中發揮的作用,也可進一步驗證產出預期理論中關于“先語義后語音”的假設,以此推動建立語言預期的理論模型。

第二,關注語音預期的超音段層面研究。目前,語音預期相關研究基本上只針對音段特征(segment)展開,而對聲調、重音、語調等超音段特征(suprasegment)的預期情況關注甚少。超音段特征是語言理解中不容忽視的信息,和音段特征一樣可以區分意義。比如漢語中,同樣是音段/ma/,當其聲調為陽平(媽)、陰平(麻)、上聲(馬)和去聲(罵)時語義皆有不同。相關研究顯示,聲調信息在聲調語言的口語詞匯識別過程中甚至發揮著與音段信息同等重要的作用(Wang et al., 2017)。因此,今后的研究可以關注聲調等超音段特征是否也能被預期,以及其與音段特征的預期機制有何異同。

第三,采用更適合研究預期問題的技術手段。現有的語音預期研究仍以ERP技術為主,然而由于ERP實驗只采集關鍵詞呈現之后所出現的處理效應,所以存在兩個弊端: 一是其實驗數據只能表明語音預期是否存在,無法顯示語音信息預激活的時間進程;二是其無法回避“N400等ERP效應所反映的究竟是預期作用還是整合作用”的質疑。因此,未來研究應更多考慮采用諸如眼動視覺情境范式這樣具備高生態效度的研究方法。視覺情景范式將接近日常生活的聽覺刺激與生動的視覺情境跨通道結合,極大提高了實驗的生態效度,其不僅能夠區分預期效應和整合效應,還能夠展示預期效應的時間進程。

最后,拓寬語言研究對象。目前探討語音預期加工問題的研究幾乎全部以英語為研究對象,這影響研究結論的推廣。后續研究應拓寬語言范圍,考察語音預期在不同語言中的表現。更為重要的是,即使不考慮語言的差異性,英語作為拼音文字的代表,并不適合用作語音預期研究的典型材料。一方面是因為在拼音文字中拼寫(orthography)與語音的關聯十分緊密,所以無法確認現有的實驗結果究竟指向的是拼寫預期效應還是語音預期效應。例如在相關違例范式中,目標詞(如book)與語音干擾詞(hook)不僅語音上重疊,字形也十分相似,所以無法確定所觀察到的效應是由語音重疊或字形重疊造成的。從這個角度來看,漢語可能是探究語音預期更為適合的實驗材料。漢語不僅可以避免字形相似的干擾,而且可以實現目標詞與語音干擾詞在語音上完全重疊(如“雨”和“羽”),因此能觀察到更為純粹的語音效應。