言語感知中詞匯識別的句子語境效應研究

柳 鑫 淼

(清華大學外文系， 北京 100084；中國勞動關系學院， 北京 100048)

言語感知中詞匯識別的句子語境效應研究

柳 鑫 淼

(清華大學外文系， 北京 100084；中國勞動關系學院， 北京 100048)

言語感知遵循音不離詞，詞不離句的原則。除了語音特征、音位和單詞三個感知單元外，句子單元也參與了言語感知的過程。在這一感知過程中，句子語境分別從句法和語義兩方面對詞匯的識別發生影響。在句法方面，句子層依據句法規則對詞匯層產生自上而下的反饋作用，通過詞類限制和曲折形態特征核查等方式實現對詞匯層上備選單詞的篩選；在語義方面，句子層根據語義限制條件對備選單詞產生激活或抑制作用。

言語感知；詞匯識別；語境

語跡模型是1986年McClelland和Elman提出的言語感知聯結主義模型，與肌動理論、隊列模型、合成分析理論和模糊邏輯模型并稱為心理語言學中言語感知模型研究的經典之作。語跡模型旨在解釋詞匯環境對音位識別的影響以及單詞的在線識別，是一個兼顧自上而下和自下而上聯結的雙向互動模型，對詞匯環境對音位識別的影響、范疇感知與消長關系、語流切分等多種言語識別現象具有很強的解釋力。該模型一經提出在心理語言學界引起了很大反響，成為最具影響力的言語感知聯結主義模型之一，但是，模型也并非盡善盡美，由于對句法、語義等語音識別線索完全不加以考慮，目前的語跡模型只能解釋較為簡單的語音識別問題，對于復雜的語音識別現象仍然束手無策。從這方面來看，語跡模型還有進一步完善的空間。鑒于以上問題，本研究將句子語境引入到語跡模型之中，對當前的模型進行拓展和完善，從句法和語義角度闡釋句子語境對詞匯識別的作用，從而說明言語感知是語音特征、音位、單詞和句子等多因素綜合作用的結果。

一、語跡模型及其拓展假說

語跡模型是在互動激活框架下建構起來的神經網絡模型。根據互動激活假設，語言處理是一個自下而上和自上而下相結合的雙向過程。這兩種過程可以同時并行不悖。

圖1 語跡模型[1]

如圖1所示，語跡模型劃分了語音特征、音位和單詞三個層次，每個層次上都分布著大量的認知單元。言語感知通常由底層的語音特征開始，自下而上傳遞信息，同時上層可以對下層產生反饋作用。為了體現信號輸入的時間軌跡，McClelland和Elman引入了時間段這一變量，每個時間段為五微秒，由全部時間段構成的動態處理結構就是語跡[1]。每個單元代表從初始狀態到當前狀態這段時間內所形成的對感知對象的判斷，單元的激活值代表判斷的強度，每個單元的激活值等于其他單元投射過來的所有激活值的累計凈值，若凈值為正，這一單元會受到激活，凈值為負則受到抑制。各單元的激活值呈現出動態變化，全部單元的總體激活狀況就是感知系統對言語感知對象的表征。根據這一模型，音位識別涉及自下而上和自上而下兩種信號輸入途徑，自下而上的過程是指從語音特征層向音位層輸入語音信號。自上而下的過程是從詞匯層到音位層的反饋作用[2]。系統基于已有的詞庫來確定音位組合的匹配程度，匹配程度高的音位在競爭中處于主導地位，匹配程度低的音位受到抑制。語跡模型還對詞匯識別中連續輸入的語流切分問題做出了解釋。感知系統利用音位間的激活和競爭機制來對連續語流進行切分。可見，語跡模型對詞匯識別的闡釋只考慮了單向的自下而上的過程，忽略了更高層次的感知單元對詞匯層自上而下的反饋作用。

McClelland和Rumelhart指出，言語感知中存在更高層次的處理單位，但為了避免使研究過于復雜，他們將研究范圍限定在詞匯與語音層次上，未考慮其它層次之間的互動[2]。多項研究表明，如果要對言語感知現象作出更科學的解釋，構建模型時需要考慮到句法、語義等多種因素的影響。Pollack 和Pickett發現，脫離句子環境時，感知主體僅能準確識別出一半的單詞，句子語境在言語感知中發揮重要的作用[3]。Windmann也發現，句子語境對詞匯識別具有促進作用，感知主體更傾向于將輸入的信號識別為符合上下文語義邏輯關系的單詞[4]。因此，構建模型時需要充分考慮句子語境，探討語音特征、音位、單詞、句子等多因素的綜合作用。

圖2 拓展模型結構圖

基于這一考慮， 我們在原模型三層次結構的基礎上引入了更高層次的感知單位──句子，形成了由語音特征、音位、詞匯、句子四個層次構成的拓展模型，結構如圖2所示。在拓展模型中，詞匯識別涉及自下而上和自上而下兩種信號輸入途徑，自下而上的過程是指從音位特征層面向詞匯層面輸入語音信號。在詞匯層與音位層之間的作用關系中，一個音位激活詞匯層上包含這個音位的所有單詞，這一激活作用是以詞庫中已有的單詞作為基礎來實現的。而在句子層和詞匯層的作用關系中，輸入系統的單詞激活的不是感知系統中固有的句子(諺語等作為整體形式儲存在記憶中的句子除外)，而是激活相應的句法和語義信息，并通過自上而下傳遞這些信息來實現從句子層到詞匯層的反饋作用，這一反饋效應可以稱作句子語境效應。拓展模型充分體現了句子語境對詞匯識別自上而下的反饋效應，突顯了宏觀感知單位在言語感知中發揮的重要作用。

二、句子語境下的詞匯識別

由于句子語境對詞匯識別的影響體現在句法和語義兩個維度上，可以將句子語境效應劃分為句法效應和語義效應。下面，我們分別介紹句法效應和語義效應發揮作用的機制。

1.詞匯識別的句法效應

圖3 言語感知的句法效應

言語感知和句法分析同步進行，隨著句中最后一個單詞輸入感知系統，句法樹也搭建完成。句子層對詞匯層的反饋主要通過激活不同的句法規則來進行。句子層可以基于句法規則對詞匯層的語音信號進行補充，符合句法規則的單詞在同層競爭中將會勝出，句法層的反饋是對音位層自下而上作用的補充，隨著語音信號的輸入，相關單詞不斷被激活，句法樹同時按照自下而上的順序搭建起來，相應節點的信息被激活，句子層上的句法信息被相應激活，反向激活了詞匯層上符合句法規則的詞匯。名詞短語中的成分所激活的句法信息通常只限于名詞短語內部。而動詞由于承載了核心句法信息，在句子層上激活的句法信息量最大，如時態和一致性。現以The bull killed the horse為例，說明句法信息對詞匯層的反饋效應。根據喬姆斯基的短語標記理論，例句中各語法成分的關系可以用圖3表示，圖中箭頭表明了節點之間的激活方向。下箭頭表示通過系統內部句法規則提供的信息來激活相關節點。上箭頭表示通過輸入系統的外部信息來激活相關節點。

在例句中，bull和horse兩個單詞會受到自上而下的激活。具體過程如下，首先冠詞the激活Det節點，D節點自下而上瞬間激活NP，同時啟動相應的語法規則NP→Det+N， 根據這一規則可以推斷冠詞the后面將出現一個名詞性成分，該成分不一定緊跟在the后面，如果隨后輸入感知系統的單詞為形容詞，反饋效應會在短時間內延緩。也就是說，N節點被激活，這一信息反饋至詞匯層后，備選詞匯中的名詞將會受到激活，而其他詞性的詞匯受到抑制。例如，如果備選詞匯為full、pull和bull，句子層會通過自上而下的反饋作用激活名詞bull，而形容詞full和動詞pull則會受到抑制，從而bull在與詞匯層上另兩個單詞的競爭中勝出。動詞kill的出現會激活大量的句法信息，參與自上而下的反饋。圖中，kill自下而上激活V節點和VP節點，同時啟動語法規則VP→V+(NP), 動詞的及物性決定NP是否被激活，由于kill是二元動詞，需要接賓語成分，因此NP獲得相應的題元角色。賓語的名詞性特征自上而下反饋至詞匯層，如果存在多個備選詞匯，名詞將受到句子層的激活，其他詞性的單詞受到抑制。這里，句法信息對詞匯識別的影響主要體現在對詞類的限制上。

句法信息對詞匯感知的另一個影響體現在動詞的曲折形態特征方面。詞項的形態特征包括與時態、人稱、性、數(一致)、格相關的有形或無形的形態特征。為了解釋動詞和曲折特征間的關系，喬姆斯基在最簡方案中提出了“特征核查”理論，認為動詞在詞庫中就具有固有的屈折特征，在運算構成的復合體中，這些屈折特征與中心語相對應而得到核查。[5]在最簡方案中，推導式中的時態、一致性等之類的功能節點不包括詞庫中調取的詞項，這些位置不是插入屈折詞綴之處，屈折詞綴全部附加在詞項上，功能節點僅攜帶形態屈折特征，用于核查DP、V的特征。喬姆斯基提出的最簡方案對于言語感知同樣具有啟發意義。如圖4所示，輸入感知系統的動詞將句法樹從節點V開始自下而上激活，時態和一致性等功能節點被激活后主要發揮特征核查功能，相關的曲折特征信息將被反饋至詞匯層，將對詞匯層的感知結果進行逐層的核查，對感知結果加以檢查和修正。特征核查并不是等句子推導結束時才開始進行的，而是每當一個功能語類進入感知系統，功能節點就會與之形成核查關系。核查操作從最底層開始，逐層向上推進。

圖4 言語感知的核查式反饋機制

這種核查式反饋效應是以中心詞的有效識別為前提的，主要對已經感知出的詞匯進行監督和修正，僅起到輔助作用，例如，在詞匯識別的理想狀況下，感知輸出的動詞應該為帶有屈折形態特征的復合體killed，此時核查機制只起到監督作用，未發揮修正作用；但在語音信號輸入不充分或有誤時，感知輸出的結果容易出現偏差。如果輸出的結果是kill，在核查機制的作用下，輸出的結果會被修正為killed。核查機制有助于減輕感知系統的認知負荷，符合人類認知活動的經濟性原則。

2.詞匯識別的語義效應

一個句子中詞與詞的結合除了受句法規則的支配之外，還需要滿足語義上的限制條件，具備語義可接受性。這種語義限制不局限于核心謂詞與論元之間，論元之間以及修辭語和被修飾詞之間都存在選擇性限制。句子層對句子中不同成分的語義特征進行判斷，并將這一信息反饋至詞匯層，對符合語義限制條件的單詞產生激活作用，不符合語義特征的詞匯則會受到抑制。例如，當語段“The bull killed the”輸入感知系統后，系統根據已知的動詞可以判定bull是施事，接下來出現的詞匯應當為kill這一行為的受事，kill是將有生命的事物變成無生命事物的行為，由此可以斷定受事應該是具有生命特征的事物。這一語義限制條件會自上而下反饋至詞匯層，對詞匯識別產生限定和制約，若在下一時間節點上輸入的語音信號為/h_s/, 其中“_”是介于/au/和/:/之間的模糊語音信號，house和horse兩個單詞同時被音位層的信號激活。兩者在詞類特征上并無差異，但在語義特征上有區別，已知的語義信息會激活具有生命特征的單詞horse, 無生命特征的單詞house會受到抑制，因此horse在與house的競爭中勝出，因此知覺輸出的最終結果是horse。語句效應直接作用于詞匯層，同時間接作用于音位層，這也體現出了模型中各個層次之間作用的連鎖反應。論元之間的語義關系也會產生語義效應。例如，John married /k_t/，“_”代表模糊的語音信號。通過語義關系可以推斷，作為John的結婚對象，賓語應該具有至少三個語義特征[﹢human][﹢adult][- male]，這三個語義限制條件由句子層反饋至詞匯層，若備選詞匯為kite，Kate，cat，其中符合條件的女性名稱Kate會受到激活，其他不符合條件的單詞受到抑制。

語義和句法因素對言語感知的影響與感知主體有密切關系，兩者并不相同。但句法效應與語義效應沒有絕對的界限，句子語境效應是兩者共同發揮作用的結果。目標單詞經常會受到來自句法和語義層面的雙重激活，感知處理速度也隨之加快。從時間上來說，由于句法處理先于語義處理，句法效應通常先于語義效應。從作用范圍上看，句法效應只限于在一個句子內部發揮作用，而語義效應不限于在一個句子內部，還可以體現在多個句子之間。

結 語

言語感知是一個極為復雜的過程。句法、語義、語音等語言因素和社會文化等非語言因素都會參與語音信號的合成與分析，從而影響感知系統的決策與判斷。言語感知應遵照音不離詞，詞不離句的原則，語音特征、音位、詞匯和句子語境環環相扣，只有兼顧了這四個層次，感知模型才能對現實交際環境下的言語現象做出合理的解釋。本研究在語跡模型的基礎上構建了涵蓋語音特征、音位、詞匯和句子四個層次的拓展模型，并運用拓展模型解釋了句法和語義信息對詞匯識別的影響。研究表明，在句法方面，句子層依據句法規則對詞匯層產生自上而下的反饋作用，對在詞類和曲折形態特征等方面滿足句法限制條件的備選單詞產生激活作用，同時抑制不滿足句法限制條件的單詞；在語義方面，句子層激活滿足語義限制條件的備選單詞，同時抑制不滿足限制條件的單詞。句法效應和語義效應在詞匯識別的過程中共同發揮著至關重要的作用。

[1]McClelland, J. L., Mirman, D. & Holt, L. L.Are there interactive processes in speech perception？[J]. Trends in Cognitive Sciences, 2006，10(8).

[2]McClelland, J. L. & Rumelhart, D. E.An interactive activation model of context effects in letter perception: Part 1. An account of Basic Findings[J]. Psychological Review, 1981(88).

[3]Pollack, I. & Pickett, J.M.,Intelligibility of excerpts from fluent speech:Auditory vs. structural context[J].Journal of verbal learning and verbal behavior, 1964(3).

[4]Windmann, S.Sentence context induces lexical bias in audiovisual speech perception[J].Review of Psychology, 2007,14(2).

[5]Chomsky, N.The Minimalist Program[M].Cambridge:MIT Press,1995.

責任編校：汪長林

EffectofSentimentalContextsonWordRecognitioninSpeechPerception

LIU Xin-miao

(Department of Foreign Languages and Literatures, Tsinghua University, Beijing 100084, China;China Institute of Industrial Relations, Beijing 100048, China)

Phonemes, words and sentences are interconnected in speech perception. Besides phonetic features, phonemes and words, sentences are also engaged in speech perception. In speech perception, sentimental contexts exert influence on word recognition both syntactically and semantically. Syntactically, sentence levels exert top-down feedback effect on world levels according to syntactic rules, screening the candidates on word levels by constraining their part of speech or checking their inflectional features. Semantically, sentence levels activate pr inhibit the candidates by exerting semantic constraints.

speech perception; word recognition; context

2014-01-16

教育部人文社科基金項目(12YJA740009)；中央高校基本科研業務費專項基金項目(12zy018)。

柳鑫淼，女，吉林大安人，中國勞動關系學院講師，清華大學外文系博士研究生。

時間：2014-8-28 15:45 網絡出版地址：http://www.cnki.net/kcms/detail/34.1045.C.20140828.1545.015.html

10.13757/j.cnki.cn34-1045/c.2014.04.015

H030

A

1003-4730(2014)04-0065-04