摘要:句法和語義是句子理解加工的兩個主要方面,人類大腦是否能夠對句法和語義進行區分? 又是如何對兩者分別進行表征和加工的? 這是目前語言認知神經科學領域研究的一個十分重要的課題。近年諸如“ERP”和“fMRI”之類神經語言學研究方法的興起和盛行,為句子理解加工的相關研究提供了新的技術手段,也使研究者對句子理解加工的研究大大深化。本文旨在概述當前句法語義關系的ERP研究的一些成果。
關鍵詞:句子加工句法加工語義加工“ERP”“FMRI”
一、引言
心理語言學界普遍認為,句子理解主要涉及句法加工和語義加工兩個方面,不少學者對此兩方面的相關問題已經進行了深入的研究。之前行為研究方法雖取得許多卓越成果,但對于揭示句子加工的內部過程仍存在著一些先天的不足,因為句子加工過程幾乎是在無意識的狀態下瞬間完成的,而像“反應時”這類行為研究方法,從本質上來講是對被試完成任務后的各類測試,無法獲得被試的實時在線加工信息。
而ERP反映的是與特定刺激呈現時間同步的突觸后電位的總和,可從極性(P/N)、波幅、潛伏期和頭皮分布等多方面進行描述。波幅反映了加工過程的難易程度;潛伏期以毫秒為單位,反映刺激出現后神經活動與加工過程的速度與時間進程;頭皮分布則是腦認知活動的大腦皮層定位。ERP技術在時間上具有毫秒級的高分辨率,能夠清楚地呈現句子理解的時間進程。ERP技術憑借其多維的探測能力、高時間分辨率以及空間分辨率, 已成為現代句子理解研究最重要的手段之一。
二、四種ERP成分
近二三十年來,研究者們通過ERP手段對句子理解認知過程的研究,發現了與句子認知加工相關的四種ERP成分,分別是與語義加工相關的N400和與句法加工相關的“ELAN”(early left anterior negativities),“LAN”(left anterior negativities)以及P600成分。
Kutas和Hillyard(1980)首次運用句法結構正確但句末單詞語義違反的句子為實驗材料,發現了峰值約為400ms的N400。通常認為N400與語義加工有關,并得到后來研究的多次證實。進一步研究發現,被試對違反詞的期望及違反詞與其他詞之間的關系會影響N400波幅的大小;另外,N400的大小還受違反詞使用頻率、語義抽象程度、語境等因素的影響。
Kutas和Hillyard之后的研究者在句法違背句中發現了與句法加工相關的左前負成分“LAN”、早期左前負成分“ELAN”和“P600”等ERP成分。LAN分布比較一致,集中于左半腦前部,沒有固定峰值,其潛伏期為300ms到500ms,但也有研究報告稱其潛伏期始于100ms。研究發現不僅在詞類違反的情況下能夠發現LAN,而且在名詞復數不一致、動詞時態不一致(HagoortBrown,2000)和無意義句中(Munte等,1997)也發現過此成分。ELAN是潛伏期在100ms到300ms的ERP成分,它的出現主要與句子中的詞類違反有關。在視覺和聽覺呈現方式的詞類違反句實驗中均發現了ELAN(Friederici,1999;HahneFriederici,2002)。從ELAN和LAN的大腦皮層定位來看,早期句法加工的主要功能區位于左額葉和左側前部顳葉。
P600最先由OsterhoutHolcomb(1992)發現,是與句法加工有關、出現在目標的違反詞之后500~600ms的晚期正成分,主要分布在大腦中央頂區。主謂一致違反、動詞屈折變化違反、格的屈折變化違反、短語結構違反等均能發現P600。有的研究者認為ELAN和P600共同反映了句子的句法加工進程,其中ELAN反映句子結構的初步建構,P600標志著對句法結構的再加工或整合。不過,近期的研究中也有學者提出“語義P600”,認為影響語義P600效應產生的有五個主要因素:關鍵詞和論元之間的語義關聯性;語義-主題關系的潛在可修正性;生命度違例;語境和實驗任務。以上ERP成分是研究句法語義加工的重要指標,是經過反復研究證明了的較為科學可信的指標。
三、語言句法語義加工的ERP相關研究
一直以來,語言理解的句法和語義加工機制問題也備受學者關注,有關此問題的主要理論是句法自主理論和相互作用理論。句法自主理論又稱模塊化理論,該理論認為在句子加工中,句子所包含的各種信息的加工由大腦的不同功能性模塊完成。句法加工是一個獨立的模塊,只受到句法結構信息的影響,而語義信息的加工位于句法加工之后,處于第二個加工階段,根據語義信息可對初步的句法分析結果作出評價,如果句法分析與語義分析在結果上有矛盾之處,那么,將會重新進行句法再分析(Forster,1979;FrazierRayner,1982)。句法自主理論認為句法加工和語義加工是相互獨立的,且句法加工在語義加工之前,語義加工對句法加工并無實質性作用;與句法自主理論相對,相互作用理論則認為在句子的加工過程中,句法信息和語義信息相互影響,相互作用,詞匯和語義信息可以影響句法信息的加工,同時,在一定程度上也可以限制句法的分析判斷以及句法結構的構建(Bates等,1987; MacDonald等,1994)。這兩種理論通過大量的實驗研究(ERP、fMRI等)進行了反復論證,并不斷得到修正。在此,我們主要綜述語言句法語義加工的ERP相關研究。
盡管模塊論與交互論都得到了許多行為學及電生理學實驗的支持,但仍有大量研究表明,句法和語義加工相互獨立,且具有各自的加工模式,但同時兩者也相互聯系(BornkesselSchlesewsky,2006;KimOsterhout,2005;KolkChwilla,2007;Kuperberg,2007;Ferreira,2003)。支持以上觀點的論據主要集中在對P600成分的研究上,一般認為,P600與不規則句法直接相關,但最近也有研究發現,語義線索解釋與句法線索沖突時也會引發P600(Kolk、Chwilla、Van HertenOor,2003;Kuperberg、Sitnikova、CaplanHolcomb,2003)。另外,包含語義違反單詞的句子會引發N400(KutasHillyard,1984),而句法違反則引發的是P600(Hagoort、BrownGroothusen,1993;OsterhoutHolcomb,1992)或者前部負波(Osterhout Mobley,1995;Gunter、FriedericiSchriefers,2000;Coulson、KingKutas,1998)。這些結論與區分語義和句法的心理語言學模型一致(Osterhout、KimKuperberg,2011)。
然而,與上述觀點不同,近來一些對句法和語義的研究認為,一些動詞論元組合語義上的違反也會引發P600而非N400(Hoeks、StoweDoedens,2004;KimOsterhout,2005;Kolk等,2003;Kuperberg等,2003;NieuwlandVan Berkum,2005)。這似乎對傳統意義上的句法P600提出了挑戰:認為P600除了反映句法加工之外,也是語義加工的重要指標。
最近一項ERP研究報道了動詞-論元組合會引發中頂葉的P600效應,而這樣的誘發條件并不包括簡單的句法違反,這與之前關于P600的研究是不符的。KimOsterhout (2005)將這種P600效應的出現解釋為句法線索無法提供充分的語義解釋時出現的結構再加工,或者是句法線索的失敗;因此,這樣的句子被認為是句法形式錯誤的。Albert KimLes Sikos(2011)對上述結論進行了研究,同時也發現,在那些句法-語義矛盾的情況下變換句法線索會影響矛盾結果的產出。當句子中包含復雜形態句法“修復”的句法線索時,P600效應會得到消除,但會產生左前負波(LAN)。由此推測,LAN或許產生于句法和語義線索分析有困難的時候。
研究表明,詞語間語義關系的提取取決于嵌入在句子中詞的句法結構(JackendoffPinker,2005)。在理解句子的過程中,讀者/聽者需要將受限于不同句法層級水平的詞整合成與句子表征一致的結構(FilikLeuthold,2008;Hald、Steenbeek-PlantingHagoort,2007;Zhang Jiang,SaalbachZhou,2011;Zhou等,2010;NieuwlandVan Berkum,2006)。最新研究提出,不同句法層面的語義加工很可能取決于不同的神經-認知機制(Kemmerer,2000;Kemmerer、TranelZdanczyk,2009;Zhou等,2010)。因此,研究這些機制如何相互影響,以及句子理解中,多種層級結構的語義限制條件如何影響新詞進行整合加工,是很有意義的。
然而,層級結構的語義加工如何影響局部短語中語義加工,以及后者如何影響前者?到目前為止,對此問題好像只有兩項直接的研究,一項是德語研究(Zhang等,2011),另一項是漢語研究(Zhou等,2010),但關于不同句法層面語義加工的相互作用,這兩項研究提出了相反的意見。盡管兩項研究都表明,更高層面的語義加工失敗時,某一層面的語義加工可以進行,但它們的不同在于,局部加工失敗的情況下,更高層面的語義加工是否可以獲得。
Zhou(2010)運用ERP技術考察漢語句子閱讀過程中不同句法層級水平語義整合加工的神經動力。在“主語名詞+動詞+數詞+標類語素+賓語名詞”結構中,“賓語名詞”受低層“標類語素”選擇性條件以及高層結構“動詞”的限制,同時,“標類語素”也受高層結構“動詞”的限制。實驗控制了動詞、標類語素和名詞之間的語義一致性,形成五種不同類型的句子:正確句子、單一標類語素-名詞失匹配句子、單一動詞-名詞失匹配句子、雙失匹配句子(標類語素-名詞和動詞-名詞失匹配)、三者失匹配句子(標類語素-名詞、動詞-名詞、動詞-標類語素失匹配)。與正確句子相比,所有的失匹配句子都在名詞位置上引發了N400成分,而且,在雙失匹配句子下的N400效應與三者失匹配句子下的效應相同,卻比單一動詞-名詞失匹配句子下的N400效應更大。另外,單一動詞-名詞失匹配句子和雙失匹配句子都在名詞位置引發了左后正波效應和550~800毫秒之間的前負波效應,而且雙失匹配句子中的效應比單一失匹配句子中的大。標類語素-名詞失匹配在名詞位置也引發了晚期前負波效應。雖然三者失匹配句子沒有在名詞位置引發顯著的晚期正成分,但是在標類語素位置上導致了此成分。N400效應模型表明,不同句法等級的語義加工影響新詞與前面句子語境的整合。晚期后正成分或許反映了句子理解過程中跨越等級水平的語義整合加工。
而JiangZhou(2012)卻得出了新結論,他們研究句子理解過程中,嵌入到層級結構中的新詞如何與之前的表征在語義上進行整合。實驗中被試需要閱讀具有復雜動詞論元結構“主語名詞+動詞+數詞+標類語素+賓語名詞”的漢語句子,在此結構中,一方面,“主語名詞”在小結構中受標類語素限制,另一方面,在高一層結構中則受“動詞”約束。標類語素和名詞、動詞和名詞以及動詞和標類語素之間語義一致分別或同時造成局部失匹配(標類語素-名詞失匹配)、順序失匹配(動詞-標類語素以及標類語素-名詞失匹配)或者三者失匹配(動詞-標類語素和標類語素-名詞以及動詞-標類語素失匹配)情況。賓語名詞的時間相關電位表明,以上三種情況都存在波幅較強的N400以及晚期負波效應,而局部失匹配還引發了晚期正波。另外,標類語素位置上,動詞-標類語素失匹配在引發類N400效應之后還引發了一個晚期正成分(P600)。N400效應表明,當沒有對結構重新解讀時,句法高層面的語義加工可以在低層面語義加工失敗下進行;同時還表明,早期句子成分之間的語義一致可以影響層級結構中新詞的整合。P600效應反映句法層面協調加工的直接觸發;而晚期前負成分則表明語義重新解讀加工第二階段的開始。
另外,JiangZhou(2009)運用ERP技術考察漢語“把”字句結構,觀察句子理解過程中不同句法層級結構的神經機制。實驗中語句的結構助詞主要是形容詞性的“的”和副詞性的“地”,并將它們置于低水平的層級結構(如:把—形容詞性(的)—名詞—動詞)或高一級的結構中(如:把—名詞—副詞性(地)—動詞)。實驗表明,誤用結構助詞會導致低層或高層結構的違反。被試要閱讀并理解所有句子,實驗結束時完成一項句子認知測試。低層結構的違反會引發一個左前負波;高層結構的違反誘發右前負波(RAN)和一個出現在助動詞短語開始后300~500毫秒的中頂負波(N400)。兩種違反情況都沒有在關鍵助動詞短語位置引發晚期正成分。這些結論揭示了自然語言理解過程中的不同句法層級結構加工或許反映出不同的神經機制。左側負波很可能與構建局部、低層句法結構有關系;右側前部負波則與構建復雜的、高層句法結構有關。
閱讀過程中的形態句法一致性違反會引發雙相ERP波形(LAN+P600)。影響以上兩種成分波幅的認知因素以及前部負波的地形分布情況仍然是存在爭議的。我們研究與詞匯特征違反不同的語法性范疇的違反。這兩種特征不同之處在于一致性操作中的表征等級以及與可能成分建構結構關系的角色上。由這兩種一致性違反引發的ERP波形是不同的。對于兩種違反來說,LAN都是腹側分布,但性范疇違反時會出現中央延伸的現象。在音位違反的晚期時間窗口P600成分的振幅比較大。
以上研究可分為兩類,分別支持模塊論和交互論,但模塊論占上風。模塊論可分為強勢模塊論和弱勢模塊論。強勢模塊論認為句法加工先于語義加工,句法加工影響語義加工,但語義加工不影響句法加工。弱勢模塊論認為句子認知加工前期句法加工和語義加工彼此獨立,后期句法加工和語義加工相互影響。
Ainsworth-Darnell等(1998)和Osterhout、Nicol(1999)支持強勢模塊論,發現句法加工成分和語義加工成分在雙違背和單違背試驗條件下沒有明顯變化,說明句法加工和語義加工不存在交互作用,而是相互獨立、互不影響。Hagoort(2003)實驗結果則顯示雙違背中語義加工成分有明顯變化,句法加工成分未出現明顯變化,這說明句子認知加工過程中句法加工和語義加工作用不同,句法加工影響語義加工,但不受語義加工影響。
也有實驗支持弱勢模塊論,如:Gunter(1997、2000);Ye(2006)發現雙違背產生的效應大致等于句法違背和語義違背產生的效應之和,早期句法加工成分在雙違背中沒有明顯變化,后期句法加工成分在雙違背中變弱或消失。這說明句子認知加工早期句法加工和語義加工彼此獨立、互不影響,后期句法加工和語義加工交互作用。
Wicha(2004)、Palolahti(2005)、Yamada和Neville(2007)支持交互論,研究發現雙違背與單純違背實驗條件相比,語義加工成分及句法加工成分都出現明顯變化。該現象說明句法加工和語義加工相對獨立,兩者在早期和后期始終有交互作用。
四、結語
目前句法語義的相關研究很多,觀點各異,這與實驗范式的選擇有著很大的關系,一些研究的實驗材料中違背詞位于句尾(如:Gunteret,1997)產生了“尾詞效應”。采用違背句為刺激材料是為了探測違背詞是否會影響句法加工和語義加工過程的正常進行,但當違背詞處于句尾時,被試對句子的認知加工已達整合階段,導致句尾詞加工受自身特性的影響較少,更多地受到高層次認知加工的影響。句尾違背詞反映了局部加工效應和整體加工效應之和,因而句尾違背詞產生的ERP效應無法完全顯示句法加工和語義加工交互作用的問題,即句法加工和語義加工誰影響誰的問題。但盡管如此,關于句子句法和語義的ERP研究確實取得了豐碩的成果,尤其是在探討二者關系的研究上,無論是句法自主論還是相互作用論,都得到了實證研究的支持,研究的內容也涉及方方面面,在以后的研究中,我們要盡量避免干擾因素,更深入地研究句子的認知加工機制。
參考文獻:
[1]Friederici,A.D,Hahne,A.Saddy.D.Distinct neurophysiological
patterns reflecting aspects of syntactic complexity and syntacticrepair[J].Journal of Psycholinguistic Research,2002,(31).
[2]Lenneberg,E H.Biological foundations of language[M].
New York:Wiley,1967.
[3]McDonald,J.L:Sentence interpretation in bilingual
speakers of English and Dutch[J].Applied Psycholinguistics,1987,(8):379~414.
[4]Connolly J FPhillips N A.Event-related potential
components reflect phonological and semantic processing of the terminal word of spoken sentences[J]. Journal of Cognitive Neuroscience,1994,(6):256~266.
[5]Niznikiewicz M.Squires N. Phonological processing and
the role of strategy in silent reading:behavioral and electrophysiological evidence[J].Brain and language, 1996,(52):342~364.
[6]魏景漢.關于漢語的時間相關電位研究[A].彭聃齡,舒華,陳
煊.漢語認知研究[C].濟南:山東教育出版社,1997:370~397.
[7]張武田,張建洲,趙競.漢語詞匹配的偏側化效應和事件相關腦
電位[J].心理學報,1988,(4):344~350.
[8]Rudell A P.The recognition potential:A visual response
evoked by recognizable images.Neurosciences Abstracts,1990,(16):106.
[9]Martin-Loeches M,Hinojosa J A,Gomez-Jarabo GRubia
F J.The recognition potential:an ERP index of lexical access[J].Brain and language,1999,(70):364~384.
[10]Martin-Loeches M,Hinojosa J A,Gomez-Jarabo G
Rubia F J.An early electrophysiological sign of semantic processing in basal extrastriate areas[J].Psycholphysiology,(38):114~124.
[11]靳洪剛.語言習得理論研究[M].北京:中國杜會科學出版杜,
1997.
[12]劉振前.語言功能的大腦定位及其與認知關系研究述論[J].當
代語言學,2001,(4).
[13]施良方.學習論[M].北京:人民教育出版社,1994.
[14]Baumgaertner,A.,Weiller,C. Büchel,C..Event-
related fMRI reveals cortical sites involved in contextual sentence integration[J].NeuroImage,2002,(16):736~745.
[15]Binder,J. R.,Desai,R. H.,Graves,W. W. Conant,
L. L. Where is the semantic system? A critical review and meta-analysis of 120 functional neuroimaging studies[J].Cerebral Cortex,2009,(19):2767~2796.
[16]Brennan,J.,Nir,Y.,Hasson,U.,Malach,R.,Heeger,
D. J.Pylkkanen,L. (in press). Syntactic structure building in the anterior temporal lobe during natural story listening[J].Brain and Language.
[17]Chee,M. W. L.,Caplan,D.,Soon,C. S.,Sriram,N.,
Tan,E.W.L.,Thiel,T.,et al.Processing of Visually Presented Sentences in Mandarin and English Studied with fMRI.Neuron,1999,(23):127~137.