隱含形狀信息在二語句子理解中的表征研究

王慧莉，趙韞晗

（大連理工大學 外國語學院）

一、引言

人類是如何理解語言的？語言理解過程中物體信息在頭腦中是如何表征的？這些一直是認知心理學中備受爭議的問題。第一代認知科學衍生出的傳統語言理解觀認為，語言是人類特有的心理機制，思維理論大多用來處理命題（propositional）形式的知識，知識被定義為抽象的語義性知識。傳統語言理解觀中最具代表性的觀點是非模態符號系統理論（amodal symbol system），非模態符號模型假設詞語和句子的意義是由抽象的（abstract）、模態的（modal）、任意的（arbitrary）符號組成。從這個角度來看，思維是可以進行抽象信息加工，但與記憶、語言表征等高級認知功能不相聯系的感覺運動系統。此理論主張語言理解過程是語言輸入然后被映射到語義或概念表征中的過程，概念系統也被認為是由抽象的、模態的符號組成。話語內容被理解時，語義信息是完全獨立于感覺運動系統的。命題符號系統理論（propositional symbol system）也屬于非模態理論，它是以命題形式對信息的表征方式，即一種不帶任何感覺通道特點的抽象意義的表征。所謂命題是指思維活動的基本意義單位，通常由一個謂詞（動詞單位）與一個或幾個論元（名詞單位）構成，用以表述一個事實或狀態（車文博，2001：227）。根據命題符號系統理論，物體之間的心理關系是由符號而不是由場景的心理意象（mental image）來表征的。例如閱讀句子the ranger saw the eagle in the sky，讀者會激活概念命題且會得到以下連接[ [ SAW [RANGER，EAGLE] ]，[ IN[ EAGLE，SKY] ] ]，閱讀the ranger saw the eagle in its nest可以得到的命題概念連接為[ [ SAW [RANGER，EAGLE] ]，[ IN[ EAGLE，NEST] ] ]（Kintsch，1998；Kintsch & van Dijk，1978），除了名詞sky和nest分別表示中心詞eagle的不同位置以外，這兩個句子的概念命題連接幾乎完全相同。但是，出于常理和直覺，鷹在天空中和鷹在巢中的形狀是完全不同的，而在命題表征中鷹的形狀這一知覺信息將不會被表征。語言輸入在語言理解中被轉換為命題表征。但隨著非模態符號系統理論的發展，許多難以解決的問題也隨之出現，包括非模態符號系統理論是否存在、許多歸類型的知識不能用非模態符號系統理論解釋等。鑒于此，Barsalou（1999a）在傳統哲學基礎上提出了知覺符號系統理論（perceptual symbol system），為之后具身語言理解觀的發展奠定了基礎。Barsalou（1999a）認為，知覺符號（perceptual symbol）是人知覺經驗的殘留物（residue），它們以激活的形式儲存在大腦中。知覺符號是神經狀態基于知覺的記錄，大腦通過激活神經元裝置從而對所感知的實體和事件進行表征。具身語言理解觀認為，語言理解是以身體感覺、知覺等認知活動為基礎的，語言認知與感知覺、運動等享有相同的神經系統，語言理解過程中會涉及仿真（simulation）感知覺表征的激活與參與。在此基礎上Zwaan等人（Zwaan，2001；Zwaan，Standfield & Yaxley，2002）通過大量開創性的研究驗證了Barsalou的知覺符號系統理論。在Zwaan（2001）等的實驗中，研究者要求被試首先讀一個隱含物體方向的句子，包括水平方向和垂直方向，如“瑪麗把釘子釘到了地板里”和“瑪麗把釘子釘在墻壁里”，每一個實驗句都隱含著物體的方向且其與之后呈現的圖片伴隨有匹配或不匹配兩種可能，之后要求被試判斷圖片中的物體是否在之前的句子中出現過。結果呈現明顯的匹配優勢（match advantage）。匹配和不匹配兩種情況下被試的反應時間存在顯著的差異，在匹配情況下被試會對句子和圖片刺激的匹配情況快速作出反應。此實驗結果表明人們在語言理解過程中會激活并表征隱含在句子中物體的方向信息。在另一個實驗關于物體形狀的相關模擬（simulation）研究中也發現了相似的匹配優勢（Zwaan，Standfield & Yaxley，2002：168-171），被試首先閱讀隱含物體不同形狀的句子，如“護林員看到鷹在天空中”或“護林員看到鷹在巢內”，然后他們會看到隱含在句子中與物體的形狀匹配或者不匹配的圖片，實驗過程中同樣記錄被試在兩種匹配情況中的反應時。當圖片中物體形狀和句子描述場景中的物體形狀一致時，被試的反應時更短，反應更迅速。因此，此實驗說明當被試在閱讀句子時，頭腦中會形成有關事物形狀特征的知覺符號，進而支持知覺符號系統理論。國內心理語言學學者（李瑩、王瑞明、莫雷，2005：王瑞明等，2005：常欣、凌曉霞，2017）也對此理論進行了驗證。李瑩、王瑞明和莫雷（2005：588-590）的研究是以漢語為研究材料驗證了知覺符號系統理論，同時說明知覺符號的激活是策略性加工的結果。王瑞明等（2005：143-150）的研究通過增加閱讀任務的難度和進行長時記憶任務驗證了在語言理解過程中存在知覺符號表征，且知覺表征是信息表征的一種早期狀態，人類頭腦中最終的信息表征形式主要是命題符號表征。而Zwaan，Stanfield和Yaxley（2002：168-171）的實驗是建立在母語的基礎上的，國內鮮有研究證明在二語語言理解的過程中，被試會像母語一樣同樣形成有關事物形狀特征的知覺符號。因此，當前實驗繼續沿用句圖匹配范式，以二語為研究對象，驗證在二語的背景下語言理解是否同樣支持知覺符號系統理論。

二、研究方法

1 被試

80名二語為英語的學習者參加了本次實驗，包括48名男生和32名女生，年齡范圍在19到30歲之間（M=23.7，SD=1.99）。被試的母語為漢語，二語為英語，均通過大學英語六級或英語專業四級考試。所有的被試均為右利手，視力或矯正視力正常，無閱讀和識圖障礙。被試自愿參加本次實驗并在實驗結束后獲得一定的報酬。

2 實驗材料

本實驗共有96張黑白圖片，其中大部分來自Zwaan，Stanfield和Yaxley（2002：168-171）的實驗，其他圖片從互聯網和剪貼畫庫中獲得。所有的圖片中有32張圖片為填充圖片，其余的64張實驗圖片兩兩匹配，每對圖片都展示了同一物體的不同形狀。匹配的其中一張圖片為冰箱里的雞蛋，而另一張為煎鍋中的雞蛋。

圖1 冰箱里的雞蛋和煎鍋里的雞蛋

96個句子用來搭配圖片，其中包括32個填充句和64個實驗句。實驗句子兩兩匹配，分別隱含著同一物體的不同形狀。填充句中提及的物體沒有在之后呈現的圖片中出現，因此在識別任務中需要被試作出“否”的反應，實驗句中的物體在實驗圖片中都會出現，因此被試判斷時應作出“是”的反應。

3 評定實驗

為確保圖片的規范性和描述的準確性，需要對圖片材料進行事先評定。100名不參加正式實驗的學生參與了評定。每位同學一本小冊子，里面有事物的名稱和對應的圖片，參與者被要求在七點量表里對句圖的匹配關系進行評定，匹配度在4分以上的圖片被應用到實驗中。

表1 實驗中使用的圖片和句子刺激示例

表2 實驗中使用的填充圖片和填充句子示例

4 設計與程序

本實驗為2（匹配狀態：匹配與不匹配）×2（圖片版本）被試內設計，其中自變量為句子與圖片的匹配關系，因變量為被試的反應時間。為控制實驗材料和實驗條件的順序效應，本實驗共有4個序列。提及同一個物體的兩個實驗句（S1，S2）和兩張實驗圖片（P1，P2）排列組合，產生了4個版本，分別是S1P1，S1P2，S2P1，S2P2。S1P1與S2P2為句子和圖片的匹配情況，S1P2與S2P1為不匹配情況，每個序列包含四個可能版本中的一個（2句子×2圖片）。對于其中一個物體，每個序列只包含其中一種版本。填充句在每一個實驗序列中都相同，填充項目與實驗項目在實驗中隨機出現。

實驗程序由E-prime 2.0編制，在計算機上進行實驗。被試首先在屏幕中央看到一個注視點“+”，呈現時間為600ms；注視點消失后出現一個句子，被試理解句子后，按下空格鍵；屏幕中央再次出現注視點“+”，呈現時間為600ms；接著呈現圖片，被試被要求準確且快速地判斷圖片中的物體是否在前面句子中出現過，“是”按F鍵，“否”按J鍵。為確保被試熟悉實驗程序，在正式實驗前有5個練習實驗，實驗總長約30分鐘。

圖2 實驗過程說明

5 結果與分析

首先剔除錯誤率高于20%被試1名，再刪除3個標準差之外的極端數據，共排除4.88%的數據，最后得到78名被試的有效數據。我們對匹配和不匹配兩種情況下被試反應的錯誤率的顯著性進行比較，如表3所示。

表3 匹配和不匹配兩種情況下被試反應的錯誤率

對表3兩種匹配情況錯誤率進行分析，發現被試在不匹配的情況下錯誤率更高，也就是說被試在不匹配的情況下更容易犯錯誤。以被試為隨機變量，在匹配和不匹配兩種條件下對被試的錯誤反應做匹配樣本T檢驗。統計結果表明在不匹配情況下被試反應的錯誤率更高，匹配和不匹配兩種情況下錯誤率差異顯著（t=-3.572，p<0.05）。

表4 匹配與不匹配條件下句圖匹配的反應時與標準差（ms）

對表4的反應時數據進行描述型統計分析，匹配情況下被試的平均反應時為927ms，標準差為184.66ms。而在不匹配情況下平均反應時為981.92ms，標準差為202.82ms。鑒于此，可以初步得出結論，匹配情況下被試的平均反應時和標準差明顯小于不匹配情況，說明被試在匹配條件下所用的時間更短，反應更迅速。

表5 匹配和不匹配條件下的方差分析（ms）

表5展示了在匹配條件和不匹配條件下被試反應時的差異分析結果，表明兩種匹配下被試的反應時存在顯著性差異（t=-4.448，p<0.05，df=77），不匹配條件下的反應時顯著高于匹配條件。由此說明當句子和圖片相匹配時，被試的反應更快。

從表6可以看出在句子和圖片匹配識別任務中，句子因素對反應時的影響顯著，F（1，77）=5.182，p=0.026，p<0.05，說明句子因素對反應時有顯著影響。以此類推，在識別任務中，圖片因素對反應時也有顯著影響，F（1，77）=6.588，p<0.05，p=0.012，證明圖片因素也會影響識別任務中的反應時。此外，在識別任務中句子與圖片之間的交互作用是顯著的，F（1，77）=21.275，p=0.000，p<0.05，說明句子因素與圖片因素之間的交互作用影響了識別任務中的反應時。

三、討論

在以命題符號系統理論為主導的時期，學者們普遍認為認知和知覺是相互分離的兩個領域。知覺和認知被認為反映了大腦獨立的、不同的系統，知覺系統從環境中提取信息并將其傳遞到執行認知功能的系統中（如言語、記憶、思維等）（王瑞明等，2005：143-150）。Barsalou（1999a）提出了與之相對立的觀點，他認為知覺表征是認知的基本組成部分而不是命題表征。認知被認為是有知覺性的特點，其與知覺享有共同的神經系統，知覺狀態包含對外界刺激無意識的神經表征和有選擇的意識經驗。當知覺狀態產生時，其中一些會通過選擇性注意被抽取出來并儲存在長時記憶中。在之后的激活過程中，這種知覺記憶可起到符號作用以代表外界事物，并進入符號操作過程（Barsalou，1999b：61-80）。認知表征就是由大量的知覺符號集中起來產生的。知覺符號具有模式性（modal）和類比性（analogical）的特點，模式性是指知覺符號與其產生的知覺狀態處于同一系統，如在知覺中表征方向或顏色的神經系統很大程度上在知覺符號中也表征物體的方向或顏色信息；類比性是指在某種程度上，知覺符號的結構與產生它的知覺狀態是相對應的。基于對知覺符號這一認識的基礎上，Barsalou（1999a）對知覺符號系統理論進行了系統地闡述。知覺符號系統理論認為，人們在閱讀過程中對語言理解中信息的表征是知覺符號表征，知覺符號系統理論是與傳統的命題符號系統理論相對立的一種理論觀點，它對命題符號系統理論所闡述的大部分觀點提出了質疑。自Barsalou（1999a）提出這一理論以來，國內外很多研究者均對它產生了濃厚的興趣，對兩種理論的爭議也越來越激烈。在當前實驗中，我們采用跟Zwaan，Stanfield和Yaxley（2002：168-171）類似的研究范式，以二語為實驗材料，通過對比被試在句子和圖片匹配和不匹配兩種情況下的反應時間，進一步驗證了知覺符號系統理論的合理性。實驗結果表明被試在閱讀句子時明顯地表征了物體所隱含的形狀信息。因此，在識別任務中當圖畫與物體隱含形狀不匹配時，被試對圖畫的反應時間顯著長于圖畫與物體隱含形狀匹配時的反應時間，被試在不匹配條件下的識別任務正確率顯著低于匹配條件下的正確率。

正如預期的那樣，目前的研究結果與以往對知覺符號系統的研究結果是一致的，即人們在語言理解過程中激活隱含的知覺信息，這是通過觀察語言的理解與身體活動的一致性效應研究方法來證明的。研究結果同時證明了Langacker（1987）等的觀點，即語言輸入意義的表征是一個動態的過程，它涉及到可塑的知覺表征，而不是意義各成分的機械組合。近年來認知語言學、心理學和認知神經學的大量實證研究為知覺符號系統理論提供了支持，因此我們的討論從這些領域的理論視角展開。

1 認知語言學中的知覺符號系統

當前的研究產生匹配優勢，在二語語言理解過程中，當圖片展示的物體形狀與句子中所隱含的物體形狀的相同時，被試的反應速度更快。當前研究與Zwaan（2002）等得到了相同的實驗結果，說明在母語或是二語的背景下語言理解過程中物體的知覺信息都會被表征，人們在語言理解過程中心理在表征隱含在句子中的物體的形狀。這表明二語語言理解過程中形狀表征增強了語言理解的具身觀，特別是通過展現形狀這一知覺信息在語言理解過程中經常被激活和表征的知覺符號模型，就如之前在英語研究中對物體顏色、方位和運動的研究一樣。我們通過觀察在物體識別任務中的句子理解促進身體反應來得出結論。

首先，本研究的結果產生匹配優勢，這與之前母語的研究結果一致，即處理句子引導人們對所描述的情境進行心理模擬（mental simulation），而構建心理模擬的三個過程：直接的、無意識的和完全無意識的。

根據Zwaan（2004）的浸入式體驗框架（immersed experienced framework）所述，語言處理遵循三個原則：在語言理解過程中構建對物體隱含知覺信息的主動仿真（enactive simulation），在某一特定事件的背景下整合主動仿真，基于個人經驗、知識、可組合性、可預測性和語法標記來合并不同的仿真。例如，當被試看到句子there was an eagle in the nest，會按照如下方式來構造這個句子：首先，目標詞eagle和短語in the nest在不同的知覺結構中激活了原先的經驗，接著在仿真語言所隱含事件的過程中整合成智能網絡，被試將模擬鷹在巢穴中棲息的場景，隨后被試將根據他們之前的經驗將鷹和樹或森林等環境結合起來。

語言對理解者來說是組建對所描述的情景進行體驗式（感知+動作）模擬的一組信號。在這種概念下，理解者是所描述情景下的沉浸式體驗者，而且理解是所描述情景的代替經驗。因此，Zwaan（2004）的沉浸式經驗框架的本質和Barsalou（1999a）的知覺符號系統理論有相同的特點，即這兩種理論都主張語言理解是在感知模擬器（perceptual simulator）的基礎上進行思維模擬的。

在認知心理學領域有學者已經探討了構建模擬和語言理解所需的處理機制之間的關系。有兩個因素說明如何根據匹配或不匹配優勢構造模擬：時間重疊（被處理和模擬的句子的時機）和可集成性（刺激可以被整合到模擬中的程度）。參與者同時處理一個句子并觀看一個知覺刺激時，當句子和刺激被整合（如當被試在閱讀句子“他把釘子釘入墻”時，看到釘子水平方向的圖像）時就會出現匹配的優勢，而當句子和刺激物不容易被整合（如當被試在閱讀句子“他把釘子釘在地板上”時，看到釘子在水平方向的圖像）時就會出現不匹配的情況。當句子和圖片刺激按順序呈現時，如果知覺信息和句子所隱含內容是可整合的，也會有一個匹配優勢。如在本實驗中被試閱讀句子“天空中有只鷹”之后，看到一只鷹在空中的圖像，暗含物體形狀的圖片在句子呈現之后，當圖像中物體的形狀與句子所隱含的物體的形狀一致時，會得到匹配優勢。

2 認知心理學中的知覺符號系統

根據Tanaka，Weiskopf和Williams（2001：211-215）提出的物體識別的“形狀+表面模型”，物體形狀信息可以通過“物體識別過程中的感知物體或心理意象中的詞匯標簽來觸發。因此，本研究的結果與形狀+表面模型”是一致的，當處理句子隱含物體的形狀時，如閱讀隱含物體形狀的句子（如there was an eagle in the sky）后，被試將會在頭腦中表征鷹的形狀。因此，當物體在圖像中的形狀與被試的心理意象一致時，被試在識別任務中反應就會更快。例如，當被試看到一只鷹在天空中的圖片時，反應就會更迅速。當前研究結果證明在物體識別任務中，句子理解促進身體動作反應，人們通常會在語言理解過程中激活形狀信息等物體知覺信息。

3 神經科學中的知覺符號系統

與之前語言處理研究中得到的行為證據中產生的匹配優勢一樣，本研究的結果表明共享的神經認知機制不僅影響了知覺和行為的處理，而且也影響了相同知覺和行為的心理模擬。然而，只有通過神經科學研究的證據我們才有可能得出一個明確的結論：大腦負責的感知和運動區域參與語言理解過程。

神經科學的大量研究表明視覺圖像選擇性地激活大腦中負責感知相似圖像的區域（Kosslyn，2001）。視覺對象的形狀特征由枕葉前部顳葉皮層負責，梭狀回區域不僅被圖像激活，而且可以被文字激活，這與知覺符號系統的預測相吻合。Chao，Haxby和Martin（1999：913-919）以及Wheatley（2005：1871）證實了有關名詞意義的形狀特征是由腹側顳葉皮層的神經元感知到的，這些神經元不僅部分重疊于那些有助于對相同特征進行視覺感知的神經元，而且還可以根據語義范疇進行分離。此外，神經心理學研究與知覺符號系統理論所闡述的觀點一致，即若感覺運動區域梭狀回中部頻繁受到損害會對具體的物體名詞的理解產生一定的影響（Gainotti，2006；Capitani，2009）。

四、結語

首先，本研究在句子理解過程中物體的表征產生了顯著的匹配優勢，從而從二語句子理解的形狀信息表征角度對知覺符號系統理論提供了進一步的支持。在匹配條件和不匹配條件下的反應時有顯著性差異，這與語言理解的具身觀點一致而不支持傳統語言理解觀下的命題表征觀。其次，當呈現的物體圖像與句子描述的場景中隱含相同的形狀信息時，匹配條件下反應時會更快。這種強大的匹配優勢強化了知覺符號系統理論的假設，即人們通常會在語言理解過程中激活物體包括形狀信息在內的感知信息。

盡管本實驗驗證了在二語背景下人們在閱讀過程中會激活知覺符號，進一步支持了知覺符號系統理論。但是并沒有科學的證據表明人們在閱讀過程中不會涉及命題符號系統理論。因此，未來研究者可以依靠ERP和fMRI等生理實驗工具直接檢驗大腦理解語言的激活模式。且本實驗的句子材料為二語簡單的短句，若實驗材料為長難句或文本段落，語言理解的加工方式或許并不簡單地支持知覺符號系統理論。