句子理解中顏色信息的心理表征*

2013-02-03 01:45:10魯忠義

心理學報 2013年4期

張盼魯忠義

(1河北師范大學教育學院,石家莊 050024) (2中國科學院心理研究所,北京 100101)

1 引言

隨著體驗認知(embodied cognition)的發展,Barsalou(1999)提出了知覺符號系統(Perceptual Symbols System)。該理論認為語言理解必然會激活相應的知覺符號。在此基礎之上,Zwaan(2003)提出了閱讀的身臨其境框架(The Immersed Experiencer Frame,簡稱IEF)理論,認為閱讀理解的實質就是讀者對所描述的情境進行身臨其境的體驗。這些理論得到了大量的實證研究的證實(Yaxley&Zwaan,2007;Zwaan&Taylor,2006;王瑞明,莫雷,李利,王穗蘋,吳俊,2005;Zwaan,Stanfield,&Yaxley,2002;Glenberg&Kaschak,2002;Stanfield&Zwaan,2001)。

顏色作為一種知覺信息,也受到了認知心理學,特別是第二代認知科學的關注。

首先,語言理解中顏色加工的體驗觀得到了神經影像和行為實驗的支持。按照體驗認知理論,在語言的表達中提起一種特定的顏色(例如,紅)或具有特定顏色的物體(例如,鮮血)都會激活相應的顏色表征。Simmons等人 (2007)利用fMRI技術發現,相對于加工動作概念,被試在加工顏色概念和完成顏色知覺任務時,左側梭狀回都高度激活。實驗結果直接證明了顏色知覺和顏色概念加工具有相同的神經機制,為知覺符號理論提供了強有力的證據。在行為研究方面,Richter和Zwaan(2009)的研究排除了被試對色塊采用詞匯表征策略的可能性,探索了顏色詞加工的過程中是否自動激活顏色信息。結果顯示,無論實驗是否要求被試對顏色詞進行真假詞判斷,只要當先前的色塊和顏色詞所表達的顏色信息相匹配時,被試對于探測色塊的判斷反應都快于不匹配條件,即出現匹配易化或不匹配抑制現象。實驗結果支持了語言理解的體驗觀,即聽到或讀到一個顏色詞時,被試會進行一種心理表征,這種表征包含的內容和知覺顏色時的表征具有同一性。

其次,一些研究雖然也支持語言理解中顏色加工的體驗觀,但實驗結果卻出現了顏色信息不匹配條件下被試的反應速度快于匹配條件現象,即不匹配易化或匹配抑制現象。Connell(2007)最早在句子水平上對語言理解中顏色信息的心理表征進行了研究。他們用句子作為實驗材料,句子中關于物體顏色的信息都是隱含的。例如,句子John look at the steak on his plate,隱含的肉的顏色信息是棕色的;而句子John look at the steak on the butcher’s window,隱含的肉的顏色信息是紅色的。實驗要求被試自定步速閱讀句子,讀完后間隔500ms出現探測圖片,被試需要判斷圖片中的物體是否在前面的句子中提到過。研究發現,句-圖不匹配條件下被試對圖片的判斷反應快于匹配條件。

另外,其它研究則進一步探索了語言理解中物體的典型和非典型顏色是如何表征的。典型顏色,指當人們提到某物體時最先想起的或最常見的該物體的顏色,反之則是非典型顏色。例如,番茄的典型顏色是紅色,非典型顏色是綠色。Connell和Lynott(2009)采用Stroop范式的變式探討了語言理解中物體顏色的典型性對心理表征的影響。實驗中被試先自定步速閱讀隱含物體顏色信息的句子(典型或非典型顏色),間隔500ms后對目標詞的墨色(典型或非典型顏色)進行口頭命名。結果在匹配條件下被試對非典型顏色墨塊的命名反應快于不匹配條件。Therriault,Yaxley和Zwaan(2009)的研究發現,當探測圖片中物體顏色和現實中物體的典型顏色匹配時,被試的命名任務、分類任務和閱讀任務的反應時都最短。曹靜 (2010)使用句-圖范式探討了圖式(物體顏色的典型性)和閱讀廣度對句子中隱含顏色信息心理表征的影響。結果發現,被試在閱讀理解的過程中對物體的顏色進行了心理表征,支持了語言理解的體驗觀,并且日常生活中積累的有關物體典型顏色的圖式和閱讀廣度在顏色信息表征過程中起作用。

綜合上述可以看出,語言理解過程中隱含的物體顏色信息確實能被心理表征,而且物體顏色的典型性對心理表征過程有重要影響。但我們也發現,在對句子理解中的顏色信息進行心理表征的研究中,有一些值得進一步探討的問題。

首先,以往的研究中,相同或相似的實驗范式得到的結果卻完全相異,即有的實驗得到的是匹配條件下的易化反應和不匹配條件下的抑制反應,而有的實驗則完全相反,得到的是匹配條件下的抑制反應和不匹配條件下的易化反應。例如,Connell(2007)和曹靜(2010)使用了相同的實驗范式和實驗程序,但是Connell(2007)得出的結果是句-圖匹配的條件下被試的判斷反應慢,而曹靜(2010)得出的結果是句-圖匹配的條件下被試的判斷反應快。Connell和Lynott(2009)采用的Stroop范式其實是Connell(2007)中句-圖范式的變式,唯一的區別是前者判斷任務是命名墨色,后者反應任務是判斷圖片,但是前者得出的結果是匹配條件下被試的反應快,而后者得出的結果是匹配條件下被試的反應慢。

那么,相同或相似的實驗范式得到的結果為什么卻完全相異呢？一個可能的原因是不同實驗使用的實驗材料和實驗任務不同;另一個原因是句子和圖片之間的時間間隔問題?？疾炀渥诱现笾X信息的心理表征的研究當中,句子和圖片的時間間隔是一個很重要的自變量。在上述的這些研究中,設置的句-圖間隔都是500 ms。而這個時間間隔一般來說是心理表征的中期,這個時間間隔往往是某種心理狀態出現與否的轉折點,這樣就有可能因不同的實驗條件而導致匹配易化和匹配抑制的出現。本實驗的一個主要目的是考察句子理解中顏色信息心理表征的即時性,同時找到導致匹配易化和匹配抑制的原因,因此我們試圖在同樣的實驗條件下,設置兩個差異較大的時間間隔(早期和晚期)來解決這些問題。根據以往的研究,這樣來設計實驗,預期可能會出現長時間間隔條件下匹配易化和短時間間隔條件下不匹配易化的結果。

假如在同一個實驗中利用相同實驗材料和實驗范式,從而證實了我們的預測：顏色信息加工的早期出現的是不匹配易化,而后期則是匹配易化,那么早期的不匹配易化是不是反映的是顏色信息加工的即時性呢？如果是,其背后的認知機制是什么呢？這是本研究要探討的第一個問題。

其次,以往的研究考察的是句子整合之后顏色信息的心理表征,對句子閱讀過程中顏色信息加工的即時性和局部性目前尚無研究。不過,以往句子理解過程中動作信息表征的即時性和局部性的研究范式,對本實驗是有啟發的。Zwaan和Taylor(2006)考察了句子理解過程中動作信息的激活特性。結果發現閱讀動詞時出現了匹配效應,即動詞指稱的動作旋轉方向和把手旋轉方向一致時被試對動詞的閱讀時間更短。這表明,句子閱讀過程中動作信息的心理表征是一種立即的短時效應,它的產生具有即時性與局部性。而且這種匹配效應在其他區域,即使在緊跟動詞之后的賓語區,也沒有出現。借鑒Zwaan和Taylor(2006)的研究思路,在句子閱讀過程中顏色信息的心理表征是否也像動作信息那樣具有即時性和局部性呢？而且物體顏色的典型性會對它造成什么影響呢？這是本研究要探討的第二個問題。

第三,語言理解中顏色信息發生動態變化時的心理表征是什么樣的,目前這方面的研究尚是空白。先前的研究只涉及靜態語境下單一的顏色信息,即一個句子中只涉及某物體的一種顏色。實驗三則是要研究動態語境條件下的顏色信息的心理表征。這里所謂的動態性是指在一個句子中隱含的物體的顏色從一種顏色變成了另一種顏色。例如,“我扔掉了課本里那片枯葉,又從樹上摘下了一片嫩葉”,句子中隱含的樹葉顏色從黃色變成了綠色。那么,在語境中顏色信息發生動態變化的情況下大腦還能對其進行即時地心理表征嗎？這和靜態顏色信息的心理表征有什么相同和不同之處呢？物體顏色的典型性又會對動態顏色信息的心理表征有什么影響呢？這是本研究要探討的第三個方面的問題。

根據上述分析,我們試圖通過三個實驗對語言理解中顏色信息的心理表征的特點和機制進行深入的探討。實驗一考察句子整合后顏色信息的心理表征的特點和機制。由于本實驗關注的不是這兩種狀態間的轉折點,而只是這兩種狀態的存在性及其背后的反應機制,所以我們在句-圖范式中只把句-圖之間的時間間隔設置為0 ms(句子理解早期)和1500 ms(句子理解晚期)兩種情況。實驗二在實驗一的基礎上,進一步考察句子閱讀過程中顏色信息的心理表征的即時性和局部性問題。實驗三考察當語境中的顏色信息發生動態變化時大腦是如何對其進行心理表征的。

2 實驗一句子整合后顏色信息的心理表征

2.1 被試

38名大學生,視力或矯正視力正常,無閱讀障礙且色覺正常。

2.2 實驗材料及其評定

采用曹靜(2010)的實驗材料。實驗材料總共4個版本,每個版本都包括10個實驗句、6個練習句和10個填充句。實驗材料舉例見表1。

20名沒有參加正式實驗的被試對三個實驗的全部實驗材料進行了評定。給被試呈現一個句子和一個圖片,讓被試判斷句子所表達的意義與圖片是否搭配。例如,呈現給被試“珍妮嘗了一口成熟的番茄”和一張紅色番茄圖片,或“珍妮嘗了一口沒成熟的番茄”和一張綠色番茄的圖片,讓被試判斷兩者是否匹配。這相當于對每個目標物體要進行兩次判斷,一次句子與典型顏色匹配與否的判斷,一次句子與非典型顏色匹配與否的判斷。評定的結果是,除了關于“肉”的這一句與其圖的匹配被試認為是90%,對其他所有材料,100%的被試認為句子和圖片是匹配的。

2.3 實驗設計

本實驗為2(句子版本：典型顏色版本與非典型顏色版本)×2(匹配狀態：匹配與不匹配)×2(句-圖間隔：0 ms與1500 ms)的混合實驗設計。前兩個因素是被試內設計,第三個因素是被試間設計。因變量為被試對圖片判斷的反應時。本研究包含四個實驗序列,目的是控制實驗材料和實驗條件的順序效應。涉及同一物體的兩個實驗句子(A1、A2)和兩幅探測圖片(B1、B2)可以搭配成4種版本,分別是A1B1、A1B2、A2B1、A2B2。其中,A1B1和A2B2為匹配條件,A1B2和A2B1為不匹配條件。對于某一種物體,每個實驗序列只包含其一種版本。另外,練習句和填充句在每個實驗序列中都相同。20個實驗句子在4個實驗序列中總共出現兩次,10個填充句和6個練習句在4個實驗序列中總共出現4次。被試被隨機分配到其中一個序列。

表1 句子版本、圖片刺激材料

2.4 實驗程序

首先在屏幕中央呈現一個“+”1000 ms,接下來呈現句子。被試理解完句子后按空格鍵,句子消失,屏幕中央再次呈現一個“+”(0 ms或1500ms)。然后呈現圖片,被試需要判斷圖片中的物體在剛才的句子中是否提到過。提到過按“J”鍵;沒有提到過按“F”鍵。為保證被試認真閱讀句子,在填充句后面出現基于句子理解的問題,一半問題與呈現過的句子的意義相符,其正確答案為“是”反應,按“J”鍵;另一半不相符,被試做“否”反應,按“F”鍵。

2.5 實驗結果

首先,剔除圖片判斷任務或理解問題任務的錯誤率高于20%被試2名,占總數的5.26%。再刪除2.5個標準差之外的極端值,最后得到36個被試的有效數據。各種條件下被試對圖片判斷的反應時和標準差見表2。

由于本研究關注的只是被試在不同時間進程上的反應趨勢,并且句-圖間隔為被試間因素,所以為了便于討論,我們把兩種句-圖間隔下的數據分開分析,其中0 ms間隔下19名被試數據,1500ms間隔下17名被試數據。分別以被試和項目為隨機變量,對圖片判斷反應時(因變量)進行重復測量方差分析(即F和F)。統計結果表明：0 ms間隔下,句子版本主效應不顯著,

(1,18)=0.267,

=0.612,

(1,18)=0.134,

=0.719;匹配狀態主效應顯著,

(1,18)=15.312,

=0.001,

(1,18)=5.838,

=0.027,被試對與句子版本相匹配的圖片的反應(1593 ms)顯著慢于與句子版本不匹配的圖片的反應(1379 ms);句子版本和匹配狀態交互作用不顯著,

(1,18)=0.793,

=0.401,

(1,18)=0.270,

=0.870。1500 ms間隔下,句子版本主效應不顯著,

(1,16)=0.940,

=0.347,

(1,18)=1.501,

=0.236;匹配狀態主效應顯著,

(1,16)=14.372,

=0.002,

(1,18)=9.767,

=0.006,被試對與句子版本相匹配的圖片的反應(1283 ms)顯著快于與句子版本不匹配的圖片的反應(1494 ms);句子版本和匹配狀態交互作用不顯著,

(1,16)=0.064,

=0.803,

(1,18)=0.502,

=0.488。

2.6 討論

由于實驗一考察的是句子整合后顏色信息的心理表征的特點,所以我們采用了句-圖匹配與否的研究范式。結果表明,在句子理解早期,句-圖不匹配條件下促進圖片的判斷;相反,在句子理解晚期,句-圖匹配條件下促進圖片的判斷。句子理解早期的不匹配易化現象跟Connell(2007)的研究結果一致,而句子理解晚期的匹配易化現象跟Connell和Lynott(2009)以及曹靜(2010)的研究結果一致。匹配易化和不匹配易化,看起來是一種矛盾的現象,其實不然。以往的研究并沒有把句-圖間隔作為自變量,而僅僅設置了單一的時間點(例如,500 ms),以至于采用相同或相似的實驗范式得到了不同的研究結果。具體來說,有可能Connell(2007)的實驗材料對于參與該實驗的被試來說相對困難,因此500 ms句-圖時間間隔對于被試來說屬于句子閱讀早期,以至出現不匹配易化現象;而曹靜(2010)的實驗材料對于參與該實驗的被試來說相對容易,因此500 ms句-圖時間間隔對于被試來說屬于句子閱讀晚期,以至出現匹配易化現象。本實驗設計兩個時間點,得出了不同時間間隔條件下的匹配易化和不匹配易化的結果,說明這種看似矛盾的現象,只是在不同時間進程上的表現。至于這種現象背后的機制,我們在綜合討論中再進行詳細探討。

實驗一探討了句子整合后顏色信息心理表征的特點,但是句子閱讀過程中顏色信息的心理表征是怎樣的呢？是否像以往關于動作表征的研究結果那樣,也具有即時性和局部性呢？物體顏色的典型性會對顏色信息的心理表征有什么影響呢？為研究這些問題,實驗二采用實時(on-line)測量的句-圖窗口范式進行探討。因為實驗二考察的是句子閱讀過程中顏色信息的心理表征的特點,此時被試正處于句子理解早期,所以我們預期實驗二出現不匹配易化現象。

表2 各種條件下被試對圖片判斷的反應時和標準差(ms)

3 實驗二句子閱讀過程中顏色信息心理表征

3.1 被試

21名大學生,視力或矯正視力正常,無閱讀障礙且色覺正常。

3.2 實驗材料

由于實驗設計的需要,句子將以詞(或字)和圖的混合方式組成,其中目標詞會被圖片代替,就是說在目標詞的位置出現的不是那個詞,而是與那個詞相對應的圖片。例如 “媽媽︳用︳成熟︳的︳番茄︳做成︳一鍋︳湯”,例句中的“番茄”一詞被一張畫有番茄的圖片代替。實驗圖片分為匹配版本和不匹配版本。以上面這個材料為例,匹配版本是紅色的番茄圖片,不匹配版本是綠色的番茄圖片。填充材料句中的圖片都是無關物體,與語境毫不相關。先前的研究表明詞和圖片都能在普遍概念系統(general-purpose conceptual system)中激活相應的表征,所以這種圖片代替詞匯的呈現方式相當于正常的閱讀理解(Potter,Kroll,Yachzel,Carpenter,&Sherman,1986)。實驗材料總共包括16個實驗句、6個練習句和8個填充句,事先均經過評定。

3.3 實驗設計

本實驗為2(句子版本：典型顏色版本與非典型顏色版本)×2(匹配狀態：匹配與不匹配)被試內設計。因變量是被試對圖片、圖片后第一個詞、圖片后第二個詞的閱讀時間。實驗序列及被試分配方法同實驗一。

3.4 實驗程序

首先屏幕中央會出現一個“+”1000 ms,然后實驗材料以詞(圖)為單位依次呈現。被試需要按空格鍵自定步速進行閱讀,按一下空格當前的這個詞就被下一個詞替換。其中目標詞會被圖片所代替,并不影響閱讀。句子呈現完之后屏幕上會出現一個“這句話有意義嗎？”的問題,這時被試需要判斷整句話有無意義。有意義按F鍵,無意義按J鍵。接著會出現一個提示“******”500 ms,然后出現一個再認詞。被試需要判斷這個詞在先前的句子中有沒有出現過,出現過按F鍵,沒出現按J鍵。對于實驗句,有無意義判斷的正確答案均為F鍵;對于填充句,有無意義判斷的正確答案均為J鍵;對于練習句,F鍵和J鍵反應各占一半。對于再認詞判斷任務,F鍵和J鍵反應在每種類型的句子中都各占一半。

3.5 實驗結果

首先,剔除句子意義判斷任務或詞匯再認任務的錯誤率高于20%的被試3名,占總數的14.2%。再刪除2.5個標準差之外的極端數據,最后得到18個被試的有效數據。各種條件下句子閱讀反應時和標準差見表3。

分別以被試和項目為隨機變量,對各探測窗口的閱讀時間(因變量)進行重復測量方差分析(即F和F)。統計結果表明,對于圖片的閱讀時間：句子版本主效應不顯著,

(1,17)=0.486,

=0.495,

(1,14)=0.247,

=0.627;匹配狀態主效應顯著,

(1,17)=6.212,

=0.023,

(1,14)=5.264,

0.038,不匹配條件(780 ms)快于匹配條件(909 ms);交互作用不顯著,

(1,17)=1.473,

=0.241,

(1,14)=1.086,

=0.315。對于圖后第一個詞的閱讀時間：句子版本主效應不顯著,

(1,17)=0.02,

=0.890,

(1,14)=0.619,

=0.445;匹配狀態主效應顯著,

(1,17)=4.96,

=0.040,

(1,14)=4.741,

=0.047,不匹配條件(501 ms)快于匹配條件(561 ms);交互作用顯著,

(1,17)=6.409,

=0.022,

(1,14)=2.214,

=0.159。進一步簡單效應分析表明,匹配狀態在典型顏色版本上差異不顯著,

(1,17)=0.35,

=0.562;匹配狀態在非典型顏色版本上差異顯著,

(1,17)=8.363,

=0.01,在句子語境支持非典型顏色的情況下,不匹配條件(477 ms)快于匹配條件(580 ms)。

表3 各種條件下句子閱讀的反應時和標準差(ms)

對于圖后第二個詞的閱讀時間：句子版本主效應不顯著,

(1,17)=0.378,

=0.547,

(1,14)=1.132,

=0.305;匹配狀態主效應不顯著,

(1,17)=2.169,

=0.159,

(1,14)=1.782,

=0.203;交互作用不顯著,

(1,17)=0.146,

=0.708,

(1,14)=0.168,

=0.688。

3.6 討論

在解決匹配易化和不匹配易化問題的基礎上,實驗二進一步考察了句子理解過程中顏色信息的心理表征的即時性和局部性。結果顯示,對于圖片窗口,不匹配條件下被試的閱讀時間顯著短于匹配條件。這表明,被試在語言理解過程中可以迅速表征顏色信息,顏色信息的心理表征具有即時性。對于圖后第一個詞的閱讀時間,匹配狀態主效應顯著,不匹配條件顯著短于匹配條件。這表明,顏色信息的心理表征延續到了圖片后第一個詞,句子閱讀過程中顏色信息的心理表征是非局部的。不過這種非局部性特點是有條件的,從句子版本和匹配狀態的交互作用看,在句子語境支持非典型顏色的情況下,不匹配條件顯著短于匹配條件;而在句子語境支持典型顏色的情況下,匹配條件與不匹配條件無顯著差異。這表明,句子閱讀中,只有非典型顏色的心理表征是非局部性的,而典型顏色的心理表征是局部性的。對于圖片后第二個詞的閱讀時間,所有條件下均無顯著差異。這表明,在句子閱讀過程中,顏色信息心理表征的非局部特點不僅是在非典型顏色的語境下才出現,而且它也只能延續到圖片后第一個詞。值得注意的是,實驗二是一種自定步速的閱讀過程,相鄰刺激(詞與詞,或詞與圖)之間的時間間隔為0 ms。這種句子實時閱讀可以看成句子理解早期,它和實驗一中的0 ms句-圖時間間隔屬于同一種情況,所以出現的都是不匹配易化現象。同樣,其背后的機制在綜合討論部分再詳細解釋。

實驗一和實驗二分別探討了句子整合后和句子閱讀過程中顏色信息的心理表征,但它們和先前的研究一樣都只涉及靜態語境下單一的顏色信息,即一個句子中只涉及某物體的一種顏色。如果語境中顏色信息發生動態變化,大腦還能對其進行心理表征嗎？這和靜態顏色信息的心理表征又有什么不同呢？由于動態顏色信息的心理表征是一個很復雜的問題,因此,我們需要先考察句子整合后的心理表征的過程。如果在句子整合后的理解初期大腦就能對發生變化的顏色信息進行心理表征,我們再在后續的實驗中考察句子實時閱讀過程中動態變化顏色信息的心理表征過程。如果句子整合后的理解初期大腦還不能對發生變化的顏色信息進行心理表征,那么在句子實時閱讀過程中也就不可能對其進行心理表征,因此也就無需對其進行研究了。

4 實驗三動態變化語境下顏色信息的心理表征

4.1 被試

44名大學生,視力或矯正視力正常,無閱讀障礙且色覺正常。

4.2 實驗材料

實驗材料是在實驗一的基礎上改編而成的,每個實驗句都包含一種物體的兩種顏色信息。例如“我扔掉了夾在課本里的那片枯葉,又從樹上摘下了一片嫩葉?！?表達的是樹葉從黃色到綠色的轉換,這種情況的句子的版本為典型顏色版本。綠色的樹葉的圖片與此句構成匹配狀態,黃色的樹葉的圖片與此句構成不匹配狀態。實驗材料總共4套版本,每套材料都包括10個實驗句、6個練習句和10個填充句,事先均經過評定。填充材料句中的圖片都是與它無關的物體,與語境毫不相關。

4.3 實驗設計

本實驗為2(句子版本：典型顏色版本與非典型顏色版本)×2(匹配狀態：匹配與不匹配)×2(句-圖間隔：0 ms與1500 ms)的混合實驗設計。前兩個因素是被試內設計,第三個因素是被試間設計。因變量為被試對圖片的判斷反應時。實驗序列及被試分配方法同實驗一。

4.4 實驗程序

實驗程序與實驗一相同。

4.5 實驗結果

首先,剔除圖片判斷任務或理解問題任務的錯誤率高于20%的被試4名,占總數的9%。再刪除2.5個標準差之外的極端數據,最后得到40個被試的有效數據。各種條件下被試對圖片判斷的反應時和標準差見表4。

由于本研究關注的只是被試在不同時間進程上的反應趨勢,并且時間間隔為被試間因素,所以為了便于討論,我們把兩種句-圖間隔下的數據分開分析,0 ms句-圖間隔下22名被試數據,1500 ms句-圖間隔下18名被試數據。分別以被試和項目為隨機變量,對圖片判斷反應時(因變量)進行被試和項目的重復測量方差分析(即F和F)。統計結果表明：0 ms間隔下,句子版本主效應不顯著,

(1,21)=0.026,

=0.874,

(1,18)=0.147,

=0.706;匹配狀態主效應不顯著,

(1,21)=0.734,

=0.401,

(1,18)=0.923,

=0.349;句子版本和匹配狀態交互作用不顯著,

(1,21)=0.444,

=0.512,

(1,18)=0.202,

=0.659。1500 ms間隔下,句子版本主效應不顯著,

(1,17)=0.365,

=0.554,

(1,18)=0.033,

=0.857;匹配狀態主效應不顯著,

(1,17)=1.707,

=0.209,

(1,18)=1.558,

=0.228;句子版本和匹配狀態交互作用顯著,

(1,17)=5.266,

=0.035,

(1,18)=2.387,

=0.140。進一步簡單效應分析表明,匹配狀態在典型顏色版本上作用顯著,

(1,17)=6.342,

=0.022,即被試對與典型顏色句子相匹配的圖片判斷速度(1581 ms)顯著快于與其不匹配的圖片(1958 ms);匹配狀態在非典型顏色版本上的作用不顯著,

(1,17)=0.463,

=0.508。

表4 被試對圖片判斷的描述性統計

4.6 討論

由于實驗三考察的是句子整合后動態變化顏色信息的心理表征過程,所以我們采用了事后測量的句-圖范式。結果在0 ms句-圖間隔下,所有主效應和交互作用均不顯著,表明被試在句子理解早期還不能對發生轉換的顏色信息進行心理表征。而在1500 ms句-圖間隔下,句子版本和匹配狀態交互作用顯著。簡單效應分析發現,在典型顏色版本下,被試對與句子匹配的圖片的判斷速度顯著快于與句子不匹配的圖片的判斷速度;而在非典型顏色版本下,匹配與不匹配條件差異不顯著。這表明,被試在句子理解后期才能夠對語境中動態變化的顏色信息進行心理表征,即動態顏色信息的心理表征具有非即時性,而且物體顏色的典型性對心理表征有重要影響。同樣,對于實驗三中出現的匹配易化現象的背后的機制將在綜合討論中再詳做解釋。

由于句子的實時閱讀過程屬于句子理解早期,而本實驗發現在句子理解早期大腦還不能對發生動態變化的顏色信息進行心理表征,所以我們推測在句子實時閱讀過程中大腦也就不能對其進行心理表征。因此,本研究沒有必要繼續考察句子實時閱讀過程中動態顏色信息的心理表征過程。

5 綜合討論

5.1 句子理解中匹配易化和不匹配易化的反應機制

如上所述,為了避免以往研究中顏色信息心理表征不一致的結果,本研究不再設置500 ms這一不同心理表征的轉折點,而是在統一實驗材料和實驗任務的條件下,設置了加工早期和晚期(0 ms和1500 ms)兩個時間點。實驗結果發現,在句子理解早期,實驗一和實驗二都出現了不匹配易化,即不匹配條件下被試對圖片的判斷速度顯著快于匹配條件。需要指出的是,因為實驗二研究的是句子實時閱讀過程中顏色信息的心理表征,因此更可以視作是句子理解的早期。在句子理解晚期,實驗一和實驗三的結果也是一致的,出現了匹配易化,即匹配條件下被試對圖片的判斷速度顯著快于不匹配條件?？偟膩碇v,本研究發現在句子理解早期出現了不匹配易化效應,而句子理解晚期出現了匹配易化效應。

可以從兩種加工任務是否競爭同一神經元來解釋這種現象的產生機制。在體驗認知的研究中會經常出現兩種不同的效應：一種是匹配易化;一種是不匹配易化。例如,在Kaschak等人(2005)的研究中,被試在觀察視覺刺激運動的同時對聽到的含有動作信息的句子進行意義性判斷。實驗結果發現當兩種運動方向匹配時,被試的反應時較長。研究者認為產生這一現象的原因是當表征某一運動方向的神經元被視覺刺激運動任務激活時就較難被理解句子的心理表征過程獲得;而在不匹配條件下,神經元就容易被理解句子的心理表征過程獲得。Boulenger等人(2006)的研究也發現產生兩種效應的原因是兩種加工任務是否競爭同一神經元。當動詞呈現和真實運動同時進行時產生不匹配易化現象,而當加工完動詞后再進行真實運動時出現匹配易化現象。本研究中,在句子理解早期就讓被試判斷圖片,那么,這兩個任務間就可能產生相互干擾。按照體驗認知的相關理論,人類理解語言的過程就是對其進行心理模擬的過程,這一過程必然會激活顏色信息表征的神經元。在句子理解早期,由于表征這一顏色的神經元正在加工句子中的顏色信息,所以當判斷圖片中物體的顏色時,因其形成相同的表征(如句子理解中模擬的“番茄”一詞的“紅色”表征與判斷圖片中“番茄”的“紅色”表征相一致),這就形成了兩個任務競爭相同的認知資源。因此,在顏色神經元處在加工句子的任務上時,判斷圖片任務就不能即刻獲得該神經元,此時就產生了干擾,即出現匹配的抑制反應。相反,如果這兩個心理表征不同,一個是句子理解中模擬出的“番茄”一詞的“紅色”,另一個是圖片判斷中的“番茄”一詞的“綠色”,由于它們不是在共同的神經元上進行競爭,這樣反而出現不匹配易化效應。到了句子理解晚期,由于對句子加工有了充分的時間,這時它不再占用表征句子中隱含顏色信息的神經元,所以當判斷圖片中物體的顏色正好與之一致時,可以促進圖片判斷,產生匹配易化效應。

另外,無論認知資源充足時的匹配易化,還是認知資源不足時的不匹配易化,都表明被試讀完句子后激活了隱含的顏色知覺信息,對句子所描述的情境進行了心理表征,支持了語言理解的體驗觀,即對含有顏色信息的語言的理解和顏色知覺具有同一性(Connell,2007;Richter&Zwaan,2009)。

5.2 句子閱讀中靜態顏色信息心理表征的即時性和局部性

實驗一探討的是句子整合后顏色信息心理表征的特點。實驗結果發現,在句子理解早期是不匹配易化現象,而在句子理解晚期是匹配易化現象。這表明,心理表征在句子整合后0ms就可以發生,即大腦對靜態顏色信息的心理表征具有即時性的特點。實驗二對句子閱讀過程中顏色信息的心理表征過程進行了探索。結果發現,不匹配條件下被試對圖片的閱讀時間顯著短于匹配條件。匹配主效應在圖片窗口就能出現,說明了心理表征過程是迅速發生的,即顏色信息的心理表征是具有即時性的。Zwaan和Taylor(2006)的研究表明句子閱讀過程中動作信息的表征是即時的、迅速的,而本研究將這種動作信息表征的即時性擴展到了顏色視覺信息。并且此時不匹配條件下的閱讀時間顯著短于匹配條件,這和實驗一中句子理解早期的結果相一致,因為句子即時閱讀和句子整合后的理解早期都屬于認知資源相對不充足的情況。Therriault等人(2009)利用圖片探測中也考察了句子閱讀過程的心理表征,但其實驗結果沒有出現不匹配易化現象?？赡艿脑蚴?該研究的實驗材料包含物體的典型顏色(紅色的番茄)、灰色(番茄的簡筆畫)和不規范顏色(藍色的番茄),但并不涉及物體的非典型顏色(綠色的番茄)。因此,該研究結果和我們實驗二的實驗結果不存在可比性?？傊?在句子閱讀理解的中,句子所隱含的靜態顏色信息的心理表征具有即時性。

在實驗二中,對于圖片后第一個詞的閱讀時間,當句子語境支持非典型顏色時,不匹配條件顯著短于匹配條件;而當句子語境支持典型顏色時,不匹配條件和匹配條件無顯著差異。就是說,典型顏色版本下被試對顏色信息的心理表征在圖片窗口就可以完成,而非典型顏色版本下被試對顏色信息的心理表征還會延續到圖片后第一個詞。這說明,句子閱讀過程中典型顏色信息的心理表征是不僅具有即時特點,還具有局部性特點。而句子閱讀中非典型顏色信息的心理表征出現了一種非局部現象,即在圖片窗口顏色信息的表征就立即開始,并延長到圖片后第一個詞結束。相對于典型顏色,非典型顏色的心理表征持續了更長的時間,這說明非典型顏色的心理表征需要消耗更多的加工資源。這從另一個角度反映了物體的非典型顏色相對于典型顏色更難以表征,而人們在日常生活中積累的關于物體典型顏色的圖式對認知有重要作用。

綜上所述,句子閱讀理解中,句子隱含的靜態的顏色信息具有即時性和局部性的特點,而且,靜態的非典型顏色信息的心理表征還具有非局部性。

5.3 句子閱讀中動態顏色信息的心理表征的特點

根據IEF理論,理解是以語言輸入為線索,通過整合和序列追蹤現實經驗痕跡,對所描述的事件的身臨其境的經歷。大腦是否對靜態和動態的顏色信息都能進行身臨其境的體驗,體驗過程有何異同,是一個值得研究的問題。實驗一和實驗二考察的都是靜態顏色信息的心理表征。實驗一發現,無論是在句子整合后的理解早期,還是在句子整合后的理解晚期,被試都能對句子中隱含的顏色信息進行身臨其境的體驗。實驗二發現,句子閱讀過程中顏色信息的心理表征是一種即時的現象,即在圖片窗口就能立即開始表征。因此,總的來講,無論在句子理解早期還是在句子理解晚期,大腦都能對靜態顏色信息進行心理表征。

而動態語境下顏色信息的心理表征就有所不同。在實驗三中,在句子理解早期,所有效應均不顯著,表明大腦還不能對發生變化的顏色信息進行心理表征;而在句子理解晚期,被試對與典型顏色版本句子匹配的圖片的判斷速度快于與其不匹配的圖片,并且匹配狀態在非典型顏色版本上差異不顯著。這表明在句子理解晚期,大腦能夠對發生變化的物體顏色信息進行心理表征,但這種表征僅限于物體的典型顏色信息。句子實時閱讀過程中和句子整合后的0 ms都屬于語言理解早期,甚至前者所處的加工階段比后者還要早。因此,既然大腦在句子理解早期還不能對動態顏色信息進行心理表征,也就不能在句子閱讀過程中對顏色信息進行心理表征?？傮w來講,大腦在句子閱讀早期不能對動態顏色信息進行即時地心理表征,只有在句子理解晚期才能對動態的典型顏色信息進行心理表征。

6 結論

本研究以大學生為被試,探討了語言理解中顏色信息的心理表征,得出以下結論：

(1)在加工時間有限的情況下,兩個加工任務是否競爭相同的認知資源是造成句-圖范式下匹配易化和不匹配易化的關鍵因素。

(2)對于句子隱含的靜態顏色信息,大腦對典型顏色信息的心理表征具有即時性和局部性,而對非典型顏色信息的心理表征還具有非局部性的特點。

(3)對于句子隱含的動態顏色信息,大腦不能對其進行即時的心理表征,這種動態顏色信息的心理表征是在在句子閱讀晚期發生的。

Barsalou,L.W.(1999).Perceptual symbol systems.

Behavioral&Brain Sciences,22

(4),577–660.Boulenger,V.,Roy,A.C.,Paulignan,Y.,Deprez,V.,Jeannerod,M.,&Nazir,T.A.(2006).Cross-talk between language processes and overt motor behavior in the first 200 msec of processing.

Journal of Cognitive Neuroscience,18

(10),1607–1615.Cao,J.(2010).

Mental representations of color information in language comprehension.

Unpublished master’sthesis,Hebei Normal university.[曹靜.(2010).

語言理解中隱含的物體顏色的心理表征.

碩士學位論文,河北師范大學.]Connell,L.(2007).Representing object colour in language comprehension.

Cognition,102

(3),476–485.Connell,L.,&Lynott,D.(2009).Is a bear white in the woods?Parallelrepresentation ofimplied objectcolorduring language comprehension.

Psychonomic Bulletin&Review,16

(3),573–577.Glenberg,A.M.,& Kaschak,M.P.(2002).Grounding language in action.

Psychonomic Bulletin&Review,9

(3),558–565.Kaschak,M.P.,Madden,C.J.,Therriault,D.J.,Yaxley,R.H.,Aveyard,M.,Blanchard,A.A.,&Zwaan,R.A.(2005).Perception of motion affects language processing.

Cognition,94

(3),B79–B89.Potter,M.C.,Kroll,J.F.,Yachzel,B.,Carpenter,E.,&Sherman,J.(1986).Pictures in sentences:Understanding without words.

Journal of Experimental Psychology:General,115

(3),281–294Richter,T.,&Zwaan,R.A.(2009).Processing of color words activates color representations.

Cognition,111

(3),383–389.Simmons,W.K.,Ramjee,V.,Beauchamp,M.S.,McRae,K.,Martin,A.,&Barsalou,L.W.(2007).A common neural substrate for perceiving and knowing about color.

Neuropsychologia,45

(12),2802–2810.Stanfield,R.A.,&Zwaan,R.A.(2001).The effect of implied orientation derived from verbal context on picture recognition.

Psychological Science,12

(2),153–156.Therriault,D.J.,Yaxley,R.H.,&Zwaan,R.A.(2009).The role ofcolordiagnosticity in objectrecognition and representation.

Cognitive Processing,10

(4),335–342.Wang,R.M.,Mo,L.,Li,L.,Wang,S.P.,&Wu,J.(2005).Perceptual symbol representation and propositional symbol representation in language comprehension.

Acta Psychologica Sinica,37

(2),143–150.[王瑞明,莫雷,李利,王穗蘋,吳俊.(2005).言語理解中的知覺符號表征與命題符號表征.

心理學報,37

(2),143–150.]Yaxley,R.H.,&Zwaan,R.A.(2007).Simulating visibility during language comprehension.

Cognition,105

(1),229–236.Zwaan,R.A.(2003).The immersed experiencer:Toward an embodied theory of language comprehension.In H.R.Brian(Ed.),

Psychology of Learning and Motivation

(Vol.44,pp.35–62).New York:Academic Press.Zwaan,R.A.,Stanfield,R.A.,&Yaxley,R.H.(2002).Language comprehenders mentally represent the shapes of objects.

Psychological Science,13

(2),168–171.Zwaan,R.A.,& Taylor,L.J.(2006).Seeing,acting,understanding: Motor resonance in language comprehension.

JournalofExperimentalPsychology:General,135

(1),1–11.