視覺符號否定的加工進程*

何德嫻 李金惠 周 苗 陳雅玨 陳 宇 何先友,2,3

?

視覺符號否定的加工進程

何德嫻李金惠周 苗陳雅玨陳 宇何先友

(華南師范大學心理學院, 廣州 510631) (教育部人文社科重點研究基地 心理應用研究中心, 廣州 510631) (廣東省心理健康與認知科學重點實驗室, 廣州 510631) (廣州市融資擔保中心有限責任公司, 廣州 510030)

本研究采用圖–詞匹配的判斷任務探討視覺符號否定的加工機制, 設計3個實驗, 分別探討視覺符號否定在加工早期(250 ms)、中期(750 ms)及晚期(1500 ms)的心理模擬特點。結果發現, 在視覺符號否定加工的早期、中期及晚期, 與真實狀態匹配的否定相關詞的反應時都顯著快于與被否定狀態匹配的肯定相關詞。該結果表明, 與文字符號否定加工的兩步模擬假設不同, 在視覺符號否定的加工中, 被試在早期就模擬了事件的真實狀態, 并在中期和晚期一直保持該狀態的表征, 符合一步模擬假設; 此外, 被否定信息加工的抑制/保存假設得到支持。

視覺符號否定; 視覺否定標記; 兩步模擬假設; 抑制/保存假說

1 引言

心理語言學家對否定加工機制的研究始于20世紀60、70年代, 研究主要涉及兩個方面：一是否定的整體效應(global effects of negation), 即否定對讀者加工整個句子的影響; 二是否定的局部效應(local effects of negation), 即否定對其轄域(否定的作用范圍)內信息的影響。否定句比相應的肯定句更難加工的原因, 早期理論解釋包括基于句子長度(sentence length)的解釋、語用假設(pragmatic hypothesis)、以喬姆斯基的轉換語法為基礎的解釋以及詞語出現頻率解釋、句子的相關內涵解釋(Wason, 1965; Kintsch & Dijk, 1978; Lüdtke & Kaup, 2006), 但這些解釋都不能完全揭示否定加工的本質。因此, 心理學家們又提出了命題表征理論(propositional theory)與經驗模擬觀(experiential- simulations view), 試圖揭示否定加工的本質。

命題表征理論(propositional theory, Kintsch & Dijk, 1978)認為, 命題是認知的構成材料, 人們對于言語理解中信息的表征是一種命題符號表征, 然后形成命題網絡, 隨著對命題的不同操作或者操作次數的增加, 命題網絡不斷更新, 對語言材料的理解意味著構建相應的命題表征。在命題理論中, 否定被認為是一種外顯的操作器, 它將整個命題納入進被否定的轄域。例如：句字“Sam is not wearing a hat”的被否定命題是“Sam is wearing a hat”。由于否定句比相應的肯定句多一層附加的命題膠囊, 被試建構否定句的意義表征比建構相應肯定句的意義表征更為復雜和困難, 因此否定句比相應的肯定句更難以加工和理解。同理, 附加的命題膠囊也降低了理解者對被否定信息(hat)的通達。

經驗模擬觀(experiential-simulations view)源于知覺符號系統理論(perceptual symbol system, Barsalou, 1999), 它認為, 語言理解是人們在已有經驗的基礎上, 對句子或語篇所描述的情境建立心理模型(mental model), 是對語言描述情境的再次經歷, 在本質上是經驗性的, 因為其根植于知覺與動作, 否定作為一種語言操作器被內隱地表征(Zwaan, Stanfield, & Yaxley, 2002; Zwaan & Taylor, 2006; 高志華, 魯忠義, 馬紅霞, 2011)。Kaup等研究者在該理論的基礎上提出了兩步模擬假設(two- step simulation hypothesis, Kaup & Zwaan, 2003; Kaup, Zwaan, & Lu?dtke, 2007), 該假設認為, 否定加工經過兩個階段, 分別為對被否定狀態的模擬和對真實狀態的模擬。早期表征事件的被否定狀態, 接著在某個關鍵時期被否定狀態被抑制, 在加工晚期, 否定句的真實狀態才得以表征。例如, 加工獨立的否定句“房門沒有打開” 時, 被試先在大腦中模擬“一扇打開的門”, 然后在某個關鍵點, 開始模擬事件實際狀態, 即“一扇關閉的門”。Kaup等采用句子–圖片核證范式與圖片命名任務的實驗結果都支持了兩步模擬假設(Kaup, Lüdtke, &Zwaan, 2005; Kaup, Lüdtke, &Zwaan, 2006)。

然而, 部分漢語否定句理解的研究發現了不一致的結果。高志華(2006)研究發現, 否定陳述句的加工進程符合經驗模擬觀, 而否定祈使句一直表征的都是被否定狀態, 事件的實際狀態的模擬可以在理解的初期或中期實現。高志華等(2011)對具有獨立謂語的漢語簡單否定句進行研究, 結果發現, 該類否定句理解的心理模擬過程并不符合兩步模擬假設, 而是在理解的初期就完成了對事件真實狀態的模擬。相對于兩步模擬假設, 我們可以把這種在理解的早期就完成了對事件真實狀態的模擬稱之為一步模擬觀, 即在否定理解的早期就完成了對事件真實狀態的模擬, 實現了否定句意義的通達, 而不需要兩步模擬來實現否定句意義的通達。

在否定加工的晚期, 被試模擬了事件的真實狀態后, 研究者對事件的被否定狀態處于激活狀態還是處于抑制狀態存在分歧。這種分歧表現為兩種對立的觀點：抑制假設(the suppression hypothesis)和抑制/保存假說(the suppression / retention hypothesis)。抑制假設認為, 當模擬了事件的真實狀態后, 事件的被否定狀態已經無用, 因此, 它們會被直接拋棄掉, 即否定促使理解者抑制其轄域內的否定信息(Hasson & Glucksberg, 2006; MacDonald & Just, 1989)。而抑制/保存假說(Giora, Balaban, Fein, & Alkabets, 2005; Giora, 2006; Giora, Fein, Aschkenazi, & Alkabetszlozover, 2007)則認為, 在否定加工的后期, 對被否定概念的抑制并不是必須的, 要根據語境的目的和說話者的意圖來決定是抑制還是保留。

視覺符號否定的可能結果之一是保留被否定的信息, 這點可以用道路交通標志來說明。自然環境中的道路交通標志不允許出現模棱兩可的情況, 受到的情景限制較大, 因此, 可以很好地檢驗否定對情境信息的敏感性。當情景要求避免被否定信息被其對立信息替換時, 否定的抑制效應會受到阻抗。但道路標志中的視覺否定并非絕不引起抑制, 只是這種抑制的發生是條件的, 它可能像言語否定一樣保留了否定轄域內的信息。例如, 否定(圖1a, 1b)和肯定(圖1c)標志都能準確的表達自身的含義, 就像言語標志“禁止通行”一樣, 沒有引起復雜的推理過程。圖1a所表示的“請勿進入”不一定激活它相反的概念“出去”, 圖1b表示的“禁止右轉”也不一定就引起“左轉”的概念, 雖然這是其可能唯一的相反概念(直行是可能的選擇, 但不是“左轉”的相反概念)。

圖1 否定與肯定交通標志圖

Giora等(2009)使用等級評定的方法對帶有否定標記的圖片進行研究。她先給被試呈現一張帶有視覺否定標記的圖片, 如：一扇開著的門被打上了“×”。之后是有關圖片意義的三個解釋：一個否定表達的解釋(Don’t leave the door open!); 一個肯定表達的解釋(Close the door!); 一個與圖片相關很小的解釋(There is a strong lock in the door.)。實驗要求被試將每個解釋對刺激作出合理解釋的程度進行等級評定。結果發現, 否定表達的解釋等級評定值最高, 與肯定表達的解釋有顯著的差異。這個結果表明, 否定是對情境信息敏感的, 不一定引起抑制效應, 在合適的情境下, 即使有對立的信息可以選擇, 被否定信息還是會得到保留。

關于兩步模擬假設的實驗證據大多來自獨立否定句加工機制的研究, 視覺符號否定的加工過程是否也符合兩步模擬假設呢? 基于以往關于否定句加工機制方面的研究(Kaup et al., 2006; 高志華等, 2011), 我們把視覺符號否定理解的早期、中期和后期分別界定為250 ms、750 ms和1500 ms, 共設計三個實驗, 探討視覺符號否定的加工進程。

2 實驗1：視覺符號否定加工早期的心理模擬特點

2.1 實驗目的

以250 ms為間隔時間, 探討視覺符號否定在加工早期的心理模擬特點。

2.2 被試

30名自愿參加實驗的華南師范大學本科生、研究生。所有被試裸視或矯正視力正常, 無色盲、色弱, 母語為漢語, 無任何閱讀或識圖障礙。且均未參加過實驗材料評定, 也未參加過類似實驗, 實驗后獲得一定報酬。

2.3 實驗材料

實驗詞語 與圖中標記相應或相反的動詞“**”和“禁*” (如, 吸煙／禁煙)72對, 分別與視覺圖片的肯定與被否定狀態構成匹配與不匹配關系。填充詞為與圖中標記均無關系的動詞(如“打針”), 填充材料的探測詞長度及結構與正式材料一致。

實驗圖片及其相應的探測詞樣例如表1。

表1 實驗材料示例

2.4 實驗設計

本實驗為2(圖片類型：肯定圖片、否定圖片)×2(探測詞類型：肯定動詞、否定動詞)的兩因素被試內設計。因變量為反應時與正確率。采用圖–詞匹配的判斷任務。根據實驗項目和條件對實驗材料進行拉丁方平衡, 保證每個實驗版本里只出現一對實驗材料的一種情況。實驗共有144套材料(72套實驗材料和72套填充材料), 每套實驗材料包括一張視覺圖形(肯定或否定)和一個探測詞(匹配或不匹配), 每套填充材料包括一張視覺圖形(肯定或否定)和一個與圖片意義完全沒有關系的動詞。加入填充材料的目的是為了平衡“匹配”、“不匹配”反應的比例, 填充材料的數據不做分析。為控制練習和疲勞等序列效應, 實驗順序隨機化。

2.5 實驗程序

實驗采用圖–詞匹配范式, 實驗中, 首先向被試呈現一個位于屏幕中央的紅色注視點“＋”(呈現時間500 ms), 然后出現視覺圖片, 3000 ms之內被試按鍵圖片消失, 圖片消失后出現一個空屏, 持續250 ms后自動消失, 出現動詞詞組, 要求被試判斷該詞與之前的圖片是否一致, 相應地按“F/J”鍵或 “J/F”鍵。如圖2所示。為平衡左右手的優勢效應, 其中一半被試在判斷時“F”鍵代表“匹配”, “J”鍵代表“不匹配”, 另一半被試則相反。計算機自動記錄從動詞出現后到被試按鍵的時間和詞匯判斷的正確率。實驗開始時讓被試將左手食指放在“F”鍵上, 右手食指放在“J”鍵上, 指導被試仔細看每張圖片, 告知被試有的圖片后面會出現有關圖片內容的動詞, 其反應時間將被記錄, 要求被試又快又準確地做出判斷。整個實驗大約需要15分鐘左右。實驗開始前有18個練習試次。

圖2 實驗1程序示意圖

2.6 實驗結果與分析

為了保證數據的可靠性, 首先對正確率進行分析, 刪除判斷正確率在80%以下的被試, 共刪除4名被試, 剩下有效被試26人。然后再刪除反應錯誤的數據以及探測反應時在3個標準差以外的極端數據。采用SPSS 16.0對實驗數據進行統計分析。被試圖–詞匹配判斷任務中判斷的反應時與正確率的平均數和標準差見表2。

對圖–詞匹配判斷的反應時進行重復測量方差分析, 結果顯示, 圖片類型的主效應顯著,(1,25) = 47.34,< 0.001, η= 0.65;(1,35) = 35.43,< 0.001, η= 0.50。探測詞類型的主效應顯著,(1,25) = 17.72,< 0.001, η= 0.42;(1,35) = 20.15,< 0.001, η= 0.37。圖片類型和探測詞類型的交互作用顯著,(1,25) = 94.10,< 0.001, η= 0.79;(1,35) = 79.85,< 0.001, η= 0.69。

表2 被試圖–詞匹配判斷的反應時(ms)與正確率的平均數和標準差(M ± SD)

對圖片類型與探測詞類型之間顯著的交互作用進行簡單效應檢驗, 結果發現：在肯定圖片條件下, 對肯定動詞的判斷顯著快于對否定動詞的判斷,(1,25) = 86.67,< 0.001;(1,35) = 95.00,< 0.001。在否定圖片條件下, 對否定動詞的判斷顯著快于對肯定動詞的判斷,(1,25) = 16.20,< 0.001;(1,25) = 17.36,< 0.001

對圖–詞匹配判斷的正確率進行重復測量方差分析, 結果顯示, 圖片類型主效應顯著,(1,25) = 15.19,= 0.001, η= 0.38;(1,35) = 13.93,= 0.001, η= 0.29。探測詞類型的主效應顯著,(1,25) = 9.50,= 0.005, η= 0.28;(1,35) = 14.96,< 0.001, η= 0.30。圖片類型與探測詞類型的交互作用被試檢驗顯著, 項目檢驗不顯著,(1,25) = 5.09,= 0.033, η= 0.17;(1,35) = 2.60,= 0.116。

圖片類型與探測詞類型的交互作用被試檢驗顯著, 因此進行簡單效應檢驗。結果發現, 在肯定圖片條件下, 對肯定動詞的判斷正確率顯著高于否定動詞,(1,25) = 25.40,< 0.001; 否定圖片條件下, 對否定動詞的判斷正確率與肯定動詞差異不顯著,(1,25) = 0.63,= 0.435。

依據兩步模擬假設(Kaup & Zwaan., 2003), 理解者在加工語言符號的否定時, 在早期是先表征句子的被否定狀態。本實驗結果發現, 當圖片類型為否定符號圖片時, 被試對肯定動詞的判斷與對否定動詞的判斷的反應時差異顯著, 被試對否定動詞的反應明顯快于肯定動詞, 也就是說被試對具體動作的真實狀態反應明顯快, 這一結果說明被試對帶有否定標記的圖片在早期的加工與文字符號否定的加工可能不一樣, 并不符合兩步模擬假設。

為了進一步驗證理解者對視覺符號否定的加工是否符合兩步模擬假設, 我們設計了實驗2和實驗3, 分別探討視覺符號否定加工中期(750 ms)和晚期(1500 ms)的心理模擬特點。

3 實驗2：視覺符號否定加工中期的心理模擬特點

3.1 實驗目的

以750 ms為間隔時間, 探討視覺符號否定在加工中期的心理模擬特點。

3.2 被試

31名自愿參加實驗的華南師范大學本科生、研究生。所有被試裸視或矯正視力正常, 無色盲、色弱, 母語為漢語, 無任何閱讀或識圖障礙。且均未參加過實驗材料評定, 也未參加過類似實驗。

3.3 實驗材料

實驗材料的構成與實驗1相同。

3.4 實驗設計

同實驗1。

3.5 實驗程序

同實驗1, 唯一不同的是在圖片消失后時間間隔由實驗1中的250 ms延長到750 ms。

3.6 結果與分析

為了保證數據的可靠性, 實驗2首先刪除圖–詞匹配判斷正確率在80%以下的被試, 共刪除3名被試, 剩下有效被試28人。然后再刪除反應錯誤的數據以及探測反應時在3個標準差以外的極端數據。運用與實驗一相同的方法對實驗2結果進行統計分析。被試圖–詞匹配判斷任務中判斷的反應時及正確率的平均數和標準差見表3。

表3 被試圖–詞匹配判斷的反應時(ms)與正確率的平均數和標準差(M ± SD)

對圖–詞匹配判斷的反應時進行重復測量方差分析, 結果顯示, 圖片類型主效應顯著,(1, 27) = 24.68,< 0.001, η= 0.48;(1, 35) = 47.39,< 0.001, η= 0.58。探測詞類型的主效應顯著,(1, 27) = 14.85,= 0.001 < 0.05, η= 0.36;(1, 35) = 18.27,< 0.001, η= 0.34。圖片類型和探測詞類型的交互作用顯著,= 70.72,< 0.001, η= 0.72;(1, 35) = 108.53,< 0.001, η= 0.76。

對圖片類型與探測詞類型顯著的交互作用進行簡單效應檢驗, 結果發現, 在肯定圖片條件下, 對肯定動詞的判斷顯著快于對否定動詞的判斷,(1, 27) = 60.51,< 0.001;(1, 35) = 95.53,< 0.001。否定圖片條件下, 對否定動詞的判斷顯著快于肯定動詞,(1, 27) = 16.95,< 0.001;(1, 35) = 18.75,< 0.001。

對圖–詞匹配判斷的正確率進行重復測量方差分析, 結果顯示, 圖片類型的主效應不顯著,(1,27) = 1.08,= 0.31;(1,35) = 0.21,= 0.65。探測詞類型的主效應被試檢驗顯著, 項目檢驗顯著,(1,27) = 5.85,= 0.023, η= 0.18;(1,35) = 5.29,= 0.028, η= 0.13。圖片類型與探測詞類型的交互作用不顯著,(1,27) = 3.84,= 0.06;(1,35) = 1.75,= 0.194。

實驗2結果顯示, 750 ms條件下獲得的數據模式與250 ms條件下的數據幾乎完全一致, 該結果表明, 被試在視覺符號否定的加工中期一直模擬著真實狀態。

4 實驗3：視覺符號否定加工晚期的心理模擬特點

4.1 實驗目的

以1500 ms為間隔時間, 探討視覺符號否定在加工晚期的心理模擬特點。

4.2 被試

32名自愿參加實驗的華南師范大學本科生、研究生。所有被試裸視或矯正視力正常, 無色盲、色弱, 母語為漢語, 無任何閱讀或識圖障礙。且均未參加過實驗材料評定, 也未參加過類似實驗, 實驗后獲得一定報酬。

4.3 實驗設計

同實驗1。

4.4 實驗材料

實驗材料的構成與實驗1相同。

4.5 實驗程序

同實驗1, 唯一區別是在圖片消失后空屏時間間隔由實驗1中的250 ms增加到1500 ms。

4.6 實驗結果與分析

為了保證數據的可靠性, 采用相同的標準刪除圖–詞匹配判斷正確率在80%以下的被試, 共刪除5名被試, 剩下有效被試27人。然后再刪除反應錯誤的數據以及探測反應時在3個標準差以外的極端數據。運用相同的數據處理方法對實驗3數據進行分析。被試圖–詞匹配判斷的反應時及正確率的平均數和標準差見表4。

表4 被試圖–詞匹配判斷的反應時(ms)與正確率的平均數和標準差(M ± SD)

對圖–詞匹配判斷的反應時進行重復測量方差分析, 結果顯示, 圖片類型主效應顯著,(1, 26) = 51.99,< 0.001, η= 0.67;(1,35) = 61.24,< 0.001, η= 0.64。探測詞類型主效應顯著,(1, 26) = 30.12,< 0.001, η= 0.54;(1, 35) = 34.63,<0.001, η= 0.50。圖片類型和探測詞類型的交互作用顯著,(1,26) = 52.25,< 0.01, η= 0.67;(1,35) = 58.57,< 0.001, η= 0.63。

對圖片類型與探測詞類型顯著的交互作用進行簡單效應檢驗, 結果發現, 在肯定圖片條件下, 對肯定動詞的判斷顯著快于對否定動詞的判斷,(1,26) = 71.68,< 0.05;(1,35) = 112.12,< 0.001。否定圖片條件下, 對否定動詞的判斷顯著快于對肯定動詞的判斷,(1,26) = 7.40,< 0.05;(1,35) = 7.34,= 0.01。

對圖–詞匹配判斷的正確率進行重復測量方差分析, 結果顯示, 圖片類型主效應不顯著,(1,26) = 0.12,> 0.05;< 1。探測詞類型的主效應不顯著,(1,26) = 1.67,= 0.21;(1,35) = 1.39,= 0.25。圖片類型與探測詞類型的交互作用顯著,(1,26) = 9.90,0.01;(1,35) = 7.43,= 0.01, η= 0.18。

對圖片類型與探測詞類型之間顯著的交互作用進行簡單效應檢驗, 結果發現, 在肯定圖片條件下, 對肯定動詞的判斷正確率高于對否定動詞的判斷正確率,(1,26) = 11.28,< 0.05;(1,35) = 8.91,< 0.01。而在否定圖片條件下, 對肯定動詞的判斷正確率與對否定動詞的判斷正確率無顯著差異,(1,26) = 1.33,> 0.05;(1,35) = 1.59,> 0.05。

實驗3結果模式與實驗2一樣, 幾乎完全重復了實驗1的結果, 這說明, 在視覺符號否定加工晚期也一直模擬了事件的真實狀態, 不符合兩步模擬假設。

為了更加清楚地了解視覺符號否定的加工進程, 我們將代表著加工早期(250 ms)、中期(750 ms)及晚期(1500 ms)的3個實驗結果放在一起進行綜合分析。首先, 我們對圖–詞匹配判斷的反應時進行2(圖片類型)×2(探測詞類型)×3(時間間隔)的重復測量方差分析, 結果顯示, 圖片類型主效應顯著,(1,78) = 116.21,< 0.001, η= 0.60;(1,105) = 136.03,< 0.01, η= 0.56。探測詞類型的主效應顯著,(1,78) = 60.09,< 0.001, η= 0.44;(1,105) = 69.60,< 0.001, η= 0.40。時間間隔的主效應被試檢驗邊緣顯著, 項目檢驗顯著,(2, 78) = 3.04,= 0.05, η= 0.435;(2,105) = 22.55,< 0.001, η= 0.30。圖片類型與時間間隔的交互作用不顯著,(2, 78) = 0.51,= 0.60;(2,105) = 0.02,= 0.98。探測詞類型與時間間隔的交互作用不顯著,(2, 78) = 0.36,= 0.69;(2,105) = 0.32,= 0.73。圖片類型與探測詞類型交互作用顯著,(1, 78) = 206.04,< 0.001, η= 0.73,(1,105) = 235.83,< 0.001, η= 0.69; 三因素的交互作用不顯著,(2, 78) = 0.07;(2,105) = 0.16,= 0.86。

對圖片類型與探測詞類型之間顯著的交互作用進行簡單效應分析, 結果發現, 在肯定圖片條件下, 對肯定動詞的判斷顯著快于對否定動詞的判斷,(1,80) = 218.37,< 0.001;(1,107) = 303.59,< 0.001。否定圖片條件下, 對否定動詞的判斷顯著快于對肯定動詞的判斷,(1,80) = 39.27,< 0.001;(1,107) = 40.81,< 0.001。這一結果再次表明, 在否定圖片加工的早期、中期和晚期, 被試對否定動詞的反應都顯著快于肯定動詞, 說明在加工否定圖片時, 在早期就已經表征了事件的最終狀態。

同理, 我們對圖–詞匹配判斷的正確率也進行重復測量方差分析, 結果顯示, 圖片類型主效應顯著,(1,78) = 10.98,= 0.001 < 0.05, η= 0.12;(1,105) = 5.84,= 0.017, η= 0.05。探測詞類型主效應顯著,(1,78) = 16.19,< 0.001, η= 0.17;(1,105) = 17.65,< 0.001, η= 0.14。時間間隔的主效應不顯著,(2, 78) = 0.69,= 0.51;(2,105) = 0.34,= 0.72。圖片類型與時間間隔的交互作用顯著,(2, 78) = 4.704,= 0.01, η= 0.11;(2,105) = 4.55,= 0.013, η= 0.08。詞語類型與時間間隔的交互作用不顯著,(2, 78) = 1.56,= 0.21;(2,105) = 1.75,= 0.18; 圖片類型與詞語類型交互作用顯著,(1, 78) = 18.22,< 0.001, η= 0.19;(1,105) = 11.05,= 0.001, η= 0.10。三因素的交互作用不顯著(2, 78) = 0.47,= 0.63;(2,105) = 0.80,= 0.45。

對圖片類型與時間間隔之間的顯著交互作用進行簡單效應分析, 結果發現, 在250 ms時間間隔條件下, 對肯定圖片的判斷正確率顯著高于對否定圖片的判斷,(1,51) = 16.09,< 0.001;(1,71) = 10.93,= 0.001。在750 ms時間間隔條件下, 被試對肯定圖片的判斷與對否定圖片的判斷正確率無顯著差異,(1,51) = 1.23,= 0.27;(1,71) = 0.18,= 0.68。在1500 ms時間間隔條件下, 被試對肯定圖片的判斷與對否定圖片的判斷正確率無顯著差異,(1,51) = 0.10,= 0.754;(1,71) = 0.01,= 0.94。

對圖片類型與探測詞類型之間顯著的交互作用進行簡單效應檢驗, 結果發現, 在否定圖片條件下, 肯定動詞與否定動詞的判斷差異顯著, 對肯定動詞的判斷正確率顯著高于對否定動詞的判斷正確率,(1,80) = 43.64,< 0.001;(1,107) = 37.14,< 0.001。而否定圖片條件下, 對肯定動詞的判斷正確率與對否定動詞的判斷正確率無顯著差異,(1,80) = 0.01,=.916;(1,107) = 0.04,= 0.83。

5 綜合討論

本研究旨在探討視覺符號否定在加工初期(250 ms)、中期(750 ms)和后期(1500 ms)的心理模擬特點, 檢驗用于解釋語言符號否定的兩步模擬假設是否同樣可以解釋視覺符號否定的加工, 并檢驗在晚期加工時被否定信息是符合抑制假設還是抑制/保留假設。

依據兩步模擬假設, 在否定加工的初期(250 ms), 首先模擬的應該是事件的被否定狀態, 因此, 與被否定狀態相匹配的肯定相關詞的反應時應該顯著短于與其最終狀態相匹配的否定相關詞; 在中期(750 ms), 從模擬事件的被否定狀態向實際狀態轉換, 因此, 肯定相關詞的反應時應該與否定相關詞無顯著差異; 在后期(1500 ms), 最終模擬事件的實際狀態, 因此, 否定相關詞的反應時應該短于肯定相關詞。但本研究的3個實驗結果表明, 在250 ms、750 ms和1500 ms三種時間間隔條件下, 肯定相關詞與否定相關詞的反應時差異均顯著, 而且都是否定相關詞的反應時短于肯定相關詞, 說明被試模擬的一直都是圖片的真實狀態, 即事件的最終狀態, 符合一步模擬假設的預測。解釋語言符號否定的兩步模擬假設并不能解釋視覺符號否定的加工, 表明視覺符號否定加工與文字符號否定加工有著不同的加工機制。

5.1 對視覺符號否定的心理模擬的理論解釋

在心理語言學領域中, 許多研究結論都證明, 在否定加工的初期(150 ms到500 ms之間), 被否定的概念就已經得到了通達(Fischler, Bloom, Childers, Roucos, & Jr, 1983; Hasson & Glucksberg., 2006; Giora, 2006; Kaup et al., 2007), 如“窗戶不是打開的”, 首先在理解者的頭腦中會模擬“窗戶是打開的”這一狀態。然而, 關于否定后期的心理模擬情況卻一直存在著不同的觀點。抑制假說認為, 對被否定信息的抑制是不可避免的, 并且這種抑制會將被否定概念的激活水平降至基線水平以下(Hasson & Glucksberg, 2006; Kaup et al., 2006)。因此, 當理解者對否定材料進行較長時間(1500 ms)的加工時, 被否定的概念會被抑制并且被其對立概念代替(Kaup et al, 2006; MacDonald & Just, 1989), 如“窗戶不是打開的”這個句子中, “打開的”將被“關閉的”代替。而抑制/保存假說(Giora et al., 2005; Giroa, 2006; Giora et al., 2007)則認為, 對被否定概念的抑制并不是必須的, 要根據語境的目的和說話者的意圖來決定是抑制還是保留(Kaup & Zwaan, 2003)。按照這種觀點, 否定并不只是對結果的簡單對比, 而是包含著一連串的語境激活效應(Horn & Ward, 2006)。例如, 當我們說“Not X”的時候, 我們就是指“Not X”, 而不是將“X”換成它的對立概念“Y”。此時, 理解者的頭腦中保存了“X”這一概念, 而不是激活了它的對立概念“Y”。

當與前期或者后期情境有關時, 被否定的概念往往不會被抑制, 相反, 說者或聽者會將它們保存在意識之中, 并在適當的時候將其激活(Giora, et al., 2007)。 Shuval (2006)在研究中使用視覺情景范式, 被試聽到句子的同時呈現與句中概念相關的四個視覺刺激, 記錄被試的眼動指標。結果發現, 被試對被否定物體的注視時間與肯定的物體無顯著差異, 眼動軌跡顯示被試在這兩個物體之間來回晃動。該結果說明, 被否定物體并沒有被抑制, 而是保存在被試的大腦中。

來自腦電的證據也支持抑制/保存假說。Lüdtke, Friedrich, De和Kaup (2008)的研究發現, 當時間間隔為1500 ms時, 在句子“In front of the tower there was / was no ghost”中, 大腦對探測圖片“ghost”的反應時無差異, 說明即使在沒有情景的條件下, 對被否定概念的抑制效應也沒有出現, 被否定概念和肯定的概念一樣可以得到通達。

Giora等(2009)采用等級評定的方法對視覺否定圖片進行研究, 結果發現, 否定表達的解釋(Don’t leave the door open!)等級評定值最高, 與肯定表達的解釋(Close the door!)有顯著差異, 說明否定不一定引起抑制效應, 在合適的情境下, 即使有對立信息可以選擇, 被否定的信息還是會得到保留。

本研究結果支持抑制/保存假說, 在否定加工的過程中, 視覺符號否定的被否定狀態沒有因為時間間隔的延長而被抑制, 而是從否定加工的初期開始就一直存在于被試的大腦中, 一直到加工的晚期。

5.2 視覺否定標記對否定加工進程的影響

實驗結果發現, 在視覺符號否定加工的三種時間間隔下, 當視覺圖形為肯定圖形時, 對肯定動詞的判斷明顯快于對否定動詞的判斷; 但視覺圖形為否定圖形時, 對否定動詞判斷的反應時明顯快于對肯定動詞的判斷。這一結果可能反映了兩個方面的問題, 首先, 反映了肯定句加工與否定句加工的差異, 這與以往的研究結果是一致的; 其次, 該結果還反映了視覺符號否定加工與文字符號否定的加工的差異。以往關于文字符號否定加工的研究結果大多支持兩步模擬假設, 第一步模擬被否定狀態, 即對肯定動詞的判斷要快, 第二步模擬真實狀態, 即對否定動詞判斷要快。對于視覺符號否定加工進程, 本研究的三個實驗結果一致發現被試在加工的不同階段下, 對否定動詞的判斷更快, 這一結果表明視覺符號否定有著與文字符號否定不完全相同的加工機制。

視覺否定標記“×”的存在, 從否定加工的初期就開始對被試的圖–詞匹配的判斷產生影響, 表現為對被否定狀態通達的抑制, 對真實狀態(最終狀態)通達的促進。這一結果的出現可能是由視覺符號否定圖片固有的特性決定的。圖片往往比句子否定更直觀, 與句子理解相比, 圖片理解更簡單, 加工層次較淺。由于視覺否定標記“×”的存在, 使得事件的真實狀態較為直觀地呈現在被試眼前, 被試更易于模擬其真實狀態。此外, 因為這些視覺符號否定標記一般都是個體生活中極為常見并為人熟知的, 這一高度經驗化的視覺否定標記可能以某種內隱的方式與其所要表達的真實意思形成了相對穩定的聯系, 被試只要接觸這樣的視覺否定標記, 就可能自動地觸發(trigger)已建立的聯結, 從而直接模擬真實狀態。如果這一解釋是合理的, 那么就可以從發展角度或通過學習經驗改變視覺符號標記與事件真實狀態的聯結對該假設進行進一步檢驗。未來研究需要進一步探討視覺符號否定加工為什么可以一步模擬事件真實狀態。

無論是在言語還是非言語的交流過程中, 視覺符號否定都極為重要, 但在否定領域中, 對視覺符號否定的研究并不多見, 實驗證據較少, 本研究在實證上補充和豐富了該領域的研究, 驗證了一步模擬假設, 將有關否定的理論解釋的適用范圍是否可以拓展到視覺領域進行初步探索, 并對視覺否定圖片在否定的早期、中期和晚期的心理模擬情況進行了探索, 這些探索對于深入理解人類加工否定信息的普遍機制具有重要意義。

需要指出的是, 目前已有的關于否定加工機制的理論幾乎都是基于文字符號(句子加工)的否定加工研究結果, Giora等(2009)對視覺否定加工進行了研究, 但并沒有對視覺符號否定的加工機制進行探討, 我們對視覺符號否定的加工機制可以說是知之甚少。我們認為, 漢字本身就是象形文字, 在某種程度上與加工圖形存在一定的相似性。基于這兩方面的考慮, 在尚無可借鑒的理論前提下, 本研究從文字符號否定的加工機制出發, 嘗試探索視覺符號否定加工機制, 采用了與文字符號否定加工相同的時間點來劃分視覺符號加工進程的早、中、晚期。這種劃分是否合適仍需要進一步的探討。

在實驗范式上, 我們參考了否定加工領域中前人經典的研究范式, 采用圖–詞匹配判斷任務試圖揭示視覺否定加工進程的心理模擬特點。在實驗中, 被試自定步速理解圖片, 在視覺圖片出現的3000 ms內按鍵, 圖片消失(3000 ms內無反應則圖片自動消失), 隨后出現一個空屏, 持續250 ms, 750 ms或1500 ms后出現動詞詞組, 要求被試判斷該詞與之前的圖片是否一致。該實驗流程一方面可以確保被試認真地理解圖片, 但從另一方面來看, 被試也有可能在按鍵前對視覺圖片進行了充分的加工。針對這個問題, 我們查閱了大量文獻, 發現國內外關于否定加工的許多經典研究(Zwaan et al., 2002; Kaup et al., 2005; Kaup et al., 2006; Kaup, et al., 2007; 高志華, 2006; 高志華等, 2011)都是通過自定步速閱讀(self-paced-reading paradigm)的方法, 采用不同的延遲時間來探討不同階段理解者表征事件的狀態。這些關于否定加工的研究及其結果在一定程度上說明本研究所使用的實驗流程是可以接受的。

最后, 本研究為行為實驗, 其結果推論的有效程度還需謹慎。未來研究可運用ERP和fMRI技術檢驗相應語言腦區及視覺腦區的激活情況, 更精確地反映在否定加工的不同時間點被試的視覺符號否定加工進程。

6 結論

根據本研究結果, 可以初步得出以下結論：

(1)在視覺符號否定的加工進程中, 被試一開始就模擬事件的最終狀態, 并且一直保持到加工晚期, 該結果支持一步模擬假設, 來自語言符號否定研究結果的兩步模擬假設并不能解釋視覺符號否定加工。

(2)對于視覺符號否定中被否定信息的加工問題, 本研究結果支持抑制/保存假說。

Barsalou, L. W. (1999). Perceptual symbol systems.,(4), 577–660.

Fischler, I., Bloom, P. A., Childers, D. G., Roucos, S. E., & Jr, N. W. P. (1983). Brain potentials related to stages of sentence verification.,(4), 400–409.

Gao, Z. H. (2006).(Unpublished Doctoral dissertation). Hebei Normal University.

[高志華. (2006).. (博士學位論文), 河北師范大學.]

Gao, Z. H., Lu, Z. Y., & Ma, H. X. (2011). The simulation process of Chinese simple negative declarative sentence.,(12), 1380–1387.

[高志華, 魯忠義, 馬紅霞. (2011). 漢語簡單否定陳述句理解的心理模擬過程.,(12), 1380–1387.]

Giora, R. (2006). Anything negatives can do affirmatives can do just as well, except for some metaphors.(7), 981–1014.

Giora, R., Balaban, N., Fein, O., & Alkabets, I. (2005). Explicit Negation as Positivity in Disguise.In H. L. Colston, & A. Katz (Eds.),(pp. 233–258). New York: Routledge.

Giora, R., Fein, O., Aschkenazi, K., & Alkabets-Zlozover, I. (2007). Negation in context: A functional approach to suppression.,(2), 153–172.

Giora, R., Heruti, V., Metuki, N., & Fein, O. (2009). “When we say no, we mean no”: Interpreting negation in vision and language.,(11), 2222–2239.

Hasson, U., & Glucksberg, S. (2006). Does understanding negation entail affirmation? : An examination of negated metaphors.(7), 1015–1032.

Horn, L., & Ward, G. (2006). The handbook of pragmatics. Blackwell publishing.

Kaup, B., Lüdtke, J., & Zwaan, R. A. (2005). Effects of negation, truth value, and delay on picture recognition after reading affirmative and negative sentences.Proceedings of the Annual Meeting of the Cognitive Science Society, 27. Retrieved June 6, 2018, from https://escholarship.org/uc/ item/19s068vb

Kaup, B., Lüdtke, J., & Zwaan, R. A. (2006). Processing negated sentences with contradictory predicates: Is a door that is not open mentally closed?,(7), 1033–1050.

Kaup, B., & Zwaan, R. A. (2003). Effects of negation and situational presence on the accessibility of text information.,(3), 439–446.

Kaup, B., Zwaan, R. A., & Lüdtke, J. (2007). The experiential view of language comprehension: How is negation represented? In Schmalhofer, F. & Perfetti (Eds.),:(pp.255–288). Mahwah, N. J./London: Lawrence Erlbaum Associates.

Kennedy, John M. (2008). Metaphor and art. In Gibbs, Jr., W.R.(Eds.),(pp. 447–461). Cambridge University Press, New York.

Kintsch, W., & Van Dijk, T. A. (1978). Toward a model of text comprehension and production.(5), 363–394.

Lüdtke, J., Friedrich, C. K., De, F. M., & Kaup, B. (2008). Event-related potential correlates of negation in a sentence- picture verification paradigm.,(8), 1355–1370.

Lüdtke, J., & Kaup, B. (2006). Context effects when reading negative and affirmative sentencesInR Sun (Eds.),(Vol. 27,pp.1735–1740). Hillsdale, NJ: Lawrence Erlbaum Associates.

MacDonald, M. C., & Just, M. A. (1989). Changes in activation levels with negation.:,,,(4), 633–642.

Sonesson, G., & Series, A. N. (1989). Pictorial concepts: inquiries into the semiotic heritage and its relevance for the interpretation of the visual world.,(7), 35–51.

Shuval, N. (2006).(Unpublished master’s thesis)Provence University.

Wason, P. C. (1965). The contexts of plausible denial 1 2.,(1), 7–11.

Worth, S., & Gross, L. P. (1981).University of Pennsylvania Press.

Zwaan, R. A., Stanfield, R. A., & Yaxley, R. H. (2002). Language comprehenders mentally represent the shapes of objects.,(2), 168–171.

Zwaan, R. A., & Taylor, L. J. (2006). Seeing, acting, understanding: motor resonance in language comprehension., 135(1), 1–11.

Processing of visual negation

HE Dexian; LI Jinhui; ZHOU Miao; CHEN Yajue; CHEN Yu; HE Xianyou

(School of Psychology, South China Normal University, Guangzhou 510631, China) (Center for Studies of Psychological Application, South China Normal University, Guangzhou 510631, China) (Guangdong Key Laboratory of Mental Health and Cognitive Science, South China Normal University, Guangzhou 510631, China) (Guangzhou Financial Guarantee Center Co., Ltd, Guangzhou 510030, China)

Previous research focused on the processing of verbal negation, while there was very little research in the area of visual negation. In this study, the lexical decision paradigm was used to explore the mental simulation of visual negation processing in early, middle, and late processing stages to reveal the mechanism of visual negation. To achieve this goal, we performed three experiments. In each experiment on each trial subjects first viewed a picture, and then after a interstimulus interval (ISI) that varied by experiment, viewed a word and had to decide if the word was consistent with the picture or not.

Experiment 1 explored the mental simulation of visual negation in early stage of processing using a short 250ms ISI. Participants reacted more quickly to the negative probes which represented the actual final states, as compared with the affirmative probes which represented the negated states. This implies that, in the early stage of the visual negation processing, the final state has already been simulated in the participants’ representation. Although the results did not confirm the two-step-simulation hypothesis, it supported the suppression / retention hypothesis.

Experiment 2 examined the mental simulation of visual negation in middle stage of processing using a 750ms ISI. The pattern of results was very similar to Experiment 1: participants reacted more quickly to the negative probes that represented the actual final states, as compared with the affirmative probes that represented the negated states. These results imply that the final state was simulated in the participants’ representation during the middle stage of processing.

Experiment 3 explored the late stage of processing using a 1500ms ISI. The results pattern replicated those of Experiment 1 and Experiment 2, that is, the reaction time to negative probes was significantly faster than to affirmative probes. The results demonstrated that in the late stage of the visual negation processing, participants simulated the actual final state of the visual negative pictures but not the negated state of the visual negative pictures. Again, it disconfirmed the two-step simulation hypothesis, but supported the suppression / retention hypothesis.

In sum, taken together the findings from the three experiments, we can draw the following conclusions. The actual state was simulated during the processing of visual negation similarly across the early, middle, and late visual processing stages. These results support the theory that simulation occurs in a single step (the one-step simulation view) rather than the two-step simulation view. Second, the suppression / retention hypothesis for the negated information processing in visual negation has been strongly supported.

visual negation; visual negation maker; two-step-simulation hypothesis; the suppression / retention hypothesis

10.3724/SP.J.1041.2018.01249

2017-08-09

* 2016年國家自然科學基金項目(項目號: 31671132)、2015年教育部人文社會科學重點研究基地重大項目(項目號: 15JJD190005)、廣東省高等學校珠江學者崗位計劃資助項目(2017)資助。

B842

何先友, E-mail: xianyouhe@163.com