語言和情境對具體概念感知運動仿真的影響*

石如彬 謝久書 楊夢情 王瑞明

(1 “兒童青少年閱讀與發展”教育部哲學社會科學實驗室(華南師范大學),廣州 510631)(2 華南師范大學心理學院,廣州 510631) (3 南京師范大學心理學院,南京 210097)

1 引言

概念如何在人們頭腦中進行表征,一直是認知科學研究的重點問題。傳統的命題符號理論(Propositional Symbol System)認為,認知系統的構成形式是命題,然后命題間相互連接形成命題網絡(Harnad,1990;王瑞明 等,2005)。但命題符號理論仍存在許多問題,比如,缺乏直接的經驗性證據證明命題符號的存在,命題符號理論也難以對從知覺事物向命題符號轉換的過程做出令人滿意的解釋。

針對命題符號理論的不足,Barsalou (1999,2008)提出了頗具創新性的知覺符號理論(Perceptual Symbol System),該理論認為概念表征過程中需要對概念所表達的事物進行感知運動仿真(Sensorimotor Simulation)。人們在習得概念時,詞匯意義及其感知覺情境信息會形成經驗路徑,它們被一起存儲在大腦中(Zwaan &Madden,2005)。在概念表征過程中需要對這些經驗路徑進行激活,這一過程被稱為感知運動仿真(Strozyk et al.,2019)。概念的性質不同,感知運動仿真激活的信息也存在差異,具體概念更多地激活物體和場景等信息,而抽象概念更多地激活情境和內省等信息(Barsalou,1999,2008)。

知覺符號理論的主要革新在于重新定義了內在符號與外在刺激原型之間的關系。知覺符號理論認為兩者的關系是類似的、知覺的(Fodor,1975;Pylyshyn,1984;Barsalou,1999;Barsalou,2008;莫雷 等,2006;王瑞明 等,2006)。比如對于“桌子”這一詞匯的概念表征,知覺符號理論認為概念的表征不僅激活“桌子”這一符號,同時還會激活表示桌子原型的感知覺信息,比如形狀、大小、顏色以及方位等信息(Barsalou,1999)。知覺符號理論認為概念在不同的語義背景下可能表征出不同的信息,比如,會議室背景下更可能表征出“橢圓的長桌”,而餐廳背景下更可能表征出“較小的圓桌或方桌”。

知覺符號理論認為感知運動信息的激活是概念表征的基礎。支持該觀點的經典研究是通過創設概念信息與感知覺信息一致或不一致兩種條件,探討感知覺信息對概念表征的影響。眾多研究結果發現,一致條件會促進概念的加工,說明概念表征是基于感知運動信息的,兩者共享表征資源(劉文娟等,2015)。例如,Zwaan 和Yaxley (2003)采用具有縱向空間次序物體的具體名詞詞對為實驗材料(如“汽車-馬路”),兩個具體名詞垂直呈現在屏幕上,名詞出現的位置與其指代實際物體所處于的空間位置構成一致或不一致兩種條件,如詞匯在屏幕上方和下方同時呈現“汽車-馬路”為一致條件,而在屏幕上方和下方同時呈現“馬路-汽車”為不一致條件,被試的任務是判斷兩個詞匯的語義是否相關。根據知覺符號理論的觀點,人們在加工概念時會對名詞詞對的空間信息進行感知運動仿真,在一致條件下,詞匯呈現的空間位置與其指代物在現實中出現的空間位置一致,此時被試的加工較不一致條件的加工更容易。結果發現,一致條件下被試做語義相關判斷時的反應顯著快于不一致,支持了知覺符號理論。其他相關研究也揭示了概念表征過程會激活感知運動信息(Zwaan et al.,2002;Bergen et al.,2010)。

而在感知覺信息中,對概念加工影響最為深刻的因素是空間信息。人們生活在一定的空間中,“上下、左右、高低、內外”等空間概念是人們與客觀世界接觸時建立起來的最初始概念范疇(Lakoff &Johnson,1980)。人們在習得隱含空間的具體概念時往往需要進行多次抽象的語言概念與具體物體之間的聯系,這時物體的空間信息可能與概念信息一起被儲存進大腦中。因此,個體在概念表征過程中會同時仿真空間信息。以往研究采用Stroop 范式發現隱含空間方位的具體概念加工激活了空間位置信息(Lachmair et al.,2011;Dudschig et al.,2012;Dudschig et al.,2013;Dudschig &Kaup,2017)。因此,本研究將以具體概念的空間信息為代表,使用經典語義相關判斷范式及其變式研究隱含空間信息的具體概念在表征過程中的空間信息激活情況及其影響因素。

雖然具體概念表征會激活感知運動信息已經得到較多實驗的支持(Barsalou,1999;Glenberg &Kaschak,2002;Glenberg &Gallese,2012;Zwaan &Madden,2005),但是在什么條件下概念表征過程中會激活感知運動信息并沒有達成一致性的結論。本研究將基于影響感知運動仿真的語言因素和情境因素對該問題進行系統探討。首先,本研究將考察影響具體概念感知運動仿真發生的語言因素——語言類型(第一語言和第二語言)。由于一語和二語的語言表征本身便存在質的差異,這種差異可能導致一語和二語中的感知運動仿真截然不同(Jared et al.,2013;Zhao et al.,2020)。因此,本研究首先探討可能影響感知運動仿真的底層因素——語言類型。然后,在情境因素中,空間知覺情境和語義知覺情境對具體概念的感知運動仿真影響較為顯著。感知運動仿真是聯結知覺和語義的橋梁和表征形式(Barsalou,1999)。因此,探究感知運動仿真發生的外部條件,需要從這兩方面入手。知覺信息中的空間知覺是人類獲得的最初始概念范疇,對語言表征意義重大。并且,眾多關于知覺符號表征的研究也主要圍繞空間知覺情境開展(Barsalou et al.,2018;Estes &Barsalou,2018)。此外,語義加工的深度直接影響情緒概念加工和情緒面孔知覺加工相互影響的方向性(劉文娟 等,2016)。因此,有必要探討語義情境信息如何影響感知運動仿真的發生。

國內外學者對于具體概念表征中感知運動仿真的研究主要關注一語。而在語言習得過程中一語和二語存在較大的差異。一語往往是在日常生活環境中逐漸習得的,具有豐富的親身經歷與個人情感體驗,這可能使個體在概念習得過程中儲存相關的感知運動信息,因此在概念表征過程中會進行感知運動仿真。而二語(如英語)的習得過程與一語存在較大的差異,特別是中國教育環境下的二語學習往往更關注于中英文概念之間的對等互譯,這可能導致個體只是形成了二語的抽象符號表征,而缺乏相應的感知覺信息。

先前相關研究也發現了語言類型的不同對概念表征過程中感知運動仿真的影響。Eilola 和Havelka (2010)采用Stroop 顏色詞命名任務的研究發現一語學習者對于負性詞匯和禁忌詞匯相比于中性詞匯和積極詞匯有更高的皮膚電激活,然而這種差異在二語學習者身上沒有產生。但也有許多研究發現二語加工中存在類似的感知運動仿真。Dudschig 等(2014)以德語-英語雙語者為研究對象采用Stroop 范式開展研究,分別向被試呈現二語隱含空間名詞(如star 和mole)和二語情緒詞(如happy和sad),并要求被試對字體顏色進行向前或向后的手部運動按鍵反應。結果發現,盡管詞義是任務無關變量但其仍能激發類似于一語的感知運動仿真。Grauwe 等(2014)更是以荷蘭語-德語雙語者為研究對象,使用fMRI (Functional Magnetic Resonance Imaging)從神經機制的角度揭示高熟練的雙語者和單語者存在相似的腦區激活模式,一語和二語都會激活感知運動腦區。

然而,上述二語中引發感知運動仿真的研究使用的被試是德語-英語雙語者或荷蘭語-德語雙語者,它們屬于同種語系,兩種語言間的文化背景和語言特征差異較小,這可能導致兩種語言間包含的知覺符號更容易發生跨語言間的遷移。而中-英雙語者(跨語系雙語者)語言文化背景和語言特征差異較大,這種條件下是否也存在知覺符號的遷移呢？Costa 等(2005)的研究發現雙語者二語的語義通達是詞匯連接型還是概念調節型取決于二語與一語的詞匯相似性。王瑞明等(2010)的研究則進一步發現,晚期熟練中英雙語者在日語這種三語的詞匯通達中不會通達與日語不相似的英語詞匯,而在法語這種三語的語義通達中會通達與法語相似的英語詞匯。近期關于雙語者正字法遷移的研究發現,正字法技能和使用經驗可以在表音文字間不同程度地遷移(如英語和法語),但不能在表音文字和語素文字間遷移(如英語和中文)。這可能是由于正字法規則和語音-語義結構關系在表音文字間的重疊度較高,而在表音文字和語素文字間的重疊度較低導致的(謝久書 等,2022)。中-英雙語者與其他掌握兩種表音文字的雙語者(如德語-英語雙語者)相比,最大的不同在于中文和英文采用不同的文字符號系統,這兩類文字符號系統與語音和語義的匹配規則截然不同(Lewis et al.,2015)。而知覺符號表征的形成,有賴于字形、字音和字義間的匹配關系。例如,表達敵對信息時的語音更加尖銳,而表達積極信息時的語音更加柔和(Nielsen &Rendall,2013)。然而,以往研究尚未系統探討過中-英雙語者在一語和二語中是否均存在類似的知覺符號表征。因此,本研究的實驗1 采用語義相關判斷范式考察具有相對空間信息的具體概念加工中的感知運動仿真是否會受語言類型(一語或二語)的影響。

另外,先前有研究發現個體知覺到的情境不同會影響感知運動仿真的發生。在Lebois 等(2014)的研究中,請被試閱讀隱含空間信息的詞匯然后進行向上或向下的按鍵反應,發現空間一致性效應并不總會產生,只有當前情境更加突出感知運動信息時,被試才會激活感知運動信息。然而,先前研究對情境因素的探討較少,尚不清楚情境因素如何影響概念表征過程中感知運動仿真的產生。因此,實驗2分別從空間知覺情境(即空間知覺線索的強弱)和語義知覺情境(即語義加工的深淺)兩個角度探討概念表征過程中感知運動仿真的產生是自動化的還是策略性的。

先前研究表明知覺信息的不同會對概念加工產生影響。劉文娟等(2016)通過向被試先后呈現情緒面孔圖片、情緒詞的方式研究知覺信息對概念信息的影響,實驗結果表明知覺信息的加工與概念信息的加工存在相互影響。根據知覺符號理論的觀點,感知運動信息的加工和概念信息的加工具有重疊的神經機制,兩者的關系是雙向的,即概念加工會影響知覺加工,知覺加工也會影響概念加工,劉文娟等(2016)的研究為知覺符號理論提供了支撐。既然個體知覺信息的不同會對概念信息的表征產生影響,那么先前研究中使用語義相關判斷范式引發的感知運動仿真,是概念表征過程中自動化加工的結果,還是個體在垂直空間線索的提示下策略性加工的結果呢？該問題尚未獲得系統研究。以往研究發現,調整知覺的顯著性可以影響人們的策略性加工,而對自動化加工的影響較小(Lakens,2012;Proctor &Xiong,2015)。因此,實驗2a 將使用語義相關判斷范式,通過創設不同的垂直空間知覺情境來探討概念表征過程中感知運動仿真是自動化的還是策略性的。

概念表征過程中感知運動信息的激活是否還會受到語義知覺情境的影響？如果個體在語義程度非常低或語義與實驗任務無關的情況下,仍能夠進行感知運動仿真,則表明感知運動信息在概念加工過程中有較高的自動化特性。反之,則為策略性的。對于該問題的探討,先前研究較多關注具有典型絕對上下空間特征的概念,如太陽、山谷。Lachmair 等(2011)向被試呈現與上方或者下方具有緊密聯系的位置詞匯(如房頂或樹根),要求被試閱讀詞匯后按鍵判斷。在不同的實驗中,研究者改變了被試提取詞匯語義的深度以及反應時是上下運動按鍵還是原地按鍵。實驗結果顯示,詞匯隱含空間信息與按鍵反應方向一致的條件顯著快于不一致條件,表明詞匯加工過程中激活了詞匯的空間信息。Dudschig 等(2014)使用掩蔽范式來掩蔽被試對詞匯的覺察,結果表現出空間-動作反應的反向兼容性效應,表明概念表征過程中的感知運動仿真具有高度自動化特性,即使在被試對概念的語義信息提取較弱時依然能夠產生感知運動仿真。然而,上述研究結果可能是使用具有絕對上下空間詞匯的原因。這類詞語在概念表征過程中可以自動激活感知運動信息,這可能是在空間信息較強的條件下,個體可以在不完全通達語義的情況下自動仿真垂直空間信息。

而相對空間概念(如玫瑰-花瓶)往往缺乏較強的絕對上下空間關系,而只具有相對的上下位置關系,這可能導致被試需要更多地依賴語義才能確定相對空間關系從而引發感知運動仿真。因此,實驗2b 從語義知覺情境角度,通過真假詞判斷(較淺語義加工)和語義相關判斷(較深語義加工)雙任務請被試進行不同程度的語義加工以探究感知運動仿真是策略性還是自動化加工的結果。在傳統的語義相關判斷任務中,個體可能覺察出隱含空間詞匯的垂直關系與物體真實情況下是否一致,從而會引發個體進行策略性的反應。而在真假詞判斷任務中通過讓個體在不完全通達語義的條件下進行真假詞識別,探究是否仍然會自動的產生感知運動仿真,從而更好地揭示感知運動仿真的發生是自動化的還是策略性的。

綜上所述,本研究將系統探討語言和情境對具體概念表征過程中感知運動仿真的影響。具體而言,本研究首先關注語言類型(一語和二語)對感知運動仿真發生的影響。進而,本研究關注與具體概念密切相關的空間知覺情境和語義知覺情境對感知運動仿真發生的影響。為此,本研究設計了3 個系列實驗。實驗1 采用語義相關判斷范式探討一語和二語具體概念表征過程中是否均存在類似的感知運動仿真。實驗2a 和2b 采用語義相關判斷范式及其變式,分別探討了具體概念表征過程中的空間知覺信息和語義知覺信息對感知運動仿真的影響。

2 實驗1：語言對具體概念感知運動仿真的影響

2.1 目的

探討二語的具體概念表征過程中是否存在感知運動仿真？若存在,二語的感知運動仿真與一語是否存在差異？

2.2 方法

選取英語專業大學生48 名,均通過了英語專業四級考試,平均年齡22.60 歲。所有被試裸眼或矯正視力正常,母語均為漢語,無閱讀障礙,實驗結束后會獲得少量的報酬。

實驗采用2 (空間關系：一致/不一致) × 2 (語言類型：中文/英文)兩因素被試內設計,因變量為被試的反應時和正確率。

實驗材料包含80 個中文詞對和80 個英文詞對,它們是翻譯對等詞。80 個中文詞對和80 個英文詞對各自包含20 個語義相關實驗詞對、20 個語義相關填充詞對、40 個語義無關填充詞對。20 個語義相關實驗詞對是具有上下空間關系的詞對(如玫瑰-花瓶,桌子-書籍),根據空間關系的一致性匹配成兩個材料系列。兩個材料系列均包含這20 個詞對,每個材料系列中一半為詞對上下呈現順序與真實空間關系一致(如玫瑰-花瓶),另一半為詞對上下呈現順序與真實空間關系不一致(如桌子-書籍)。20 個語義相關填充詞對僅存在語義相關關系,但所表達的語義不存在上下空間關系(如校園-學生)。加入語義相關填充詞對可以保證整個實驗中判斷語義相關的詞對和判斷語義無關的詞對各有40 對,使得“是”和“否”反應在數量上均衡。更重要的是,語義相關填充詞對的加入也可以使被試忽略語義中隱含的上下空間關系信息,從而避免被試猜測實驗目的。

15 名大學生對中文詞對的語義相關性、熟悉性、具體性進行7 級評分,他們均未參加正式實驗。在相關性評定中,被試需評價兩個詞語在語義間的相關程度。在熟悉性評定中,被試需評定他們對詞對中每個詞語的熟悉程度。在具體性評定中,被試需評定詞對中每個詞語所指代物品、人物等的具體程度。評價結果為：(1)語義相關性結果發現語義相關實驗詞對(=6.03,=0.42)、語義相關填充詞對(=5.92,=0.39)和語義無關填充詞對(=1.55,=0.31)三者差異顯著,(2,79)=1503.67,＜ 0.001,其中語義相關實驗詞對和語義相關填充詞對差異不顯著,(1,39)=0.70,0.409。(2)熟悉性結果發現語義相關實驗詞對(=6.22,=0.39)與語義相關填充詞對(=6.25,=0.38)差異不顯著,(1,39)=0.05,=0.827。(3)具體性結果發現語義相關實驗詞對(=6.62,=0.34)與語義相關填充詞對(=6.61,=0.25)差異不顯著,(1,39)=0.03,=0.874。(4)筆畫數結果發現語義相關實驗詞對(=17.43,=3.61)與語義相關填充詞對(=16.45,=2.87)差異不顯著,(1,39)=0.89,=0.351。

英文實驗材料是中文實驗材料的翻譯對等詞,另外請17 名大學生對英文實驗材料進行評定,他們均未參加正式實驗。評價結果為：(1)語義相關性結果發現語義相關實驗詞對(=5.22,=0.95)、語義相關填充詞對(=5.42,=0.63)和語義無關填充詞對(=2.20,=0.47)三者差異顯著,(2,79)=228.24,＜ 0.001,其中語義相關實驗詞對和語義相關填充詞對差異不顯著,(1,39)=0.66,=0.420。(2)熟悉性結果發現語義相關實驗詞對(=6.34,=0.72)與語義相關填充詞對(=6.54,=0.24)差異不顯著,(1,39)=1.39,=0.245。(3)具體性結果發現語義相關實驗詞對(=6.28,=0.38)與語義相關填充詞對(=6.37,=0.33)差異不顯著,(1,39)=0.56,=0.461。(4)字母數結果發現語義相關實驗詞對(=4.70,=0.88)與語義相關填充詞對(=5.33,=1.52)差異不顯著,(1,39)=2.54,=0.119。

采用E-prime 1.2 編制實驗程序。實驗包括中文和英文兩個區組,被試需要完成兩個區組的實驗,區組間的順序在被試間進行了平衡。實驗中,首先在白色屏幕中心呈現500 ms 的紅色注視點“+”,讓被試集中注意力。注視點消失后,在注視點上方和下方同時各呈現一個中文雙字詞(中文區組)或英文單詞(英文區組),要求被試判斷詞匯之間是否存在語義相關,若存在相關按“J”鍵,無關按“F”鍵。“J”和“F”按鍵與是否語義相關的對應關系在被試間進行了平衡。實驗中要求被試又快又準的做出反應。被試做出反應或無反應達到3000 ms 后進入800 ms的空屏,空屏結束后自動進入下一個試次。正式實驗前被試接受練習實驗,給予被試正確與否的反饋,只有達到一定正確率才能進行正式實驗。為了保證試次的數量足夠,實驗材料重復3 遍,每名被試完成480 個試次,中英文實驗材料各半。具體實驗流程見圖1。

圖1 A 實驗1 中文語義相關判斷任務流程圖

圖1 B 實驗1 英文語義相關判斷任務流程圖

2.3 結果與分析

所有被試正確率均達到80%以上,沒有剔除被試數據。僅20 個語義相關實驗詞對的反應時和正確率數據納入數據分析。剔除錯誤反應、反應時大于2000 ms 或小于400 ms 以及在2.5 個標準差之外的反應時數據,共計剔除了9.9%的數據。各條件下反應時數據見表1。

表1 語言類型條件下不同空間關系的反應時(M ± SD)

表2 語言類型條件下不同空間關系的正確率(M ± SD)

實驗1 結果表明,一語條件在反應時和正確率上均發現具體概念表征過程的感知運動仿真,二語條件只在反應時上顯現出具體概念表征過程的感知運動仿真。綜合反應時和正確率結果表明,中英雙語條件下均能夠產生感知運動仿真,但一語在概念表征過程的感知運動仿真具有一定的優勢,這種優勢的產生可能與一語有更高的熟練水平有關。那么,情境因素對于概念表征過程中感知運動仿真的發生是否也會有影響,實驗2 將分別從空間知覺情境因素(實驗2a)和語義知覺情境因素(實驗2b)兩個方面進行探討。

3 實驗2a：空間知覺情境對具體概念感知運動仿真的影響

3.1 目的

探究空間知覺信息的強弱對于具體概念表征過程中感知運動仿真的影響。

3.2 方法

選取大學生48 名,均未參加實驗1。平均年齡20.00 歲。所有被試裸眼或矯正視力正常,母語均為漢語,無閱讀障礙。實驗結束后會獲得少量的報酬。

實驗采用2 (空間關系：一致/不一致) × 2 (空間知覺：強空間知覺/弱空間知覺)兩因素被試內設計,因變量為被試的反應時和正確率。

實驗材料為實驗1 的中文實驗材料,共80 對詞匯,其中20 對語義相關實驗詞對、20 對語義相關填充詞對、40 對語義無關填充詞對。隨機抽取各類實驗材料的一半作為強空間知覺條件下的實驗材料,另一半作為弱空間知覺條件下的實驗材料。根據每個語義相關實驗詞對在4 種實驗處理下的不同,隨機組成4 個實驗系列。每名被試只隨機接受其中一種材料系列。

實驗流程如圖 2,每名被試均完成兩個區組,兩個區組的不同之處在于詞匯呈現界面中兩個詞匯垂直空間距離的不同。實驗通過改變詞對的垂直距離,操縱垂直空間知覺信息的顯著性。在長垂直空間距離區組中,兩個詞匯呈現在屏幕上的垂直距離較長,此時被試更容易覺察出詞對間的垂直空間信息;而在短垂直空間距離區組中,兩個詞匯呈現在屏幕上的垂直距離較短,此時被試較難覺察到詞對間的垂直空間信息。通過這種知覺信息強弱的變化,來檢驗知覺信息不同對具體概念加工中感知運動仿真的影響。同時,在長垂直空間距離區組中,一半的試次中兩個詞匯的呈現位置與實際空間關系一致,另外一半的試次中兩個詞匯的呈現位置與實際空間關系不一致。在短垂直空間距離區組中也采用同樣的處理方法。由于在實驗1 中被試報告長時間注視白色屏幕容易產生視覺疲勞,故實驗2 的屏幕改為黑底白字,注視點改為白色“+”號。為保證刺激的數量,每個詞對重復 5 次,每名被試完成400 個實驗試次。平衡左右手按鍵以及兩個區組的順序。

圖2 A 實驗2a 空間知覺強條件流程圖

圖2 B 實驗2a 空間知覺弱條件流程圖

3.3 結果與分析

數據處理同實驗 1,所有被試正確率均達到80%以上,沒有剔除被試數據。僅20 個語義相關實驗詞對的反應時和正確率數據納入數據分析。剔除錯誤反應、反應時大于2000 ms 或小于400 ms 以及在2.5 個標準差之外的反應時,共剔除7.6%的數據。各條件下反應時數據見表3。

表3 空間知覺情境條件下不同空間關系的反應時(M ± SD)

表4 空間知覺情境條件下不同空間關系的正確率(M ± SD)

實驗2a 結果表明,空間一致條件反應時顯著快于空間不一致條件,而空間關系與空間知覺的交互作用不顯著,這表明被試對詞對中隱含空間信息的加工不受知覺情境因素的影響。根據知覺符號理論,理解詞對中隱含的空間信息需要依賴于空間知覺信息的再激活和語義信息的激活。空間知覺信息的再激活并沒有對被試加工隱含的空間信息產生影響,這表明被試對詞對中隱含空間信息的加工可能是自動化的。

4 實驗2b：語義知覺情境對具體概念感知運動仿真的影響

4.1 目的

探究語義加工深度對具體概念表征過程中感知運動仿真的影響。

4.2 方法

選取大學生48 名,均未參加上述實驗。平均年齡21.00 歲。所有被試裸眼或矯正視力正常,母語均為漢語,無閱讀障礙。實驗結束后會獲得少量的報酬。

實驗采用2 (空間關系：一致/不一致) × 2 (任務類型：語義相關判斷/真假詞判斷)兩因素被試內設計,因變量為被試的反應時和正確率。

選取實驗1 的中文實驗材料,共80 個實驗材料,其中20 對語義相關實驗詞對、20 對語義相關填充詞對、40 對語義無關填充詞對。隨機抽取各類實驗材料的一半作為語義相關判斷任務的實驗材料,另一半作為真假詞判斷任務的實驗材料。在真假詞判斷任務的實驗材料中,原實驗1 中的每對語義無關填充詞對中的一個詞被替換為假詞。假詞的編制原則參照劉文娟等(2016)的研究。假詞為真詞的順序顛倒或者兩個漢字的隨機組合,它們均沒有真實的語義。其余的實驗材料與實驗1 完全相同。根據每個語義相關實驗詞對在4 種實驗處理下的不同,隨機組成4 個實驗系列。每名被試只隨機接受其中一種材料系列。

實驗流程與實驗2a 類似(圖3),分別為語義相關判斷任務和真假詞判斷任務兩個區組,每名被試完成兩個實驗區組。兩個區組的不同之處在于一個是語義相關判斷任務,而另一個是真假詞判斷任務。在語義相關判斷任務區組中,被試需按鍵判斷屏幕上出現的兩個詞語是否存在語義相關。在真假詞判斷任務區組中,被試需按鍵判斷屏幕上出現的兩個詞語中是否存在假詞。并且,在真假詞判斷任務區組中,假詞出現的位置完全隨機。在其中50%的試次中,假詞出現在屏幕上方,另外50%的試次中,假詞出現在屏幕下方。為了保證刺激的數量,每個詞對重復5 次,每名被試完成400 個實驗試次。平衡左右手按鍵以及兩個區組的順序。

圖3 A 實驗2b 語義相關判斷任務流程圖

圖3 B 實驗2b 真假詞判斷任務流程圖

4.3 結果與分析

數據處理如同實驗1,所有被試正確率均達到80%以上,沒有剔除被試數據。僅20 個語義相關實驗詞對的反應時和正確率數據納入數據分析。剔除錯誤反應、反應時大于2000 ms 或小于400 ms 以及在2.5 個標準差之外的反應時,共刪除了7.2%的數據。各條件下反應時數據見表5。

表5 語義知覺情境條件下不同空間關系的反應時(M ± SD)

表6 語義知覺情境條件下不同空間關系的正確率(M ± SD)

實驗2b 結果顯示空間一致條件反應時顯著快于空間不一致條件,并且任務類型與空間關系的交互作用不顯著,這表明被試對詞對中隱含空間信息的加工并不受語義知覺情境的調節。根據知覺符號理論,理解詞對中隱含的空間信息也需要激活語義信息。語義加工的深淺并沒有對被試加工隱含空間信息產生影響,這也可能表明被試對詞對中隱含空間信息的加工是自動化的。此外,實驗2b 也發現真假詞判斷任務的反應時長于語義相關判斷任務的反應時。這可能是由于語義相關判斷中,目標詞匯存在語義啟動效應,從而促進了詞對的加工。例如,被試對“汽車”的加工促進了對“馬路”的加工,進而促進了整個詞對的加工。而真假詞判斷任務中卻沒有類似的啟動效應。

5 討論

本研究通過系列實驗探究語言因素和情境因素對具體概念表征過程中感知運動仿真的影響。3個系列實驗均發現空間關系的主效應顯著,揭示了具體概念表征過程中存在感知運動仿真,支持了知覺符號理論。

關于感知運動仿真產生的影響因素,本研究分別從語言因素(一語和二語)與情境因素(空間知覺情境與語義知覺情境)兩個方面進行探討。結果表明,中英雙語者在兩種語言條件下均能夠產生感知運動仿真,但一語具有一定的優勢,具體表現為：在一語中,個體在空間一致的條件不僅有更快的反應時,而且有更高的正確率;在二語中,個體在空間一致的條件只有更快的反應時。但是,本研究采用的被試為英語專業的大學生,其英語熟練水平較高。對于較低熟練程度的二語學習者是否仍然會表現出類似的感知運動仿真,這需要后續進一步研究。本研究還揭示具體概念加工過程中感知運動仿真具有較高的自動化特性,無論是在較弱的空間知覺信息條件下還是在較淺的語義提取條件下概念表征過程中均自動仿真感知覺信息。綜上所述,本研究揭示具體概念加工過程中的感知運動仿真具有跨語言穩定性和一定的自動化特性。

一語具體概念加工中的感知運動仿真得到較多研究的支持。而二語的習得過程與一語存在較大的差異,這種習得差異是否會影響概念表征過程中的感知運動仿真？先前研究并沒有達成一致性結論。有的研究發現一語學習者對于負性詞匯和禁忌詞匯相比于中性詞匯和積極詞匯有更高的皮膚電激活,而這種差異在二語學習者的身上沒有產生,二語的感知運動仿真相比于一語較弱(Eilola &Havelka,2010),有的研究者發現二語學習者身上存在相似的感知運動仿真(Dudschig et al.,2014)。因此,本研究使用具有相對上下空間信息的具體概念,探討了中英雙語者在概念表征過程中是否會自動激活空間信息。實驗表明,在兩種語言條件下均產生了感知運動仿真,但一語條件表現出了正確率優勢,這表明一語中的知覺符號仿真具有一定的優勢。

那么,二語的感知運動信息是如何獲得的呢？是從一語概念中遷移還是在二語學習過程中重新習得相應的感知運動信息？雖然本研究沒有直接探討該問題,但是通過對先前研究的梳理可以進行初步的推測,以便對未來研究有所啟發。先前研究表明,個體僅習得二語詞匯與一語詞匯之間的語義聯系,這不足以使個體具備二語感知運動仿真的能力,個體需要在習得二語詞匯的同時進行相應的感知覺體驗才能夠產生感知運動仿真。Günther 等(2017)研究中向個體呈現一些新詞,通過學習使個體僅獲得語義信息,具體習得方法有新詞與一語詞匯之間對等互譯或把新詞放入一語自然語句中等,實驗表明盡管個體能夠準確識別新詞的詞義,但是依然難以引發感知運動仿真。?TTL 等(2017)請個體學習人造詞,通過把人造詞分別呈現在人們視野內的上方或下方,使個體習得人造詞詞義的同時獲得上下空間信息,結果發現概念表征過程中仿真了上下空間信息。對比上述兩個研究發現,二語的感知覺信息是二語習得過程中重新獲得的結果。這可以解釋本研究中二語加工中感知運動仿真的現象,英語專業大學生雖然在課堂中習得二語詞匯的語義信息,但是他們會在一些真實場景或模擬場景中嘗試使用,這些使用情境可能使二語學習者獲得感知運動仿真的能力。

實驗1 結果還發現,相比于二語概念,一語概念表征具有一定的優勢,即一語在空間一致條件不僅表現出更快的反應時,而且有更高的正確率。先前研究也表明一語加工存在一定的優勢。Baumeister 等(2017)研究發現二語情緒詞相比于母語有更弱的情感體驗,這種現象的產生可能與二語情緒記憶較弱有關。Chen 等(2020)使用粵語-普通話-英語三語者研究個體加工隱含空間特征句子時的感知運動仿真,結果發現所有語言都可以仿真空間信息,但是一語空間一致性效應會比二語和三語更加明顯。Vukovic 和Shtyrov (2014)使用腦電圖動態測量德-英雙語者的mu 波,發現一語和二語語言理解中都激活了運動皮層,但是二語的激活水平顯著低于一語。一語和二語產生這種感知運動仿真不平衡的原因可能與二語的熟練程度有關。高熟練雙語者在詞匯與感知覺信息之間有更穩固的連接,這種連接與一語更加相似,故產生同等程度的感知運動仿真。隨著二語熟練度的提升,這種連接會變強,因此感知運動仿真會逐漸顯現出語言的平衡性。如Bergen 等(2010)向二語學習者呈現詞-圖匹配任務,發現二語熟練度越高的被試感知運動仿真動作信息越和母語相似。Harris 等(2003)對晚期雙語者的研究表明,一語的禁忌詞匯和負性詞匯能夠引發更大的皮膚反應。研究者認為這一效應的產生可能與二語的熟練度有關。因此,二語熟練水平的提高有助于二語概念表征過程中的感知運動仿真。

知覺符號理論主要建構于一語表征的基礎上,對于二語概念表征并未詳細論述。但是,隨著世界各國和地區間交流的密切,二語學習已成為適應全球化趨勢的必備能力。為更好地理解二語概念表征,并探尋高效的二語學習方法,當務之急是系統探討二語中的感知運動仿真。本研究實驗1 發現,一語和二語中存在著相似的感知覺符號表征,支持了知覺符號理論。這是在跨語系的雙語者中,明確發現二語中的感知運動仿真,這對彌合以往研究中的爭論具有啟發意義。該發現暗示,無論是一語還是二語的學習均需建立在感知運動仿真的基礎上。通過結合上述發現和現有研究,本研究認為二語中的感知運動仿真似乎不是從一語中遷移過來的,而是在二語學習過程中重新建立的。但是,由于一語的先天優勢,二語中的感知運動仿真似乎不如一語中的感知運動仿真流暢,該發現是對知覺符號理論研究范圍的重要拓展。

先前研究表明個體知覺情境信息的不同會對概念加工產生影響。在Lebois 等(2014)的研究中,請被試閱讀隱含空間信息的詞匯然后做向上或向下的按鍵反應,發現空間一致性效應并不總會產生,只有當前情境更加突出感知運動信息時,被試才會激活感知運動信息。而以往研究對情境因素如何影響具體概念加工中的感知運動仿真探討較少。知覺符號理論也未對情境因素對概念加工中感知運動仿真的影響進行詳細的界定。劉文娟等(2016)通過向被試先后呈現情緒面孔圖片、情緒詞的方式研究知覺信息對概念信息的影響,實驗結果表明知覺信息的加工與概念信息的加工存在相互影響。根據知覺符號理論的觀點,感知運動信息的加工和概念信息的加工具有重疊的神經機制,兩者的關系是雙向的,即概念加工會影響知覺加工,知覺加工也會影響概念加工。本研究實驗2 分別從空間知覺情境與語義知覺情境兩個方面進一步推進,研究這種知覺加工對概念加工的影響是自動化的還是策略性的。實驗2a 通過改變垂直空間知覺信息的強弱對這一問題進行探討。實驗發現,垂直空間知覺信息的強弱對于感知運動仿真沒有影響,感知運動仿真具有較高的自動化特征。實驗2b 則通過語義相關判斷任務與真假詞判斷任務進行比較,探究被試在不完全通達語義的條件下是否會產生感知運動仿真。實驗發現,語義加工深度的不同對于隱含空間信息的具體概念加工中的感知運動仿真沒有調節作用,這與以往相關研究結論一致。以往研究發現,無論是視覺呈現(Dudschig et al.,2013)還是聽覺呈現(Dunn et al.,2014)隱含絕對空間的概念,請被試做真假詞判斷任務,都會引發被試的眼睛向一致方向的掃視。但以往研究較多關注具有絕對上下空間的概念,比如太陽或山谷,這些概念往往具有較強的上下空間信息,這可能導致個體可以在不完全通達語義的條件下直接仿真感知運動信息。而本研究使用的是相對空間概念(如玫瑰-花瓶),往往缺乏絕對的上下空間信息。因此,本研究實驗2b 揭示了具有相對空間概念的具體名詞在概念表征過程中同樣具有較高的自動化特性,不易受語義加工深度的影響。

綜上,本研究初步探討了語言因素和情境因素對具體概念加工中感知運動仿真的影響,未來研究應以非熟練雙語者為研究對象,考察非熟練中英雙語者在不同語言條件下是否均能產生類似的感知運動仿真。此外,本研究主要探討了垂直空間水平中具體概念的感知運動仿真的發生條件,未來研究可以深入考察水平空間中具體概念感知運動仿真的發生條件,如積極詞與右手、消極詞與左手的聯結。

6 結論

本研究系統探討了語言因素(語言類型)和情境因素(知覺情境)對具體概念加工中的感知運動仿真的影響。實驗發現熟練中英雙語者在兩種語言條件下均能夠產生感知運動仿真,但是一語具有一定的優勢。并且發現無論是在較弱的空間信息知覺條件下還是在較淺的語義信息知覺條件下,具體概念加工過程中都自動產生了感知運動仿真。該實驗結果支持了知覺符號理論,表明具體概念加工中感知運動仿真既有一定的穩定性,也能自動化發生。這一發現為知覺符號理論提供了新的實證證據,擴充了知覺符號理論的應用范圍。