具身模擬在漢語肢體動作動詞理解中的作用*

王 斌 李智睿 伍麗梅 張積家

具身模擬在漢語肢體動作動詞理解中的作用*

王 斌1李智睿2伍麗梅3張積家1

(1中國人民大學心理學系、國家民委民族語言文化心理重點研究基地、教育部民族教育發展中心民族心理與教育重點研究基地, 北京 100872) (2淮陰師范學院心理健康教育與咨詢中心, 江蘇 淮安 223300) (3暨南大學華文學院, 廣州 510610)

通過3個實驗, 考察具身模擬在漢語肢體動作動詞理解中的作用。實驗1考察在整字啟動下具身模擬對運動通道中箭頭方向判斷的影響, 發現理解肢體動作動詞在運動通道中存在著動作–漢字相容效應, 漢字的具身方向與箭頭方向一致促進被試對箭頭方向的判斷。實驗2考察在整字啟動下具身經驗對視覺通道中字母位置判斷的影響, 發現理解肢體動作動詞在視覺通道中存在著動作–漢字相容效應, 漢字的具身方位與字母方位一致促進對字母方位的識別。實驗3采用義符啟動范式考察義符與整字的具身模擬, 發現理解漢語肢體動作動詞不僅在整字層次上存在著具身模擬, 在部件層次上也存在著具身模擬。義符在漢字加工中期被激活了, 并且持續到加工晚期。整個研究表明, 漢語肢體動作動詞理解是一個跨通道的具身模擬過程, 具身模擬在漢語肢體動作動詞的理解中起著非常重要的作用。

漢語肢體動作動詞; 義符; 整字; 具身模擬

1 引言

語義信息在人的頭腦中如何表征與加工？一直以來是認知科學的核心問題。持計算機隱喻觀的第一代認知科學認為, 語義系統儲存著類似字母、數字等抽象的符號, 語言理解是與身體、知覺經驗無關的非模態系統。第二代認知科學中的具身語義學(Embodied semantics)提出了不同的觀點, 認為語言理解是對語言所指情境的心理模擬, 這種模擬以身體的感覺運動經驗為基礎, 在概念表征中有負責感覺運動的腦區參與, 語言理解是基于身體感覺運動經驗的認知活動(Barsalou, Simmons, Barbey, & Wilson, 2003; Glenberg, 1997; Horoufchin, Bzdok, Buccino, Borghi, & Binkofski, 2018; Winkielman, Niedenthal, Wielgosz, Eelen, & Kavanagh, 2015; Wu et al., 2017; Zwaan & Madden, 2005)。自從這一觀點提出以來, 掀起了從具身角度研究語言認知的高潮。越來越多的研究結果支持語言理解是對語言所指情境的心理模擬的觀點(Cardona et al, 2014; Horoufchin et al., 2018; Rodriguez, Mccabe, Nocera, & Reilly, 2012; 王繼瑛, 葉浩生, 蘇得權, 2018; Zwaan, 2014)。

在具身語言理解研究中, 有一類材料是表達人運用肢體進行機械運動的詞匯, 稱為肢體動作動詞(Body action verb), 這一類詞匯為很多研究者所青睞。Boulenger等(2006)采用手部、腿部和唇部的動作動詞來考察語言理解與感覺運動之間的關系。在實驗中, 通過視覺通道給被試呈現單詞, 同時要求被試做手部的抓握動作, 發現相對于其它部位的動作動詞, 手部動作動詞對抓握動作的影響更加顯著。這種現象被稱為動詞與動作執行的一致性效應(Action Word Compatibility Effect, ACE)。Juárez, Labrecque和Frak (2019)采用手部和腳部的動作動詞為目標詞, 以非動詞作為比較材料, 采用聽覺形式呈現。結果發現, 肢體動作動詞比非動詞誘發了更大的P200波幅。同時, 握力器測得的結果顯示, 在動作動詞呈現后的250 ~ 400 ms之間, 被試右手的握力值顯著大于非動詞呈現時的握力值。Strozyk, Dudschig和Kaup (2017)要求被試用手和腳對與手和腳相關的名詞做詞匯判斷, 發現用手按鍵時對手部動作動詞的反應更快, 用腳踩時對腳部動作動詞的反應更快。這表明, 肢體動作動詞的語義加工與身體部位之間存在著交互影響。腦成像研究的結果顯示, 人在理解與肢體動作有關的動詞和句子時, 會引起軀體感覺運動皮層的特異性激活。例如, 在理解“grasp (抓)”時, 負責手部感覺運動的腦區被激活; 在理解“kick (踢)”時, 負責腳部感覺運動的腦區被激活。這一現象被稱為語言理解的具身效應(Aziz-Zadeh & Damasio, 2008)。Hauk, Johnsrude和Pulvermüller (2004)采用腦成像技術比較被試理解手部、腳部和面部動詞時激活的腦區與動手、腳和舌的任務時激活的腦區, 發現與手有關的動詞與手部動作均激活了左中央前回和右額中回, 與腳有關的動詞和腳的動作均激活了前運動皮層后側。這一發現證實了使用電流源密度測量得到的結果(Pulvermüller, H?rle, & Hummel, 2001), 并且在Klepp等(2014)的腦磁圖研究中得到了進一步的證實, 說明理解動作動詞時大腦激活的運動皮層區域與個體做該肢體部位動作時激活的腦區顯著重疊。

肢體動作動詞為什么會引起感覺運動皮層的特異性激活？知覺符號理論(Perceptual Symbol Systems, PSS)認為, 語言理解需要感知運動系統參與, 是通過語言中一系列復雜的提示來建構所述情境的經驗性模擬。讀者是語言所述情景的經驗者, 理解是對所述情境的各種具身體驗的激活。在人的長時記憶中, 儲存著由具有多模式性、類似性的知覺符號構成的模擬器。當再次激活時, 這種知覺記憶作為代表外界事物的符號進入了符號操作過程。大量的知覺符號集中起來就組成認知表征。因此, 認知表征在本質上是知覺性的, 認知表征與知覺、運動在認知和神經水平上享有共同的系統(Barsalou, 1999a; Barsalou, 1999b)。Feldman和Narayanan (2004)提出以動作理解為基礎的語言神經理論(The Neural Theory of Language, NTL), 認為語言理解是人下意識地模擬或想象被描述情景的過程。語言理解通過想象和模擬來實現。這一過程需要動作的神經肌肉協同整合才得以完成。這種整合是多感覺通道的, 不僅用于控制動作, 也起著建構整合表征的功能, 即建構起包括動作、受動事物和動作方位的整合表征。例如, 抓握動作包含有一個動作成分(如何抓握)和不同的感知成分(人抓住物體時的樣子以及被抓物體的樣子), 同時也涉及其它的神經通路, 如抓握時的體覺成分(抓住物體的感覺) (Feldman & Narayanan, 2004; 魯忠義, 高志華, 段曉莉, 劉學華, 2007; 曲方炳, 殷融, 鐘元, 葉浩生, 2012)。由于這種模擬是知覺和運動狀態的自動的、無意識的重新激活過程, 發生在身體的感覺?運動通道之中, 因而被稱之為具身模擬(Emobodied simulation) (Gallese & Sinigaglia, 2011, 2012; 葉浩生, 曾紅, 2013)。

基于知覺符號理論和語言神經理論, 研究者探討肢體動作動詞理解中空間方向和方位信息的表征。Glenberg和Kaschak (2002)讓被試讀一些含有手部動作的句子并做出相應的反應。例如, “Andy opens the drawer” (“Andy打開抽屜”, 暗含的方向是朝向身體), “Sam closes the drawer” (“Sam關閉抽屜”, 暗含的方向是遠離身體), 被試的按鍵方向也分為朝向身體和遠離身體。結果發現, 當句子中的暗含方向與按鍵方向一致時, 被試的反應較快; 當句子中的暗含方向與按鍵方向不一致時, 被試的反應較慢。這被稱為“動作–句子相容效應” (Action- Sentence Compatibility Effect, ACE)。可見, 句子理解與按鍵動作之間具有一致性, 動作語句的理解不僅涉及大腦中負責語言的區域, 也涉及負責運動的區域。朱鴻凱(2018)采用相同的實驗范式, 以漢語簡單句為材料, 不僅證實了漢語句子也存在動作–句子相容效應, 而且這一效應不受句子的時態和類型(具體句子和抽象句子)影響。除了通過外顯的行為推測內在的具身模擬外, 也有研究者嘗試從內在心理加工的角度探討動詞理解與運動表征之間的關系。如果人們在動作動詞理解過程中進行了動態模擬, 這種模擬不僅可以通過外顯的具體動作來體現, 也可以通過內隱的具身模擬加工表現出來。Richardson, Spivey, Edelman和Naples (2001)發現, 在動詞理解中隱含了空間方向模擬。研究采用單項迫選任務, 給被試視覺呈現包含具體動詞(如“推開、舉起”)和抽象動詞(如“尊敬、冒犯”)的句子和4個以圓圈和方形組成的圖形, 圓圈和方形分別代表動作的發出者和承受者, 并且以上下左右四個箭頭來連接, 要求被試從4個圖形中選擇一個符合句子方向的最佳選項, 發現有2/3的被試選擇了與句子的隱含方向一致的選項, 而且在包含具體動詞和抽象動詞的句子之間不存在顯著差異。這說明, 對動詞的表征包含了空間方向的信息。Richardson, Spivey, Barsalou和Mcrae (2003)進一步探討動詞即時理解中的空間方向表征, 研究采用雙任務范式, 首先給被試聽覺呈現一個含有方向動詞的句子, 如“The strongman lifts the barbell (“這個強壯的人舉起了杠鈴”)”, 同時視覺同步呈現“強壯的人”和“杠鈴”兩幅圖片, 在隨后的圖片記憶任務中發現, 被試對這兩幅圖片以豎直方向排列比水平方向排列反應更快, 這一現象在抽象句子的理解中也存在, 說明句子理解激活了空間方位信息, 促進了同方位排列圖片的記憶。Yang (2016)采用圖片啟動范式考察英語動詞短語中介詞的空間方向表征, 啟動圖片包括三類：與介詞方向一致的圖片(如以箭頭朝下的圖片啟動“The bridge has fallen down”)、與介詞方向不一致的圖片(如以箭頭朝里的圖片啟動“The rubbish was thrown out”)、中性圖片(以十字符號啟動句子), 反應時的長短為：一致啟動 < 中性啟動 < 不一致啟動。可見, 一致啟動促進了包含同方向介詞句子的理解和表征, 在具有方向性的動詞理解中包含方向的具身模擬。除方向外, 定位(Stanfield & Zwaan, 2001)、形狀(Zwaan & Yaxley, 2004)和空間位置(Dudschig, Souman, Lachmair, Vega, & Kaup, 2013; Dunn, Kamide, & Scheepers, 2014)等知覺特征也影響語言理解。因此, 語義概念可以基于多種感覺通道的身體經驗來形成, 大腦進行不同感覺通道的語義加工時, 激活的區域既高度分化, 亦是多模式的神經回路(Fernandino et al, 2016; 王繼瑛等, 2018)。

雖然已經出現了諸多對拼音語言肢體動作動詞理解的研究, 但是, 對漢語肢體動作動詞理解的研究近年來才有所涉及。Yang和Shu (2011)探討了漢語動作動詞的具身語義理解, 采用Go/No go詞匯聲調判斷任務考察三類漢語動詞的具身理解差異：第一類是不涉及工具的手部動詞(如“掐、撫”), 第二類是涉及工具但強調手部動作的動詞(如“攪、掃”), 第三類是強調工具的動詞(如“削、綁”)。結果顯示, 三類動詞均激活雙側前運動皮層及左側頂下小葉, 手部動作動詞比工具動作動詞激發的運動區的活動更明顯。研究者認為, 生物信息和機械信息激活了不同的腦區, 后顳上溝區域負責編碼生物運動信息, 顳中回后部區域負責編碼機械運動信息(Beauchamp, Lee, Haxby & Martin, 2002; Beauchamp, Lee, Haxby & Martin, 2003; Martin, 2007)。Lin, Lu, Fang, Han和Bi (2011)以漢語生物運動動詞(如“行走”)和機械運動動詞(如“旋轉”)為材料, 檢驗漢語動詞是否引起神經機制的特異性激活, 發現漢語生物運動動詞激活后顳上溝區域, 漢語機械運動動詞未激活顳中回后部區域。蘇得權、鐘元、曾紅和葉浩生(2013)選取描述手部、面部、口部發音和腳部動作的漢語成語及不包含動作的漢語抽象成語, 考察理解漢語動作成語時的腦激活。結果顯示, 理解動作成語引起頂葉、額葉和顳葉等腦區活動, 描述手部、腳部、面部和口部發音動作的成語分別激活了前運動皮層、右側額中回、背外側前運動皮層等感覺運動區, 說明漢語中負責動作成語理解的腦區與負責相應動作的感覺運動區高度重合。這些研究均說明了漢語肢體動作動詞及成語的具身效應, 然而卻均未涉及漢語肢體動作動詞所具有的最鮮明特性――用義符標明完成動作所用的肢體器官(張積家, 方燕紅, 陳新葵, 2006)。

漢字是意音文字, 具有見形知意的特點。形聲字是漢字的主體。在現代漢字中, 形聲字的比例超過了80% (李燕, 康加深, 1993)。形聲字由表義的義符(形旁)和表音的聲符(聲旁)組成。義符與被構字具有語義聯系, 是漢字區別于拼音文字的最重要的特點。借助于義符來推測整字的語義, 正確率可以達60%~100% (Williams & Bever, 2010)。以漢語為第二語言的中高級學習者也利用義符路徑來識別漢字(Williams, 2013)。研究顯示, 義符具有表形、表義、表語法的多種功能(Law, Yeung, Wong, & Chiu, 2005; Liu et al., 2010; 陶云, 王曉曦, 馬諧, 劉艷, 2017; Wang, Ma, Tao, Tao, & Li, 2018; Wang, Pei, Wu, & Su, 2017; 張積家等, 2006; 張積家, 彭聃齡, 張厚粲, 1991; 張積家, 張厚粲, 彭聃齡, 1990)。Wu等(2013)比較漢語描述手部、腳部和口部動作的兩類動詞的神經表征差異, 一類動詞含有動作器官為義符(如“打、跳、喝”), 另一類詞無動作器官為義符 (如“割、騎、嘗”)。結果發現, 第二類詞的激活量與拼音文字類似, 第一類詞在不同部位的腦區出現了激活量的下降, 說明對有動作器官為義符的漢字, 讀者已經形成了動作器官與動作之間的聯結, 并且在長期的學習和閱讀中得到了強化, 因而減少了這些漢字在相應動作器官的運動區所需要的語義激活量。可見, 有無義符提示影響漢語動作動詞的具身效應大小。

在漢語中, 很多肢體動作動詞是單字動詞, 包含著豐富的語義信息。張道新和董宏(2017)為漢語肢體動作動詞建立了詞義結構模型：

肢體動作動詞 = ｛[主體：人; 個體; 集體][肢體：頭; 頸; 肩; 臂; 手; 腿; 足; 胸; 腰; 臀][動作形式：作用; 位移][作用點：某部分][方向：向前; 向后; 向內; 向外; 向上; 向下; 相向; 相反; 圓周; 平行][數量：動程; 力度; 速度][對象：物體][結果：變化][語法：動詞]｝

此模型是漢語肢體動作動詞各范疇語義特征的集合, 展示了漢語肢體動作動詞詞義結構的系統性、結構性和范疇性, 顯示了不同動詞是由哪些語義成分規定的, 可以作為分析的基本依據和語義特征的描述方式。在這一模型中, [方向]是肢體動作動詞的共有語義特征, 是肢體動作作為機械運動形式的要素, 對指稱對象起著規定作用。例如, “頂”含[肢體：頭][方向：向上][對象：物體], “踩、踏、踐”都含[肢體：腳][方向：向下][對象：物體]。肢體動作動詞的方向特征反映物理空間方向, 能夠被感知。結合知覺符號理論, 語言理解是基于感覺運動系統的具身模擬過程。因此, 筆者推測, 在理解漢語肢體單字動作動詞時, 它的空間方位和方向的信息都能夠被激活, 閱讀漢語單字詞時會促進同方向或同方位物體的識別, 并且這一過程在運動通道中和視覺通道中同時存在。已有研究雖然發現了句子理解對空間方向信息激活的影響, 但均屬于句子層面的研究(Glenberg & Kaschak, 2002; Richardson et al., 2001; Richardson et al., 2003; Yang, 2016; 朱鴻凱, 2018), 缺乏詞匯層面的研究。雖然有些研究目的是探討單詞理解是否能夠引起空間方向信息的激活, 但卻仍然置于句子語境下來考察(Meteyard & Vigliocco, 2009; Richardson et al., 2001; Richardson et al., 2003; Yang, 2016), 而一個完整句子也可以形成情境模擬, 因而使得研究結果不能夠精確地歸因, 即所激活的空間方向信息既可能源于對動詞的理解, 也可能源于對整個句子情境的認知。因此, 擬采用漢字單字動詞為材料, 分別從運動通道和視覺通道來驗證這一假設。在漢語肢體動作動詞呈現之后, 通過記錄和比較被試對不同呈現位置字母的覺察速度來反映肢體動作動詞對視覺注意定向速度的影響。如果被試對動作動詞的表征激活了視覺通道中空間方位的意向圖式, 那么, 當動詞消失以后, 字母呈現位置與動作動詞方位一致時, 就能夠促進對字母的識別, 出現視覺通道的動作–漢字相容效應。對運動通道的觀測需要借助于箭頭指向這一視覺信息激活手部運動來完成, 如果被試對動作動詞的表征激活了運動通道中的空間方向的意象圖式, 那么, 當動詞消失以后, 動詞表征激活的運動方向與箭頭朝向激活的手部運動相同時, 就會加速相應方向的手指按鍵運動; 反之, 就會減慢相應方向的手指按鍵運動。但是, 如果被試對動作動詞的表征沒有激活運動通道中的空間方向的意象圖式, 對箭頭朝向的判斷就不會受到動作動詞表征影響。

除了整字層面的研究, 一些研究還探討了在整字加工中義符語義激活的時間進程以及與整字語義激活的交互作用。Feldman和Siok (1999a, 1999b)發現, 義符的詞形激活發生在加工早期, 語義激活發生在加工晚期。張積家和章玉祉(2016)采用義符啟動范式探討義符語義在整字激活的時間進程, 發現就義符總體而言, 義符的語義激活從啟動早期一直持續到啟動晚期, 不成字義符和成字義符的語義激活存在著差異, 不成字義符的語義激活只在啟動中期出現, 成字義符的語義信息卻一直處于激活狀態。陳新葵和張積家(2008, 2012)采用啟動詞匯判斷任務考察義符熟悉性對高、低頻形聲字認知的影響, 發現義符激活與整字激活之間存在著動態的交互作用：對高頻漢字, 整字的語義激活從加工早期持續到晚期, 義符的語義激活從加工中期開始; 對低頻漢字, 整字的語義激活出現在加工晚期, 高熟悉義符的語義激活從加工早期一直持續到加工晚期, 低熟悉義符的語義激活在加工晚期出現。Zhou, Peng, Zheng, Su和Wang (2013)采用語義不透明的形聲字為材料, 考察義符的語義激活和整字頻率的交互作用, 發現只有在整字為低頻詞時, 義符的語義才能夠得到激活。雖然這些研究加深了對義符加工進程的認識, 但均未考慮動作義符和整字的具身效應。義符具有較強的表示整字語義的功能, 漢語動詞在義符語義線索提示下有可能表現出具身效應(蘇得權等, 2013)。根據知覺符號理論和語言神經理論, 動詞理解是具身模擬的過程, 這種具身模擬是只在整字層次上發生？還是在漢字的部件層次上也發生？由于義符具有較強的表義功能, 那么, 在部件(義符)水平上是否也存在著具身模擬？實驗3擬從具身認知的角度探究義符的具身信息是否在整字識別中也得到了激活, 同時考察義符語義激活的時間進程。

2 實驗1：漢語肢體動作動詞啟動影響對箭頭方向的判斷

2.1 被試

基于以往關于語言理解中空間方向表征研究的樣本量(Yang, 2016)和相關研究中的效果量及期望功效值(0.80), 采用G*Power 3.1軟件, 計算被試量為24人。在實驗1中, 招募35名漢族大學生, 男生16名, 女生19名, 平均年齡18.83 ± 1.96歲, 皆為右利手, 視力或矯正視力正常。

2.2 實驗設計

2 (啟動詞類型：動作方向向上的肢體動作動詞/動作方向向下的肢體動作動詞) × 2 (箭頭方向：向上/向下)被試內設計。因變量為被試對箭頭方向判斷的反應時和錯誤率。

2.3 實驗材料

挑選出動作方向向上和動作方向向下的漢語肢體動作動詞各20個。98名不參加實驗的漢族大學生評定動詞表達的動作方向, 選取評定方向一致性高于80%的漢字。匹配兩組漢字的字頻和筆畫數：統計分析表明, 筆畫數差異不顯著,(1, 38) = 0.01,0.91; 字頻差異不顯著,(1, 38) = 0.23,0.64。72名不參加實驗的漢族大學生采用5點量表評定漢字的熟悉性, 熟悉性越高, 評分就越高。統計分析表明, 兩組漢字的平均熟悉性差異不顯著,(1, 38) = 0.78,0.38。86名不參與實驗的漢族大學生用5點量表評定漢字的語義透明度, 語義越透明, 評分就越高。統計分析表明, 兩組漢字的平均語義透明度差異不顯著,(1, 38) = 0.09,0.76。實驗材料的信息見表1。

2.4 實驗程序

采用E-Prime 2.0系統編程, 用奔騰4型計算機呈現材料。被試端坐在計算機前, 左手食指放在F鍵上, 右手食指放在J鍵上。首先, 在計算機屏幕的中央呈現“+”注視點500 ms, 空屏300 ms, 接著在屏幕中央呈現啟動漢字300 ms, 之后是一個方向向上或者方向向下的箭頭, 要求被試判斷箭頭的方向：如果箭頭方向向上, 按F鍵, 如果箭頭方向向下, 按J鍵。被試間平衡按鍵規定。被試按鍵后, 箭頭消失, 空屏500 ms后, 進行下一次實驗。計算機自動記錄被試的反應時和反應正誤, 計時單位為ms,誤差為±1 ms (下同)。方向向上和方向向下的漢字與上下箭頭各組合一次, 每個漢字的每種組合形式先后呈現兩次, 共有160個試次, 材料呈現順序隨機化, 但同一啟動字不連續出現。在正式實驗之前, 要求被試學習所有實驗材料, 被試明白漢字的意思即可, 并用非實驗材料進行6次練習。實驗流程圖見圖1。

2.5 結果與分析

刪除2名正確率低于90%的被試。反應時分析時刪去錯誤反應和± 2.5之外的數據, 占6.3%。結果見表2。

反應時的方差分析表明, 只有啟動詞類型和箭頭方向的交互作用顯著,1(1, 32) = 4.81,0.036, ηp2= 0.13, 0.06 <ηp2< 0.14 [ηp2是反映實驗中自變量和因變量關聯程度的指標, ηp2越大, 說明自變量對因變量的影響越大。根據Cohen (1992)提出的標準進行換算可知, 0.01 <ηp2< 0.06, 效應量較小; 0.06 < ηp2< 0.14, 效應量為中等; ηp2> 0.14, 效應量較大],2(1, 38) = 4.55,0.041, ηp2= 0.13, 0.06 <ηp2< 0.14。簡單效應分析表明, 在方向向上的肢體動作動詞啟動下, 被試判斷方向向上、方向向下箭頭的反應時差異不顯著,(1, 32) = 0.001,0.97; 在方向向下的肢體動作動詞啟動下, 被試判斷方向向下箭頭的反應時顯著短于判斷方向向上的箭頭,(1, 32) = 5.85,= 0.021, 95% CI = [3.56, 41.56]。錯誤率的方差分析表明, 只有啟動詞類型與箭頭方向的交互作用顯著,1(1, 32) = 9.21,0.005, ηp2= 0.22 > 0.14;2(1, 38) = 19.63,< 0.001, ηp2= 0.40 > 0.14。簡單效應分析表明, 在方向向上的肢體動作動詞啟動下, 被試判斷方向向上箭頭的錯誤率顯著低于判斷方向向下箭頭,(1, 32) = 7.74,0.009, ηp2= 0.20 > 0.14, 95%CI = [0.01, 0.06]; 在方向向下的肢體動作動詞啟動下, 被試判斷方向向下箭頭的錯誤率邊緣顯著低于判斷方向向上箭頭,(1, 32) = 3.95,= 0.055,ηp2= 0.11, 0.06 < ηp2< 0.14, 95% CI = [0.00, 0.04]。

表1 實驗材料統計信息表

注：字頻單位為每2000萬字中出現該字的次數, 下載自www.cncorpus.org語料庫在線網站, 下同。

圖1 實驗1流程圖

表2 方向不同的漢語肢體動作動詞啟動下箭頭方向判斷的平均反應時(ms)和平均錯誤率(%)

注：括號內的數據為標準差, 下同。

2.6 討論

實驗1探討漢語肢體動作動詞的加工是否影響在運動通道中箭頭方向的空間判斷。反應時的結果顯示, 在方向向下的肢體動作動詞啟動下, 被試對方向向下的箭頭的反應顯著快于對方向向上的箭頭, 說明肢體動作動詞的語義加工激活了運動通道中空間方向向下的意象圖式, 大腦感覺運動腦區模擬出現的肢體動作動詞, 從而加速了對方向向下的箭頭的按鍵反應。所以, 當方向向下的箭頭出現時, 被試的反應時更短, 錯誤率更低。在方向向上的肢體動作動詞啟動下, 雖然被試對方向向上、向下的箭頭的反應時差異不顯著, 但判斷方向向上的箭頭的錯誤率顯著低于判斷方向向下的箭頭。可見, 方向向上的肢體動作動詞促進對方向向上的箭頭的認知。因此, 具有方向的肢體動作動詞能夠影響在運動通道中箭頭方向的空間判斷, 促進與動作方向一致的箭頭方向的判斷。那么, 這一效應在視覺通道中是否也存在？

3 實驗2：漢語肢體動作動詞啟動影響對字母空間方位的判斷

3.1 被試

基于相關研究報告的效果量及期望功效值(0.8),采用G*Power 3.1軟件, 計算被試量為24人。在本實驗中, 招募38名漢族大學生, 16名男生, 22名女生, 平均年齡為18.74 ± 1.83歲, 皆為右利手, 視力或矯正視力正常。未參加實驗1。

3.2 實驗設計

2 (啟動詞類型：方向向上的肢體動作動詞/方向向下的肢體動作動詞) × 2(字母位置：上/下)重復測量設計。因變量為被試對字母位置判斷的反應時和錯誤率。

3.3 實驗材料和實驗程序

材料同實驗1。首先在計算機屏幕的中央呈現“+”注視點500 ms, 空屏300 ms, 接著在屏幕中央呈現啟動詞300 ms, 之后在屏幕上方50%、25% (x, y)或在下方50%、75% (x, y)呈現字母Q, 要求被試判斷字母的方位：如果字母在上, 就按下F鍵, 如果字母在下, 就按下J鍵。被試間平衡按鍵規定。被試按鍵后, 字母消失, 空屏500 ms后, 進行下一次實驗。每一漢字與在上和在下的字母各組合一次, 每個漢字的每種組合形式先后呈現兩次, 共有160個試次。材料的呈現順序隨機化, 但同一啟動字不連續出現。在正式實驗之前, 被試學習實驗材料, 明白漢字的意思即可, 并用非實驗材料進行6次練習。實驗流程圖見圖2。

3.4 結果和分析

刪除2名正確率低于90%的被試。反應時分析時刪去± 2.5之外的數據, 占5.0%。結果見表3。

反應時的重復測量方差分析表明, 只有啟動詞類型與字母方位的交互作用顯著,1(1, 35) = 12.93,0.001, ηp2= 0.27 > 0.14;2(1, 58) = 3.70,0.06, ηp2= 0.11, 0.06 <ηp2< 0.14。簡單效應分析表明, 當字母位置在上方時, 在方向向上的肢體動作動詞啟動下的反應時顯著短于在方向向下的肢體動作動詞啟動下,(1, 35) = 4.39,0.044, ηp2= 0.11, 0.06 <ηp2< 0.14, 95% CI = [0.37, 23.63]。當字母位置在下方時, 在方向向下的肢體動作動詞啟動下的反應時顯著短于在方向向上的肢體動作動詞啟動下,(1, 35) = 6.92,0.013, ηp2= 0.17 > 0.14, 95% CI = [4.42, 34.35]。錯誤率的方差分析表明, 各種主效應及其交互效應均不顯著,s0.05。

圖2 實驗2流程圖

表3 不同漢語肢體動作動詞啟動下字母位置判斷的平均反應時(ms)和平均錯誤率(%)

3.5 討論

實驗2探討對漢語肢體動作動詞的加工是否影響視覺通道中字母方位的判斷。結果顯示, 當字母位于上方時, 在方向向上的肢體動作動詞啟動下的反應時顯著短于在方向向下的肢體動作動詞啟動下; 當字母位于下方時, 在方向向下的肢體動作動詞啟動下的反應時顯著短于在方向向上的肢體動作動詞啟動下。這說明, 對漢語肢體動作動詞的語義加工激活了視覺通道中空間方位的意向圖式, 大腦感覺運動腦區模擬出現的肢體動作動詞, 從而促進了對同方位字母的識別, 因而與肢體動作動詞方位一致的字母的反應時就短。實驗2與實驗1的結果一致, 均發現對漢語肢體動作動詞的加工能夠促進對相同方向或方位的符號的識別, 說明理解肢體動作動詞在視覺通道中也存在著動作–漢字相容效應, 漢字理解是一個跨通道的具身模擬過程。這種具身模擬僅僅發生在整字層次上嗎？在部件(義符)層次上是否也存在著具身模擬？

4 實驗3：義符啟動范式下動作義符與動作動詞整字的具身模擬

4.1 被試

基于相關研究報告的效果量及期望功效值(0.8), 采用G*Power 3.1軟件, 計算被試量為13人。招募50名漢族大學生, 22名男生, 28名女生, 平均年齡為18.71 ± 0.90歲, 皆為右利手, 視力或矯正視力正常。未參加實驗1和實驗2。

4.2 實驗設計

2 (啟動類型：義符啟動/控制啟動) × 2 (漢字類型：義符方向與整字方向一致/義符方向與整字方向不一致) × 3 (SOA：43/72/243 ms)被試內設計。SOA的選擇參照已有研究(陳新葵, 張積家, 2008, 2012), 反映漢字加工的早、中、晚期情況。漢字類型是指義符的具身方向與整字的具身方向的關系。讓被試保持如圖3左側所示的姿勢, 可以強化形成手在上、腳在下的具身經驗。以“扌”為例, “扌”表示手部, “揚”的具身方向向上, 與“扌”的具身方向一致; “捶”的具身方向向下, 與“扌”的具身方向不一致。這樣, “扌”就形成了與其具身方向一致和不一致的兩類漢字。實驗邏輯是：如果義符啟動引起手部和腳部的語義激活, 在語義中包含有具身信息, 手部或腳部的具身信息也會激活。那么, 在義符啟動下, 與義符方向一致和不一致的漢字的反應時就存在著差異; 在控制啟動下, 兩類漢字的反應時就無差異。如果手部或腳部的語義在漢字加工的某個階段被激活了, 那么, 在這一階段中, 不一致漢字的反應時就應該長于一致漢字; 如果義符的語義在整字的方向識別過程中未被激活, 那么, 在三種SOA下, 無論義符與整字的具身方向一致還是不一致, 兩類漢字的反應時就應該無顯著差異。通過比較, 就能夠了解義符的語義在整字激活中的模擬情況和時間進程。

4.3 實驗材料

挑選出方向向上和方向向下的手(臂)部或腳(腿)部的肢體動作動詞, 要求98名漢族被試評定漢字的具身方向, 選取評定方向一致性高于80%的漢字。手(臂)部動詞均含“扌”旁, 腳(腿)部動詞均含“?”旁, 所有的漢字均為左右結構。方向向上和方向向下的漢語肢體動作動詞各有20個, 在兩類漢字中, 含“扌”旁和含“?”旁的漢字數量相同。匹配兩組漢字的字頻和筆畫數, 統計分析表明, 兩組漢字的筆畫數差異不顯著,(1, 38) = 0.02,0.88; 字頻差異不顯著,(1, 38) = 0.18,0.67。72名不參與實驗的漢族大學生采用5點量表評定漢字的熟悉性, 熟悉性越高, 評分就越高。統計分析表明, 兩組漢字的熟悉性差異不顯著,(1, 38) = 0.09,0.77。86名不參與實驗的大學生采用5點量表評定漢字的語義透明度, 語義透明度越高, 評分越高。統計分析表明, 兩組漢字的語義透明度差異不顯著,(1, 38) = 1.17,0.29。實驗材料的信息見表4。

4.4 實驗程序

步驟1：要求被試學習實驗材料, 被試明白漢字的意思即可。

步驟2：主試將如圖3左邊所示的人物圖片給被試看, 要求被試按照圖片所示姿勢保持1分鐘, 確保被試的姿勢準確。

步驟3：主試讓被試坐在計算機前, 根據指導語要求反應。首先, 在計算機屏幕的中央呈現“+”注視點500 ms, 空屏300 ms, 然后出現義符啟動或者控制啟動“***”, 啟動刺激的呈現時間由SOA確定, 分別為43 ms、72 ms和243 ms; 隨后出現目標漢字, 要求被試判斷目標漢字的具身方向：如果漢字的具身方向向上, 就按F鍵; 如果漢字的具身方向下, 就按J鍵。被試間平衡按鍵規定。被試按鍵以后, 詞語消失, 空屏500 ms后, 進行下一次實驗。實驗流程見圖3。實驗包含240個試次, 每種SOA條件下的80個試次為一組, 三組材料隨機呈現, 每一漢字在每種SOA條件下各出現2次, 同一個漢字不連續出現。在正式實驗之前, 用非實驗材料做了16次練習。

4.4 結果與分析

刪除3名正確率低于80%的被試。反應時分析時刪去± 2.5之外(占4.08%)數據。實驗結果見表5。

反應時的重復測量方差分析表明, SOA的主效應顯著,1(2, 45) = 5.07,0.01, ηp2= 0.18 > 0.14;2(2, 37) = 3.89,0.03, ηp2= 0.18 > 0.14。SOA =43 ms時反應時顯著長于SOA = 72 ms時,0.013, 95% CI = [2.99, 24.26]; SOA = 43 ms時反應時顯著長于SOA = 243 ms時,0.02, 95% CI = [1.88, 20.59]; 啟動類型和漢字類型的交互作用被試分析顯著,1(1, 46) = 6.43,0.015, ηp2= 0.12, 0.06 <ηp2< 0.14, 項目分析不顯著,2(1, 38) = 0.79,0.38。簡單效應分析表明, 在義符啟動下, 一致條件下的反應時顯著短于不一致條件下,0.006, 95% CI = [8.11, 45.86]; 在控制啟動下, 兩類漢字的反應時差異不顯著,0.53。漢字類型和SOA的交互作用被試分析顯著,1(2, 45) = 4.71,0.014, ηp2= 0.17 > 0.14, 項目分析不顯著,2(2, 37) = 0.60,0.56。簡單效應分析表明, 在SOA = 43 ms時, 兩類漢字的反應時差異不顯著,0.18; 在SOA = 72 ms和SOA = 243 ms時, 一致條件下的反應時顯著短于不一致條件下,值分別為0.043和0.002, 95%置信區間分別是[0.63, 39.65]和[11.14, 46.69]。其它的主效應和交互作用均不顯著,0.05。

表4 實驗材料統計信息表

圖3 實驗3流程圖

表5 不同啟動條件下被試判斷的平均反應時(ms)和平均錯誤率(%)

為了探討在不同條件下兩類漢字的啟動狀況, 分別對2種啟動條件的反應時做2(漢字類型) × 3(SOA)方差分析。結果表明, 在義符啟動下, 漢字類型的主效應被試分析顯著,1(1, 46) = 8.28,0.006, ηp2= 0.15 > 0.14, 項目分析不顯著,2(1, 38) = 0.11,0.74。均數比較表明, 一致條件下的反應時顯著小于不一致條件下,0.006, 95% CI = [8.11, 45.86]。SOA的主效應被試分析顯著,1(2, 45) = 4.22,0.021, ηp2= 0.16 > 0.14, 項目分析邊緣顯著,2(2, 37) = 2.97,0.057, ηp2= 0.07, 0.06 < ηp2< 0.14。均數比較表明, SOA = 43 ms時反應時顯著長于SOA = 72 ms時,0.018, 95% CI = [3.02, 31.00], SOA = 43 ms時反應時顯著長于SOA = 243 ms時,= 0.01, 95% CI = [5.74, 39.26]。漢字類型與SOA的交互作用被試顯著,1(2, 45) = 3.43,0.041, ηp2= 0.13, 0.06 <ηp2< 0.14, 項目分析不顯著,2(2, 37) = 0.37,0.70。簡單效應分析表明, SOA = 43 ms時, 兩類漢字的反應時差異不顯著,0.58; 當SOA = 72 ms時, 一致漢字的反應時顯著短于不一致漢字,= 0.005, 95% CI = [14.78, 77.74], 當SOA = 243 ms時, 一致漢字的反應時顯著短于不一致漢字,0.003, 95% CI = [15.58, 73.09]。在控制啟動下, 各種主效應和交互效應均不顯著,0.05。這說明, 在義符啟動中, 在不同SOA下兩類漢字的反應時差異確實是由義符啟動引起的。在義符啟動的早期, 一致漢字與不一致漢字的反應時未出現顯著差異; 到義符啟動中期, 二者出現了顯著差異, 而且持續到啟動晚期。這說明, 義符的語義在漢字整字加工中期開始激活,并且持續到加工晚期。

錯誤率的重復測量的方差分析表明, 漢字類型的主效應顯著,1(1, 46) = 21.4,< 0.001, ηp2= 0.32 > 0.14,2(1, 38) = 4.12,0.05, ηp2= 0.10, 0.06 <ηp2< 0.14。一致條件下的錯誤率顯著低于不一致條件下, 95% CI = [0.02, 0.06]。SOA的主效應被試分析顯著,1(2, 45) = 6.69,0.003, ηp2= 0.23 > 0.14; 項目分析邊緣顯著,2(2, 37) = 2.76,0.08, ηp2= 0.13, 0.06 <ηp2< 0.14。SOA = 43 ms時錯誤率顯著高于SOA = 72 ms時,0.023, 95% CI = [0.002, 0.02]; SOA = 43 ms時錯誤率顯著高于SOA = 243 ms時,0.001, 95% CI = [0.01, 0.03]。其它的主效應和交互作用均不顯著,0.05。

4.5 討論

實驗3從具身認知的角度探究義符的具身信息在整字識別中是否得到了激活, 附帶考察義符語義激活的時間進程。結果發現, 在義符啟動下, 義符與整字具身方向一致的漢字表現出反應優勢, 而在控制啟動下二者卻無顯著差異, 說明是義符啟動造成了兩類漢字的反應差異。2(漢字類型) × 3(SOA)的方差分析也證實了義符啟動的作用。在義符啟動早期(SOA = 43 ms), 義符與整字具身方向一致的漢字和義符與整字具身方向不一致的漢字的反應時并無顯著差異, 在義符啟動的中期(SOA = 72 ms)和晚期(SOA = 243 ms), 義符與整字具身方向一致的漢字和義符與整字具身方向不一致的漢字出現了顯著的差異, 說明義符語義在漢字加工中期得到了激活, 并且持續到漢字加工晚期。因此, 實驗3表明, 漢語肢體動作動詞的語義理解不僅在整字層次上存在著具身模擬, 在部件(義符)層次也存在著具身模擬。

5 綜合討論

本研究考察在漢語肢體動詞的語義理解中整字和義符的具身模擬情況。實驗1和實驗2分別從運動通道和視覺通道探討理解漢語肢體動詞時其方向信息和方位信息是否也被激活了。結果顯示, 在運動通道中, 漢語肢體動作動詞的具身方向信息影響被試對箭頭方向的判斷; 在視覺通道中, 漢語肢體動作動詞的具身方位信息影響被試對字母方位的判斷。這說明, 在漢語肢體動作動詞的理解中, 存在著動作–漢字相容效應。實驗3采用義符啟動范式考察義符的具身信息在整字識別中是否得到了激活, 并且考察義符的語義激活在整字的語義激活中的時間進程, 發現義符的語義在漢字加工的中期得到了激活, 并且一直持續到加工晚期。

5.1 關于漢語肢體動作動詞的具身方向和方位的激活

對語言理解引起的感覺運動系統激活, 有兩種觀點：一種觀點強調語言理解是記憶信息的提取過程, 動作語義理解是由于儲存的動作語義知識激活了大腦的感覺運動區。理解具體概念與抽象概念時所激活的腦區不同。例如, 具體形象的動作語義能夠引發更多的感覺運動區的活動, 而抽象概念的理解多激活額下回和顳葉等腦區。這說明, 抽象概念理解需要提取更多的語義信息(Bedny, Caramazza, Grossman, Pascual-Lene, & Saxe, 2008)。另一種觀點認為, 語言理解是動作的復演, 語義是在與外界互動過程中以具身經驗形式儲存在大腦中, 語言理解是具身經驗的重新激活。即, 語言理解是通過重新激活具身經驗模擬所描述事件或情景的過程。感覺運動區在語言理解過程中負責心理模擬, 人們憑借心理模擬過程實現對動作語義的理解, 甚至理解動作的意圖和表情的含義。語言理解是多通道的, 是通過語言區和感覺運動區的分散表征的整合實現的(Borghi & Riggio, 2009a; Borghi, & Scorolli, 2009b; Strozyk et al., 2017; Wu et al., 2017)。實驗1和實驗2的結果支持第二種觀點。在語言理解時, 感覺運動系統參與其中進行了動作模擬, 在動作模擬過程中, 肢體動作動詞的方向、方位等信息也被激活了。

知覺符號理論認為, 在語言表征中包含有知覺運動特征。動詞的知覺符號聚合了許多具體的知覺與運動經驗, 這些經驗的共同性在動詞表征中也得到了反映。由于知覺符號具有多模式性和類似性, 一旦某動詞得到了激活, 與之相關的所有知覺信息(如方向、強度、位置等)也會得到自動激活。由此可知, 語言理解與知覺通道之間存在著交互作用(Zwaan, 1999; Zwaan, 2004; 伍麗梅, 莫雷, 王瑞明, 2007)。赫布學習觀(Hebbian learning)認為, 個體通過將相同動作的觀察經驗和執行經驗建立起聯系以形成感覺運動經驗, 人在習得動詞過程中總是伴隨著動作發生(Giudice, Manera & Keysers, 2009; Keysers & Perrett, 2004)。單詞學習訓練的研究表明, 將單詞與兒童的感知經驗和運動體驗建立起一致聯系可以顯著地提高學習成績, 將單詞的運動信息與詞匯訓練方法結合是提高單詞學習水平的優選方式(Hald, Nooijer, Gog, Bekkering, 2016)。例如, 兒童在做“蹲”的動作時, 能夠感受到腿部肌肉的變化, 學習到“蹲”的含義。當“蹲”這個字再次出現時, 蹲的動作就會出現在腦海中。當多次看到“蹲”這個字時, 漢字“蹲”與蹲的動作的聯系就得到鞏固與聯合, 形成了多通道的語言理解模式。因此, 當被試看到“蹲”字時, 大腦的語言區和運動區會出現同步的激活, 當出現向下的箭頭或者位置在下的字母時, 被試的反應就更快; 若出現向上的箭頭或者位置在上的字母, 由于呈現刺激與已經激活的具身經驗方向相反, 因而導致被試的反應變慢。

因此, 語言理解是基于身體感覺和動作經驗的認知活動, 是理解動詞語義和動作意圖共同的神經基礎。鏡像神經系統在加工動作語義時負責模擬(simulation)或者復演(re-enactment)語義材料中包含的動作, 讓人在理解單詞或句子時就能夠擬合相應的動作概念, 以第一人稱視角把感覺信息轉換為動作圖式, 產生感同身受的體驗(Aziz-Zadeh & Damasio, 2008; Kemmerer & Castillo, 2010)。Wu等(2017)采用漢語身體部位詞、動詞和人造物體詞為材料, 要求被試依次閱讀、觀察、模仿這些詞匯, 發現三類詞在模仿階段對鏡像神經系統的調節不同, 與其它詞語條件相比, 在人造物詞語呈現后的模仿會引發更強的右額下回、前運動皮層和頂小葉的激活。以漢語成語為材料的fMRI研究證實, 在漢語中描述動作的成語的語義理解腦區與負責相應動作的感覺運動腦區基本一致。這說明, 以鏡像機制為基礎的具身模擬在漢語動作成語的語義理解中發揮了重要作用(蘇得權等, 2013)。

在本研究中, 被試在看到與漢字具身方向或具身方位一致的符號時反應更快, 表明感覺運動系統參與了肢體動詞理解, 被試進行了空間具身模擬, 使得漢字的具身方向信息或方位信息得到了激活, 鏡像神經元在其中發揮了模擬或復演具體動作的作用。

5.2 關于漢語肢體動作動詞理解中義符與整字的具身模擬及其時間進程

作為表義部件, 義符是漢字獨特性的體現, 也是漢字研究的重要切入點之一。張積家等(1990, 1991)發現, 義符對形聲字的語義提取具有重要作用：當義符與詞的上屬一致時, 促進對漢字詞類別語義的提取; 反之, 干擾對漢字詞類別語義的提取。這一結果得到了Williams和Bever (2010)研究的證實, 在以漢語為第二語言的學習者身上也得到了證實(Williams, 2013)。研究還發現, 義符在漢字詞特征語義提取(張積家, 彭聃齡, 1993)、動作動詞意義認知(張積家, 陳新葵, 2005)、類別歸納推理(Liu et al., 2010; 陶云等, 2017; Wang, Ma et al., 2018)等方面均具有表示語義的功能。部分對形聲字識別中義符和聲符作用的比較研究發現, 義符在漢字識別中作用更大(佘賢君, 張必隱, 1997; Williams & Bever, 2010; Wang et al. 2017), 但也有研究表明, 在通達形聲字語音、語義的過程中, 聲符比義符更具有注意資源優勢, 這種優勢在語音提取任務中更明顯：聲符無需依賴義符的信息便可以相對獨立地激活整字的語音, 但聲符需要義符的配合才能夠提取整字的語義(張積家, 王娟, 印叢, 2014)。盡管這些研究加深了對義符功能的理解, 但它們均是從整字或者義符的語義或語法角度來推斷義符的作用, 并未將語言理解與具身認知相結合。由于語言理解是具身經驗參與的模擬過程, 義符可以為語言理解提供一定的線索, 因此有可能在具身模擬中發揮一定的作用。以往研究多從整字的角度來探索義符的作用, 雖然整字呈現與平時閱讀時相同, 卻也存在著一定的局限性：(1)整字會對義符功能的認知產生干擾; (2)在整字情境中, 義符的作用被弱化, 義符的語義激活在很多研究中表現得并不突出(章玉祉, 張積家, 2017)。為了更純粹地研究義符的作用, 使其更加凸顯, 實驗3采用了義符啟動范式來進行探討。

Feldman和Siok (1999a)發現, 義符的語義激活只出現在啟動晚期。陳新葵和張積家(2008, 2012)發現, 義符的熟悉性和整字的頻率存在著動態的交互作用：當整字頻率高時, 高、低熟悉的義符的語義均在啟動中期激活了, 高熟悉的義符的語義激活時間長, 持續到加工晚期, 低熟悉的義符的語義激活消退快。張積家和章玉祉(2016)采用義符啟動范式探討義符語義信息在整字語義激活中的時間進程, 發現就義符總體而言, 義符的語義激活從啟動早期一直持續到啟動晚期。本研究從具身認知的角度來探討義符語義激活的時間進程。在實驗初期, 要求被試按如圖3所示的姿勢, 強化被試形成手在上、腳在下的具身經驗, 在隨后的實驗中, 這種手–上、腳–下的具身經驗影響了被試對漢字具身方向的判斷。義符語義在漢字加工中期得到了激活, 并且持續到加工晚期。這一研究結果與以往的研究結果基本一致。所以如此, 有兩個原因：(1)根據陳新葵和張積家(2008)對義符熟悉性的評定結果, 本研究選取的義符(“扌”和“?”)均為高熟悉義符, 其語義更容易激活; (2)義符啟動范式排除了整字語義的干擾, 使得義符的作用被放大和凸顯, 能夠更加直觀地探討義符語義的激活進程。

不同的研究者提出了一些義符在形聲字詞匯通達中的模型。張積家等提出的漢字形聲字加工的“兩個網絡系統模型”認為, 漢字詞加工涉及詞匯網絡系統和語義網絡系統。詞匯網絡系統貯存詞的筆畫、部件、詞素和整詞等詞形結構特征, 語義網絡系統貯存詞的語義, 包括概念結點和類別結點。在兩個網絡系統之間, 存在著以義符為中介的聯結。漢字詞呈現引起的義符激活可以沿著網絡間的聯結通路到達語義網絡系統, 激活義符所代表的類別結點和概念結點, 進而啟動自上而下的加工(張積家, 彭聃齡, 1993; 張積家, 王娟, 陳新葵, 2014 )。Ding, Peng和Taft (2004)提出了形聲字的認知加工模型, 認為形聲字認知包括特征、部件、合體字、概念四個水平, 漢字加工是由底到頂的過程。陳新葵和張積家(2012)將以上兩種模型結合, 提出了義符在詞匯通達中的表征模型。該模型認為, 漢字認知由下而上包括4個水平, 其中, 特征水平、部件水平和合體字水平屬于詞匯網絡系統的變量, 概念水平屬于語義網絡系統的變量。義符聯結著兩個網絡系統, 為整字的語義通達提供了特殊的通道。在漢字認知時, 既可以通過特征→義符→整字→概念的通道, 也可以在到達義符水平時直接激活與義符相聯結的類別結點, 進而啟動自上而下的加工。本研究結果也可以通過這一理論模型來解釋。本研究采用的漢字均是由“扌”和“?”作為動作器官構成的, 具有較高的語義透明度, 兩類漢字的差別在于義符語義的具身方向和整字語義的具身方向是否一致。研究顯示, 在啟動的中期和晚期, 一致的漢字與不一致的漢字的反應時差異顯著, 因此可以推測, 差異是由義符的具身方向與兩類漢字的具身方向是否一致引起的。根據這一模型, 當義符啟動時間短(SOA = 43 ms)時, 只激活了義符的詞形信息, 義符與整字的具身方向一致和不一致的漢字的反應時不會產生顯著差異。但是, 隨著義符啟動時間的增加(SOA = 72 ms和SOA = 243 ms), 義符語義得到了激活, 使得兩類漢字的反應時差異顯著。因此, 可以推測, 在義符語義中包含了具身信息。即, “扌”在激活與手有關的動作時, 也激活了“扌”的向上的具身信息。當“揚”呈現時, 由于“扌”的向上的具身信息已經被激活了, “揚”的激活閾限就低, 對其語義的方向判斷反應就快; 當“捶”呈現時, 由于其語義方向與“扌”激活的方向相反, 是反方向的激活, 反方向的激活提高了“捶”的反應閾限, 需要更多的能量才能夠激活, 因此對它的語義的方向判斷反應就變慢了。

根據Ding等(2004)的模型與章玉祉和張積家(2016)的研究, 成字義符的語義存在著類屬義和本身義的雙重激活, 不成字義符的語義卻只有類屬義的激活。例如, 義符“手”不僅可以激活與手有關的動作, 也可以激活手本身, 而“扌”只能激活與手有關的動作。實驗3采用的義符“扌”和“?”均為非成字義符, 發現義符的語義在漢字識別中期得到了激活, 并且語義中包含有義符的具身信息。因此, 雖然“扌”不能夠激活手本身, 但即使只激活了與手有關的動作, 手的具身信息仍然得到了激活, 說明被試在對義符語義加工時也進行了具身模擬。這說明, 漢語肢體動作動詞的語義理解不僅在整字層次上存在著具身模擬, 在部件(義符)層次上也存在著具身模擬。漢語肢體動作動詞的具身模擬發生得非常早。后續研究可以采用認知神經科學的技術對此問題做進一步的驗證。

6 結論

(1)漢語肢體動作動詞的理解在運動通道中和視覺通道中均存在著動作–漢字的相容效應。漢語肢體動作動詞的理解是一個跨通道的具身模擬過程。

(2)義符語義從漢語肢體動作動詞加工的中期開始激活, 并且一直持續到加工晚期。漢語肢體動作動詞的理解不僅在整字層次上存在著具身模擬, 在部件(義符)層次上也存在著具身模擬。

Aziz-Zadeh, L., & Damasio, A. (2008). Embodied semantics for actions: Findings from functional brain imaging.,(1–3), 35–39.

Barsalou, L. W. (1999a). Language comprehension：Archival memory or preparation for situated action?(1), 61–80.

Barsalou, L. W. (1999b). Perceptual symbol systems.(4), 577–660.

Barsalou, L.W., Simmons, W. K., Barbey, A. K., & Wilson, C. D. (2003). Grounding conceptual knowledge in modality- specific systems.(2), 84–91.

Beauchamp, M. S., Lee, K. E., Haxby, J. V., & Martin, A. (2002). Parallel visual motion processing streams for manipulable objects and human movements.(1), 149–159.

Beauchamp, M. S., Lee, K. E., Haxby, J. V., & Martin, A. (2003). FMRI responses to video and point-light displays of moving humans and manipulable objects.(7), 991–1001.

M.,A.,E.,Leone, A., &R. (). Concepts are more than percepts: The case of action verbs.(44), 11347–11353.

Borghi, A. M., & Riggio, L. (2009a). Sentence comprehension and simulation of object temporary, canonical and stable affordances., 117–128.

Borghi, A. M., & Scorolli, C. (2009b). Language comprehension and dominant hand motion simulation.(1), 12–27.

Boulenger, V., Roy, A. C., Paulignan, Y., Deprez, V., Jeannerod, M., & Nazir, T. A. (2006). Cross-talk between language processes and overt motor behavior in the first 200 msec of processing.(10), 1607–1615.

Cardona, J. F., Kargieman, L., Sinay, V., Gershanik, O., Gelormini, C., Amoruso, L., …& Ibá?ez, A. (2014). How embodied is action language? Neurological evidence from motor diseases.(2), 311–322.

Chen, X. K., & Zhang, J. J. (2008). Role of familiarity of semantic radicals in the recognition of highly familiar Chinese characters.(2), 148–159.

[陳新葵, 張積家. (2008). 義符熟悉性對高頻形聲字詞匯通達的影響.(2), 148–159.]

Chen, X. K., & Zhang, J. J. (2012). Role of familiarity of semantic radicals in the recognition of lowly familiar Chinese characters.(7), 882–895.

[陳新葵, 張積家. (2012). 義符熟悉性對低頻形聲字詞匯通達的影響.(7), 882–895.]

Cohen, J. (1992). A power primer.(1), 155–159

Ding, G. S., Peng, D. L., & Taft, M. (2004). The nature of the mental representation of radicals in Chinese：A priming study.(2), 530–539.

Dudschig, C., Souman, J., Lachmair, M., Vega, I. D. L., & Kaup, B. (2013). Reading “sun” and looking up: The influence of language on saccadic eye movements in the vertical dimension.(2), e56872.

Dunn, B. M., Kamide, Y., & Scheepers, C. (2014). Hearing “moon” and looking up: Word-related spatial associations facilitate saccades to congruent locations.(36), 433–438.

Feldman, J., Narayanan, S. (2004). Embodied meaning in a neural theory of language.(2), 385–392.

Feldman, L. B., & Siok, W. W. T. (1999a). Semantic radicals contribute to the visual identification of Chinese characters.(4)559–576.

Feldman, L. B., & Siok, W. W. T. (1999b). Semantic radicals in phonetic compounds: Implications for visual character recognition in Chinese. In J. Wang, A. W. Inhoff, & H.-C. Chen (Eds).(pp. 19–35)Mahwah, NJ: Erlbaum.

Fernandino, L., Binder, J. R., Desai, R. H., Pendl, S. L., Humphries, C. J., Gross, W. L., … & Seidenberg, M. S. (2016). Concept representation reflects multimodal abstraction：A framework for embodied semantics.(5)2018–2034．

Gallese, V., & Sinigaglia, C. (2011). What is so special about embodied simulation?(11), 512–519.

Gallese, V., & Sinigaglia, C. (2012). Response to de bruin and Gallagher: Embodied simulation as reuse is a productive explanation of a basic form of mind-reading.(2), 99–100.

Giudice, M. D., Manera, V., & Keysers, C. (2009). Programmed to learn? The ontogeny of mirror neurons.(2), 350–363.

Glenberg, A. M. (1997). What memory is for.(1), 1–19.

Glenberg, A. M., & Kaschak, M. P. (2002). Grounding language in action.(3), 558–565.

Hald, L. A., de Nooijer, J., van Gog, T., & Bekkering, H. (2016). Optimizing word learning via links to perceptual and motoric experience.(3), 495–522.

Hauk, O., Johnsrude, I., & Pulvermüller, F. (2004). Somatotopic representation of action words in human motor and premotor cortex.(2), 301–307.

Horoufchin, H., Bzdok, D., Buccino, G., Borghi, A. M., & Binkofski, F. (2018). Action and object words are differentially anchored in the sensory motor system- A perspective on cognitive embodiment.(1), 1–11.

Juárez, F. P-G., Labrecque, D., Frak, V. (2019). Assessing language-induced motor activity through event related potentials and the grip force sensor, an exploratory study., DOI: 10.1016/j.bandc.2019.05.010.

Kemmerer, D., & Castillo, J. G. (2010).The two-level theory of verb meaning: An approach to integrating the semantics of action with the mirror neuron system.(1), 54–76.

Keysers, C., & Perrett, D. I. (2004). Demystifying social cognition: A Hebbian perspective.(11), 501–507.

Klepp, A., Weissler, H., Niccolai, V., Terhalle, A., Geisler, H., Schnitzler, A., & Biermann-Ruben, K. (2014). Neuromagnetic hand and foot motor sources recruited during action verb processing.(1), 41–52.

Law, S. P., Yeung, O., Wong, W., & Chiu, K. M. Y. (2005). Processing of semantic radicals in writing Chinese characters: Data from a Chinese dysgraphic patient.(7), 885–903.

Li, Y., & Kang, J. S. (1993). Analysis of phonetics of the ideophonetic characters in modern Chinese. In: Y. Chen (eds.),(pp.84–98). Shanghai: Shanghai Education Press.

[李燕, 康家深. (1993).. 上海：上海教育出版社. ]

Lin, N., Lu, X. M., Fang, F., Han, Z. Z., & Bi, Y. C. (2011). Is the semantic category effect in the lateral temporal cortex due to motion property differences?(4), 1853–1864.

Liu, C., Tardif, T., Mai, X. Q., Gehring, W. J., Simms, N., & Luo, Y. J. (2010). What’s in a name? Brain activity reveals categorization processes differ across languages.(11), 1786–1801.

Lu, Z. Y., Gao, Z. H., Duan, X. L., & Liu, X. H. (2007). Views of embodied language comprehension.(2), 275?281.

[魯忠義, 高志華, 段曉莉, 劉學華. (2007). 語言理解的體驗觀.(2), 275–281.]

Martin, A. (2007). The representation of object concepts in the brain., 25–45.

Meteyard, L., & Vigliocco, G. (2009). Verbs in space: Axis and direction of motion norms for 299 English verbs.(2), 565–574.

Pulvermüller, F., H?rle, M., & Hummel, F. (2001). Walking or talking?: Behavioral and neurophysiological correlates of action verb processing.(2), 143–168.

Qu, F. B., Yin, R., Zhong, Y., & Ye, H. S. (2012). Motor perception in language comprehension: Perspective from embodied cognition.(6), 834–842.

[曲方炳, 殷融, 鐘元, 葉浩生. (2012). 語言理解中的動作知覺：基于具身認知的視角.(6), 834–842.]

Richardson, D. C., Spivey, M. J., Barsalou, L. W., & Mcrae, K. (2003). Spatial representations activated during real–time comprehension of verbs.(5), 767–780.

Richardson, D. C., Spivey, M. J., Edelman, S., Naples, A. J. (2001). “Language is spatial”: Experimental evidence for image schemas of concrete and abstract verbs.(pp. 845–850).Erlbaum [poster presentation], Mahwah.

Rodriguez, A. D., Mccabe, M. L., Nocera, J. R., & Reilly, J. (2012). Concurrent word generation and motor performance: Further evidence for language–motor interaction.(5): e37094.

She, X. J., & Zhang, B. Y. (1997). The effects of semantic and phonetic clues in puctophonetic character mental lexicon.(2), 142–145.

[佘賢君, 張必隱. (1997). 形聲字心理詞典中義符和音符線索的作用.(2), 142–145.]

Stanfield, R. A., & Zwaan, R. A. (2001). The effect of implied orientation derived from verbal context on picture recognition.(2), 153–156．

Strozyk, J. V., Dudschig, C., & Kaup, B. (2017). Do I need to have my hands free to understand hand-related language? Investigating the functional relevance of experiential simulations.(3), 406–418.

Su, D. Q., Zhong, Y., Zeng, H., & Ye, H. S. (2013). Embodied semantic processing of Chinese action idioms： Evidence from fMRI study.(11), 1187?1199.

[蘇得權, 鐘元, 曾紅, 葉浩生. (2013). 漢語動作成語語義理解激活腦區及其具身效應：來自fMRI的證據.(11), 1187 ? 1199.]

Tao, Y., Wang, X. X., Ma, X., & Liu, Y. (2017). How semantic radical support inductive reasoning—evidence from ERP study.(2), 117–124.

[陶云, 王曉曦, 馬諧, 劉艷. (2017). 義符促進類別歸納推理的ERP證據.,(2), 117–124.]

Wang, J. Y., Ye, H. S., & Su, D, Q. (2018). The correlativity of action and sematic processing: Perspect of embodied metaphor.(1), 15–19.

[王繼瑛, 葉浩生, 蘇得權. (2018). 身體動作與語義加工：具身隱喻的視角.(1), 15–19.]

Wang, X. S., Pei. M., Wu. Y., & Su, Y. J. (2017). Semantic radicals contribute more than phonetic radicals to the recognition of Chinese phonograms: Behavioral and ERP evidence in a factorial study.DOI: 10.3389/fpsyg.2017.02230.

Wang, X. X., Ma, X., Tao, Y., Tao, Y. C., & Li, H. (2018). How semantic radicals in Chinese characters facilitate hierarchical category–based induction.(1), 1–10.

Williams, C. (2013). Emerging development of semantic and phonological routes to character decoding in Chinese as a foreign language learners.(2), 293–315.

Williams, C., & Bever, T. (2010). Chinese character decoding: A semantic bias?(5)589–605.

Winkielman, P., Niedenthal, P., Wielgosz, J., Eelen, J., & Kavanagh, L. C. (2015). Embodiment of cognition and emotion., (4), 151–175.

Wu, H., Mai, X., Tang, H., Ge, Y., Luo, Y. J., & Liu, C. (2013). Dissociable somatotopic representations of Chinese action verbs in the motor and premotor cortex.(1), 1–12.

Wu, H. Y., Tang, H. H., Ge, Y., Yang, S. Y., Mai, X. Q., Luo, Y. J., & Liu, C. (2017). Object words modulate the activity of the mirror neuron system during action imitation.(11), 1–13.

Wu, L. M., Mo, L., & Wang, R. M. (2007). Dynamic mental simulation during comprehension of motion descriptions.(4), 605–612.

[伍麗梅, 莫雷, 王瑞明. (2007). 有關運動的語言理解的知覺模擬.(4), 605–612.]

Yang, J., & Shu, H. (2011). Embodied representation of tool-use action verbs and hand action verbs: Evidence from a tone judgment task.(3), 112–115.

Yang, T. F. (2016). Image schemas in verb-particle constructions: Evidence from a behavioral experiment.(2), 379–393.

Ye, H. S., & Zeng, H. (2013). Mirror neuron, embodied simulation and mind-reading.(4), 97–104.

[葉浩生, 曾紅. (2013). 鏡像神經元、具身模擬與心智閱讀.(4), 97–104.]

Zhang, D. X., & Dong, H. (2017). The directional semantic features of Chinese body verbs and their derived sememes.,(5), 63–66.

[張道新, 董宏. (2017). 漢語肢體動詞的方向語義特征及其衍生義位.(5), 63–66.]

Zhang, J. J., & Chen, X. K. (2005). The role of Chinese characters ‘yifu’ in cognition of Chinese action verbs meaning.(4), 434–441.

[張積家, 陳新葵. (2005). 漢字義符在漢語動作動詞意義認知中的作用.,(4), 434–441.]

Zhang, J. J., Fang, Y. H., & Chen, X. K. (2006). The role of semantic radicals of Chinese characters in grammatical categorization of Chinese visual words.(2), 159–169.

[張積家, 方燕紅, 陳新葵. (2006). 義符在中文名詞和動詞分類中的作用.(2), 159–169.]

Zhang, J. J., & Peng, D. L. (1993). Experimental study on the retrieval of feature meaning of Chinese words.(2)140–147.

[張積家, 彭聃齡. (1993). 漢字特征語義提取的實驗研究.,(2), 140–147.]

Zhang, J. J., Peng, D. L., & Zhang, H. C. (1991). The recovery of meaning of Chinese characters in the classifying process (Ⅱ).(2)139–144.

[張積家, 彭聃齡, 張厚粲. (1991). 分類過程中漢字的語義提取(Ⅱ).(2), 139–144.]

Zhang, J. J., Wang, J., & Chen, X. K. (2014). Semantic radicals’ research in twenty years: Theoretical exploration, experimental evidence and processing model.(3), 381–399.

[張積家, 王娟, 陳新葵. (2014). 義符研究20年：理論探討、實驗證據和加工模型.(3), 381–399.]

Zhang, J. J., Wang, J., & Yin, C. (2014). The role of phonetic radicals and semantic radicals in phonetics and semantics extraction of phonogram characters: An eye movement study on components perception.(7), 885?900.

[張積家, 王娟, 印叢. (2014). 聲符和義符在形聲字語音、語義提取中的作用——來自部件知覺眼動研究的證據.(7), 885?900.]

Zhang, J. J., Zhang, H. C., & Peng, D. L. (1990). The recovery of Chinese characters in claasifying process (Ⅰ).(4), 397–405.

[張積家, 張厚粲, 彭聃齡. (1990). 分類過程中漢字的語義提取(Ⅰ).(4), 397–405.]

Zhang, J. J. & Zhang Y. Z. (2016). The time course of semantic radical’s semantic and syntax activation under radical priming paradigm.(9), 1070–1081.

[張積家, 章玉祉. (2016). 義符啟動范式下義符的語義和語法激活的時間進程.(9), 1070–1081.]

Zhang, Y. Z., & Zhang, J. J. (2017). The effects of neighborhood size and category consistency of the semantic radical on semantic radical’s semantic activation under radical priming paradigm.(8), 1041–1052.

[章玉祉, 張積家. (2017). 義符啟動范式下家族大小和類別一致性對義符語義激活的影響.(8), 1041–1052.]

Zhou, L., Peng, G., Zheng, H. Y., Su, I. F., & Wang, W. S. Y. (2013). Sub-lexical phonological and semantic processing of semantic radicals: A primed naming study.(6), 967–989.

Zhu, H. K. (2018).(Unpublished master’s thesis). Hebei University, Baoding.

[朱鴻凱. (2018).(碩士學位論文). 河北大學, 保定.]

Zwaan, R. A. (1999). Embodied cognition, perceptual symbols, and situation models.(1), 81–88.

Zwaan, R. A. (2004). The immersed experiencer: Toward an embodied theory of language comprehension.(1), 35–62.

Zwaan, R. A. (2014). Embodiment and language comprehension: Reframing the discussion.(5), 229–234.

Zwaan, R. A., & Madden. C. J. (2005).. New York: Cambridge University Press.

Zwaan, R. A., & Yaxley, R. H. (2004). Lateralization of object-shape information in semantic processing.(2), B35–B43.

Effects of embodied simulation on understanding Chinese body action verbs

WANG Bin1; LI Zhirui2; WU Limei3; ZHANG Jijia1

(1Department of Psychology, Renmin University of China; The State Ethnic Affairs Commission Key Research Center for Language, Cultural, and Psychology; Key Research Center for National Psychology and Education, the National Education Development Center of the Ministry of Education, Beijing 100872, China) (2Mental Health Education and Counseling Center, Huaiyin Normal University, Huaian 223300, China) (3College of Chinese Language and Culture, Jinan University, Guangzhou 510610, China)

Recent approaches on embodied cognition and theories of semantic and conceptual “grounding” have emphasized the role of perceptual and motor skills in language comprehension and action understanding. Evidence on the role of sensorimotor information in language processing has been obtained from behavioral and neuroimaging studies. These findings have been taken as a support for the claim that language is understood through sensorimotor simulations of actions and events being described. The theory on Perceptual Symbol Systems holds that the sensorimotor system participates in the language comprehension process, which is an empirical simulation of a situation through a series of complex language cues. Chinese characters may show different characteristics from English words because semantic radicals are linked with the meaning of these characters. These semantic radicals may affect the embodied effect of Chinese characters.

In the study, authors used single-character body action verbs in Chinese as experimental materials. Body action verbs are words that use body parts to perform mechanical movements. The directional semantic feature of body action verbs reflects the direction of physical space and can be perceived. Experiment 1 investigated the influence of semantic direction on the spatial judgment of an arrow direction in the motion channel under whole word priming. The repeated measurement design of 2 (Chinese character embodied direction: up/down) × 2 (arrow direction: up/down) was adopted. Thirty-five participants volunteered in this study. Experiment 2 investigated the influence of semantic orientation on the spatial judgment of letter orientation in visual channels under whole word initiation. The repeated measurement design of 2 (Chinese character direction: up/down) × 2 (letter position: up/down) design was used. Thirty-eight participants took part in this experiment.Experiment 3 investigated the embodied simulation of the semantic radical and whole character under the radical priming paradigm. Chinese body action verbs formed by semantic radicals “扌” and “?” were used as experimental materials. A within–subject designof 2 (priming type: semantic radical’s priming/control priming) × 3 (character type: consistent/inconsistent) × 3 (SOA: 43 ms/72 ms/243 ms)was used.Before the behavioral experiment, the participants were asked to hold their hands up for one minute to reinforce the bodybuilding experience of having their hands above and their feet below. Character type shows the direction and orientation between the character and its semantic radical. Consistent character type means that the character and its semantic radical have a similar direction and orientation.For example, the semantic radical “?” means “foot, ” which is below the body. Thus, “蹲” is a consistent character, whereas “跳” is an inconsistent character.

Results suggest the following: (1) When Chinese characters are in a downward semantic direction, the downward arrow is judged faster than the upward arrow. When characters are in an upward semantic direction, the direction of the arrow has a null effect. (2) Chinese characters with upward semantic movement can be used to recognize upper letters more quickly and characters with downward semantic movement can be used to recognize lower letters more quickly. (3) In the middle and late stages of Chinese character processing, the response of consistent and inconsistent Chinese characters is significantly different, indicating that the semantic radical is activated from the middle stage of the Chinese character processing until the late stage.

The present findings demonstrate the following: (1) An action–character compatibility effect is present in Chinese body movement verbs in the movement and visual channels. Understanding Chinese body movement verbs is a cross-channel embodied simulation process. (2) The semantic radical activation of the phonogram starts from the middle stage to the late stage of Chinese body action verb processing. A semantic understanding of Chinese body action verbs has an embodied simulation at the whole character and component (semantic radical) levels.

Chinese body action verbs; semantic radical; the whole character; embodied simulation

2019-03-27

* 國家民委民族研究重點項目“少數民族學生雙語學習認知規律研究” (項目編號：2017-GMA-004)資助。

注：張積家為共同第一作者。

張積家, E-mail: Zhangjj1955@163.com

B842

10.3724/SP.J.1041.2019.01291