道德概念的空間形象性：語言因素和具身因素的共同作用*

王漢林 蔣澤亮 馮曉慧 魯忠義

道德概念的空間形象性：語言因素和具身因素的共同作用

王漢林 蔣澤亮 馮曉慧 魯忠義

(河北師范大學教育學院, 石家莊 050024)

采用事件相關電位(ERP)技術探討抽象道德概念的空間形象性效應, 以及語言因素和具身因素對該效應的影響機制及其加工進程。實驗1檢驗詞對空間位置對道德詞對語義判斷(反義程度)所產生的影響, 結果表明不符合空間形象性呈現條件(即道德?下, 不道德?上)誘發了較大的N400, 并且詞對語義判斷的反應時較長; 實驗2檢驗詞對語義的反義程度對道德詞對空間形象性判斷所產生的影響, 結果表明語義無關詞對誘發了較大的N200和N700, 并且詞對空間形象性判斷的反應時較長。研究結果表明, 抽象道德概念的加工能夠表現出空間形象性效應, 該效應由語言因素和具身因素共同塑造, 前者在概念加工過程中優先被激活并發揮持久影響, 后者僅在概念加工的中期發揮作用。

道德概念; 空間形象性; 具身認知; 語言符號; 垂直空間隱喻

1 引言

第二代認知科學認為, 人們對知識概念的建構來源于身體與環境的互動, 因此, 在理解和表征概念的過程中, 人們總會利用那些與概念存在知覺聯系的環境信息, 而這其中, 最常用到的便是空間信息。目前已有許多研究表明空間信息對概念的加工過程產生了重要的影響。例如Zwaan和Yaxley (2003)的研究發現, 當被試對一些描述具體概念的詞對進行語義相關性的判斷時, 詞對呈現的空間位置會顯著影響被試的判斷：當詞對以垂直空間方位呈現時, 被試對與現實空間位置相一致的詞對(如“天空”呈現在上, “大地”呈現在下)的判斷速度要顯著快于不一致呈現條件(如“大地”在上, “天空”在下); 而當詞對以水平空間方位呈現時, 這種空間位置的影響就會消失。這種現象就是具體概念的“空間形象性”效應(spatial iconicity)。

圍繞空間形象性效應, 不同的理論從不同的角度做出了自己的解釋。具身認知觀認為, 這種效應反映了一種自動化的知覺模擬過程。根據該理論, 對信息意義的建構與理解依賴于對信息的知覺模擬, 因而在被試加工具體概念詞對時, 會自動地激活并模擬這些概念在現實中的空間位置, 即具身信息(或稱“知覺符號”)。若詞對呈現的空間位置與現實經驗相反, 與被試的知覺模擬相沖突, 則會導致判斷反應時延長, 表現出空間形象性效應(Estes, Verges, & Barsalou, 2008; Zwaan & Yaxley, 2003)。另一派語言符號觀(Symbolic theory), 也稱命題符號觀或非模態理論則認為, 語言的使用過程形成了詞與詞之間的聯結關系, 從而組成概念網絡(Lund & Burgess, 1996; Markman & Dietrich, 2000)。而詞對的空間形象性效應更可能是由兩類詞在概念網絡中的語言關系導致的, 例如詞序頻率(word-order frequency, 即兩詞在語言使用過程中出現的先后順序的頻率)關系。在人們的語言經驗中, 空間一致詞對的出現順序(例如“天空?大地”)比不一致詞對的出現順序(例如“大地?天空”)更為常見, 這種詞序頻率的差異導致了被試對前者的判斷快于后者, 因此空間形象性效應還可以由語言統計因素解釋, 換句話說, 語言本身編碼了知覺信息(Louwerse, 2008)。

以上觀點分別利用兩種不同的因素(具身或語言因素)對概念的空間形象性效應進行了解釋, 而有研究卻認為, 概念意義的形成并不是由單一因素所決定, 而是涉及多種編碼類型的信息, 有些帶有知覺特征(如具身的, 模態的), 有些帶有非知覺特征(如語言符號的, 非模態的) (Barsalou, Santos, Simmons, & Wilson, 2008; Dove, 2009, 2010)。在此基礎上, 進一步有研究提出符號共存假設(Symbol interdependency hypothesis)來對空間形象性效應進行解釋, 認為在概念詞對的加工過程中, 具身和語言符號的信息都可能被激活, 而二者是否發揮作用則取決于任務要求及實驗材料的特性(Tse, Kurby, Du, 2010; Louwerse & Connell, 2011; Louwerse, 何先友, 鄧玉梅, 趙雪汝, 薛穎, 2017)。例如對于垂直空間呈現的具體詞對, 在語義關系判斷任務中(如判斷兩個詞是否語義相關), 詞匯間的詞序頻率(語言符號信息)會發揮作用; 而在空間形象性判斷任務中(即判斷詞對空間位置是否與現實經驗相一致), 詞對呈現的空間位置(具身信息)則發揮作用(Louwerse & Hutchinson, 2012)。相似地, 對呈現在垂直空間位置的兩個具體概念進行語義關系判斷時, 如果概念以詞匯形式呈現, 則兩詞的詞序頻率對分類正確率和反應時的影響更大, 而如果概念以圖片形式呈現, 則兩張圖片呈現的空間位置對任務的影響更大(Louwerse & Jeuniaux, 2010)。這些研究均表明, 具身因素和語言因素在概念的空間形象性效應中所起的作用, 依實驗任務和材料特點的不同而不同。當實驗任務關注概念的語言特征時, 則語言符號信息對概念的加工發揮了主要作用, 而當任務關注概念的知覺特征時, 則具身信息發揮了主要作用。

從已有的研究看, 關于空間形象性的不同觀點均是根據具體概念的研究而提出來的。一些研究表明, 由于具體概念有現實的對應物提供感知經驗, 因而更易被知覺模擬或形成視覺化意象(Binder, Westbury, Mckiernan, Possing, & Medler, 2005; Holcomb, Kounios, Anderson, & West, 1999; Laszlo &Federmeier, 2011; Wang, Conder, Blitzer, & Shinkareva, 2010), 與其不同的是, 抽象概念在日常生活中并沒有對應的實物做參考, 因而不存在其與空間位置的直接經驗。然而大量研究卻又表明諸如情緒、權力、道德等抽象概念的加工同樣涉及空間(特別是垂直空間)的激活, 而這種激活往往是通過隱喻的映射作用實現的(Meier, Hauser, Robinson, Friesen, & Schjeldahl, 2007; Schubert, 2005; Stefanucci & Storbeck, 2009)。通過隱喻的映射, 作為目標域的抽象概念同作為始源域的空間位置概念之間形成了間接的聯系, 使抽象概念表現出一種具身性, 并可實現知覺模擬(Lakoff & Johnson, 1980, 1999)。由此引出一個問題：如果生活中的直接經驗形成了具體概念之間的空間形象性的表征關系, 那么通過隱喻的間接聯系是否也能使抽象概念之間表現出相似的空間形象性關系？這是本研究關心的第一個問題。

本研究關心的第二個問題是, 具身因素和語言因素是否共同影響了抽象概念的空間形象性？符號共存假設對空間形象性的解釋承認了具身和語言的“共存”性, 是個進步。但是在其作用上, 它卻認為兩種符號的作用是“分離”的, 忽略了它們的“交互”作用。因此本研究提出的問題是：概念加工中, 具身因素和語言因素的作用是分離的還是交互的？具體說來, 對概念間的語義關系的判斷(關注語言符號信息的加工)是否會受到概念具身特征(如概念呈現的空間位置)的影響; 而對概念的空間形象性的判斷(關注具身信息的加工)又是否會受到其語義特征的影響？本研究試圖回答這個以往研究尚無明確解釋的問題。

由第二個問題引申出來的第三個問題是：如果抽象概念的空間形象性是在具身因素和語言因素的共同作用下產生的, 那么在產生過程中, 這兩類因素作用的時間進程是否存在差異？已有研究的結果并不一致, 例如王瑞明、莫雷、李利、王穗蘋和吳俊(2005)的研究認為知覺符號表征是概念表征的一種早期狀態, 而概念表征的最終形式主要是命題符號表征, 因此在概念表征進程中, 具身因素先于語言因素發揮了作用。相似地, Hirschfeld, Zwitserlood和Dobel (2011)的腦磁圖研究結果也表明, 概念表征的早期是對具身因素進行加工, 而晚期則主要是對語言因素加工。而Louwerse和Hutchinson (2012)通過EEG技術及溯源分析發現具體概念詞對的空間形象性效應涉及大腦語言和視知覺區域的激活, 并且在激活時間上前者(97~291 ms)早于后者(1551~1744 ms), 表明語言符號信息的加工要先于具身信息。以上研究雖支持兩種符號在概念加工中的共存, 但對于兩者發揮作用的時間進程卻沒有統一結論, 因此在探討具身因素和語言因素共同作用的基礎上, 本研究試圖進一步分析比較兩者對空間形象性效應影響時程的差異。

簡言之, 本研究旨在探討三個問題：(1)抽象概念的加工是否也會表現出空間形象性效應; (2)具身因素和語言因素是否共同影響了抽象概念的空間形象性; (3)具身因素和語言因素對抽象概念空間形象性的影響時程是否存在差異？為回答上述問題, 本研究選用抽象道德詞匯作為實驗材料, 而道德概念與垂直空間(“上”和“下”)構成道德概念垂直空間隱喻。在此基礎上, 設計兩類道德詞對的加工任務, 即詞對的語義關系判斷任務(涉及語言符號信息的加工)和空間形象性判斷任務(涉及具身信息的加工)。本研究關注具身因素和語言因素是否共同影響了語義關系判斷和空間形象性判斷過程。通過這種方式, 探討一種因素是否影響了另一因素所主導任務的加工過程, 從而檢驗具身因素和語言因素對空間形象性的共同作用。本研究采用一種新的方式對語言因素進行操縱, 即詞對的反義程度。據此設置語義相反(即道德反義詞對)、語義無關(即并不構成反義關系的“道德?不道德”詞對)的道德詞對(具體含義見“實驗材料”部分)。由于語義相反的詞對較語義無關詞對的語義連接更為緊密, 因此作為一種詞與詞之間的語義聯系特性, 反義程度同詞序頻率類似, 同樣可以表示語言因素。

本研究采用ERP技術考察具身因素和語言因素對抽象概念加工的影響時程。重點關注語義關系判斷和空間形象性判斷任務中道德詞對所誘發的N200、N400以及N700三個成分。N200成分與沖突識別相關(Folstein & van Petten, 2008; Patel & Azzam, 2005), 同時其時間窗與Louwerse和Hutchinson (2012)在空間形象性研究中所發現的語言區域的激活時間相近。N400涉及語義加工的難度, 當出現語義違背現象時將會誘發更大的N400 (Hubbard, Magne, & Langston, 2014; Kutas & Federmeier, 2011)。N700則與想象過程(imagery)相關, 一些研究發現, 當實驗任務或材料涉及更大的想象活動時, 會誘發更大N700 (Gullick, Mitra, & Coch, 2013; Malhi & Buchanan, 2018; West & Holcomb, 2000)。

綜上所述, 本研究利用行為和腦電技術, 通過操縱詞對呈現的空間位置以及詞對之間的語義反義程度, 分別考察具身因素(實驗1)和語言因素(實驗2)對抽象道德概念加工所產生的影響, 進而對抽象概念的空間形象性效應進行檢驗。

2 實驗1：空間位置對道德詞對的語義關系判斷的影響

2.1 實驗目的

實驗1考察道德詞對的空間呈現位置對詞對語義關系判斷的影響, 探討具身因素是否參與了抽象概念的語義加工, 使其表現出空間形象性效應。實驗假設是當詞對呈現位置與道德垂直空間隱喻映射位置相反時(即道德?下, 不道德?上), 被試對詞對的反義關系判斷將受到阻礙, 表現為比一致條件下更長的反應時間, 同時誘發更大的N400成分。

2.2 被試

根據Cohen (2013)的研究, 理想的統計檢驗力和效應量均需高于0.8。使用GPower軟件(http: //www.gpower.hhu.de/)計算統計檢驗力和效應量均為0.8所對應的被試量為15人。在此基礎上參考與本研究相關的腦電研究樣本量(Hubbard et al., 2014; Louwerse & Hutchinson, 2012), 最終確定計劃樣本量為30人(實驗2被試量的確定依據與此相同)。據此選取某高校在校大學生30人進行腦電實驗, 其中4人由于實驗過程中出現過多頭動等問題, 導致偽跡較多, 予以剔除, 最后選取26人的行為及腦電數據進行分析(其中男生7人), 平均年齡23.8歲。

2.3 實驗材料

本研究共用到5類詞對, 分別為按空間形象性位置呈現(道德詞在上, 不道德詞在下)的語義相反道德詞對和語義無關道德詞對, 呈現位置相反(道德詞在下, 不道德詞在上)的語義相反道德詞對和語義無關道德詞對, 以及效價一致的詞對(即積極?積極詞對和消極?消極詞對)。其中前4類用于實驗1, 實驗2使用了全部5類詞對。詞對的制作包括三個步驟：(1)首先由50名大學生評定出若干道德、不道德雙字詞, 所有詞均不包含垂直空間方位的字眼; (2)通過網絡詞庫查詢兩類詞匯(道德詞和不道德詞)的反義詞, 組成語義相反道德詞對, 將部分詞對打亂組合, 形成語義無關道德詞對(例如“忠厚?懶散”); (3)將以上兩種不同反義程度的詞對與效價一致的詞對混合, 再次選取25名大學生對各詞對的反義程度進行1到7點(1代表完全無反義、7代表完全反義)的評分, 最終選取反義評分較高(作為語義相反)和較低(作為語義無關)的道德詞對以及相同效價詞對若干組成實驗材料。

實驗1從以上詞單中選取部分語義相反和語義無關道德詞對, 按與空間形象性相符和沖突的方式組成實驗材料, 其中包括按空間形象性位置呈現的語義相反道德詞對(如廉潔?貪污)50對(反義程度 ± 標準誤：5.25 ± 0.20, 下同), 語義無關道德詞對(如信任?邪惡)50對(2.99 ± 0.21); 與空間形象性相反位置呈現的語義相反道德詞對(如惡毒?善良)50對(5.19 ± 0.18), 語義無關道德詞對(如軟弱?慈愛)50對(2.98 ± 0.22)。在本實驗任務中, 被試需對語義相反詞對做“是”判斷, 對語義無關詞對做“否”判斷, 而材料評定以及正式實驗結果均表明, 語義相反和語義無關道德詞對能被明顯區分。此外參考以往研究, 本實驗主要關注語義相反詞對在符合或不符合空間形象性呈現的兩個條件下的反應時差異, 而做“否”判斷的語義無關詞對在本實驗中僅作為填充材料, 不做進一步分析。

2.4 實驗設計和程序

采用單因素兩水平組內設計, 自變量為語義相反詞對的呈現方式, 分符合與不符合空間形象性呈現兩個水平。實驗程序：被試坐在電腦前, 距屏幕約55 cm, 首先在屏幕中呈現中央注視點及上下兩個文本框組成的圖像, 上下文本框與被試構成的視角約1.5度。預實驗表明, 此視角下被試能在緊盯中央注視點的情況下, 用余光清晰識別上下文本框內的信息。實驗要求被試始終注視中央點的位置。800~1200 ms的隨機時間后, 在上下兩個文本框中出現道德詞對(隨機呈現上述4類實驗材料), 呈現時間為1000 ms。接下來中央注視點處變成“請判斷”字樣, 要求被試此時迅速判斷“詞對是否屬于同類道德概念的相反兩極”, 如果是按“F”鍵, 不是按“J”鍵。被試按鍵判斷后進入下一個試次。

正式實驗前會先讓被試進行若干試次練習(練習材料與正式材料不同), 使被試熟悉實驗流程, 掌握判斷標準, 并能嚴格遵守實驗要求(即始終注視中央點, 用余光識別并判斷上下位置詞), 實驗流程見圖1。

腦電記錄

采用NeuroScan 4.5軟件進行腦電數據收集和分析。使用國際10~20系統擴展的64導電極帽, 將參考電極安置于左側乳突, 離線分析時轉換為雙側乳突平均值作參考。同時記錄水平眼電(HEOG)和垂直眼電(VEOG)。采樣頻率為1000 Hz, 被試頭皮阻抗均小于5 k?, 在線濾波帶通為0.05~100 Hz, 并在離線分析時再次進行30 Hz (24 dB/oct slope)的無相移低通濾波。對數據進行離線分析, 矯正眼電偽跡。ERP分析時程為詞對呈現前200 ms (作為基線)到呈現后1000 ms, 排除錯誤反應分段以及波幅在±75 μV以外的偽跡信號(實驗1和實驗2中分別有16%、12%的分段因此被排除)。通過平均波幅的測量方法測定各實驗條件下的N200成分(時間窗120~200 ms)、N400成分(時間窗300~500 ms)和N700成分(時間窗600~800 ms)。

圖1 實驗1流程圖

對實驗1中做出正確判斷的語義相反詞對所誘發的三個成分進行2(呈現方式：符合/不符合空間形象) × 7(電極區域)因素重復測量方差分析。劃定的7個電極區域分別為：前額區(F5、F3、F1、FZ、F2、F4、F6)、前額?中央區(FC5、FC3、FC1、FCZ、FC2、FC4、FC6)、中央區(C5、C3、C1、CZ、C2、C4、C6)、中央?頂區(CP5、CP3、CP1、CPZ、CP2、CP4、CP6)、頂區(P5、P3、P1、PZ、P2、P4、P6)、頂?枕區(PO5、PO3、POZ、PO4、PO6)、枕區(O1、OZ、O2)。將每個區域內記錄電極的數據進行平均。當球形假設不成立時, 采用Greenhouse-Geisser法校正值。

2.5 實驗結果分析

2.5.1 行為結果

刪除錯誤反應及反應時在±3個標準差以外的極端數據(占總數據的14%), 對語義相反道德詞對在不同空間呈現位置條件下的判斷反應時進行配對樣本檢驗, 結果表明, 當語義相反詞對呈現位置與隱喻相一致時的反應時(677 ± 61 ms, 平均數 ± 標準誤, 下同)顯著快于相沖突的反應時(721 ± 63 ms),(25) = ?2.77,= 0.010, 95% CI [?76.44, ?11.25],= ?0.14。

2.5.2 腦電結果

對語義相反道德詞對所誘發的N200、N400、N700進行2(呈現方式：符合/不符合空間形象) × 7(電極位置)重復測量方差分析。本實驗主要關注呈現方式的主效應, 以及呈現方式和電極位置的交互作用。結果表明, 三個ERP成分上的兩因素交互作用均不顯著。而對于呈現方式的主效應, 僅在N400成分上達到顯著水平,(1, 25) = 5.19,= 0.032, 95% CI [0.04, 0.86], η= 0.17, 與空間形象性相沖突的呈現條件所誘發的N400 (?0.45 ± 0.54 μV)顯著大于相一致的條件所誘發的N400 (0.002 ± 0.47 μV)。實驗1中三個ERP成分的方差分析結果和腦電圖見表1和圖2。

2.6 討論

實驗1通過操縱詞對呈現的空間位置來探討具身因素對抽象道德概念的語義加工所產生的影響。腦電結果表明, 相比一致條件(道德?上、不道德?下), 當詞對呈現位置與其空間形象相沖突時(即道德?下、不道德?上)誘發了更大的N400成分, 而其他ERP成分則沒有顯著差異。這表明被試對道德詞對進行語義判斷的過程中, 會自動地對詞對進行知覺模擬。雖然抽象道德概念不像具體概念那樣可以借助現實對象進行直接模擬, 但其可通過隱喻的作用, 實現由空間位置到語義的映射。因此, 在沖突位置條件下, 詞對的空間知覺模擬與詞對的呈現位置不一致, 表現出一種語義違背現象, 這就加大了被試對詞對進行語義判斷的難度, 誘發了更大的N400成分, 也減慢了詞對的語義判斷速度。

表1 語義相反道德詞對所誘發的三個ERP成分的方差分析

注：n.s.代表> 0.05, 下同

圖2 語義相反道德詞對在兩種呈現方式下所誘發的ERPs。時間窗為：紅色區域N200, 藍色區域N400, 綠色區域N700。

實驗1的結果表明對詞對的語義加工涉及到了詞對的空間知覺模擬, 詞對呈現的空間位置影響了被試進行語義判斷過程中的神經活動和判斷的速度。然而,是否同空間位置影響語義判斷一樣, 語言符號也影響空間位置的形象性判斷呢？實驗2使用與實驗1相似的實驗材料, 只是將實驗任務換為對詞對呈現的空間位置進行空間形象性判斷, 以考察詞對的語言因素對空間形象性判斷所產生的影響。

3 實驗2：語義反義程度對道德詞對的空間形象性判斷的影響

3.1 實驗目的

實驗2考察語義反義程度對道德詞對空間位置判斷的影響, 探討語言因素是否參與了抽象概念空間形象性的表征過程。

實驗假設是：(1)在空間形象性判斷任務中(“判斷詞對呈現的空間位置與心中所想是否一致”), 相較于語義相反詞對, 語義無關詞對的空間形象性判斷更為困難, 表現為后者的判斷反應時延長; (2)語言因素對空間形象性的影響要早于具身因素, 因而在空間形象性判斷過程中, 語義無關詞對比語義相反詞對會誘發更大的N200成分; (3)由于空間形象性判斷任務需要被試想象詞對應處的垂直空間位置, 因而反義程度也將影響被試的空間想象過程, 語義無關詞對的空間想象更難, 因而將誘發更大的N700成分。

3.2 被試

選取某高校在校大學生30人進行腦電實驗, 其中3人由于實驗過程中出現過多頭動等問題, 導致偽跡較多, 予以剔除, 最后選取27人的行為及腦電數據進行分析(其中男生9人), 平均年齡23.7歲。

3.3 實驗材料

實驗2共用到5類詞對, 包括應做“是”反應的兩類詞對：即符合空間形象性呈現的語義相反道德詞對50對(反義程度 ± 標準誤：5.48 ± 0.14, 下同), 語義無關道德詞對50對(2.82 ± 0.19); 應做“否”反應的三類詞對：即不符合空間形象性呈現的語義相反道德詞對15對(5.50 ± 0.16), 語義無關道德詞對15對(2.75 ± 0.19), 效價相同詞對70對(如：歡樂?生動; 2.10 ± 0.18)。此外, 本實驗主要關注當詞對符合空間形象呈現(應做“是”判斷)時, 詞對的語義反義程度對空間形象性判斷所產生的影響, 而不符合空間形象性呈現的詞對(應做“否”判斷)僅作為填充材料, 不做進一步分析。

3.4 實驗設計和程序

同樣采用單因素兩水平組內設計, 自變量為符合空間形象性詞對的語義反義程度, 分語義相反、語義無關兩個水平。實驗程序與實驗1類似, 不同之處在于隨機呈現上述5類實驗材料, 要求被試判斷“詞對呈現的空間位置與心中所想是否一致” (即空間形象性判斷)。

腦電記錄同實驗1。

3.5 實驗結果分析

3.5.1 行為結果

本實驗僅對“是”反應條件進行分析, 即對符合空間形象性呈現的道德詞對(包括語義相反、語義無關詞對)進行分析(ERP結果分析相同)。

刪除錯誤反應及反應時在 ± 3個標準差以外的極端數據(占總數據的12%), 對符合空間形象性位置呈現的道德語義相反詞對和語義無關詞對進行配對樣本檢驗, 結果表明, 詞對的反義程度對空間形象性的判斷影響顯著,(26) = ?4.06,< 0.001, 95% CI [?131.01, ?42.87],= ?0.35。語義相反詞對的判斷速度(555 ± 44 ms)顯著快于語義無關詞對的判斷速度(638 ± 56 ms)。

3.5.2 腦電結果

分別對符合空間形象性呈現的詞對所誘發的N200、N400、N700進行2(反義程度) × 7(電極位置)重復測量方差分析。本實驗主要關注反義程度的主效應, 以及反義程度和電極位置的交互作用。結果表明, 三個ERP成分上的兩因素交互作用均不顯著。此外, 在N200成分上, 反義程度的主效應顯著：(1, 26) = 5.96,= 0.022, 95% CI [0.10, 1.11], η= 0.19, 語義無關詞對所誘發的N200(0.83 ± 0.36 μV)顯著大于語義相反詞對(1.44 ± 0.34 μV); 在N700成分上, 反義程度的主效應顯著：(1, 26) = 11.53,= 0.002, 95% CI [0.42, 1.71], η= 0.31, 語義無關詞對所誘發的N700 (0.06 ± 0.44 μV)顯著大于語義相反詞對(1.13 ± 0.41 μV)。

實驗2中三個ERP成分的方差分析結果和腦電圖見表2和圖3。

3.6 討論

實驗2要求被試判斷詞對呈現的空間位置是否與心中所想相一致, 對于沒有實物參考的道德概念, 被試需要借助道德垂直空間隱喻, 想象概念所映射的空間位置。而實驗結果表明這一過程受到了詞對語義關系的影響。首先腦電結果表明, 語義無關道德詞對比語義相反詞對在進行空間形象性判斷時誘發了更大的N200和N700, 表明這種語言符號的影響主要反映在早期的沖突識別以及晚期的空間想象階段。比起語義相反詞對來, 語義無關詞對在語義層面上可看作一種非對立的語義關系, 語義的非對立與空間呈現位置的對立形成了一種不匹配狀態, 從而產生了沖突效應并誘發更大的N200。進一步說, 非對立的語義關系阻礙了被試利用隱喻的映射作用, 限制了對詞對的空間想象, 所以誘發了更大的N700。而語義的非對立所造成的空間想象的障礙進一步導致被試對語義無關詞對空間形象性判斷的困難, 使判斷的反應時顯著慢于語義相反詞對。

表2 與空間形象性相一致的位置條件下詞對所誘發的三個ERP成分的方差分析

圖3 符合空間形象性呈現條件下, 語義相反、語義無關詞對所誘發的ERPs。時間窗為：紅色區域N200, 藍色區域N400, 綠色區域N700。

簡言之, 道德概念的空間形象性加工會受到概念間語義關系的影響, 說明語言因素在道德概念的加工過程中同樣會發揮作用, 只不過其影響時程和機制與具身因素(實驗1)有所不同。

4 綜合討論

本研究通過語義判斷和空間形象性判斷任務考察了具身因素和語言因素在道德詞對加工過程中所發揮的作用。研究結果發現詞對空間位置影響了詞對的語義關系判斷, 誘發了N400效應(實驗1), 而詞對的語義關系也影響了詞對空間位置的判斷, 誘發了N200和N700效應(實驗2)。下面對這些研究結果進行詳細討論。

4.1 抽象道德概念的空間形象性效應

空間形象性效應的探討開始于具體概念, 以往的研究發現當加工諸如“天花板?地板”的詞對時, 人們會自動地聯想到這些具體概念所指代的實物, 繼而通過知覺模擬激活與實物相關的感知運動信息, 使詞對的加工表現出空間形象性效應。根據這一觀點, 伴隨概念的加工所激活的感知運動經驗(特別是空間方位經驗)是空間形象性產生的必要條件, 而具體概念更容易通過與實物的聯系, 從生活經驗中獲得豐富的多模態信息, 因此其表現出的空間形象性效應尤為突出。本研究發現, 抽象概念的加工過程同樣能夠表現出空間形象性效應。實驗1采用了與具體概念空間形象性研究相似的任務, 結果發現當被試加工諸如“廉潔?貪污”一類的道德詞對時, 詞對呈現的空間位置同樣影響了詞對的語義判斷。雖然抽象概念缺乏清晰的知覺參照物, 與感知運動經驗也更為分離(Borghi et al., 2017), 但抽象概念的加工過程仍會涉及空間方位等多模態信息的參與。伴隨抽象道德詞對的加工, 在道德垂直空間隱喻的作用下, 這些詞對所隱含的空間維度屬性相應地被激活。當詞對的空間位置與這些由隱喻映射而來的屬性相沖突時,便構成一種類似語義違背的現象, 阻礙了被試對詞對語義關系的深入分析, 從而誘發了更大的N400, 也影響了判斷的反應時。因此, 雖然抽象道德概念無法像具體概念那樣激活直接的空間形象, 但借助隱喻的映射, 其仍然能夠進行空間知覺模擬, 表現出空間形象性效應。

4.2 語言因素和具身因素的共存與交互

空間形象性效應最初被看作是概念加工過程中具身因素作用的產物, 而隨后有研究認為, 人們的語言是在知覺經驗的作用下逐漸形成的, 語言的規則必然能夠反映出知覺的特性, 因此空間形象性效應完全可以通過語言因素(例如“詞序頻率”)獨立進行解釋。究竟概念的加工僅是一種語言符號的操作過程還是亦包含有形象的具身知覺特征？兩種因素在概念空間形象性的形成過程中究竟起到什么作用？雖然不同的研究有不同的解釋, 但必須承認的是, 割裂地看待具身因素和語言因素都不足以全面的解釋概念的加工過程。越來越多的實證研究表明概念的加工過程不僅涉及概念所包含的語義信息, 也涉及概念所隱含的時間、空間等多模態信息(宋宜琪, 張積家, 2014; 汪新筱, 江珊, 張積家, 2018)。因此更為綜合的觀點越來越受到認同, 例如概念雙加工理論和語言與情景模擬理論。這些理論均認為, 概念加工涉及語言與身體經驗, 前者可以實現對概念的迅速加工, 但加工深度較淺, 當概念加工任務較為復雜時, 后者便會參與其中, 以便實現對概念的相對深刻完整的理解(Malhi & Buchanan, 2018)。此外, 針對空間形象性研究而提出的符號共存假設亦對概念加工中的兩種符號因素進行了解釋, 認為具身符號和語言符號在概念加工過程中共同存在, 只不過二者的效應大小取決于正在執行的認知任務：當任務關注概念的具身特性時(如空間形象性判斷)則強調具身因素的作用; 當任務關注概念的語言特性時(如語義相關性判斷)則強調語言符號的作用。而本研究進一步發現, 兩種符號的作用發揮與否, 并非以實驗任務為轉移。雖然不同的概念加工任務主要指向其中一類符號因素, 但另一類符號因素也會對當前加工任務產生影響。語義關系判斷任務(實驗1)關注詞對的反義關系, 此時語言信息為主要的加工對象, 但具身信息通過空間隱喻的映射也被激活, 并參與進了加工過程。空間形象性判斷任務(實驗2)關注詞對空間位置的合理性, 此時具身信息成為了主要加工對象, 但詞對的反義關系對該任務也產生了影響, 說明語言因素在對詞對的知覺模擬中亦發揮了重要的作用。相反的語義關系更易使詞對形成對立的空間形象, 而非反義的語義關系則阻礙了空間對立感的形成。我們的兩個實驗結果進一步豐富了符號共存假設, 說明概念的理解與表征依賴于具身因素和語言因素的共同作用, 無論進行哪種概念加工任務, 兩種因素共同塑造了概念的空間形象性效應。

4.3 抽象概念加工中語言因素和具身因素作用的時間進程

實驗1發現道德概念的加工過程激活了概念的空間信息(具身因素), 使其表現出空間形象性效應, 實驗2則發現空間形象性的形成會涉及概念間語義關系(語言因素)的激活。雖然具身因素和語言因素均在道德概念加工過程中發揮了作用, 但兩因素發揮作用的時間進程有所不同。實驗1發現, 不符合空間形象性呈現的道德詞對誘發了更大的N400成分。這一結果提示具身因素對空間形象的作用大概發生在詞匯加工的中期, 約400 ms左右, 這與Hubbard等人(2014)的研究相一致。實驗2發現, 詞對的語義反義程度首先調節了詞對所誘發的N200成分, 對比實驗1中詞對空間位置所誘發的N400效應, 這一結果提示在空間形象性的形成過程中, 語言因素比具身因素優先得到了加工, 這與Louwerse和Hutchinson (2012)的研究相一致。此外, 語義反義程度還調節了N700成分。這一成分的出現提示, 語言因素的影響一直持續到空間形象加工的晚期階段, 比具身因素的影響更為持久。據此可以認為, 抽象概念的加工首先涉及對概念的語義及概念間語義關系的理解, 在對概念的語言因素進行一定程度的加工之后, 抽象概念的知覺特性(具身因素)才會借助隱喻而被激活, 進而對概念表征產生影響, 而概念的語言因素則持續對概念加工發揮著作用。符號共存觀點認為, 與具身過程相比, 語言過程提供了較淺的表征, 因而語言符號的激活先于具身因素。而本研究結果發現, 除激活時間不同外, 語言和具身因素對抽象概念表征的影響在時間進程上也有區別, 即人們需要持續利用概念的語言符號信息對概念進行加工, 而概念的具身信息可能主要在理解加工的中期發揮輔助性的作用, 其作用并不占主導地位, 因此不應將其夸大。

實驗2的結果還提示一個有趣的現象, 即抽象概念的垂直空間隱喻并非一種籠統的效價極性與空間信息的聯結(如正極?上, 負極?下), 隱喻效應出現與否取決于概念間的語義是否對立。Lakens (2012)用始源域和目標域概念的極性及其重疊來解釋隱喻一致效應。按照此觀點, 對隱喻的加工應完全以概念間的極性關系為線索, 而本研究結果顯示, 概念間極性的對立并不足以驅動隱喻發揮作用。在借助隱喻進行概念加工的過程中, 概念間語義的對立關系才是隱喻效應出現與否的關鍵。由于實驗2的判斷任務為只要滿足“道德概念在上和不道德概念在下”就做“是”反應。被試可以僅對詞對做道德/不道德的劃分, 或做更為籠統的正/負極性劃分即可進行判斷。然而實驗結果表明語義無關詞對并沒有用到這一“捷徑”, 即便詞對的極性是對立的, 但語義的非對立關系仍然影響了空間形象性辨別。原因可能在于, 對于語義無關詞對, 被試無法利用某一雙極隱喻(如“道德?上和不道德?下”)對其進行整體的知覺模擬, 而是需要分別對其中的每個詞進行單極的映射(如“道德?上”), 進而確定其空間位置的合理性。反之, 語義相反道德詞對則可直接借助雙極隱喻進行空間映射。因此語義無關詞對較之語義相反詞對的空間想象難度更大。這一結果也為隱喻的特性提供了啟示, 諸如情緒、權力等抽象概念的垂直空間隱喻也許都有其精確的語義含義, 甚至同一范疇內(如情緒)的不同子概念也有各自對應的空間隱喻, 隱喻的運用需要基于概念的語義信息, 而并非籠統的以極性或效價為標準。

5 結論

(1) 抽象道德概念通過隱喻映射同樣可以表現出和具體概念類似的空間形象性效應。

(2) 道德詞對的空間位置能夠影響詞對語義關系的判斷; 同樣地, 詞對的語義關系也會對詞對空間位置的加工造成影響。具身因素和語言因素共同塑造了道德概念的空間形象性。

(3) 在道德概念的加工過程中, 語言符號首先得到激活, 并發揮了持久的作用; 而具身因素僅在加工過程的中期發揮了作用。

Barsalou, L. W., Santos, A., Simmons, W. K., & Wilson, C. D. (2008). Language and simulation in conceptualprocessing. In M. de Vega, A. M. Glenberg, & A. C. Graesser (Eds.),(pp. 245?283). Oxford, England: Oxford University Press.

Binder, J. R., Westbury, C. F., Mckiernan, K. A., Possing, E. T., & Medler, D. A. (2005). Distinct brain systems for processing concrete and abstract concepts.(6), 905?917.

Borghi, A. M., Binkofski, F., Castelfranchi, C., Cimatti, F., Scorolli, C., & Tummolini, L. (2017). The challenge of abstract concepts.(3), 263?292.

Cohen, J. (2013).Routledge.

Dove, G. (2009). Beyond perceptual symbols: A call for representational pluralism.(3), 412?431.

Dove, G. (2010). On the need for embodied and dis-embodied cognition.(6), 242.

Estes, Z., Verges, M., & Barsalou, L. W. (2008). Head up, foot down: Object words orient attention to the objects' typical location.(2), 93?97.

Folstein, J. R., & van Petten, C. (2008). Influence of cognitive control and mismatch on the N2 component of the ERP: A review.(1), 152?170.

Gullick, M. M., Mitra, P., & Coch, D. (2013). Imagining the truth and the moon: An electrophysiological study of abstract and concrete word processing.(5), 431?440.

Hirschfeld, G., Zwitserlood, P., & Dobel, C. (2011). Effects of language comprehension on visual processing – MEG dissociates early perceptual and late N400 effects.(2), 91?96.

Holcomb, P. J., Kounios, J., Anderson, J. E., & West, W. C. (1999). Dual-coding, context-availability, and concreteness effects in sentence comprehension: An electrophysiological investigation.(3), 721?742.

Hubbard, T. M., Magne, C., & Langston, W. (2014). Spatial configuration of vertically related word pairs modulates the N400 component.(18), 1424?1428.

Kutas, M., & Federmeier, K. D. (2011). Thirty years and counting: Finding meaning in the N400 component of the event-related brain potential (ERP)., 621?647.

Lakens, D. (2012). Polarity correspondence in metaphor congruency effects: Structural overlap predicts categorization times for bipolar concepts presented in vertical space.(3), 726?736.

Lakoff, G., & Johnson, M. (1980).Chicago: University of Chicago Press.

Lakoff, G., & Johnson, M. (1999).New York: Basic Books.

Laszlo, S., & Federmeier, K. D. (2011). The N400 as a snapshot of interactive processing: Evidence from regression analyses of orthographic neighbor and lexical associate effects.(2), 176?186.

Louwerse, M. M. (2008). Embodied relations are encoded in language.(4), 838?844.

Louwerse, M. M., & Connell, L. (2011). A taste of words: Linguistic context and perceptual simulation predict the modality of words.(2), 381?398.

Louwerse, M. M., & Hutchinson, S. (2012). Neurological evidence linguistic processes precede perceptual simulation in conceptual processing., 385.

Louwerse, M. M., & Jeuniaux, P. (2010). The linguistic and embodied nature of conceptual processing.(1), 96?104.

Louwerse, M. M., He, X. Y., Deng, Y. M., Zhao, X. R., & Xue, Y. (2017). Symbol interdependency in language processing: Interactions between language statistics and perceptual simulation., (2), 51?60.

[Louwerse, M. M., 何先友, 鄧玉梅, 趙雪汝, 薛穎. (2017). 語言加工中的符號相互依存: 語言統計和知覺模擬的交互作用.(2), 51?60.]

Lund, K., & Burgess, C. (1996). Producing high-dimensional semantic spaces from lexical co-occurrence.(2), 203?208.

Malhi, S. K., & Buchanan, L. (2018). A test of the symbol interdependency hypothesis with both concrete and abstract stimuli.(3), e0192719.

Markman, A. B., & Dietrich, E. (2000). Extending the classical view of representation.(12), 470?475.

Meier, B. P., Hauser, D. J., Robinson, M. D., Friesen, C. K., & Schjeldahl, K. (2007). What's "up" with God? Vertical space as a representation of the divine.(5), 699?710.

Patel, S. H., & Azzam, P. N. (2005). Characterization of N200 and P300: Selected studies of the event-related potential.(4), 147?154.

Schubert, T. W. (2005). Your highness: Vertical positions as perceptual symbols of power.(1), 1?21.

Song, Y. Q, & Zhang, J. J. (2014). Temporal-spatial metaphor in conceptual representation: Can spatial information be activated when processing the temporal reference which implied in the changing shape of objects?(2), 216?226.

[宋宜琪, 張積家. (2014). 空間隱喻和形狀變化對物體內隱時間概念加工的影響.(2), 216?226.]

Stefanucci, J. K., & Storbeck, J. (2009). Don't look down: Emotional arousal elevates height perception.(1), 131?145.

Tse, C. S., Kurby, C. A. & Du, F. (2010). Perceptual simulations and linguistic representations have differential effects on speeded relatedness judgements and recognition memory.(5), 928?941.

Wang, J., Conder, J. A., Blitzer, D. N., & Shinkareva, S. V. (2010). Neural representation of abstract and concrete concepts: A meta-analysis of neuroimaging studies.(10), 1459?1468.

Wang, R. M, Mo, L., Li, L., Wang, S. P., & Wu, J. (2005). Perceptual symbol representation and propositional symbol representation in language comprehension.(2), 143–150.

[王瑞明, 莫雷, 李利, 王穗蘋, 吳俊. (2005). 言語理解中的知覺符號表征與命題符號表征.(2), 143?150.]

Wang, X. X., Jiang, S., & Zhang, J. J. (2018). Effect of the spatial linguistic symbol on the container metaphor of seniority rules.(09), 953?964.

[汪新筱, 江珊, 張積家. (2018). 空間語言標記影響親屬關系的容器隱喻.(09), 953?964.]

West, W. C., & Holcomb, P. J. (2000). Imaginal, semantic, and surface-level processing of concrete and abstract words: An electrophysiological investigation.(6), 1024?1037.

Zwaan, R. A., & Yaxley, R. H. (2003). Spatial iconicity affects semantic relatedness judgments.(4), 954?958.

Spatial iconicity of moral concepts: Co-dependence of linguistic and embodied symbols

WANG Hanlin; JIANG Zeliang; FENG Xiaohui; LU Zhongyi

(College of Education, Hebei Normal University, Shijiazhuang 050024, China)

Spatial iconicityis described as the perceptual characteristic of a concrete concept. This idea demonstrates that word pairs are processed faster when their positions match certain references in the physical world (e.g. ‘heaven’ is presented above ‘ground’). Embodied cognition theory explains that spatial iconicity involves processing concrete words to activate their embodied symbols automatically (e.g. spatial and colour symbols). This process then simulates the perceptual characteristics of the words’ physical reference. Symbolic theory proposes that spatial iconicity can also be interpreted by linguistic factors (e.g. word order frequency). Word order frequency is higher in the iconic order than in the reverse-iconic order, which facilitates the processing of word pairs. Symbol interdependency hypothesis integrates the two explanations above, claiming that the embodied and linguistic symbols are involved in shaping spatial iconicity. Furthermore, the respective contributions of these symbols depend on the type of stimuli or task. Despite these claims, the mechanism of spatial iconicity remains controversial. Moreover, whether abstract concepts have a similar spatial iconic effect is still unknown.

In Experiment 1, a semantic relationship judgment task was conducted to investigate the effect of embodied symbols on the processing of moral word pairs. Twenty-six participants were chosen randomly to discriminate the antonymous relationship of the moral word pairs in an iconic (e.g. moral-up & immoral-down) or reverse-iconic (e.g. moral-down & immoral-up) arrangement. In Experiment 2, a spatial iconicity judgment task was conducted to investigate the effect of linguistic symbols on the processing of moral word pairs. Twenty-seven participants were chosen to distinguish the iconicity of the moral word pairs, which may belong to an antonym or not. The EEG signals and the reaction times during both experiments were recorded.

The results showed that when Chinese moral antonyms were arranged against their spatial iconicity (e.g. moral-down & immoral-up), the processing of the antonymous relationship induced a larger N400 than the arrangement that was coherent with the spatial iconicity (e.g. moral-up & immoral-down). Furthermore, the judgment of the antonymous relationship was slower for the antonym pairs in a reverse-iconic arrangement than in an iconic arrangement. The results also showed that the Chinese word pairs, which did not have antonyms (e.g. trust - evil), induced a larger N200 and N700 than the antonym pairs (e.g. incorrupt - corrupt) did. Moreover, the reaction time of the iconicity judgment to the word pairs that did not belong to antonyms was slower than that of the antonym pairs. The results of the two experiments revealed that regardless of the task, the embodied and linguistic symbols contributed to spatial iconicity. Nevertheless, the mechanisms of the two symbols were different.

This study explored the spatial iconicity of abstract moral concepts, the roles of the embodied symbols and the linguistic symbols in shaping spatial iconicity. The results showed that (1) abstract moral concepts had a similar spatial iconicity to concrete concepts, which could be achieved by mapping the metaphors. (2) Furthermore, embodied and linguistic symbols were involved in shaping spatial iconicity regardless of the task. (3) When processing moral words, the linguistic symbols were activated to influence the process. The embodied symbols would only be activated and take effect in the middle of the process.

morality; spatial iconicity; embodied cognition; linguistic symbol; vertical metaphor

2019-04-02

* 河北省社會科學基金項目(HB18JY042)。

魯忠義, E-mail: zhongyilu@126.com

B842

10.3724/SP.J.1041.2020.00128