語言符號與知覺符號表征對外語詞匯習得的影響比較：來自行為與腦電的實驗證據(jù)

摘" 要" 通過行為與腦電實驗技術， 比較外語詞匯學習過程中， 語言符號與知覺符號表征對詞匯記憶編碼與再認的影響過程， 從而考察語義表征對詞匯習得的影響機制。行為結(jié)果表明， 語言符號與知覺符號表征條件下被試對詞匯學習效果的主觀判斷無顯著差異， 但后者比前者有更高的詞匯再認正確率。腦電結(jié)果表明， 對于詞匯編碼階段， 相較語言符號表征， 知覺符號表征在編碼晚期誘發(fā)更正的LPC成分; 對于詞匯再認階段， 知覺符號表征條件誘發(fā)更大N400成分， 且腦電時頻分析表明該條件下出現(xiàn)更為明顯的μ波抑制及θ波功率增強現(xiàn)象。研究結(jié)果綜合表明， 與語言符號表征便捷但非模態(tài)化的語義加工相比， 知覺符號表征加深了詞匯晚期編碼的深度， 并通過知覺模擬， 利用多模態(tài)信息提高了詞匯的形象化再認， 從而推動了再認階段的語義檢索， 最終內(nèi)隱性地提高了詞匯學習效果。

關鍵詞" 語義表征， 外語詞匯習得， 語言符號， 知覺符號， EEG

分類號" B842

1" 引言

1.1" 語義表征及其理論發(fā)展

語義表征是指人腦將文字等信息編碼并提取意義， 以服務于言語、記憶等活動的認知過程。在外語詞匯習得過程中， 學習者需先通過語義表征完成對詞匯意義的通達， 以實現(xiàn)進一步的記憶學習， 因此語義表征是進行詞匯理解記憶的前提（Hulstijn， 2002; Schwartz et al.， 2008）。在語義表征的理論演化中存在兩種分歧的觀點。以語言符號表征為代表的傳統(tǒng)認知觀認為， 語言符號是語義表征的載體， 其帶有非模態(tài)的性質(zhì)， 概念信息借助語言符號及符號間形成的命題網(wǎng)絡進行傳遞， 以一種類計算機的邏輯運算方式進行信息加工， 以實現(xiàn)語義表征（Markman amp; Dietrich， 2000）。而以知覺符號表征為代表的具身認知觀認為， 語義表征的載體是帶有形象具身（或稱多模態(tài)）特征的知覺符號， 豐富的感知覺和情緒體驗通過知覺模擬參與了表征過程， 使其表現(xiàn)出形象的知覺特性（Barsalou， 1999）。

語言符號和知覺符號理論在解釋語義表征的模態(tài)化性質(zhì)上各執(zhí)一詞。隨著心理語言學與相關認知神經(jīng)科學研究的積累， 整合兩種符號表征的觀點得到了越來越多的認同。這類符號整合的觀點認為， 人腦中存在源于抽象語言符號系統(tǒng)與源于感知覺神經(jīng)信號的兩種意義加工通路， 分別涉及了語言符號與知覺符號系統(tǒng)， 完整的知識表征體系由這兩種符號系統(tǒng)共同塑造（Bi， 2021; Borghesani amp; Piazza， 2017）。兩種符號表征模式的認知特性不同， 各自適用于不同的認知活動。具體而言， 語言符號表征可以通過非模態(tài)化的信息傳遞， 實現(xiàn)語義的快速通達， 但其認知加工程度淺且粗糙， 因而在簡單、表面性的語言理解活動中發(fā)揮主要作用; 而知覺符號表征需通過深度知覺模擬， 以多模態(tài)信息加工的方式完成語義通達， 故其對材料的加工程度深且精細， 但認知效率相對較低， 因而在復雜深層的語言理解任務中占主導地位（Dove， 2009; Louwerse， 2011; Paivio， 1991）。符號整合觀也得到了一些認知神經(jīng)科學層面的證據(jù)支持。例如在腦成像領域， 一些研究發(fā)現(xiàn)， 語言加工既涉及左下額葉、顳葉前中部等與語義加工和概念編碼相關的腦區(qū)， 又涉及感覺皮層及運動區(qū)等處理知覺特征的腦區(qū)， 而頂下小葉、左腦島等腦結(jié)構(gòu)還會負責對語言和知覺特征信息進行聯(lián)合分析（Borghesani amp; Piazza， 2017; Pulvermüller， 2013）。上述研究為語言加工涉及語言與知覺符號系統(tǒng)的聯(lián)合參與提供了支持。此外， 一些腦電研究又進一步揭示了人腦對兩種符號信息加工的時間進程特點。例如Louwerse和Hutchinson （2012）通過EEG溯源技術發(fā)現(xiàn)詞匯的意義分析涉及語言與知覺符號信息的共同參與， 并且在對語義的分析處理上， 前者早于后者。王漢林等人（2020）的腦電研究發(fā)現(xiàn)， 語言符號信息在概念加工中優(yōu)先被激活并發(fā)揮持久影響， 而知覺符號信息則通過促進知覺模擬， 在概念加工的中后期發(fā)揮了主要作用。綜合來看， 語言加工的早期階段主要涉及語言符號簡單、快速的語義處理， 而晚期階段則與知覺符號所主導的復雜知覺模擬相聯(lián)系， 這與符號整合觀對兩種表征模式認知特性的分析相吻合（Louwerse et al.， 2017）。總之， 在語義表征系統(tǒng)的構(gòu)成上， 兩種符號表征模式并不是非此即彼的關系， 二者各有優(yōu)劣之處， 其能否充分發(fā)揮作用取決于具體認知任務的需求。

1.2" 語言符號與知覺符號表征在外語學習中的作用

符號整合觀對兩種表征模式的分析為理解外語學習中的語義表征特點提供了啟示。首先， 在外語詞匯習得過程中， 學習者需要在掌握詞義基礎上， 將其與詞匯音、形相結(jié)合。而語言符號表征作為一種便捷的語義通達途徑， 能夠幫助學習者迅速理解詞義， 以進行后續(xù)的識記。因此語言符號表征是外語學習活動中經(jīng)常被利用的表征模式。以往有關研究為此提供了支持。第一， 二語習得的研究表明， 外語學習者常借助母語實現(xiàn)對外語詞匯的語義通達（Linck et al.， 2009; 馬拯， 2015）。第二， 來自二語認知研究發(fā)現(xiàn)， 外語熟練度會反向調(diào)節(jié)母語在外語語義通達中的作用， 外語熟練度越低， 外語加工中的母語依賴現(xiàn)象越明顯（Garbin et al.， 2011; 郭桃梅， 彭聃齡， 2002; 王瑞明 等， 2016; 張沖 等， 2015）。第三， 外語熟練度亦會正向調(diào)節(jié)知覺符號信息在語義通達中的貢獻， 雙語者在加工越熟悉的外語詞匯時， 越會更大程度的激活詞匯所涉及的知覺符號信息（Baumeister et al.， 2017; Foroni， 2015; 沈曼瓊 等， 2014）。上述研究綜合表明， 對于大多數(shù)人而言， 在熟練度較低的外語學習階段， 母語對外語的語義表征發(fā)揮了主要影響。學習者在面對并不熟悉的外語詞匯時多會借助母語獲得命題化的意義信息以快速表征外語語義， 而對感知運動等知覺符號信息的應用則相對較少， 故外語學習過程常體現(xiàn)出語言符號表征的特點。

其次， 語言學習的效果與對學習材料的認知加工深度密切相關。而知覺符號表征通過利用多模態(tài)信息通達語義， 可提供深層精細的語言加工， 這對敏感于認知加工深度的外語學習亦具有重要意義。相關具身研究為此提供了支持。例如， 成人通過觀察實物學習新穎詞匯時會將實物的空間信息編碼進概念系統(tǒng)， 以促進對詞匯的回憶（?ttl et al.， 2017）; 相似的研究還發(fā)現(xiàn)， 執(zhí)行與學習材料相關的手勢和身體動作會強化學習者對語言材料的理解與記憶（Casasanto amp; de Bruin， 2019; Hald et al.， 2016; 王斌 等， 2019）。此外， 發(fā)展心理學的研究發(fā)現(xiàn)兒童對于詞匯的學習與身體感知部位有關， 與嘴、手等感知部位相關詞匯的掌握時間早于與身體部位無關的詞匯（Maouene et al.， 2008）; 相較于“外語?母語”關聯(lián)， “外語?圖片”關聯(lián)的詞匯教學方法更有利于兒童從一開始建立外語詞匯與外語語義的直接聯(lián)系（Comesana et al.， 2009）。以上研究表明， 感知運動信息會對語言的認知加工起到輔助作用， 因此在外語詞匯學習過程中合理使用知覺符號表征將會促進這些知覺信息編碼進詞匯記憶之中， 使其作為有效的語義提取線索， 幫助完成外語詞匯學習。

1.3" 兩種符號表征對詞匯習得的影響過程分析

雖然有關語義表征的大量研究為探明兩種符號表征模式對語言學習的影響提供了啟示， 但就外語詞匯習得過程而言， 尚有以下問題需要探討。其一， 當前有關研究或多關注母語對外語詞匯語義通達的影響， 側(cè)重探討語言符號表征在外語學習過程中的作用， 或多將知覺符號作為一種語言學習的輔助工具加以考察。因此尚不清楚由知覺符號系統(tǒng)所主導的表征模式對語言學習的影響， 亦缺乏對兩種表征子系統(tǒng)影響效應的綜合比較。其二， 有關語義表征的神經(jīng)科學研究多針對于熟練語言或已習得詞匯的加工過程， 這與語言習得過程還存在區(qū)別。因此不同表征方式對外語詞匯學習的影響過程及其認知神經(jīng)機制尚不明確。

基于上述研究現(xiàn)狀， 本研究關注的問題是， 兩種符號表征作用下的外語詞匯學習效果是否存在差異？這種差異背后的認知神經(jīng)機制又是什么？鑒于知覺符號表征多模態(tài)認知特性的優(yōu)勢， 以及大量有關感知運動經(jīng)驗促進學習記憶的實驗證據(jù)， 本研究首先預測， 知覺符號相較語言符號表征應能對外語詞匯學習發(fā)揮更為積極的作用。在此基礎上， 本研究進一步對兩種符號表征影響詞匯習得的過程進行如下分析預測。第一， 根據(jù)符號整合理論， 語言符號表征帶有快速、淺層的認知加工特點而知覺符號表征的特點則相對更為深層且精細化。此外有關多模態(tài)語義記憶的研究認為， 手勢、圖像等知覺信息可以豐富對詞匯的記憶編碼， 使編碼過程既涉及了語義處理又包含感知經(jīng)驗加工， 同時感知經(jīng)驗也會引起語義處理， 故豐富的感知經(jīng)驗可以促進語義加工并誘發(fā)對記憶詞匯的深度編碼（Macedonia et al.， 2019; Mulligan amp; Hornstein， 2003）。根據(jù)上述研究結(jié)論預測， 在外語詞匯識記過程中， 兩種符號系統(tǒng)影響下的詞匯記憶加工深度應當存在區(qū)別。相較于非模態(tài)化的語言符號表征， 知覺符號表征借助多模態(tài)信息通達語義的過程應當更為復雜， 這會使語義記憶的編碼深度增加。

第二， 進一步對詞匯語義的記憶提取過程進行分析預測。根據(jù)記憶加工層次理論， 深層的編碼加工往往帶來更好的記憶效果。而不同表征模式下編碼深度差異的后續(xù)影響可能體現(xiàn)在提取過程中的知覺模擬程度及由此引發(fā)的語義形象化程度層面。以往具身記憶相關研究發(fā)現(xiàn)， 相較于非模態(tài)的語義表征， 多模態(tài)語義表征可為詞匯語義網(wǎng)絡的構(gòu)建提供豐富且形象化的語義節(jié)點， 使得記憶提取過程中對詞匯的語義激活閾值更容易達到檢索要求（Capone amp; McGregor， 2005）。此外知覺符號表征的一個顯著特點是可通過知覺模擬實現(xiàn)先前經(jīng)驗的重現(xiàn)， 這可能又會使語義節(jié)點的激活得到強化。因此進一步預測， 受先前多模態(tài)語義編碼的影響， 知覺符號表征模式下構(gòu)建的詞匯語義節(jié)點更為豐富形象。同時該模式又會在記憶提取過程中誘發(fā)更為強烈的知覺模擬， 這會易化先前建立的豐富形象節(jié)點的重新激活， 從而促進詞匯語義的提取。最終， 相較依賴于抽象非模態(tài)信息加工的語言符號表征模式， 知覺符號表征在豐富的多模態(tài)信息編碼與更為強烈的知覺模擬的作用下， 將會帶來更為優(yōu)勢的記憶提取效果。

為了驗證上述有關語義表征影響詞匯習得過程的預測， 本研究采用詞匯記憶?再認范式， 通過在記憶編碼階段呈現(xiàn)語言（母語）和非語言（方位空間與運動線索）示意材料， 啟動被試對外語詞匯的語言符號與知覺符號表征。以記憶編碼和再認階段的外語詞匯為探測目標， 利用行為與腦電實驗技術， 系統(tǒng)比較兩種符號表征對詞匯記憶編碼與再認過程的獨立影響， 揭示語義表征方式影響詞匯習得的認知過程及相關的神經(jīng)機制。

1.4" 關注的腦電特征

首先， 對于記憶編碼階段， 為檢驗兩種符號表征對詞匯編碼深度的影響， 本研究首先關注編碼過程所誘發(fā)的晚期正成分（LPC）。以往記憶研究發(fā)現(xiàn)， 該成分反映了對記憶材料的高級精確編碼（陳燕妮 等， 2011）， 其幅值與認知資源的投入呈正相關（Rosburg et al.， 2015）， 并且記憶加工深度越大， LPC的振幅越高（Rugg et al.， 1998）。根據(jù)上述研究結(jié)論， 本研究預測相較語言符號表征快速但淺層的語義通達過程， 知覺符號表征會利用空間、運動知覺等信息對詞匯產(chǎn)生更為精細化的語義編碼加工， 這一過程將消耗更多認知資源并加深記憶加工深度， 從而誘發(fā)更正的LPC成分。

其次， 對于再認階段， 為檢驗兩種符號表征對詞匯語義的形象化提取程度的影響， 進一步關注詞匯再認所誘發(fā)的N400成分。以往研究發(fā)現(xiàn)N400成分反映了長時記憶中語義表征的激活（Kutas amp; Federmeier， 2000）， 其幅值與詞匯的語義聯(lián)想維度呈正相關（Laszlo amp; Federmeier， 2011; Muller et al.， 2010）。此外， 一些研究發(fā)現(xiàn)N400成分能夠反映詞匯的形象化加工程度（Holcomb et al.， 1999; Lai et al.， 2019）， 具有高意象性的詞匯能夠誘發(fā)更大的N400， 表示其能產(chǎn)生更廣泛的語義聯(lián)想， 從而對詞匯的回憶發(fā)揮了積極影響（Nittono et al.， 2002）。綜合上述研究結(jié)論， 預測語言符號表征為詞匯提供再認檢索的語義節(jié)點較為抽象單一， 這限制了詞匯語義聯(lián)想， 使檢索過程更為抽象化。而知覺符號表征會通過編碼空間、運動等多模態(tài)信息， 為詞匯構(gòu)建更為豐富的語義節(jié)點。同時該條件在再認階段會通過知覺模擬激活先前構(gòu)建的多模態(tài)語義節(jié)點， 從而提高詞匯的形象化加工， 并誘發(fā)更大的N400成分。

另外， 為檢驗再認階段兩種符號表征模式的知覺模擬程度， 另從腦電時頻域?qū)用鎸υ僬J過程中的μ波（8～13 Hz）特征進行分析。已有研究發(fā)現(xiàn)， 當被試執(zhí)行或觀察、想象某活動時， 感覺運動區(qū)域神經(jīng)元會出現(xiàn)不同步的激活， 這會抑制該區(qū)域的μ節(jié)律震蕩， 使其功率減弱（Debnath et al.， 2019; Fox et al.， 2016）。因此， μ波抑制被認為可以有效標記感知運動皮層鏡像神經(jīng)元的活動（Brunsdon et al.， 2019; Pineda， 2005; 官群， 2019）。而鏡像神經(jīng)元一直被看作是知覺模擬的神經(jīng)基礎， 通過知覺模擬獲得替代經(jīng)驗， 實現(xiàn)意義理解的過程依賴于鏡像神經(jīng)元的活動（伍麗梅 等， 2007）。在本研究中， 考慮到詞匯的形象化再認過程可能源于知覺模擬的作用， 因此本研究另考察詞匯再認階段的μ波抑制現(xiàn)象， 預測知覺符號表征將會強化語義再認階段的鏡像神經(jīng)元活動， 使對詞匯的知覺模擬程度增強， 從而產(chǎn)生相較語言符號表征更為明顯的μ波抑制現(xiàn)象。最后， 為檢驗兩種表征模式對記憶檢索效果的影響， 本研究還對詞匯再認所產(chǎn)生的θ頻段（4～7 Hz）功率變化進行考察。關于記憶提取的腦電研究表明， θ頻段（4～7 Hz）功率的增加與記憶的成功檢索有關（Herweg et al.， 2020; Solomon et al.， 2019）。綜合上述對編碼和再認階段兩種表征方式的分析， 預測在經(jīng)過深度語義編碼及由知覺模擬引起的形象化加工后， 知覺符號表征條件下不同詞匯的語義區(qū)分將更為鮮明， 這會促進被試對詞匯語義進行更為精確的檢索。因此相較于語言符號， 知覺符號表征條件下詞匯的再認將會產(chǎn)生更明顯的θ波功率增強現(xiàn)象， 并最終表現(xiàn)出更高的再認正確率。

綜上所述， 本研究通過對相關腦電時域、時頻域特征進行考察與比較， 從詞匯記憶編碼階段的認知加工深度、再認階段對詞匯的知覺模擬與形象化加工程度， 以及語義檢索效果等方面探討語言與知覺符號表征方式對外語詞匯習得的影響效果及其認知神經(jīng)機制。此外， 本研究另考察編碼階段被試對詞匯的學習判斷（judgement of learning， JOL）評分， 以及再認階段的詞匯再認正確率， 從主觀評價和客觀成績兩方面考察兩種表征方式對外顯詞匯學習行為的影響。

2" 方法

2.1" 實驗目的

考察并比較語言符號與知覺符號表征對外語詞匯記憶編碼與再認過程的影響， 檢驗兩種語義表征模式對外語詞匯習得的獨立影響機制。

2.2" 被試

根據(jù)Cohen （2013）的研究， 理想的統(tǒng)計檢驗力和效應量均需高于0.8。以此為標準， 使用GPower軟件（http：//www.gpower.hhu.de/）進行估計， 在單因素兩水平組間設計中所需的總樣本量為52。依據(jù)此數(shù)量招募非外語專業(yè)的在校大學生59人隨機分配到兩個實驗組進行實驗， 所有被試裸眼或矯正視力均正常， 母語均為漢語， 其中7人因再認正確率低（正確率剔除標準見3.1）或腦電偽跡較多予以剔除， 最終選取兩個實驗條件各26人的行為及腦電數(shù)據(jù)進行分析（其中男生共20人）， 平均年齡21 ± 2.37歲。

2.3" 實驗材料

為便于對被試的語義表征方式（特別是知覺符號表征）進行操縱， 對實驗材料的語義復雜程度進行控制， 研究以空間方位詞為例， 選擇“上”、“下”兩類語義作為學習對象。同時， 為有效模擬學習過程， 并保證實驗試次數(shù)量滿足腦電信號處理要求， 從被試群體完全陌生的語種（如俄語、阿拉伯語、泰國語、蒙古語等）中挑選詞匯。最終選取80個涉及“上”、“下”含義的多國語言詞匯， 所有詞匯中均不含“上、下、up、down”相關的筆畫或字母信息， 以防止被試在學習過程中進行策略加工。最后組成4組詞單， 每組包括“上”、“下”語義外文詞各10個， 用于詞匯的記憶編碼階段。對4組詞匯的長度， 知覺特征等進行匹配。另按以上標準選取若干其他意義的外文詞匯作為再認階段的填充材料（每組詞單10個）。實驗的兩種表征條件下均使用相同的詞單。

2.4" 實驗設計和程序

采用單因素被試間設計。自變量為記憶編碼階段的語義表征模式， 分為語言符號表征和知覺符號表征兩個水平; 因變量為被試對外文詞匯的記憶效果， 行為指標包含被試在編碼階段對詞匯的JOL評分， 以及再認階段的正確率; 腦電指標包括編碼階段誘發(fā)的LPC成分; 再認階段誘發(fā)的N400成分以及時頻域的μ波和θ波。

實驗流程分為對外語方位詞的記憶編碼階段和再認階段。編碼階段通過相繼呈現(xiàn)示意材料與外語詞匯的方式， 讓被試對詞匯進行學習。為有效操縱兩種語義表征方式， 實驗程序進行了如下考慮： 首先， 根據(jù)符號整合的相關理論， 兩種符號表征的主要區(qū)別在于： （1）語言符號與知覺符號表征分別代表了源于語言輸入與感知覺經(jīng)驗的認知系統(tǒng)（Bi， 2021）， 前者一般可直接被言語刺激激活， 而后者一般可直接被知覺客體或圖畫激活（Paivio， 1991）; （2）在表征過程中， 二者的差異體現(xiàn)在知覺模態(tài)信息的參與程度上（Louwerse， 2011）。據(jù)此， 本研究分別選擇中文與知覺線索作為語言與知覺符號表征條件下的示意材料。通過呈現(xiàn)中文， 以相對抽象的字符信息來傳遞外語詞匯的語義， 從而促進被試對詞匯的語言編碼并減少被試對語義的多模態(tài)加工， 以實現(xiàn)對外語詞匯的語言符號表征; 通過移動的箭頭以及詞匯呈現(xiàn)的空間位置， 以相對形象的知覺線索來傳遞語義， 從而促進被試利用非語言系統(tǒng)進行多模態(tài)語義加工， 以實現(xiàn)對外語詞匯的知覺符號表征。其次， 為盡可能在詞匯學習過程中剝離兩種表征方式， 研究采用被試間設計， 被試僅重復接受一種示意材料， 通過對單一符號啟動刺激的重復程序化的學習， 以盡可能使兩種實驗條件下的詞匯學習側(cè)重使用不同的表征方式， 達到實驗性分離; 最后， 在正式實驗開始前， 主試會對不同表征條件的學習要求進行說明， 被試均需接受練習， 以熟悉不同學習過程。實驗流程具體如下。

編碼階段： 被試佩戴好電極帽坐在電腦前， 首先在屏幕中央呈現(xiàn)注視點“+”， 500～1000 ms的隨機時間后， 呈現(xiàn)示意材料1200 ms， 指示其后需要記憶的外文詞匯的意義。語言符號表征條件下的示意材料為呈現(xiàn)在視野中央的漢字“上”或“下”， 通過漢字誘發(fā)被試對隨后外語方位詞的語言符號表征; 知覺符號表征條件下的示意材料為呈現(xiàn)一段向上或向下運動的箭頭動畫， 指示相應的空間方位， 進而通過空間知覺誘發(fā)被試對隨后外語方位詞的知覺符號表征。隨后， 在示意材料的位置呈現(xiàn)一個相應意義的外文詞匯， 為控制被試的學習時間， 詞匯統(tǒng)一呈現(xiàn)5000 ms， 要求被試對其進行記憶， 同時記錄被試記憶詞匯時的EEG信號。最后， 進行學習判斷（JOL）， 呈現(xiàn)指導語： “判斷你有多大把握在接下來的測驗中回憶出剛才的詞匯（“0”是完全沒把握， “10”是完全有把握）”， 要求被試對剛呈現(xiàn)的外文詞的記憶把握程度進行11點評分。

再認階段： 被試在記憶階段需要連續(xù)記憶20個詞匯（即一個詞單）， 記憶結(jié)束后， 進行30 s的心算， 然后進入再認階段。在再認階段中， 首先呈現(xiàn)中央注視點500 ms， 然后隨機呈現(xiàn)一個外文詞匯（可能是編碼階段學習的詞匯， 即舊項目， 或填充材料）， 要求被試對詞匯進行再認并對語義作分類， 即“上”按“F”鍵、“下”按“J”鍵、沒學過（即填充材料）按“空格”鍵。再認過程中記錄被試的EEG信號。

被試在正式實驗前會進行一組練習以熟悉實驗流程（練習材料與正式實驗材料不同）。正式實驗分4個block， 每個block完成一組詞單的記憶（“上”、“下”外文詞匯各10個）和再認（“上”、“下”及填充材料各10個）。為了防止被試疲勞， 在block之間會讓被試進行充分休息。實驗流程圖見圖1。

腦電記錄：

采用NeuroScan 4.5軟件進行腦電數(shù)據(jù)的采集與分析。使用國際10～20系統(tǒng)擴展的64導電極帽記錄EEG。在采集過程中， 參考電極放置于左側(cè)乳突， 在進行離線分析時轉(zhuǎn)為雙側(cè)乳突平均作為參考。頭皮與電極接觸的電阻值維持在5千歐以下， 同時記錄垂直眼電（VEOG）和水平眼電（HEOG）。采樣頻率為1000 Hz， 在線濾波帶通為0.05～100 Hz， 并在離線分析時對數(shù)據(jù)進行30 Hz （24 dB/oct slope）的無相移低通濾波。離線分析時矯正眼電偽跡， 并在分段和基線校正后排除錯誤反應分段以及波幅在± 75 μV以外的偽跡信號。

時域ERP分析： 以外文詞匯出現(xiàn)前200 ms （作為基線）到詞匯出現(xiàn)后的1000 ms進行腦電分段， 通過平均波幅的測量方法測定各實驗條件下的LPC成分（編碼階段400～800 ms）和N400成分（再認階段200～400 ms）。在對兩個ERP成分的分析中劃定5個電極區(qū)域， 分別為： 前額區(qū)（F3、F1、FZ、F2、F4）、額?中央?yún)^(qū)（FC3、FC1、FCZ、FC2、FC4）、中央?yún)^(qū)（C3、C1、CZ、C2、C4）、中央?頂區(qū)（CP3、CP1、CPZ、CP2、CP4）、頂區(qū)（P3、P1、PZ、P2、P4）。將每個區(qū)域內(nèi)記錄電極的數(shù)據(jù)進行平均。

時頻分析： 在進行時頻分析之前， 重新截取預處理后的正確再認舊項目的EEG數(shù)據(jù)（截取分段時長： ?500～1000 ms）。使用letswave7工具包（https：// github.com/NOCIONS/letswave7）中的小波變換將EEG 數(shù)據(jù)轉(zhuǎn)化為時頻域數(shù)據(jù)， 使用Complex Morlet小波函數(shù)， 分別設置帶寬和中心頻率為1和1.5， 分析頻段范圍為1～30 Hz。小波變換后將單個試次的時頻表征進行平均， 以得到每個被試在每個條件下的平均時頻表征。計算每個頻帶上的事件相關頻譜震蕩（event-related spectral perturbation， ERSP）， 從而獲得EEG節(jié)律的神經(jīng)震蕩。為了避免小波變換時邊緣偽跡對基線的影響， 在計算 ERSP 時， 以再認詞匯出現(xiàn)前500～200 ms為基線， 利用公式ER% = （Xi – Mb） / Mb， 進行基線校正， 其中Xi指在特定時間和特定頻帶下的信號能量， Mb指特定頻帶基線的平均能量。根據(jù)事件相關頻譜振蕩的數(shù)據(jù)統(tǒng)計圖確定再認階段中的μ波（8～13 Hz， 200～800 ms）和θ波（4～7 Hz， 200～800ms）的分析時長。使用與ERP分析中相同的電極區(qū)域劃分， 將相應時頻范圍內(nèi)的數(shù)據(jù)平均值進行統(tǒng)計分析。在時域和時頻域數(shù)據(jù)的方差分析過程中， 當球形假設不成立時， 采用Greenhouse-Geisser法校正p值。

3" 結(jié)果

3.1" 行為結(jié)果

首先為進一步排除實驗不認真的被試數(shù)據(jù)， 根據(jù)二項分布性質(zhì)計算再認正確率的剔除標準： 被試

在每個再認block中均需要對30個項目進行三選一的判斷， 每個項目完全猜測對的概率為0.33， 此時完全憑猜測所構(gòu)成的再認成績的二項分布接近正態(tài)分布， 據(jù)此計算被試的再認正確率需高于47.5%才能認為詞匯學習過程有效。剔除再認正確率在此標準以下以及ERP偽跡較多的被試數(shù)據(jù)。然后對被試在兩個條件下的JOL評分以及再認正確率（圖2）進行獨立樣本t檢驗。結(jié)果表明， 被試在知覺符號表征條件下的再認正確率（0.74 ± 0.10， 平均數(shù) ± 標準差， 下同）顯著高于語言符號表征條件（0.67 ± 0.11）， t（50） = 2.53， p = 0.015， 95% CI [0.02， 0.13]， d = 0.68; 而知覺符號表征條件下的JOL評分（5.87 ± 1.05）與語言符號表征條件（5.83 ± 1.20）不存在顯著差異， t（50） = 0.14， p = 0.89。

3.2" 腦電時域結(jié)果

記憶編碼階段： 對記憶編碼階段LPC平均波幅（圖3）進行2 （知覺/語言符號表征） × 5 （電極位置）因素的重復測量方差分析， 結(jié)果表明， 兩因素交互作用不顯著， F（4， 200） = 0.07， p = 0.87; 表征方式主效應顯著， F（1， 50） = 4.85， p = 0.032， 95% CI [0.13， 2.80]， η2p = 0.09， 知覺符號表征條件下的LPC平均波幅（5.64 ± 2.23 μV）顯著高于語言符號表征條件（4.17 ± 2.56 μV）。此外， 電極主效應顯著F（4， 200） = 129.78， p lt; 0.001， η2p = 0.72。

再認階段： 對正確再認的舊項目所誘發(fā)的N400平均波幅（圖4）進行2 （表征方式） × 5 （電極位置）因素重復測量方差分析， 結(jié)果表明， 兩因素交互作用不顯著， F（4， 200） = 0.79， p = 0.40; 表征方式主效應顯著， F（1， 50） = 5.08， p = 0.029， 95% CI [0.17， 2.98]， η2p = 0.09， 知覺符號表征（5.26 ± 2.13 μV）比語言符號表征（6.84 ± 2.86 μV）誘發(fā)了更明顯的N400; 此外， 電極主效應不顯著， F（4， 200） = 1.31， p = 0.26。

3.3" 腦電時頻域結(jié)果

再認階段， 對正確再認的舊項目的ERSP結(jié)果（圖5）進行分析如下。

對μ頻段ERSP的重復測量方差分析結(jié)果表明，"表征方式和電極的交互作用顯著， F（4， 200） = 4.76， p = 0.018， η2p = 0.09。進一步簡單效應分析表明， 在各電極位置， 知覺符號表征下的μ波能量均顯著低于語言符號表征條件， ps ≤ 0.001 （而另一個簡單效應方向上， 兩種表征條件下各自電極位置之間的差異則有所不同， 不再贅述）。此外， 表征方式主效應顯著， F（1， 50） = 25.60， p lt; 0.001， η2p = 0.34; 電極位置主效應顯著， F（4， 200） = 9.31， p = 0.001， η2p = 0.16。簡言之， 知覺符號相較語言符號表征條件下出現(xiàn)了更明顯的μ波抑制現(xiàn)象。

對θ頻段ERSP的重復測量方差分析結(jié)果表明， 表征方式和電極的交互作用顯著， F（4， 200） = 6.61， p = 0.004， η2p = 0.12， 進一步簡單效應分析表明， 在前額區(qū)（a）、額中區(qū)（b）、中央?yún)^(qū)（c）， 知覺符號表征條件下的θ波能量顯著高于語言符號表征條件， Fa （1， 50） = 8.17， p = 0.006， 95% CI [0.06， 0.33]， η2p = 0.14; Fb （1， 50） = 6.66， p = 0.013， 95% CI [0.04， 0.30]， η2p = 0.12; Fc （1， 50） = 4.29， p = 0.043， 95% CI [0.004， 0.26]， η2p = 0.08。其余腦區(qū)位置的θ波能量在兩種表征條件下的差異不顯著， ps gt; 0.05。此外， 表征方式的主效應邊緣顯著， F（1， 50） = 3.60， p = 0.064; 電極位置主效應顯著， F（4， 200） = 20.16， p lt; 0.001， η2p = 0.29。相較語言符號表征， 知覺符號表征條件下出現(xiàn)了更明顯的額區(qū)θ波功率增強現(xiàn)象。

4" 討論

本研究通過行為與腦電實驗技術考察了外語詞匯學習過程中， 語言符號與知覺符號表征對詞匯記憶編碼及后續(xù)再認過程的影響。行為結(jié)果表明， 知覺符號表征條件下， 被試對詞匯的記憶效果優(yōu)于語言符號表征， 表現(xiàn)為前者的詞匯再認正確率顯著高于后者。腦電結(jié)果進一步提供了兩種表征方式對詞匯記憶產(chǎn)生不同影響的神經(jīng)電生理活動證據(jù)。具體而言， 在記憶編碼階段， 知覺符號表征相較語言符號表征在編碼晚期誘發(fā)更大的LPC成分。此外， 兩種表征方式對詞匯記憶的影響又延續(xù)到再認階段， 表現(xiàn)為知覺符號表征相較語言符號表征誘發(fā)了更大波幅的N400成分; 在腦電時頻域?qū)用妫?知覺符號亦比語言符號表征條件出現(xiàn)更強烈的μ波抑制與額區(qū)θ波能量增強現(xiàn)象。值得注意的是， 從行為結(jié)果上看， 雖然知覺符號表征條件下的詞匯再認正確率顯著高于語言符號表征條件， 但兩種表征條件下的JOL評分沒有顯著區(qū)別， 這說明被試對知覺符號表征的記憶優(yōu)勢效應并沒有明顯的主觀感受， 兩種表征方式對詞匯記憶的影響差異可能更多體現(xiàn)在內(nèi)隱的認知過程之中。而這種內(nèi)隱認知過程的差異從本研究的腦電結(jié)果中得到了進一步解釋。下面分別就表征模式對外語詞匯記憶編碼和再認階段的影響進行討論。

4.1" 語言符號與知覺符號表征對外語詞匯記憶編碼過程的影響

對詞匯記憶編碼階段的腦電分析發(fā)現(xiàn)， 外語詞匯的記憶加工所誘發(fā)的LPC成分在兩種符號表征條件下出現(xiàn)了實驗性分離， 更正的LPC成分表明知覺符號表征強化了對詞匯的晚期深度編碼。以往有關兩種符號信息加工時間進程的研究也表明， 相較于能夠快速分析加工的語言符號， 知覺符號信息的處理更為復雜， 因此其效應的發(fā)揮更為滯后 （Louwerse amp; Hutchinson， 2012; 王漢林 等， 2020）。在本研究中， 由于語言符號表征具有快捷通達語義的認知特性， 這使得被試對詞匯的晚期語義分析變得相對容易。被試可以借助母語迅速通達外語詞匯語義并進行記憶， 雖然這一過程無需進行復雜的認知加工， 但其對外語詞匯語義的分析處理也較為粗糙， 使晚期記憶編碼處于相對淺加工的狀態(tài)。而知覺符號表征條件下被試需要通過示意箭頭與詞匯空間位置等知覺信息理解外語詞匯意義， 因此相較母語快速傳遞語義而言， 該條件下詞匯的語義通達過程更為復雜。被試利用帶有多模態(tài)性質(zhì)的知覺信息對外語詞匯的意義進行分析， 使對詞匯的語義編碼加工更為精細化， 同時這一過程消耗了更多的認知加工資源， 這使知覺符號表征條件在詞匯加工晚期誘發(fā)了更大的與認知負荷及語義綜合分析相關的LPC成分。而考慮到加工層次對記憶效果的影響， 在編碼階段更多認知資源投入的意義在于可為記憶材料提供更深層次的加工， 從而為后續(xù)的記憶提取產(chǎn)生積極影響（Craik amp; Tulving， 1975）。一些研究也證實， 語義表征的深度是影響單詞檢索的重要因素（Capone amp; McGregor， 2005）。因此知覺符號表征條件下詞匯記憶編碼的認知負荷雖然更大， 但由其產(chǎn)生的深層精細的語義編碼會對語言學習發(fā)揮積極的效應， 這將具體體現(xiàn)在對詞匯的再認過程中。

4.2" 語言符號與知覺符號表征對外語詞匯再認過程的影響

首先， 通過對詞匯再認過程的腦電時頻域分析可以發(fā)現(xiàn)知覺符號相較語言符號表征條件下出現(xiàn)了更明顯的μ波抑制現(xiàn)象。以往研究表明， μ波抑制是鏡像神經(jīng)元活動的神經(jīng)特異性指標（Pineda， 2005; 官群， 2019）， 而鏡像神經(jīng)元又是知覺模擬的神經(jīng)物質(zhì)基礎（伍麗梅 等， 2007）。通過知覺模擬實現(xiàn)情境化、仿真化的多模態(tài)認知加工， 其底層基礎反映的是鏡像神經(jīng)元的活動。本研究中， 由于知覺符號表征條件促進了被試在編碼階段將知覺信息融入詞匯語義網(wǎng)絡， 同時得益于先前精細化的語義編碼過程， 因此當詞匯再次出現(xiàn)時， 被試對詞匯的知覺模擬得到了強化， 先前編碼的空間知覺信息隨之激活以促進被試對詞匯語義的檢索。這一過程伴隨著鏡像神經(jīng)元的活躍， 使與詞匯語義相關的感知運動聯(lián)結(jié)增強， 從而產(chǎn)生了較強烈的μ波抑制現(xiàn)象。而語言符號表征條件下， 被試僅能以先前母語的語義作為詞匯的再認線索， 這使得再認過程更多依賴于對抽象語言符號信息的檢索。多模態(tài)語義信息的缺失以及更為抽象化的再認加工模式使語義檢索過程中鏡像神經(jīng)元活動減弱， 被試對詞匯的知覺模擬相應受到了限制， 因此語言符號表征條件下未見明顯的μ波抑制。

其次， 兩種表征條件對詞匯再認的影響進一步體現(xiàn)在腦電時域?qū)用嬲T發(fā)的與語義加工相關的N400成分上。雖然在本研究的兩種表征條件下， 被試學習和再認的外語詞匯相同， 但詞匯再認所誘發(fā)的N400卻出現(xiàn)顯著差異， 說明不同表征條件對詞匯語義加工方式產(chǎn)生了影響。受先前多模態(tài)語義編碼的影響， 知覺符號表征條件下詞匯的語義聯(lián)想維度更加豐富。同時相較于對非模態(tài)化語言符號信息的檢索， 知覺符號表征條件通過知覺模擬使得與語義相關的知覺信息得到了充分激活， 最終使再認過程中對詞匯的形象化加工程度提高， 并誘發(fā)了更大的N400。總之， N400成分所指示的再認加工的形象化程度與μ波抑制所指示的鏡像神經(jīng)元活躍相互映證， 共同反映出詞匯再認階段， 兩種符號表征條件所引起的語義檢索模式存在差異， 而這種差異可歸因于不同程度的知覺模擬。

最終， 不同表征方式的編碼與語義提取差異影響了詞匯語義檢索的效果， 使兩種表征條件下詞匯再認階段的θ波產(chǎn)生區(qū)別。相較語言符號， 知覺符號表征條件下被試對詞匯的正確再認過程中出現(xiàn)了更為強烈的θ波能量， 且這一現(xiàn)象集中出現(xiàn)在額葉區(qū)域。以往研究表明， θ波的振蕩與成功學習和記憶相關（Herweg et al.， 2020）， 同時一些研究指出， 額葉θ參與了工作記憶和情景記憶的編碼和檢索過程， 其功率會隨工作記憶保留需求的增加而增加（Eschmann et al.， 2020; Hsieh amp; Ranganath， 2014）。在本研究中， 相較語言符號信息， 知覺符號表征所提供的多模態(tài)語義信息在保持過程中對工作記憶資源的需求會更多。同時在再認階段， 知覺符號表征又會促進被試綜合調(diào)用這些與詞匯語義相關的多模態(tài)記憶線索， 通過知覺模擬“重現(xiàn)”編碼階段詞匯呈現(xiàn)的情景， 從而完成對詞匯的語義提取。此外具身記憶研究表明， 由于多模態(tài)信息的編碼特征更為明顯， 故由此產(chǎn)生的記憶痕跡會更少受到記憶項目間的干擾（Casasanto amp; de Bruin， 2019）。因此相較于依賴抽象非模態(tài)化的母語語言符號檢索， 知覺符號表征條件所啟動的空間、運動等信息為詞匯塑造了鮮明化的語義特征， 使不同語義詞匯之間的相互干擾減弱。以上因素促進的詞匯語義的精確再認， 從而使知覺符號表征條件下θ波能量得到增強， 并最終反應在外顯行為層面， 提高了外語詞匯的再認正確率。

值得注意的是， 為能有效操控語義表征方式， 達到足夠的研究精確性， 本研究的實驗材料僅采用了“上”、“下”兩種語義概念。這可能會使學習過程產(chǎn)生一定的質(zhì)疑， 即在重復對兩種簡單語義的多國外語詞匯進行學習時， 由于語義較單一， 被試可能僅需辨析不同的詞形而不用理解詞匯語義。但是由于本研究的再認階段即需要區(qū)分學習/未學習過的詞匯， 又要對學習過的詞匯進行語義回憶方能做出判斷。故單純的詞形辨析不足以使被試完成再認測試。受測試程序影響， 被試在學習階段既需要識記不同的詞形， 亦需要仿照真實外語學習情境， 將各詞匯與對應語義建立形?義連接。因此有理由相信， 實驗任務可以有效檢驗外語詞匯學習過程以及語義表征對這一過程的影響。當然， 受實驗材料與程序嚴格控制的影響， 本研究確實與真實外語學習情境存在一定差異。未來研究可進一步考察語義表征對包含更多概念的外語詞匯學習的影響， 并進一步考慮如何在真實學習情境中對語義表征方式進行操縱與檢驗。

4.3" 基于語義表征視角的外語教學思考

本研究通過綜合比較語義表征的兩個子成分， 即語言符號與知覺符號表征對外語詞匯記憶編碼及語義再認的影響， 揭示了知覺符號表征對外語詞匯學習的積極作用， 因此日常語言（特別是外語）教育教學應注重對知覺符號表征模式的強化訓練， 使學習者能夠靈活運用感知覺、運動覺等多模態(tài)經(jīng)驗提高語言表征的豐富性， 以實現(xiàn)對語言材料的深層加工， 并避免由單一抽象的語言符號表征所導致的機械枯燥的學習過程。同時也需注意到， 在本研究中， 雖然知覺符號表征能夠帶來更高的詞匯再認正確率， 但被試在記憶編碼階段的JOL評分并未在兩種表征條件下出現(xiàn)顯著差異， 表明至少在學習過程中， 知覺符號表征未能引起更為自信的主觀學習感受。語言符號表征所具有的快速通達語義的優(yōu)勢可能平衡了JOL評分的差距。這可以從現(xiàn)實學習情境中得到支持， 即外語學習者往往傾向于借助母語信息來學習外語詞匯， 這在一定程度上可以減輕詞匯學習的認知負擔， 給被試帶來便捷流暢的學習體驗， 從而提高學習判斷。因此在證明知覺符號表征為外語學習提供了認知優(yōu)勢后， 應進一步思考的是如何在實際學習過程中讓學習者自覺主動地利用這種優(yōu)勢。

此外， 對兩種表征模式的應用需考慮現(xiàn)實情況： 根據(jù)符號整合理論及相關實證研究， 一方面， 語言符號相較知覺符號便于學習者快速獲取學習材料的語義信息（Louwerse et al.， 2017; 王漢林 等， 2020）， 實際外語學習也不可能完全脫離語言符號信息（例如很難在學習外語時擺脫母語的作用）; 另一方面， 盡管知覺符號表征有精細加工的優(yōu)勢， 但亦存在加工效率較低等缺陷， 且其對教學環(huán)境、學習者的外語水平及認知投入等有一定要求， 因此語言學習完全依賴知覺符號表征亦不現(xiàn)實。符號整合相關理論認為， 非模態(tài)語言符號構(gòu)成了語義系統(tǒng)的核心， 而感知運動經(jīng)驗則在語義系統(tǒng)中發(fā)揮支撐功能， 語言任務要求和處理深度會調(diào)節(jié)這兩部分間的互動性（Reilly et al.， 2016）。總之， 在人類的語義理解過程中， 語言與知覺符號表征并不是非此即彼的關系， 二者共同構(gòu)成了完整的語義表征系統(tǒng)（Bi， 2021）。綜上， 語言加工應充分利用兩種表征模式的優(yōu)勢， 通過二者的有機整合實現(xiàn)對語言材料的全面理解。因此結(jié)合人類語義表征系統(tǒng)特點及外語教學實際， 未來的外語教學應更多考慮如何在“母語?外語”教學模式的基礎上充分發(fā)揮感知運動信息在詞匯理解與記憶中的認知優(yōu)勢， 通過對知覺與語言符號的雙重編碼， 實現(xiàn)對外語詞匯的高效深度加工， 以提升外語學習效果。

5" 結(jié)論

（1）知覺符號表征條件下的外語詞匯再認正確率顯著高于語言符號表征， 但兩種表征模式下被試對詞匯學習效果的主觀判斷結(jié)果并無顯著差異， 語義表征模式對外語詞匯習得的影響更多體現(xiàn)在內(nèi)隱認知過程中。

（2）相較語言符號表征， 知覺符號表征能夠促進詞匯識記過程中的晚期深度編碼， 從而提供更為精細化的編碼加工。

（3）在詞匯的記憶檢索階段， 相較語言符號表征， 知覺符號表征通過強化知覺模擬促進了多模態(tài)語義信息的激活， 并進一步提高了詞匯的形象化加工程度， 從而推動了對詞匯的語義檢索并最終提升了詞匯學習效果。

參" 考" 文" 獻

Barsalou， L. W. （1999）. Perceptual symbol systems. Behavioral and Brain Sciences， 22（4）， 577?660.

Baumeister， J. C.， Foroni， F.， Conrad， M.， Rumiati， R. I.， amp; Winkielman， P. （2017）. Embodiment and emotional memory in first vs. second language. Frontiers in Psychology， 8， 394.

Bi， Y. C. （2021）. Dual coding of knowledge in the human brain. Trends in Cognitive Sciences， 25（10）， 883?895.

Borghesani， V.， amp; Piazza， M. （2017）. The neuro-cognitive representations of symbols： The case of concrete words. Neuropsychologia， 105， 4?17.

Brunsdon， V. E. A.， Bradford， E. E. F.， amp; Ferguson， H. J. （2019）. Sensorimotor mu rhythm during action observation changes across the lifespan independently from social cognitive processes. Developmental Cognitive Neuroscience， 38， 100659.

Capone， N. C.， amp; McGregor， K. K. （2005）. The effect of semantic representation on toddlers' word retrieval. Journal of Speech Language and Hearing Research， 48（6）， 1468?1480.

Casasanto， D.， amp; de Bruin， A. （2019）. Metaphors we learn by： Directed motor action improves word learning. Cognition， 182， 177?183.

Chen， Y.， Guo， C.， amp; Jiang， Y. （2011）. Neural basis for successful encoding and retrieval of prospective memory. Science China Life Sciences， 41（4）， 332?339.

[陳燕妮， 郭春彥， 姜揚. （2011）. 成功的前瞻記憶編碼與提取的神經(jīng)機制研究. 中國科學：生命科學， 41（04）， 332?339.]

Cohen， J. （2013）. Statistical power analysis for the behavioral sciences. Routledge.

Comesana， M.， Perea， M.， Pi?eiro， A.， amp; Fraga， I. （2009）. Vocabulary teaching strategies and conceptual representations of words in L2 in children： Evidence with novice learners. Journal of Experimental Child Psychology， 104（1）， 22?33.

Craik， F. I.， amp; Tulving， E. （1975）. Depth of processing and the retention of words in episodic memory. Journal of Experimental Psychology： General， 104（3）， 268?294.

Debnath， R.， Salo， V. C.， Buzzell， G. A.， Yoo， K. H.， amp; Fox， N. A. （2019）. Mu rhythm desynchronization is specific to action execution and observation： Evidence from time- frequency and connectivity analysis. Neuroimage， 184， 496?507.

Dove， G. （2009）. Beyond perceptual symbols： A call for representational pluralism. Cognition， 110（3）， 412?431.

Eschmann， K. C. J.， Bader， R.， amp; Mecklinger， A. （2020）. Improving episodic memory： Frontal-midline theta neurofeedback training increases source memory performance. Neuroimage， 222， 117219.

Foroni， F. （2015）. Do we embody second language？ Evidence for ‘partial’ simulation during processing of a second language. Brain and Cognition， 99， 8?16.

Fox， N. A.， Bakermans-Kranenburg， M. J.， Yoo， K. H.， Bowman， L. C.， Cannon， E. N.， Vanderwert， R. E.， ... van Ijzendoorn， M. H. （2016）. Assessing human mirror activity with EEG mu rhythm： A meta-analysis. Psychological Bulletin， 142（3）， 291?313.

Garbin， G.， Costa， A.， Sanjuan， A.， Forn， C.， Rodriguez- Pujadas， A.， Ventura， N.， ... ávila， C. （2011）. Neural bases of language switching in high and early proficient bilinguals. Brain and Language， 119（3）， 129?135.

Guan， Q. （2019）. Embodied linguistics——Language science in the era of artificial intelligence. Beijing： Science Press.

[官群. （2019）. 具身語言學——人工智能時代的語言科學. 北京： 科學出版社.]

Guo， T.， amp; Peng， D. （2002）. The accessing mechanism of the less proficient Chinese–English bilinguals’ conceptual representation. Acta Psychologica Sinica， 35（1）， 23–28.

[郭桃梅， 彭聃齡. （2002）. 非熟練中-英雙語者的第二語言的語義通達機制. 心理學報， 35（1）， 23?28.]

Hald， L. A.， de Nooijer， J.， van Gog， T.， amp; Bekkering， H. （2016）. Optimizing word learning via links to perceptual and motoric experience. Educational Psychology Review， 28（3）， 495?522.

Herweg， N. A.， Solomon， E. A.， amp; Kahana， M. J. （2020）. Theta Oscillations in Human Memory. Trends in Cognitive Sciences， 24（3）， 208?227.

Holcomb， P. J.， Kounios， J.， Anderson， J. E.， amp; West， W. C. （1999）. Dual-coding， context-availability， and concreteness effects in sentence comprehension： An electrophysiological investigation. Journal of Experimental Psychology： Learning Memory and Cognition， 25（3）， 721?742.

Hsieh， L. T.， amp; Ranganath， C. （2014）. Frontal midline theta oscillations during working memory maintenance and episodic encoding and retrieval. Neuroimage， 85， 721?729.

Hulstijn， J. （2002）. Towards a unified account of the representation， processing and acquisition of second language knowledge. Second Language Research， 18（3）， 193?223.

Kutas， M.， amp; Federmeier， K. D. （2000）. Electrophysiology reveals semantic memory use in language comprehension. Trends in Cognitive Sciences， 4（12）， 463?470.

Lai， V. T.， Howerton， O.， amp; Desai， R. H. （2019）. Concrete processing of action metaphors： Evidence from ERP. Brain Research， 1714， 202?209.

Laszlo， S.， amp; Federmeier， K. D. （2011）. The N400 as a snapshot of interactive processing： Evidence from regression analyses of orthographic neighbor and lexical associate effects. Psychophysiology， 48（2）， 176?186.

Linck， J. A.， Kroll， J. F.， amp; Sunderman， G. （2009）. Losing access to the native language while immersed in a second language： Evidence for the role of inhibition in second-language learning. Psychological Science， 20（12）， 1507?1515.

Louwerse， M.， amp; Hutchinson， S. （2012）. Neurological evidence linguistic processes precede perceptual simulation in conceptual processing. Frontiers in Psychology， 3， 385.

Louwerse， M.， He， X.， Deng， Y.， Zhao， X.， amp; Xue， Y. （2017）. Symbol interdependency in language processing： Interactions between language statistics and perceptual simulation. Journal of South China Normal University （Social Science Edition）， （2）， 51?60.

[Louwerse， M.， 何先友， 鄧玉梅， 趙雪汝， 薛穎. （2017）. 語言加工中的符號相互依存： 語言統(tǒng)計和知覺模擬的交互作用. 華南師范大學學報（社會科學版）， （2）， 51?60.]

Louwerse， M. M. （2011）. Symbol interdependency in symbolic and embodied cognition. Topics in Cognitive Science， 3（2）， 273?302.

Ma， Z. （2015）. The motivation and path of conceptual reconstruction in second language vocabulary acquisition. Journal of PLA University of Foreign Languages， 38（3）， 74?80.

[馬拯. （2015）. 二語詞匯習得中概念重構(gòu)的理據(jù)及其路徑. 解放軍外國語學院學報， 38（3）， 74?80.]

Macedonia， M.， Repetto， C.， Ischebeck， A.， amp; Mueller， K. （2019）. Depth of encoding through observed gestures in foreign language word learning. Frontiers in Psychology， 10， 33.

Maouene， J.， Hidaka， S.， amp; Smith， L. （2008）. Body parts and early-learned verbs. Cognitive Science， 32（7）， 1200?1216.

Markman， A. B.， amp; Dietrich， E. （2000）. Extending the classical view of representation. Trends in Cognitive Sciences， 4（12）， 470?475.

Muller， O.， Du?abeitia， J. A.， amp; Carreiras， M. （2010）. Orthographic and associative neighborhood density effects： What is shared， what is different？ Psychophysiology， 47（3）， 455?466.

Mulligan， N. W.， amp; Hornstein， S. L. （2003）. Memory for actions： Self-performed tasks and the reenactment effect. Memory amp; Cognition， 31（3）， 412?421.

Nittono， H.， Suehiro， M.， amp; Hori， T. （2002）. Word imageability and N400 in an incidental memory paradigm. International Journal of Psychophysiology， 44（3）， 219?229.

?ttl， B.， Dudschig， C.， amp; Kaup， B. （2017）. Forming associations between language and sensorimotor traces during novel word learning. Language and Cognition， 9（1）， 156?171.

Paivio， A. （1991）. Dual coding theory： Retrospect and current status. Canadian Journal of Psychology/Revue canadienne de psychologie， 45（3）， 255?287.

Pineda， J. A. （2005）. The functional significance of mu rhythms： Translating \"seeing\" and \"hearing\" into \"doing\". Brain Research Reviews， 50（1）， 57?68.

Pulvermüller， F. （2013）. How neurons make meaning： Brain mechanisms for embodied and abstract-symbolic semantics. Trends in Cognitive Sciences， 17（9）， 458?470.

Reilly， J.， Peelle， J. E.， Garcia， A.， amp; Crutch， S. J. （2016）. Linking somatic and symbolic representation in semantic memory： The dynamic multilevel reactivation framework. Psychonomic Bulletin amp; Review， 23（4）， 1002?1014.

Rosburg， T.， Johansson， M.， Weigl， M.， amp; Mecklinger， A. （2015）. How does testing affect retrieval-related processes？ An event-related potential （ERP） study on the short-term effects of repeated retrieval. Cognitive Affective amp; Behavioral Neuroscience， 15（1）， 195?210.

Rugg， M. D.， Mark， R. E.， Walla， P.， Schloerscheidt， A. M.， Birch， C. S.， amp; Allan， K. （1998）. Dissociation of the neural correlates of implicit and explicit memory. Nature， 392（6676）， 595?598.

Schwartz， A. I.， Yeh， L.-H.， amp; Shaw， M. P. （2008）. Lexical representation of second language words： Implications for second language vocabulary acquisition and use. The Mental Lexicon， 3（3）， 309?324.

Shen， M.， Xie， J.， Zhang， K.， Li， Y.， Zeng， C.， amp; Wang， R. （2014）. The spatial metaphor of bilingual affective concepts processing. Acta Psychologica Sinica， 46（11）， 1671–1681.

[沈曼瓊， 謝久書， 張昆， 李瑩， 曾楚軒， 王瑞明. （2014）. 二語情緒概念理解中的空間隱喻. 心理學報， 46（11）， 1671?1681.]

Solomon， E. A.， Lega， B. C.， Sperling， M. R.， amp; Kahana， M. J. （2019）. Hippocampal theta codes for distances in semantic and temporal spaces. Proceedings of the National Academy of Sciences of the United States of America， 116（48）， 24343?24352.

Wang， B.， Li， Z.， Wu， L.， amp; Zhang， J. （2019）. Effects of embodied simulation on understanding Chinese body action verbs. Acta Psychologica Sinica， 51（12）， 1291–1305.

[王斌， 李智睿， 伍麗梅， 張積家. （2019）. 具身模擬在漢語肢體動作動詞理解中的作用. 心理學報， 51（12）， 1291? 1305.]

Wang， H.， Jiang， Z.， Feng， X.， amp; Lu， Z. （2020）. Spatial iconicity of moral concepts： Co-dependence of linguistic and embodied symbols. Acta Psychologica Sinica， 52（2）， 128–138.

[王漢林， 蔣澤亮， 馮曉慧， 魯忠義. （2020）. 道德概念的空間形象性： 語言因素和具身因素的共同作用. 心理學報， 52（2）， 128?138.]

Wang， R. M.， Yang， J.， amp; Li， L. （2016）. Second language learning. Shanghai： East China Normal University Press.

[王瑞明， 楊靜， 李利. （2016）. 第二語言學習. 上海： 華東師范大學出版社.]

Wu， L.， Mo， L.， amp; Wang， R. （2007）. Dynamic mental simulations during comprehension of motion descriptions. Advances in Psychological Science， 15（4）， 605?612.

[伍麗梅， 莫雷， 王瑞明. （2007）. 有關運動的語言理解的知覺模擬. 心理科學進展， 15（4）， 605?612.]

Zhang， C.， Yao， R.， amp; Guan， Q. （2015）. Brain mechanisms of foreign language learning difficulty： Evidence from ERP and fMRI studies. Chinese Journal of Special Education， （7）， 39?46.

[張沖， 姚茹， 官群. （2015）. 外語學習困難的腦機制研究： 來自ERP和fMRI的證據(jù)及啟示. 中國特殊教育， （7）， 39?46.]

Different effects of linguistic and perceptual symbolic representations on foreign language vocabulary learning： Evidence from behavioral and EEG data

REN Weicong1， YANG Ting2， WANG Hanlin1

（1 College of Education， Hebei Normal University， Shijiazhuang 050024， China）

（2 Hebei Academy of Fine Arts， Shijiazhuang 050700， China）

Abstract

Semantic representation is a way to achieve semantic access， which plays an important role in foreign language vocabulary learning. The linguistic symbolic and perceptual symbolic representations constitute two subsystems of semantic representations. Previous studies have found that the linguistic symbolic representation can provide quick approximate processing， which is suitable for shallow language processing tasks， while the perceptual symbolic representation can create a complete situation model， which is important for deep language processing tasks. In view of these different cognitive processing patterns， the effect of each symbolic representation system on foreign language vocabulary learning were investigated in this study to explore the mechanism of semantic representation on vocabulary learning.

A total of 52 participants were randomly assigned to the two symbolic representation conditions and executed a vocabulary learning–recognition task. To manipulate the participants’ semantic representations effectively when learning foreign language vocabulary， two types of spatial semantics， i.e.， “up” and “down，” were chosen as the learning materials. Furthermore， to investigate the learning process effectively， the foreign words expressing the meanings of “up” and “down” were selected from languages that the participants were completely unfamiliar with. In the learning stage， Chinese characters or spatial cues of “up” and “down” were presented first as semantic priming stimuli to initiate the participants’ linguistic symbolic or perceptual symbolic representations of the foreign words subsequently presented. The participants were then required to learn the foreign words. After every 20 words learned， a test on the semantic recognition of the foreign words was conducted. Behavioral and EEG data were collected to investigate the different effects of linguistic symbolic and perceptual symbolic representations on the learning and recognition stages.

The behavioral results showed that no significant difference in judgment of learning were found between the linguistic symbolic and perceptual symbolic representation conditions， but the latter showed higher recognition accuracy rate than the former. The event related potential results showed that during the learning stage， the perceptual symbolic representation induced more positive LPC components （in the time window of 400～800 ms） than the linguistic symbolic representation condition. During the recognition stage， in relation to the linguistic symbolic representation condition， the perceptual symbolic representation evoked larger N400 components in the time window of 200～400 ms after the onset of the recognition words. The results of EEG time–frequency analysis showed that during the recognition stage， the perceptual symbolic representation condition elicited lower μ band power and higher θ band power than the linguistic symbolic representation condition （the time windows of the two bands were 200～800 ms after the onset of the recognition words）.

In conclusion， results indicated that compared with linguistic symbolic representation， perceptual symbolic representation had a delayed influence on vocabulary encoding. It promoted deep encoding processing of vocabulary and improved the efficiency of vocabulary semantic retrieval through perceptual simulation in the recognition process， thereby implicitly improving the semantic recognition of vocabulary.

Keywords" semantic representation， foreign language vocabulary learning， linguistic symbol， perceptual symbol， EEG

收稿日期： 2023-01-17

* 河北省教育廳科學研究項目（BJS2024082）資助。

通信作者： 王漢林， E-mail： wanghanlin@hebtu.edu.cn