在日常人際溝通的情境下,個體會頻繁使用手勢作為語言表達的補充,各類手勢構成了一個復雜而富有意義的非言語交流體系。眾多研究學者提出手勢不僅是思維過程的外顯標志,還能通過動作編碼重構認知圖式,極大地提升知識建構效率。盡管學界對手勢分類體系尚未達成共識,但對手勢認知價值的探索已延伸至多學科領域。
經典認知心理學從不同角度詮釋了手勢功能。日本心理學家喜多壯太郎(SotaroKita)等強調手勢發揮著自我導向的認知工具作用,通過概念化過程一包括信息的激活、操作、結構化及探索一實現了思維可視化。2美國心理學家奧特姆·B.霍斯泰特(AutumnB.Hostetter)和瑪莎·W.阿利巴利(MarthaW.Alibali)則將手勢視為內在心智模擬的體現,是思維過程的物理外化。3實際上,傳統理論在某種程度上未能充分認識到手勢蘊含的指示信息和特定的文化意義,只是將手勢簡化為思維的外顯化工具,忽視了其在身體動作與環境交互中對認知重塑的作用。正是經典范式的解釋不足推動了具身認知理論的發展。具身認知理論將手勢界定為身體認知的延伸,是認知活動的具象化輸出。該理論認為兩種機制可重塑語言認知一具身模擬和具身隱喻。因此手勢不僅是言語交流的伴隨現象,也是身體經驗參與認知加工的具象化表征。
本研究以具身認知理論為框架,探討手勢如何以獨特的方式在語言學習中發揮作用,尤其是在語言學習者對語言的掌握與對世界的認知過程中,具身模擬是如何通過身體動作的再現促進思維的直觀化和概念的內化以及具身隱喻是如何通過身體經驗與抽象概念之間的映射深化我們對語言符號背后深層意義的理解和搭建文化認知的跨模態通路。
一、手勢的認知雙重作用
傳統認知科學將認知過程類比為計算機對符號的加工過程,計算機和人腦被視為加工和操縱符號的形式系統,卻割裂了身體經驗對認知結構的作用4,形成了典型的離身性認知框架。然而具身認知突破了這種二元對立格局,提出身體不僅是認知發生的場所,而且是認知過程不可分割的一部分。語言理解本質上是感官運動經驗的模擬過程。根據身體在認知過程中發揮作用的不同,認知理論可分為三類:非具身觀即傳統認知主義,主張身體與認知完全分離;弱具身觀一定程度上承認身體影響符號表征內容;強具身觀撰棄傳統認知表征理論,主張認知產生于身體與環境活動的動態過程,身體結構和經驗對認知的形成具有決定性作用。
語言是人類交流的主要方式,具身認知自然也會涉及人類語言。具身模擬與具身隱喻是該理論兩個核心概念。具身模擬通過鏡像神經系統再現身體經驗,如人在理解奔跑時會激活腿部運動區的神經。具身隱喻的建構依托身體經驗向抽象域的跨域映射,如“權力即高度”的空間隱喻就是一個典型的例子。漢語成語的語義加工會激活面部運動相關腦區。5抽象道德概念的理解則會觸發前扣帶回與內臟感覺皮層的協同激活。大量研究表明,身體經驗的多模態整合是語言認知的本質特征。
在人類認知演進中,手勢作為認知的直觀映射深深嵌入語言學習中。語言與手勢之間具有時空協同性。時空同步機制與神經資源共享構成多維度的語義表征網絡的基礎。英國學者亞當·肯頓(AdamKendon)的團隊通過行為學實驗證實言語輸出與手勢動作呈現顯著的時空同步現象:語義檢索障礙會導致手勢停滯,而復雜概念表述則伴隨手勢頻率與幅度的同步提升。8這種同步性現象表明手勢并非語言的附屬品,而是與語言共享認知資源的平行表征系統。動作描述語句生成過程也存在手勢同步現象。除此之外,手勢和語言在兒童時期是共同發展的,意味著失語癥患者的手勢發展會受到阻礙。以上研究表明,手勢與語言二者聯系緊密。手勢與語言是構成雙向增強的認知回路的要素,而非單向的依附關系。
從具身認知角度來看,手勢在語言認知中具有雙重功能,既是動作經驗的具象化外顯,又是抽象概念的隱喻載體。兒童借助上升手勢理解“成長\"抽象概念的過程,實質是在重構身體經驗與符號系統的動態互動。鑒于語言和手勢的緊密聯系,手勢在語言理解和學習過程中扮演著不可忽視的角色。本研究從具身認知視角出發,從具身模擬和具身隱喻兩個方面深入探討手勢在語言學習中的作用,以及手勢的具身認知價值給語言教學方面帶來的創新思路。
二、語言習得中手勢的具身模擬作用
具身語義理論認為語義理解根植于身體經驗與動作模擬的過程中,而非抽象符號的邏輯運算系統。鏡像神經系統的功能在這一理論框架下被突出為解析動詞意義與動作意圖捕捉的共享神經機制,通過將感覺輸入轉化為基于個體的第一人稱體驗實現認知的具身化介入。10手勢作為身體動作的外顯化表達,已被多項研究證實在認知過程中承擔著感官運動經驗與語言符號的媒介功能。
具身模擬機制涉及觀察動作、環境以及內在身體感受的再現,深度參與語言學習。美國認知心理學家蘇珊·瓦格納·庫克(SusanWagnerCook)的一項研究表明,伴隨手勢的詞匯教學能顯著提升語義記憶效率,手勢模擬也能增強兒童對概念的內化。[]有關二語習得的相關研究證實,手勢通過提供視覺一運動線索,能幫助學習者突破語言障礙,特別是在理解指代關系中展現獨特的優勢。12]盡管兒童語言理解受到手勢類型、年齡差異、內容難度以及先前經驗等多種因素的影響,但學界關于手勢對兒童的語言的確切影響尚未達成一致的結論。研究發現,一些特定類型的手勢已對兒童的語言理解產生積極影響,如節奏性手勢與敘事相結合能顯著提升學前兒童的情景推理能力,互補性手勢除補充語言表達信息之外,還能提升兒童對簡單語言的理解速度。13]
相關神經科學研究發現當個體聽到或閱讀與動作相關的詞匯時,大腦運動皮層會激活與執行該動作相似的神經回路,證實語言加工與感覺運動系統之間存在神經耦合機制。14漢語動作成語“手舞足蹈\"的語義加工過程會誘發與手部、腿部運動相關的腦區的神經響應。15研究發現,手勢作為模擬機制的物理載體,能動態再現語言概念理解,為語義理解提供了直觀的感官運動的編碼通道。
三、語言習得中手勢的具身隱喻作用
隱喻是將一個認知域中的概念映射到另一個認知域,從而構建起一座意義橋梁。這種映射過程是自然而然地融入人類的語言和思維中的。隱喻不僅是語言藝術的裝飾,也是洞察人類認知演進和思維本質的窗口。概念隱喻理論認為抽象概念的認知建構依賴身體經驗與物理世界的跨域映射[16隱喻在其中充當了從具體到抽象轉換過程中的媒介。身體的動作乃至細微的手勢都成為隱喻的實體體現,深刻影響人們對復雜概念的解讀與溝通。手勢在特定情景下承擔隱喻功能,可以反映事物的抽象屬性。“權力即高度”的空間隱喻通過垂直手勢的具象化表征完成認知編碼,而“時間如流水”這一動態隱喻則借由手部水平滑動得以表達。利用手勢來表達抽象概念的形式不僅降低了抽象概念的認知負荷,提升信息處理能力,而且能通過多感官整合路徑進一步優化語義加工效率。
行為學研究為手勢的隱喻功能提供了豐富的實證證據。一份來自美國的心理學家羅恩·弗里德曼(RonFriedman)和安德魯·J.艾略特(AndrewJ.Elliot)的研究表明,當人們做出交叉手臂的動作時,他們在解決復雜字謎任務上會展現出更強的耐力與更高的準確性。這歸因于該姿勢所賦予的心理力量感。而象征性手勢,如模擬物體形狀,則通過空間映射深化抽象概念的理解。手勢的隱喻作用會因個體生理特征而存在顯著差異。右利手群體更傾向將積極情感與右側空間關聯,而左利手群體則呈現鏡像效應。[18]
這種“身體特異性\"不僅體現在日常手勢中,在跨語言手語系統中也存在。手語作為人類語言的一種表達形式,遠超出單純手勢疊加的范疇。隱喻作為手語的精髓之一,極大地拓寬了手語的語義維度。但是手語的表達深受文化背景的影響,因此世界手語系統呈現出多樣性的景象。美國手語(AmericanSignLanguage,縮寫為ASL)通過手指伸展來模擬“知識傳播\"這一抽象概念,而中國手語則通過雙手聚合動作表征“智慧積累”。
手語與日常手勢在信息傳遞上雖有交集,但其實二者在本質上存在差異。加拿大認知神經科學家亞倫·J.紐曼(AaronJ.Newman)的團隊突破性地從神經科學層面進行解釋[19],通過功能性磁共振成像(Functional Magnetic Resonance Imaging,縮寫為fMRI)技術,觀察了19名先天失聰的ASL母語者與19名聽力正常的非手語使用者在處理語言信號時的大腦活動。研究結果顯示,在失聰參與者中,ASL中的運動動詞更多地激活了大腦左半球與語言加工相關的區域,且激活強度更為顯著,與處理傳統語言的方式相似。相反,聽力正常的參與者在處理ASL動詞和一般手勢時,大腦的兩個半球均顯示出與人體運動感知相關的活躍,而非典型語言處理區域。這說明手語在使用者的大腦中被視作一種具有結構化的語言成分處理,而非簡單的視覺圖像。
四、手勢的具身認知價值與教育實踐革新
認知行為是身體、環境與任務實時交互的產物,而手勢在此過程中扮演著動態調節器的角色。語言學習者在學習過程中會自發產生手勢的動作軌跡、運動幅度與言語節奏的非線性耦合。例如,上文中提到解釋抽象概念時,手勢頻率與口語停頓呈現負相關,表明手勢通過認知資源優化機制實現功能補償。當前研究可以通過運動捕捉技術與語音分析系統進行量化建模,構建“手勢-語音相位同步指數”,建立具身認知動態特性的量化分析框架。未來實驗設計可引入虛擬現實交互環境,要求學習者在虛擬環境中通過手勢操縱三維語義符號,同步采集肌電信號與眼動數據,來研究手勢如何通過多模態協調機制來增強語言加工的流暢性。
構建具身化語言教學模型的核心在于將手勢從輔助工具升級為認知干預手段。在初級詞匯教學模塊中,可以設計“手勢-語義映射訓練”,讓學習者通過特定動作形態來激活相應的感覺運動網絡,如手掌開合模擬“膨脹”概念。研究人員還可以利用功能性近紅外光譜技術(FunctionalNear-InfraredSpectroscopy,縮寫為fNIRS)監測運動皮層與角回的神經耦合強度,以此建立神經激活模式與詞匯習得效率的量化關聯模型。
虛擬現實技術的突破為手勢的具身認知研究開辟了新維度。在元宇宙語言課堂中,手勢交互系統能讓學習者通過手勢操縱虛擬對象的物理屬性如拉伸時間軸,旋轉文化符號等,這種沉浸式學習環境能夠顯著強化隱喻建構。例如,教師可以在漢語成語教學中引入手勢敏感型VR課程,學習者通過手勢來模擬“怒發沖冠\"的面部肌動模式,再配合實時生物力學反饋系統,將抽象語義具象化為可操作的身體經驗。這一技術路徑不僅突破了傳統教學的時空限制,而且能夠重塑語言習得的神經編碼機制。
跨文化視角下的研究發現手勢的具身效應帶有文化基因編碼的特征。中國手語中“智慧積累”使用的是雙手聚合手勢,這一手勢相較于美國手語的單手指引動作,更能激活顳頂聯合區的文化語義網絡。這種差異體現了兩種文明的認知差異,前者強調集體經驗,后者側重個體經驗。不僅如此,跨文化語言學習者的手勢偏好會隨訓練時長發生適應性重組,逐漸向目標語母語者的手勢偏好靠近。因此,語言教育應開發相應文化的手勢數據庫,如為阿拉伯語教學模塊開發符合從右向左書寫習慣的手勢系統。
如上所述,手勢在語言教學中的核心價值體現在三個方面:第一,視覺-運動通道的信息分流機制優化工作記憶資源,增強語義網絡穩定性;第二,概念深度理解作為具身認知的核心環節,手勢將抽象概念具象化。實證研究數據表明手勢介人能將抽象關系轉換為可操作的身體經驗,并顯著提升概念內化速度。但是跨文化教學需要考慮手勢的文化特異性,不同文化背景下的動作符號存在認知解碼的差異;第三,自我產生的手勢通過本體感覺編碼強化記憶痕跡,而伴隨手勢的詞匯教學能夠提高兒童新詞記憶保持率。
因此未來我們可以重構教育實踐,將手勢訓練嵌入語言課程標準,建立從幼兒園到成人的漸進式具身教學體系;開展教師的多模態教學能力專項培訓;構建人工智能手勢輔助系統,實現課堂手勢數據的實時分析與教學優化。
未來語言的教育范式將從“聽覺主導\"的單通道模式轉變為“具身沉浸”的多模態范式。未來研究可集中在三個關鍵領域:跨文化語言學習者手勢表征的腦區遷移模式、特殊教育中的手勢干預方案以及多模態學習環境的神經適應機制。具身認知理論的進一步發展和人類語言習得范式的創新將呈現雙向饋贈關系。
五、結語
作為具身認知的核心載體,手勢通過具身模擬和概念隱喻的雙重建構,動態參與語言習得與理解的認知過程。具身模擬機制揭示了手勢認知價值遠超語言附屬物。抽象符號通過動作轉化為可體驗的身體經驗,并將語言學習過程從被動感知轉變為主動感受。具身隱喻機制揭示了手勢在語言認知中的雙重角色,一方面,手勢可以通過身體經驗降低抽象語義的理解門檻;另一方面,手勢可以通過文化編碼豐富語言的表達維度。手勢的具身功能能夠優化語言學習效果,并為多模態語言教學提供理論依據。基于整合手勢的多模態教學設計能促進學習者從“身體經驗\"到“概念抽象\"的認知躍遷以及優化學習者的語義整合效率,在兒童語言習得和二語習得領域具有巨大的應用潛力。未來我們需要構建一個從幼兒園到成人的漸進式具身教學體系,引入支持手勢的人工智能系統,實現多模態數據實時分析,推動語言教育從聽覺主導范式向具身沉浸范式轉型。未來研究可以進一步探索手勢隱喻的神經可塑性、手勢表征跨文化遷移模式中的腦區遷移規律、特殊教育干預方案、多模態神經適應機制及其與技術媒介的融合路徑等方向。
參考文獻
[1]伍珍,郭睿.嬰兒指示性手勢與其語言學習的關系[J].心理科 學進展,2017(10):1705-1712.
[2]Sotaro Kita,MarthaW.Alibali,Mingyuan Chu.Howdo Gestures Influence Thinking and Speaking? The Gesture-forConceptualization Hypothesis[J].Psychological Review, 2017(3):245-266.
[3]AutumnB.Hostetter,MarthaW.Alibali.Visible Embodiment: Gestures as Simulated Action[J].Psychonomic Bulletin amp; Review,2008(3):495-514.
[4]LawrenceW.Barsalou.Grounded Cognition:Past,Present, and Future[J]. Topics in Cognitive Science,2010(4):716-724.
[5][15]蘇得權,鐘元,曾紅,等.漢語動作成語語義理解激活腦區 及其具身效應:來自 fMRI的證據[J].心理學報,2013(11): 1187-1199.
[6]Joshua D.Greene,Leigh E.Nystrom,Andrew D.Engell,et al.TheNeural Bases of Cognitive Conflict and Control in Moral Judgment[J].Neuron,2004(2):389-400.
[7]Francis Quek,David McNeill,Robert Bryll,etal.Multimodal Human Discourse:Gesture and Speech[J].ACM Transactions on Computer-Human Interaction(TOCHI),2002(3):171-193.
[8]Adam Kendon.Gesture:Visible Action as Utterance[M]. Cambridge:Cambridge University Press,2oo4:76-81.
[9]David McNeill.Hand and Mind:What Gestures Reveal about Thought[M].Chicago:The University of Chicago Press,1992: 295-334.
[10]Vittorio Gallese,PierF.Ferrari,Maria A.Umilta.The MirorMatching System:ASharedManifoldfor Intersubjectivity[J].Behavioral and Brain Sciences,2002(1): 35-36.
[11]Susan W.Cook,Susan Goldin-Meadow. The Role of Gesture in Learning:Do Children Use Their Handsto Change Their Minds?[J]. Journal of Cognition and Development,2006(2): 211-232.
[12]Ayano Sueyoshi,Debra M.Hardison.The Role of Gestures and Facial Cues in Second Language Listening Comprehension [J].Language Learning,2005(4):661-699.
[13]Judith Llanes-Coromina,Ingrid Vila-Gimenez,Olga Kushch, et al.Beat Gestures Help Preschoolers Recall and Comprehend Discourse Information[J].Journal of Experimental Child Psychology,2018(172):168-188.
[14]Friedemann Pulvermuller,FerathKherif,Olaf Hauk,etal. Distributed Cell Assemblies for General Lexicaland CategorySpecific Semantic Processing as Revealed by fMRI Cluster Analysis[J].Human Brain Mapping,2009(12):3837-3850.
[16]George Lakoff,Mark Johnson.Philosophy in the Flesh:The Embodied Mind and Its Challenge to Western Thought[M]. New York:Basic Books,1999:3-22.
[17]Ron Friedman,Andrew J.Ellot.The Effect of Arm Crossing onPersistence and Performance[J].European Journal of Social Psychology,2008(3):449-461.
[18]Daniel Casasanto,Kyle Jasmin.Good and Bad in The Hands of Politicians:Spontaneous Gestures during Positive and Negative Speech[J].Plos One,2010(7):el1805.
[19]Aaron J.Newman,Ted Supalla,Nina Fernandez,etal.Neural SystemsSupportingLinguisticStructure, Linguistic Experience,and Symbolic Communication in Sign Language and Gesture[J].Proceedings of the National Academy of Sciences,2015(37):11684-11689.