混合現(xiàn)實(shí)環(huán)境中具身交互如何促進(jìn)科學(xué)概念理解

黃紅濤　孟紅娟　左明章　鄭旭東

摘要：具身認(rèn)知和混合現(xiàn)實(shí)是當(dāng)代認(rèn)知科學(xué)和信息技術(shù)創(chuàng)新發(fā)展的兩大前沿，推動(dòng)教育研究與實(shí)踐的范式發(fā)生深刻變化。具身認(rèn)知強(qiáng)調(diào)身體參與認(rèn)知過程的理論觀點(diǎn)對促進(jìn)科學(xué)概念的理解具有獨(dú)特作用，而混合現(xiàn)實(shí)為學(xué)習(xí)者的具身參與和交互提供了技術(shù)支撐。基于此建構(gòu)具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境，是打破虛擬環(huán)境和實(shí)體環(huán)境之阻隔，讓學(xué)習(xí)者充分使用自己的身體開展各種認(rèn)知活動(dòng)，真正促使學(xué)生從“離身”走向“具身”，并促進(jìn)其對科學(xué)概念深度理解的重要途徑。當(dāng)前實(shí)踐領(lǐng)域已有不少研究通過設(shè)計(jì)能夠激發(fā)具身交互的情境和活動(dòng)，來幫助學(xué)習(xí)者對科學(xué)、地理、數(shù)學(xué)和生物等學(xué)科知識進(jìn)行深度理解，并認(rèn)為具有顯著效果。然而這些研究更多是在特定的技術(shù)創(chuàng)新及其約束性條件下驅(qū)動(dòng)的，沒有將研究焦點(diǎn)明確置于技術(shù)創(chuàng)新在教育境脈中的功效之上，也沒有回答“如何有效”和“為何有效”的深層科學(xué)問題。因而，未來混合現(xiàn)實(shí)環(huán)境中具身交互促進(jìn)科學(xué)概念理解的研究應(yīng)在兩個(gè)方面著力：一是逐步發(fā)展一套能在混合現(xiàn)實(shí)環(huán)境中有效促進(jìn)科學(xué)概念理解的具身交互策略，二是在實(shí)證研究中逐步揭示混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中具身交互促進(jìn)科學(xué)概念理解的認(rèn)知加工機(jī)制。

關(guān)鍵詞：具身認(rèn)知;混合現(xiàn)實(shí);學(xué)習(xí)環(huán)境;概念理解;深度學(xué)習(xí)

中圖分類號：G434? ?文獻(xiàn)標(biāo)識碼：A? ? 文章編號：1009-5195（2018）06-0028-09? doi10.3969/j.issn.1009-5195.2018.06.004

*基金項(xiàng)目：國家科技支撐計(jì)劃課題“科技館建設(shè)及展示展教關(guān)鍵技術(shù)研究”（2015BAK33B02）;華中師范大學(xué)中央高校基本科研業(yè)務(wù)費(fèi)項(xiàng)目“面向特殊人群的無障礙展教技術(shù)研究”（CCNU18TS041）。

作者簡介：黃紅濤，工程師，華中師范大學(xué)信息化辦公室;孟紅娟，工程師，華中師范大學(xué)教育信息技術(shù)學(xué)院國家級文科綜合實(shí)驗(yàn)教學(xué)示范中心;左明章，教授，博士生導(dǎo)師，華中師范大學(xué)教育信息技術(shù)學(xué)院;鄭旭東（通訊作者），教授，博士生導(dǎo)師，華中師范大學(xué)教育信息技術(shù)學(xué)院（湖北武漢 430079）。

一、基于具身認(rèn)知觀點(diǎn)對概念理解的探索

具身認(rèn)知是一種反對笛卡爾身心二元論的哲學(xué)思潮，它經(jīng)由認(rèn)知科學(xué)和心理學(xué)而逐漸進(jìn)入教育學(xué)，陸續(xù)引發(fā)各種學(xué)習(xí)和教學(xué)理論不斷涌現(xiàn)，驅(qū)動(dòng)教學(xué)實(shí)踐的內(nèi)容、方式、過程及其效果評估發(fā)生變革。具身認(rèn)知強(qiáng)調(diào)認(rèn)知根植于身體行動(dòng)，經(jīng)驗(yàn)建構(gòu)于具身交互。更確切地講，人的身體在認(rèn)知過程中發(fā)揮著非常關(guān)鍵的作用，認(rèn)知是通過身體、心靈和環(huán)境的交互作用而形成的。

對具身認(rèn)知的探討始于對心智具身性的思考。瓦雷拉（Francisco J. Varela）、湯普森（Evan Thompson）和羅施（Eleanor Rosch）所著的《具身心智》就是一個(gè)原典，它的許多主題——認(rèn)知科學(xué)對計(jì)算主義忠誠的幻滅、對吉布森主義和聯(lián)結(jié)主義認(rèn)知進(jìn)路的同情、對表征概念在認(rèn)知解釋上過度作用的懷疑、對知覺和認(rèn)知必須與行動(dòng)相聯(lián)的自信——在具身認(rèn)知中已經(jīng)上升為教條的地位（Varela et al.，1991）。隨后，克拉克（Andy Clark）、西倫（Rsther Thelen）、史密斯（Linda B. Smith）、威爾遜（Margaret Wilson）、夏皮羅（Lawrence Shapiro）等人也紛紛加入到具身認(rèn)知的研究陣營，使具身認(rèn)知的輪廓變得更加清晰。與此同時(shí)，“心智活動(dòng)包括腦、身體和世界以及它們之間的交互作用”這一核心思想也日益受到推崇，并引起博爾吉（Anna M. Borghi）、卡薩桑托（Daniel Casasanto）、約斯特曼（Nils B. Jostmann）、尼登塔爾（Paula M. Niedenthal）等很多實(shí)驗(yàn)心理學(xué)家的關(guān)注，這使得人們對具身心智的探討從思辨走向?qū)嵶C和實(shí)驗(yàn)。具身認(rèn)知的研究也開始利用神經(jīng)科學(xué)的方法和技術(shù)、數(shù)據(jù)和結(jié)論，把認(rèn)知對身體及其感覺運(yùn)動(dòng)系統(tǒng)的依賴性帶進(jìn)人們的視野，其理論的科學(xué)化水平不斷提高，具身認(rèn)知科學(xué)開始登上認(rèn)知研究的歷史舞臺。

隨著具身認(rèn)知科學(xué)的興起，傳統(tǒng)認(rèn)知科學(xué)所堅(jiān)持的概念與思維的非模態(tài)理論——人類通過感知覺獲得的信息可以轉(zhuǎn)化為抽象的非模態(tài)符號，思維的過程就是對非模態(tài)符號信息提取與加工的過程——開始受到越來越多的挑戰(zhàn)。從具身認(rèn)知的觀點(diǎn)出發(fā)對概念理解的研究，最具煽動(dòng)性的辯護(hù)之一是建立在對思維中隱喻作用的分析之上。語言學(xué)家萊考夫（George Lakoff）和約翰遜（Mark Johnson）是該領(lǐng)域的杰出人物。他們在對大量隱喻現(xiàn)象進(jìn)行分析后指出：隱喻不僅是一種語言修辭手段，更反映了人類認(rèn)知的重要特征;人類的抽象概念系統(tǒng)是以感知覺經(jīng)驗(yàn)和具體概念為基礎(chǔ)發(fā)展形成的，抽象概念的加工與對其進(jìn)行隱喻化描述的身體經(jīng)驗(yàn)密切相關(guān)（Lakoff & Johnson，1980）。以此為基礎(chǔ)，萊考夫和約翰遜（Lakoff & Johnson，1999）提出了頗具影響力的概念隱喻理論，進(jìn)一步確立了身體經(jīng)驗(yàn)在概念理解中的重要地位。與此同時(shí)，Barsalou（1999）提出了知覺符號理論。該理論主張概念表征不是一種獨(dú)立的抽象符號或心理表象，而是神經(jīng)表征;人是以體認(rèn)的方式認(rèn)識世界，概念與思維的實(shí)現(xiàn)必須通過人的身體經(jīng)驗(yàn)，而不是依靠超驗(yàn)和抽象符號。

很多研究表明：在對概念進(jìn)行加工和處理的過程中，感覺和運(yùn)動(dòng)系統(tǒng)會(huì)被激活（Mahon et al.，2008）。神經(jīng)科學(xué)的相關(guān)基礎(chǔ)研究對上述觀點(diǎn)進(jìn)行了驗(yàn)證，并進(jìn)一步揭示了其具體的工作機(jī)制。Pulvermüller（2005）的一項(xiàng)研究表明：當(dāng)用穿顱磁刺激（Transcranial Magnetic Stimulation）的亞閾值對手臂活動(dòng)進(jìn)行刺激時(shí)，運(yùn)動(dòng)區(qū)域通常會(huì)被激活。當(dāng)強(qiáng)磁脈沖引起右手肌肉收縮時(shí)，被試對與手部相關(guān)單詞的處理速度會(huì)比與腿部相關(guān)單詞的處理速度更快。由此可以證明：與行動(dòng)相關(guān)的神經(jīng)托換（neural underpinning）有助于對概念的理解。最新的研究則進(jìn)一步闡明了基于具身認(rèn)知觀點(diǎn)的交互促進(jìn)概念習(xí)得的具體工作機(jī)制。Dackermann等人（2017）發(fā)現(xiàn)：在空間與概念之間建立起映射、個(gè)人空間不同區(qū)域之間的動(dòng)態(tài)交互、不同空間參照系的整合是影響具身交互中概念習(xí)得的三個(gè)主要潛在因素。他們以數(shù)量關(guān)系這個(gè)概念的習(xí)得為例，具體闡明了這一工作機(jī)制：通過全身的運(yùn)動(dòng)把數(shù)量和空間聯(lián)系在一起，這涉及到個(gè)人空間不同區(qū)域之間的交互作用和不同空間參照系的整合，二者會(huì)激活一個(gè)映射過程，通過這個(gè)映射過程，學(xué)習(xí)者會(huì)建立空間-數(shù)量的心理表征，而這一心理表征的建立會(huì)增進(jìn)其對數(shù)量這一概念的理解，并促使學(xué)習(xí)者超越空間-數(shù)量聯(lián)結(jié)對數(shù)字進(jìn)行加工和處理。

具身認(rèn)知的理論觀點(diǎn)對促進(jìn)科學(xué)概念的理解具有獨(dú)特作用。與日常概念不同，科學(xué)概念是一個(gè)對某些自然現(xiàn)象進(jìn)行解釋的想法或模型。比如，我們對物體落到地球上這個(gè)自然現(xiàn)象的理解就是通過重力這個(gè)科學(xué)概念得到解釋的。科學(xué)概念具有明確的內(nèi)涵和外延，即它所包含的知識內(nèi)容是具體且明確的，它能夠解釋的現(xiàn)象范圍也是具體且明確的。因此對科學(xué)概念的理解也涉及兩個(gè)層面：一是掌握這個(gè)概念包含的知識內(nèi)容，二是利用概念對特定的自然現(xiàn)象進(jìn)行解釋。聶波特等人（Niebert et al.，2012）提出，對科學(xué)概念的理解是需要具身的，因?yàn)閷W(xué)生在從日常知識向科學(xué)概念不斷深入學(xué)習(xí)的過程中，隱喻和模擬發(fā)揮著關(guān)鍵作用，這一點(diǎn)在過去20年的科學(xué)教育研究中已經(jīng)成為學(xué)界的共識，而隱喻和模擬正是具身認(rèn)知科學(xué)對概念理解所持的基本觀點(diǎn)。在科學(xué)概念的教學(xué)中，一個(gè)好的教學(xué)隱喻和教學(xué)模擬，是需要有具身來源的。這種具身來源主要表現(xiàn)為日常經(jīng)驗(yàn)，而這些日常經(jīng)驗(yàn)通常被概念化在一些諸如容器、路徑、平衡、上下之類的圖式之中。也正是在這一意義上，具身交互對科學(xué)概念的理解才具有獨(dú)特的促進(jìn)作用。

二、人機(jī)交互領(lǐng)域?qū)呱斫换ピO(shè)計(jì)的研究

交互設(shè)計(jì)的概念產(chǎn)生于20世紀(jì)80年代。它由美國人比爾·莫格里奇（Bill Moggridge）在1984年的一次設(shè)計(jì)會(huì)議上提出。20世紀(jì)90年代后期，人機(jī)交互的研究重點(diǎn)逐步擴(kuò)展到智能化交互、多模態(tài)-多媒體交互、虛擬交互及人際協(xié)同交互等方面，也就是“以人為中心”的人機(jī)交互上，并取得了顯著進(jìn)展。理論方面，交互設(shè)計(jì)從人機(jī)工程學(xué)中獨(dú)立出來，更加強(qiáng)調(diào)認(rèn)知心理學(xué)、行為學(xué)和社會(huì)學(xué)等學(xué)科的理論指導(dǎo)。實(shí)踐方面，交互設(shè)計(jì)從人機(jī)界面拓延開來，強(qiáng)調(diào)計(jì)算機(jī)對于人的反饋交互作用。在國外，交互設(shè)計(jì)已成為一個(gè)與視覺設(shè)計(jì)、產(chǎn)品設(shè)計(jì)等設(shè)計(jì)領(lǐng)域密切相關(guān)的學(xué)科領(lǐng)域，并取得了豐碩的研究成果，如庫珀等（Cooper et al.，2007）的《About Face 3：交互設(shè)計(jì)精髓》、蒂德韋爾（Tidwell，2010）的《設(shè)計(jì)接口：有效交互設(shè)計(jì)的模式》等，都是交互設(shè)計(jì)領(lǐng)域的代表作，在交互產(chǎn)品邏輯設(shè)計(jì)、界面設(shè)計(jì)及用戶體驗(yàn)設(shè)計(jì)等方面發(fā)揮著重要的引領(lǐng)作用。

值得注意的是，20世紀(jì)90年代后期，人機(jī)交互領(lǐng)域開始引入胡塞爾的現(xiàn)象學(xué)，日益重視交互的具身性。“具身”具有三方面的含義，分別是生理性或解剖學(xué)意義上的，作為習(xí)得性機(jī)能的，以及社會(huì)浸浴下的（Dreyfus，1996）。而所謂交互的具身性是指交互是一種與上述三方面密切關(guān)聯(lián)的現(xiàn)象，它發(fā)生于這個(gè)世界中，包括應(yīng)對物理世界，處理社會(huì)關(guān)系，提供交互的形式、物質(zhì)和意義。Dourish（2001）出版的《行動(dòng)在哪里：具身交互的基礎(chǔ)》一書把“具身”確立為人機(jī)交互的一個(gè)基礎(chǔ)概念，奠定了人機(jī)交互領(lǐng)域內(nèi)具身交互研究的基石。人機(jī)交互的模式在經(jīng)歷了電子化交互、符號化交互、文本化交互、圖形化交互后，為有形化計(jì)算和社會(huì)化計(jì)算所取代，有形化計(jì)算和社會(huì)化計(jì)算的融合發(fā)展進(jìn)一步推動(dòng)了人機(jī)交互向具身型交互邁進(jìn)（Myers，1988）。

在理論上，人機(jī)交互領(lǐng)域?qū)呱斫换サ难芯吭从诤麪枺℉usserl，1965）生活世界觀的啟示。他認(rèn)為生活世界具有一種不言而明的特質(zhì)。哈貝馬斯（Habermas，1991）將這種自明性演繹為情境性，而伊德（Ihde，1990）則將其落實(shí)到人與技術(shù)之具身、詮釋、它異和背景關(guān)系的建立和轉(zhuǎn)換。生活世界的哲學(xué)闡釋為交互設(shè)計(jì)研究提供了多種啟發(fā)，作為場所或背景的生活世界使交互設(shè)計(jì)回歸日常生活。數(shù)字技術(shù)的目標(biāo)在于支持或增強(qiáng)，而不是擾亂人們的日常工作、學(xué)習(xí)和生活，因此它們應(yīng)該寓居于環(huán)境之中，成為支持人們?nèi)粘；顒?dòng)的一個(gè)有機(jī)組成部分。而“具身”正是人們面對日常世界的方式，是日常世界存在的屬性：它不僅指物理現(xiàn)實(shí)，還指社會(huì)參與狀態(tài)（Dourish，2001）。

具身交互拒斥人類認(rèn)知建基于抽象的信息加工這樣一種觀點(diǎn)，其研究焦點(diǎn)集中于實(shí)際參與和身體構(gòu)造在人機(jī)交互中是如何塑造人的知覺、經(jīng)驗(yàn)和認(rèn)知的。在具身認(rèn)知科學(xué)不斷進(jìn)步的加持下，特別是在現(xiàn)象學(xué)的引領(lǐng)下，人機(jī)交互領(lǐng)域有關(guān)具身交互的研究持續(xù)進(jìn)步。近年來，人機(jī)交互領(lǐng)域有關(guān)具身交互的研究進(jìn)展主要包括以下方面（Marshall et al.，2013）：全身交互為具身交互設(shè)計(jì)提供的新機(jī)遇被不斷開拓;應(yīng)用于人機(jī)交互中的現(xiàn)象學(xué)理論不斷得到發(fā)展;用于支撐具身交互的技術(shù)手段不斷進(jìn)步;身體操作促進(jìn)意義生成的更多細(xì)節(jié)得到解釋;輔助盲人的觸覺增強(qiáng)系統(tǒng)被創(chuàng)造出來;以認(rèn)知的具身、嵌入和延展為特征的認(rèn)知科學(xué)理論得到發(fā)展等。

三、具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境的構(gòu)建與應(yīng)用

混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境是一個(gè)利用混合現(xiàn)實(shí)技術(shù)構(gòu)造起來的計(jì)算機(jī)支持的學(xué)習(xí)環(huán)境。在該環(huán)境中，來自真實(shí)世界和虛擬世界的各種對象被整合到一個(gè)單一的學(xué)習(xí)進(jìn)程中。如果這個(gè)環(huán)境還具有支持具身交互的功能，那么它就可以被稱為“具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境”（Embodied Mixed Reality Learning Environment，簡稱EMRLE）。具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境是一個(gè)媒體融合型的交互式學(xué)習(xí)環(huán)境。它介于一個(gè)從真實(shí)現(xiàn)實(shí)環(huán)境到虛擬現(xiàn)實(shí)環(huán)境的連續(xù)統(tǒng)上，是增強(qiáng)現(xiàn)實(shí)環(huán)境與增強(qiáng)虛擬環(huán)境的融合體，且具有支持具身交互的功能。在該環(huán)境中，用于軌跡追蹤的魔杖、用來做筆記的電子白板之類的物理實(shí)體對象和使用技術(shù)設(shè)備投影出來的數(shù)字內(nèi)容之類的數(shù)字虛擬對象均被整合為一個(gè)整體（Milgram? et al.，1994）。

具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境大都具有以下四個(gè)顯著特征：一是多模態(tài)，至少有一個(gè)以上的實(shí)體空間環(huán)境與數(shù)字虛擬環(huán)境在同時(shí)運(yùn)行;二是增強(qiáng)現(xiàn)實(shí)，來自虛擬環(huán)境中用戶的視音頻信息被投射到真實(shí)世界中的參與者身上;三是增強(qiáng)虛擬，來自真實(shí)世界中用戶的視音頻信息被投射到虛擬世界中的參與者身上;四是富媒體交流，真實(shí)世界和虛擬世界中的參與者可借助各種技術(shù)設(shè)備與不同環(huán)境中的參與者進(jìn)行實(shí)時(shí)/非實(shí)時(shí)、面對面/非面對面的交流。這些特征讓具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境能夠打破虛擬環(huán)境和實(shí)體環(huán)境之間的阻隔，實(shí)現(xiàn)二者之間的融合，從而讓學(xué)習(xí)者能夠在其中使用自己的身體展開各種認(rèn)知活動(dòng)，讓學(xué)習(xí)從“離身”走向“具身”的新境界。

目前，最具代表性的具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境首推美國亞利桑那州立大學(xué)設(shè)計(jì)開發(fā)的“情境化多媒體藝術(shù)學(xué)習(xí)實(shí)驗(yàn)室”（Situated Multimedia Arts Learning Lab，簡稱SMALLab）（Birchfield et al.，2006）。SMALLab是一個(gè)使用了各種動(dòng)作捕捉設(shè)備，并嵌入了高度協(xié)同的教學(xué)法的教育平臺。它以為中小學(xué)教育創(chuàng)建一個(gè)變革型學(xué)習(xí)環(huán)境為目標(biāo)，以推進(jìn)具身認(rèn)知在學(xué)校教育與博物館教育中的應(yīng)用為使命。多年的應(yīng)用與研究表明：與其他類型的技術(shù)平臺和學(xué)習(xí)環(huán)境相比，SMALLab在促進(jìn)學(xué)生知識理解、提升學(xué)生協(xié)作質(zhì)量、提高教師教學(xué)水平等方面具有獨(dú)特優(yōu)勢（Bower et al.，2017）。

從技術(shù)層面來看，SMALLab是一個(gè)以實(shí)體教室為主，以計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、物聯(lián)網(wǎng)技術(shù)、紅外線傳感技術(shù)為輔的混合學(xué)習(xí)環(huán)境。它利用物理跟蹤器、感應(yīng)攝像頭、音頻揚(yáng)聲器、視頻投影儀等設(shè)備，以人的身體作為學(xué)習(xí)的接口，通過多種形式的感官輸入，與情境產(chǎn)生交互作用，營造逼真的臨場感和沉浸感，并激發(fā)學(xué)習(xí)者的參與感和挑戰(zhàn)欲，進(jìn)而體驗(yàn)、建構(gòu)和生成知識。SMALLab設(shè)置有12個(gè)動(dòng)力感應(yīng)攝像頭，將學(xué)習(xí)者的位置、姿勢和動(dòng)作等身體信息全程記錄下來，并傳送給計(jì)算機(jī)。在實(shí)驗(yàn)室頂部設(shè)有投影儀，它會(huì)在前方的橡膠地板上投射出一片區(qū)域，投影儀的光線交織在一起形成相應(yīng)的虛擬物，學(xué)習(xí)者可以在不接觸物體本身的情況下，通過肢體動(dòng)作與虛擬物進(jìn)行互動(dòng)，從而體驗(yàn)和探究與學(xué)習(xí)主題相關(guān)的知識和原理。除此之外，身處互動(dòng)空間周圍的其他學(xué)習(xí)者也可以看到學(xué)習(xí)場景中的媒體變化情形和人機(jī)互動(dòng)結(jié)果，并與他人進(jìn)行直接交流與實(shí)時(shí)協(xié)作。

從功能架構(gòu)層面來看，SMALLab主要包括場景建構(gòu)、多通道感知、動(dòng)態(tài)視覺、聲音反饋等模塊。其中，視覺傳感依靠安裝在活動(dòng)空間周圍的同步視頻攝像機(jī)來實(shí)現(xiàn)，主要用于跟蹤物體的運(yùn)動(dòng)速度、幅度、位置等。音頻傳感依賴于排列在互動(dòng)空間周圍的麥克風(fēng)來實(shí)現(xiàn)，它具有兩個(gè)功能：一是實(shí)時(shí)記錄學(xué)習(xí)者發(fā)出的聲音，以供后續(xù)的交互性練習(xí)使用;二是通過聲音分析模塊驅(qū)動(dòng)空間中的互動(dòng)媒體，提取音頻在音調(diào)、聲波上的相關(guān)特征，以描述學(xué)習(xí)者身體運(yùn)動(dòng)與其聲音之間的關(guān)系。聲音反饋模塊涉及的技術(shù)包括揚(yáng)聲器、低音炮音箱以及聲音處理與播放軟件等，其主要功能在于記錄聲音，以作為學(xué)習(xí)者自我反思的材料。視覺反饋主要是利用學(xué)習(xí)者收集和標(biāo)注的靜態(tài)與三維圖像、視頻片段等來實(shí)現(xiàn)，安裝在環(huán)境頂部的視頻投影可以在地板上呈現(xiàn)交互式的可視化內(nèi)容。數(shù)據(jù)建檔模塊主要負(fù)責(zé)對所有數(shù)據(jù)進(jìn)行即時(shí)存儲、傳感和反饋，這些數(shù)據(jù)將為學(xué)習(xí)的過程性評價(jià)提供依據(jù)。

SMALLab可以提供兩種典型的學(xué)習(xí)環(huán)境：一種是基于實(shí)體教室改造的SMALLab物理環(huán)境，它包括基本的桌椅、互動(dòng)空間以及攝像頭、揚(yáng)聲器、投影機(jī)等其他設(shè)備;另一種是基于各種技術(shù)營造的SMALLab虛擬環(huán)境，它包括樣式各異且可以不斷增長的場景庫，學(xué)習(xí)者可以根據(jù)不同的需求選擇不同的學(xué)習(xí)場景。虛擬環(huán)境的場景庫中包括多種主題的學(xué)科場景，例如生物、化學(xué)、物理、地理、語言、藝術(shù)等。除此之外，SMALLab還提供了一個(gè)開放源碼的軟件開發(fā)工具包，允許教師、學(xué)生以及第三方開發(fā)人員創(chuàng)設(shè)新的教學(xué)場景，并提供個(gè)性化、針對性的教學(xué)場景服務(wù)。

總體來看，SMALLab是一個(gè)利用交互式數(shù)字媒體，在多通道傳感框架上設(shè)計(jì)的混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境，它具有具身交互、多通道反饋、協(xié)作交流等特征。SMALLab為我們在理解和分析具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境提供了如下三方面的有益啟發(fā)：首先，SMALLab作為一個(gè)融合視覺、聽覺、觸覺等多種感官于一體的學(xué)習(xí)平臺，其在視覺傳感、音頻傳感、視覺反饋和聲音反饋等模塊上采用的技術(shù)設(shè)備和相關(guān)軟件，可以幫助學(xué)習(xí)者獲得多通道的感知與反饋信息，使學(xué)習(xí)者在不同感官通道上都能產(chǎn)生對應(yīng)的刺激和體驗(yàn)。其次，SMALLab互動(dòng)空間的設(shè)計(jì)，可為未來具身型學(xué)習(xí)環(huán)境的構(gòu)建提供參考和借鑒。為搭建類似于SMALLab的互動(dòng)空間，營造有利于學(xué)習(xí)者體驗(yàn)和理解抽象知識的場景，可將互動(dòng)區(qū)域設(shè)置在空間的中心，將桌椅及相關(guān)設(shè)備放置在空間周圍，將投影儀安裝在空間頂部，以向地面投射出可交互的虛擬物。最后，應(yīng)兼顧當(dāng)前教學(xué)方法和課程內(nèi)容的有機(jī)融合。換言之，具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境應(yīng)具有較強(qiáng)的靈活性和較多的可選擇性，便于與多元的教學(xué)方法和不同的課程內(nèi)容進(jìn)行有機(jī)融合，以期在滿足學(xué)習(xí)者多樣化需求的基礎(chǔ)上為其提供個(gè)性化的服務(wù)。

除了SMALLab之外，還有一些具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境，如CAVE、Meteor等。它們無一例外都使用了混合現(xiàn)實(shí)的若干關(guān)鍵技術(shù)。比如，它們除了圖形引擎和音頻引擎外，還使用傳統(tǒng)舞臺布景的特效引擎，以及在主題公園中常用的故事引擎，從而將各種觸覺和嗅覺設(shè)備構(gòu)造的虛擬現(xiàn)實(shí)和真實(shí)現(xiàn)實(shí)整合為一個(gè)整體，并實(shí)現(xiàn)體驗(yàn)捕捉和多感官增強(qiáng)。另外，它們還普遍使用力觸覺反饋技術(shù)、虛擬屏幕、自動(dòng)數(shù)字演員、眼動(dòng)追蹤、手勢跟蹤等。力觸覺反饋技術(shù)能為用戶提供虛擬環(huán)境生成的力感和觸感反饋。虛擬屏幕的使用可以使被試降低對電腦等硬件設(shè)備在空間上的依賴。自動(dòng)數(shù)字演員可以提供一個(gè)可與用戶進(jìn)行更直接交互的虛擬軀體和聲音。眼動(dòng)追蹤和手勢跟蹤可用于采集學(xué)習(xí)者學(xué)習(xí)過程中的各種基礎(chǔ)信息。

以SMALLab為代表的具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境通過設(shè)計(jì)能夠激發(fā)具身交互的情境和活動(dòng)，來有效促進(jìn)學(xué)習(xí)者科學(xué)、地理、數(shù)學(xué)、生物等學(xué)科知識的習(xí)得。有關(guān)具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境應(yīng)用研究最具有代表性的成果主要包括以下幾項(xiàng)：Birchfield等人（2009）以SMALLab為例，對學(xué)習(xí)者如何在具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中學(xué)習(xí)地球科學(xué)進(jìn)行了探索。他們在地球科學(xué)的課堂上使用SMALLab環(huán)境，以合作學(xué)習(xí)的方式對72名高中生進(jìn)行了為期3天的教學(xué)干預(yù)，并與傳統(tǒng)課堂進(jìn)行了對比研究。結(jié)果發(fā)現(xiàn)，在SMALLab環(huán)境中，師生之間的交流在數(shù)量上與傳統(tǒng)課堂相比顯著增強(qiáng)，且學(xué)生的學(xué)業(yè)成就水平顯著優(yōu)于傳統(tǒng)課堂。Johnson-Glenberg等人（2014）分別以化學(xué)滴定和疾病傳播的學(xué)習(xí)為例進(jìn)行了兩組研究。其操作模式均為前3天一組置于SMALLab環(huán)境中，另一組置于傳統(tǒng)課堂中;6天后兩組環(huán)境進(jìn)行互換。結(jié)果發(fā)現(xiàn)，基于具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中的學(xué)習(xí)者學(xué)業(yè)成就水平顯著優(yōu)于傳統(tǒng)課堂教學(xué)環(huán)境中的學(xué)習(xí)者，且教學(xué)干預(yù)（兩種環(huán)境）的順序?qū)ψ罱K學(xué)習(xí)結(jié)果沒有影響。進(jìn)一步分析表明，這種顯著性差異是由嵌入在具身型混合學(xué)習(xí)環(huán)境中的具身交互設(shè)計(jì)導(dǎo)致的。Lindgren等人（2016）在一所中學(xué)對學(xué)習(xí)者在一個(gè)混合現(xiàn)實(shí)技術(shù)營造的沉浸型、交互式學(xué)習(xí)環(huán)境中是如何學(xué)習(xí)萬有引力和行星運(yùn)動(dòng)進(jìn)行了研究，結(jié)果發(fā)現(xiàn)，通過全身活動(dòng)來演示物理學(xué)中的概念并對其中的關(guān)鍵思想進(jìn)行體驗(yàn)，可以產(chǎn)生顯著的學(xué)習(xí)進(jìn)步，不僅學(xué)到的東西更多，而且投入水平也更高，對科學(xué)的態(tài)度也更加正面和積極。

四、推進(jìn)混合現(xiàn)實(shí)環(huán)境中具身交互促進(jìn)科學(xué)概念理解的策略

傳統(tǒng)意義上認(rèn)為認(rèn)知只是大腦的功能。但新近的研究（Froese et al.，2014）表明：交互也能夠?qū)崿F(xiàn)認(rèn)知的功能，交互的動(dòng)力學(xué)潛在地引導(dǎo)著認(rèn)知，交互讓心智得以擴(kuò)展，從而把認(rèn)知轉(zhuǎn)載到環(huán)境中，進(jìn)而實(shí)現(xiàn)認(rèn)知的具身。這意味著身體的活動(dòng)是一個(gè)觸發(fā)學(xué)習(xí)的重要催化劑，自然狀態(tài)下人的身體和手勢在混合現(xiàn)實(shí)技術(shù)的支持下可以成為觸發(fā)具身學(xué)習(xí)的重要輸入變量。然而，當(dāng)前對這一問題的探索，在很大程度上是由特定的技術(shù)創(chuàng)新及其約束性條件驅(qū)動(dòng)的。這些研究通常都沒有把焦點(diǎn)明確地置于這些技術(shù)創(chuàng)新在教育境脈中的功效之上，多數(shù)研究僅僅回答了“是否有效”，但并沒有回答“如何有效”以及“為何有效”的深層科學(xué)問題。具體到利用混合現(xiàn)實(shí)技術(shù)支持學(xué)習(xí)者的具身交互，進(jìn)而促進(jìn)其對科學(xué)概念理解的研究上，也是如此。混合現(xiàn)實(shí)技術(shù)營造的學(xué)習(xí)環(huán)境可以讓學(xué)習(xí)者進(jìn)行計(jì)算機(jī)模擬，這已經(jīng)被證明非常有助于學(xué)習(xí)者對一些困難概念的理解，特別是在跨學(xué)科的STEAM教育中更是如此。虛擬現(xiàn)實(shí)技術(shù)構(gòu)造的交互界面具有具身的性質(zhì)，擴(kuò)展了學(xué)習(xí)者與計(jì)算機(jī)模擬進(jìn)行交互作用的模式。但這些新的具身交互方式對學(xué)習(xí)者概念理解和投入程度的影響及其背后深層的認(rèn)知機(jī)制卻一直沒有得到有深度的科學(xué)考察。

基于以上研究進(jìn)展及其面臨的挑戰(zhàn)，利用混合現(xiàn)實(shí)技術(shù)構(gòu)造具身型學(xué)習(xí)環(huán)境，基于具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境，開展相應(yīng)的具身交互設(shè)計(jì)，并把其應(yīng)用于對科學(xué)概念理解的教學(xué)，在科學(xué)和實(shí)踐上都具有重要意義。它不但可以推進(jìn)混合現(xiàn)實(shí)技術(shù)在教育境脈中的應(yīng)用，促進(jìn)實(shí)體空間環(huán)境與數(shù)字虛擬環(huán)境之間的融合與貫通;還可以發(fā)展出相應(yīng)的具身交互策略，有效地幫助學(xué)習(xí)者實(shí)現(xiàn)對科學(xué)概念的理解;更可以在基礎(chǔ)研究中深化對基于混合現(xiàn)實(shí)環(huán)境中具身交互和科學(xué)概念理解之認(rèn)知機(jī)制的認(rèn)識。但如何基于具身認(rèn)知科學(xué)，集成混合現(xiàn)實(shí)技術(shù)，利用包括腦電在內(nèi)的各種先進(jìn)的人體研究設(shè)備，推進(jìn)這項(xiàng)系統(tǒng)的研究工作？Lindgren等人（2013）針對如何推進(jìn)基于混合現(xiàn)實(shí)的具身學(xué)習(xí)研究曾提出過6條建議：第一，讓每一個(gè)學(xué)習(xí)者都能從基于身體的學(xué)習(xí)中獲益;第二，在基于混合現(xiàn)實(shí)的具身學(xué)習(xí)中要保持行動(dòng)和概念的一致性;第三，針對增強(qiáng)現(xiàn)實(shí)技術(shù)設(shè)計(jì)應(yīng)讓學(xué)習(xí)者明確增強(qiáng)的究竟是什么;第四，要為學(xué)習(xí)者引入各種進(jìn)行協(xié)同與合作型交互的機(jī)會(huì);第五，要把基于實(shí)驗(yàn)室場景的研究與現(xiàn)實(shí)世界中的實(shí)踐結(jié)合在一起;第六，要持續(xù)不斷地對基于混合現(xiàn)實(shí)的具身學(xué)習(xí)環(huán)境展開評估并基于評估結(jié)果進(jìn)行改進(jìn)。這6條建議為我們推進(jìn)未來研究提供了重要參考。

推進(jìn)混合現(xiàn)實(shí)環(huán)境中具身交互促進(jìn)科學(xué)概念理解的研究，不僅需要構(gòu)建一個(gè)基于混合現(xiàn)實(shí)技術(shù)、能有效支持科學(xué)概念理解的具身學(xué)習(xí)環(huán)境，還要發(fā)展一套能在混合現(xiàn)實(shí)環(huán)境中有效促進(jìn)科學(xué)概念理解的具身交互策略，更重要的是揭示混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中具身交互促進(jìn)科學(xué)概念理解的認(rèn)知加工機(jī)制。基于已有研究，未來具體的研究工作可以考慮從以下兩個(gè)方面著力。

1.構(gòu)建虛實(shí)結(jié)合的具身型學(xué)習(xí)環(huán)境并設(shè)計(jì)具身交互策略

在具身型學(xué)習(xí)環(huán)境的構(gòu)建上，有很多種技術(shù)路向可供選擇。比如，可以嘗試基于開源的Java類庫Open Wonderland，構(gòu)建一個(gè)交互式的3D虛擬環(huán)境。這個(gè)交互式的3D虛擬環(huán)境擴(kuò)展了多用戶架構(gòu)，可對學(xué)習(xí)活動(dòng)工作流進(jìn)行處理，具有在真實(shí)對象和虛擬對象之間建立起聯(lián)系，在實(shí)體空間和虛擬空間之間進(jìn)行多媒體信息交換，并對學(xué)習(xí)活動(dòng)進(jìn)行協(xié)調(diào)的能力。在這個(gè)交互式的3D虛擬環(huán)境中，核心組件是一個(gè)混合現(xiàn)實(shí)軟件套件。這個(gè)套件除了含有圖形引擎和音頻引擎外，還含有使用傳統(tǒng)舞臺布景的特效引擎，以及在主題公園中常用的故事引擎。它能把各種觸覺和嗅覺設(shè)備構(gòu)造的虛擬現(xiàn)實(shí)和真實(shí)現(xiàn)實(shí)整合為一個(gè)整體，并實(shí)現(xiàn)體驗(yàn)捕捉和多感官增強(qiáng)，從而實(shí)現(xiàn)實(shí)體環(huán)境與虛擬環(huán)境的無縫聯(lián)結(jié)，使學(xué)習(xí)者在這一環(huán)境中獲得無縫的混合現(xiàn)實(shí)體驗(yàn)（Cheok et al.，2002）。這樣構(gòu)建起來的具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境整合了實(shí)體和虛擬兩個(gè)場景，具有支持具身交互的特征。

充分發(fā)揮具身型學(xué)習(xí)環(huán)境的功能，需要有針對性地設(shè)計(jì)具身交互策略。具身的心智可以支持學(xué)習(xí)者在物理空間環(huán)境、時(shí)間動(dòng)態(tài)環(huán)境、社會(huì)文化環(huán)境和情感心理環(huán)境中展開的各種活動(dòng)。反過來說，學(xué)習(xí)者在物理空間環(huán)境、時(shí)間動(dòng)態(tài)環(huán)境、社會(huì)文化環(huán)境和情感心理環(huán)境中展開的各種活動(dòng)的耦合可以實(shí)現(xiàn)認(rèn)知的具身。這意味著通過設(shè)計(jì)能促進(jìn)學(xué)習(xí)者在上述四重環(huán)境中活動(dòng)耦合的具身交互策略，實(shí)現(xiàn)學(xué)習(xí)者認(rèn)知的具身。混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中具身交互策略的設(shè)計(jì)實(shí)質(zhì)就是探討如何通過讓學(xué)習(xí)者投入到與各種人造物的交互中來創(chuàng)設(shè)、操縱和分享意義，其核心目標(biāo)是通過動(dòng)覺交互（Kinesthetic Interaction）來實(shí)現(xiàn)學(xué)習(xí)者認(rèn)知的具身，關(guān)鍵環(huán)節(jié)在于利用各種數(shù)字技術(shù)調(diào)動(dòng)學(xué)習(xí)者身體的參與，實(shí)現(xiàn)基于全身的交互。混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中具身交互設(shè)計(jì)研究的議題主要包括三個(gè)層面。

首先，在具身交互所處境脈這一層面上，具身交互及交互界面創(chuàng)新設(shè)計(jì)的基本主題有二：一是如何根據(jù)信息生成意義以對情境有所意識，二是如何借助通訊設(shè)備展開及時(shí)協(xié)同。其次，在技術(shù)環(huán)境這一層面上，分別針對體感交互設(shè)備、混合現(xiàn)實(shí)環(huán)境和具身賦能用戶，探討如何設(shè)計(jì)有效的體感交互、空間交互和人際交互策略，讓用戶獲得最佳的具身體驗(yàn)。最后，在交互行為這一層面上，上述具身交互策略的設(shè)計(jì)需要綜合考慮技術(shù)環(huán)境設(shè)置的新穎程度、學(xué)習(xí)者認(rèn)知投入的水平、學(xué)習(xí)者身體行動(dòng)與意義建構(gòu)之間的聯(lián)結(jié)。通過對以上三個(gè)方面的探索，可以回答以下兩個(gè)科學(xué)問題：學(xué)習(xí)者是如何通過具身交互式系統(tǒng)與計(jì)算化的世界進(jìn)行交互的？他們是如何通過這些作為中介的交互手段和策略與他人互動(dòng)的？

2.在實(shí)證研究中揭示具身交互促進(jìn)科學(xué)概念理解的認(rèn)知機(jī)制

在認(rèn)知層面上，混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中具身交互策略的設(shè)計(jì)涉及如何協(xié)調(diào)處理以下6個(gè)要素的關(guān)系，以促進(jìn)學(xué)習(xí)者的具身交互，使其獲得最佳體驗(yàn)（Enyedy et al.，2015）。第一，動(dòng)覺，即肌肉運(yùn)動(dòng)知覺，是對身體在空間中所處位置與運(yùn)動(dòng)的意識，它是通過身體的運(yùn)動(dòng)產(chǎn)生的。第二，本體知覺，即對四肢和內(nèi)部器官所處位置有所意識以及對所付出之努力的強(qiáng)度進(jìn)行感覺的能力，它是通過肌肉、關(guān)節(jié)和肌腱被感知到的。第三，內(nèi)部知覺，即對身體內(nèi)部器官的感知和感覺。第四，外部知覺，即通過諸如視覺和聽覺之類的外部刺激對外部環(huán)境的感知。第五，觸覺，即對外部對象的感知和操縱。第六，觸覺反饋，即指墊中的手指在低閥值機(jī)械敏感性受體的中介下產(chǎn)生的接觸感。觸覺和觸覺反饋往往很難區(qū)分，但二者具有不同意義。觸覺反饋承載的是觸覺的意義，它依靠宏觀水平上的觸覺來揭示通過指墊對紋理的感覺。動(dòng)覺包括所有通過皮膚獲得的感覺、本體知覺及內(nèi)部知覺，它通常還以中介形式連接著其他形式的感覺以決定身體所處的位置和展開的運(yùn)動(dòng)。本體知覺和動(dòng)覺緊緊纏繞在一起，因?yàn)楸倔w知覺在很大程度上是通過身體的移動(dòng)產(chǎn)生的。此外，還需要注意：本體知覺和外部知覺也不可分，因?yàn)閷W(xué)習(xí)者對自己的意識是同時(shí)通過外部知覺和內(nèi)部知覺形成的。正是通過各種知覺形式，學(xué)習(xí)者才能夠?qū)ψ约旱纳眢w有所了解，進(jìn)而對外部的世界有所認(rèn)識。上述6個(gè)元素緊密聯(lián)系在一起，共同揭示了具身交互的認(rèn)知機(jī)制。

有研究者提出了一個(gè)具身交互促進(jìn)數(shù)學(xué)概念理解的理論模型（Abrahamson et al.，2011;Dackermann et al.，2017）。對其進(jìn)行一般化推廣，可以形成一個(gè)具身交互促進(jìn)科學(xué)概念理解的理論模型，如下圖所示。這一模型的基本假設(shè)是：在外顯行為上，學(xué)習(xí)者在混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中通過全身運(yùn)動(dòng)，對科學(xué)概念及其與物理世界的關(guān)系進(jìn)行體認(rèn)，形成身體經(jīng)驗(yàn)，把要學(xué)習(xí)的科學(xué)概念與空間環(huán)境聯(lián)結(jié)在一起。在心理機(jī)制上，這一聯(lián)結(jié)過程涉及到個(gè)人在不同空間區(qū)域的交互以及不同空間框架的整合，二者共同激活了學(xué)習(xí)者對空間-概念進(jìn)行表征的心理過程，從而在外部行為與內(nèi)部心理之間建立起映射關(guān)系。在最終效果上，空間-概念心理表征的建立會(huì)促進(jìn)學(xué)習(xí)者對概念形成理性認(rèn)識，并幫助其超越空間-概念的聯(lián)結(jié)進(jìn)而進(jìn)行抽象的認(rèn)知加工，即實(shí)現(xiàn)對科學(xué)概念的理解。基于這一理論框架，可以把學(xué)習(xí)者的具身交互行為、認(rèn)知投入水平、對科學(xué)概念的意義建構(gòu)質(zhì)量分別作為一組變量，從而建立起三組變量之間的關(guān)系。通過對這三組變量之間關(guān)系的定性描述和定量表達(dá)，在下圖所示的框架下可進(jìn)一步闡明具身交互促進(jìn)科學(xué)概念理解過程中的認(rèn)知加工機(jī)制。具體來說，一方面可以通過接入學(xué)習(xí)環(huán)境中的體動(dòng)記錄儀、高精度動(dòng)作捕捉系統(tǒng)、眼動(dòng)儀、觸覺式力反饋設(shè)備等人體研究設(shè)備，提取學(xué)習(xí)者在具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中產(chǎn)生的各種具身交互行為信息，包括肢體行為和眼動(dòng)行為。另一方面可以使用尼爾森腦波帽收集被試在具身交互過程中產(chǎn)生的腦電波，通過分析不同頻段的波形（如α波、β波以及θ波等），來判斷被試在交互過程中認(rèn)知投入的深淺和時(shí)間的長短，以及是否觸發(fā)了記憶等。此外，還可以使用針對特定科學(xué)概念的學(xué)業(yè)成就測驗(yàn)量表，通過考試的方式對學(xué)習(xí)者在混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境中完成具身交互后對科學(xué)概念的意義建構(gòu)質(zhì)量進(jìn)行測量，以此來判斷學(xué)習(xí)者對特定科學(xué)概念的認(rèn)知和理解水平。

圖 具身交互促進(jìn)科學(xué)概念理解的過程模型

五、結(jié)語

具身認(rèn)知和混合現(xiàn)實(shí)是當(dāng)代認(rèn)知科學(xué)和信息技術(shù)研究的前沿，推動(dòng)著教育發(fā)生深刻變化。在科學(xué)教育中，基于混合現(xiàn)實(shí)技術(shù)構(gòu)造的具身型學(xué)習(xí)環(huán)境能讓學(xué)習(xí)者在其中使用自己的身體展開各種認(rèn)知活動(dòng)，從而更有效地促進(jìn)其對科學(xué)概念的理解。目前相關(guān)探索已成為跨學(xué)科研究的熱點(diǎn)。基于具身認(rèn)知科學(xué)，集成多種虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)，構(gòu)建具身型混合現(xiàn)實(shí)學(xué)習(xí)環(huán)境，設(shè)計(jì)能促進(jìn)科學(xué)概念理解的具身交互策略，揭示具身交互促進(jìn)科學(xué)概念理解的具體認(rèn)知加工機(jī)制，不僅可以推進(jìn)混合現(xiàn)實(shí)技術(shù)在教育境脈中的創(chuàng)新應(yīng)用，促進(jìn)實(shí)體空間環(huán)境與數(shù)字虛擬環(huán)境的融合，有效幫助學(xué)習(xí)者對科學(xué)概念的理解，還可以深化對混合現(xiàn)實(shí)環(huán)境中具身交互促進(jìn)科學(xué)概念理解之認(rèn)知機(jī)制的科學(xué)認(rèn)識。

參考文獻(xiàn)：

[1]Abrahamson， D.， & Trninic， D. （2011）. Toward an Embodied-Interaction Design Framework for Mathematical Concepts[A]. Moher， T.， Quintana， C.， & Price， S. （Eds.） （2011）. Proceedings of the 10th International Conference on Interaction Design and Children[C]. Ann Arbor， Michigan：1-10.

[2]Barsalou， L. W. （1999）. Perceptual Symbol Systems[J]. Behavioral and Brain Sciences， 22（4）： 577-660.

[3]Birchfield， D.， Ciufo， T.， & Minyard， G. （2006）. SMALLab： A Mediated Platform for Education[A]. Proceedings of the ACM SIGGRAPH 2006 Educators Program[C]. ACM：33.

[4]Birchfield， D.， & Megowan-Romanowicz， C. （2009）. Earth Science Learning in SMALLab： A Design Experiment for Mixed Reality[J]. International Journal of Computer-Supported Collaborative Learning， 4（4）：403-421.

[5]Bower， M.， Lee， M. J. W.， & Dalgarno， B. （2017）. Collaborative Learning Across Physical and Virtual Worlds： Factors Supporting and Constraining Learners in a Blended Reality Environment[J]. British Journal of Educational Technology， 48（2）：407-430.

[6]Cheok， A. D.， Yang， X.， & Ying， Z. Z. et al. （2002）. Touch-Space： Mixed Reality Game Space Based on Ubiquitous， Tangible， and Social Computing[J]. Personal & Ubiquitous Computing， 6（5-6）：430-442.

[7]Cooper， A.， Reimann， R.， & Cronin， D. （2007）. About Face 3： The Essentials of Interaction Design[M]. John Wiley & Sons.

[8]Dackermann， T.， Fischer， U.， & Nuerk， H. C. et al. （2017）. Applying Embodied Cognition： From Useful Interventions and Their Theoretical Underpinnings to Practical Applications[J]. ZDM， 49（3）：1-13.

[9]Dourish， P. （2001）. Where the Action Is： The Foundations of Embodied Interaction[M]. Cambridge， MA： MIT Press：572-575.

[10]Dreyfus， H. L. （1996）. The Current Relevance of Merleau-Pontys Phenomenology of Embodiment[J]. The Electronic Journal of Analytic Philosophy， 4（4）：1-16.

[11]Enyedy， N.， & Danish， P. （2015）. Learning Physics Through Play and Embodied Reflection in a Mixed Reality Learning Environment[A]. Lee， V. R. （eds） （2015）. Learning Technologies and the Body： Integration and Implementation in Formal and Informal Learning Environments[M]. Routledge： 97-111.

[12]Froese， T.， Iizuka， H.， & Ikegami， T. （2014）. Embodied Social Interaction Constitutes Social Cognition in Pairs of Humans： A Minimalist Virtual Reality Experiment[J]. Scientific Reports， 4（3672）：3672.

[13]Habermas， J. （1991）. The Structural Transformation of the Public Sphere： An Inquiry into a Category of Bourgeois Society[M]. The MIT Press.

[14]Husserl， E. （1965）. Philosophy as a Rigorous Science[A]. Phenomenology and the Crisis of Philosophy[M]. New York： Harper and Row.

[15]Ihde， D. （1990）. Technology and the Life World： From Garden to Earth[M]. Bloomington： Indiana University Press.

[16]Johnson-Glenberg， M. C.， Birchfield， D. A.， & Tolentino， L. et al. （2014）. Collaborative Embodied Learning in Mixed Reality Motion-Capture Environments： Two Science Studies[J]. Journal of Educational Psychology， 106（1）：86-104.

[17]Lakoff， G.， & Johnson， M. （1980）. Metaphors We Live By[M]. Chicago， IL： University of Chicago Press.

[18]Lakoff， G.， & Johnson， M. （1999）. Philosophy in the Flesh： The Embodied Mind and Its Challenge to Western Thought[M]. Chicago， IL： University of Chicago Press.

[19]Lindgren， R.， & Johnson-Glenberg， M. （2013）. Emboldened by Embodiment： Six Precepts for Research on Embodied Learning and Mixed Reality[J]. Educational Researcher， 42（8）：445-452.

[20]Lindgren， R.， Tscholl， M.， & Wang， S. et al. （2016）. Enhancing Learning and Engagement Through Embodied Interaction within a Mixed Reality Simulation[J]. Computers & Education， 95： 174-187.

[21]Mahon， B. Z.， & Caramazza， A. （2008）. A Critical Look at the Embodied Cognition Hypothesis and a New Proposal for Grounding Conceptual Content[J]. Journal of Physiology-Paris， 102（1-3）：59-70.

[22]Marshall， P.， Antle， A.， & Hoven， E. V. D. et al. （2013）. Introduction to the Special Issue on the Theory and Practice of Embodied Interaction in HCI and Interaction Design[J]. ACM Transactions on Computer-Human Interaction （TOCHI）， 20（1）：1-3.

[23]Milgram， P.， & Kishino， F. （1994）. A Taxonomy of Mixed Reality Visual Displays[A]. Proceedings of the IEICE Trans Inform Systems[C]：1321-1329.

[24]Myers， B. A. （1998）. A Brief History of Human-Computer Interaction Technology[J]. Interactions， 5（2）：44-54.

[25]Niebert， K.， Marsch， S.， & Treagust， D. F. （2012）. Understanding Needs Embodiment： A Theory-Guided Reanalysis of the Role of Metaphors and Analogies in Understanding Science[J]. Science Education， 96（5）：849-877.

[26]Pulvermüller， F. （2005）. Brain Mechanisms Linking Language and Action[J]. Nature Reviews Neuroscience， 6（7）：576-82.

[27]Tidwell， J. （2010）. Designing Interfaces： Patterns for Effective Interaction Design[M]. O'Reilly Media， Inc.

[28]Varela， F. J.， Thompson， E.， & Rosch， E. （1991）. The Embodied Mind： Cognitive Science and Human Experience[M]. Cambridge： MIT Press.

收稿日期 2018-07-06 責(zé)任編輯 劉選