基于增強現實的具身學習環境研究

DOI：10.3969/j.issn.1671-489X.2024.22.001

摘 要 與傳統學習行為相比，增強現實學習活動更為復雜，學習者的行為和交互數據呈現多個相關維度。如何通過人工智能、情感計算等技術手段構建個性化自主學習場景，將是基于增強現實的具身學習環境創設的關鍵。通過對增強現實學習過程中學習數據的特征以及學習者的屬性等方面的研究，設計一種面向多模態學習數據的具身化增強現實學習策略。首先，針對學習者在學習過程中基于增強現實學習交互的多模態數據，結合目前情感計算和人工智能等方法，引入一種基于多模態協同學習分析和學習反饋機制。其次，在多模態學習分析和學習反饋的基礎上，應用智能用戶畫像以及領域知識模型提出一種面向增強現實具身學習的智能教育決策。最后，結合基于增強現實的高校安全教育系統的設計，闡述在智能教育決策指導下的智能學習支撐、教學組織設計以及增強現實學習環境設計等三個方面的內容。

關鍵詞 增強現實；具身學習；學習環境；教育智能體；智能教育決策；安全教育

中圖分類號：G434 文獻標識碼：B

文章編號：1671-489X（2024）22-0001-07

0 引言

《教育部2022年工作要點》強調“強化需求牽引，深化融合、創新賦能、應用驅動，積極發展‘互聯網+教育’”，并提出“創新數字資源供給模式，豐富數字教育資源和服務供給”。在新技術的推動下，學習組織者更加注重學習者在技術和資源支持下的實踐性學習活動，并通過創新的學習場景為學習者提供更豐富的學習內容和交互體驗。具身學習將學習者置于認知學習實踐的核心，強調學習者通過自身的學習體驗和學習活動來認知學習對象。具身學習強調實踐性和活動性，鼓勵學習者在學習實踐活動中通過多種感官的體驗、探索、感悟和知識遷移來實現獨立性、選擇性、多變性和差異性的成長。增強現實（AR，Augmented Reality）通過將虛擬信息環境與真實環境融合，為學習者提供更真實的視覺、聽覺和感官融合的學習體驗與交互。借助豐富的多媒體資源和深入的交互設計，增強現實學習可以有效整合具身學習中的身體行為和感知經驗。增強現實學習環境在具身學習中被視為突破當前教育教學難題、促進高效學習的關鍵點[1]。因此，增強現實為具身學習環境的構建提供了良好的契機。

然而，在基于增強現實技術構建具身學習環境時會面臨以下幾個問題。

1）社會化學習背景下的增強現實具身學習活動組織問題。與虛擬現實不同，增強現實依賴于自然學習對象進行學習體驗，這導致移動增強現實學習環境中存在大量學習者聚集的現象，但具身學習更加強調學習者的行為和通過實踐活動獲取知識。在聚集的學習場景中，學習者的行為和活動會對其他學習者產生積極或消極的影響。因此，在增強現實具身學習環境中，協同組織多個學習者進行有效學習是關鍵。

2）學習過程中個性化學習需求的適配性問題。學習情境的創設是具身學習環境的重要組成部分。在個性化學習需求下，不同學習者對相同學習對象具有不同的學習目標和需求。因此，在增強現實學習環境中，為滿足學習者的個性化需求，需要通過學習者畫像和智能計算等方法創造針對不同學習者的個性化的學習情境。這對于具身學習非常重要。

3）增強現實學習分析和反饋問題。學習分析在預測學習行為風險、為教師和學生提供教學支持與導引方面起著重要作用。在具身學習環境下，特別是在增強現實學習過程中，行為數據、交互數據和學習者情感數據的融合較傳統學習環境更加復雜，這給增強現實具身學習環境的學習分析帶來一定困難。因此，在增強現實具身學習應用中建立適用于多維度和科學性的學習分析與評價系統，對于增強現實學習的組織和管理具有重要意義。

綜上所述，目前基于增強現實的具身學習環境的構建需要強大的技術支撐，進行個性化、深交互的學習環境創設，高效的學習組織管理優化，才能充分發揮具身學習過程中實踐性、活動性學習的優勢。在技術環境方面，5G技術兼具增強移動寬帶、海量機器類通信與超高可靠低時延通信等特性，在此基礎上將智慧教育與5G技術結合，并融合人工智能、大數據、移動互聯等新一代信息技術，構建一種新型的移動增強現實具身學習環境，可以為實時銜接校園現實空間和數字空間，優化師生與學校環境、資源的交互方式等開辟新路徑。

1 相關研究綜述

具身學習注重學習者在學習環境中與實際學習對象的互動實踐和學習者的主動參與性。增強現實與自然對象的交互性和實踐性與具身學習的要求完美契合[2]。本課題旨在通過多用戶協作組織、基于教育智能體的交互設計和多模態學習分析反饋等方法，研究適應具身學習需求的增強現實學習情境的構建方法和技術手段。以下是與本課題相關的國內外研究現狀和趨勢的總結。

1.1 教育智能體與增強現實具身學習

具身學習強調學習者在學習過程中身體與世界的互動和感知[3]。教育智能體具有自治性、反應性、主動性、社會性和進化性等特征，能夠增強學習者的感知，在具身學習中不斷發揮作用[4]。相關研究表明，教育智能體作為計算機生成的虛擬導師，以人、動物、植物等形式展現，可以通過文本、語音、動作等方式與學習者進行交流[3]。教育智能體的研究為個性化學習提供了強有力的技術支持，通過對學習數據的追蹤和分析，利用數據挖掘和機器學習算法感知學習者的認知特點與學習風格，為學習者提供定制化的學習服務[5]。教育智能體還可以在與學習者的互動中幫助其構建知識，提高學習者的主動性和效率[6]。不同的數字技術所創造的具身環境會給學習者帶來不同的學習體驗和效果[7]。基于相關技術支持的具身學習環境，通過生動、沉浸式的視聽界面，滿足個體學習者的需求，激發其身體活動[8]。然而，目前的研究尚未充分整合增強現實和教育智能體，未能發揮融合學習場景的優勢，因此，仍需探索在增強現實具身學習環境中構建個性化教育智能體的方法。

1.2 增強現實對社會化學習行為的影響

增強現實與自然學習對象的交互形成學習者在一定區域內集體學習行為的特點，相關研究探討了學習者行為對其他學習者的影響[9]。研究顯示，空間鄰近效應會對增強現實學習者產生影響，同時，學習中的社會參與性和社會結構性也會對學習效果產生影響[10]。在虛實融合的學習環境中，牟智佳等[11]研究了學習者之間的行為對其他參與者的影響，并提出優化方案。聯結主義理論指導下的研究表明，學習內容的傳播對學習活動的影響很大，在增強現實游戲化環境中，合作和競爭學習手段構建了協作實景學習情境[12]。因此，在多學習者的協同增強現實學習活動中，有效組織這種協作至關重要，是具身學習環境構建的關鍵[13]。

1.3 具身學習中的多模態學習分析研究

在虛實融合的學習環境中，學習是一種多模態感知學習的過程，與具身認知理論強調的“生理諸官能的統一”相吻合[14]。多模態學習是指通過多種方式獲取關于同一現象、過程或環境的信息[15]。針對增強現實學習情境中學習者的行為，多項研究進行了分析[16]。一些研究將具身學習與沉浸式虛實學習環境相融合[17]，利用傳感器技術和計算機視覺等多模態數據采集與分析，對學習者的行為和反應進行實時監測[18]。這種多模態學習分析可以幫助研究者了解學習者的認知過程、情感狀態和學習效果，并提供及時的個性化反饋和指導[19]。例如，通過分析學習者的眼動數據、肌電數據和心率變異等生理指標[20]，可以揭示他們的注意力、情緒和認知負荷情況，從而優化學習設計和教學策略[21]。此外，還有一些研究采用自然語言處理和情感計算等技術，對學習者的語言表達和情感體驗進行分析[22]，

以更好地理解他們在學習過程中的意義構建和情感體驗。

綜上所述，基于具身學習理論和增強現實技術的研究在教育領域呈現出廣闊的前景，未來的研究可以進一步探索增強現實具身學習環境的設計原則和實施策略，開發更加智能化和個性化的教育智能體，加強多用戶協作和社會化學習的支持，提升學習者的參與度，增強學習效果[23]。同時，應該進一步深入挖掘多模態學習分析方法在增強現實具身學習中的應用潛力，推動教育技術與人機交互領域的發展[24]。

2 基于增強現實的具身學習環境構建

依托“5G+教育”萬物互聯的特點，在移動增強現實具身學習環境中，可采用智能化計算手段來構建協同組織化的增強現實學習組織、基于教育智能體的增強現實學習交互以及多模態的增強現實學習分析與反饋，為具身學習情境提供有效的實踐活動組織與管理。以下以基于增強現實的實驗室安全學習為例，詳細闡述基于增強現實的具身化學習環境的構建。研究內容如圖1所示。

2.1 多模態增強現實學習分析和學習反饋（圖2）

對多模態增強現實學習分析和學習反饋的研究，旨在通過分析學習者在增強現實學習環境中的多種感知數據，揭示他們的認知過程、情感狀態和學習效果，并提供個性化的反饋和指導。然而，與傳統教育相比，增強現實學習環境中學習者的行為、情感和認知過程更為復雜且具有多樣性，因此需要進行多模態的數據采集和分析，以更好地理解學習者的學習狀態和個體差異，進而優化學習設計和提供個性化教學。

在基于增強現實的高校安全教育系統中，數據采集是多模態增強現實學習分析和學習反饋研究的重要一環，它通過移動設備的多種模態傳感器采集多種感知通道的數據來全面了解學習者的行為和反應。借助移動設備的增強現實交互活動數據采集，系統可以用戶的交互行為數據、圖像采集數據以及等待時延等多模態的數據去建立一種綜合、協同的學習行為表征模型，并通過這個數據表征模型。

基于采集到的多模態數據，多模態分析成為深入理解學習者的認知過程和情感狀態的關鍵方法。其中，行為分析通過分析學習者的身體動作數據，如增強現實交互對象以及交互行為等，識別并理解他們的意圖和行為特征，進而分析其影響因素和學習效果。在進行學習行為分析時，同時需要進一步考慮學習者的學習情感。情感分析則通過分析學習者的行為反饋數據以及生理指標數據等信息，推測學習情感指標等，這樣能夠幫助研究者更好地理解學習者對學習材料和任務的情感反應，從而調整學習內容和教學策略。而認知分析則通過分析學習者的知識反饋（測試）以及交互行為頻度，推斷他們的注意力分配、信息處理和知識建構的方式，為個性化學習提供依據。

學習反饋是多模態增強現實學習分析和學習反饋研究的重要目標之一。結合智能化的分析手段以及方法，通過多模態分析結果，依據教學目標和教學策略設計并提供相應的學習反饋。學習反饋分為兩個部分：實時反饋和非實時反饋。

在實時反饋的構建過程中，基于用戶移動設備的圖像采集以及實景交互性行為，在增強現實的具身交互過程中，通過圖像識別技術和行為分析能力，實時對學習者操作行為進行具身化行為向導、交互行為判斷以及實時行為反饋，在實際的學習場景和學習行為過程中為用戶提供更加具體的學習指導。

非實時反饋是基于多模態學習行為數據的綜合分析構建的非實時反饋機制。在具身化的學習行為數據采集和多模態數據行為分析的基礎上，以學習報告和知識測試的形式面向學習者提供一種綜合、持續性的學習反饋過程。基于非實時反饋的構建，通過智能化的技術手段，一方面可以對學習者學習情況建立綜合、全面的評價機制，為學習組織者提供科學、準確的評價依據；另一方面借助移動設備的便捷性，可以為學習者提供一種長期伴隨性的學習環境。

2.2 基于增強現實的具身學習場景下的智能教育決策

為了滿足學習者個性化的學習反饋以及伴隨性的學習過程，智能教育決策方法的實現需要依托數據驅動的個性化自適應學習技術。這一技術框架主要包含領域知識模型、學習者學習行為畫像這兩個核心部分，它們共同作用以實現個性化學習內容反饋服務。

2.2.1 領域知識模型是構建個性化學習環境的基礎

領域知識模型包含學習領域的邏輯體系、基本概念和原理、規則定義與探究方式等。在預先的學習過程準備中，基于相關的安全知識，對于文本、圖像等多媒體信息進行預先標注，形成初步的領域知識原始素材。進一步的，借助知識圖譜技術，對于領域知識進行模型化構建。這一模型通常由語義網、領域本體、層次結構和知識圖譜等技術構建，其核心作用在于支持知識的獲取、組織和推理。在領域知識模型中，教育知識圖譜被用來引導過程中多個單元間的先決條件關系，而神經網絡、機器學習和深度學習等技術則被用于教育知識圖譜構建過程中的關鍵環節，如實體識別、關系提取和知識表示等。通過領域知識模型的構建，能夠建立安全知識單元之間的關系以及在多種情況下的學習路徑，為增強現實具身學習過程中個性化的學習內容反饋服務和學習路徑個性化的規劃奠定基礎。

2.2.2 學習者學習行為畫像是個性化自適應學習的核心和基礎

基于個人學習行為特征描述的學習者畫像是一個研究具身化增強現實復雜學習行為和交互數據的過程。基于用戶行為畫像的特征進行個性化學習行為反饋是構建個性化學習內容服務的有效路徑。在增強現實的具身化學習過程中，學習者將會產生圖像、文本、交互以及生理行為等多種模態的數據形式。同時，學習者的基本信息描述、學習歷史以及在社會化背景下的社會學習關系的描述等非實時數據也將會影響學習者的學習行為特征描述。在學習模型（圖3）中，學習者的描述、學習歷史、學習行為和學習關系等四個要素相互結合，為學習者在增強現實學習中的學習性能提供全面的描述。特別是開放性學習場景下的基于增強現實具身學習實時行為，將會對用戶學習行為畫像產生實時的影響。

在學習者學習行為畫像的構建中，首先基于一般性學習者特征為用戶建立一個多維度的描述屬性，以描述學習者的一般性學習行為特征。在確定學習者的學習行為描述屬性后，對于學習者基本描述、學習歷史等主觀性描述數據進行分析，建立學習者的一般性特征與學習者主觀評價數據的映射關系。在確定學習者一般行為特征后，在增強現實具身化學習過程中，通過對學習行為數據的采集以及多模態的協同分析，結合目前人機交互、情感計算以及人工智能等新技術手段，對學習者的特征屬性進行動態更新，以實現一種動態的學習者學習行為畫像。通過動態地更新和分析這些要素建立的學習者畫像，可以更好地理解學習者的學習需求和特點，為學習者提供個性化的學習支持和決策，促進學習者的學習質量和學習體驗的提升。同時，社會化學習背景下的學習關系描述也將會在學習者之間產生一定的影響。基于用戶的學習一般性特征（學習者描述以及學習歷史信息）和動態的學習行為數據，在大語言模型的群體共識等技術的支撐下，對于學習者學習屬性進行聚類化處理，以社會化學習關系的角度對學習者屬性描述進行動態化更新，以達到對學習者的直觀、準確的描述。

2.3 基于安全教育的教學交互設計

在多模態學習分析以及智能教育決策兩個方面的支撐下，針對具體的應用場景，以移動設備作為載體，通過教育智能體的方法為具體的教學需求提供基于增強現實的具身化學習場景的創設，目標是構建涉及智能學習支撐、學習內容設計以及增強學習環境設計的安全教育智能體終端。

2.3.1 智能學習支撐

智能學習支撐依賴人工智能技術，尤其是決策智能理論與方法。在安全教育領域，這涉及利用大數據解析和混合智能技術，實現知情決策和用戶初始畫像的構建，并采用主動和全面的視角進行情景推演與態勢預測。通過貝葉斯知識追蹤模型和隱馬爾可夫模型，可以將學習者的知識狀態表示為掌握或未掌握知識點的二元組，并根據用戶的學習行為參數設置二元組的變量系數以預測隱變量的概率分布，從而確定實時的學習反饋服務內容和學習路徑的規劃。此外，智能學習支撐還需要根據知識間蘊含的前驅和后繼關系，綜合考慮學習者當前知識狀態、認知能力、學習風格與偏好等特征，有針對性地反饋個性化的學習路徑和學習資源。教學模型的實施機制涉及對學習者特征模型的診斷和分析，作出適應性決策，向學習者提供個性化推薦服務。

2.3.2 教學組織設計

在教學組織設計方面，高校安全教育需要基于核心素養視角進行作業設計，強調“檢研結合”的理念，將傳授知識、訓練技能和培養能力有機結合。在安全教育系統的設計上，將增強現實學習中的學習對象甄別作為實驗室安全教育中的一個重要環節，通過有目的的教學組織和設計，讓學習者在一個相對較為開放的環境中，以其主動性地甄別學習對象和感知學習內容作為學習內容傳遞方式。這種設計更加強調學習者自我探索化的學習活動方式，通過一定的手段對學習對象所攜帶的知識信息進行探索性學習，構建完整的知識體系。并結合移動增強現實豐富學習交互手段特性，在知識探索化學習活動中，改變傳統的單向化學習內容傳遞方式為主動性的、互動性的方式，從而增強實驗室安全教育的效果。

2.3.3 增強現實學習環境設計

在增強現實學習環境設計上，將實際應用場景引入安全教育，以解決實驗室安全教育過程中缺乏實踐性和針對性的問題。在設計過程中，盡量以真實環境下的自然對象作為學習對象并進行學習知識傳遞。通過自然對象復合屬性以及與其他對象之間的關系，為學習者傳遞復合型的信息內容，通過學習者對復合信息的分析與理解，逐層次建立學習者對于學習對象的信息模型，借助自然場景中真實的學習活動并以一定的教學目的對學習對象進行信息架構，將自然環境與虛擬環境有機整合，建立有針對性的實踐性安全教育學習工具。

3 結束語

針對復雜的用戶聚集場景中社會化學習行為的復雜性，研究者提出一種融合學習者特征、學習行為特征和社會化學習關系特性的多模態學習分析方法，旨在為教育智能體的決策系統提供科學、全面的數據支撐。通過綜合學習者的特征、學習行為的特征以及社會化學習關系的特性，研究者能夠較為準確地描述學習者在復雜的用戶聚集場景中的行為和特征。在學習者的特征方面，研究者考慮了學習者的個人特征、背景知識、認知能力和興趣愛好等方面。在學習行為的特征方面，研究者關注學習者與應用程序的交互行為和學習策略。在社會化學習關系的特性方面，研究者分析學習者在學習行為中產生的相互影響，包括合作、競爭和共享等方面。在增強現實學習情境下，研究者利用教育智能體作為信息交互對象，通過多模態學習分析，為不同用戶提供個性化的學習內容和學習支撐服務。通過綜合分析學習者的特征、學習行為和社會化學習關系的數據，教育智能體能夠根據用戶的學習行為和學習需求，為其提供適配的學習支持，增強學習效果，提升學習體驗。

4 參考文獻

[1] CHANG S C， HWANG G J. Impacts of an augmented reality-based flipped learning guiding approach

on students’ scientific project performance and

perceptions[J].Computers amp; Education，2018，125：

226-239.

[2] FRANK J A， KAPILA V. Mixed-reality learning envi-

ronments： Integrating mobile interfaces with

laboratory test-beds[J].Computers amp; Education，

2017，110（7）：88-104.

[3] 梅文雅，李慧.探究沉浸式虛實融合環境中具身學習活

動設計框架[J].新一代（理論版），2021（20）：39-40.

[4] 陳醒，王國光.國際具身學習的研究歷程、理論發展與技術轉向[J].現代遠程教育研究，2019，31（6）：78-88.

[5] 宋耀武，崔佳.具身認知與具身學習設計[J].教育發展研究，2021，41（24）：74-81.

[6] 楊南昌，劉曉艷.具身學習設計：教學設計研究新取向

[J].電化教育研究，2014，35（7）：24-29.

[7] 鄭旭東，王美倩，饒景陽.論具身學習及其設計：基于具身認知的視角[J].電化教育研究，2019，40（1）：25-32.

[8] 趙瑞斌，張燕玲，范文翔，等.智能技術支持下具身學

習的特征、形態及應用[J].現代遠程教育研究，2021，

33（6）：55-63，83.

[9] WANG Y H. Exploring the effectiveness of integra-ting augmented reality-based materials to support writing activities[J].Computers amp; Education，2017，

113（1）：162-176.

[10] 王一巖，王楊春曉，鄭永和.多模態學習分析：“多模

態”驅動的智能教育研究新趨向[J].中國電化教育，

2021（3）：88-96.

[11] 牟智佳，符雅茹.多模態學習分析研究綜述[J].現代教育技術，2021，31（6）：23-31.

[12] 胡欽太，伍文燕，馮廣，等.深度學習支持下多模態學

習行為可解釋性分析研究[J].電化教育研究，2021，

42（11）：77-83.

[13] 周進，葉俊民，李超.多模態學習情感計算：動因，框

架與建議[J].電化教育研究，2021， 42（7）：26-32，46.

[14] 劉清堂，李小娟，謝魁，等.多模態學習分析實證研究的發展與展望[J].電化教育研究，2022，43（1）：71-78，85.

[15] ANDRADE A， WORSLEY M. A methodological framework for the exploratory analysis of multimodal fea-

tures in learning activities[J].CEUR Workshop Pro-

ceedings，2017，1828：99-103.

[16] AZEVEDO R， GASEVIC D. Analyzing Multimodal Multi-channel Data about Self-Regulated Learning with Advanced Learning Technologies： Issues and Cha-

llenges[J].Computers in Human Behavior，2019，96：

207-210.

[17] 劉清堂，巴深，羅磊，等.教育智能體對認知學習的作

用機制研究述評[J].遠程教育雜志，2019，37（5）：35-44.

[18] 徐振國，劉志，黨同桐，等.教育智能體的發展歷程、

應用現狀與未來展望[J].電化教育研究，2021，42（11）：

20-26，33.

[19] 巴深，劉清堂，吳林靜，等.教育智能體情緒線索對大

學生學習情緒與動機的影響研究[J].遠程教育雜志，

2021，39（6）：48-57.

[20] 劉清堂，巴深，余舒凡，等.視頻課程中教育智能體的

社會線索設計研究[J].電化教育研究，2020，41（9）：

55-60.

[21] YUNG H I， PAAS F. Effects of cueing by a peda-gogical agent in an instructional animation： A cognitive load approach[J].Journal of Educatio-nal Technology amp; Society，2015，18（3）：153-160.

[22] LI W， WANG F， MAYER R E， et al. Animated peda-gogical agents enhance learning outcomes and

brain activity during learning[J].Journal of Com-

puter Assisted Learning，2022，38（3）：621-637.

[23] BEEGE M， SCHNEIDER S， NEBEL S， et al. Does the

effect of enthusiasm in a pedagogical Agent’s

voice depend on mental load in the Learner’s

working memory？[J].Computers in Human Behavior，

2020，112：106483.

[24] MOHAMAD S N A. The Effect of Pedagogical Agents

in Learning Conditions and Their Possible Impact

on Learning Gains[EB/OL].[2024-02-01].https：//

www.researchgate.net/profile/Syamsul-Nor-Azlan-

Mohamad/publication/277325206_The_Effect_of_Pedagogical_Agents_in_Learning_Conditions_and_

Their_Possible_Impact_on_Learning_Gains/links/

5568062a08aeab77721eaf6c/The-Effect-of-Pedago

gical-Agents-in-Learning-Conditions-and-Their-Possible-Impact-on-Learning-Gains.pdf.

*項目來源：2022年浙江省教育廳一般科研項目“基于教育智能決策的具身學習環境研究”（項目編號：Y202249168）。

作者簡介：謝偉旋，講師。