虛擬現實技術支持的學習者動覺學習機制研究

華子荀

摘要：基于虛擬現實環境開展的動覺學習是一種可以調動人的視覺、聽覺等多種感官認知的學習過程，對人類的認知發展具有促進作用。然而，應用虛擬現實技術開展動覺學習，既是技術的問題，也是教學方法的問題。該研究在虛擬現實環境及其支持的STEM教育現狀研究的基礎上，以認知學習理論為指導，抽取“同化”“順應”“機械學習”“意義學習”四類關鍵要素，提出了虛擬現實環境支持的學習者動覺學習機制框架（RM2A），包含：同化知識的機械學習（RAl）、順應知識的機械學習（RA2）、同化知識的意義學習（MAl）和順應知識的意義學習（MA2），設計了STEM融合知識的交互模塊結構、路徑與軟硬件實現方式，并根據動覺學習機制框架開展了虛擬現實技術支持的STEM項目實證研究。案例選擇美國某州立大學的“CSS”STEM項目，通過雙組前后測實驗結果，分析得到實驗組成績高于對照組成績并且差異顯著的結論，通過統計分析過程，發現虛擬現實環境支持的動覺學習機制與學生能力發展的諸多關系，使得該研究提出的虛擬現實環境動覺學習機制的理論框架得到了驗證。因此該研究既為虛擬現實等技術對學生學習的影響機制提供了理論解釋和實踐驗證，也豐富了STEM實踐研究范例，具有重要的理論價值與實踐意義。

關鍵詞：虛擬現實技術;動覺學習機制;學習認知：STEM教育

中圖分類號：CJ434

文獻標識碼：A

一、研究背景

《教育信息化“十三五”規劃》指出：“應利用信息技術改造傳統教學中‘進不去、看不見、動不了、難再現的難題”，虛擬現實等技術具有利用軀體與周圍環境進行互動的特點，通過動作模仿、技能訓練、情境演練、動態展示等使學生利用交互式技術進行學習。另外，STEM教育是中、美等國家共同關注的教育理念，源于其促進技術發展、推動學科融合和促進教育持續發展等方面的重要作用。因此，在STEM教育理念下開展虛擬現實技術支持的教學應用，既在虛擬現實技術支持的STEM教育實踐中促進了學生的學習認知發展，也實現了信息技術與STEM教育的深度融合，在虛擬現實技術和STEM教學實踐兩個方面都具有較高的理論價值和實踐研究意義。

二、國內外研究現狀

（一）虛擬現實技術與動覺學習

虛擬現實技術是一種可以創建和體驗虛擬世界的計算機仿真系統，虛擬現實技術以體感設備、虛擬現實設備、頭戴眼鏡等為代表，包含了互動設備、互動資源和互動內容，文字、圖形、動畫、聲音和視頻是最早的互動媒體形式，并且存在相互獨立開展教學的問題，現代的虛擬現實技術所支持的教學過程具有整合多種媒體資源的獨特優勢，通過較強的感官沉浸再到意識沉浸，提高了學生的學習積極性，并能夠為學生提供真實的學習體驗，促進學生對所學知識和技能的強化。

動覺學習（Kinematic Learning）是一種通過肢體運動感覺進行學習的方式，是對身體各部位位置和運動狀況的感知進行學習認知的過程，當前實現動覺學習的主要實現方式就是虛擬現實技術。自維果茨基在20世紀70年代提出機器學習的概念，研究者就開始關注互動性媒體對學生認知的影響，虛擬現實技術的主要作用是能夠讓學習者綜合性地調 動視覺、聽覺、動覺等感官活動開展學習，實現動覺性學習過程（Kinesthetic Leaming Activity，KIA）。VR在教學資源設計中的融合性應用方法、虛擬現實技術支持的SIEM教學法是虛擬現實技術與教學活動進行結合的主要教學方法。

（二）STEM教育的研究現狀

STEM教育是一種重視實踐的多學科融合教育理念，是對科學（Science）、技術（Technology）、工程（Engineering）、數學（Mathematics）四個科目的縮寫，最早由美國弗吉尼亞理工大學Yakman于1990年在美國國家科學委員會（NSF）上提出，STEM教育旨在加強基礎教育階段學生跨學科知識素養和解決真實問題的能力，具有跨學科、趣味性、體驗性、情境性、協作性等特征，該理念強調整合的教學方式，注重實踐和過程、解決真實問題、知識與能力并重，倡導“做中學”、創新與創造力培養、知識的跨學科遷徙及其與學習者之間的關聯。

近年來，“互聯網+”背景下學生的學科核心素養培養、3D打印融ASTEM項目式學習、STEM與創客空間互鑒、STEAM融人多工具智創空間等理念成為熱點，產生了中國本土化的STEM教育實踐路徑。但是，中國化的STEM教育依然存在問題，表現比較突出的有：缺乏課程資源與硬件環境支撐、對利用STEM培養學生創新實踐能力的呼吁、未能真正實現跨學科知識與能力的整合等。

（三）虛擬現實技術支持的STEM教育

STEM教育不是對單一知識型學科的學習，而是更為關注真實世界情境中的真實問題，通過互動式學習技術開展STEM的教與學的活動，能夠提高學生的創新實踐能力和學習認知發展。

動覺學習工具尤其是體感技術被廣泛應用于STEM教學過程中，源于體感技術支持的教學過程，能夠提高學習者在動作模仿、技能訓練等方面的能力，充分利用體感技術可以調動學習者的聽覺和視覺，可以幫助教師創造多感官互動學習活動;互動體感技術可供選擇的設備非常多樣，研究者普遍關注厲動體感控制器（Leap Motion）的教學應用，該體感控制器在曲率特性（CurvatureFeatures）、距離特性（Distance Features）、相關特性（Correlation Features）、連接特性（Connected Features）四個方面具有較好的表現。通過體感設備的選擇、軟件的設計，在認知一行為主義（Cognitive-Behavior）、建構主義（Social Constructivist）等學習理論的指導下，能夠使體感技術與教學內容相結合。

將體感技術融人課堂教學，探索體感技術支持的STEM教學法，發現體感技術支持的STEM課堂教學能夠給予學生自我展示、交流討論和解決應用問題的機會。創客空間中，可以將APPInventor、Scratch、機器人、3D打印等技術引入到中小學的課堂，使得學生能夠動腦動手創造出具有創意的作品，促進學生創新意識、創新能力發展方面具有重要作用。有學者基于創客文化設計了一個基于沙箱游戲“Minecraft”的教學項目，通過創客空間讓學生利用電腦、網絡平臺在創作作品的過程中進行協作學習;也有一種基于創客媒體教育的新形式，讓學生在混合項目中通過實際操作提高高階思維能力;STEAMtrax是由3D打印機制造商3D系統公司（3D Systems Inc.）設計的面向中小學的一種科技創新課程，在創客空間中將3D打印技術和工程設計整合到科學、數學的核心知識實踐體驗中，在相關的學習情境里，培養問題解決、協作、溝通和批判性思維的基本技能等。這些案例都能夠為基于虛擬現實環境的STEM實踐項目提供指導。

（四）研究啟示與目標

根據上述文獻綜述提出以下研究目標：

（1）動覺學習是一種有效的互動性學習方式，能夠促進學生學習積極性和學習體驗，本研究將選擇虛擬現實技術實現動覺學習過程，并且在現有資源基礎上進行設備和資源的自主設計。

（2）根據STEM教育的實踐過程現狀研究，發現協作學習、基于項目的學習、基于問題的學習、學科整合式項目教學、創客空間都是行之有效的STEM實踐路徑，本研究將結合已有的實踐路徑，采取知識融合性項目式學習的STEM實踐開展案例研究。

（3）根據虛擬現實技術支持的STEM教育研究現狀，在STEM教育實踐中，應充分利用視聽虛擬技術、互動式體感技術、手勢交互設備、創客空間的技術和教學特性，創新性地呈現STEM中的學科融合性知識，本研究將選擇創客空間場室，利用手勢互動設備、三維虛擬軟件和3D打印機支撐STEM項目的開展。

三、虛擬現實環境支持的STEM融合知識動覺學習機制研究

本研究利用文獻研究法收集近年來國內外期刊、專著及網絡期刊數據庫中關于動覺學習、虛擬現實技術與STEM教育的相關研究，關注其分析、設計、開發、應用與評價過程，通過對文獻的收集、整理，得到虛擬現實技術能夠對學生的學習認知產生影響的因素。研究虛擬現實環境支持的STEM學科融合性知識動覺學習的相關機制，與STEM教育的項目實踐相結合，系統分析動覺學習機制促進學生的知識理解、學習認知、實踐能力、創新能力、協作學習的動因。

對行為主義學習理論、認知主義學習理論、建構主義學習理論進行內容分析，借鑒皮亞杰在學習認知方面的理論，抽取互動式技術影響學習者認知的因素為同化（Assimilation，AS）和順應（Accommodation.AC），研究奧蘇貝爾關于學習行為方面的理論，抽取了機械學習（Rote Learning，RL）和意義學習（Meaningful Learning，ML）的影響因素。

虛擬現實技術支持的認知學習過程根據同化與順應、機械學習與意義學習四個要素，提出本研究四元素相結合的學生認知學習過程（如圖1所示），包括：機械學習過程（Rote Learning To Assimilation，RAl）、順應知識的機械學習過程（Rote LearningTo Accommodation，RA2）、同化知識的意義學習過程（Meaningful Learning To Assimilation， MAl）、順應知識的意義學習過程（Meaningful Learning ToAccommodation，MA2）。通過對以上四組認知學習過程描述和定義，為后續的STEM動覺學習機制影響因素分析提供變量基礎。

當分析得到虛擬現實技術支持的認知學習過程后，結合虛擬現實技術的使用流程進一步分析學生使用虛擬現實設備的學習步驟，應包括“任務設計一交互模塊一肢體互動一動作捕捉一系統處理一任務完成一促進認知”七個步驟，進而分析各個流程對學生認知發展的影響。

虛擬現實技術的學習過程根據其交互的特點分為了認知層面、交互層面和交互認知層面。在認知層面上，學生根據任務提示理解交互模塊的知識，根據知識與學習者已有認知的匹配，實現同化知識（AS）或順應知識（AC）的過程;在交互層面上，學習者根據同化或順應知識的理解，進行肢體互動實現人機交互，在交互過程中，學習者可能會根據任務進行機械學習（RA），或者根據理解程度進行意義學習（MA）;在交互認知層面上，學習者已經在認知層面上進行了同化知識或順應知識的步驟，并且在交互層面進行了機械學習或意義學習的步驟，最后通過學習者的互動，交互系統進行處理并給予學生反饋，到達交互認知層面，學生根據系統反饋對反饋結果的進一步的理解，促進了學習者的認知，在此過程中，學習者實現了在認知層面和交互層面各學習過程的交互融合，實現了上述RA1、RA2、MA1、MA2的四種學習認知過程，如圖2所示。

四、STEM融合知識的交互模塊結構與路徑設計研究

交互模塊結構與路徑設計部分研究了虛擬現實技術所構成的環境特點，構建STEM學科融合知識的互動性模塊結構與路徑，發現促進學生多元學習認知的最優解結構。

（一）基于ISM方法建構知識交互模塊的學習路徑

根據STEM動覺學習認知影響因素的分析，得到四個影響因子中的四個類別認知學習過程，而每一個類別又包含S、T、E、M四類知識內容，因此交互模塊可以包含32個知識內容。例如同化知識（AS）類別包含了Sl、Tl、El、Ml四個交互模塊。然而，針對交互性的學習過程，不可能在短時間內學習完所有32個交互模塊，需要根據學習者的認知水平和學習需要進行動態路徑規劃，交互模塊學習路徑構建選擇了解釋結構模型法展開。

STEM項目的交互模塊路徑過程基于以上解釋結構模型法過程，將交互模塊定義為Node，而交互模塊Node由各要素構成的矩陣計算構成，路徑Path則通過區域分解和級間分解確定其層級關系，形成交互模塊路徑Path。

本研究選擇Ucinet軟件實現解釋結構模型法過程，通過結構方程分析得到潛變量及子因素，運用解釋結構模型法構建以上因素的可達矩陣并進行區域分解和級間分解，求得各因素的層級結構，即STEM動覺學習實踐項目的交互模塊路徑（如圖3所示），所形成的層級結構表示虛擬現實環境中學生利用體感設備與虛擬模塊進行互動的流程。

（二）虛擬現實環境的軟硬件實現

本研究計劃選擇Leap Motion體感控制器和Oculus Rift虛擬現實設備組成虛擬現實學習環境，基于Unity3D軟件實現Leap Motion手勢控制，利用Leap Motion的SDK開發者語言進行軟件開發，對手勢命令進行定義（如圖4所示），定義命令包括：手掌位置（Palm Position）、手掌速度（Palm Velocity）、手掌法向量（Palm Normal），方向（Direction）、球心（SphereCenter）、球半徑（Sphere Radius）、長度（Length）、寬度（Width）、指尖位置（Tip Position）、指尖速度（TipVelocity）、畫圓動作（Circle）、揮動動作（Swipe）、點擊動作（Key Tap）、觸屏動作（Screen Tap）。

在Unity3D中加入定義的Leap Motion手勢命令，設計“3D模型設計與制作”虛擬現實交互程序，利用Leap Motion對3D模型進行手勢控制和操作，將制作的模型繼續優化，形成學生作品，如圖5所示。

五、虛擬現實環境支持的STEM實踐項目實證研究

（一）STEM實踐項目的設計

為研究虛擬現實環境與STEM實踐項目相融合的過程，探索所建構的學科融合知識動覺學習模型對STEM實踐項目的相關作用，將基于虛擬現實環境的“3D模型設計與制作”STEM動覺學習項目應用于實踐教學，在本項目前期已經對其他實驗組開展了“3D模型設計與制作”STEM實踐項目中“3D建模軟件” “Form l+3D” “Sculpting建模軟件”的案例研究，積累了較多關于VR教學的實際經驗，取得較好的教學效果，本項目只加入體感控制設備，如圖6所示，加入的虛擬現實技術將進一步提高學生操作的體驗性和交互性，同時也有利于開展虛擬現實技術支持的STEM動覺學習機制研究。

（二）實驗過程

本研究在美國某州立大學教育學院開展，所有參與的志愿者都是該校理工、科學、技術類專業學生，如下頁表1所示，在58個參與者中，男性占比67%，女性占比37%，參與者被隨機分配為實驗組（30人）和對照組（28人），在實驗開始前參與者都是自愿參加本次實驗，并且對虛擬現實技術或者體感技術的認識水平處于基本認知的狀態。

作為“3D模型設計與制作”實踐項目的一部分，本研究開展“Cyber Science Skull”STEM項目式學習過程，如圖7所示。為期三周的學習過程分為五個部分，針對實驗組和對照組的實驗都配備了Leap Motion體感控制器、Form l+3D打印機和計算機及設備構成的虛擬現實學習環境，前兩個部分雙組教學計劃一致，為學生提供了前測測試、LeapMotion基本教學、準備知識和以小組為單位的學習指導過程，從第三部分雙組實施策略開始不同，對實驗組進行“CSS”STEM項目的知識講解和小組訓練指導，第四部分為“CSS”STEM項目的知識建構指導和基于社交網絡APP的協作學習指導，第五部分體感控制、3D打印、虛擬現實操作的組合知識指導、3D打印過程指導和后測，對照組在后三個部分僅提供了基本的設備指導，無實踐操作指導和小組協作指導。實驗組與對照組在設備方面條件一致，僅在虛擬現實環境中的指導和小組協作指導方面存在差異，其目的為驗證學生提高程度來源于虛擬現實環境支持的STEM融合知識動覺學習機制的策略，而非虛擬現實環境本身。

（三）實驗評價與結果

本研究根據虛擬現實環境要素和實驗過程評價，吸收虛擬現實環境、21世紀技能與STEM教育評價、ICT技能自主學習、協作學習、問題解決、創新能力發展和數字學習技能的評價要素，設計了“虛擬現實環境支持的學習”五維調查問卷（GBTLS），包括虛擬現實環境的學習動機（GL）、虛擬現實環境的使用便利度（GT）、虛擬現實環境的資源有效性（GR）三個部分共六項二級評價指標，同時設計了“虛擬現實環境支持的STEM融合知識動覺學習認知”五維調查問卷（RM2A-GBT），包括動覺學習中的技術熟練度（RM2A-GU）、動覺學習中的自主學習（RM2A-SL）、動覺學習中的協作學習（RM2A-CL）、動覺學習中的問題解決（RM2A-PS）、動覺學習中的創新發展（RM2A-CD）五個部分共15個二級評價指標。在正式使用問卷前對問卷進行了試測，選擇了13位同類專業背景的志愿者學生在了解實驗背景后填答問卷，其a信度分別為0.79和0.72，根據Gall對問卷信度評價的標準，0.79和0.72介于0.69和0.88之間，證明兩套問卷具有較高信度。

1.雙組前后測成績結果

對學生的前測評價得到雙組平均值、標準差和t檢驗結果，如表2所示。根據結果顯示雙組前測成績分別為2.37和2.12，表明雙組基礎處于對等水平，后測成績對照組平均值為3.61、標準差為0.906，實驗組平均值為4.39、標準差為0.936.且雙組后測成績的獨立樣本t檢驗在假設方差齊性條件下，其顯著性P值為0.002（小于0.05），證明雙組后測具有顯著差異，實驗組表現好于對照組。

2.學習態度調查評價結果

對實驗組進行后測調查的GBTLS和RM2A-GBT兩套問卷的結果如下頁表3所示，得到了兩套問卷各一級指標的均值和標準差，對于GBTLS調查問卷來說，關注于被試在虛擬現實環境中的學習體驗和資源使用情況，指標“虛擬現實環境的學習動機（GL）”和“虛擬現實環境的資源有效性（GR）”均達到較高的水平（均值=4.55，標準差=0.379;均值=4.28，標準差=0.639），而“虛擬現實環境的使用便利度（GT）”相對較低（均值=3.91，標準差=0.658），這表明學習者在利用虛擬現實環境中的學習動機和資源學習體驗較好，而互動使用的便利性相對一般，但總體來說三項指標依然達到較高水平。

對于RM2A-GBT調查問卷來說（如表4所示），關注于學習者在利用虛擬現實環境進行學習的動覺學習過程，指出動覺學習所能夠涉及到的學生能力發展的部分。指標“動覺學習中的技術熟練度（RM2A-GU）” “動覺學習中的自主學習（RM2A-SL）”“動覺學習中的創新能力發展（RM2A-CD）”三項指標均值均大于4，達到了較高水平，表明學生在動覺學習過程中能夠達到較好的技術熟練度，并且進行較好的自主學習，達到了創新發展的目的;而“動覺學習中的協作學習（RM2A-CL）”和“動覺學習中的問題解決（RM2A-PS）”相對得分一般，表明學生在使用虛擬現實環境開展協作式動覺學習依然存在難點，并且對于問題的解決過程成為其亟待突破的部分。但是總體來說，動覺學習的五項一級指標依然達到較高水平，表明參與實驗的學生能夠利用虛擬現實環境開展有效的動覺學習過程。

3.學習態度評價指標的相關性分析

為探究虛擬現實環境對學生認知發展、學生能力發展及其與動覺學習的關系，對GBTLS和RM2A-GBT兩套問卷進行了相關性分析，得到如表5所示的相關性分析結果。結果表明，GR與GL、RM2A-GU與GL、RM2A-GU與GR、RM2A-SL與RM2A-GU、RM2A-CD與RM2A-SL、CL、PS存在較顯著的正相關關系，相關性不能夠指出因果關系，但通過分析表明虛擬現實環境的資源有效性促進了學生虛擬現實技術的學習動機，動覺學習中的技術熟練度促進了學生的學習動機和資源的有效性，動覺學習的自主學習過程反過來促進了技術的熟練度，最后動覺學習中的創新能力發展促進了自主學習、協作學習和問題解決的發展。

總體來說，在虛擬現實環境中的動覺學習以技術的熟練度為基礎，促進了學生對虛擬現實環境的學習動機和資源有效性，以動覺學習中的創新能力發展為關鍵突破點，通過促進這一能力的發展能夠同時促進自主學習能力、協作學習能力和問題解決能力的極大提高。

在比較GBTLS和RM2A-GBT兩套問卷的均值、標準差和相關性分析結果后發現，學生更傾向于機械學習的過程（RA1、RA2），如技術的熟練度促進了學生的學習動機和資源的有效性，表明在實驗初期，學生需要更多的時間開展自主學習，促進其技術熟練度，進而提高學習動機和資源有效性;但是意義學習的結果實驗后期產生較大效應（MA1、MA2），如創新能力發展促進了自主學習能力、協作學習能力和問題解決能力的提高，表明以機械學習過程為基礎，達到一定學習進度后，學生能夠自然地適應技術和資源的支撐促進其能力的發展，但是這個過程需要較長的時間。以上結論回應了本研究的目標，即虛擬現實環境對學生認知發展的作用是通過機械學習促進意義學習，由技術熟練到促進學習動機和資源有效性發展，進而促進能力提高，通過創新能力發展促進其他能力的進一步提高的過程。

六、研究結論

本研究為虛擬現實技術與學生認知發展的聯系提供了理論框架，在文獻綜述、認知主義學習理論的基礎上提出了虛擬現實環境促進學生認知的動覺學習機制，即虛擬現實環境支持的STEM融合知識動覺學習機制，設計了STEM融合知識的交互模塊結構、路徑與軟硬件實現方式，并根據學習機制與路徑開展了虛擬現實環境支持的STEM實踐項目的實證研究。實證研究為美國某州立大學的“CSS”STEM項目，通過雙組前后測分析得到實驗組成績高于對照組成績，并且差異顯著，實驗結束后得到GBTLS和RM2A-GBT兩套問卷的分析結果，表明基于虛擬現實環境的STEM項目對學生的短期學習過程中的機械學習促進效果較好，即技術的熟練度促進了學生的學習動機和資源的有效性，如果能在一個較長的學習周期中開展研究，基于虛擬現實環境的STEM項目可以逐漸有效地促進學生開展意義學習過程，即創新能力發展促進了自主學習能力、協作學習能力和問題解決能力的提高。

本研究實證過程依然存在不足，通過前期三項實驗積累虛擬現實技術支持的教學實踐經驗基礎上，“CSS”STEM項目的實施為3周，對于利用虛擬現實技術促進學生認知學習的過程來說依然具有時間局限性，在后續研究需要進一步開展更長時間的實踐研究;另外，本研究所提出虛擬現實技術支持的動覺學習機制模型以認知學習理論為基礎，模型元素在呈現學習內容、知識內容、學習過程與技術本身的關系方面依然有待深化，因此，該模式可在國內開展針對不同學段和內容的研究，以進一步驗證RM2A理論模型的有效性，同時也能夠對基于動覺學習的學生認知促進機制開展國內外對比研究。

通過本研究，為虛擬現實環境和學生的認知發展提供了聯系，為VR、AR、MR等技術對學習者的促進作用提供了理論框架并進行了驗證，為國內外同類研究的教學實踐提供了參考，豐富了關于虛擬現實環境對學習者動覺學習機制和認知能力發展的理論內涵和實踐意義?？傮w來說，本研究在虛擬現實技術、STEM教育、學習者認知等領域具有較高的理論價值和實踐研究意義。

*本文系中國博士后科學基金第65批面上資助項目“基于虛擬現實技術的STEM學科融合知識動覺學習機制研究”（項目編號：2019M652945）、廣州市哲學社會科學發展“十三五”規劃2019年度羊城青年學人課題“教育信息化2.0背景下粵港澳大灣區教育質量提高與均衡發展效益輻射模式研究”（課題編號：2019CZQN20）研究成果。