虛擬現(xiàn)實技術實訓平臺的設計開發(fā)與教學實踐研究

王帥

（重慶水利電力職業(yè)技術學院，重慶 402160）

0 引 言

隨著媒體技術的不斷演進，教育的“場域”與“在場”被新技術不斷重新定義，虛擬現(xiàn)實技術（Virtual Reality,VR）具有3 I的特征，即沉浸性、交互性、構想性，為教育教學提供創(chuàng)新性思考，其中沉浸性是指使用戶有種置身于虛擬情境中的感覺，愈加“具身”（Embodiment）的虛擬現(xiàn)實體驗為教育教學提供了變革思路。

1 理論基礎

1.1 虛擬現(xiàn)實技術

虛擬現(xiàn)實是集合計算機技術、人工智能、語言處理等相關技術的新興技術，通過立體眼鏡、觸覺反饋數(shù)據(jù)手套等傳感設備，以眼動、手勢等接近自然的交互方式向計算機輸送信息，以視覺、聽覺和觸覺多維度感知形式反饋給學習者，具有高感知、深交互和即時反饋的特性。通過梳理虛擬現(xiàn)實技術演進脈絡，技術經(jīng)歷桌面式虛擬現(xiàn)實、沉浸式虛擬現(xiàn)實、增強/擴展現(xiàn)實和元宇宙等四個階段，技術將教育推向“共維”“共生”和“共在”的新形態(tài)。在實驗教學過程中，運用虛擬現(xiàn)實技術構建沉浸式的教學互動場域，揭示當下所謂的"虛擬"與"現(xiàn)實"的現(xiàn)實壁壘，同步滿足師生在物理世界和虛擬世界中的教與學需求。

現(xiàn)有VR 常用3 種交互模式：鼠標交互模式、手柄交互模式和手勢交互模式。傳統(tǒng)VR 采用鼠標鍵盤交互的虛擬實驗中在學習過程中學習者的學習體驗不佳，真實物理空間中眼部視覺是輔助手部操作鎖定目標任務繼而執(zhí)行，鼠標操作無法發(fā)揮出虛擬現(xiàn)實系統(tǒng)手眼協(xié)作的沉浸性、交互性、構想性和智能化等優(yōu)勢。手柄交互在注重手部交互體驗的同時融入手指追蹤技術、自適應扳機技術等，大大提高手部操作適應性，在沉浸式交互體驗中使用較為廣泛。手勢交互作為一種重要的自然交互方式，在形式上和空間上極大改善了交互體驗，不僅能提升交互的沉浸感和效率，而且也能增加交互的真實感，但隨著科技的發(fā)展手勢交互的VR 交互性不及時、臨場感不強等問題也隨即暴露出來。

1.2 具身認知

具身認知理論強調(diào)認知依賴于各種情境活動與身體自身在環(huán)境中感知生成即認知的發(fā)生是身體、情境和認知上的耦合統(tǒng)一論，大腦并非認知的唯一源，在認知形成過程中要注重置身情境、身體感知與動態(tài)交互過程。具身理論視域下的沉浸式教學在深化學習者學習體驗中體現(xiàn)3 層次：一即調(diào)動具身經(jīng)驗。為促進學習達成認知的生成，虛擬情境中的學習體驗需調(diào)動具身經(jīng)驗，與反思觀察、抽象概括和主動檢驗形成螺旋上升的學習循環(huán)過程，；二是升華抽象經(jīng)驗。為革新學習者的認知感知模式和范圍，多通道感知在學習中發(fā)揮重要作用，通過領悟獲得抽象經(jīng)驗，并且與原有經(jīng)驗產(chǎn)生聯(lián)結，從而實現(xiàn)意義建構和知識遷移；三是延展認知資源。虛擬情境也可促進物理情境認知范圍的延伸，創(chuàng)建虛擬的認知資源促進學習者多感官情境下的多通道信息處理，深化知識留存率達到深度學習體驗。

2 虛擬現(xiàn)實技術支持的VR 實訓系統(tǒng)設計與開發(fā)

2.1 交互行為設計

VR 技術能夠為學習者提供多感官交互通道，協(xié)助學習者更流暢便捷地完成實驗任務。在三維場景中提供真實自然的交互是VR 虛擬實驗平臺的重要研究內(nèi)容。手柄交互作為使用便捷、應用范圍廣的交互形式之一，為交互體驗提供更自由的操作空間。評價用戶使用體驗的好壞標準之一就是交互隱喻的設計。Stutman 和Putnam（1994）認為隱喻的基本功能就是構建虛擬空間的逼真性（包括我們的感覺和信念）和提供擬真的交互行為，隱喻是將已有認知進行轉(zhuǎn)換形成新認知的一種方式，是決定虛擬實驗逼真程度的重要指標。能否通過已有的感知、體驗來想象、理解另一種事物，降低用戶的認知負荷，完成特定的交互任務是隱喻設計成功與否的決定因素，創(chuàng)建基于真實世界的隱喻是虛擬現(xiàn)實交互界面設計的基本方法，交互隱喻就是為完成特定的交互動作和任務需要將用戶雙手的位置信息和空間方向作為輸入映射到虛擬環(huán)境中操作。隱喻式學習過程是學習者在活動域中從基礎模塊（獲得隱喻）—發(fā)展模塊（參與隱喻）的發(fā)展過程，以“認知喚起—運用知識—建構知識—發(fā)展認知”機制推進。在虛擬情境中主要通過與學習者已有經(jīng)驗相吻合的隱喻信息，通過操作游戲場景與互動模式，在有意識或無意識狀態(tài)下接觸、接受各種信息、符號的暗示，進行著文字閱讀、圖形圖像和觸覺反饋（材質(zhì)、肌理、韌性等）視、聽、觸覺的信息加工，進而促進理解、認知、思考等過程與形式的關聯(lián)互通，使學習者達成隱喻式、遷移式學習。

任務和反饋的交互設計層面，采用直接隱喻和間接隱喻設計的交互任務能夠幫助學習者流暢地通過VR 設備進行交互，避免額外的認知負荷。現(xiàn)有交互方式有4 種：一是定時錨點，錨點會跟隨學習者頭部動作同步移動，可以在交互區(qū)域內(nèi)觸發(fā)錨點進行交互操作，錨點提供基礎形式的交互，過程體驗較差；二是手柄操作優(yōu)勢是比鼠標操作體現(xiàn)便捷性，可以實現(xiàn)即時反饋；三是空間定位及位置追蹤，分為手柄控制器及定位器2 種操作方式，實現(xiàn)一定范圍內(nèi)的空間自由運動；四是手勢操作，通過數(shù)據(jù)手套收集雙目攝像頭視覺圖像并進行手勢分割算法進行交互實現(xiàn)，由干神經(jīng)網(wǎng)絡可以用靜態(tài)的和動態(tài)的輸人，適用于實踐操作性強的快速、交互方式，缺點是目前技術局限所能達到的精確度不高，無法識別每個手指的精細動作。

本研究設計開發(fā)的交互設計是基于手柄的實驗工具，涵蓋選擇/操作交互任務主要包括模式選擇、定位與旋轉(zhuǎn)、動作；導航交互任務主要是虛擬環(huán)境中實現(xiàn)漫游和路徑查找，即拾取、行走、前后左右；系統(tǒng)控制交互任務指改變系統(tǒng)交互模式和系統(tǒng)狀態(tài)的相關系統(tǒng)命令，即重新開始、保存、返回等，如圖1所示。

圖1 聯(lián)合感測控制模式

2.2 三維建模和UI 設計

VR 虛擬實驗平臺采用3Dmax 作為三維引擎，能夠易于構建符合物理實物的各類參數(shù)，構建可以物體三維建構、貼圖等方面的刪除、附加等操作。此次實驗中主要構建的模型有煙霧傳感器、酒精傳感器、溫濕度傳感器和實驗附件的模型制作與材質(zhì)貼圖，如圖2所示。通過實驗實物高擬真還原度，結合UI 界面設計，實驗平臺屏幕、實驗原理、實驗提示顯示等，提高虛擬環(huán)境中的學習體驗效果。

圖2 實訓物體實物與三維模型對比

2.3 Unity3D 引擎開發(fā)

VR 虛擬實驗平臺采用Unity3D 作為三維引擎，實現(xiàn)可視化編程界面完成各種開發(fā)工作，方便編輯腳本、開發(fā)，支持直接導入骨骼和動畫，支持粒子系統(tǒng)，Unity 開發(fā)作用體現(xiàn)在VR 可視化、實時三維動畫的交互內(nèi)容的實現(xiàn)，如圖3所示。

圖3 Unity 交互引擎開發(fā)

3 VR 沉浸式教學的學習體驗相關性分析

本研究基于自主開發(fā)的實訓平臺在教學實踐中分析使用VR 實訓沉浸式教學的學習體驗有效性，檢驗學習體驗三維度：學習動機、沉浸感、和態(tài)度，并探究三維度之間的關系，使用問卷調(diào)查的工具分析30 名被試的實驗結果，使用Spearman相關方法進行檢驗，用來檢測元素之間的相關關系。結果顯示：沉浸感與學習動機（=0.943，＜0.01）和態(tài)度（=0.840，＜0.01）存在顯著相關。說明VR 實訓情境中沉浸感越強，學習者的學習動機越強，學習的積極態(tài)度越明顯。在創(chuàng)建VR 實訓時，為學習者構建高還原、高擬真的學習情境，有助于學習者提升學習投入、學習注意力，學習者的動機越強，對VR 實訓學習環(huán)境越具有積極態(tài)度，愿意接受更多的虛擬現(xiàn)實體驗和學習，也就是說，VR 實訓的沉浸感對學習體驗有著重要作用。結果分析可以看出學習動機與沉浸感和態(tài)度呈現(xiàn)顯著相關，說明VR 虛擬實訓沉浸感越強，學習者積極態(tài)度越強烈，對學習體驗越好。其中態(tài)度對學習體驗起著重要作用，學習者的積極態(tài)度增強，有利于學習動機的提升，有利于學習體驗獲得，如表1所示。

表1 沉浸感、學習動機和態(tài)度相關性

4 VR 沉浸式教學融入學科的課程類型及臨場維度

基于虛擬現(xiàn)實技術的沉浸式教學融入學科教學中，在應用取向與邏輯演進中分為學科本位與知識應用、學科思維與融合運用兩種方式，呈現(xiàn)四種類型：

（1）獨立式學科本位型，即以培養(yǎng)單一學科知識為主要目標，促使學習者獲取以學科知識，通過具身體驗達到習得經(jīng)驗、提升投入和增強情境的目的；（2）分布式學科本位型，即借助互聯(lián)網(wǎng)聯(lián)結各個虛擬現(xiàn)實系統(tǒng)，以獲取多元學科資源為目標，支持單一學科和跨學科分布式虛擬現(xiàn)實系統(tǒng)的學習，促使學習者打破囿于時空界限實現(xiàn)無邊界的泛在學習場域；（3）獨立式項目融合型，即以項目式為導向，通過任務進階培養(yǎng)發(fā)現(xiàn)問題與解決問題的能力，通過操作體驗、知識應用達到自主探究的學習過程；（4）分布式項目融合型，即將培養(yǎng)多學科知識與復雜問題解決能力為目標，強調(diào)去學科化，注重掌握知識與探究能力，培養(yǎng)學習者復雜學科思維，同時注重個體與個體、個體與群體、個體與社會的交流協(xié)作與情感體驗。

王廣新提出虛擬現(xiàn)實情境內(nèi)臨場感影響五因子，即情感涉入度、逼真度、感知響應力、控制力和注意力，進而提出臨場感生成模型：現(xiàn)實和虛擬情境的刺激—注意分配—卷入—臨場感，Schultze 從虛擬現(xiàn)實媒介技術作為重要中介的作用提出臨場感的激活模式，基于以上分析，將虛擬現(xiàn)實沉浸式學習體驗分為四個維度：旁觀者維度（Spectator dimension）、參與者維度（Participant dimension）、沉浸者維度（Immersion dimension）和創(chuàng)造者維度（Creator dimension），具體有以下幾點。

4.1 旁觀者維度（Spectator dimension）

學習者在沉浸式虛擬情境中體現(xiàn)出感知、參與和互動行為，借助虛擬現(xiàn)實沉浸式教學豐富的學習資源以理論知識為主，在虛擬情境中以體驗感知為主，用虛擬現(xiàn)實真實、沉浸與交互豐富知識的表征形式，并不能激發(fā)深層次的學習投入。

4.2 參與者維度（Participant dimension）

借助虛擬現(xiàn)實搭建沉浸式情境，幫助學習者形成應用知識指導解決問題的學科思維，通過進行相關操作、交互體驗等逐步在理論知識與虛擬情境間建立橋梁，增強發(fā)現(xiàn)問題、提出問題從而解決問題的能力，增強學習效果和學習投入。

4.3 沉浸者維度（Immersion dimension）

虛擬現(xiàn)實融入沉浸式教學，支持學習者浸入虛擬情境進行感知體驗，感悟知識價值所在，進而深化已有認知經(jīng)驗，促使學習者進行抽象與概括、對比與歸納、聯(lián)想與記憶等信息加工過程，從而達到理解知識、運用知識、遷移知識和生成新知識的過程，促成學習者知識關聯(lián)思考、遷移理解能力的生成。

4.4 創(chuàng)造者維度（Creator dimension）

學習者在虛擬現(xiàn)實沉浸式教學中注重具身體驗、情感狀態(tài)、協(xié)作交流和探究學習能力，實現(xiàn)重構學科知識與共建共享資源的過程，能夠打破學科、時空壁壘，關注個體與個體、個體與群體、個體與社會的密切關系，實現(xiàn)“身心合一”的多元交互、創(chuàng)造性和泛在化的學習體驗活動。

綜上所述，學習者學習體驗在虛擬現(xiàn)實融入學科課程類型、臨場感激發(fā)過程、沉浸式教學臨場維度融合過程中呈現(xiàn)三次循環(huán)迭代上升：一即在虛擬現(xiàn)實融入學科課程類型從單一學科知識向多元跨學科

知識再獲取新單學科知識循環(huán)迭代，再以獲取學科知識為基礎促使學習者通過具身體驗獲得一般科學思維的循環(huán)迭代；二即學生在臨場感激發(fā)過程中受五因子影響，在“刺激—注意”過程更易獲取單一學科知識，學習者以獲取學科知識為主，注重培養(yǎng)一般學科思維，而在“卷入—臨場感”過程，以培養(yǎng)學習者的多元一體自主探究學習能力為主，注重培養(yǎng)跨學科融合型復雜學科思維，在掌握基礎學科知識上進一步拓展探究，形成融會貫通、泛在化學習體驗活動，再次獲取單一學科知識中能夠提出新問題、新方法、新境界，產(chǎn)生認知思維上的循環(huán)迭代；三在沉浸式教學臨場維度，即學習者在虛擬現(xiàn)實沉浸式教學中隨著任務驅(qū)動、體驗提升、深度投入等過程從旁觀者維度—參與者維度—沉浸者維度—創(chuàng)造者維度依次遞進，形成自身迭代體驗過程，如圖4所示。

圖4 沉浸式教學臨場維度模型

5 基于VR 沉浸式教學的高職應用場景

5.1 “高職+實訓”的沉浸式教學

沉浸式教學在實驗實訓課程中主要體現(xiàn)出三種形式：一是觀摩體驗型，主要面向特定的服務行業(yè)課程，在制作過程中需要精準滿足流程中的規(guī)則要求，讓學習者切身感受到“實景實情”；二是仿真操作型，需要通過準確的虛擬現(xiàn)實場景操作產(chǎn)生對應的交互反饋，交互反饋可以是文字、動作姿態(tài)，也可以是實驗數(shù)據(jù)或現(xiàn)象等；三是虛實結合型，虛擬現(xiàn)實實驗與物理實驗相結合，即可在具有危險性和高損耗的實驗場景中，規(guī)避風險、節(jié)約資源，也可以為學習者提供線上線下融合的無邊界學習場域。

5.2 虛擬現(xiàn)實融入思政課堂

虛擬現(xiàn)實技術融合思政構建“VR ＋思政教育”模式，加強沉浸式體驗的“活動+德育”聯(lián)動模式，創(chuàng)建思政課堂的多維課堂，通過學生社團、思政主題展演、賽學結合等載體形式，將思政課堂以靈活生動的形式展開，“以情動人”與“以理服人”相結合。

5.3 虛擬現(xiàn)實+融課堂在線教學

虛擬現(xiàn)實技術課上教學與課下學習邊界打破，真實實現(xiàn)“泛”學習化，將“師—生—境”有機融合，支持學習者借由“虛擬化身”實現(xiàn)遠程“在場”達到參與課堂學習的行為，進行資源共享、合作互動和具身體驗等活動。同時，學習者可以通過發(fā)送遠程協(xié)助請求，教師可以遠程對學習者進行教學干預，與其他化身完成多元互動，實現(xiàn)泛在學習、終生學習、過程體驗的沉浸式學習體驗。

6 結 論

本研究通過搭建虛擬現(xiàn)實技術實訓平臺，探究在實踐教學中學生學習體驗的沉浸感、學習動機和態(tài)度之間的相關關系，結果顯示：沉浸感與學習動機和態(tài)度存在顯著相關，說明VR 實訓情境中沉浸感越強，學習者的學習動機越強，學習的積極態(tài)度越明顯。深入探究在學科本位與知識應用、學科思維與融合運用兩種課程融合方式中，虛擬現(xiàn)實教學實踐旁觀者維度、參與者維度、沉浸者維度和創(chuàng)造者維度的維度涵義及其在職業(yè)教育中的教學實踐應用。