支持力反饋的沉浸式物理學習環(huán)境的構建

鄭明鈺，李家和，張 晗，駱巖林，申佳麗，朱小明

支持力反饋的沉浸式物理學習環(huán)境的構建

鄭明鈺，李家和，張 晗，駱巖林，申佳麗，朱小明

(北京師范大學人工智能學院，北京 100875)

隨著虛擬現(xiàn)實(VR)技術的發(fā)展，沉浸式學習環(huán)境在教育教學領域應用前景日趨廣闊，如物理實驗仿真教學。然而，現(xiàn)有虛擬學習環(huán)境大多只能提供視覺與聽覺的交互，不支持力觸覺交互，存在弊端。項目組將力反饋技術應用于虛擬學習環(huán)境，描述一個支持力反饋的沉浸式物理學習環(huán)境的總體框架和開發(fā)流程。使用Touch力反饋設備，借助Unity3D軟件和OpenHaptics力覺函數(shù)庫，設計實現(xiàn)典型案例：重力和摩擦力實驗。通過實驗得出：支持力反饋的沉浸式物理學習環(huán)境，具有更好的沉浸感和自然交互性，可加深學生對抽象物理概念和規(guī)律的理解，提高學習興趣和自主性。

沉浸式學習環(huán)境；力反饋；虛擬現(xiàn)實；物理教學；人機交互

近年來，中小學基礎教育越發(fā)重視對學生實踐能力和學科素養(yǎng)的培養(yǎng)，對于一些以實驗為基礎的學科，如物理，實驗是教學過程中一個必不可少的環(huán)節(jié)。然而，由于條件制約，實際物理教學過程中存在著“實驗一遍過”、甚至“無實驗”等難題，同時，由于某些物理模型較為抽象，教師很難在課堂上展示，導致學生理解錯誤，無法領會，甚至選擇放棄學習。

隨著虛擬現(xiàn)實(virtual reality，VR)技術的發(fā)展，越來越多的教育機構意識到虛擬學習環(huán)境可以彌補傳統(tǒng)實驗教學的不足。將虛擬學習環(huán)境運用到物理實驗教學，可讓學生體會各種抽象的物理模型，獲得直觀而深刻的沉浸式學習體驗，從而加深理解。這種教學方式不僅能提高學生興趣，也有利于重復實驗、降低成本。

當前，虛擬學習環(huán)境中主要考慮視覺和聽覺兩方面的信息交互，缺乏力覺交互手段，導致交互性不足，沉浸感較差。經(jīng)過調(diào)研發(fā)現(xiàn)，物理教學對力覺交互的需求明顯，傳統(tǒng)虛擬學習環(huán)境無法達到物理實驗教學的預期效果，故本文提出將力反饋添加到傳統(tǒng)的虛擬學習環(huán)境中的設想。

基于上述分析，本文搭建一個支持力反饋的沉浸式虛擬物理實驗室，實現(xiàn)2個代表性實驗案例，分別為：①重力實驗——探究物體重力與質量的關系；②摩擦力實驗——探究滑動摩擦力和動摩擦因數(shù)的關系。

1 相關工作

1.1 沉浸式學習環(huán)境

沉浸式學習環(huán)境是指利用VR等計算機技術構建的高度虛擬仿真學習環(huán)境。沉浸式學習有助于學習者體驗更逼真的場景，從而產(chǎn)生更加難忘的沉浸式學習體驗[1]。利用VR技術搭建的沉浸式學習環(huán)境具有多項促進學習的潛能：有助于理解抽象概念，實現(xiàn)內(nèi)在動機和參與；可用于開展在真實世界中不宜進行的體驗學習任務等[2]。

近年來，使用VR技術提供的沉浸式學習體驗日益引起人們的重視，逐步形成沉浸式學習和各行各業(yè)交叉融合的局面。滕健等[3]將VR和腦機交互技術相結合，開發(fā)模擬駕駛教學演示系統(tǒng)，彌補傳統(tǒng)模擬駕駛中對于意外場景下學員心理狀態(tài)的監(jiān)測與協(xié)助的缺失；王萍等[4]利用沉浸式VR技術進行靜脈注射實驗教學，證明其在護理實驗教學領域有良好的應用前景；王曉露等[5]利用沉浸式VR技術實現(xiàn)藥學實驗意外事故的虛擬警示和儀器仿真操作，改善傳統(tǒng)藥學實驗教學中存在的弊端；張莉和路虹劍[6]提出將沉浸式VR技術應用于情境創(chuàng)設、探究性實驗教學中，豐富了小學課堂的科學教學模式；謝峰[7]探究了基于5G網(wǎng)絡下利用VR技術搭建的沉浸式課堂教學的應用模式；JADHAV等[8]利用VR輔助遠程呈現(xiàn)設備，為居家的殘疾學生搭建了一個三維虛擬教室，為其提供更好的學習體驗；GEORGIOU等[9]通過VR模擬仿真技術輔助物理課堂，幫助高中學生理解狹義相對論相關知識；國外高校如哈佛大學、斯坦福大學也利用沉浸式學習環(huán)境開設課程或實施虛擬圖書館、虛擬校園、虛擬課堂等項目[10]。

沉浸式學習環(huán)境雖然是近年來VR技術和其他領域交叉的熱點，但是大部分沉浸式學習環(huán)境缺少重要的力覺交互功能。本文將力反饋技術加入到沉浸式學習環(huán)境中，用于物理學科的實驗教學，為其提供便捷、有效的虛擬仿真教學手段。

1.2 力反饋技術

力反饋是指在人機交互過程中，用戶向虛擬環(huán)境輸入力學信號或運動信號，計算機根據(jù)相應算法計算反饋力大小和方向，并通過力反饋設備進行輸出，使用戶得到和現(xiàn)實世界一致的力覺反饋。力反饋技術改善了傳統(tǒng)的以視覺和聽覺為基礎的人機交互方式，增強了人機之間的信息交流，使交互體驗更加自然、真實，通過“所見即所觸”提供了更加豐富多彩的仿真應用[11]。

力反饋技術在改善人機交互方式、工業(yè)建模、虛擬手術等領域有許多案例研究。張靜等[12]提出了一種基于分布式系統(tǒng)的動態(tài)碰撞檢測與虛擬力覺交互的控制策略，增強現(xiàn)有人機交互系統(tǒng)中的沉浸感；徐遠等[13]基于六維力傳感器的反饋力提出了2種裝配軌跡策劃策略，用于改善工業(yè)生產(chǎn)中自動裝配技術裝配精度不高的問題；侯增選等[14]利用Phantom Desktop力反饋設備實現(xiàn)了在虛擬系統(tǒng)中的行書風格化繪制，增強了人機交互的實時書法體驗；吳其凡等[15]設計了一種基于力反饋的顱頜面虛擬手術仿真平臺，提高醫(yī)生術前規(guī)劃效率和訓練的效果；顧靈凱等[16]研發(fā)一套耳顯微外科虛擬手術仿真系統(tǒng)，用于術前模擬訓練，提高手術精確性；ZHU等[17]和KATAOKA等[18]分別設計了一款支持力反饋的智能穿戴手套和一臺小巧方便的手握式力反饋設備，使用戶在感知虛擬物體時可以得到相應的觸覺反饋； AL-SADA等[19]構建了一個提供多種力反饋的穿戴式設備HapticSnakes，改善了傳統(tǒng)力反饋產(chǎn)品在力反饋的種類和作用位置方面的局限性；3D Systems公司研發(fā)了一套基于力反饋技術的3D模型設計與建構的計算機輔助設計系統(tǒng)Freeform，便于學習者直接通過觸覺去雕刻設計出任意形態(tài)的三維造型[20]。

力反饋技術與沉浸式物理學習環(huán)境的結合需要通過力覺交互系統(tǒng)來實現(xiàn)。力覺交互系統(tǒng)主要由力反饋設備和力覺函數(shù)庫組成，其工作流程如圖1所示。

圖1 力覺交互系統(tǒng)工作流程

在力覺交互系統(tǒng)中，用戶通過力反饋設備在虛擬仿真環(huán)境中觸碰、感知和操作虛擬物體，調(diào)用力覺函數(shù)庫中的函數(shù)接口，根據(jù)力覺渲染算法計算反饋力，隨后力反饋設備接受程序計算出的力反饋信息并將對應的反饋力傳遞給用戶，使用戶感受到與現(xiàn)實世界一致的觸覺體驗。本文選用3D Systems公司的Touch力反饋設備來提供力反饋功能[21]，選擇與Touch設備配套的OpenHaptics API進行開發(fā)[22]，在OpenHaptics API中實現(xiàn)的是Virtual Proxy力覺渲染算法[23]。

將力反饋技術應用于沉浸式物理學習環(huán)境，可以增強VR環(huán)境的逼真度和沉浸感。學習者在虛擬學習環(huán)境中對虛擬物體進行操作時，能夠通過力覺感知到物體所受的重力、摩擦力、彈力等，加深對物理知識的理解。

1.3 中學物理實驗

物理是中學非常重要但較為抽象的學科，以實驗為基礎。但實驗教學受條件制約，面臨如實驗室條件有限、實驗器材配備不足、實驗材料損耗大等問題；又如由于實驗容量大、課時少等原因，許多實驗課學生還未做完就只能草草結束；再加上準備工作繁瑣，大部分實驗學生只能操作一次，無法再體驗。“實驗一遍過”甚至“無實驗”等問題導致學生缺少動手機會，降低其積極性，同時也不利于理解抽象知識點。

本文設計支持力反饋的沉浸式物理學習環(huán)境，有利于減少實驗課繁瑣的準備流程，節(jié)約實驗材料，同時為學生提供沉浸式學習體驗，提高學習物理實驗的主動性和效率，另外也為學生提供反復實驗的機會，幫助學生鞏固知識點。

為了探索沉浸式物理學習環(huán)境中力覺交互相關的中學物理知識點，項目組進行了充分調(diào)研，結果見表1，說明力反饋技術在中學物理實驗教學中有廣闊應用場景。從知識點中選擇重力和摩擦力2個知識點搭建相應沉浸式物理學習環(huán)境并為其添加力交互功能，讓學生進行虛擬仿真物理實驗，加深對抽象知識點的理解。

表1 力覺交互相關的物理知識點

2 主要方法

本文設計的支持力反饋的沉浸式物理學習環(huán)境的總體框架如圖2所示。沉浸式物理學習環(huán)境的構建分為3個環(huán)節(jié)：搭建虛擬環(huán)境、添加力反饋、沉浸式交互體驗。學習環(huán)境搭建完成后，學習者在虛擬場景中進行物理實驗，操縱Touch力反饋設備與虛擬物體進行交互并得到力覺反饋，通過HTC Vive設備得到視覺反饋。

圖2 總體框架圖

2.1 搭建虛擬環(huán)境

首先通過Blender三維軟件進行建模，然后用PhotoShop進行貼圖設計，接著將模型及貼圖導入Unity3D中，并放到三維場景中的合適位置，設置光照，添加剛體組件Rigidbody和碰撞檢測組件Collider，最終利用Unity3D內(nèi)置渲染引擎繪制出完整場景如圖3所示。

圖3 虛擬實驗場景((a)重力實驗場景；(b)摩擦力實驗場景)

2.2 添加力反饋

利用OpenHaptics?Unity Plugin[24]將力覺交互系統(tǒng)和虛擬環(huán)境相連，從而在沉浸式物理學習環(huán)境中添加力反饋功能。該插件支持Unity物理引擎，包含實現(xiàn)力覺交互功能所需的預制件和一些基礎力覺腳本。利用該插件在OpenHaptics基礎上編寫用于力覺渲染的C#腳本，進而為Unity中的物體添加不同的力覺交互效果，比如重力、摩擦力、穿刺效果等。

2.2.1 給重力場景添加力反饋

首先，添加力反饋功能必需的“HapticDevice WithGrabber”預制件，預制件默認模型如圖4所示，用戶亦可自行設計模型。該預制件為用戶在虛擬場景中與虛擬物體進行力覺交互的工具，負責綁定力反饋設備和力覺交互的響應函數(shù)。用戶使用預制件對虛擬物體進行操作，感受到相應力反饋。

圖4 “HapticDeviceWithGrabber”預制件

然后，給砝碼添加重力反饋。OpenHaptics在Unity場景中的重力反饋基于Unity物理引擎，給砝碼添加“rigidbody”組件使其受到虛擬環(huán)境的“重力”影響，然后將砝碼的tag改為“Touchable”使其能被力覺交互工具觸碰和提起。

算法1. 給物體M添加重力反饋

輸入：

Unity的3D-Object: M,

Unity的物理引擎設置: PhysicsSetting,

M的質量: m, 重力加速度: g

輸出：添加重力反饋后的3D-Object M

為了能感受到不同砝碼的重量，只需改變每個砝碼在“rigidbody”組件中的mass值，整個過程的偽代碼見算法1。學習者在虛擬學習環(huán)境進行重力實驗，用力覺交互工具提起不同的木塊和砝碼，會感受到每個物體各不相同的重力，將木塊依次放到天平上，讀出砝碼質量，探究物體重力與質量的關系。

2.2.2 給摩擦力場景添加力反饋

搭建好摩擦力場景后，首先添加“HapticDevice WithGrabber”預制件，然后添加腳本為3個斜面設置不同的動摩擦因數(shù)，使之產(chǎn)生不同的滑動摩擦力。采用類似的方法可以為物體設置不同的表面屬性，如剛度(hlStiffness)、阻尼(hlDamping)、動摩擦系數(shù)(hlDF)、靜摩擦系數(shù)(hlSF)和穿透性(hlPopThrough)。整個過程的偽代碼見算法2。

算法2.給物體M添加摩擦力反饋

輸入：

Unity的3D-Object: M,

滑動摩擦力參數(shù): hlDF,

靜摩擦力參數(shù): hlSF,

HapticSurface腳本,

輸出：添加摩擦力反饋后的3D-Object M

以一個斜面為例，為其添加Haptic Surface腳本，通過操縱面板直接進行參數(shù)的調(diào)整，選擇“HL_Touch_Model”為“HL_CONTACT”，并調(diào)整“Static Friction”和“Dynamic Friction” 2個參數(shù)，可以設置靜摩擦力和滑動摩擦力，如圖5所示。學習者先通過力覺交互工具觸摸斜面以感知不同斜面的粗糙程度，然后從3個斜面上釋放滑塊，觀察下滑的速度，感知不同動摩擦因數(shù)下滑動摩擦力的大小。進一步通過已知信息計算滑塊的加速度，加深對受力分析、滑動摩擦力等相關知識的理解。

圖5 斜面的Haptic Surface參數(shù)設置

Fig. 5 ‘Haptic Surface’ parameter setting of bevel

2.3 沉浸式交互體驗

本文選擇HTC Vive產(chǎn)品支撐VR環(huán)境。HTC Vive是由HTC與Valve聯(lián)合開發(fā)的一款VR頭戴式顯示器產(chǎn)品[25]，通過Vive操控手柄和頭戴式設備的360°精確追蹤技術為用戶提供逼真的VR體驗，將傳統(tǒng)的Vive操控手柄替換為Touch力反饋設備從而在VR環(huán)境中提供力反饋。用戶佩戴HTC VIVE設備的VR頭盔進入虛擬環(huán)境，通過Touch設備與虛擬環(huán)境中的物體進行交互，感知反饋力，如圖6所示，用戶提起砝碼感受到重力，同時有“觸摸”虛擬物體的感覺。根據(jù)用戶反饋可以進一步對場景進行修改。

圖6 沉浸式體驗場景((a)用戶操作實景；(b)虛擬學習環(huán)境場景)

3 評 價

3.1 評價對象

現(xiàn)有虛擬物理學習環(huán)境以二維形式較多，其中北京樂步教育科技有限公司設計的“NoBook”虛擬物理實驗室[26]等發(fā)展較為成熟，該實驗室收錄了大部分中學物理實驗。為了驗證支持力反饋的沉浸式物理學習環(huán)境能夠改善用戶的學習體驗、增添虛擬學習環(huán)境的沉浸感，本文設計了2組對比實驗，第1組對比“NoBook”二維虛擬實驗室與傳統(tǒng)的未添加力反饋的沉浸式物理學習環(huán)境，比較用戶在三維和二維虛擬學習環(huán)境中的學習體驗；第2組對比傳統(tǒng)的沉浸式物理學習環(huán)境與支持力反饋的沉浸式物理學習環(huán)境，觀察力反饋技術是否能夠增強三維虛擬學習環(huán)境的沉浸感，改善用戶體驗。3個評價對象均為滑動摩擦力相關實驗：在二維虛擬物理實驗室中，用戶只能通過鼠標與虛擬器材進行交互；在三維沉浸式物理學習環(huán)境中，3個斜面(木質、石英和玻璃斜面)的動摩擦因數(shù)不同，用戶通過手柄或力反饋設備進行交互。3個評價對象如圖7所示。

圖7 3個評價對象((a)“NoBook”二維虛擬物理實驗；(b)傳統(tǒng)的三維沉浸式虛擬物理實驗(無力反饋)；(c)支持力反饋的三維沉浸式虛擬物理實驗)

3.2 評價方法

鑒于暫沒有統(tǒng)一的對虛擬學習環(huán)境的評價指標，本文參考何聚厚等[27]提出的基于沉浸式VR系統(tǒng)的學習評價指標體系，選擇并優(yōu)化其若干指標，建立針對虛擬物理學習環(huán)境的評價指標體系，并利用層次分析法對各指標權重進行計算。通過咨詢教育領域專家得到專家判斷矩陣，見表2，最終的指標體系及其權重見表3。該指標體系從情感、過程和知識3個層面對3個評價對象進行定量評估，重點考察虛擬物理學習環(huán)境的沉浸感和交互性。

表2 專家判斷矩陣

注：變量與表3中的指標相對應

每一種評價標準均使用1~5標度打分，依次代表完全不符合、基本不符合、基本符合、符合、完全符合(或非常不滿意、基本不滿意、基本滿意、滿意、非常滿意)。最終得分為

(1)

其中，為最終得分；g為二級指標打分；w為對應權重。

表3 虛擬物理學習環(huán)境的評價指標

共有6組志愿者參與本次實驗，每組15人。以其中一組測評為例進行介紹：實驗前，向志愿者介紹3種虛擬學習環(huán)境的使用方法及實驗目的，實驗按以下步驟進行：

步驟1. 對3種實驗進行編號，“NoBook”二維虛擬物理實驗室為實驗1，經(jīng)典的沉浸式物理學習環(huán)境為實驗2，支持力反饋的沉浸式物理學習環(huán)境為實驗3。

步驟2. 第1組的實驗順序為實驗1、實驗2和實驗3。

步驟3. 3種實驗體驗完畢后，志愿者填寫調(diào)查問卷，交流實驗感受。

步驟4. 第1組體驗完畢后，第2組開始，直到6組全部體驗完成。

3.3 評價結果

在6組志愿者全部實驗完畢后，整理調(diào)查問卷的結果進行評分，結果見表4。

表4 評價指標得分

注：加粗為更優(yōu)結果，總分滿分5分

從表4可以看出，相比于二維虛擬物理學習環(huán)境，三維的沉浸式物理學習環(huán)境能夠給學生提供更優(yōu)質的學習過程體驗，調(diào)動學習主動性，提高學習興趣；同時力反饋功能顯著改善學生在三維交互過程中的沉浸感，有助于提升學習專注度，進而加深對知識的理解。不過少許志愿者在實驗過程中表現(xiàn)出對于VR環(huán)境略有不適感，在“學習適應” (1)項中給“NoBook”二維虛擬物理實驗室打出了略高于其他2項實驗的分值，說明極少部分志愿者對VR設備和力反饋設備需要更長的適應時間，這也是今后需要優(yōu)化的地方。整體來看，支持力反饋的沉浸式物理學習環(huán)境在實際教學中有較大優(yōu)勢，能夠更好滿足師生需求，在未來應用前景廣闊。

4 總結與展望

本文設計實現(xiàn)了支持力反饋的沉浸式物理學習環(huán)境，為用戶提供實時的力覺反饋效果。該虛擬學習環(huán)境具有高沉浸感和自然交互性，改善傳統(tǒng)虛擬物理實驗環(huán)境的人機交互方式，同時為解決當今中國物理教學中“實驗難”、“實驗一遍過”甚至“無實驗”等問題提出一種新的解決思路，不僅有利于滿足學生對于模擬物理實驗的需求，更可以幫助學生多次進行物理實驗、復習和鞏固相關知識。

本文相關技術具有很強的拓展性，可以類似地將物理領域中電場力、磁場力、萬有引力等學生難以理解的力學實驗引入其中，目前本項目組正在依此思路進一步研發(fā)其他實驗案例。未來，將對力覺渲染算法作進一步研究，優(yōu)化力反饋效果，進一步改進和完善沉浸式物理學習環(huán)境，并推廣應用。

[1] 張春華, 吳莎莎. 沉浸式學習背景下虛擬現(xiàn)實技術的教育應用[J]. 中國現(xiàn)代教育裝備, 2018, 300(20): 72-76. ZHANG C H, WU S S. Educational application of virtual reality technology in the context of immersive learning[J]. China Modern Educational Equipment, 2018, 300(20): 72-76 (in Chinese).

[2] 仇曉春. 三維虛擬學習環(huán)境的特點及教學潛能[J]. 中國遠程教育, 2012 (15): 74-77. QIU X C. Characteristics and teaching potential of three-dimensional virtual learning environment[J]. China Distance Education, 2012 (15): 74-77 (in Chinese).

[3] 滕健, 黃佳慧, 宮凱. 基于BCI的虛擬現(xiàn)實模擬駕駛教學系統(tǒng)設計[J]. 圖學學報, 2020, 41(2): 217-223. TENG J, HUANG J H, GONG K. Design of virtual reality simulation driving teaching system based on BCI[J]. Journal of Graphics, 2020, 41(2): 217-223 (in Chinese).

[4] 王萍, 顏文貞, 王芳, 等. 沉浸式虛擬現(xiàn)實技術在靜脈注射法實驗教學中的應用[J]. 中國護理管理, 2020, 20(2): 176-180. WANG P, YAN W Z, WANG F. Application of immersive virtual reality technology in experimental teaching of intravenous injection[J]. China Nursing Management, 2020, 20(2): 176-180 (in Chinese).

[5] 王曉露, 陳鋒, 鄧琪. 沉浸式虛擬現(xiàn)實技術在藥學實驗教學中的應用[J]. 中華醫(yī)學教育雜志, 2020, 40(2): 111-114. WANG X L, CHEN F, DENG Q. Application of immersive virtual reality technology in pharmacy experimental teaching[J]. Chinese Journal of Education, 2020, 40(2): 111-114 (in Chinese).

[6] 張莉, 路虹劍. 沉浸式虛擬現(xiàn)實技術在科學教學中的應用研究[J]. 計算機教育, 2019 (12): 11-15. ZHANG L, LU H J. Research on the application of immersive virtual reality technology in science teaching[J]. Computer Education, 2019 (12): 11-15 (in Chinese).

[7] 謝峰. 5G網(wǎng)絡下基于虛擬現(xiàn)實技術沉浸式課堂教學的應用與研究[J]. 計算機工程與科學, 2019, 41(S1): 14-17. XIE F. Application and research of immersive classroom teaching based on virtual reality technology under 5G network[J]. Computer Engineering and Science, 2019, 41(S1): 14-17 (in Chinese).

[8] JADHAV D, SHAH P, SHAH H. A study to design VI classrooms using virtual reality aided telepresence[C]//2018 IEEE 18th International Conference on Advanced Learning Technologies (ICALT). New York: IEEE Press, 2018: 319-321.

[9] GEORGIOU Y, TSIVITANIDOU O, ECKHARDT C, et al. Work-in-progress: a learning experience design for immersive virtual reality in physics classrooms[C]//The 6th International Conference of the Immersive Learning Research Network (iLRN). New York: IEEE Press, 2020: 263-266.

[10] 劉革平, 謝濤. 三維虛擬學習環(huán)境綜述[J]. 中國電化教育, 2015(9): 22-27. LIU G P, XIE T. Overview of three-dimensional virtual learning environment[J]. China Audio-Visual Education, 2015 (9): 22-27 (in Chinese).

[11] 王黨校, 焦健, 張玉茹, 等. 計算機觸覺：虛擬現(xiàn)實環(huán)境的力觸覺建模和生成[J]. 計算機輔助設計與圖形學學報, 2016, 28(6): 881-895. WANG D X, JIAO J, ZHANG Y R, et al. Computer haptic modeling and generation in virtual reality environments[J]. Journal of Computer Aided Design and Graphics, 2016, 28(6): 881-895 (in Chinese).

[12] 張靜, 徐亮, 劉滿祿, 等. 基于分布式系統(tǒng)的虛擬力感知與交互技術[J]. 傳感器與微系統(tǒng), 2019, 38(5): 44-47. ZHANG J, XU L, LIU M L. Virtual force perception and interaction technology based on distributed system[J]. Sensors and Microsystems, 2019, 38(5): 44-47 (in Chinese).

[13] 徐遠, 宋愛國, 李會軍. 基于機器視覺和力反饋的自動裝配技術研究[J]. 測控技術, 2019, 38(4): 11-16. XU Y, SONG A G, LI H J. Research on automatic assembly technology based on machine vision and force feedback[J]. Measurement and Control Technology, 2019, 38(4): 11-16 (in Chinese).

[14] 侯增選, 張微, 黃磊, 等. 基于力反饋技術的行書書法仿真[J]. 計算機仿真, 2019, 36(5): 366-371. HOU Z Y, ZHANG W, HUANG L. Simulation of calligraphy based on force feedback technique[J]. Computer Simulation, 2019, 36(5): 366-371 (in Chinese).

[15] 吳其凡, 張勁, 劉凱, 等. 下頜骨拼接與導板設計的力反饋虛擬手術研究[J]. 計算機工程與應用, 2019, 55(5): 232-237. WU Q F, ZHANG J, LIU K. Virtual surgery for mandible splice and guide plate design by force feedback[J]. Journal of Computer Engineering and Applications, 2019, 55(5): 232-237 (in Chinese).

[16] 顧靈凱, 謝叻, 戴培東. 具有力反饋的耳顯微外科虛擬手術研發(fā)[J]. 計算機仿真, 2019, 36(5): 360-365. GU L K, XIE L, DAI P D. Research and development of virtual surgery for ear microsurgery with force feedback[J]. Computer Simulation, 2019, 36(5): 360-365 (in Chinese).

[17] ZHU M L, SUN Z D, ZHANG Z X, et al. Haptic- feedback smart glove as a creative human-machine interface (HMI) for virtual/augmented reality applications[J]. Science Advances, 2020, 6(19): eaaz8693.

[18] KATAOKA K, YAMAMOTO T, OTSUKI M, et al. A new interactive haptic device for getting physical contact feeling of virtual objects[C]//2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). New York: IEEE Press, 2019: 1323-1324.

[19] AL-SADA M, JIANG K R, RANADE S, et al. HapticSnakes: multi-haptic feedback wearable robots for immersive virtual reality[J]. Virtual Reality, 2020, 24(2): 191-209.

[20] 祁彬斌, 陳彩華, 龐明勇. Haptics技術在教育教學中的應用研究[J]. 現(xiàn)代教育化, 2015 (1): 82-86. QI B B, CHEN C H, PANG M Y. Research on the application of haptics technology in education[J]. Modern Education, 2015 (1): 82-86 (in Chinese).

[21] 3D Systems.觸覺式力反饋設備[EB/OL]. [2020-09-20]. https://cn.3dsystems.com/haptics-devices/touch.3D Systems. 3D systems touchforce feedback equipment[EB/OL]. [2020-09-20]. https://cn.3dsystems.com/haptics-devices/touch (in Chinese).

[22] 3D Systems. 3D systems OpenHaptics API for Windows developer edition v3.5[EB/OL]. [2020-09-20]. https://support.3dsystems.com/s/article/OpenHaptics-for-Windows-Developer-Edition-v35?language=en_US.

[23] RIZZI S H, LUCIANO C J, PAT BANERJEE P. Comparison of algorithms for haptic interaction with isosurfaces extracted from volumetric datasets[J]. Journal of Computing and Information Science in Engineering, 2012, 12(2): 21004-NaN.

[24] 3D Systems. 3D systems OpenHaptics Unity plugin[EB/OL]. [2020-09-20]. https://assetstore.unity.com/packages/tools/integration/3d-systems-openhaptics-unity-plugin-134024.

[25] 宏達通訊科技有限公司. HTC Vive設備[EB/OL]. [2020-09-20].https://www.vive.com/cn/product/vive/. Hongdo Communiations Technology Limited. HTC Vive equipment[EB/OL]. [2020-09-20]. https://www.vive.com/cn/ product/vive (in Chinese).

[26] 北京樂步教育科技有限公司. NoBook虛擬實驗室[EB/OL]. [2020-09-20]. https://www.nobook.com. Beijing Lebu Education Techology Go., Ltd. NoBook virtual laboratory[EB/OL]. [2020-09-20]. https://www.nobook.com (in Chinese).

[27] 何聚厚, 梁瑞娜, 肖鑫, 等. 基于沉浸式虛擬現(xiàn)實系統(tǒng)的學習評價指標體系設計[J]. 電化教育研究, 2018, 39(3): 75-81. HE J H, LIANG R N, XIAO X. Design of learning evaluation index system based on immersive virtual reality system[J]. Audio-visual Education Research, 2018, 39(3): 75-81 (in Chinese).

Immersive physics learning environment with force feedback

ZHENG Ming-yu, LI Jia-he, ZHANG Han, LUO Yan-lin, SHEN Jia-li, ZHU Xiao-ming

(College of Artificial Intelligence, Beijing Normal University, Beijing 100875, China)

With the development of virtual reality (VR) technology, the immersive learning environment can play a great role in the field of education. However, most of the existing immersive environments can only provide visual and auditory interactions, and are unable to provide force and touch interactions, which are the drawbacks. Our project described a complete framework and development process of an immersive physics learning environment with force feedback. Using the Touch force-feedback device, along with the Unity3D software and OpenHaptics function library, the gravity and friction experiments were designed. Through the evaluation experiment, it can be concluded that the immersive physics learning environment with force feedback can provide a better sense of immersion and more natural interactions, which can deepen students’ understanding of abstract physical concepts and improve their interest in learning.

immersive learning environment; force feedback; virtual reality; physics teaching; human-computer interaction

TP 391.9

10.11996/JG.j.2095-302X.2021010079

A

2095-302X(2021)01-0079-08

2020-07-22；

22 July，2020；

2020-09-20

20 September，2020

國家自然科學基金項目(61977063)；全國教育科學規(guī)劃課題(BCA150050)

：National Natural Science Foundation of China (61977063); National Educational Science Planned Project of China (BCA150050)

鄭明鈺(1998-)，男，河南新鄉(xiāng)人，本科生。主要研究方向為可視化和虛擬現(xiàn)實。E-mail：201711210110@mail.bnu.edu.cn

ZHENG Ming-yu (1998-), male, undergraduate. His main research interests cover visualization and virtual reality. E-mail：201711210110@mail.bnu.edu.cn

駱巖林(1968-)，女，甘肅武威人，副教授，博士。主要研究方向為可視化和虛擬現(xiàn)實。E-mail：luoyl@bnu.edu.cn

LUO Yan-lin (1968-), female, associate professor, Ph.D. Her main research interests cover visualization and virtual reality. E-mail：luoyl@bnu.edu.cn