基于數(shù)據(jù)手套的虛擬物理實驗室系統(tǒng)的設計與實現(xiàn)

（東北大學軟件學院 遼寧·沈陽 110000）

0 引言

隨著近年來高等教育實驗教學改革和實驗項目信息化建設的不斷推進，為響應國家教育部關(guān)于開展示范性虛擬仿真實驗教學項目建設的號召，充分利用信息技術(shù)與高等教育實驗教學深度融合、教育資源共建共享的先進機制，拓展實驗教學內(nèi)容的廣度和深度、延伸實驗教學的時間和空間、提升實驗教學的質(zhì)量和水平，搭建高靈活性、互動性、操作復雜性的物理實驗室系統(tǒng)對數(shù)字化教育平臺建設具有重要意義。本文利用包括基于物理的實時渲染技術(shù)在內(nèi)的多種數(shù)字還原技術(shù)，結(jié)合應用廣泛的虛擬現(xiàn)實開發(fā)平臺，以數(shù)據(jù)手套作為交互設備，通過若干個典型的中學物理實驗的仿真還原，設計并實現(xiàn)一個虛擬物理實驗系統(tǒng)，驗證物理實驗在虛擬現(xiàn)實平臺的可操作性以及數(shù)據(jù)手套在虛擬物理實驗中便捷、精確和直觀的交互方式。

1 相關(guān)技術(shù)

1.1 Unity引擎

Unity引擎是一款被廣泛使用的實時3D開發(fā)工具，由于其成熟的開發(fā)流程、豐富的開發(fā)資源，近年來被用作虛擬現(xiàn)實內(nèi)容的首選開發(fā)平臺。其優(yōu)秀的跨平臺特性也為虛擬現(xiàn)實和多體感交互開發(fā)提供了便利。

1.2 3DMax

3D Studio Max，常簡稱為3d Max或3ds Max，是Discreet公司開發(fā)的基于 PC平臺的三維動畫渲染和制作軟件。3ds Max是廣為人熟知的3D內(nèi)容制作工具，性價比較高、易于上手且插件資源豐富，廣泛應用于廣告、影視、工業(yè)設計、建筑設計、三維動畫、多媒體制作、游戲、以及工程可視化等領域。

1.3 Substance Painter

Substance Painter是一款基于物理效果的材質(zhì)制作工具，在追求真實質(zhì)感表達的3D仿真類項目中，常被用于制作逼真的材質(zhì)效果。

1.4 PBR技術(shù)

PBR全稱是Physically Based Rendering，基于物理的渲染，是時下非常流行的擬真渲染技術(shù)。基于物理的渲染技術(shù)使用物理原理來模擬光和物質(zhì)之間的相互作用。它是利用真實世界的原理和理論，通過各種數(shù)學方法推導或簡化或模擬出一系列渲染方程，并依賴計算機硬件和圖形API渲染出擬真畫面的技術(shù)。

1.5 數(shù)據(jù)手套

數(shù)據(jù)手套是一種多模式的虛擬現(xiàn)實硬件，可進行虛擬場景中抓取、移動、旋轉(zhuǎn)等操作，也可利用它的多模式性，控制場景漫游。本項目采用的數(shù)據(jù)手套為Noitom Hi5（圖1），采用慣性動作捕捉技術(shù)實現(xiàn)對手部姿態(tài)的獲取。NoitomHi5手套配備7顆9軸高性能慣性傳感器，可達到低于5ms的延遲，在腕部還提供振動模塊，可以在使用時產(chǎn)生震動觸覺反饋，增加虛擬現(xiàn)實中的沉浸感。

圖1：Noitom Hi5數(shù)據(jù)手套

2 系統(tǒng)設計

2.1 場景設計

本系統(tǒng)主要由五個虛擬場景組成：一個主場景、三個主題場景和一個多人合作場景。在場景設計上遵循場景風格服務場景功能的原則。

如圖2所示，主場景用于基本實驗操作，為使用者進行中學物理實驗提供虛擬場所，仿真實驗的主要目的則在于通過仿真程序來實現(xiàn)真實世界的實驗，在節(jié)省器材資源和降低實驗風險的情況下產(chǎn)生相同于真實實驗甚至實現(xiàn)真實實驗達不到的效果。

圖2：主場景與實驗器材

為了滿足以上需求，在實驗選取方面，選取以下實驗：（1）驗證動量守恒定律；（2）牛頓擺球；（3）描述小電珠的伏安特性曲線；（4）影響滑動摩擦力大小的因素；（5）利用氣墊導軌驗證牛頓第二定律。

主題場景則提供寓教于樂的交互場景，每個主題場景都以一個中學物理知識模塊為主題，將該模塊內(nèi)的知識靈活搭配，創(chuàng)造一個具體的環(huán)境以鍛煉學生使用本模塊所學物理知識解決實際問題的能力。

2.2 交互功能設計

本系統(tǒng)為“多體感”的虛擬物理實驗室系統(tǒng)，“多體感”是指交互方式上將涉及數(shù)據(jù)手套、虛擬現(xiàn)實平臺等多元交互設備的使用。在向虛擬實驗系統(tǒng)中引入復雜交互設備的同時，提高交互設備為使用者帶來的體驗升級便成為系統(tǒng)開發(fā)的重要內(nèi)容，本部分內(nèi)容將從操作的功能分析、交互設計、具體實驗的交互開發(fā)這三個方面闡述本系統(tǒng)的開發(fā)工作。

2.2.1 操作功能分析

人物漫游：使用者通過VR設備對虛擬場景進行觀察，并可在場景中移動的功能。

物體交互：使用者通過數(shù)據(jù)手套與模型交互的功能。通過對數(shù)據(jù)手套進行邏輯控制，讓使用者能在虛擬環(huán)境中觸碰、抓取、移動、操作實驗器材。

2.2.2 操作功能模塊設計

操作功能包括使用者在虛擬場景內(nèi)的移動、觀察，以及與實驗器材的交互操作，如抓取、觸摸、旋轉(zhuǎn)等。如圖3所示，本系統(tǒng)在用戶的模型手背上添加了操作按鈕，激活此按鈕后，用戶手掌中心將生成一個控制移動的虛擬搖桿，操作搖桿即可在虛擬場景中任意移動。

圖3：控制移動的虛擬搖桿

2.2.3 實驗交互功能模塊設計

實驗交互功能是對每個物理實驗操作仿真的具體實現(xiàn)，包括器材交互和UI交互。對于不同的器材，需要設計與其實際使用相適應的交互方式，如電學元件的連接、砝碼的夾取等。本部分以“探究影響滑動摩擦力大小的因素”實驗為例，展示相關(guān)設計。

由圖4實驗流程圖可以看出，在該實驗中，用戶需要完成對小車及其上砝碼的放置操作。砝碼的放置需要使用鑷子進行夾取，通過限制交互手段、UI提示等多種方法向用戶說明儀器的操作規(guī)范。此外，在UI系統(tǒng)和實驗操作流程中采用正交化的設計方式，可以在確保操作自由度的同時，避免因操作順序錯誤出現(xiàn)的邏輯沖突。

圖4：“探究影響滑動摩擦力大小的因素”實驗流程

3 系統(tǒng)實現(xiàn)

3.1 場景模型與特效制作

完成本項目場景制作的PBR流程：使用3ds max進行多邊形建模、拆分UV后導入substancepainter完成法線、AO貼圖的制作，繪制材質(zhì)貼圖，最后將模型和材質(zhì)貼圖導入unity引擎中進行配置并對場景進行打光和烘焙。

在Unity渲染方面，采用靜態(tài)烘焙和實時渲染相結(jié)合的方式，對于可運動的實驗器材采用實時渲染，而對于靜止不動的場景物體則使用靜態(tài)烘焙節(jié)約性能并合并模型網(wǎng)格。如圖5所示，對于主題場景中的一些特效，如電流激光等，則使用unity的粒子系統(tǒng)實現(xiàn)。

圖5：電磁學主題場景中的粒子特效

3.2 實驗器材的物理仿真

（1）小球碰撞驗證動量守恒：為使小球遵循動量定理，在引擎中使用物理材質(zhì)，并將Bounciness屬性設為最大。賦予小球碰撞體和剛體組件，在剛體組件中設置質(zhì)量參數(shù)以使引擎進行正確的物理計算。

（2）托盤天平的仿真模擬：天平仿真的一大難題在于物理計算的精度和模型質(zhì)心的位置問題。最后采用這樣的優(yōu)化方法：在模型部分將托盤天平橫梁的坐標軸設置在其旋轉(zhuǎn)中心，并凍結(jié)將此物體坐標軸使其只能繞定軸旋轉(zhuǎn)。天平的效果通過包圍多個碰撞盒實現(xiàn)。

（3）描述小電珠的伏安特性曲線：電路的模擬需要通過腳本進行邏輯電路處理來實現(xiàn)。由于每個部件的旋鈕處都需要判斷是否有導線連接，因此在每一個部件的導線接口上添加一個觸發(fā)器進行統(tǒng)一管理。

（4）不同粗糙表面的模擬：通過調(diào)節(jié)軌道物理材質(zhì)中有關(guān)動摩擦因數(shù)的屬性數(shù)值來實現(xiàn)。

3.3 數(shù)據(jù)手套交互實現(xiàn)

3.3.1 數(shù)據(jù)手套的導入配置

本項目直接使用數(shù)據(jù)手套開發(fā)商提供的SDK進行開發(fā)。數(shù)據(jù)手套軟件部分的交互邏輯主要分為識別可交互物體、分類可交互物體、抓取、觸碰等。項目中需要按如下步驟對項目進行配置：（1）相關(guān)插件的導入；（2）項目設置；（3）場景物體的層級設置；（4）物理檢測設置；（5）虛擬現(xiàn)實配置；（6）數(shù)據(jù)手套模型配置。

3.3.2 數(shù)據(jù)手套的交互配置

場景中數(shù)據(jù)手套交互的物體分為三類：單體物體、按鈕/觸發(fā)器、組合物體。針對不同類別的物體交互配置的步驟如下：

（1）單體物體：向所有可交互單體的根節(jié)點添加用于交互管理的組件，并對特定單體添加用于處理各類交互事件、注冊/取消注冊交互、識別交互類型和交互物體ID的組件。在完成組件的設置后，需要設置單體的層級、添加剛體組件并設置物理學屬性，同時添加一個不渲染，但使用相同網(wǎng)格的子物體，設置為觸發(fā)器，用于對目標物體的觸發(fā)檢測。

（2）按鈕/觸發(fā)器：按鈕/觸發(fā)器與單體物體相似，但不需要添加子物體。

（3）組合物體：組合物體組合物體通常包含多個模型，需要先解散原有的層級結(jié)構(gòu)，將各部分子模型都調(diào)整為同一層級，再在該層級的基礎上，對每個模型使用單體物體的設置。

3.3.3 數(shù)據(jù)手套的交互邏輯

虛擬物理實驗操作的交互理念是盡可能還原真實的操作。所以數(shù)據(jù)手套的交互也將遵循這個原則。相較于單獨使用vr controller，數(shù)據(jù)手套在仿真體驗方面更接近真實操作，也更符合用戶的使用習慣。如圖6所示，利用數(shù)據(jù)手套將現(xiàn)實中的實驗交互方式映射到虛擬場景中變成了一件相對容易的事情，通過在手部模型上增加觸發(fā)器檢測點，可以與實驗設備建立起交互聯(lián)系。除數(shù)據(jù)手套SDK所提供的識別交互物體、觸碰、抓取的交互邏輯外，項目還需解決使用者在使用過程中對于一些設備的特定交互方式，比如在空手狀態(tài)下不可抓取砝碼，這些特定的邏輯通過腳本檢測加以實現(xiàn)。

圖6：數(shù)據(jù)手套使用戶能以自然的交互方式操作儀器

4 系統(tǒng)測試

4.1 數(shù)據(jù)手套交互測試

表1：數(shù)據(jù)手套交互測試用例表

分析表1，交互部分的問題可分為兩類：

第一類問題：由于數(shù)據(jù)手套精度無法準確模擬手指運動導致一些操作難以模擬。此類問題可通過增加觸發(fā)器與鎖定位置的方法解決。

第二類問題：由于物理模擬存在的限制，導致無法直接用簡單的抓取操作進行交互，否則會有器材部件出現(xiàn)偏移的情況。此類問題主要分三步解決：第一步是以部件的限制軌道作為參考系確認部件的運動方式；第二步將移動部件設置為限制軌道部件的子物體；第三步是根據(jù)第一步確定的運動方式限制軸向并通過腳本加以修正。

4.2 數(shù)據(jù)手套硬件性能測試

表2：數(shù)據(jù)手套精度測試

表3：數(shù)據(jù)手套靈敏度測試

表4：數(shù)據(jù)手套響應范圍測試

表5：數(shù)據(jù)手套容錯率測試

表6：數(shù)據(jù)手套連接穩(wěn)定性測試

測試結(jié)果總結(jié)：

有關(guān)數(shù)據(jù)手套的精度，如（表2）（表5）所示，部分情況下手套模型與現(xiàn)實手部的動作并不完全一致，在實際手指第一指節(jié)旋轉(zhuǎn)90°時模型手卻已經(jīng)握攏。但不影響本項目所選實驗的交互。如（表3）所示，在不出現(xiàn)定位丟失的情況下，手套的輸出靈敏度可達到標稱的180Hz，可以滿足絕大多數(shù)情況下的使用。（表4）的測試結(jié)果則表明，活動場地不宜超過以接收器為圓心、半徑5米的圓形。

綜上所述，手套整體性能表現(xiàn)良好，精度、靈敏度、容錯率、穩(wěn)定性（表6）可以充分滿足開發(fā)需求，響應范圍雖有限（6m），但也足以支持本項目的開發(fā)需求。

5 總結(jié)

實踐表明，在進行步驟簡化和設計修正下，數(shù)據(jù)手套運用于虛擬物理實驗室中能夠模擬絕大部分中學物理實驗的手部操作，結(jié)合擬真的虛擬實驗場景，可以對現(xiàn)實中的物理實驗進行有效還原。數(shù)據(jù)手套與虛擬實驗的有效配合還可以加快實驗速度、提高專注度和沉浸感。但目前數(shù)據(jù)手套的仍存在精度低等諸多問題。總體來說，數(shù)據(jù)手套在仿真教學中具有廣泛的前景，多體感交互技術(shù)將是現(xiàn)代化教學的重要趨勢，隨著軟硬件技術(shù)的不斷升級，細節(jié)問題終將解決，屆時，多體感交互與虛擬現(xiàn)實技術(shù)將在教育領域發(fā)揮更大的作用。