基于VR技術的太空授課虛擬仿真實驗系統(tǒng)開發(fā)

余越凡， 周曉云

（江蘇師范大學智慧教育學院，江蘇 徐州 221116）

0 引 言

2021年12月9日15時50分，航天員王亞平在中國空間站進行太空授課，這是我國繼2013年以來開展的第2次太空授課。第1次授課重點講授了在失重條件下物體運動的特點和液體表面張力的作用［1］；第2次授課則介紹了中國空間站工作生活場景。以及微重力環(huán)境下細胞學實驗、浮力消失等現(xiàn)象。這2次太空授課不僅體現(xiàn)了國家對科學教育與科普事業(yè)的重視，還承載著科學研究、科技傳播和政治經(jīng)濟等多重意義，在展示我國科技實力的同時，使廣大青少年激發(fā)科學興趣、提升民族自豪感和責任感［2-4］。

身處地面的學習者難以開展失重環(huán)境下的物理實驗，無法體驗中國空間站的工作與生活，導致其對相關知識學習不夠深刻與全面。基于虛擬現(xiàn)實（Virtual Reality，VR）技術開發(fā)的虛擬仿真實驗系統(tǒng)能夠克服實驗項目條件不具備或?qū)嶋H運行困難、涉及高危或極端環(huán)境等問題［5］。國內(nèi)雖有學者開發(fā)了“太空授課”桌面式虛擬系統(tǒng)［6］，學習者只能觀看實驗動畫與語音講解，無法動手操作，其沉浸性、交互性和仿真性均有欠缺，難以滿足實際需求。

目前已有眾多學者開發(fā)出了高沉浸性、交互性和仿真性的虛擬仿真實驗系統(tǒng)。戴天貴等［7］同時運用虛擬現(xiàn)實、增強現(xiàn)實等擴展現(xiàn)實技術，開發(fā)出適用于電腦端、移動端、網(wǎng)頁端多種平臺的激光諧振腔實驗教學輔助系統(tǒng)；張婷等［8］開發(fā)的校園火災逃生虛擬教學系統(tǒng)采用多模態(tài)交互機制提升系統(tǒng)的沉浸性，讓學習者更有臨場感；王佩等［9］開發(fā)的復雜機械產(chǎn)品三維裝配工藝虛擬仿真實驗系統(tǒng)提供虛擬現(xiàn)實手柄、鼠標、鍵盤等多種外設與系統(tǒng)進行實時交互；劉旸等［10］采用萬向跑步機等可穿戴設備開發(fā)出了全沉浸性虛擬船廠交互仿真實驗系統(tǒng)。可見，開發(fā)具備高沉浸性、交互性和仿真性的太空授課虛擬仿真實驗系統(tǒng)具有可行性和實際意義。

1 太空授課虛擬仿真系統(tǒng)方案

基于VR技術開發(fā)太空授課虛擬仿真系統(tǒng)，旨在讓學習者在沉浸式虛擬現(xiàn)實中探索和了解天和核心艙、學習相關物理知識。該虛擬仿真系統(tǒng)充分發(fā)揮具身認知的優(yōu)勢，以培養(yǎng)學生探究性學習能力為育人目標，并融入課程思政理念，提高教學立德樹人成效。

1.1 系統(tǒng)開發(fā)工具

本研究選擇Oculus Quest 2作為開發(fā)硬件，它是Facebook旗下的VR一體機，提供完善的開發(fā)者支持服務；采用3ds Max制作模型、Rizom UV拆分模型UV、Marmoset Toolbag烘焙法線貼圖、Substance Painter繪制紋理貼圖；選用Unity 3D作為系統(tǒng)開發(fā)引擎，可對虛擬對象進行邏輯控制和交互操作，具有強大的跨平臺特性［11］。

1.2 系統(tǒng)設計與開發(fā)流程

系統(tǒng)設計與開發(fā)流程包括資料收集、三維建模、場景搭建以及交互設計4個步驟（見圖1）。

相關資料的收集工作，一是要對2013年和2021年2次太空授課的內(nèi)容進行歸納與整理，為系統(tǒng)功能的設計奠定基礎；二是要搜集天和核心艙的相關數(shù)據(jù)、圖片等開放數(shù)據(jù)，為三維建模與場景搭建提供參考。其次是三維建模階段，在3ds Max中制作低模和高模，在對低模拆分UV后，在Marmoset Toolbag中進行烘焙，并使用Substance Painter繪制紋理貼圖。將模型導入Unity3D搭建場景，并使用C＃編寫腳本實現(xiàn)手柄交互和手勢識別2種交互方式。

1.3 系統(tǒng)功能框架設計

系統(tǒng)總體功能框架由天和核心艙、設施與實驗和紀實館3個模塊組成（見圖2）。

（1）天和核心艙模塊。此模塊包含核心艙內(nèi)部結(jié)構(gòu)、太空失重行走、太空工作與生活、細胞生長發(fā)育實驗和高微重力實驗5項核心內(nèi)容。設計目標有兩個方面，一是要盡可能提升學習者在虛擬仿真環(huán)境中的臨場感，主要是通過提供逼真的視覺感受以及模擬失重環(huán)境下的行為方式兩個維度實現(xiàn)的；二是在交互內(nèi)容的選擇上，該模塊不僅涵蓋了2021年太空授課中介紹的細胞生長發(fā)育實驗，還以艙內(nèi)的工作和生活為參考，設計了一系列有關的交互內(nèi)容，旨在讓學習者充分體驗虛擬環(huán)境以了解更多相關知識。效果如圖3所示。

（2）設施與實驗模塊。學習者可以自由操控和觀察核心艙設施的三維模型，并通過文本介紹了解各設施的用途；失重物理實驗模塊則結(jié)合兩次太空授課的教學內(nèi)容，設計有重力實驗、單擺實驗、陀螺實驗、水膜實驗以及浮力實驗5項實驗內(nèi)容，同時提供太空授課視頻、文字解說以及支持手勢交互的仿真實驗，以多模態(tài)的資源形式促進學習者的學習。

（3）紀實館模塊。此模塊包含太空生活紀實和空間站大事記。“太空生活紀實”欄目提供宇航員空間站工作與生活視頻，為學習者的虛擬仿真實驗提供參照。“空間站大事記”欄目旨在讓學習者在一件件偉大的航天成就中感受我國強盛的航天科技實力，培養(yǎng)民族自尊心和自豪感。效果如圖5所示。

2 太空授課虛擬仿真系統(tǒng)的實現(xiàn)

2.1 三維建模

三維建模是實現(xiàn)虛擬仿真實驗系統(tǒng)的基礎，為虛擬場景的搭建和交互功能的實現(xiàn)提供必要材料。系統(tǒng)所需的三維模型以硬表面模型為主，采用次世代游戲建模技術制作。根據(jù)參考資料，在3ds Max中等比例制作低模，低模是用于導入Unity 3D游戲引擎的低面數(shù)模型，以節(jié)約系統(tǒng)資源、保障系統(tǒng)的流暢運行；在低模的基礎上添加細節(jié)，用卡線和渦輪平滑的方式制作高模；在Rizom UV對低模進行展UV操作，并在Marmoset Toolbag中將高模細節(jié)烘焙成法線貼圖；在Substance Painter中制作基于物理渲染的材質(zhì)（Physically-Based Rending，PBR），并按照Unity高清渲染管線（High Definition Render Pipeline，HDRP）對貼圖的要求導出AlbedoTransparency（反照率與透明度貼圖）、Mask（遮罩貼圖，包含金屬度、環(huán)境光遮蔽、細節(jié)遮罩以及光滑度4種信息）和Normal（法線貼圖）。部分模型制作過程如圖6所示，渲染效果如圖7所示。

2.2 虛擬場景搭建

虛擬場景的搭建是影響虛擬仿真環(huán)境視覺效果的重要環(huán)節(jié)，基于Unity高清渲染管線搭建逼真的虛擬場景。以天和核心艙為例，搭建步驟如下：

步驟1將制作好的三維模型以三角面的形式導出為Obj文件，并將Obj文件和對應貼圖導入Unity 3D中以搭建整體場景，并將沒有交互功能的物體設置為靜態(tài)物體。

步驟2布置好場景燈光、反射探針和光照探針組，并烘焙好光照貼圖。

步驟3為場景添加色調(diào)映射（Tonemapping）、高光溢出（Bloom）等后期處理效果，場景效果如圖8所示。

2.3 太空失重行走功能的實現(xiàn)

虛擬現(xiàn)實中，傳統(tǒng)的移動方式主要有貝塞爾曲線選點傳送和搖桿移動兩種。在核心艙的失重環(huán)境中，這兩種移動方式均有違仿真要求。為在行為角度提高仿真系統(tǒng)的真實性與沉浸感，系統(tǒng)設計了失重行走功能：學習者需要借助艙壁的反作用力移動，并借助與艙壁間的摩擦力，或通過抓握固定在艙壁上的限位抓桿停止移動，具體設計流程如圖9所示。

2.4 艙門交互功能的實現(xiàn)

系統(tǒng)仿真效果是影響其實用價值的重要因素，除逼真的視覺效果和貼近真實的行為方式外，豐富且細致的交互內(nèi)容也是左右系統(tǒng)仿真效果的一大因素。太空授課虛擬仿真系統(tǒng)提供了拆卸、安裝設備、太空食品等核心艙生活與工作的交互功能，本節(jié)則介紹其中雙向承壓艙門交互功能的實現(xiàn)流程。

為保證系統(tǒng)的仿真效果，根據(jù)宇航員的操作視頻，將打開艙門的步驟分為3步，以更好地還原打開艙門操作過程。具體設計流程如圖10所示。

2.5 三維模型檢視功能的實現(xiàn)

三維模型檢視是設施觀察與了解模塊的核心功能。為全方位觀察模型，系統(tǒng)選擇了遠距離操控模型旋轉(zhuǎn)的交互設計，但虛擬環(huán)境中學習者手的虛擬化身受人手臂工作范圍的限制，難以實現(xiàn)上述操作［12］，若選用傳統(tǒng)的光線投射方式，會因射線角度與三維模型旋轉(zhuǎn)后的不規(guī)則表面不匹配，導致光線投射選點的丟失，因此需要對操作方式進行優(yōu)化。本系統(tǒng)在需要檢視的三維模型前放置弧形透明畫布，讓光線投射點始終落于畫布上，并根據(jù)落點位置與三維模型中心形成的夾角變化控制三維模型旋轉(zhuǎn)，以實現(xiàn)三維模型檢視的功能，設計流程如圖11所示。

2.6 重力實驗功能的實現(xiàn)

虛擬仿真實驗系統(tǒng)中，為學習者提供更加自然、更多維度的交互方式是提升沉浸式體驗關鍵［13］，基于手勢識別的交互就是一種自然、直觀的人機交互手段［14］。基于手勢交互技術的虛擬實驗可使學習過程更加生動形象、具體直觀［15］，并起到增強沉浸感、提高學習興趣、改善學習態(tài)度、降低認知負荷等作用［16］。本研究使用Oculus為開發(fā)者提供的Oculus Integration資源包中的腳本，在失重物理實驗模塊實現(xiàn)手勢交互功能，以增進實驗學習效果。

基于手勢交互的虛擬仿真實驗需要根據(jù)手勢交互的特性做出對應設計。以重力實驗場景為例，場景提供實驗器材、實驗步驟提示、切換提示、切換重力環(huán)境和退出等功能。根據(jù)自然手勢交互的特性，切換提示、切換重力環(huán)境和退出功能均采用三維按鈕模型，保證場景內(nèi)交互方式的自然與統(tǒng)一。重力實驗實現(xiàn)效果圖見圖12，手勢識別效果如圖13所示，實驗步驟見圖14。

3 結(jié) 語

本研究將VR技術應用于航天科普事業(yè)，開發(fā)出太空授課虛擬仿真系統(tǒng)，能激發(fā)學習者對空間站工作、生活以及失重環(huán)境下物理現(xiàn)象的好奇心，培養(yǎng)其探究精神和愛國精神。系統(tǒng)搭建了中國空間站虛擬環(huán)境，實現(xiàn)空間站生活與工作的虛擬仿真，基于手勢識別技術提供自然手勢交互功能，讓學習者能夠具身體驗重力實驗等5種物理實驗，并通過視頻和文字解說實現(xiàn)了多模態(tài)的學習資源供給。VR技術憑借其對極端環(huán)境的仿真模擬能力、實時交互和沉浸式體驗的特性，突破了航天科普教育活動的場地限制，豐富了教學資源和教育形式，提高學習者的學習體驗，有利于航天科普事業(yè)的進一步發(fā)展。