基于VR技術(shù)進行鋼琴結(jié)構(gòu)線上教學(xué)的研究

文/莊曉雪 邵申弘

引言

虛擬現(xiàn)實技術(shù)（Virtual Reality，VR）作為一種擴展現(xiàn)實技術(shù)，正逐漸改變?nèi)祟惻c計算機交互的方式。隨著5G和大數(shù)據(jù)的進一步發(fā)展，VR技術(shù)迅速成為包括教育在內(nèi)的各個領(lǐng)域的主流技術(shù)，虛擬現(xiàn)實帶來了教育方法的革新，成為促進教育發(fā)展的新型教育模式。[1]文章借助虛擬現(xiàn)實技術(shù)建立鋼琴結(jié)構(gòu)在線教學(xué)平臺，是從探索學(xué)生學(xué)習(xí)多樣化、教師教學(xué)方式優(yōu)化的新角度出發(fā)，整合與課程內(nèi)容相關(guān)的實踐模塊，構(gòu)建具有基礎(chǔ)理論知識的教學(xué)資源，形成線上線下一體化的專業(yè)課程，豐富當(dāng)前高等教育的模式和內(nèi)容。[2]

一、VR技術(shù)的特點及分類

VR技術(shù)由人工智能傳感器、計算機技術(shù)、仿真技術(shù)、立體現(xiàn)實技術(shù)等不同類型技術(shù)相結(jié)合，是當(dāng)今最高水平的多媒體應(yīng)用之一。1983年有學(xué)者在研究中提出了虛擬現(xiàn)實技術(shù)的三角關(guān)系，即沉浸式（Immersion）、交互性（Interaction）和想象性（Imagination），被稱為3I特性。除了3I特性，當(dāng)代研究者認為虛擬現(xiàn)實技術(shù)還具備多感知性（Multi Perception），現(xiàn)在統(tǒng)稱為3I+M。在實際應(yīng)用中，從系統(tǒng)形式、應(yīng)用方向和沉浸程度等方面歸納，可以概括為桌面式虛擬現(xiàn)實、沉浸式虛擬現(xiàn)實、增強式虛擬現(xiàn)實、分布式虛擬現(xiàn)實系統(tǒng)形式[3]。VR鋼琴結(jié)構(gòu)教學(xué)采用沉浸式虛擬現(xiàn)實系統(tǒng)，通過佩戴VR頭顯和手柄交互設(shè)備為師生提供完整的虛擬現(xiàn)實教學(xué)體驗。

二、鋼琴結(jié)構(gòu)虛擬現(xiàn)實教學(xué)的優(yōu)勢

《鋼琴結(jié)構(gòu)概論》[4]是音樂科技系研究生和本科生的必修課程，作為一門專業(yè)基礎(chǔ)課程，在理論學(xué)習(xí)與實踐操作中起到承上啟下的“橋梁”作用。學(xué)習(xí)鋼琴結(jié)構(gòu)有助于為鍵盤樂器修造專業(yè)方向的學(xué)生進行鋼琴調(diào)整、修復(fù)實踐打下堅實的理論基礎(chǔ)。鋼琴具有音域廣、零部件數(shù)量多、內(nèi)部結(jié)構(gòu)復(fù)雜等特點。傳統(tǒng)的線上鋼琴結(jié)構(gòu)教學(xué)由于缺乏教具以及在展示實物教具的過程中受光線、角度等因素的影響而無法將其完美呈現(xiàn)給學(xué)生，從而達不到高質(zhì)量的教學(xué)效果。VR教學(xué)被視為21世紀的教學(xué)學(xué)習(xí)輔助工具，作為現(xiàn)代信息技術(shù)的引領(lǐng)者使得該技術(shù)引入到鋼琴結(jié)構(gòu)教學(xué)中成為現(xiàn)實，從而能夠采用新的方法論和教育技術(shù)來豐富課堂教學(xué)。

（一）實現(xiàn)VR+數(shù)字教具，深化課堂教學(xué)內(nèi)容

理論教學(xué)與實踐操作是相輔相成、缺一不可的。傳統(tǒng)鋼琴結(jié)構(gòu)教學(xué)大多以教材、PPT、動畫演示加上教具進行教學(xué)，教材中2D平面內(nèi)容無法呈現(xiàn)真實空間立體感，這就導(dǎo)致學(xué)習(xí)與應(yīng)用相結(jié)合存在一定的局限性、課堂教學(xué)質(zhì)量不高、學(xué)生對知識的理解不夠深入等問題的產(chǎn)生。因此，借助VR技術(shù)搭建的虛擬三維模型將鋼琴各部分結(jié)構(gòu)形象化、立體化，給學(xué)生帶來全新的視覺體驗，彌補課堂教學(xué)中2D平面圖和動畫的不足，突破了學(xué)生學(xué)習(xí)鋼琴結(jié)構(gòu)的空間瓶頸，從而對所學(xué)內(nèi)容有更加深刻的理解，開拓學(xué)生學(xué)習(xí)的廣度和深度。

（二）體驗式學(xué)習(xí)，搭建互動教學(xué)環(huán)境

VR使用視覺豐富的仿真提供體驗式學(xué)習(xí)，佩戴VR設(shè)備的學(xué)生可以完全沉浸在構(gòu)建的虛擬現(xiàn)實課堂環(huán)境中。虛擬現(xiàn)實技術(shù)采用3D模仿實體鋼琴的構(gòu)造，實現(xiàn)虛擬拆卸零件，學(xué)生能夠自主對鋼琴各部分零件進行拆裝、旋轉(zhuǎn)，從不同視角觀看鋼琴的內(nèi)外結(jié)構(gòu)及對應(yīng)的名稱，充分認識各個零部件，了解其工作原理。人機交互界面提供給學(xué)生更加真實的視覺感受，提高學(xué)生對于虛擬場景的體驗。VR教學(xué)豐富課堂形式，引導(dǎo)學(xué)生動手操作，真正做到以學(xué)生為中心的課堂教學(xué)模式，進一步解放學(xué)生的感性思維，激發(fā)創(chuàng)造性思維。

（三）遠程學(xué)習(xí)，突破時空限制

虛擬現(xiàn)實技術(shù)讓我們從書籍、多媒體課件轉(zhuǎn)向使用交互技術(shù)來幫助傳授和理解知識，并為教育者和學(xué)習(xí)者提供不受時空限制的平臺，學(xué)生能夠通過PC端、移動端、VR端等多種形式自主學(xué)習(xí)相關(guān)課程。VR環(huán)境提供不同于現(xiàn)實世界里的教室、教科書或傳統(tǒng)線上學(xué)習(xí)的體驗，并以有效的方式傳遞準(zhǔn)確的信息。[5]虛擬現(xiàn)實技術(shù)雖然不太可能很快取代傳統(tǒng)的面對面教學(xué)模式，但隨著數(shù)字時代的發(fā)展，VR輔助教學(xué)將會越來越受歡迎，為教育領(lǐng)域新的教學(xué)模式，給學(xué)生的學(xué)習(xí)之旅帶來更趣的學(xué)習(xí)體驗。

三、鋼琴結(jié)構(gòu)虛擬現(xiàn)實教學(xué)系統(tǒng)的設(shè)計及應(yīng)用

本項目以臥式鋼琴為教學(xué)對象，利用VR技術(shù)搭建基于Unity3D的鋼琴結(jié)構(gòu)教學(xué)系統(tǒng)，完成對鋼琴結(jié)構(gòu)整體、局部虛擬仿真教學(xué)的實現(xiàn)。系統(tǒng)設(shè)計通過軟件和硬件相結(jié)合，包括鋼琴零部件模型構(gòu)建、用戶界面設(shè)計實現(xiàn)、系統(tǒng)交互的實現(xiàn)等，最后對完成的系統(tǒng)進行集成發(fā)布。

圖1 臥式鋼琴結(jié)構(gòu)建模圖

（一）鋼琴結(jié)構(gòu)三維建模

為了高度還原鋼琴結(jié)構(gòu)教學(xué)過程，采用3Ds Max對鋼琴內(nèi)外部結(jié)構(gòu)進行建模（圖1）。通過收集鋼琴的三維模型圖片、尺寸和形狀信息、材料屬性等資料，在3Ds Max中構(gòu)建零部件模型。由于鋼琴內(nèi)外部結(jié)構(gòu)包含許多不規(guī)則且精細的零部件，為提高建模效率和模型檢修工藝適配度，將其進行分層建模。對初步建造的模型進行輕量化處理，然后進行材質(zhì)設(shè)置與貼圖烘焙。為給用戶提供更具有真實感體驗，采用Substance Painter對模型進行PBR材質(zhì)貼圖，在此之前需要對模型進行拓撲、展UV操作，為最終材質(zhì)貼圖的效果提供保證。在Substance painter軟件中制作好材質(zhì)效果后，將貼圖導(dǎo)出到Unity引擎中，為下一步實現(xiàn)交互功能奠定基礎(chǔ)。

（二）基于Unity3D引擎進行交互設(shè)計

鋼琴結(jié)構(gòu)虛擬現(xiàn)實教學(xué)系統(tǒng)借助Unity 3D進行開發(fā)（圖2）。首先將FBX格式的模型文件導(dǎo)入Unity 3D的資源文件夾Assets中，調(diào)整模型位置與模型間的相對關(guān)系，并進行檢查和調(diào)整；針對需要調(diào)整或修改的模型細節(jié)，可以自己進行材質(zhì)與貼圖的后期編輯。

虛擬現(xiàn)實教學(xué)需要將模型與操作者進行虛擬交互，利用C#腳本語言進行交互開發(fā)，3D模型交互功能主要采用VR一體機（Pico）和手柄來實現(xiàn)。為了將VR鋼琴結(jié)構(gòu)教學(xué)變成現(xiàn)實，需要創(chuàng)建基于此設(shè)想的3D模型，這里通過使用Pico設(shè)備和PC端相結(jié)合的方式開展模型的創(chuàng)建，從而實現(xiàn)模型開發(fā)過程中開發(fā)者制作可視化和模型成果可供使用者佩戴頭戴式設(shè)備進行體驗等優(yōu)勢。具體建設(shè)過程如下[6]：

首先進行開發(fā)前的準(zhǔn)備，為了方便開發(fā)，在Pico開發(fā)者平臺里下載預(yù)覽工具，安裝官方所提供的apk包。

其次進行基礎(chǔ)配置，將操作平臺切換至安卓平臺，在Package Manager中安裝XR Interaction Toolkit，并導(dǎo)入官方提供的3個Sample。在Package Manager中安裝XR Plugin Management，用于簡化 XR 插件管理的包，提供有關(guān) XR 插件的加載、初始化、設(shè)置和構(gòu)建支持的幫助和管理功能。之后在Pico開發(fā)者平臺安裝SDK，此時安裝的SDK是LTS版本，目前支持Neo3和Pico4系列。導(dǎo)入官方的Json文件并且在XR Plugin Management的Android和PC中勾選Pico，最后將Starter Assets中的預(yù)設(shè)文件添加為默認，從而提供給Unity用戶學(xué)習(xí)和擴展使用的Player控制器的功能，包括人物移動、跳躍、加速奔跑以及攝像機控制。

在基礎(chǔ)配置準(zhǔn)備就緒后進行Pico項目配置，第一步進行添加XR Origin，第二步給雙手控制器添加預(yù)設(shè)，最后打開Preview Tool進行測試，直到看到Pico和兩個手柄都生效，到這一步剛好結(jié)束對于Pico項目的配置。

最后是添加基礎(chǔ)功能，以達到完善操作過程。在VR鋼琴結(jié)構(gòu)教學(xué)中，在虛擬平臺中玩家需實現(xiàn)移動、射線指示、射線抓取物品等功能。根據(jù)不同功能添加相應(yīng)組件，然后將制作的腳本和3D模型通過mono編譯成資源，再通過Unity選擇相對應(yīng)的平臺進行打包。Unity 3D支持多平臺的發(fā)布，系統(tǒng)發(fā)布后便可在所發(fā)布的獨立平臺上運行。

（三）鋼琴結(jié)構(gòu)虛擬現(xiàn)實教學(xué)系統(tǒng)的應(yīng)用及評估

圖2 利用unity 3D開發(fā)的鋼琴結(jié)構(gòu)各部分零件的拆裝功能

鋼琴結(jié)構(gòu)虛擬現(xiàn)實教學(xué)系統(tǒng)構(gòu)建完成后，邀請十名相關(guān)專業(yè)學(xué)生進行初步應(yīng)用并在自主體驗結(jié)束后進行訪談和問卷調(diào)查（圖3），主要圍繞“是否接受該教學(xué)模式”“能否提高學(xué)習(xí)效率”“能否激發(fā)學(xué)習(xí)興趣”等方面進行調(diào)查分析。調(diào)查結(jié)果顯示所有參與者均能接受虛擬現(xiàn)實教學(xué)模式，認為該教學(xué)模式新穎有趣，能夠提高課堂吸引力。關(guān)于學(xué)習(xí)效率，大部分學(xué)生認為VR教學(xué)平臺讓每個學(xué)生都能全方位觀察到鋼琴各部分結(jié)構(gòu)，課后還能重復(fù)學(xué)習(xí)，在一定程度上提高了學(xué)習(xí)效率。70%的學(xué)生認為虛擬現(xiàn)實教學(xué)最大的優(yōu)勢是不受時空的限制。結(jié)合問卷調(diào)查結(jié)果對學(xué)生進行一對一訪談，鋼琴結(jié)構(gòu)虛擬現(xiàn)實教學(xué)在學(xué)習(xí)效率、互動體驗和便捷程度等方面占有優(yōu)勢，具有一定推廣應(yīng)用的價值。但還存在一些不足之處，例如教學(xué)內(nèi)容不夠完善，鋼琴結(jié)構(gòu)細節(jié)的設(shè)計還有待加強。因此，在今后的研究中將對本系統(tǒng)進一步地完善及優(yōu)化。

圖3 學(xué)生體驗鋼琴結(jié)構(gòu)虛擬現(xiàn)實教學(xué)系統(tǒng)

結(jié)論

文章利用建模技術(shù)、虛擬現(xiàn)實技術(shù)，以臥式鋼琴的結(jié)構(gòu)為原型，從虛擬現(xiàn)實教學(xué)的角度出發(fā)，在Unity平臺上對鋼琴結(jié)構(gòu)虛擬現(xiàn)實教學(xué)項目進行開發(fā)設(shè)計，實現(xiàn)了鋼琴結(jié)構(gòu)的虛擬可視化，為師生帶來沉浸式的教、學(xué)體驗。虛擬現(xiàn)實技術(shù)與教育相結(jié)合形成一種嶄新的線上教育模式，突破師生教學(xué)過程中時間和空間的局限性，滿足學(xué)生在線學(xué)習(xí)的需要，進一步提高學(xué)生的技能水平，不斷優(yōu)化和提升鋼琴結(jié)構(gòu)課程教學(xué)模式和學(xué)習(xí)者參與方式。