基于Unity3D的藥用植物學實訓虛擬仿真系統①

胡芳睿,趙 夢,邱 鵬,魏德健,劉 靜,魏國輝,曹 慧

1(山東中醫藥大學 理工學院,濟南 250355)

2(山東中醫藥大學 藥學院,濟南 250355)

中藥學是中醫藥各相關專業的核心基礎課程,是聯系中醫基礎理論與臨床應用的樞紐[1].中藥學課程的學習不僅要求學生有良好的中醫基礎理論和中醫診斷學知識,還需具備方劑學及臨床學科的知識[2,3].由于中藥數量眾多、藥效多樣、藥味相似但存在細微差別、與基礎理論與臨床知識聯系緊密等,都給學生熟練掌握此課程知識造成困難.

虛擬現實是新一代的信息和通信技術,包含近眼顯示、感知交互、渲染處理、網絡傳輸和內容制作等,以構建新的業務類型、跨越云端、滿足用戶現場體驗需求等,有利于促進信息消費的擴大和升級以及傳統產業的整合和創新.專業與創新結合,傳統中醫藥與現代科技結合已成為大勢所趨[4],在調查中(如圖1)發現,有64.29%的受訪者對中醫藥與虛擬現實相結合的系統較為感興趣并且愿意安裝和體驗.

圖1 用戶體驗反饋

1 系統必要性分析

(1)模擬登山采藥過程摔傷、中毒、惡劣天氣等情況,提高使用者對突發狀況的應急反應能力,預防實訓中潛在的危險[5].

(2)將中醫藥與虛擬現實技術相結合,加入中醫、食品等要素,在學、識、尋、辨、采的基礎上,加入中醫藥方劑、經方驗方、藥膳、藥用性質、藥用價值等相關知識,以拓展中醫藥知識面,而非局限于對中藥的簡單介紹[6].

(3)利用人工智能技術、人機交互應用、高分辨顯示技術等,突破時間和空間的限制,增強用戶在進行藥用植物學實訓過程中的真實感與體驗感.加入演示、探索、辨別、知識拓展等教學環節,增添趣味性.

(4)傳統的輔助教學方法學生主要通過觀看平面化、不可控制的視頻學習,結合虛擬現實技術后則可提供給學生三維立體的實踐學習環境[7]豐富學生感性認知,加深其對教學內容的理解,彌補傳統教學的不足.

(5)仿真系統分為教學、考核與娛樂3個模塊,讓體驗者掌握學、識、尋、辨、采的步驟技巧與注意事項,在考核中作為醫藥類考試等考核成績的一部分,在娛樂方面開發成游戲,更廣泛地傳播中醫藥知識與文化.

(6)本系統具有可視化數據管理中心.系統管理平臺可以對虛擬環境中各道地藥材生長狀態及使用者操作的實時動態數據進行監控,使用者操作過程所有數據都可以實現三維可視化,或將虛擬現實技術集成到系統中,通過HTC VIVE虛擬現實眼鏡來查看所有數據.

2 功能劃分

2.1 藥材尋訪模塊

該模塊通過在虛擬現實系統中構建藥材所在地到山腳下的一條道路,用戶通過系統中UI指示,以及道路指引到達藥材所在的大概位置.本系統在藥材周邊種植該環境所應該擁有的其他植物,用戶通過給定的設備,辨認出應尋植物,進行點擊碰撞,辨識成功則給出相應植物知識點介紹.該模塊是模擬現實藥用植物實訓課程,可以較為方便地進行虛擬實訓,因而增加了學生實踐操作的機會,實現醫藥類學生有條件在教室指導下從灌輸式被動學習到主動學習到主動積極靈活學習的轉移[8].

2.2 藥物知識展示模塊

該模塊填補了藥用植物學實訓的短板.當用戶在系統中找到并觸碰該藥物植物時,該植物周邊會分布其臨床應用、藥材質量分辨、經方驗方、藥膳藥理等知識的UI.該方式為培養高水平的醫務人員提供了平臺,為教師創新教學理念、豐富教學內容和教學形式提供了手段[9].

2.3 突發情況應急處理模塊

考慮到藥用植物實訓中所可能出現的各種突發狀況,此模塊為用戶提供應對措施,訓練用戶急救能力.此模塊將建立第三人稱視角下的虛擬人物,設計并加入病理狀況,不定時不定點的分配安置在尋訪藥材的道路上,一旦用戶發現生病虛擬人物,可進行查看疾病原因、選擇治療方案及查看相應急救措施UI介紹等一系列操作,以應對突發狀況.此模塊可訓練學生對藥材的靈活運用能力以及對突發事故的處理能力,為實際登山尋藥奠定堅實的基礎.

3 面向對象

3.1 中醫藥院校

輔助中醫藥院校學生更系統的進行中藥學相關專業的學習.

3.2 中醫藥愛好者

為中醫藥愛好者了解相關知識提供更多便利,普及中醫藥文化.

4 系統構建方案

利用Unity3D引擎搭建三維虛擬采藥環境.基于藥用植物的性味歸經、藥用價值等專業知識,在系統中為藥用植物添加臨床應用、藥物處方等相關拓展知識.依附于HTC VIVE協同Unity3D引擎,使用C#語言對虛擬環境進行模塊交互開發[10,11],增添用戶交互方式.搭建用戶使用平臺,保證用戶初步使用和學習[12].并進一步增加藥材數量、用戶交互方式及突發事件數目,完善各模塊功能,提高用戶體驗.圖2是系統開發流程圖.

圖2 系統開發流程

5 系統實現

5.1 建立模型

利用犀牛(Rhino),MAYA作為主要的建模工具,對所涉及到的場景及藥材進行建模.藥材葉片,根莖和果實分別采用犀牛(Rhino)軟件中的偏移曲線,圓柱管和多邊形編輯指令完成建模;中毒,中暑等突發情形的人物動畫使用MAYA編輯關鍵幀展現以及山地模型均采用MAYA制作.建模完畢,將貼圖材質及動畫隨模型導出.FBX格式并導入Unity3D.

5.2 場景搭建

使用Unity3D自帶的UGUI系統,搭建UI界面;導入Unity3D標準資源包Environment和SkySerie Freebie為地形模型種植相應的花草樹木渲染場景;導入WeatherMaker和AVProvideo插件實現天氣變化、四季交替及場景切換過渡的功能[13];

由于環境較大,須采用異步加載的方式切換場景,API為SceneManager.LoadSceneAsync();具體實現代碼如圖3.

圖3 場景加載代碼

5.3 系統核心功能

5.3.1 擴充藥材庫

在背包圖鑒藥材的基礎上,添加中藥材數量,比如靈芝、山楂、蘆薈等中藥,完善藥材庫.

用戶首先在“背包圖鑒”環境中選擇想要探尋并學習的中藥材,點擊中藥材圖片按鈕即可出現藥材的三維立體模型.然后點擊“穿梭”按鈕即可進行場景穿梭轉換進入所選藥材的道地產區.

5.3.2 手柄交互菜單

進入所選藥材的道地產區虛擬場景后,就能進行尋藥采藥的實訓.在手柄UI菜單中設置“晝夜”“四季”“天氣”“突發狀況”等選擇項,如圖4所示,用戶點擊“天氣”中的“霧霾”、“雷電”、“暴雪”等即可出現尋藥采藥過程中的天氣狀況.

5.3.3 急救功能

面對如中毒,中暑,摔傷等突發狀況,用戶可采用系統設定的正規急救方式,鍛煉其急救能力.當遇見危險時,用戶可輕觸手柄圓盤,選中“急救包”即可出現對應的急救物品,如圖5所示.

圖4 惡劣天氣菜單

圖5 急救功能菜單

5.3.4 自動導航功能

為減少藥物實訓過程中所帶來的各種不可控因素,方便用戶尋找,加入帶有AI尋路功能的小精靈指引用戶前進.

自動導航就是提供目標點,根據障礙物自動計算出最近路徑,使用Unity3D自帶解決方案Navigation,首先將地形設置為Navigation Static[14–16],因在虛擬世界中使用手柄可以實現瞬移,所以將Back面板中的Max Slope修改為最大坡度,最終參數設置如圖6所示.

為避免尋藥過程乏味,系統不會設置小地圖,完全由用戶自由尋找,點擊想要尋找的目標藥材,主相機(Camera)上拉到上帝視角,通過動畫演示小精靈經最短路徑尋找到目標點的全過程[17].

用戶可利用小精靈提供的尋藥路徑,尋找藥材.找到藥材后,點擊藥材上方的按鈕如圖7,即可出現該藥材的三維立體模型與“藥材介紹”以及“中藥方劑”等藥物信息,用戶可自行選擇了解.

6 結語

藥用植物學實訓虛擬仿真系統有助于廣大中醫藥愛好者更系統、直觀地學習中醫藥知識,了解中藥的生長環境,明確中藥的性味特點、主治功效、鑒別方法等相關知識,同時將中藥學與中醫、食品相結合,介紹中醫藥方劑、臨床應用、經方驗方、藥膳等專業知識[18],幫助使用者構建完整的中醫藥知識體系框架.

該系統能跨越時空,提高中藥學類專業學生的實踐能力,彌補傳統實地采藥教學模式的缺陷.借助三維技術和游戲模式,使學生能夠在虛擬自然環境中,全面觀察藥用植物的三維形態和生長環境,在愉快的氣氛中掌握識別技能,有效提高學習效果.

圖6 自動導航參數設置

圖7 藥材介紹