虛擬現實醫學多媒體課件制作技術

肖 揚 馮 煊

(南京軍區福州總醫院 福州 350025) (解放軍理工大學 南京 210007)

?

虛擬現實醫學多媒體課件制作技術

肖 揚 馮 煊

(南京軍區福州總醫院 福州 350025) (解放軍理工大學 南京 210007)

采用三維虛擬現實技術，以Director為操作平臺，在醫學多媒體課件中構建立體的教學空間，介紹其技術路線，從虛擬現實三維場景構建、醫學場景集成及漫游兩方面闡述課件制作的關鍵技術。結果表明三維醫學多媒體課件具有更強的表現力和視覺沖擊力，且運行安全穩定。

虛擬現實;醫學多媒體課件;Director

1 引言

在信息技術高速發展的今天，多媒體課件已融入各行各業，廣泛應用于會議、培訓、教學等場合，成為表達宣講者思想最重要的工具之一[1-2]。然而，由于各個行業間多媒體課件的思路、結構及具體的技巧有較大的差別，因此需要根據專業特點進行多媒體課件的制作[3]。醫學作為一門專業性很強的學科，其多媒體課件涉及內容繁多，概念抽象，表述準確性要求高，制作難度大[4]。如何制作符合醫學特點的高品質多媒體課件，將大量枯燥抽象的理論轉化為精準的多媒體表達，將臨床專家的想法精妙地進行展現且富有視覺沖擊力和感染力，達到令人震撼的演示效果，是有待于解決的問題[5-7]。同時，傳統的多媒體課件主要以二維平面為主，其在表現力、交互性及3D效果支持上已經難以滿足高質量醫學多媒體演示的需求，迫切需要以演示生動、交互自由、效果逼真的三維多媒體課件。本文采用三維虛擬現實技術，以Director為操作平臺，在醫學多媒體課件中構建一個立體的教學空間，增強演講者與課件的交互，彌補二維多媒體課件的不足，多角度、全方位地呈現醫療內容，實現三維立體醫學多媒體課件的制作。

2 技術路線

虛擬現實(Virtual Reality)是指利用計算機模擬出一個虛擬的三維空間世界，讓用戶能身臨其境地以與現實中一樣的視角去觀察三維空間內的事物[8]。采用虛擬現實技術進行醫學多媒體課件制作，核心是通過對醫學對象的三維建模，構建三維虛擬醫學場景，在進行三維醫學場景漫游及瀏覽的基礎上，輔助以文字、圖片等補充信息，達到醫學內容高精細度呈現、醫學模型立體全方位展示的目標。根據虛擬現實技術的特點，設定課件制作流程主要包含“虛擬現實三維場景的構建”和“醫學場景集成及漫游”這兩個步驟，技術路線，見圖1。

圖1 課件制作技術路線

3 關鍵技術

3.1 虛擬現實三維場景的構建

3.1.1 三維醫學模型的建模 在虛擬醫學場景中，虛擬對象是主體，也是用戶進行三維交互體驗的首要載體。醫學對象的虛擬再現是通過建模來實現的。當前對象建模的方法主要包括幾何建模、圖像建模等方法。幾何建模是指建立三維幾何模型，一般采用多邊形表示，其主要優點是能隨意改變觀察點和觀察方向，允許用戶沉浸入仿真建模的環境；缺點為建模較為復雜，建模效率相對不高。圖像建模是指利用攝像機對對象進行全角度拍攝后，獲得物體的二維增強表象或三維模型，其優點是建模簡單，適用于那些難用幾何模型的方法來建立真實感模型的物體；缺點是所建模型只是對現實世界模型數據的采集，不能夠給設計者以想象發揮的空間。為了高效建立形態逼真的醫學模型，筆者綜合兩種建模技術優點，采用圖像與幾何相結合的方式進行醫學模型的構建。先在不同視角對被建模物體進行拍攝，再通過建模軟件進行多視圖的點、線位置采樣，然后分區塊構建模型。這種建模方式能在幾乎不影響三維模型真實度的情況下，極大地減少模型的網格數量。具體建模過程分4步。(1)數據準備工作。利用照相機從不同角度對醫學對象進行拍照，通常取前、后、左、右、頂部5個方向。照片經過Photoshop 軟件處理得到符合要求的紋理貼圖圖片。(2)勾勒外輪廓線。利用拍攝的醫學對象照片作為建模外觀參照，以醫學對象的尺寸等測量數據為建模基礎，勾畫醫學對象的外部輪廓，形成醫學對象外部輪廓線模型。(3)構造三維模型。運用3D MAX建模工具根據所畫的輪廓線依次創建三維曲面，在保證醫學對象外形的情況下作最大優化，建立最優三維模型。(4)貼圖。利用3D 建模工具軟件的材質/貼圖工具，按照相應的貼圖方法，如UVW 貼圖、遮罩通道等，在模型表面貼上對應的紋理和質地，以較真實地再現物體的細節。

3.1.2 虛擬醫學環境的建立 根據醫學演示內容，采用相應建模技術建立場景三維模型，再將虛擬場景進行烘焙處理后，通過三維互動仿真平臺進行實時渲染繪制和立體顯示。本文主要依托3D MAX軟件[9]來進行實現，操作中可分為靜態建模及動態建模兩種方式。靜態建模主要指以相對固定不變的場景作為醫學模型的展示環境，如手術臺、試驗區等；動態建模主要指通過模擬對象周圍環境以進行更好的場景構建，如流動血液的血管等。不同的醫學課件內容對環境建模有著不同的要求，如對于介紹病理發生、發展過程和影響等原理性的課件，對模型環境的精準度要求不高，可采用相對簡單的模型背景，一般以靜態建模為主，而對于介紹人體組織結構屬性的課件內容，由于對模型的精準度要求高，則醫學環境的建立首先考慮其仿真性，建立靜態和動態相結合的虛擬醫學環境。

3.1.3 三維醫學環境及模型的優化 一個逼真且流暢的三維虛擬場景，不僅要有逼真的模型，而且需要有流暢的運行效果，這就對三維環境及場景模型提出更嚴格的要求，三維場景優化技術能使模型得到優化且不影響整體效果。一般情況下，三維虛擬場景實時渲染時速度受限制的主要問題在于模型過于復雜，場景模型總三角面數太多，因此最有效的優化方式是在場景渲染時盡量減少模型的三角面，主要采用以下3種優化方式。(1)去除冗余幾何面。在三維建模過程中，建立的模型會有一些多邊形面處于不可見的狀態，除去這些幾何面不但不會影響模型本身的視覺效果，反而由于減少了模型的面數，提高場景的渲染速度。一般主要通過減少平面模型段數、優化圓柱體模型屬性、刪除重疊面這3種方式去除冗余的幾何面。(2)利用紋理映射(Texture Mapping)。在醫學虛擬對象仿真建模過程中，采用紋理映射的方法來替代詳實的模型。紋理映射是將二維圖像映射至三維幾何形狀表面，使其生成具有特殊效果或真實感三維模型的一種技術。對于虛擬對象，紋理映射技術的使用可以減少模型中的三角形面數，在建模過程中可以簡化對對象模型的細節表現，提高渲染顯示的速度。(3)進行實例引用。實例引用是指多個子節點引用同一個實例的父節點。三維虛擬場景集成過程中會存在一些相同屬性的實體模型，若用復制的方法，就意味著場景面數的增加，不利于場景的高速渲染，利用實例引用技術，可以在增加同屬性物體數量的同時，不增加場景面數。例如在實際建模過程中，有許多形狀和紋理相同的人體組織結構，他們之間的差別可能只在于位置、大小、方向的不同，通過實例引用技術可以將相同類型的組織結構在內存中僅存放一份實例，然后再對其進行移動、縮放、旋轉操作之后得到多個組織結構，從而大大地節省了內存空間。

3.2 醫學場景集成及漫游

3.2.1 概述 醫學場景集成及漫游主要是將醫學三維模型及文字、圖片等輔助信息集成入三維醫學場景中，通過系統三維行為庫及Lingo語言編程兩種方式進行漫游和瀏覽控制，實現課件與聽眾間三維交互沉浸體驗。這一步驟主要采用Director軟件來實現。Director是Adobe公司研發的基于時間流的專業化多媒體項目開發軟件，它結合多媒體制作和Lingo程序設計，具有出色的圖片、聲音、動畫處理技術及強大交互功能，目前正廣泛應用于大型多媒體及3D制作以及交互式電影等諸多領域[10]。

3.2.2 場景集成 多媒體醫學課件的設計，在開發前需要搜集豐富的相關資料和素材并對其進行整理和歸類。多媒體素材主要可分為靜態素材和動態素材兩種。靜態素材主要指配合多媒體展示所需的文字及圖片等素材，此類素材在集成入開發平臺Director前，需要使用Photoshop軟件處理成*.png格式的圖像，這種格式的文件支持透明，不損壞圖像質量，占用空間也不大，能較好地滿足演示需要；動態素材主要指醫學三維模型，其具體導入步驟如下：將建立的3D模型導入Director中舞臺(Stage)上，設置其行為為“Hold on Current Frame”，拖曳該行為到Score窗中的Frame 1，即讓影片停止在第1幀,為下一步的漫游交互控制做好準備。

3.2.3 虛擬場景漫游和瀏覽控制 虛擬場景的漫游和瀏覽是三維虛擬多媒體課件的最重要特色，它能讓聽眾通過親自的“經歷”和“感受”獲得知識，達到較為理想的教學演示效果。實現虛擬場景的漫游和瀏覽主要有兩種途徑：系統三維行為庫實現和Lingo語言編程控制。(1)系統三維行為庫實現場景漫游。系統行為庫是指系統中內置的用于響應某種交互式事件的腳本動作。Director中的三維行為庫包括觸發器(Trigger)和動作(Action)。當某一操作動作發生時，其所觸發的Trigger向系統發出信號，引起相對應Action的執行。通過不同的Action和Trigger組合，可以進行虛擬場景的漫游和瀏覽。具體操作以在虛擬醫學場景中移動攝像機實現場景漫游為例，主要分為4個步驟：導入3D模型到舞臺，選取3D類Actions中的“DragCamera”，即移動攝像機，放在Sprite 1的元素上面；在“Parameters for‘Drag Camera’”屬性對話框中進行參數設定；添加Trigger。將Trigger中的“Mouse Left”行為拖入到Score窗中，放置于Sprite 1的演員之上，在隨后彈出的“Parameters for‘Mouse Left”’對話框內指定Action及相關鼠標左鍵的設定；在“Select a Group and its Action”(選擇一個群組及其動作)下拉列表框中設定“Pan camera”，便可改變場景中的攝像機位置及視角，實現醫學場景漫游。(2)基于Lingo語言的場景漫游。借助Director的系統三維行為庫雖可以方便地進行場景漫游，但仍難以完成一些交互性較為復雜的動作，需要借助Lingo語言進行編程實現。例如將人體心臟模型導入Director中，為其添加腳本，實現用戶的按鍵對模型進行旋轉或者平移等操作。

global heart，object

global td，sp

on beginsprite me

sp=sprite(me.spritenum)——獲取當前精靈控制權

heart=sp.member ——獲取當前精靈角色

object=heart.model(1) ——獲取心臟模型

end

on enterframe me

if keypressed(＂w＂) then swing(-3)

if keypressed(＂s＂) then swing(3)

if keypressed(＂a＂) then scoop(-5)

if keypressed(＂g＂) then scoop(5)

end

————沿Y軸旋轉模型 ————

on swing n

i=0

repeat while i<= 30

i=i+1

object.rotate(0，n*0.5，0)

updatestage

end repeat

end

————沿Z軸旋轉模型————

on scoop n

i=0

repeat while i<= 20

i=i+1

object.translate(0，0，n*5)

updatestage

end repeat

end

4 應用效果及測試

本文實現了基于虛擬現實的三維醫學多媒體課件制作，它相對于傳統的醫學多媒體課件在表現效果、視覺沖擊力方面有了較大的提升，二者效果對比，見圖2、圖3。

圖2 二維醫學多媒體課件

圖3 三維醫學多媒體課件

同時，為了測試三維醫學多媒體課件播放的穩定性，將制作的醫學三維多媒體課件在Windows xp、Windows vista、Windows 7等操作系統平臺上進行測試運行，測試結果表明該醫學多媒體課件兼容性好、穩定性高，能達到較好三維演示效果。

5 結語

虛擬現實作為一種全新的教學媒體形式，突破時空的限制，推動計算機輔助教育不斷前進[11-12]。本文運用Director技術進行醫學多媒體課件制作，增強課件的視覺沖擊力和感染力。同時應用三維虛擬現實技術，構建3D醫學展示模型，將醫學多媒體課件由二維平面擴展至三維立體，較好地實現了醫學內容高精細度呈現、醫學模型立體全方位展示的目標。

1 黨裔武. 改進多媒體教學 增強基礎醫學教學效果[J].醫學信息學雜志,2009,30(5) :86-88．

2 王孝寧, 趙玉虹. 開展精品課程建設培養學生信息素養[J].醫學信息學雜志, 2012,33(12):87-91.

3 潘炳超.對“多媒體課件”研究的分析與思考[J].中國醫學教育技術,2012,26(2):17-20.

4 John J N, Danette W M. Assessment Methods in Medical Education[J].Teaching and Teacher Education,2007,23(3):239-250.

5 張復初.淺談計算機多媒體課件在醫學院校教學中的應用[J].中國科技信息，2012，(7):188-189

6 呂婷.醫學領域中可視化技術的應用[J]. 醫學信息學雜志，2012，33(2):38-42.

7 陳進.建設動態人體解剖數字資源庫為教學服務[J]. 醫學信息學雜志，2014，35(8):86-89.

8 Burdea G,Coiffet P. Virtual Reality Technology [M]. NJ: John Wiley and Sons,1994.

9 王琦, 亓鑫輝, 王愷. Autodesk 3ds Max 2009 標準培訓教材[M] . 北京: 人民郵電出版社, 2008.

10 Adobe.Comparing Adobe Director to Adobe Flash[EB/OL].[2014-05-20]. http://www.adobe.com/products/director/compare/.

11 王芳.虛擬現實技術的應用及其發展[J].科技信息，2010，(32):795-796.

12 栗文靖.近年來國際上有關醫學信息學學科發展的一些探討[J]. 醫學信息學雜志，2011，32(10):7-11.

Technology for Making Virtual Reality Medical Multimedia Courseware

XIAOYang,

FuzhouGeneralHospitalofNanjingMilitaryAreaCommand,Fuzhou350025,China;FENGXuan,PLAUniversityofScienceandTechnology，Nanjing210007,China

By using 3D virtual reality technology, taking Director as operation platform, the paper constructs a 3D teaching space in medical multimedia courseware, introduces its technology pathway, elaborates key technologies from the aspects of virtual reality 3D scene construction, medical scene integration and roaming. Comparison shows that 3D medical multimedia courseware has more expressive and visual impact. Its safety and stability is excellent as well.

Virtual reality; Medical multimedia courseware; Director

2014-11-16

肖揚,工程師，碩士，發表論文10余篇。

R-058

A 〔DOI〕10.3969/j.issn.1673-6036.2015.01.021