交互式數字校園虛擬漫游系統應用平臺①

楊文陽,孟青青

(西安石油大學 計算機學院,西安 710065)

虛擬現實技術能夠實現人與自然之間和諧交互,可以擴大對信息空間的感知通道[1].虛擬漫游涵蓋的范圍較大,它作為一種新的信息交互方式,不會局限于傳統的鍵盤和鼠標,其接口可為用戶提供更豐富的控制和內容,可交互的實時瀏覽和信息查詢是虛擬漫游系統的基本功能[2].目前有幾種比較流行的輸入和輸出設備可用于虛擬漫游系統,也有幾種流行的交互技術用來連接設備和表征信息.每一種設備和交互技術的結合都具有不同的特征和局限性,這主要是因為系統設計者無論是在硬件設備的選擇上,還是在硬件和軟件的搭配上需要不斷完善以求體現最佳效果[3].德國斯圖加特大學很早就開始籌劃設計與開發自己的虛擬校園,并利用相關技術對真實的校園進行模擬.浙江大學、清華大學、山東大學等也都開展了數字化校園建設[4].吉林大學基于3DS Max 創建數字校園場景,然后在DirectX 中選擇專業組件進行圖形再生和顯示,從而達到校園虛擬漫游的效果[5].傳統虛擬校園在開發技術上大多采用Quick Time VR,雖然其精確性比較高,但交互性不太令人滿意,沉浸感較差[6].校園虛擬漫游仿真采用Virtools 技術進行開發,側重于虛擬場景的虛擬現實技術,設計實現了虛擬場景的視景仿真系統[7].一般的軟件平臺不具備充分利用設備的能力,因此,在各種應用環境下往往以犧牲系統某些功能為代價換取系統的可移植性.

本研究通過比較硬件平臺來對設備性能進行分析,使用InTml (Interaction Techniques markup language,即交互技術標記語言)可以把虛擬漫游應用平臺描述為一系列相互關聯的組件,而這些組件可以完成不同的功能設置[8].本研究主要探究交互式校園虛擬漫游系統的設計,在借鑒以往的設計經驗的基礎上比較其性能,使用不同的硬件和軟件逐步建立一個應用模型.該系統為學校在計算機及網絡平臺上建立數字化校園是普通平臺所無法比擬的,用戶可以體驗到與真實校園相近的虛擬環境,并且可以與虛擬環境進行交互.

1 虛擬漫游系統交互式應用程序語言開發工具及作用

InTml在交互式虛擬漫游系統中的應用可以看作是相互關聯數據流的過濾器.該過濾器可以連接下列任何實體:輸入或輸出設備、交互技術、對象行為、動畫、幾何對象、或其他媒體對象等,也可以連接設備收集的信息或編程語言描述的對象行為代碼.為了實現連接可以利用與內容相關的多媒體開發工具,例如Maya、3DMAX、Blender 等.InTml在虛擬現實應用中是一種集成所有組成要素的語言工具,而不是具體內容,這可以讓設計人員專注于解決應用程序的體系結構和交互問題,而不用處理過于復雜的對象.以數據流為基礎的語言,如以VRML為核心,結合ASP 技術,JavaScript 腳本語言和Java 語言,開發的虛擬校園漫游系統是以幾何和動畫的描述為重點[9],InTml 主要側重于特定行為和對象行為的應用、輸入設備信息的收集、系統整合等.InTml的作用使得在Internet 上通過傳輸很少的數據就可瀏覽三維虛擬場景成為可能[10].

交互式虛擬漫游系統應用程序是由一系列相互關聯的過濾器組成,以滿足特定用戶的需求.圖1顯示了一個簡單的InTml 應用程序,它允許用戶用跟蹤器移動虛擬手去觸摸虛擬物體,虛擬手跟蹤設備把位置和方向信息輸送到觸摸選擇技術和對象擁有者(手動識別),過濾器把多個對象和一系列期望的變化結合在一起,從而實現運動和旋轉.對象擁有者在輸入端口通過特殊裝飾圖形識別,輸入端口接收新的持有對象(即手動識別).

圖1 虛擬手觸摸選擇對象應用InTml 圖示

2 交互式虛擬漫游系統開發環境設計

2.1 虛擬漫游系統交互式應用程序開發流程

為了保證測量的一致性,我們采用了以下流程圖介紹虛擬漫游系統交互式應用程序設計開發流程(如圖2所示),該流程主要用InTml 來識別硬件和系統平臺的變化.在確定該流程設計方案時要同時考慮系統的設計者和開發者,設計者主要負責整體應用程序的體系架構,而開發者負責詳細實施設計者明確的任務.從虛擬漫游系統設計者的角度來看,InTml 應用包含了一系列的模塊,這些模塊必須在基礎框架上實施,并且需要考慮一定的執行規則.設計者與開發者需要合作,他們的主要工作是在基于InTml的環境下完成開發工作,InTml在PC 環境下被編譯成Java和Unity3D 開發工具.

圖2 虛擬漫游系統交互式應用程序設計開發一般流程

2.2 交互式虛擬漫游系統開發平臺的移植方案設計

設計人員根據用戶需求確定應用目標,用InTml應用程序來滿足用戶需求,這可用來檢驗此設計是否違背通用語義規則和基本使用原則[11].在這一點上,開發人員可以檢查應用程序是否支持當前的開發工具,如果當前的開發工具無法涵蓋新應用程序的所有需求,設計和開發任務可以繼續進行.因此,開發人員為了適應應用程序可能會改變InTml,設計者為了適應平臺可能會改變應用程序,執行應用程序用來檢驗是否滿足用戶需求,這就必須考慮軟件平臺的可移植性.設計和開發的內容,如以設計模型中的主體對象、特殊的圖形效果、聲音以及用3D 工具設計的觸覺等,這些內容可在基礎框架上通過運行InTml 應用程序來開發各種類型的媒體.圖3中協作指的是設計者和開發者之間的協作,該設計方案可以提供更有效的互動技術、使用不同的硬件、改變內容以及集中處理問題.

圖3中平臺A 開發后,設計人員要進行修改完善是為了把這個平臺順利移植到一個新的平臺上.開發者重復平臺B的開發流程,如果可能重復利用平臺A的部件或設計,與設計者互動直到滿足用戶需求,以這種方式使兩個平臺的應用程序保持相同功能,同時也考慮了各自的獨特優勢.不斷重復整個流程可以在提升每個平臺的功能基礎上更新其應用程序.這種方法可允許設計者與開發者在創建虛擬漫游系統應用程序中進行合作,設計者不用深入了解框架如何實現或編程語言,如C++或Java 等,可用InTml 實現交互式虛擬漫游應用程序,運用3DMAX、ArcMap 等軟件輔助平臺環境建設.以往的虛擬漫游系統開發者沒有考慮到這種工作的多學科性質,也沒有認識到高級虛擬漫游系統語言的必要性[12],這可以讓非專業程序人員在開發應用程序過程中和專業程序人員有效交流意見.該平臺支持多用戶同時在不同地點與同一場景實時進行交互,并強調場景的真實度和渲染的實時性及連續性[13].

圖3 交互式虛擬漫游系統軟件開發平臺移植方案

2.3 交互式虛擬漫游系統硬件環境的構建

建立虛擬漫游系統的目的是使用戶能夠在虛擬三維環境中以全沉浸式和360 度全視角的方式漫游當前或未來的建筑或環境區域,這是傳統設計渲染、預渲染和回放三維動畫所難以實現的功能.用戶對場景的交互控制通過改變視點的位置或視線的方向來實現,從而獲得三維虛擬場景空間的相關數據信息,實現虛擬場景中的漫游功能[14].該系統對校園主干道、教學樓、生活區和標志景觀等進行建模,然后通過應用程序實現虛擬場景中的行走、轉彎、仰視、俯視等視圖效果,尤其是與其場景中的物體進行實時交互后,形成一個逼真的、具有視覺、聽覺、觸覺的感官世界,使人產生與計算機融為一體的真實感;虛擬空間控制也可以通過用戶的感覺、語言、手勢等進行交互操作.用戶不僅可以全身心沉浸在虛擬校園中,還可以進行信息查詢、數據分析、教學評估、發展規劃和管理決策.校園虛擬漫游系統在高校優化管理、校園規劃、輔助決策和學校發展等各方面發揮著不可替代的作用[15].

3 交互式數字校園視景漫游模型的建立與優化

本研究在設計InTml 應用程序的基礎上以大學校園作為虛擬環境設計出可行的交互式校園虛擬漫游系統整體開發方案(如圖4所示).交互式數字校園視景漫游模型的建立主要包括平面圖像設計、三維模型設計、模型優化與顯示以及基本交互任務實現4 個部分.本研究主要利用Unity 3D 工具中的可視化界面設置場景和Unity 3D 代碼驅動程序,生成應用定義文件,最后根據用戶個性化需求設置場景虛擬漫游模式,實現虛擬校園的全景漫游功能.這也是當前智慧校園建設的重要組成部分,為全體師生提供全面信息化和移動化的綜合服務平臺[16].

圖4 交互式校園虛擬漫游系統開發方案

3.1 對校園場景進行三維建模

校園場景建模主要包括建模和圖片映射兩個步驟:第一,使用3DMAX 軟件或Creator 建立模型,創建者模型可通過向模型添加紋理映射功能來直接使用;如果該模型是三維模型,就需要通過面片映射或模型映射功能來獲得場景的原始模型.第二,轉換原始模型,這個過程需要將3DMAX 格式轉換為Creator 文件格式,并將其導入到Unity 3D 中以顯示處理模型.校園場景模型主要包括主干道和代表建筑群(如教學樓、生活區建筑、樹木、花草、操場等).

3.2 對模型進行優化和顯示

校園漫游場景模型建立后,由于游戲系統需要具備較強實時性,場景模型難以快速發送到Unity 3D 進行識別,這就有必要對場景模型進行優化[11].在本研究中,主要采用了一下優化方法:① 紋理技術代替法:在漫游場景中,如果模型細節較多、精度要求低的模型可以通過紋理來模擬.② 自動覆蓋法:當顯示的多邊形數量增加時,一些多邊形被自動覆蓋,這樣多邊形數量顯示的數量會減少;當顯示的多邊形數量減少時,顯示的多邊形數量也會增加.當需要在顯示一個模型時,并且在調用此函數之前,還需進行以下操作:創建或設置OpenGL 繪制環境、繪制場景、設置攝像機位置和方向和刷新窗口.該操作應該在調用函數的相應環境里實現,在此只需要對模型本身理.該函數的基本算法是:

3.3 關鍵交互功能的實現

交互性是虛擬現實技術最重要的特征之一,也是數字校園的核心功能.在數字校園中,虛擬校園場景的基本交互功能主要有動作捕獲、行走控制和選擇操作.

(1)動作捕獲

為了捕捉用戶在虛擬漫游中的動作,系統需要相應的硬件輸入設備[13].桌面計算機上最常見的輸入設備是鍵盤、鼠標或體感設備(如頭盔、手套等).漫游系統軟件程序可以通過捕捉用戶的相應動作并將其轉換成相應的控制命令來控制場景轉換.如果要查詢漫游場景中某個物體的信息,系統需要具備相應的定位和選擇設備.這種定位不能用鍵盤來完成,但可以借助鼠標的定點功能.在VC++和C++編程工具中有一種特殊的信息控制機制,可以方便地捕獲漫游用戶的基本動作.此外,在Unity 3D 函數庫中的捕獲函數也可以處理用戶的動作信息.

(2)行走控制

在該系統中,用戶在漫游系統中通過鍵盤的上、下、左、右鍵控制與場景的前、后、左、右交互,最終重繪場景畫面[14].有兩種方法可以根據用戶的動作重繪場景畫面:第一,直接改變物體的三維坐標參數;第二,通過用戶視點變換來實現交互場景的轉變.直接改變三維坐標參數會重新變換虛擬場景中所有目標對象的坐標參數,并且多次變換將導致誤差累積,這將會導致虛擬場景失真.因此,通過改變用戶視點來控制行走場景變換是目前交互式虛擬場景構建的主要方法.

(3)選擇操作

因為在計算機顯示器上繪制的目標對象通常需要多次旋轉、平移和透視變換,所以在多次變換之后進行選擇操作時,很難確定選擇了虛擬場景中的某一對象[15].此外,由于計算機的顯示屏的畫面是一個二維坐標系,虛擬漫游系統中所表示的三維物體需要將二維坐標轉換成三維坐標的運算,GLU 實用庫中的GLUUnproject()函數可以實現這種轉換.虛擬漫游系統通過不斷改變用戶視點和觀察點位置來實現多次旋轉、平移和透視變換效果,例如向前、向后、多方位旋轉、仰視和俯視等.圖5是在大學圖書館視景漫游中實現正向、反向和全方位旋轉的演示效果圖.

圖5 大學圖書館視景漫游效果圖

4 結論與展望

雖然目前虛擬現實交互技術和硬件設備不斷更新換代,但是該研究的設計流程和方案具有普遍的適用性和推廣價值.本研究的特色在于能結合虛擬現實領域和學校資源進行應用研究,通過該方案開發的系統可以將校園的各種場景、細節和體驗完全復制到計算機或者互聯網上,讓學生、教師以及社會公眾不受時間和空間的限制,只需要通過計算機和網絡環境就能夠全方位地感受校園景色、學習環境和學習資源,使用戶產生身臨其境的沉浸效果.隨著虛擬現實技術和移動智能設備的快速發展,還需要增加更多的虛擬漫游系統應用程序和硬件設備,也為精確高效的交互式校園漫游提供了成熟的技術支持和用戶基礎[17].數字校園漫游系統在開發設計方案也需要進一步優化和創新,以便支持應用平臺建設.