樊 梅,蔣寶晴
(四川大學 華西基礎醫學與法醫學院,四川 成都610041)
四川是紅軍長征歷時最久、行程最長、活動區域最廣、發生重要事件最多的省份。爬雪山、過草地、強渡大渡河、飛奪瀘定橋、巧渡金沙江、彝海結盟、四渡赤水等經典戰例和革命奇跡至今聞名遐邇。由于地域限制,且在當今疫情常態化防控背景下,其他地區的黨員很難有機會親身體驗到四川的紅色文化精神。利用虛擬現實(Virtual Reality,VR)技術實現對四川紅色文化的虛擬漫游,打破地域限制,大大降低以往教育形式的枯燥感,提高廣大黨員學習的熱情。通過構建虛擬場景,帶給用戶生動逼真的沉浸式體驗,讓一個個歷史人物和故事都更加立體生動。讓用戶置身于虛擬現實的情境中,作用于用戶的視、聽、觸等各感官系統,使其身臨其境般地體驗歷史事件,體會老一輩共產黨人的革命斗爭精神。
紅色文化教育云平臺立足于四川豐富的紅色文化資源,以推廣紅色革命精神為先導、新時代黨的精神為導向、創新為引領、學習教育為中心,依托虛擬現實、云計算、人工智能和大數據等前沿技術,與紅色文化資源管理部門共同打造集“展示、教育、文化宣傳”為一體的紅色文化教育云平臺。按照面向黨政機關、面向學校、面向群眾的定位,全面拓展紅色文化教育領域,營造共建、共享、共贏的紅色文化教育生態圈。紅色文化教育云平臺以歷史事件為核心素材,以云計算和實時渲染引擎等為技術支撐,結合多種硬件終端為用戶提供高質量服務,具體架構如圖1所示。

圖1 平臺總體架構
基于云端的系統架構對海量數據存儲與管理、并發任務渲染、復雜場景渲染等具有較好的支撐作用[1]。如圖2所示,為提高紅色文化教育云平臺的靈活性,降低平臺對應用終端的性能要求,平臺將采用云端部署多端使用的應用模式。

圖2 系統應用模式
1.1.1 云端部署
平臺包含多個紅色革命舊址的數據資源,后續可擴展覆蓋四川四十余個紅色革命舊址。采用云端部署的方式存儲在云服務器中。可根據用戶使用情況完成資源數據下載、場景渲染、視頻流分發等任務,以滿足不同的應用場景。
1.1.2 大屏展示
大屏展示系統具有分辨率高、畫質細膩、應用模式單一等特征,對計算機的渲染能力要求很高,一般是部署在展廳等固定場所。該模式下將采用本地部署高性能服務器,從云端下載數據資源到本地渲染的方式進行紅色文化教育場景可視化呈現,達到震撼的視覺效果。
1.1.3 VR體驗
根據應用模式,VR眼鏡主要分為三類,分別是:手機盒子、頭戴式顯示器和VR一體機。手機盒子是通過手機作為虛擬場景的渲染終端進行VR呈現,其渲染能力和顯示精度受手機硬件性能限制。頭戴式顯示器本身只作為顯示終端,需要通過外置計算機進行圖像計算和渲染。VR一體機內置顯示屏、陀螺儀、計算等模塊,具有較強的計算能力且攜帶和部署便捷。因此,紅色文化教育云平臺采用VR一體機作為沉浸式體驗終端。
VR一體機通過互聯網連接平臺進行資源下載和更新,使用者通過交互手柄選擇不同的場景進行游覽體驗。VR一體機根據視野方向實時渲染具有視差的左右眼圖像并投射到VR一體機屏幕上,構建出具有高度沉浸感的立體影像[2],效果如圖3所示。

圖3 VR體驗效果圖
1.1.4 移動端體驗
移動端主要是作為臨時的體驗終端,使用者通過平臺接口登錄,選擇需要體驗的場景后由云端進行場景渲染,通過視頻流的方式傳輸到移動端進行呈現。體驗設備本身無需進行資源下載和渲染計算,極大地降低了對硬件性能的依賴。
虛擬環境中的場景實時程度、場景可視范圍、場景細節等對最終呈現的可視化效果有直接影響[3]。目前制做大型地景的主要方式是采用數字高程模型(Digital Elevation Model,DEM)生成具有高度信息的基礎模型,采用數字正射影像圖(Digital Orthophoto Map,DOM)貼圖的方式構建超大范圍地理環境[4]。為了達到更好的體驗效果,紅色文化教育云平臺根據紅色舊址真實地理數據信息生成地形場景,在傳統DEM+DOM技術方法基礎上,根據地表紋理信息,采用虛幻引擎4(Unreal Engine 4,UE4)提供的植被系統生成較為真實的地表覆蓋物,使得場景效果更加真實細膩。具體效果如圖4所示。

圖4 大地形仿真
為了達到良好的畫面效果,需要對紅色舊址及歷史事件場景進行高精度地還原。但是紅色文化教育云平臺的畫面呈現是基于UE4引擎的實時渲染,模型數據量越大對系統資源的消耗就越嚴重,系統運行效率就越低。為了獲得良好的體驗感,在非沉浸式體驗時系統刷新率一般要大于30Hz,在沉浸式體驗時系統刷新率一般要大于60Hz。在滿足功能和渲染質量要求的前提下需要對虛擬場景資源進行深度優化,以降低平臺硬件的負載壓力。次時代建模技術采用法線烘焙以貼圖的形式保留高精度模型的細節,將貼圖賦予到低模上即可獲得和高精度模型一致的外觀效果[5]。采用次時代建模的方式可獲得良好的視覺效果,也不會因為模型面數過多而導致系統資源浪費。
在不影響畫面質量的前提下,LOD技術通過逐次簡化物體的表面細節來降低場景的復雜性。在渲染時,依據模型與虛擬攝像機的位置關系以及占用屏幕比例,決定渲染對應層次的模型,可以通過降低在渲染屏幕中所占比重較小的物體的面數,以提高渲染效率[6]。
平臺使用UE4提供的LOD系統進行模型各層級LOD制作,對于單個模型而言,其優化效果十分出色,極大地降低了渲染壓力。其各層級LOD效果如圖5所示。

圖5 LOD效果示意
在移動端體驗過程中,為降低終端的渲染壓力,平臺通過云服務器對虛擬場景進行渲染并將視頻流實時傳輸到終端。網頁實時通信(Web Real-Time Communication,WeBRTC)技術的特點是在不安裝軟件和插件的情況下,通過瀏覽器即可實現端對端的雙向數據傳輸[7]。WeBRTC支持Windows,Linux,Mac,Android等系統,具有良好的跨平臺能力。在紅色文化教育云平臺中采用該項技術,實現移動端與云端的渲染數據流、控制指令的傳輸,達到交互式體驗的目的。
四川紅色文化教育云平臺是將VR技術與紅色文化教育資源相結合開發的,首先是收集整理素材,比如照片、視頻、文字資料等。接下來根據素材,采用Maya建模軟件對關鍵場景和人物進行精細化建模和動畫制作,基于真實地理信息數據對周邊地形進行還原。采用UE4引擎作為紅色文化教育虛擬場景可視化的關鍵平臺,使用藍圖編程的方式構建人機交互界面和交互邏輯。采用云端存儲和部署的方式為多種類型終端用戶提供資源下載、在線渲染等服務。
3.2.1 場景可視化
本系統采用UE4作為虛擬場景可視化引擎,UE4可以得到逼真、實時的渲染效果,該引擎支持不同的天氣環境、道路環境、自然光、環境光以及反光等效果的實時渲染。UE4兼顧系統運行效率與渲染質量的平衡,提供了強大的光源、材質、陰影及反射等效果,高質量、高速度地處理復雜場景的可視化,環境、光照、材質可實時改變,具備對環境、光照、材質等進行實時的真實渲染能力。UE4出色的實時渲染能力為紅色文化教育場景可視化提供了有力的保障。
在四川紅色文化教育云平臺實現過程中,最重要的是場景和人物設計。歷史事件的高度還原與場景設計密切相關,為了讓參觀者能夠沉浸其中,需要根據歷史影像高度還原歷史場景。利用軟件,合理開發貼圖材質、燈光等場景要素,以保證場景更形象。除了逼真的場景,人物設計也至關重要。為了讓歷史人物形象更加真實、生動,需全面了解每個歷史人物的特征,包括容貌、姿態、服飾等。場景效果如圖6所示。擬場景事件、交互指令觸發相應的聲音內容,達到視聽一體化的展示效果。

圖6 飛奪瀘定橋場景還原
(3)3D菜單設計
在沉浸式體驗環境中,為了快速便捷地進行操作和功能選擇,平臺為參觀者提供了3D菜單,通過VR手柄預設的按鈕呼出菜單后進行相應的操作,具體設計如圖8所示。

圖8 3D菜單設計
3.2.2 天氣系統設計
為了呈現多樣化、真實化的視覺效果,平臺提供了完善的氣候條件供參觀者自主選擇或隨機分配,如春夏秋冬四季場景的變化以及晴雨雪霧不同天氣場景的變化,效果如圖7所示。

圖7 季節和天氣模擬
3.2.3 聲音仿真設計
聽覺是人類在視覺之外獲得信息的主要途徑。在聽覺與視覺的關聯作用下可以提高大腦信息加工的精確性,而且可以避免單一信息通道的過載。虛擬現實不只是視覺上的模擬,對場景中各類聲音進行立體化模擬也尤為重要。在該培訓系統中主要聲音包括:
(1)背景音
通過場景環境進行分析,整理出主要的背景音類型、位置和大致的音量。通過在虛擬環境中對應的位置設置發音虛擬體并設置一定的隨機變化值進行模擬,達到較為真實的效果。
(2)事件聲音
歷史事件虛擬化還原主要涉及槍炮、爆炸、沖鋒號、人物對話、旁白介紹等聲音。通過程序控制,根據虛
(4)虛擬漫游
參觀者可以在紅色文化教育線路中選定的紅色舊址虛擬場景中任意游走,瀏覽舊址中的畫面、文字和雕像等。
為了提高虛擬場景的漫游靈活性,平臺提供了多種漫游模式。參觀者可以在虛擬場景的三維菜單中進行自由選擇。
a.飛行模式:用戶可以通過VR手柄按鍵、虛擬圖標等方式控制方向,實現在虛擬環境中沿任意方向進行漫游。
b.行走模式:通過在虛擬場景中構建碰撞物體對可移動區域進行設定,用戶可以在實際空間站走動、轉身或通過VR手柄搖桿控制方向,達到在虛擬場景中行走、奔跑的效果。
c.跳轉模式:針對區域范圍較大的紅色舊址,行走模式不能完全滿足游覽要求時,觀看者可通過虛擬指針指向目標點,系統通過坐標擬合計算將虛擬人直接跳轉到目標點上,實現快速移動的效果,提高整個虛擬場景游覽效率。
(5)交互設計
在軟件使用過程中的感覺就是一種交互體驗。隨著技術的發展,人們也越來越重視對交互的體驗。設計的主要目的是如何使用戶更好地與系統交互操作。人機交互設計應注重的是系統易用性、流程簡便、盲點測試、出錯及異常提示、用戶環境測試等[8]。紅色文化教育系統采用UE4特有的藍圖編程實現人機交互設計與開發。可視化腳本類非常適合于制作交互式的資源,比如開關門、物體拾取、動畫觸發、聲音觸發、材質變換等。可根據用戶的操作、位置、語音識別進行響應,達到自主化、自動化、智能化的人機交互效果。
(6)劇情設計
在展示過程中,以空間為導向,采用講故事的方式,以開合、急緩、松緊等節奏的配置形成事件序列,可以讓參觀者更好地融入到空間環境中[9]。紅色文化教育系統以歷史事件為原型,采用藝術化的設計手段,以語音講解的方式介紹事件背景,以交互式三維動畫呈現事件過程,以圖文素材展示事件結果,構建完整的歷史事件演繹過程,形成符合史實的完整劇本。讓用戶以第一人稱視角參與到整個事件過程中,獲得更加真實、震撼、感同身受的體驗效果,進一步提升對紅色精神的學習深度。
(7)導航與講解
為了提高游覽效率,開發平臺提供了具備一定智能化的導航虛擬機器人,參觀人員通過語音指令即可調出。虛擬機器人根據用戶所處的游覽位置進行語音播放或者圖文視頻的投射顯示,如圖9所示。這種導航方式采用了現代科技感和歷史事件相結合的設計方式,使得整個系統更具交互性和趣味性。

圖9 導航提示
(8)交互式問答
為了對游覽效果進行數據化地呈現,在游覽結束后平臺根據游覽內容提供了相應的問答作業,后臺程序對用戶的答題內容進行統計分析,形成成績單和圖形化統計報表,為平臺的升級優化提供數據支撐。
(9)系統管理功能
a.用戶管理:實現用戶的注冊、登錄、權限配置等功能。
b.訪問管理:在移動端使用模式下根據訪問人數與平臺支持的最大并發量,實現參觀預約、排隊的管理功能。
c.資源管理:實現數據資源的下架、上傳、部署、權限設定等管理功能。
d.數據統計分析:對紅色文化教育資源使用情況進行實時監測、分析和統計。
隨著虛擬現實技術的不斷發展以及硬件成本的逐步下降,紅色虛擬文化教育將成為未來的發展趨勢。基于三維可視化的紅色文化教育云平臺具有仿真度高、交互良好、使用便捷、數字資源豐富和可擴展性強等特點,可打破時間和空間的限制,讓參觀者足不出戶即可在沉浸式的環境中感受到革命先烈浴血奮戰的場景。其可以為四川紅色文化教育的發展、紅色革命精神的普及和推廣發揮巨大作用。