面向博物館的XR+展覽交互系統設計與實現

汪 萍，胡學鋼，王榮榮，王 樂

（1.安徽新聞出版職業技術學院 新聞傳播系，安徽合肥230601；2.合肥工業大學計算機與信息學院，安徽合肥230601；3.羋煬科技研發部，上海201203；4.中央廣播電視總臺播出與傳送中心，北京100859）

博物館基于保護目的，其展覽基本以靜物形式陳列在櫥窗中，輔以簡單的文字簡介，隨著科技的不斷發展，特別是5G（第五代移動通信技術）的到來，媒體的傳播方式已經開始由2D（2 Dimension）交互向3D（3 Dimension）交互轉變，傳統的展覽形式已無法滿足觀眾的需求，針對此問題國內外學者做了一些研究[1-3]，但大部分都集中在VR（virtual reality）的應用上，部分涉及AR（augment reality）和VR 的同步應用。從應用研究中發現，將VR、AR或MR（mixed reality）某項單一的技術應用于博物館展覽存在形式單一和內容局限的問題，長時間或全程只用一種視角或模式去觀看會讓觀眾產生視覺疲勞或興趣漸減。為解決這一問題，本文基于最新提出的XR（extended reality）技術，給出一種面向博物館的新型展覽交互方案，其融合了VR、AR和MR這3種技術的優點[4]，觀眾在參觀過程中可通過應用終端自主選擇或切換觀賞模式，提升了參觀的交互性、趣味性和多感知性。

1 開發工具與框架設計

1.1 開發工具

本系統基于IOS操作系統，用Objective-C語言基于蘋果公司的ios sdk（蘋果系統軟件開發工具包）開發“博物館XR+展覽交互”App（移動端應用軟件），其演示內容通過“三維建模”“圖像標識”和“交互實現”這3大流程來實現[5]。

本系統以Unity3D 為主要開發引擎，通過3D Max或Maya軟件完成三維模型和動畫創作，輸出.fbx格式文件導入到虛擬引擎中，利用圖片標識技術、數據庫調用技術和網絡傳輸技術實現觀眾與文物之間的交互，通過C#程序編譯語言加入計算機指令實現VR、AR與MR這3個模塊內容之間的切換，最終觀眾可通過顯示終端實現展覽交互系統的虛擬漫游與實時交互，開發實現流程如圖1所示。

圖1 XR+展覽交互系統的開發實現流程圖

1.2 系統框架設計

XR+展覽交互系統分為3個模塊：虛擬交互模塊、增強交互模塊和混合交互模塊，分別實現“基于VR技術的虛擬漫游”“基于AR技術的增強交互”和“基于MR技術的混合交互”這3個功能。在手持終端上安裝“博物館展覽交互系統”APP 后，觀眾可根據自己的喜好任意選擇一種觀賞模式，也可以綜合VR、AR混合成MR形式輸出，可隨意切換觀賞模式，系統框架設計如圖2所示。

2 系統開發實現

2.1 VR漫游模塊開發

VR漫游模塊的實現是利用寬視野立體顯示技術，借助實時動作捕捉、跟蹤定向技術、觸覺、力覺、嗅覺等反饋技術，通過手柄、語音或動作等傳達指令來實現虛擬漫游。該模塊的核心技術為虛擬場景搭建和漫游交互功能開發。其中，虛擬場景搭建是虛擬漫游模塊開發中非常重要的部分，模型的質量決定了博物館VR漫游體驗的真實感。本系統所有歷史古跡場景模型均在3D Max里搭建，文物三維模型和動畫在Maya 中創建，因這兩個軟件存在坐標系方位和單位比例不同問題，且最后都要在Unity 平臺里開發，故在3D Max里搭建的模型在導出時應選擇Export Selected模式導出，并修改單位為Metres（米）以匹配Unity里的單位，最終導出.fbx格式文件至Unity項目中的Assets文件夾下，通過Unity自帶Shader（著色器）與Material（材質球）對三維模型進行顏色和材質的設置。本文以故宮博物院為例搭建模型與布局，如圖3所示。

圖2 XR+展覽交互系統框圖

圖3 在Unity引擎中重貼材質后的故宮博物院三維場景鳥瞰圖

虛擬場景搭建完成后，首先應為所有的墻體和地面添加碰撞屬性（Mesh Collider組件），防止出現人物角色穿透建筑物的不真實感；其次添加第一人稱視角，加入漫游交互功能；最后連上頭盔測試以第一人稱在故宮場景中虛擬漫游的情況。其中，通過計算機命令控制手柄的上下左右鍵以實現觀眾在場景中的自由漫游（見圖4）。

2.2 AR交互模塊開發

AR增強交互模塊相比VR漫游模塊而言，可以使博物館展覽交互系統實現更豐富的互動方式，可以在真實環境中疊加虛擬內容，賦予藏品“生命力”，構建出一系列觀眾無法在現實中見到的“鮮活”歷史和場景，其交互實現愿望：首先需要用到AR的核心技術三維注冊，即事先將現實世界中的二維或三維物體設定為標識物（Marker，即圖像標識），其次通過移動終端（智能手機或AR眼鏡）的攝像頭對Marker進行識別和姿態評估（Pose Estimation），確定其位置，然后將其采集到的信息發送給增強工作站進行信息分析和處理，以Marker在現實場景中的中心為原點坐標系，即模板坐標系（Marker Coordinates），建立模板坐標系和屏幕坐標系的映射關系，并將虛擬信息與現實場景信息進行對位匹配，即虛擬物體的位置、大小、運動路徑等與現實環境進行完美匹配，最終實現三維虛擬模型與真實世界疊加呈現在現實終端。

圖4 基于腳本設置左手柄的漫游功能屬性

實現以上交互技術的基礎是圖像標識技術和圖像識別技術。本系統首先運用AKAZE 算法，基于Unity平臺開發整合一套Vuforia SDK（對圖片、物體、文本和標記進行識別和追蹤的軟件開發工具包）導入至已開發完成的Unity項目中；其次，創建AR Camera（AR采集攝像頭）對平面圖像或展品進行采集，在Vuforia（讓應用擁有視覺的軟件平臺）中新建并上傳關于博物館項目的圖片至網絡端Database（數據庫）；再次，為圖片添加ImageTarget 標識，在Unity 引擎的Inspector 窗口選項中粘貼License Key（許可證密鑰），設置與Database中上傳圖片的關聯，將其鏈接到網絡數據庫端（見圖5）；最后，把第一步中已建好的Prefabs（預制模型）導入至Hierachy窗口中的ImageTarget下面，調整模型位置、角度和大小，用C#程序語言設置交互預設，調試并發布.exe格式的程序至移動終端，即完成了圖像的標識。當觀眾選擇AR交互模塊時，攝像頭會將采集到的信息與網絡Database中的圖片進行匹配，若匹配就會立刻調用系統中對應的三維模型通過顯示終端呈現。

圖5 在Unity中設置采集信息與網絡Database的鏈接匹配關系

2.3 MR交互模塊開發

混合交互模塊融合了VR技術的沉浸性和AR技術的交互性，由VR和AR兩個輸出模塊疊加而成。利用三維建模技術可以將古建筑從整體架構到內部裝飾以虛擬數字化的形式與現實世界融合，通過多傳感器融合技術可放大、縮小展品細節，還可以通過實時跟蹤及三維定向技術圍繞展品360°觀看，它不會因觀眾位置和角度的變化而發生位置的變化或形態的扭曲，可拓展現有博物館的展出空間和文化內涵。通過三維動畫和交互控制技術可以讓文物在真實世界里“活”起來、古跡場景“動”起來、字畫人物“走”出來，重現歷史情節、拓展文化內涵。當觀眾選擇MR模式輸出時，系統會將VR和AR兩個模塊的內容進行優化運算和輸出，通過更精細的三維注冊算法合并現實場景和虛擬世界，從而生成新的可視化環境，實現物理環境和數字對象更真實的共存。

3 交互實現

3.1 人與設備交互

本系統通過“XR+展覽交互APP”來控制整個操作，本文以故宮博物館為例，啟動XR+展覽交互系統，程序首先進入歡迎界面，界面上有3個觀賞模式供觀眾自主選擇，分別為VR虛擬漫游、AR增強交互和MR混合交互，觀眾可自由選擇任意一種觀賞模式[6]。若觀眾選擇VR虛擬漫游模塊，系統會調用預先制作好的三維場景開啟虛擬漫游模式，通過佩戴HTC VIVE頭顯、操控手柄，觀眾可在虛擬博物館視景中進行前、后、左、右的漫游。

當觀眾想從一種觀賞模式切換至另一種模式時，點擊顯示屏左側的“VR”、“AR”或“MR”按鈕即可完成觀賞模式的互換（如圖6所示）。AR增強交互或MR混合交互模塊都需通過調用終端設備的攝像頭來捕獲真實環境或進行圖像識別。采用計算機視覺跟蹤注冊技術可算出攝像頭采集到的位置數據，將位置數據持續的傳遞給渲染處理器即可實現將虛擬展品疊加到真實場景中的效果。

圖6 可隨意切換的交互界面

AR 或MR 部分可直接在Pad 上觀看，也可以通過HoloLens 眼鏡來呈現。其原理是將HoloLens 和arkit（蘋果的AR開發平臺）同時連接上局域網，HoloLens把虛擬空間的信息也實時傳給arkit一份，保證HoloLens 和arkit 在虛擬空間上同步，即眼鏡端和手持終端設備的數據實時同步，這樣觀眾既可以通過MR眼鏡觀看，又可以同步使用手機觀看，從而實現了觀賞模式的無縫切換以及設備的自由交互[7]。

3.2 人與空間環境交互

人與空間環境的交互主要通過VR漫游模塊來實現，效果如圖7、8所示。該模塊觀眾通過佩戴頭顯可以自由漫游在整個場景中，通過手柄操控可以抓取數字展品觀看細節，轉動頭顯還可以以720°的視角上下左右觀看場景內的各個角落。

圖7 仰視室外建筑效果

圖8 俯視室內陳設效果

3.3 人與展品交互

XR+展覽交互系統中的AR交互和MR交互模塊均可通過手機、平板或頭顯的攝像頭來識別圖像標識，調用系統數據庫中鏈接的三維模型，通過三維注冊定向技術可實時的將其定位在真實的三維世界中，在手機、平板電腦或頭顯眼鏡上生成三維“數字展品”，從而實現交互體驗。

本功能通過AKAZE算法基于opencv（跨平臺計算機視覺庫）技術進行圖片識別與追蹤，用slam（即時定位與地圖構建）技術和opengl（開放圖形庫）實現三維實時渲染和顯示[8]。

觀眾可用顯示終端掃描提前做好標識的AR卡片，調出系統中事先鏈接的三維文物模型進行近距離地觀摩與研究（見圖9）。

圖9 通過圖像識別觸發生成數字展品

4 實驗結果與分析

本實驗基于Unity3D引擎，在處理器為2.9 GHz Intel Core i5，內存為8 GB 1 867 MHz DDR3，圖形卡為Intel Iris Graphics 6100 1 536 MB 的MAC 電腦上，連接視場角為110°、刷新率為90 Hz 的HTC VIVE上，劃定5 m×5 m的跟蹤區對VR漫游模塊進行仿真測試。

系統啟動后選擇VR漫游模塊，觀眾可從端門往里自由行走參觀，既可欣賞故宮博物院的外景，又可進入宮殿內部觀賞室內陳設，它解決了故宮博物院由于歷史地位特殊性所導致的只能遠觀的問題，漫游效果如圖10所示。

圖10 故宮內景漫游效果

為驗證系統性能，保證漫游體驗的真實感，本文做了3方面的實驗對比：建好的Unity場景添加碰撞性能前后漫游效果；場景設置限行區域前后漫游效果；人物模型比例調整前后漫游效果。進行分別測試后發現，在Unity建好的場景中未加碰撞組件時，人物角色會墜落和穿墻，上不了臺階，不受任何建筑或墻體的阻礙；當給所有的建筑包括地面加上Collider（碰撞）組件后，人物角色可以正常走上臺階，不會再掉入模型內部，且墻體和建筑不會再被穿破。在場景中未添加限行區域前，人物比例也沒有調小前，人物可直接跨過屋頂或踩在建筑物上行走，其視角高于建筑，無法從門洞下通過，不符合自然規律；當將人物角色的Scale數值全部調成0.2，且給場景設置Nabigation限行區域后，人物只能在地面上漫游，也只能從門洞下通過，實現了與現實世界一樣的交互體驗。測試對比結果如圖11～14所示。

圖11 未加碰撞性能漫游效果

圖12 加碰撞性能后的漫游效果

圖13 未設定限行區域和未調角色比例前視角

圖14 設置限行區域和調小角色比例后視角

當觀眾切換到AR或MR模式后，系統需要調用顯示終端的攝像頭，本實驗通過攝像頭采集標識物的不同角度測試其對生成的數字三維圖形是否有影響，取極端的0°和90°進行注冊性能驗證。故宮博物院歷史地位特殊，受保護程度較高，不方便去現場進行AR和MR模塊的測試，故采用小象圖片進行性能測試。經實驗發現，當采集角度為90°時，系統可以采集到標識圖像中所包含的特征信息；當跟蹤角度調整為0°時，系統也可采集到標識圖像中的特征信息，可即時實現實時跟蹤功能。測試結果如圖15、16所示。

圖15 采集角度為90°時渲染呈現的數字三維模型

圖16 采集角度為0°時渲染呈現的數字三維模型

通過上述實驗得出，基于擴展現實技術的博物館展覽交互系統具有真實的漫游體驗和交互功能，觀眾可以根據自己的需求自由切換視角或觀賞模式。對標識物采用特征檢測及繪制的方法來進行跟蹤注冊，其不受采集角度和復雜環境影響，當觀眾需要觀看展品承載的歷史背景和文化時可切換至AR 或MR模式，它會生成數字化的三維內容疊加在真實環境之中，讓場景動起來、展品“活“起來，與真實世界無縫融合。

5 結束語

本文基于擴展現實技術，綜合虛擬現實、增強現實和混合現實這3大技術的優點，提出了一種基于擴展現實技術的展覽交互系統，經反復測試表明，該方法能夠在顯示終端連續移動，且角度發生變化時它能自適應顯示虛實疊加的效果。XR技術是虛擬現實技術發展的未來，將其應用到博物館展覽交互系統可讓觀眾自由選擇和切換觀賞模式，增加參觀的交互性和趣味性，也延伸和豐富了展覽內容，解決了博物館展品的“三高四難”問題，即高成本、高難度、高風險，難還原、難再現、難拆解、難描述的展品展覽問題，為參觀者帶來了強烈的現場感和參與感，讓傳統展覽形式中“沉睡的”文物古跡重獲新生，為博物館的發展注入新活力，其作為傳統展覽的補充能更好地發揮博物館的社會教育和文化傳播職能。