文化遺產保護的混合現實設計和實現

鐵　鐘，　朱　翔

(上海工程技術大學 藝術設計學院，上海 201620)

0　引　言

隨著計算機技術的發展，文化遺產的數字化保護已經在保護過程中被廣泛應用，同時個人終端的運算能力增強，基于受眾的數字化展示設計手段不斷發展，對應的數字化技術正不斷的影響著保護理念的轉變[1]。意大利等歐美國家在文化遺產保護數字化方向投入了大量的研究人員與經費，一些最新的國防科技都被引入民用領域，正是這些技術手段在不斷地改變著我們對于文化遺產保護與修復的模式。

虛擬現實應用于文化遺產保護已經有近10年的時間了，但受制于終端硬件，在應用和推廣的方面一直處于試驗和研究層面。隨著硬件和軟件的不斷發展，與虛擬現實相關的增強現實與混合現實的概念逐漸形成，在技術層面逐漸被應用于文化遺產保護與傳播。混合現實(Mixed Reality)基于虛擬現實(Virtual Reality)發展而來，不同于虛擬現實的概念，混合現實依附于一定的現實環境[2]。通過這種技術手段可以對文化遺產所包含的文化特質以及歷史影響所帶來的時間進行全面的展示，這彌補了傳統展示設計手段的單一性，同時也帶來了數字化記錄與保護的挑戰[3]。早在1994年，多倫多大學的保羅·米爾格拉姆(Paul Milgram)和日本學者岸野文郎(Fumio Kishino)撰寫了一篇題為“混合現實與視覺顯示分類”的論文，在這篇論文中他們定義了“現實-虛擬連續(Reality-Virtuality Continuum)”的概念用于描述從真實環境到虛擬環境的跨度。真實環境和虛擬環境分別作為連續的兩端，位于它們中間的被稱為“混合現實”，其中靠近真實環境的是增強現實(Augmented Reality)，靠近虛擬環境的則是增強虛境(Augmented Virtuality)[4]。直到2001年，與文化遺產相關的增強現實應用開始在互聯網上展開，技術上主要基于GPS定位系統，由于無線網絡協議也就是WiFi技術剛剛于1999年發布，并沒有得到廣泛應用，所以針對用戶體驗的效果并不十分令人滿意。V. Vlahakis等人建立了一套基于希臘奧林匹亞歷史網站的系統，受制于終端的運算能力，建筑的細節并沒有展現出來，相關的交互內容也并沒有有效展示[5-6]。

1　文化遺產虛擬場景前期數據采集

實現文化遺產虛擬場景的展示設計主要通過以下幾種方式進行：虛擬現實,通過頭盔顯示器HMD(Head Mounted Display)將采集的視頻素材與制作素材加以呈現。增強現實,通過頭盔顯示器HMD或移動終端將制作內容與現實場景加以結合。混合現實,通過透光式(Optical see-through)HMD與Leap Motion等體感設備相結合，將制作內容與現實空間產生交互。混合現實成熟的商業化硬件平臺有最早推出的谷歌眼鏡和微軟推出的全息眼鏡產品HoloLens，透光式HMD允許用戶看到真實的環境，計算機把生成的圖像疊加顯示于視場中。影像式HMD并不能讓用戶直接看到真實環境,而是通過HMD上的攝像頭采集環境影像,然后將計算機生成的虛擬圖像融合后顯示出來[7]。

無論使用移動終端或者頭盔顯示器呈現最終的展示方式都需要對原始數據進行定位與采集，通過相機設備將識別的對象參數加以定位。由于移動終端計算能力的限制，必須控制終端所在位置，如果進行實時計算對終端的計算處理能力有一定要求，不利于推廣與展示。以朱家角場景設計制作為例，首先使用4臺A7S相機，配合8～15焦段的魚眼鏡頭，拍攝出4個方向原始素材。在NUKE中對原始素材進行修正，使用Autopano對素材進行合并，導出素材再次進行修正。計算出固定角度素材場景的深度通道，反求出攝像機中心位置(視角位置)的參數，將二維畫面進行三維轉換。制作內容動畫，將計算出的現實場景中物體位置與攝像機位置的參數導入三維軟件中加以匹配。最終將制作好的內容導入EasyAR SDK等引擎中進行交互內容制作。

2　混合現實系統設計與實現

現有的混合現實設計都基于個人移動終端，雖然體驗性不如虛擬現實的模擬性，但隨著技術和硬件的發展會推動相關產業的發展。以受眾為中心可以較快的速度進行普及，所以在應用上整體高于虛擬現實技術。整套系統設計分為：①現實空間數據采集；②素材拼接與混合計算；③交互內容制作與匹配[8-9]。

2.1　現實空間數據采集與拍攝

使用4臺A7s相機在同一水平位置，拍攝4個方向的素材。也可以使用運動相機GoPro進行拍攝，但是素材質量會影響后期體驗效果。素材導出后使用Adobe Premiere進行素材對齊與剪切，再導入AutoPano Video Pro進行初步融合，包括對與使用鏡頭以及焦段的設置Detect(檢測)。素材再導入AutoPano Giga優化RMS值，這其中包括控制點與水平基線的優化。可以看到畫面中，由于鏡頭與光線角度的不同，拼合時明暗交錯十分明顯，如果在正午時分光照充足的情況下這種現象會更明顯。最終渲染輸出的素材導入到NUKE中將邊緣的攝像機支架的部分進行擦除地磚的位置進行對齊縫合,最終可以看到合成的畫面。修整前后的畫面如圖1、2所示。

圖1　未修整的合成畫面

2.2　深度通道計算與景深效果

后期交互內容的制作依據拍攝素材進行內容制作，為了實現三維效果需要進行二維轉三維的渲染，首先要計算出深度通道的數據，調節最終畫面的深度即可創造新的景深效果，需要根據拍攝時相機參數來設定立體程度的間隔值。基于運動估計的深度圖生成最終畫面，運算過程中基于塊的運動估計算法獲得運動矢量。使用Graph-Based顏色分割算法來修正深度圖，并在后處理中采用數字形態學、高斯濾波等方法提高深度圖質量，最后使用深度圖適當擴展的改進算法來提高最終修復圖像的質量。虛擬視點繪制中需要用到的4種空間坐標系，給出投影變換公式。然后結合二維轉三維視頻實際，采用簡化的DIBR算法合成虛擬視點位置的圖像[10-12]。可以看到目前文件的深度通道倍計算出來，而不參與交互制作的部分場景可以直接進行屏蔽，如圖3所示在NUKE中將計算好的深度貼圖與素材匹配。

圖3　在NUKE中將計算好的深度貼圖與素材匹配

2.3　畫面超分辨率和統計預測的混合算法

渲染出深度通道的文件可以將深度通道合并在帶有通道格式的序列幀文件中，通過超分辨率和統計預測的混合算法提高原有素材的分辨率。基于原有的視頻像素，在識別兩個不同的情況后之后軟件會開始畫質提升的步驟：對比前后幾幀，是不是有可能圖像會發生改變。如果圖像畫面有可能改變，那么在對像素點數據分析后會立即應用統計預測算法，計算得到空白畫面的顏色像素值，填充空白像素，再做畫質提升。如果圖像畫面不發生改變，那么基于目前的像素點直接做拓展后，再應用應用統計預測算法檢驗。提升分辨率的混合算法的流程圖如圖4所示，A為分析100個像素點前后5幀的變化情況，B則為識別每個像素點周圍上下左右的值并倍增像素進行檢驗后的結果。

圖4混合算法的流程圖

3　混合現實引擎交互內容制作

3.1　目標圖像定位

基于混合現實的SDK有Vuforia、EasyAR和ARToolKit等，如果最終的混合現實系統需要進行移動終端的交互設計，還需要對于文化遺產場景進行細微定位，使用ARtoolkit對攝像機標定進行注冊，最終三維的場景與現實場景通過移動終端的攝像機進行匹配[13]。但ARtoolkit的識別定位需要非常明顯的Target，這會影響受眾的體驗，在這個項目中嘗試使用EasyAR SDK進行定位，EasyAR可以從日常生活中的常見有紋理三維物體或平面圖像進行實時識別與跟蹤，也可以從標準OBJ模型文件動態生成跟蹤目標，對三維物體的物理尺寸沒有嚴格限制，這些物體可以是不同的形狀或結構。生成的數據可對接Unity3D等引擎進行交互內容制作。首先使用EasyAR在target上面顯示三維內容和視頻需要加載配置來設置target，通過異步方式加載和卸載target到tracker，不會阻塞調用線程，因而可以動態增量加載。使用圖像本身生成target，使用json格式來存儲target的配置。json包含了所有可以被使用的配置項：target圖像路徑、target名字、target大小以及target的uid。可以使用多個跟蹤目標來跟蹤不同的目標，完整的數據集接口示例如下：

{

"images": [

"path/to/zhujiajiao00.jpg",

"path/to/zhujiajiao01.png",

"zhujiajiao02.jpg",

{

"image" : "path/to/zhujiajiao03.jpg"

},

{

"image" : "zhujiajiao04.png",

"name" : "zhujiajiao"

},

{

"image" : "idback.jpg",

"name" : "idback",

"size" : [8.56, 5.4],

"uid" : "uid-string"

},

"c:/win/absolute/path/to/zhujiajiao05.png",

"/unix/absolute/path/to/zhujiajiao06.jpg"

]

}

3.2　CG交互內容制作

使用MAYA等三維軟件將復原內容的部分進行CG角色制作，通過跟蹤軟件對于拍攝素材的攝像機機位進行比對，全景圖片制作成HDRI(High-Dynamic Range)高動態范圍文件作為三維場景的照明信息，HDRI擁有比普通RGB格式圖像(僅8bit的亮度范圍)更大的亮度范圍，可以還原現實場景的光線參數，渲染出的三維物體會具有與現實素材一致的光照效果。最終將三維制作的素材與拍攝素材進行合成，圖5可以看到CG角色最終合成畫面的效果。

圖5　CG角色最終合成畫面

4　結　語

數字化時代對于傳統的美學規律和認知都發生了顛覆性的嬗變，對于現實空間的虛擬化重新定義了“建筑”的概念外延，拓展了傳統物理展示空間的概念，使受眾重新認識建筑和空間之間的關系[14]。維特魯威對于建筑的評價標準為“實用、堅固、美觀”。這三個標準對于混合現實所構建的空間概念有著不同的意義和特質。受眾對于這種新的空間概念的接受程度決定了混合現實的發展空間。“在我們的時代，空間關系已經取代了時間關系，成為把握人類現實的核心范疇。空間不是抽象的、同一的秩序，而是由多元的、異質的關系構成的[15]。”對于空間的理解都是基于我們的認識范疇，混合現實拓展了我們對于信息的接受方式。在信息化的社會背景下，網絡所帶來的平行性、交互性、開放性、共享性等諸多因素致使交互技術逐漸個人化，以及UCD(User Centered Design)模式在混合現實設計中對于受眾感官和心理層次的影響逐漸擴大，受眾交互操作和心理行為將會引導混合現實設計發展趨勢。

參考文獻(References)：

[1]尤基萊托. 建筑保護史[M].北京：中華書局, 2011:21-22.

[2]周明全. 文化遺產數字化保護技術及應用[M]. 北京：高等教育出版社, 2011:3-5.

[3]潘云鶴, 魯東明. 文化遺產的數字化保護:技術與應用[M]. 杭州：浙江大學出版社, 2009:5-6.

[4]Milgram P, Kishino F. A taxonomy of mixed reality visual displays[J]. Ieice Transactions on Information & Systems, 1994, 77(12):1321-1329.

[5]Ippolito A, Cigola M. Handbook of research on emerging technologies for digital preservation and information modeling[M]. IGI Global Disseminator of Knowledge, 2017:256-258.

[6]Vlahakis V, Ioannidis N, Karigiannis J,etal. Archeoguide: An augmented reality guide for archaeological sites[J]. IEEE Computer Graphics & Applications, 2002, 22(5):52-60.

[7]Han J Y. Development of HMD-based 360° VR content of korean heritage[J]. Indian Journal of Science & Technology, 2016, 9(24).

[8]羅斌, 王涌天, 沈浩,等. 增強現實混合跟蹤技術綜述[J]. Acta Automatica Sinica, 2013, 39(8):1185-1201.

[9]黃進, 韓冬奇, 陳毅能,等. 混合現實中的人機交互綜述[J]. 計算機輔助設計與圖形學學報, 2016, 28(6):869-880.

[10]Pietroni E. An augmented experiences in cultural heritage through mobile devices: “Matera tales of a city” project[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:117-124.

[11]Falvo P G. In the mirror of the wonder of Luca Giordano: Multisensory experience itinerary with impact assessment at Palazzo Medici Riccardi (Florence, Italy)[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:11-18.

[12]Wang L, Champion E. Chinese culture approached through touch: Chinese cultural heritage learnt via touch-based games[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:87-94.

[13]童小念, 范利君. 增強現實系統中注冊技術特征匹配算法的改進[J]. 中南民族大學學報(自然科學版), 2012, 31(3):85-88.

[14]呂燕茹, 張利. 新媒體技術在非物質文化遺產數字化展示中的創新應用[J]. 包裝工程, 2016, 37(10):26-30.

[15]汪行福. 空間哲學與空間政治——福柯異托邦理論的闡釋與批判[J]. 天津社會科學, 2009(3):11-16.