從沉浸式圖像到沉浸式視頻的顯示方式演變

駱駪駪

(北京電影學院影視技術系，北京 100088)

1前言

沉浸式空間，代表了相當多不同的含義。我們的討論是在盧卡斯博士對沉浸式空間定義基礎上，將其限定在人造空間的范圍內：一個能觸發個人感官(例如視覺、聽覺、嗅覺、味覺和觸覺(涉及溫度知覺)、平衡覺以及動覺)的空間。

沉浸式視頻是一個沉浸式空間中的圖像顯示。根據Ed Lantz的分類，沉浸式視頻顯示方式基本分為三類：小型單用戶顯示設備(頭戴式顯示器和桌面顯示器)、中等規模的專為少數協作用戶所設計的顯示設備(CAVE、Powerwall)和為群體而設計的大型設備(dome、 IMAXDome)。Ed Lantz在2003年的SIGGRAPH會議上總結道，視覺上的沉浸應該滿足如下幾個特點：“(1)對整個視網膜的刺激；(2)產生強烈的存在感；(3)在大腦中的前庭區域產生騎乘或暈屏的反應；(4)視場角水平方向>140度，垂直方向>40度”。

本文集中在對沉浸式影像的發展歷史和對當今主流大中型沉浸式影像顯示方式分類的討論上，梳理從沉浸式圖像到沉浸式視頻的發展和應用范圍。

2沉浸式空間

說到空間，我們經常會問：“空間究竟是一個實體，是我們的感官和物理物體之間的關系，還是一個抽象概念？我們可以定義、創造和操控空間來創造審美體驗嗎？”

當我們查閱“沉浸式”(immersive)這個詞的定義時，它的英文名詞“immersion”來自15世紀末的拉丁語immergere，即表示完全被水浸沒(《新牛津美語詞典》)。現在，這個術語延伸到了計算機生成的圖像。中國的古人對沉浸的定義與西方人相似。在許慎撰寫的《說文解字》一書中，“沉”就是“陵上滈水也”，“浸”則表示“水”或“沒”(mò)。莊子曰，“大浸稽天而不溺”。韓愈(769年-824年)在《進學解》寫道：“沉浸醲郁，含英咀華”。這是“沉浸”第一次出現在古漢語的文本中，它指的是一種精神狀態。在這一點上，正如珍妮特·穆雷(Janet Murray)所言，“沉浸是一個隱喻性術語，源于被淹沒在水中的物理經驗……在一種參與性的媒介中，沉浸意味著學習游泳，創作新環境并使之成為可能的事情……作為一種參與性活動，沉浸享受”。

在智人最早的表達形式中，就有對沉浸式體驗的欲望。智人長期以來一直試圖建立某種虛擬環境來滿足他們對崇拜和其他方面的精神需求。在36000年前的拉斯科洞穴(圖1)中所留下的大型動物洞穴壁畫的克羅馬農人，在古龐貝城神秘別墅中用馬賽克塑造神像的古羅馬人，在絲綢之路上的洞窟中描繪佛國勝境的中亞人，以及在清代紫禁城中倦勤齋內繪制全景畫的中國畫師，都證明了這一需求。

智人始終希望通過技巧和思想，在相對封閉的空間內構建令他們沉浸其間的虛擬世界。奧利弗·格勞(Oliver Grau)將其描述為“致幻景觀房”(illusionistic landscape room)。

圖1 Brimberg, Sisse. (n.d). 拉斯科洞穴壁畫.[照片]2018年1月5日檢索,來源：https∶//www.scriptmag.com/features/what-is-a-story-an-introduction

從上述例子中，我們看到東西方文化對沉浸式空間的認知有許多相似之處。作者認為，沉浸空間是一個獨立的、相對密閉的人造空間，表現為一種虛擬環境或人類使用工具和技術所創建的空間；這個空間能夠通過某種機制來觸發人類的感官體驗(更多是視覺和聽覺)，從而激發記憶。對于沉浸體驗，這是一個動態的過程，是從感官體驗到敘事體驗的漸進過渡。

因此，沉浸式體驗的前提應該是選擇用合適的人造空間來刺激感官。空間讓身處其中的人忘記正常的時空，創造出不同的心理感受。而對于沉浸式環境的設計，又分為“無障礙”(類似CAVE系統)和“有障礙”(類似HMD系統)兩種原則。這篇文章將主要集中探討“無障礙”設計原則主導下所產生的沉浸式視頻顯示類別。

3從沉浸式圖像到沉浸式視頻

虛擬沉浸空間必須被歸類為圖像媒體的極端變體，因為它們的整體性，提供了一個完全可替代的現實。

3.1 全景圖像與環幕

以龐貝古城的壁畫和“致幻景觀房”為起點，到18世紀中葉，藝術家們創造了一種全新的藝術風格：全景畫(panorama)。埃爾基·胡塔莫(Erkki Huhtamo)認為，全景畫及其相關形式：“Diorama”、“Georama”、“Cyclorama”、“Cosmorama”、“Kineorama”、“Poecilorama”、“Physiorama”和“Udorama”都是19世紀作家巴爾扎克在《高老頭》一書中所提及的“在rama中對話”的各種變體。

1787年，蘇格蘭畫家羅伯特·巴克(Robert Barker)通過描繪城市景觀的圖像，創造了“全景圖”(panorama)這個概念。他首先給它起了法文名字：La Nature à Coup d’ Oeil(自然一瞥)。由于18世紀的政治趨勢，法語成為“現代暴君”的語言，巴克不得不創造一個新名詞panorama，其來自兩個希臘詞根：pan(全部)和horama(視野)。巴克的主要成就是解決了大型圖像中眾多復雜的透視挑戰。后來，巴克把他的全景圖移出了畫框，建造了一座全景式的建筑。“1793年5月14日，世界上第一座特意打造的圓形大樓在倫敦萊斯特廣場揭幕”。它被譽為“第一個真正意義上的大眾傳媒”。這座圓形大樓一直開放到了1864年，總共展示了126幅不同的全景圖像(圖2)。在當時，全景圖被認為是人們逃避現實生活的一種好方法和好去處。

全景圖意味著要在一個封閉的環境中創建一個盡可能跨越地平線的虛擬圖像，最好的方法是在一個類似谷倉的建筑內立面繪制一個首尾相連的巨幅圖像。全景圖以錯覺原理為依托，試圖讓觀眾感覺到他們已經進入了由圖像代表的場景中。為了達到這一目的，觀眾首先要穿過一條黑暗的走廊，然后走上蜿蜒的樓梯，最后到達大廳的中央平臺。觀眾在這個平臺上四處張望，卻無法看到被隱藏的底部，而巨型黑色幕布又阻擋了觀眾看到大樓的屋頂。斯蒂芬·奧特曼(Stephen Oettermann)認為，“在全景圖中，打造出了供參觀者四處移動的真實的圖像空間”。這種形式非常吸引人，以至于在18到19世紀期間，全景畫家花了大部分時間前往世界各個國家取材，并創作各種具有異國風情的全景圖。至于全景圖的內容，19世紀最為風靡的是戰爭主題，隨后再是異國情調和傳統城市主題。

圖2 Mitchell, Robert. (1901年). 羅伯特·巴克(Robert Barker)在萊斯特廣場上的全景圓形大樓(Oettermann, 1997年, 第 104頁)

圖3 莫奈和他的睡蓮全景畫, Giverny (King, 2016年,第433頁)

到了20世紀初，全景圖在藝術界的影響力越來越大。著名的印象派畫家莫奈在他的晚年也開始創作全景畫。從1915年到1917年，莫奈創作了許多單幅12m×2m的睡蓮全景畫”(圖3)。莫奈試圖在全景畫中表現出花園池塘里的睡蓮及周圍環境，創造出“單張的連續畫布的錯覺”。

一些學者認為瓦格納在19世紀所說的，創作一部融合所有藝術形式的舞臺形式是受到了全景藝術的啟發。瓦格納的整體藝術(Gesamtkunstwerk)理論，可以解釋為在物質世界中打造一個沉浸式空間。“瓦格納的整體藝術是由戲劇視野驅動的，觀眾在戲劇的真實性中迷失了自我，從而創造出一種沉浸式的體驗”。在瓦格納看來，戲劇和歌劇是不可分割的整體。其次，這種藝術體驗應當結合觀眾觀看有趣表演時的感官體驗，最終通過喚醒觀眾，引領他們進入更深層次的欣賞和體驗。可以想像，瓦格納和莫奈都試圖創造一種最大化的感官體驗給觀眾，從而將觀者的思維從身體所處的真實環境中拉到藝術家所創造的虛擬世界中。

圖4 1900年巴黎世博會上的Cineorama(全景電影)熱氣球. 拉烏爾·格里姆安·桑松(Raoul Grimoin Sanson). (1897年). Nouvel appareil permettant de photographier et de projeter sur un écran circulaire des vues animées panoramiques en couleur par le Cinécosmorama Sanson. patent nr. 272.517 (法). (Kiessling, 2017年, 第3頁)

隨著電影技術的出現，人們對觀看活動圖像和體驗立體視覺的需求越來越強烈。19世紀末，一些人開始在全景圖中運用電影技術進行展示，這再次喚起了人們對全景圖的熱情。1895年，查爾斯·蔡斯(Charles A. Chase)在美國伊利諾伊州的芝加哥成功注冊了由16臺投影機組成的旋轉設備專利,被稱為立體放映(Stereopticon)。這種設備首次亮相于1900年的巴黎世博會上，拉烏爾·格里姆安·桑松(Raoul Grimoin Sanson)用10個70毫米的電影放映機，在世博會的觀景臺周圍投射出了一個360度連續的活動影像。參觀者站在高高的觀景臺上環顧四周，就像站在一個升空的巨大熱氣球吊籃里，而周圍環境的圖像(直徑30米)實際上就是十臺放映機拼接后所投射的影像(圖4)。

這樣的展出形式延續至今。2015年的法國魯昂市，一個名為“Panorama XXL”的項目開始展出，每年吸引了數百萬游客前來參觀(圖5)。在這個全景劇場里，觀眾站上劇場中間的高平臺，可以欣賞到哥特時期魯昂城的城市景觀、古典時期的羅馬城市景觀或者神秘亞馬遜叢林的高清影像。

圖5 Panorama XXL里魯恩的哥特式景觀. 2019年6月6日檢索, 來源：PANORAMA XXL 網站, http∶//www.panoramaxxl.com/en/expositions/rouen/

隨著技術的進步和高清放映設備的出現，全景環幕全面采用視頻顯示，徹底拋棄了靜態的繪畫形式。為了形成一個完美而巨大的弧形屏幕視頻(120～360度)，它采用了基于軟件的解決方案，包括幾何校正和邊緣融合技術，同時結合了掃描攝影和VR技術(比如：《神圣的吳哥》[2004年]、《地點-漢比》[2006年]、《納高爾之眼》[2008年]和《人間凈土》[2012年])。這進一步提高了環幕的觀看性和趣味性，同時也逐漸發展出了一套適合環幕的影像敘事方式。

3.2 球幕

“Dome”是一個類似于空心球體上半部的建筑術語，其已經存在了數千年。在三維幾何中，穹頂被稱為2π球面度。像全景圖一樣，古人在穹頂上繪制圖畫，試圖營造出某種“至高存在”類的沉浸體驗。但是，全景圖是一個圓柱空間，而穹頂則是球體的上半部分，甚至可以是下半部分(例如：2010年上海世博會的沙特館)，這就意味著穹頂的透視及投射方式更加復雜。

20世紀20年代，蔡司公司首次將穹頂用作投影屏幕。(圖6)蔡司公司最令人印象深刻的穹頂幕項目是1929年，在新建立的蘇聯，由鋼筋混凝土構成的天文館內的投影工程。其穹頂直徑長達27米，可容納1440名游客同時觀看，使用當時最先進的蔡司啞鈴型天象儀(Zeiss dumbbell projector)進行投射。這被認為是“社會主義蘇聯向其西方對手展示勝利的標志”之一。

圖6 Jena鏡頭拍下的蔡司工廠屋頂上第一個投影天文館的公開展覽(1924年).圖片由蔡司提供， 2019年2月7日檢索，來源：蔡司官網, https∶//www.zeiss.com/planetariums/int/media/images/history.html

1963年，美國太平洋院線集團為影院和劇院展示了寬屏全景電影的新設計。20世紀70年代到80年代，電影業一直在努力提高電影的沉浸式體驗。1973年，第一家IMAX球幕劇院在美國圣地亞哥的魯本菲利特太空劇院與科學中心揭幕。球幕系統(最初稱為OMNIMAX)，平均直徑達23米，球冠面與地平面呈25度角傾斜，擁有300多個座位，“這給位于穹頂中心的觀影者提供了水平投影角180度，垂直投影角122度(水平上方100度和水平下方22度)的觀影角度”。1983年，Nelson Max在明尼蘇達州科學博物館的OMNIMAX劇院展示新型的球幕劇院圖像，并描述了其設計和顯示系統(圖7)。

圖7 Omnimax劇院, 1984年. (Max, 1983年,第 74頁)

之后的二十年間，隨著數字技術的興起，各種球幕概念層出不窮：fulldome、halfdome、IMAXDome(舊稱OMNIMAX)、水平球幕或傾斜球幕等概念紛紛出現。

相對于傳統銀幕，球幕影像在拍攝和展示圖像的方式上有了很多改變。根據巨幕協會(GSSA)的定義，合格的球幕劇場的穹頂幕直徑至少需要達到60英尺(18.3米)。這意味著，傳統拍攝方式所攝制的影片并不適用在球幕劇場中放映。詹姆士·吉布森(James J. Gibson)表示，“使用球形屏幕時，可觀看的圖像達到160°，而不是通常電影院的20°或30°。但移動的影像可能會令人信服，也可能會讓人很不舒服”。

由于球幕影像的獨特性，其拍攝方式被稱為球幕攝影術(Domegraphy),鏡頭通常有三種模式：興趣點鏡頭、探索性鏡頭和體驗性鏡頭。(圖8)這三種鏡頭運動分別代表了三種敘事方式。同樣的，巨大的球形銀幕帶來更多的技術問題，在Maren Kiessling的調查中，傳統的30fps視頻已經不太能滿足觀眾的沉浸體驗需求，似乎240fps視頻才是未來球幕影像的最佳選擇。

圖8 球幕攝影術的模式，圖片來源：?NSCcreative 2016

如今，世界各地的眾多球幕劇院和球幕電影院都被用在教育和娛樂等領域。“多倫多的《宇宙探索之旅》和迪士尼樂園的《星際之旅》就是模擬技術和虛擬顯示環境的首批娛樂應用之一”。近年來，隨著三維立體電影技術的普及，球幕與其他體感設備(例如活動座椅、模擬氣流設備、散發氣味設備)結合在一起，為游客提供了更身臨其境的體驗(圖9)。

圖9 迪斯尼加州冒險樂園、未來世界、上海迪斯尼樂園三處的環游世界翔天之旅(翱翔·飛越地平線).該景點使用OMNIMAX屏幕. Bricker,Tom. (n.d). 環游世界翔天之旅評論. 2019年6月7日檢索, 來源：Disneytouristblog網站, http∶//www.disneytouristblog.com/soarin-around-world-review/

3.3 佩珀爾幻像

1862年，約翰·亨利·佩珀爾(John Henry Pepper)教授和英國工程師亨利·戴瑞克斯(Henry Dircks)發明了一種完全不同的投影方法，稱為“佩珀爾幻象”(the Pepper's ghost illusion)。當年，這個裝置在倫敦皇家理工學院進行了首次演出。這是一種使用玻璃產生幻象的技術，玻璃的角度介于觀眾和舞臺之間，舞臺下演員的光線反射到臺前的玻璃上。觀眾能看到玻璃上的幻象，也能看到玻璃后真實背景下，在舞臺上來回走動的演員。(圖10)佩珀爾幻象通常與全息投影的概念混淆。實際上，在電視或舞臺上看到的大多數全息投影都是佩珀爾幻象的變體。這種表現形式特別適用于對模糊物體的展示，幻像突然出現或消失，會讓空間變得神秘而奇妙。

圖10 舞臺上使用佩珀爾幻象. Tissandier, Gaston. (n. d). 《流行科學娛樂》倫敦: Ward, Lock, and Co., 倫敦. 第138頁. 此書最初為1880年法語版. (Greenslade, 2011年,第 338頁)

圖11 Lemieux Pilon 4D art.(2008年). 《動畫大師諾曼》 2007年. 2019年6月27日檢索,來源 Lemieux Pilon 4D art, http∶//4dart.com/en/creation/2007/norman/

近年來，舞臺表演越來越多地借助3D計算機生成的圖像和投影設備來使用佩珀爾幻象，而不再是使用單獨光源反射的演員。2007年，一部關于諾曼·麥克拉倫(Norman McLaren)生活和動畫的戲劇《動畫大師諾曼》登臺亮相。該部制作精良的舞臺作品于2007年在加拿大首演，之后風靡全球。這部作品是對四次奧斯卡獎提名的電影制作人諾曼·麥克拉倫的致敬，它結合了電影、舞蹈、音樂、戲劇和佩珀爾幻象等多種形式(圖11)，期間把麥克拉倫的動畫投射在傾斜的成像膜上，并與現場表演者的表演相互配合。

3.4 CAVE

20世紀70年代，媒體藝術家丹尼爾·桑丹(Daniel J.Sandin)和工程師托馬斯·德凡提(Thomas A. DeFanti)加入芝加哥伊利諾伊大學的電子可視化實驗室之后不久，又打造出了另一種投影視頻系統。他們和正在攻讀博士學位的學生卡羅來納州·克魯茲-內拉(Carolina Cruz-Neira)合作，嘗試將計算機圖形學和視頻成像相結合。1991年，他們設計并建成了第一個洞穴式自動虛擬環境系統(Cave Automatic Virtual Environment)(CAVE)。CAVE系統用于相對封閉的正方形空間，該空間中配備了跟蹤攝像機來捕捉用戶的行動，捕捉到的動態實時反饋給圖像處理系統。圖像處理系統則通過投影設備將視頻投射到空間的墻壁和地面上(圖12)。

圖12 CAVE在游戲中的應用.2019年6月27日檢索, 來源 http∶//www.technobyte.org/2016/03/introduction-virtual-reality/

此裝置把虛擬世界和真實世界融合在了一起。帕克寫道：“與其他VR系統不同，CAVE的屬性是通過真實與虛擬之間的相互作用而得以增強……(CAVE)在動畫圖像和精心安排的聲音中，讓你從內心深處意識到自己就置身在‘舞臺上’”。但是，CAVE不適合多人游戲體驗，因為“屏幕圖像只顯示被跟蹤的一個人(即所謂的主要觀眾)”。CAVE系統的最初設計理念旨在突破頭戴式顯示器(HMD)系統的限制，并最大程度地減少對用戶移動的限制。此外，它還提供了共享的虛擬和現實體驗。目前，這項技術已廣泛應用于建筑、藝術和工程設計領域中。

3.5 光雕投影

光雕投影，被稱為Projection mapping，也稱為空間增強現實(spatially augmented reality)，基于投影的增強現實(projection-based augmented reality)或基于投影的空間顯示(projection-based spatial displays)。這是一種將視頻投影到各種對象表面的映射技術,大多數學者把它歸為增強現實。這項技術通過將圖像投射到不同角度和形狀的物體表面，可以增加現實世界中三維物體的空間。投射圖像的形狀與色彩是由軟件創建的，由計算機預先渲染完成或實時生成。通常，光雕投影使用一個或多個投影設備將圖像投射到空間中的一個對象或一組對象上。利用圖像和投射對象在形狀、顏色、飽和度與對比度方面的差異，創建具有視覺沖擊的圖像(圖13)。

圖13 新加坡國家美術館的mapping演示.2019年2月10日檢索, 來源https∶//www.green-hippo.com/spectacular-projection-mapping-opening-national-gallery-singapore/

按照布雷特·瓊斯(Brett Jones)的說法，首個非平面投影實例是在1969年的迪士尼樂園的《鬼屋之旅》的開幕式上。光雕投影具有以下優點：(1)與傳統的照明方法相比，投影映射更能創造動態、優美的環境；(2)與AR設備相比，投影映射為多個觀眾提供了共享的體驗；(3)由于投影對象移動較少或具有固定的運動軌跡，因此投影映射的圖像延遲較小；(4)從設計上考慮，投影儀容易隱藏，能讓整體環境更加完整。

光雕投影和平面屏幕投影之間的最大區別，在于光雕投影必須考慮圖像在Z軸(深度)上的表現。與平面屏幕不同，光雕投影的對象主要都是具有曲線(例如：汽車表面)或不同空間層次(例如：在建筑物立面之后或之前的陽臺和支柱)的對象，因此，糾正多頻道圖像的失真問題就顯得尤為重要。如今，大多數流行的光雕投影軟件都走上了3D發展道路。通常，光雕投影的目標是靜態對象。投射到動態物體上有時會出現問題，這是由于追蹤系統延遲導致的圖像位移以及不同圖像亮度水平下現有算法的不穩定性所致。但近年來，隨著圖像追蹤技術和圖像算法的發展，越來越多的動態光雕投影作品開始出現(圖14)。

圖14 日本藝術家Nobumichi Asai的動態光雕投影作品《INORI -PRAYER》，2020年4月10日檢索, 來源https∶//www.nobumichiasai.com/works/139/

光雕投影的應用越來越廣泛，涉及到醫學、教育、設計、娛樂和表演。最近，它在主題公園和博物館中的利用率也非常高。馬克·梅恩(Mark Mine)評論說：“基于投影的增強現實是提升主題公園和其他娛樂環境，并為其增添活力的強大工具。……它仍然是幻想工程師工具箱中的重要工具，有助于讓主題公園娛樂節目中的建筑物煥發活力”。

4總結

沉浸式空間是一種追求虛擬世界的封閉人造空間。自古以來，人們就通過各種方式創造沉浸式的體驗。狹義上的沉浸式空間最終被定義為一個可以完全改變現實場景的虛擬人工環境。而在這樣的虛擬環境中，沉浸式的影像占據了觸發人類感知體驗的絕對的統治地位。