VR 影像信息可視化與空間敘事融合方式探析

高 銳

中北大學藝術學院，山西太原 030051

1 引言

虛擬現實（VR）在電影中的應用，既是延續又是創新。一方面，它繼承了電影的基本元素（如影像、聲音、劇情等），并在此基礎上增添了互動、沉浸、參與等新元素，打造了一種新的電影形式[1]。另一方面，它也是一種獨立而特殊的媒介形式，涵蓋了電影以外的其他媒介形式（如游戲、教育等）。隨著硬件設備和軟件平臺的改進和優化，VR 技術能夠提供更清晰、更流暢、更真實的虛擬環境，讓用戶從空間維度上更直觀地接收信息、感受沉浸感和代入感，而這便是跨媒介的融合，影游融合就是一個典型例子。

在虛擬現實環境中，信息可視化（Information Visualization, InfoVis）作為數據傳達的有效方式，能將抽象的數據轉化為可視化的圖形、圖表等形式，使用戶能夠更直觀地理解數據，助力決策制定與知識傳遞?？臻g敘事（Spatial Narrative）作為一種敘事方式，通過在虛擬空間中構建連貫的故事，利用角色、情節和環境等元素，創造引人入勝的體驗。因此，信息可視化與空間敘事的融合是VR 影像為受眾提供更多樣體驗的核心要素[2]。

但在VR 影像中將信息可視化與空間敘事相結合，并不是一件容易的事情。如何在虛擬環境中協調信息可視化和空間敘事的元素，以實現更有效的信息傳達，營造更引人入勝的敘事效果，是當前該領域研究所面臨的重要課題。本文即是在這樣的背景下開始思考和探索如何在VR 影像中將信息可視化與空間敘事融合，以達到更佳的體驗效果。具體而言，本文的目標旨在分析信息可視化和空間敘事在VR 影像中融合的現狀，以及如何通過這種融合實現更深層次的用戶參與與認知。

2 VR 影像的概念、特點與分類

近年來，虛擬現實技術迅猛發展，在電影領域，VR 技術為觀眾創造了一種前所未有的沉浸式體驗。本節將探討VR 影像的概念、特點、分類以及與信息可視化和空間敘事的關系。

2.1 VR 影像的概念和特點

VR 影像是一種利用VR 技術來創建沉浸式和交互式視頻體驗的方式。不同于傳統的視頻，VR 影像讓觀眾可以在一個三維虛擬環境中自由地觀察和探索，而不是只能看到一個固定的畫面。它也不同于普通的VR 環境，因為它有一個明確的故事情節和角色設定，而不是只有一個空白的場景。它還不同于一般的VR 游戲，因為它更注重講述一個有趣的故事，而不是只有一個游戲目標或挑戰。VR 影像是一種介于視頻、VR 環境和VR 游戲之間的媒介形式，既包含了視頻的敘事元素，又包含了VR 環境的沉浸元素，還包含了VR 游戲的互動元素，能夠實現根據不同的主題和風格來呈現不同的內容和體驗。

VR 影像為電影體驗帶來了新的維度。通過頭戴式設備、運動座椅等設備，用戶能夠沉浸于虛擬世界中并與之互動，即不再僅僅是觀眾，更是參與者[3]。VR 影像的特點可歸納為三點：（1）沉浸感：用戶能夠身臨其境地感受到虛擬環境，與之產生緊密的情感聯系；（2）交互性：用戶通過視線、手勢、語音等方式與虛擬環境互動，影響故事走向和結果；（3）自由度：用戶可以在虛擬空間中自由探索，選擇感興趣的內容和視角。

《侏羅紀世界VR:探索》（Jurassic World VR Expedition）由The Virtual Reality Company（VRC）開發，是一部基于《侏羅紀世界》系列電影的VR 影像。玩家可以通過佩戴HTC Vive 頭顯產品并坐在運動平臺上，體驗一段五分鐘左右的沉浸式冒險。該片利用了VR 技術的視覺、聽覺和觸覺等感官刺激，結合空間敘事的情節、角色和環境等元素，為參與者創造了一種類似于電影的體驗。然而，該影像卻很難被界定是游戲還是電影。我們可以在IMDB 這樣的電影網站找到該影像的資料，也可以在游戲論壇和話題中找到對該影像的評價。它既包含了電影藝術的特征，又包含了游戲藝術的特征，從而形成了一種獨特的媒介形式。 因此，為了表述準確性，我們稱其為VR 影像。

2.2 VR 影像的分類

VR 影像涵蓋多種形式，如虛擬游戲、虛擬體驗、虛擬導覽等，每種形式都有其獨特的創作和體驗方式。通過觀看第78 屆威尼斯國際電影節VR 單元中國站上展出的23 部影片后，筆者梳理了典型VR 影像的三種分類：（1）虛擬游戲類，如《最后的工人》（The Last Worker）以劇情冒險游戲形式，結合手繪風格和沉浸式機制，帶觀眾進入自動化世界；（2）虛擬體驗類，如《阿姆斯特丹的天使》（Angels of Amsterdam）通過互動體驗，讓觀眾身臨其境于17 世紀的阿姆斯特丹，與其中的虛擬人物互動分享故事，營造逼真親密的交流；（3）虛擬導覽類，如《心境VR》（Mind VR Exploration）將中國古典文化融入虛擬空間，創造出具有神秘和優雅氛圍的游戲情境。

2.3 VR 影像與信息可視化和空間敘事的關系

在VR 影像中，信息可視化和空間敘事是兩個重要的元素，它們不僅能夠增強虛擬環境的真實感和美感，還能夠傳達更完整的信息和故事。

信息可視化作為一種將抽象數據轉化為視覺元素的技術，以更直觀的方式傳達信息和洞察。其價值在于它不僅能將復雜的數據轉化為易于理解的圖表和圖形，還能夠以視覺方式呈現數據背后的模式和關系，從而加強決策制定和知識傳遞的能力[4]。一方面信息可視化提供數據的可視化呈現，另一方面它參與構建信息的故事性，通過視覺布局和交互方式傳達信息的邏輯和情感。信息可視化的范圍廣泛，涵蓋統計圖表、地理信息圖、網絡圖、時間序列圖等多種形式。不同的可視化方法有其特定的適用場景和設計原則，需根據數據類型和目標選擇合適的方式。在實踐中，信息可視化需要遵循簡潔、清晰、有效和美觀等原則，確保視覺元素能夠有效傳達信息。

在VR 影像中，信息可視化的應用也呈現出豐富多樣的可能性。如在VR 動畫短片《偉大的C》（The Great C）中，通過大量圖表、圖形等可視化元素，展示超級計算機Great C 的數據處理能力，引導觀眾深入了解其認知和判斷；在VR 劇情片《戰痕：朋克吧！女孩》（BATTLESCAR：Punk Was Invented By Girls）中借助不同顏色、形狀、大小等視覺元素區分場景和角色，幫助觀眾更好地把握故事情節和主題。

空間敘事的概念來自于敘事學，是指利用空間元素來構建和表達故事，以便于人們感知、記憶和想象。在電影中，空間敘事是通過攝影機、燈光、音樂等手段來營造不同的場景和氛圍，從而引導觀眾進入故事情境。在VR 影像中，空間敘事則需要利用虛擬現實技術創造出更身臨其境的體驗。例如，在VR運動模擬器中，用戶可以通過頭戴式設備、運動座椅、手柄等設備模擬視覺、聽覺和觸覺等感官體驗，從而在虛擬空間中感受到深度、距離、方向等空間信息，有效地增強用戶對空間的感知[5]。這種在空間中使參與者產生的主觀感受和情緒反應感知被稱為空間體驗。在虛擬現實中，空間體驗是由空間敘事所引發的?？臻g敘事的核心在于創造連貫的故事結構和情感體驗，通過角色行為和環境呈現傳達情感與主題。值得注意的是，為了實現有效的空間敘事，需要考慮敘事結構、敘事元素以及敘事策略等要素。

具體而言，在VR 影像中，空間敘事的運用表現出十足的創意，如在以《星球大戰》系列電影為藍本創作的VR 交互影片《維德不朽》（Vader Immortal）中，影片采用線性敘事方式，讓用戶通過第一人稱視角近距離感受達斯維德的威力與恐怖，通過不同場景和元素更全面地認識星戰世界。而在2019 圣丹斯電影節上獲最佳VR 動畫的《咕嚕米的眼睛》（Gloomy Eyes）里則以非線性敘事方式展示僵尸男孩與人類女孩之間的愛情，通過時間跳躍和水彩畫風為觀眾呈現出截然不同的故事角度和情感[6]。

3 VR 影像信息可視化與空間敘事融合方式探析

在VR 影像中，信息可視化與空間敘事的融合是一種創新的敘事方式，能夠將數據和故事相結合，提供更豐富和更深刻的體驗。筆者將在本節對VR 影像中信息可視化與空間敘事的融合方式進行探析，包括融合的模式、策略和效果，以及相關的案例分析。

3.1 融合模式的分類

在VR 影像中，信息可視化與空間敘事的融合模式多種多樣，當下各類影片賣點層出不窮，筆者根據融合的程度和方式進行如下分類：

（1）嵌入式信息可視化。這種模式將信息可視化嵌入到虛擬環境中，與空間敘事有機地結合在一起。觀眾可以在虛擬空間中看到圖表、圖形等信息可視化元素，以更直觀的方式理解故事情節或背后的數據。這種模式強調信息可視化與空間敘事之間的一致性和協調性，使觀眾能夠在沉浸于故事情境的同時，獲取相關信息[7]。在5 分鐘燒掉五百萬美金的VR 大片《HELP》中通過展示外星生物的特征、行為、目標等信息，利用虛擬空間中的信息可視化元素，引導觀眾更深入地沉浸于故事緊張和驚悚的氛圍。另一個典型的例子是VR 定格動畫《病玫瑰》（Sick Rose），本片講述在疫情背景下，一位生病的小女生去醫院找媽媽，期間遇到各種天馬行空的奇幻人事物的故事，在這部VR 影片中使用了醫療數據、疫情圖表等信息可視化元素，讓觀眾更清晰地把握疫情對人們生活和健康的影響[8]。

（2）交互式信息可視化。交互模式賦予觀眾更多的參與感和控制權，觀眾可以通過交互方式操縱信息可視化元素，影響故事的發展和結果。在虛擬環境中，觀眾可以自由選擇瀏覽不同的信息可視化圖表，以及根據個人興趣和需求深入探索故事內容[9]。該模式強調信息可視化與空間敘事之間的動態性和互動性，使觀眾能夠在主動參與故事的過程中，獲取更多維度和層次的信息。比如，在VR 交互紀錄片《太空探索家:國際空間站體驗》（Space Explorers:The ISS Experience）中，用戶也可以通過與信息可視化元素互動，自主地探索不同的情節線索，與8 名宇航員一起執行任務[10]。

（3）生成式信息可視化。生成式指利用人工智能和算法，根據抽象數據生成視覺元素，創造出具有美學和創意的虛擬環境。生成式信息可視化與空間敘事模式在想象和創新方面具有更大的靈活性，能夠呈現出多樣化和個性化的視覺效果[11]。這種模式強調信息可視化與空間敘事之間的協調和融合，使觀眾能夠在欣賞故事美感的同時，獲取更深層次和隱含的信息，但目前尚無應用該模式的VR 影像實例。不過我們可以從一些研究中窺見“生成式信息可視化與空間敘事”的雛形。

斯坦福大學計算成像實驗室曾嘗試使用生成式信息可視化技術來改進虛擬現實顯示器[12]，實驗展示了一些使用神經網絡算法生成的三維圖形，讓觀眾感受到數據的視覺化效果。此外，美國哥倫比亞大學對虛擬現實中信息可視化的研究[13]提到了一些使用生成式信息可視化技術的虛擬現實影像，如Automating 3D Model Generation for VR with Generative Adversarial Networks，是通過使用生成式對抗網絡（GAN）自動創建三維模型的虛擬現實應用（圖1）。

圖1 使用生成式對抗網絡（GAN）自動生成VR 的3D 模型①

3.2 信息可視化與空間敘事的融合策略

在VR 影像中，信息可視化與空間敘事的融合不僅需要考慮分類模式，還需要考慮具體策略，以實現更有效和更有吸引力的敘事效果。根據不同的目的和場景，信息可視化與空間敘事的融合策略可以分為以下三種：

（1）多感官交互策略。該策略強調通過觸覺、聽覺、嗅覺等多種感官來增強觀眾的參與感。通過引入觸覺反饋、環繞音效等技術，將觀眾置身于虛擬環境中，使信息可視化與空間敘事更加身臨其境。這種策略適用于需要提供強烈感官刺激或情感體驗的VR 影像，例如恐怖、驚險、浪漫類的VR 影像等。多感官交互的策略主要可以通過以下方式實現[14]：①使用震動、溫度、壓力等觸覺反饋來模擬空間敘事中的物理接觸或沖擊，以增強其真實感和緊張感；②使用立體聲、環繞聲、混響等音效來營造空間敘事中的聲音氛圍或方向感，以增強其空間感和氛圍感；③使用香氣、味道、氣味等嗅覺刺激來傳達空間敘事中的場景特征或情緒狀態，以增強其記憶力和情感力[15]。

在VR 交互影片《掌聲》（Clap）中便使用了上述策略，講述了被鼓掌的對象和掌聲之間的關系。該體驗使用了多感官交互的策略，通過觸覺反饋和聲音交互，讓觀眾體驗到不同場合下被鼓掌或鼓掌的情緒變化。

（2）多維度引導策略。該策略強調通過多重敘事線索和視角來引導觀眾的注意力，使觀眾可以選擇不同的路徑和視角來探索故事。這種策略適用于需要展示復雜內容或多元意義的VR 影像，例如推理、懸疑、歷史類等[16]。多維度引導策略可以通過以下方式實現：①使用時間、空間、角色等多重線索來構建空間敘事中的不同層次或關系，以增加其豐富性和復雜性；②使用第一人稱、第三人稱、全景等多重視角來展示空間敘事中的不同角度或細節，以增加其多樣性和選擇性；③使用線性、非線性、分支等多重結構來安排空間敘事中的不同順序或結果，以增加其靈活性和互動性。

在VR 影片《墻壁里的狼》（Wolves in the walls）中使用了多維度引導策略，通過第一人稱、第三人稱、全景等多重視角，讓用戶可以與主人公Lucy 互動，觀察她的生活，探索她的想象。Lucy 還結合了機器學習與人工智能技術，這使Lucy 在與人們交互時呈現非固定腳本且表現靈活，這也使得這個角色榮獲艾美獎最佳虛擬角色獎。

（3）多樣化體驗策略。該策略強調在影片中創造多樣化的體驗，通過不同的情感、主題和故事情節來觸發觀眾的共鳴。設計師可以在不同的情節中融合信息可視化元素，以多樣化的方式呈現故事的深度和復雜性。此類策略適用于需要展示美學和創意的VR 影像，例如動畫、電影、戲劇類等。多樣化體驗策略可以通過以下方式實現：①使用色彩、形式、風格等信息可視化元素表達空間敘事中的情感、主題或氛圍，以增強其美感和表現力；②使用符號、隱喻、象征等信息可視化元素傳達空間敘事中的意義、價值或理念，以增加影像的深度和內涵；③使用變換、組合、創新等信息可視化元素來展示空間敘事中的變化、對比或沖突，以增加其復雜性和張力。

這一類型策略在榮獲威尼斯國際電影節金獅獎的VR 沉浸式影片《哥利亞：玩轉現實》（Goliath:Playing with Reality）中表現尤為明顯，該片使用了多樣化體驗的策略，通過符號、隱喻、象征等信息可視化元素，傳達了精神分裂癥患者喬（Joe）內心世界和外部世界之間的沖突和融合。

3.3 案例分析

為了進一步說明信息可視化與空間敘事在VR影像中的融合，筆者選取兩個案例進行分析：《The Limit》和《遺愿》。這兩個案例分別采用了嵌入式和交互式的融合模式，以及多感官交互和多維度引導的融合策略，從而創造出不同的虛擬體驗。

《The Limit》是一部動作驚險的VR 360 度電影，通過觸覺反饋和環繞音效，讓觀眾身臨其境地體驗故事情境。該片用嵌入式模式將信息可視化元素與虛擬環境結合，讓觀眾在沉浸于故事情境的同時，獲取相關的信息。這種模式適合動作驚險題材的影像，增強觀眾的情感共鳴和參與感。

《遺愿》是一部懸疑推理的VR 電影作品，通過多重線索和視角引導觀眾探索故事。該片用交互式模式賦予觀眾更多的參與感和控制權，讓觀眾通過交互方式操縱信息可視化元素，影響故事的發展和結果。這種模式適合懸疑推理題材影像，激發了觀眾的思考和解謎興趣。

通過比較這兩部影片，可以看到它們在融合模式和策略上的異同之處。相同點在于，它們都成功地將信息可視化與空間敘事相融合，創造出豐富的虛擬體驗。不同點在于，《The Limit》更加強調觀眾的情感共鳴和身臨其境的感覺，《遺愿》則注重觀眾的思考和選擇。因此，不同的融合模式和策略可以根據影片的主題和風格進行選擇，以達到更好的敘事效果。

4 結論與展望

通過對信息可視化與空間敘事的融合方式、方法和效果等相關概念和理論的介紹，筆者提出了嵌入式、交互式和生成式三種融合模式，以及多感官交互、多維度引導和多樣化體驗三種設計策略。通過案例分析得出如下主要結論：（1）信息可視化與空間敘事的融合能夠豐富VR 影像的體驗，同時也為創作者提供了更多創作可能性；（2）不同的融合模式和策略可以根據影片的主題和風格進行選擇，以達到更好的敘事效果；（3）多感官交互策略和嵌入式信息可視化與空間敘事模式適用于動作驚險題材，可以增強觀眾的情感共鳴和身臨其境的感覺；（4）多維度引導策略和交互式信息可視化與空間敘事模式適用于懸疑推理題材，可以激發觀眾的思考和解謎興趣；（5）多樣化體驗策略和生成式信息可視化與空間敘事模式適用于動畫、電影、戲劇等題材，可以展示故事的美學和創意。

作為一種新穎而有效的VR 影像創作手段，信息可視化與空間敘事的融合方式能夠將信息可視化元素與空間敘事元素有機地結合起來，形成一種具有高度沉浸感、互動性和創意性的VR 影像體驗。通過運用信息可視化與空間敘事的融合方式，為VR 影像創作者提供一些思考，也為觀眾能更深層理解VR 影像提供啟迪。

注釋

①圖片來源：COLUMBIA UNIVERSITY IN THE CITY OF NEW YORK。