虛擬現(xiàn)實紀(jì)錄影像的交互敘事研究

趙宇 周雯

摘要：虛擬現(xiàn)實技術(shù)的進(jìn)步為紀(jì)錄影像創(chuàng)作拓展了新的空間，其特有的沉浸性和交互性為紀(jì)錄影像的敘事打開了突破口。與傳統(tǒng)紀(jì)錄影像敘事相比，VR紀(jì)錄影像復(fù)刻了真實場景，強化了真實體驗和在場互動。隨著虛擬現(xiàn)實技術(shù)的迭代，VR紀(jì)錄影像的敘事也從全景敘事向交互敘事過渡，并在實踐中展現(xiàn)出了新的特點。在人工智能技術(shù)的支持下，未來的VR紀(jì)錄影像還將向社交聯(lián)動的方向不斷發(fā)展。

關(guān)鍵詞：VR紀(jì)錄影像 第一人稱 多感官體驗 空間探索 參與敘事

近年來，虛擬現(xiàn)實（Virtual Reality，以下簡稱“VR”）紀(jì)錄影片在交互方式上取得了顯著的進(jìn)步，觀眾可以轉(zhuǎn)動頭部、身體，甚至可以與影片中的角色互動。這種交互方式讓觀眾更加深入地融入影片，提高了觀看的沉浸感。未來，隨著技術(shù)進(jìn)步，紀(jì)錄VR影片在交互方式上將有更大的突破。

一、VR紀(jì)錄影像的發(fā)展和現(xiàn)狀

媒介通過記錄文字、圖片、聲音、視頻等信息的方式，保存了許多人類的歷史、文化、知識等內(nèi)容，為人類的學(xué)習(xí)、研究和交流提供了便利。阿萊達(dá)指出“媒體圖像”有助于找到合適的“可清晰傳達(dá)的方式”來表現(xiàn)社會中的記憶，以便最終在媒體圖像中塑造出超越個體的“想象的共同體”。紀(jì)錄影像是一種以視覺、聽覺、觸覺等符號為表達(dá)形式的記錄，它能夠深刻地揭示事件的本質(zhì)，并且能夠?qū)€人的記憶融入集體的記憶中，從而形成一種獨特的文化記憶。紀(jì)錄影像始終圍繞“真實性”和“紀(jì)實性”進(jìn)行表達(dá)，創(chuàng)作者們?yōu)榱烁咏罢鎸崱?，不斷在理念和技術(shù)上進(jìn)行不懈嘗試。VR技術(shù)作為一種提供多感官感知的技術(shù)，允許體驗者通過身體在場與感官體驗，在虛擬現(xiàn)實空間中與環(huán)境產(chǎn)生對話。

VR紀(jì)錄影像旨在用全景畫面展現(xiàn)真實事件，并以場景交互設(shè)計為體驗者提供身臨其境的體驗。在對相關(guān)文獻(xiàn)的梳理中可以看到，在VR紀(jì)錄影像的題材上，以自然、地理、歷史等知識科普類影片為主，敘事類的紀(jì)錄影片多以社會事件為主。2012年的《饑餓洛杉磯》（Hunger in Los Angeles）是全球范圍內(nèi)公認(rèn)最早的VR紀(jì)錄影像，影片使用了動畫的形式，內(nèi)容更接近新聞紀(jì)實影像。2015年，中國發(fā)布了首部VR紀(jì)錄影像《山村里的幼兒園》，以360度畫面呈現(xiàn)了山村留守兒童的現(xiàn)狀，此時的技術(shù)還不發(fā)達(dá)，VR的互動性特點尚未發(fā)揮。2017年，VR紀(jì)錄影像《血肉與黃沙》（Carne y Arena）改變了敘事視角，觀眾能夠以第一視角代入角色，親身體驗“走在沙漠穿越邊境線”，但觀眾還不能真正與角色以及其他元素產(chǎn)生交互。2019年加拿大VR紀(jì)錄影像《在黑暗中旅行》（Traveling While Black）將VR影像與CGI動畫相結(jié)合，以動畫的方式展現(xiàn)了現(xiàn)實場景，并超越現(xiàn)實完成了抽象表達(dá)，VR技術(shù)彌合了現(xiàn)實與虛擬之間的鴻溝。2021年入選威尼斯國際電影節(jié)的《庫松達(dá)語》（Kusunda）講述了尼泊爾地區(qū)一種即將消亡的土著語言和當(dāng)?shù)厣罘绞?。影片使用手勢和聲音交互讓觀眾通過親身操作體驗原始部落的語言，進(jìn)一步發(fā)揮了VR影像語言的獨特優(yōu)勢。

二、VR紀(jì)錄影像的敘事轉(zhuǎn)向：從全景敘事到交互敘事

虛擬現(xiàn)實技術(shù)的全景式記錄帶來了360度全景視聽敘事。在頭戴式設(shè)備中，觀眾擁有360度的視野，可以通過頭部轉(zhuǎn)動觀看上下左右前后方向的畫面，這與傳統(tǒng)的畫面語言完全不同。首先表現(xiàn)在畫面的無邊框，鏡頭不存在景別的區(qū)分和選擇，信息得以最大限度的保留和呈現(xiàn)。在傳統(tǒng)電影中，導(dǎo)演會通過鏡頭表達(dá)思想和意愿，依靠遠(yuǎn)景、全景、中景、近景、特寫、大特寫，對應(yīng)不同的情緒，再通過剪切連綴組成一個序列來表達(dá)完整的故事。但在虛擬現(xiàn)實紀(jì)錄影像的創(chuàng)作中，360度的視域范圍完全填滿了觀眾的視野，觀眾擁有自主選擇的權(quán)利自由取景。360度的全景視域以仿真的沉浸環(huán)境、設(shè)置敘事視點以及引導(dǎo)注意力的方向，實現(xiàn)了虛擬現(xiàn)實全景敘事的沉浸感和在場感。

虛擬現(xiàn)實敘事的另一個超越傳統(tǒng)影像敘事的特點是交互敘事，交互即允許體驗者參與到敘事中來，體驗者身處場景并參與到敘事中，對故事的發(fā)展和走向做出建構(gòu)。隨著虛擬現(xiàn)實呈現(xiàn)和交互技術(shù)的發(fā)展，VR紀(jì)錄影像也從全景敘事逐漸向交互敘事過渡和升級。觀眾通過頭部追蹤、手勢識別、點擊操作、聲音識別、眼神追蹤等技術(shù)與虛擬現(xiàn)實環(huán)境進(jìn)行互動，也可以在情節(jié)發(fā)展的環(huán)節(jié)，選擇不同的情節(jié)發(fā)展方向，或者探索隱藏的細(xì)節(jié)和背景故事等，參與到故事世界中。

三、如何在VR紀(jì)錄影像中實現(xiàn)交互敘事

虛擬現(xiàn)實的逼真描摹不僅僅是為了打造“真實感”，還包括調(diào)動體驗者的多感官系統(tǒng)，以達(dá)到一種更加身臨其境的“在場感”。通過充分激活用戶的視覺、聽覺、味覺、嗅覺等多種感官，虛擬現(xiàn)實能夠?qū)κ录M(jìn)行多重解構(gòu)，引導(dǎo)體驗者完全融入被重塑的情境之中。與傳統(tǒng)電影中以作者視角的拍攝不同，虛擬現(xiàn)實中的敘事和身份認(rèn)同建構(gòu)更加依賴于體驗者與虛擬人物、虛擬環(huán)境等之間的多重交互。體驗者的視點內(nèi)在化地融入故事之中，因此體驗者也始終處于故事中的“在場”狀態(tài)，可以進(jìn)行觀察或參與。

1.第一人稱：交互敘事中視點的改變。虛擬現(xiàn)實允許體驗者身體在場直面“場景”，體現(xiàn)出了“去中介化”特質(zhì)。當(dāng)體驗者直接成為影像的見證人，超越一切中介親身面對、選擇和思考。因此，虛擬現(xiàn)實的擬真技術(shù)和互動特性對于紀(jì)錄影像中“見證人”身份的改造和轉(zhuǎn)化至關(guān)重要，它們是紀(jì)錄影像“真實”內(nèi)涵發(fā)生變革的決定因素?！耙娮C人”身份轉(zhuǎn)化的必要條件就是互動行為，從被動地觀看轉(zhuǎn)變?yōu)橹鲃訁⑴c構(gòu)建敘事的過程。這個見證人化作了影像中的“我”，“我”也打破了線性時間的邏輯關(guān)系，在空間場景中自由轉(zhuǎn)換，并由此帶來時間上的變化，觀眾跟隨“我”感知不同時空內(nèi)的場景，獲得多維的時空體驗。體驗者在“我”的引領(lǐng)下，把自己代入故事角色中，仿佛置身于事件現(xiàn)場。第一人稱敘述賦予“我”極大的自由性，可以自由跨越、整合不同的時空，帶給體驗者多維的在場感。用第一人稱的內(nèi)聚焦敘事方式，拉近了敘事者和體驗者的心理距離，體驗者作為見證者進(jìn)入虛擬現(xiàn)實場景中，能夠直接與角色進(jìn)行交互，具身“在場”并獲得身份認(rèn)同和情緒價值，對角色的經(jīng)歷和感受產(chǎn)生心理認(rèn)同感。

2017年，在CHINA VR新影像獎中獲得公益紀(jì)錄片獎的《秦俑之眼》，在紀(jì)錄語言和視點上都有了很大突破。在片中體驗者被賦予了第一人稱的視角，體驗者在初始就感受到自己作為一個“兵馬俑”，是一號坑中眾多“兵馬俑”中的一員，并以“兵馬俑”的眼睛審視一切，包括如何被鑄造、埋葬和挖掘的全過程。第一人稱的視點給體驗者以強烈的沖擊力，仿佛作為一個“兵馬俑”度過了一生，但體驗者還不能任意走動，在動作交互方面還有一定的欠缺。該片的突破還在于除了實拍之外，還大量采用了CGI手段。VR攝影機首次進(jìn)入兵馬俑修復(fù)區(qū)，再現(xiàn)了場景和人物的真實狀態(tài)，并使用動畫手段表現(xiàn)風(fēng)云變幻和歷史變遷，這些都增強了場景的豐富度。

2.多感官體驗：交互敘事中身體的在場。阿諾德·柏林特（Arnold Berleant）提出了“審美介入”的概念，并認(rèn)為強“介入”體現(xiàn)在三個方面：一是敘事拼貼數(shù)字化介入，受眾需在大量零碎的鏡頭中，用腦建構(gòu)出完整故事脈絡(luò)；二是促使受眾進(jìn)行感知整合，使受眾感知“介入”；三是感官情感的介入。在虛擬現(xiàn)實空間中，身體、感官、空間的三重互嵌，“觸感”成為一種更易得的感官體驗，也重構(gòu)著觀影者的主體經(jīng)驗。勞拉·U·馬克斯在她的著作《電影和身體》中，探討了電影對觀眾身體感知的影響，特別是在視覺和觸感方面。她認(rèn)為，電影皮膚是觀眾與電影之間的一種感性接觸，通過這種接觸，觀眾能夠在感官和情感上深入地體驗電影?！坝|感”通過虛擬現(xiàn)實技術(shù)對身體進(jìn)行重建，讓觀眾在虛擬現(xiàn)實場景中感受到身體的存在感，感受到物體表面紋理、形狀、硬度等真實的物體，感受到溫度、濕度、空氣流動，體驗到虛擬現(xiàn)實世界中所表現(xiàn)的感官空間，以此重構(gòu)觀影者的主體經(jīng)驗。

2016年的VR紀(jì)錄片在畫面和聲音方面不斷升級，加入了空間音頻技術(shù)來還原具有空間感的聲音，而后又在技術(shù)上不斷升級模擬不同感官的體驗。2023年7月，國內(nèi)首檔聚焦大灣區(qū)的VR紀(jì)錄片《來自大灣區(qū)》，展示了當(dāng)?shù)氐姆沁z文化，包括傳統(tǒng)武術(shù)、手工藝、嶺南飲食、戲曲，等等。影片在實拍的基礎(chǔ)上結(jié)合了動作捕捉、CG建模、VR繪畫、空間音頻等多種技術(shù)，在視覺、聽覺、觸覺等方面為VR體驗者提供了全面的感官體驗。第一期《龍馬精神》聚焦舞龍醒獅表演，體驗者能360度看到舞獅全貌，甚至醒獅細(xì)節(jié)，3D環(huán)繞空間音頻技術(shù)使體驗者能夠聽到來自四面八方的聲音，聲音的方向感和空間感令人仿佛親臨現(xiàn)場。節(jié)目還大膽采用了人工智能技術(shù)模擬了人在不同情緒狀態(tài)下的心跳頻率，并將其與鼓點的頻率匹配，虛擬的“觸感”刺激著體驗者的感官，也影響著情緒的變化。

3.空間探索：交互敘事中人與空間的連結(jié)。虛擬現(xiàn)實技術(shù)創(chuàng)造出一個完全不同于現(xiàn)實世界的時空，這種再造時空能夠?qū)⑷魏慰赡艿南胂笞優(yōu)椤艾F(xiàn)實”，包括環(huán)境、人物、位置、角度、運動、方向、關(guān)系等，從各個角度給觀眾帶來完全不同的視覺體驗，使其更加深刻地理解和體驗“現(xiàn)實”世界。對于紀(jì)錄影像來說，虛擬現(xiàn)實空間還原和再造“現(xiàn)實”，賦予了體驗者真實感官和真實體驗。VR影像的敘事空間不僅僅局限于傳統(tǒng)的場所，而是通過敘事語言和其他元素的結(jié)合，將主體的情感空間拓展出來，將傳統(tǒng)空間、想象空間和意識空間融合在一起，讓觀眾能夠更加深刻地體驗到主角的想象世界。VR的場景空間不僅作為故事背景，也是參與敘事的一個要素，驅(qū)動情節(jié)發(fā)展，這改變了傳統(tǒng)影視中僅以時間敘事為核心的既有規(guī)則。VR空間中的表現(xiàn)元素，如聲音、光線、色彩等增加了空間敘事的容量和情節(jié)密度，對于人物的立體化塑造和故事多維度展現(xiàn)具有重要的作用。VR紀(jì)錄片《行走敦煌》是較早使用空間來敘事的影片，片中建構(gòu)了敦煌莫高窟的第285號洞窟，體驗者走進(jìn)洞窟，撿起油燈照亮洞窟，并按照引導(dǎo)在洞窟中行走和探索，推開門走進(jìn)古代僧人禪修的房間，觸摸洞窟中的壁畫，觀看飛天壁畫的騰空而起。洞窟是按照真實比例和內(nèi)容還原，體驗者得以與空間中的元素交互。

從技術(shù)上看，體驗者能夠移動的距離取決于虛擬現(xiàn)實設(shè)備的支持。在初期的3DOF時期，體驗者只有頭部能夠轉(zhuǎn)動，因此人們的視點單一固定，只在空間中的固定位置。觀看者無法選擇更多的視點，無法走近或走遠(yuǎn)、環(huán)視等，行動受限會對沉浸有疏離。6DOF交互允許更大范圍和更真實的運動，觀眾可以自由在虛擬空間中選擇位置和視角，這使VR觀眾的敘事身份發(fā)生了轉(zhuǎn)變。首先，觀眾的位置變化，決定其敘事身份不再是旁觀者，而是主動選擇不同距離和角度解構(gòu)虛擬空間的構(gòu)圖者。其次，觀眾的位置變化使其在理解故事時的視角和立場也發(fā)生了變化，觀眾能夠主觀地解讀故事，不再局限于導(dǎo)演指定的主題表達(dá)方式，獲得多樣化的主題體驗。

4.全面參與：交互敘事中的自由書寫。在由淺入深的全方位交互敘事中，受眾的單一體驗維度被突破，使原本僅存在于想象過程中的創(chuàng)作內(nèi)容得以通過實際的在場互動轉(zhuǎn)化為真實行為，從而喚起人類自身的主體性。虛擬現(xiàn)實技術(shù)打開了理解和探索世界的新視角，人們不僅能夠隔屏觀看，還能親身下場進(jìn)行“在場”的“本真性”的深度探索，從而實現(xiàn)對于特定事件的全面理解。在虛擬現(xiàn)實中，由于空間敘事和具身交互的特點，身體在空間中的作用也顯得突出和重要。安伯托·艾柯（Umberto Eco）指出，藝術(shù)創(chuàng)作應(yīng)該具有一種明顯的開放性，不應(yīng)將可塑的事物局限于固定的結(jié)構(gòu)，也不應(yīng)僅僅讓觀眾接受塑造的一個固定形象的信息，而應(yīng)該讓觀眾擁有更多的自由欣賞的機會，從而使他們能夠更加自由地欣賞藝術(shù)品，獲得更多的藝術(shù)體驗。

2023年制作的VR紀(jì)錄片《古籍尋游記》是一個更注重交互的紀(jì)錄片，片中出現(xiàn)了多種互動方式，包括了語言交互、文本交互、動作交互、情感交互，等等，互動的表現(xiàn)方式大多為判斷、選擇和控制等，體驗者不同的決定將導(dǎo)致不同的劇情線路，并在指引下走向最終的結(jié)局。在作品《殷墟甲骨：北圖 6006 甲骨》中，體驗者可以“親手”體驗甲骨文刻字，通過手柄中的震動，真實地感受“刻字”的觸感。以手柄敲擊甲骨時會感受到震動反饋，且能清楚地聽見甲骨碰撞發(fā)出的聲響，如同身臨其境一般。

四、VR紀(jì)錄影像的未來方向：人工智能下的社交聯(lián)動

當(dāng)前，VR紀(jì)錄影像的發(fā)展在一定程度上突破了傳統(tǒng)紀(jì)實影像的敘事邏輯和表達(dá)體系，VR為紀(jì)錄影像的創(chuàng)新帶來了嶄新的外延和內(nèi)涵。隨著人工智能技術(shù)的發(fā)展和應(yīng)用，VR紀(jì)錄影像的社交聯(lián)動將成為其重要的未來方向之一。2018年起，在美國圣丹斯電影節(jié)新邊界（New Frontier）單元就出現(xiàn)了社交性VR紀(jì)錄片《齊克爾：蘇非神秘主義的復(fù)興》（Zikr：A Sufi Revival），四位體驗者同時進(jìn)入VR影像中，在深度交互里感受影像內(nèi)容，并在虛擬世界中實時互動。現(xiàn)實社交的虛擬復(fù)現(xiàn)也使得影像更具有現(xiàn)實性，極大增強了VR敘事的生命力。2022年，VR紀(jì)錄片《我們在虛擬現(xiàn)實里相遇》（We Met in Virtual Reality）首次記錄了人們在虛擬空間里的故事和感受，這也是VR紀(jì)錄片與社交結(jié)合的一個趨勢體現(xiàn)。另一個方向是人工智能在VR紀(jì)錄影像中的使用，利用人工智能技術(shù)，體驗者將會在虛擬世界中與其他體驗者實時互動，并能夠與他們進(jìn)行實時的語音或文字交流。這種社交聯(lián)動的功能可以讓觀眾分享自己的觀影體驗，增強觀影的社交性，為觀眾提供個性化和豐富的內(nèi)容，提升觀影的參與度，這將為VR紀(jì)錄影像的發(fā)展帶來新的機遇和挑戰(zhàn)。

作者單位 北京師范大學(xué)藝術(shù)與傳媒學(xué)院

本文系國家社會科學(xué)基金藝術(shù)學(xué)項目“VR影像全景敘事機制及效果研究”（項目編號：20BC046）的階段性研究成果。

參考文獻(xiàn)

[1]高慧敏.VR紀(jì)錄影像的互動敘事模式探究[J].電視研究，2019（09）.

[2]魏偉.“我”、見證人、敘事——從所謂的“VR紀(jì)錄片”談當(dāng)下紀(jì)錄片真實觀的變革[J].當(dāng)代電影，2019（05）.

[3]張明浩.感知美學(xué)與感知電影：技術(shù)時代下重思電影“感知”之本性[J].北京電影學(xué)院學(xué)報，2022（11）.

【編輯：朱垚穎】