基于具身理論的VR 電影交互設計研究

賈云鵬 溫雅馨

北京郵電大學,北京 100876

1 VR電影的特征

虛擬現實技術具有沉浸性、交互性和構想性的特征,與電影藝術的融合顛覆了人們對敘事媒體的傳統認知。沉浸視覺與身體交互的結合將觀影行為從“離身”的旁觀轉變為 “具身”的體驗。觀者在VR 感知技術的幫助下,通過全景視覺、身體交互、觸覺,甚至嗅覺、味覺等多通道的感知信號感知虛擬現實電影世界。知覺現象學的創始人梅洛·龐蒂突出強調了身體知覺的主動性,強調人通過身體完成知覺與環境的互動[1]——觀者身體的能動性成為VR 創作者關注的重點。

制作VR 電影存在不同的技術手段,例如游戲引擎實時驅動的VR 電影和拍攝制作的VR 電影。觀者能夠自由流暢地與由游戲引擎驅動的VR 電影的環境或人物實時互動。例如VR 影片 《七彩鴉傳奇》中,觀者可通過揮舞控制器動作推進劇情,VR動畫電影《墻中的狼》中,觀者能夠拾取手電筒、拍立得相機等道具與主角互動,甚至會因為任務失敗遭到主角嗔怪(圖1)。

圖1 觀者為主角拍照 (《墻中的狼》截圖)

然而,通過拍攝制作的VR 電影卻無法很好地發揮虛擬現實技術的交互優勢,實現沉浸體驗,原因在于它本身的特征。本研究聚焦拍攝制作的VR電影的特征,結合具身認知理論在心理學、認知神經學、人機交互等領域的成果,探索VR 電影的交互設計新方法,提升觀者的具身感、沉浸感,拓寬智能時代具身交互敘事的可能性[2]。

攝影機拍攝制作的VR 電影是通過后期拼接合成的以攝影機位置為中心的球狀視頻。播放時,觀者轉動位于球心的頭部可觀看拍攝的場景內不同角度的畫面內容。它通常以故事片、紀錄片等形式出現,與游戲引擎實時驅動的VR 電影雖同為虛擬現實電影,卻也大有不同,具有以下特征。

1.1 影像完成性

巴贊將電影界定為一種以 “完成時”為主要時態的“死”去的影像[3]。通過拍攝制作的VR 電影繼承了傳統電影 “拍攝完成便無法在播放中實時更改”的特征,所有影像幾乎使用實際或虛擬的攝影機拍攝,一經輸出,其畫面內容便再也無法發生實時變化。由于僅從一個中心視點出發拍攝,VR 電影場景內的透視也無法根據觀者頭部的平移而發生改變。例如驚艷世人的特效巨制 《Help》,威尼斯電影節備受矚目的《家在蘭若寺》等早期的VR 電影作品均是由攝影機拍攝而成的故事,雖然觀者擁有全景視野和部分交互能力,但創作者仍然依照傳統的離身敘事思維將觀者置于敘事空間,使其成為無所可依的“幽靈”[4],觀者難以將自我的存在與目光所及的場景聯系起來,導致具身感的缺失。

1.2 多維感官性

人類對于虛擬現實媒介的探索不僅限于模擬真實環境的三維視聽世界,英國Tesla Suit的科技公司發布了通過電流刺激、震動反饋、溫度適配等技術反饋VR 環境觸覺的具身反饋體驗系統 (圖2)。研究表明,穿戴式設備在虛擬現實中提供的觸覺反饋(特別是力反饋)可以提升用戶的具身感[5]。人們期待通過多維感官反饋技術的研究為VR 電影的觀者提供完備的具身交互技術,以滿足觀者對VR電影敘事體驗的更高期待。然而,VR 賦予觀者的多維度感官能力也帶來了成倍增長的信息負荷,觀者不僅需要主動選擇觀看的內容,還要完成交互任務,并獲得多維度感官的反饋,承受著認知負荷超載的風險,任何分心的情況都可能導致觀者遺漏影片內容,影響觀影體驗。

圖2 Teslasuit公司推出的可穿戴人機交互系統 (圖片源自網絡)

1.3 時空連續性

頻繁剪輯在VR 電影中容易導致觀者眩暈,傳統電影的“蒙太奇”手法在VR 電影中失去效用,因此VR 電影多以長鏡頭敘事,觀者在虛擬環境中體驗的時間幾乎與現實時間一致,呈現出時空連續的特性。時空連續意味著影像空間與現實空間的相似,觀者不再旁觀,而是以自我沉浸其中,觀者更需要在虛擬空間中獲得具身體驗,來匹配VR 影像的時空敘事特征。真人VR 電影 《The Limit》將觀者設定為尋找記憶的變異人,和女主角一同完成飆車、跳傘等冒險,以真實事件的連續時間進行敘事,巧妙利用主角的昏迷、蘇醒作為轉場節點,符合時空連續性,觀者在片中獲得的全新自我符合觀者在時空連續的虛擬世界中的心理需求,更增強了虛擬環境中的具身沉浸感。

2 VR電影的交互現狀

攝制類VR 電影的特征導致其交互設計存在諸多枷鎖,難以為觀者打造良好的交互和敘事體驗,呈現出以下幾種類型。

2.1 幽靈式交互

大部分的VR 電影都不曾給予觀者可視的虛擬化身和與觀者相關的敘事,這讓觀者成為VR 中無所可依的“幽靈”[4]。VR 影片 《家在蘭若寺》的觀者視點從攝影機鏡頭出發,旁觀主角與白衣女子和一條魚精在廢墟房間內的愛情故事。觀者因進入了一個“與我無關”的虛擬空間而無所適從,可以看向周圍的任意角度,卻始終找不到自己,在經歷了“我是誰?”“我在哪里?”“我能做什么?”的期待和疑問之后,得到了 “我仍是一個多余的旁觀者”的失望結論。幽靈式交互不失為一種交互表達方式,但不是VR 電影能給予觀者的最好的體驗,觀者或許可以在“幽靈”的身體中思考自我存在的方式和意義,卻不能保證大部分人都能毫無障礙地融入故事。觀者被環境包裹,但又無法為自己找到存在的身份,這是多數VR 電影缺乏觀者化身和交互所帶來的問題。

2.2 選項式交互

交互電影將敘事的主動權讓渡給觀者,影片的劇情線將根據觀者的選擇發生變化,最終可能產生多個不同的故事線。然而我們需要思考在VR 電影中嵌入選項的形式是否符合它的特性。VR 短片《Noir》中,觀者從第一人稱視角與人對談時,畫面中出現創作者預備的兩種不同回答,預示著不同劇情分支(圖3)。影片的故事被設置在現代社會,憑空出現的空間文字不符合觀者的生活經驗,破壞了視覺統一性和沉浸感,更限制了觀者在VR 世界中的自由度。因此,選項式交互需要依照敘事設定謹慎設計,當劇情背景設定在AR 技術發達的未來,選項式交互可能更順理成章。

圖3 選項式交互 (《Noir》截圖)

2.3 擬物式交互

擬物式交互鮮少在拍攝制作的VR 電影中運用,原因在于攝制類VR 電影是不可實時變化的影像,而擬物式交互必定會引起環境或物體的變化,因此甚少有創作者在VR 作品中設計擬物式交互。VR作品《Noir》設計了望遠鏡觀察的擬物交互,在觀者找到望遠鏡后,觀者的視野由全景轉變為望遠鏡的圓形景框,只需轉動頭部即可嘗試在遠處樓房中尋找目標人物。此處交互設計模擬了人們使用望遠鏡時的頭部活動,用部分身體參與敘事,較好地將觀者代入主角的調查視角,探查的過程富有趣味性。美中不足的是,源于設備的限制,全片缺少觀者手部交互,僅靠頭顯中的錨點作為控制媒介,雖然簡便,卻無形中削弱了觀者在VR 環境中的具身感。

研究表明,在虛擬現實環境中給予觀者自我化身有助于創造更自然的互動,并對虛擬現實中的記憶和認知過程有積極的影響,高保真的個性化虛擬手更可以增強虛擬化身的身體所有權和空間感[5]。因此,為觀者提供虛擬化身在VR 交互中十分重要。

3 具身理論與VR電影的交互設計

3.1 虛擬化身與具身感

著名的“橡膠手”實驗證明[6],同步的視覺觸覺反饋讓人們產生 “橡膠手是自己身體一部分”的錯覺。在虛擬現實應用中,用戶操縱虛擬化身的過程中,會產生“虛擬化身是自己的身體”的 “具身感”。

具身感,即用戶在虛擬現實環境中感受到虛擬化身是他們真實身體的程度,由自我位置感 (與身體處于同一物理位置的感覺)、代理感(控制身體的感覺)和身體所有權感 (化身是自己真實身體的部分)三個維度組成[5](圖4)。

圖4 具身感的三個維度

首先,虛擬化身告知用戶目前在虛擬環境中的位置,幫助用戶獲取空間感知。更進一步,用戶可以使用控制器移動化身并按照預期執行交互任務,產生虛擬化身的代理感。當用戶控制化身與環境交互獲得時空一致和視覺觸覺一致的反饋時,用戶對虛擬化身的身體所有權感將相應增強。提升VR 電影觀者的具身感不僅有利于觀者完成交互任務,更有利于觀者具身體驗片中人物的情感。

具身認知理論認為身體是連接世界與認知的媒介。當世界轉變為虛擬現實世界后,身體將驅動虛擬世界中的虛擬化身完成人與虛擬世界的具身互動,觀者將以虛擬化身的形象重新看待自己,完成自我在虛擬世界的映射(圖5)。傳統媒體常用離身的思路敘事,當虛擬現實時代來臨,完整性電影和完整性具身敘事體驗也將回歸[2]。觀者不再需要通過移情來感受主人公復雜的情感,而是以自己的身體作為敘事體驗的中介,完成他人故事的敘述和情感的體驗。

圖5 觀者通過VR 設備獲得虛擬化身

據研究表明,用戶在虛擬化身中獲得的身體所有權的錯覺將影響他們的感知、態度和行為。當用戶被賦予更高的化身時,他們將表現得比那些被賦予更矮化身的用戶更自信,擁有愛因斯坦化身的用戶甚至在認知任務中表現更好。此外,有研究表明深色皮膚的化身可以減少隱性種族偏見;在虛擬化身中體驗了家暴受害女性的經歷后,家庭暴力犯罪者的情感認知技能出現提高[5]。這都意味著虛擬化身能影響用戶的情感認知。

3.2 VR電影的交互需求

根據上述分析,只有當觀者自如地與虛擬世界互動,相信自己存在于虛擬世界,才有可能進一步沉浸在虛擬電影世界的情感之中。因此提出拍攝制作VR 電影的交互需求:

(1)交互具身化

人機交互中用視覺代表指代用戶,光標是二維桌面交互中的用戶代表,時刻反饋用戶在交互界面內的位置和狀態。在引擎驅動的VR 電影中,觀者會獲得一雙虛擬手作為用戶代表,這不僅可以實時展示觀者當前位置和狀態,更意味著觀者獲得了某種敘事功能或身份,有利于增強觀者的在場感和沉浸感。因此創作者需要具身地為觀者設計敘事過程中的交互,從而增強沉浸感。

(2)交互透明化

虛擬現實技術將身體作為信息傳遞的媒介,形成人與虛擬世界之間信息的自然流動,而基于化身的透明化交互設計是這一切的基礎。如果觀者可以在虛擬環境依靠已有認知和經驗完成交互任務,就不會過分關注控制器和交互過程,而將注意力集中在交互結果及其隱喻上,拉近觀者與敘事之間的距離,進而幫助觀者沉浸于虛擬世界。這就啟發VR電影的創作者考慮從日常認知出發來設計符合靈活高效原則的透明化交互,減少觀者在觀影時的學習成本。

4 VR電影中的交互設計

由于當前VR 電影的幽靈式交互和選項式交互在交互體驗感上欠佳,本研究將從交互具身化和透明化出發,以當前VR 交互設備和拍攝制作的VR電影為研究對象,突破當下VR 交互電影的瓶頸,拓寬創作思路,從以下幾方面為VR 電影設計交互。

4.1 引入具身“代理”

具身感的基礎來源于受觀者控制的虛擬化身。研究表明,在VR 中擁有身體有助于創造更自然的互動,改變人們的空間認知[5]。因此,為觀者提供合適的虛擬化身和身份將極大地提升觀者在VR 電影中的存在感和互動感,進而提升觀者的沉浸體驗。VR 作品 《輪回》為觀者設定了不同時代的不同虛擬化身,觀者成為原始社會的打獵人、戰爭年代的普通人、航天時代的航天員等,化身分別與場景展現的時代相匹配,觀者不僅身臨其境,更 “設身處地”體驗時代變遷?！渡詈Ｎ镎Z》則為觀者準備了身份建制環節,在對話、環境和可視化身的提示下,觀者會意識到自己即將扮演的是海洋生物研究員,能更快沉浸到故事中。

因此,為彌補拍攝制作的VR 電影畫面不易實時變化的缺點,引入虛擬化身和實時可交互的三維虛擬物體將大大提升電影交互的沉浸感和趣味性。觀者通過化身與虛擬世界和虛擬物體完成敘事性交互體驗,以身體完成的敘事將比任何間接敘述的媒介都更加真切。這是一種 “完整的敘事體驗過程”[2],觀者將不再只依賴移情角色來獲得情感體驗,而是成為角色,以角色的視角和行為真實地存在一段時間,體驗角色的故事,或許觀者將更加理解當事人的處境及其做出種種選擇的理由,完整地傳達了創作者的思想。不僅如此,據研究表明,與真實感較強的物體交互會讓交互任務更加順利,因為交互過程與真實世界類似[5],所以觀者無需費心學習交互方法,僅憑借尋常認知經驗,便可以輕松地按照創作者的設想完成交互,達到沉浸體驗的目的。

4.2 叫醒“沉睡”的觀者

傳統電影的觀眾習慣于離身旁觀,始終和影片內的世界保持距離,即使觀眾期待進入奇幻的電影世界,也因為技術和媒介限制而打消念頭。而VR電影融合了身體交互的媒介技術,滿足觀者與虛擬世界互動的愿望,但創作者仍需設計合理的互動引導機制,避免觀者在觀影過程中因無法理解創作者的意圖而停滯在交互環節,無法進入下一段敘事。

對話引導。在觀者被賦予角色身份時,片中人物通常能“意識”到觀者的存在。為避免文字提示交互的突兀感,可由片中人物或旁白與觀者對話,或者通過眼神或肢體動作引導觀者進行交互。在VR 交互動畫 《深海物語》中,觀者扮演即將潛入深海的研究員,她與船上的伙伴保持聯絡,觀者能夠從兩人的對話中自然地獲取交互相關的信息,從而學習到推動潛水服前進和開啟手電筒的方法 (圖6)。

圖6 虛擬化身為潛水服 (《深海物語》截圖)

虛擬化身引導。虛擬化身的視覺外觀能夠暗示交互的存在并啟發觀者完成交互[5]。獲得第一人稱視角的觀者能夠在虛擬化身外觀的引導下了解角色的基本身份信息和交互能力?！镀卟束f傳奇》由旁白介紹觀者為 “季節之靈”,能夠控制森林季節的變化,隨后觀者手部出現樹枝狀的虛擬化身,輕輕揮動即可施加魔法,讓枝葉生長花朵盛開;當主角在宇宙中冒險時,虛擬化身變化為半透明的藍色,暗示交互能力的變化(圖7)。第一人稱視角使觀者更易沉浸,但在VR 影片中,為了方便觀者感知場景空間,創作者也會適當設計不存在虛擬化身的第三人稱視角鏡頭,以更全知的角度敘事,同時也暗示此處不存在交互。

圖7 觀者的虛擬化身變化 (《七彩鴉傳奇》截圖)

視聽引導。引入三維可交互物體后,運用亮光、空間音頻等方式可以引導觀者注意它們并與之交互。在游戲和平面交互設計中常常運用此類引導,目標物體被添加高亮特效或紅色箭頭等醒目的視覺元素,無需考慮與應用環境之間的差異性,追求引導的準確度。而考慮到VR 電影的敘事整體性,通過視聽引導交互的手法需要恰如其分,創作者應追求交互引導的真實感,削弱交互的玩樂性質,盡力契合敘事情境,例如,VR 可交互手機能夠通過常用的手機鈴聲和屏幕亮度變化來提示觀者進行互動。

演示學習引導。在觀影過程中,其他角色是觀者的學習模板,觀者可以觀察并模仿其他角色的動作,再結合虛擬化身的狀態完成交互。此種引導方式需要與敘事相結合,將 “教學環節”巧妙融入VR 影片的情節中。例如VR 交互動畫 《墻中的狼》中的高潮部分,觀者擁有持劍的虛擬化身,在看到片中其他人物揮劍砍向惡狼之后,觀者能迅速學會交互方式,所以當惡狼撲向觀者時,觀者能夠順理成章地模仿他人的動作,與他們一起揮劍 (其實是揮動手柄)保衛家園。

4.3 交互設計原則

在平面交互設計領域,設計者通常遵循尼爾森十大原則;在VR 電影交互領域,創作者同樣需要符合媒介特質的設計原則。本研究提出幾項通過拍攝制作的VR 電影的交互設計原則,旨在設計具身化、透明化和人性化的交互操作方式及其反饋。

(1)生活鏡像原則

虛擬現實是現實生活的虛擬鏡像。虛擬化身的出現讓模仿現實生活行為的交互設計成為可能,有效降低了觀者的交互學習成本。生活鏡像原則具體表現為,設計的交互動作符合常人認知和生活經驗,盡可能與生活中的動作邏輯、流程相同,比如開關門、開關燈、使用智能設備、拿取物體等手部動作,觀者可利用手部控制器模擬推門或拉門的手部動線,拿起望遠鏡能夠看到放大的遠景等?！都抑械膭Ｗ邮帧钒凑丈钪械男袨?設計了留聲機、鋼琴、抽屜、門窗的交互,觀者不需要提前學習也能夠快速上手參與交互,獲得極好的交互體驗。

與此同時,交互行為的反饋不可或缺,及時且真實的多模態反饋能夠幫助觀者重新校準周邊環境,增強虛擬化身的代理感,提升交互的完成度,進一步獲得更好的具身體驗。

多模態反饋包括視覺、聽覺和觸覺等。視覺反饋來自三維虛擬物體的實時變化和VR 影像的變化,場景中即時觸發的空間音頻則為交互提供聽覺反饋,真實物體或硬件設備提供觸覺反饋。例如推門交互,觀者控制手柄與三維虛擬門的交互,觸發VR 視頻播放開門的片段,造成觀者推開房門的錯覺,同時手柄震動提供觸覺反饋,觀者獲得視覺和觸覺的一致反饋,能體驗到更強的虛擬化身代理感。英國科技公司研發的全身觸覺反饋裝置Tesla Suit運用脈沖電流讓皮膚產生相應的感覺,或許將是未來完整感官電影的設備雛形。

(2)簡化輔助原則

VR 電影終究以敘事為重,適當弱化交互的存在感將幫助敘事順利進行。除此之外,頭戴顯示器替換了用戶的視覺信息,用戶無法在虛擬世界看到完全同步于身體的虛擬化身。因此,創作者需遵循簡化輔助原則,簡化交互流程,適當提供交互輔助,讓觀者能夠直截了當地進行交互。

例如,VR 游戲中拾取物體的常規流程為:模型相交判斷——按鈕確認,其目的一是為了防止用戶因為物體眾多而出現錯誤拾取,二是設置難度,挑戰用戶控制能力。然而,VR 電影需要透明化交互輔助敘事,交互流程中應適當減少按鈕的參與,將拾取物體動作簡化為模型相交即確認的流程,并為觀者提供適當幫助,例如適當擴大交互熱區,利用程序增益為觀者提供輕微輔助,讓觀者輕松獲取或操縱虛擬物體。這不僅能夠降低交互難度,還可以推動交互敘事進程?！禕eat Saber》稱霸VR 游戲屆多年的原因之一就在于其玩法簡單直接,玩家用化作光劍的手柄揮砍方塊即可,沒有多余的按鈕操作,清晰明了。

在VR 世界中,身體的運動即用戶最真實快捷的反應,創作者可以利用觀者行為反應設計不同的劇情,一則替代了突兀的文字選項式交互,二則觀者無需過多思考便在不知不覺中完成選擇,實現交互的透明化。這也是計算機理解人類行為的難點,萊瑞·泰斯勒的復雜度守恒定律揭示了簡單適用的人機交互背后所需的復雜設計和計算,完美的交互離不開技術的發展。

(3) 敘事導向的交互時機原則

在等待觀者選擇交互的過程中,VR 電影交互系統常停止視頻內容的播放,處于靜止狀態,不符合認知經驗;而觀者在關注交互時,也可能錯過敘事內容,導致理解偏差。因此創作者應該以敘事為導向設計交互時機。

以具身交互進行敘事。通過第一人稱和虛擬化身體驗VR 影片,觀者將產生虛擬化身為自己身體的錯覺,在切身體驗了當事人經歷的情境、完成了扮演角色應該做的事情之后,觀者不再置身事外,而是真實再現了扮演角色的一段經歷,這有利于觀者對角色產生真切的同理心,并可能影響觀者本人的態度。當然,不同觀者的心智、認知、情感和經驗各不相同,因而可能引發不同的交互過程,實現有趣的個性化體驗。同時,具身交互敘事能夠滿足觀者對自我代入的期待,如浪漫的戀愛情節將給予觀者強烈的真實感和代償感,滿足觀者的觀影期待。

交互引發的敘事。借用數據庫電影的思想將VR 影像 “入庫”,以靜態空鏡 (封閉空間)為背景,利用交互引發VR 影像片段的 “匹配”與 “提取”,交互與影像敘事交替進行,有效避免交互和影像之間的矛盾。將虛擬現實的全景空間作為敘事的載體,設計不同方位發生的事件,調動觀者的視覺和身體行動,增加了觀者的交互趣味性和具身沉浸感。例如《Buggy Night》中,觀者看向天空時將觸發音樂的變化和虛擬角色貓頭鷹的出現,趣味性十足。類似《哈利·波特》中冥想盆的設計,倒入記憶液體便可還原記憶場景,觀者的交互將引發場景中出現回憶或想象中的情境。相同空間不同時間發生的事件有利于集中體現人物的性格特征、處事風格和情感傾向。

5 總結

拍攝制作的VR 電影具有影像完成性、多維感官性和時空連續性,因此其交互一直未能突破 “幽靈式交互”和“選項式交互”的枷鎖。具身交互代理的引入將VR 電影交互引領至身體交互的時代、帶來具身化和透明化的交互體驗。虛擬化身幫助觀者與虛擬世界產生聯系,利用多種交互引導機制,遵循交互生活鏡像、簡化輔助原則,以最自然的體驗拉近觀者與VR 交互敘事之間的距離,提出敘事導向的交互時機原則,平衡敘事與交互之間的矛盾,使拍攝制作的VR 電影達到虛實合一的境界。雖然目前暫時還無法實現完全透明無感的具身交互,但是我們仍然期待設計者和技術研究者能攜手創造出完美的VR交互,讓VR電影煥發新的藝術生命力。