人工智能在VR 影片交互性上的應用策略

(北京電影學院影視技術系，北京 100089)

1 引言

隨著5G 信息傳輸技術的快速發展，VR 領域中的重要藝術表現形式之一——VR 影片再次成為研究與創作的熱點。2014 年，Facebook 收購Oculus 使得VR 逐漸走進大眾視野，但早在資本大量涌入VR 領域之前，虛擬現實(Virtual Reality，簡稱VR)技術已發展十余年。虛擬現實技術研究者Grigore Burdea 和Philippe Coiffet 認為，VR 是用計算機圖形學構造出酷似真實世界的仿真模擬，是多種感覺通道的實時模擬和實時交互，圍繞人的視覺、聽覺、觸覺、嗅覺和味覺以及心理學來研究的，界定其具有“3I”特性，即交互性(Interaction)、沉浸性(Immersion)、想象性(Imagination)，并指出VR 關鍵特征是實時的交互性。

基于“現代計算機圖像技術、數字互動控制技術以及數字立體放映技術的第三代數字互動立體電影”的概念中指出，“互動”是第三代電影的核心特征。當虛擬的“真實”拓展了觀眾的想象空間，包裹住了人們的視聽感受，仿真世界的回應便成為人們的期待。因此，所有對VR 的期待全部聚焦在虛實無縫結合的沉浸度下，人與機器的深度“交互”上。事實上，近年來VR 電影作為細分領域，在交互能力上進行了從敘事方法到技術手段的探索。但是，VR 所具有的360度全景視野對傳統電影的鏡頭語言是一種顛覆，自身的敘事手法仍然沒有找到標準法則，交互技術的應用也始終處于實驗階段，因此VR 影片的交互性研究仍需要進一步探索與創新。

本文梳理了近些年VR 影片交互的難點以及從業者在VR 交互性上的探索實踐經驗，介紹了VR影片以敘事驅動的交互策略，分析了人工智能技術在增強VR 影片交互上的應用可行性，并給出VR影片交互性應用策略上的一些思考與解決方案。

2 研究背景

交互性是VR 的核心特征之一，但卻對傳統電影的敘事模式提出了巨大挑戰，人們不僅需要在VR 交互設備方面更進一步，還需要克服新技術所帶來的產業與思想的沖擊，目前來看VR 影片交互性的探索道路并不平坦。

2.1 VR影片的交互難度

“VR 媒介系統中的互動性越高，就越難以推進傳統意義上那種線索清晰明確的故事敘事”。VR影片讓以導演為核心的電影藝術表現形式面臨話語權的轉移，觀眾完全開放地主導時空發展則削弱了VR 影片創作意圖的“作者性”，對“如何表達”提出了全新要求。傳統電影的“畫框”理論以及在“框”視覺指導下的鏡頭語言將在VR 全景視野中失去意義，電影藝術積累百年的蒙太奇法則面對VR時遭到瓦解，這引起眾多電影人的恐慌。著名導演斯皮爾伯格在戛納電影節上稱VR 是“危險的媒介”，他認為“VR 非常危險是因為它給觀眾提供360度的觀看場景，這樣一來，導演如何‘講故事’就成了大問題”。

同時，VR 影片在時空構建、交互方式及敘事方式等方面呈現出的游戲性特征，讓學術界對VR電影與VR 游戲的界線充滿擔憂。有學者認為不必將電影與VR 技術相結合，也有學者認為通過VR媒介將形成介于電影與游戲之間的第三種藝術表現形式，還有人認為VR 將成為繼第七藝術電影之后的第八藝術。新技術的應用在被廣泛接受的過程中勢必充滿坎坷，在交互性上的探索更要先摒棄對傳統電影藝術的過度保護與偏執態度，才能在新的敘事方式上探索出合適的道路，向前推進創新與實踐的進程。

另一方面，VR 交互技術尚未完全成熟。基于頭戴式設備的體感交互技術，會給觀眾造成眩暈感、方位感缺失、頭部負擔過重等不適。其次，VR 動作捕捉系統受到有效使用區域限制，計算機的智能交互仍局限于點擊、劃動等較為單一的非自然人機交互方式。此外，高質量的VR 影像對技術格式、VR 放映標準、網絡傳輸速度等提出了更高要求，有待進一步發展與完善。

2.2 VR電影交互性的探索

從攝影術發明起，人們復制或再造世界的影像都逃不過邊界的限制。畫幅里的內容是導演展示故事和傳達思想的天地，從傳統的4∶3影像到超寬銀幕2.35∶1，突破畫框無限地接近與融入影片情境是人們近乎執著的追求。然而，VR 影像幫人們打破了演員與觀眾之間的“第四堵墻”，滿足了人們從窺探夢境到走進夢境的愿望。在VR 營造的“幻境”中，為了使用戶完全相信并信任自己所處的虛擬環境，除了通過視覺、聽覺、觸覺等體感交互帶來“逼真感”之外，與VR 虛擬場景中的元素交互也會增加觀眾的“沉浸感”。雖然交互技術限制仍有待突破，但VR 影片創作者們從來沒有放棄在交互性上的探索。

3 VR影片交互策略分析

VR 技術以頭戴式顯示器為播放媒介，改變了影像的生成和顯示方式，創新了藝術形態與美學法則。在VR 影片的交互設計中，一種是以影片的創作內容為交互中介，以敘事方法引導觀眾積極參與到影片體驗中，獲得精神及思想上的交流。另一種則是通過VR 交互設備為媒介，以觀眾肢體動作觸發促使主角交互感官，從而進行相應的電影表達。

3.1 以敘事驅動的VR影片交互策略

在電影自身發展的過程中，與觀眾的“交互”一直是寄予在“充分調動觀眾的情感，以實現二者在精神世界的交互之上”，事實上這也是許多傳統藝術實現與其受眾交互的主要方式。VR 影片在一定程度上延續了傳統電影中這種精神上的交互方式，并且通過讓主體角色積極參與故事情節的建構，來加強觀眾的情感共鳴。

3.1.1 化身性交互

傳統電影里，觀眾是作為旁觀者而出現，無論故事發生的現場多么溫馨、悠閑、美好或者恐怖、血腥、緊張，觀眾都是作為第三者置身事外的。在演員與觀眾之間永遠有“第四面墻”，而VR 影像打破了這面墻。VR 影片通常將觀眾預設到某一個虛擬位置并使其參與到情節建構中，通過虛擬攝像機或者虛擬人物為觀眾在虛擬世界中構建一個化身，從而達到使觀眾產生身臨其境的沉浸感的效果。在VR 影片中，主要有兩種化身性交互方式：一種是讓觀眾化身為故事中的主角，以第一視角的角色身份參與到敘事中；另一種是讓觀眾化身為某個虛擬攝像機視角，通過主觀動作影響影片中人物及事物狀態，達到與虛擬世界進行交互的目的。這兩種交互方式都能使觀眾從心理層面和視覺角度感受到自己與故事的聯動性。

圖1 觀眾以某個攝影機的位置觀看恐龍

3.1.2 敘事引導性交互

傳統電影中，導演可以通過鏡頭組接的蒙太奇方法讓觀眾注意到敘事中的某些細節，通過某種有意味的鏡頭表達想法或者通過特寫讓觀眾感受到一些微妙情緒。而在VR 影片360 度的全景畫面中，鏡頭包含大量信息，需要觀眾自己去挖掘與劇情發展相關的細節。VR 影片中為了避免觀眾損失掉重要的情節線索，目前最常用的方法是通過拍攝技巧去引導觀眾的視線與注意力，如燈光的使用、明暗度的對比，或者配樂等，通過敘事引導性交互方法引起觀眾與“幻境”的主動交互。在Oculus制作的VR 影片《Lost》中，觀眾的虛擬位置是在一片幽暗寂靜的森林中，偶爾有幾聲動物的叫聲，導演給觀眾足夠的時間去環顧四周環境。當觀眾熟悉了所處的環境之后，此時不遠處的草叢中發出聲響，觀眾的注意力隨著聲音的引導看到影片的主角——一個手掌機器人。除了運用聲音引起互動之外，在VR 影片敘事中通過光線進行視線引導也是比較成熟的引導性交互手法之一。在《Lost》結尾，從天空中射下來一道光束，吸引觀眾將目光投向天空，此時看到一個巨大的機器人，光束正是它的眼睛，他正在尋找自己遺失的手掌。整個影片并沒有深層的內涵與寓意，但是包裹式的影像與酷似真實世界的仰視角度，在觀眾視覺觀感上強調了機器人的巨大體型，在心理層面上引起了觀眾的沉浸感。

圖2 《Lost》中俯身查看的巨大機器人

3.2 以技術驅動的VR影片交互策略

視聽覺的沉浸感并不是VR 的終點，感官的模擬和交互才是VR 要實現的目標。VR 誕生之初，頭戴顯示器及傳感手套就是仿真過程中實現交互所使用的首要設備，其原理都是將小型屏幕置于頭盔內部，通過光學目鏡將屏幕上的影像投射在視網膜上成像。同時，交互硬件系統中整合的各種傳感器，能夠感知體驗者頭部甚至肢體的位置、姿態和運動，這些數據回傳給計算機后，由計算機進行演算并將相應的畫面映射到小型屏幕，從而完成交互。

人機“對話”是科學家追求的終極命題。在提出VR 設想之初，人們希望能夠像使用鼠標和鍵盤控制計算機一樣，可以通過手勢、體勢、書空、眼動等自然人機交互方式實現對計算機發出指令并得到反饋的效果。傳感器仍然是VR 交互有待突破的主要關鍵技術，它能夠幫助人們與多維VR 信息環境進行交互，比如，當你在VR 影像中觸摸冰涼的河水時，傳感器能夠通過模擬水溫來刺激你抽回自己的手，又或者當你在VR 影像故事中被攻擊，傳感器會模擬擊打、電流或者震動等效果，從而加深你對影片中故事的臨場感。

為了實現人與計算機之間的交互，必須要結合動作捕捉技術，需要將手勢、體勢、運動路徑等多通道數據或指令傳送給計算機，同時把模擬結果反饋給用戶，以解決多個感知通道的交互。在第九屆北京電影節VR 展映單元，VR 動畫《精靈鼠小弟》嘗試運用多種交互方式，觀眾可以通過手柄將皮球扔出去救出小老鼠。除了三維位置、手勢，視覺與聲音反饋也可以通過VR 頭顯設備或者聲音接收器計算得到。在《精靈鼠小弟》中，觀眾也可以通過視網膜捕捉和眼球追蹤來實現與精靈鼠點頭或搖頭的互動。

隨著移動終端的普及，消費級VR 產品的相繼推出，以及商業模式的逐漸成熟，全景體感交互的VR電影已初具形態。未來，更加成熟完善的動作捕捉系統也將推動VR 影片交互性進一步發展。

4 基于人工智能的VR影片交互策略

“如果想要觀眾與媒介系統之間的人機溝通達到自然順暢的效果，就要求系統擁有良好的人機交互和機器學習功能”。基于現有VR 影片的交互能力，距離完全自由的交互還有一段距離。VR 電影是處于傳統電影與游戲之間的，既滿足于導演表達意圖又能在一定范圍內實現交互的第三種藝術表現形式，因此，建立在此共識基礎上的交互策略是本文的研究重點。隨著人工智能技術的迅猛發展，人工智能領域涉及的人機交互、深度學習、自然語言處理、知識圖譜、計算機視覺、生物特征識別、AR/VR 等關鍵技術在各行各業得到廣泛應用，與影視行業的交叉融合逐漸深入，取得了一定的階段性成果，人工智能技術也將助力VR 影片交互性的發展與創新。

4.1 基于行為預判的交互

人工智能擁有強大的學習能力，利用深度學習算法對大量數據進行分析并從中總結規律作出預判，通過不斷接收數據迭代學習自我優化。

在影片敘事過程中，利用深度學習分析人類在看到某些故事情節時的反應數據，設置出針對不同反應類型的多種敘事方法，從而引導觀眾進入不同的故事發展方向，進而增強VR 影片的交互性與豐富性。例如，在看到某些恐怖鏡頭時，有些觀眾可能會害怕地閉上雙眼或轉過頭，而有些觀眾則非常大膽興奮地尋求恐怖場景中的線索。閉上眼睛的觀眾有可能錯過情節發生時的細節，影響到信息的接收。這時影片可以根據觀眾的反應借助人工智能給出不同的敘事走向，如為膽小的觀眾在后期的故事中添加鏡頭展現他當時所忽略的細節，而可以為大膽的觀眾再加深恐怖氣氛。目前在VR 影片的基礎人機交互中，頭部位置捕捉、眼動捕捉技術等已經非常成熟，如何結合多種用戶數據和深度學習算法進一步推斷用戶情感狀態、預判交互行為等，將成為基于行為預判的交互性應用策略的主要技術突破口。

4.2 基于實時場景渲染的交互

計算機視覺在目前的影視行業應用較為深入，包括了三維視覺、動態視覺、視頻分析與理解等。目前VR 影片的分辨率雖然已達到8K 以上，但是作為360度球形視界來看，清晰度仍然不能達到正常的影像觀感，這也是引起人們使用VR 產生暈眩感的原因之一。人工智能能夠做到實時圖形渲染，當觀眾的視點轉動時，可以快速根據轉動動作提高視點轉動方向的畫面分辨率，而除視線范圍之外的畫面可以降低畫面要求，能夠一定程度上減緩VR影片的數據處理壓力，在影片的交互上則可以減少延遲性等問題。

人工智能可以根據特征點自動生成影像畫面。在VR 影片的體驗中，經常會有人抱怨自己被“釘”在某個位置，身處逼真的仿真環境，觀眾第一反應或許就是走近看看，而VR 影片實際上仍然是平面的，在某種程度上并不能滿足這種“走近觀看”的心理訴求。如果計算機視覺能夠實現實時場景渲染，或許VR 影片的制作者們可以通過拍攝同一個視角的多個深度，再通過觀眾觀看影片時類似邁步的動作觸發，進行畫面深度的實時切換，去滿足觀眾“走近”的這種需求。

借助人工智能中智能化的機器學習算法，如基于對抗式生成網絡(Generative Adversarial Net works，GAN)的圖像生成算法等，通過對大量影視數據集的學習與訓練，自動生成符合情節需要的場景和元素。“Big-GAN”算法可以利用已訓練的獨立模型生成相關的高質量圖片，也可以借助自然語言處理算法對描述性文字進行分析和理解，從而達到生成更準確的圖像的效果。人工智能算法或將改變影視工業中三維制作的“作坊式”生產，有望提高VR 影片中素材的生成速度，并且能夠結合觀眾的語音文字輸入，提升相應的場景或元素模型的生成效果。

圖3 BigGAN 生成的逼真圖像①

4.3 語音交互

圖4 手機語音交互

VR 影片中角色之間的語言交互也是重要的VR影片交互性發展方向之一。在VR 影片所模擬的真實環境中，語言交互比文字交互更加自然和舒適，而虛擬世界與角色進行語音交流，需要強大的語言儲備系統與辨別觀眾語音的能力，人工智能的自然語言處理方法能夠很好地解決這一問題。語音識別是自然人機交互的基礎性技術之一，已經得到了廣泛應用，人與機器的語音交互在生活中隨處可見，并且已經做到了可以自由流暢對話的程度。這為將人工智能語音交互系統引入VR 影片交互奠定了基礎，將會進一步提高VR 影片的沉浸感。

除上述人工智能技術在VR 影片敘事過程中能夠促進交互性之外，人工智能算法也被廣泛地嵌入到人機交互設備上，這也為推動VR 交互設備的發展作出了突出貢獻。目前VR 人機交互輸入設備有操作桿、眼動跟蹤器、位置跟蹤器、手勢跟蹤器、數據手套等，輸出設備則以頭戴顯示器為主。傳統的VR 輸出設備大多是為VR 游戲所設計，由于頭戴式顯示器所帶來的眩暈感會使得體驗者無法長期舒適觀看VR 影片，這也對VR 影片觀看時長有所限制，因此，面向VR 影片的新型放映設備還有待進一步探索與創新。

5 結語

本文總結了VR 影片在交互性上的發展現狀，結合現有的VR 影片所存在的交互性問題及應用難點，分析VR 影片交互性在敘事和技術方法上的不足與研究重點，提出基于人工智能的VR 影片交互性應用新策略。VR 影片只有解決自然交互問題，才能真正擁有“靈魂”，而不是成為傳統電影的另一種播放媒介。愿本文能夠為VR 影片交互的探索者和開發者們提供一些思考與啟示，推動VR 影片在交互性上向前更進一步。

注釋

①圖片來源：https∶//baijiahao.baidu.com/s? id=1638550289665184172&wfr=spider&for=pc。