交互方式對VR 電影觀眾沉浸感影響的研究
——從“手柄交互”到“裸手交互”

張一凡 郭大衛

河北師范大學新聞傳播學院，河北石家莊 050000

VR 即Virtual Reality,意為虛擬現實。VR 電影即虛擬現實電影，是指運用虛擬現實技術制作形成的全景三維立體影像。相較于以往的電影敘事，VR 電影一個明顯的變化在于側重點從“故事和講述轉移到世界與交互”：“世界”從以往“故事的背景”轉變到“被置于前景”；“動詞”時態從以往的“過去時”的既定轉變為“現在進行時”的互動[1]。因此，“沉浸”與“交互”是VR 電影最直觀的特征。VR 電影通過專門的VR 設備將觀眾帶入到虛擬的電影世界，在視覺和聽覺上給觀眾帶來身臨其境的沉浸式體驗，同時“交互”將觀眾與虛擬世界聯系在一起，也正是由于VR電影的交互性給了觀眾更加沉浸的觀影體驗。因此，“交互”是VR 電影中非常重要的一個環節，不同的交互方式也會給觀眾帶來不同的沉浸體驗。

1 VR 電影中的人機交互方式

自第一臺計算機ENIAC 誕生以來，諸如傳感影院（Sensorama）、第一款VR 頭盔“達摩克利斯之劍”等這些對人機交互方式的探索從未停止。隨著科技的發展，通過幾十噸重的設備進行人機交互的時代已經成為歷史，輕便化、大眾化和商業化的人機交互方式逐漸成為主流。人機交互設備輕便化的勢頭起源于20 世紀：NASA 于1985 年開發了LCD 頭戴顯示器，極大地輕便了VR 交互的硬件環境，隨后任天堂推出了第一臺商業性VR 眼鏡游戲機，讓VR 交互設備第一次應用于商業民用領域，此后各種追求輕便化的人機交互設備如雨后春筍般出現。VR 中的人機交互方式是指觀眾與虛擬環境之間的信息交流和互動方式。到目前為止，VR 中比較主流的人機交互方式分為兩種，即“手柄交互”和“裸手交互”（Bare-Hand Interaction, BHI），同時這兩種交互方式也主要應用在VR 電影中。

1.1 “手柄交互”

“手柄交互”主要通過各種傳感器感知用戶的手勢和動作，之后再將其轉化為計算機指令，常見的傳感器包括加速度計、陀螺儀、磁力計等，通過感知手柄位置、姿態等信息，運用軟件處理這些信息，以識別用戶的手勢和動作。當前商用領域主流的VR 手柄包括Oculus Touch、PlayStation Move、HTC Vive 手柄等三種。其中受眾最為廣泛的Oculus Touch 手柄發展到現在經歷了多次升級換代，從初代的Oculus Touch 到第二代，再到第三代以及最新的Touch Pro，其外形逐漸輕量化、小巧化，設計也從“有環”過渡到“無環”（圖1）。

圖1 Oculus Touch 手柄進化圖

1.2 “裸手交互”

2009 年，澳大利亞國家信息通信技術中心的Cheng 提出了另一種人機交互思路，即使用單個攝像頭讓用戶與大屏幕進行交互的技術。在這種情況下，用戶無需佩戴任何裝備即可通過攝影機拍攝的畫面實現人機交互[2]。微軟注意到了這種交互思路，于同年提出了3D 體感攝影機“Project Natal”計劃，讓不佩戴任何設備的“裸手交互”成為可能，為之后的紅外測定深度（Time of Flight, ToF）攝像頭設備的出現奠定了基礎。2010 年，為實現“裸手”人機交互，微軟以“Project Natal”為基礎，專門開發了三臺基于ToF 技術的攝像頭設備Kinect V1、Kinect V2、Azure Kinect。前兩臺設備主要應用于配套微軟的游戲機Xbox，以提供良好的交互體驗；Azure Kinect 則脫離了游戲產業，轉而應用于工業開發和醫療環境等領域。與此同時，手機環境也開始大量提倡應用基于攝像頭的“裸手交互”解決方案：三星電子美國研發中心的Kim 在論文中表述了用戶可以將手伸至移動顯示設備（手機、平板電腦）后方來進行操作的交互方法[3]；谷歌、蘋果等智能手機生產廠家也紛紛研發出應用了ToF 技術的手機攝像頭，使用戶可以通過手機攝像頭進行裸手狀態下的人機交互；華為P30 Pro 和Mate 30 Pro 等智能手機產品也可以通過手機中的ToF 攝像頭遠程操控手機功能。但是從用戶體驗來看，這種遠程操作更像是一種噱頭，究其原因，計算機技術的進步速度和交互設計的發展速度并不匹配，因此尚未出現有助于提升用戶體驗的交互設計。2018 年，劍橋大學Dudley 提出頭戴式顯示器（Head-Mounted Display, HMD）在增強現實（AR）交互過程中可實現三維繪圖，但是相較于HMD，基于未使用穿戴設備的“裸手交互”既給了用戶自由，又保留了用戶和物理環境的交互能力，是優于以HMD 來實現AR 人機交互的手段[4]。這一觀點同樣也給VR技術中的交互方式提供了一個新思路。

如今不少VR 電影、游戲或應用已經開始引入更高精度的手勢交互，用戶漸漸開始可以通過VR 頭顯設備實現虛擬世界中的“裸手”操作，以雙手創造“魔法”。就像電影《頭號玩家》中的角色在“綠洲世界”中控制虛擬人物是不需要手柄及任何HMD 的，角色只需通過移動雙手來判斷自己與虛擬世界的擬真度和交互尺度。在VR 觀影中，當HMD 能夠逐漸擺脫傳統手柄的束縛，讓用戶能實現更加自然地進行手勢交互與應用體驗時，或許才使觀眾真正擁有走出電影、走進現實的機會。

2 間離效果：VR 觀影中“手柄交互”的不足

間離效果是由德國戲劇家布萊希特提出的美學概念，又稱“陌生化效果”。布萊希特認為，間離的過程就是人為地使主體與已熟知的事物疏遠的過程[5]。“觀眾保持著進行評價的間隔，從而有可能理解所表演的東西的真正含義。從不充分的理解，經過不理解的震驚，達到真正的理解”[6]。不難看出，布萊希特主張的間離效果和觀影沉浸是相悖的。本節嘗試借助布萊希特提出的間離效果概念對VR 觀影中“手柄交互”對觀眾沉浸感的打破這一問題進行分析。

根據筆者不完全統計，VR 電影發展至今大致可以分為兩類：一類是360°全景視頻，這種視頻是通過360°全景相機將現實世界如實記錄下來，觀眾在觀看期間可以通過控制手柄或旋轉頭部來調整畫面角度，以觀察周圍環境，還可以放大畫面來近距離觀看電影中的某一主體事物，例如全景看房視頻。其電影化應用可參考風景紀錄片或通過手持、固定360°全景相機拍攝而成的劇情短片，但這類VR 影片的交互性并不明顯。另一類VR 電影是指動畫技術制作的交互式VR 電影，即由計算機生成圖像（Computergenerated Imagery, CGI）技術制作而成。除了講述情節外，這類VR 電影還將交互融入劇情之中，使觀眾進入獨特的“交互式沉浸”中[7]，VR 交互動畫影片《紙鶴》即屬于這一類型。作品中融合了爵士樂、交響樂、鋼琴曲等多種風格音樂形式，其特點在于體驗“互動音樂奇觀”。在影片開頭，觀眾可以使用手柄隨著小男孩的手風琴彈奏揮動雙手，不同的揮動軌跡會在影片中形成不同軌跡的光束；在小男孩發現妹妹被困在另一個世界時，觀眾可以通過擴大和縮小雙手動作幅度，近距離觀看或遠觀另一個世界的景象。這與360°全景視頻中的觀看方式相似，但不同在于，隨著觀眾的互動，《紙鶴》這類交互式VR 電影的畫面也會受到不同程度的影響；影片結尾，觀眾可通過手柄觸碰光束上的點，“親自”演奏一段樂章，體驗方式與游戲《節奏大師》類似。這些交互設計的目的是輔助觀眾更好地融入到VR 電影中去，從而進一步提升沉浸感，但目前觀看完整影片后的綜合體驗感不盡如人意。由于“身處”影片中VR 世界的觀眾無法時刻關注到自己雙手的位置和手柄情況，當觀眾在揮動雙手過程中，兩個手柄撞到一起時，易產生“拉回現實”的間離效果。類似的“互動劇場游戲”作品還有《A.D.2047》，但筆者通過試玩發現該作品也存在一些交互缺陷和畫面質量問題：游戲開始時會在主角桌上出現游戲中的手柄按鍵提示（圖2），且在使用這些按鍵時，經常出現手部數據拾取失敗的情況，甚至在拾取過程中還會出現物品無意掉落的幾率，并且游戲中人物移動的方式是通過點擊畫面中出現的虛擬人影來進行移動。這些情況導致玩家在與游戲交互時體驗不佳。此外，由于優化不足，游戲畫面顯示不夠清晰，幀率較低，流暢度不佳等問題也遭遇諸多批評。

圖2 《A.D.2047》手柄按鍵提示

VR 電影將主要精力聚焦于視聽體驗，因此通常選用體驗效果優秀的頭顯設備作為輸出介質，但在輸入設備的選擇上目前依然采用以手柄為代表的傳統媒介。手柄的高“抽象性”表現，使我們在真實世界所做出的動作有別于虛擬角色的動作或在虛擬世界中所做的動作，而針對手柄按鍵、功能的系統性學習也會反向影響觀眾置身于角色體驗時的行為。當現實世界和虛擬世界動作不一致程度越高，觀眾交互方式就越抽象，相應的學習成本越高，投入到高度沉浸狀態的耗時也就越長[8]（圖3）。

圖3 VR 中學習成本對沉浸度的影響

電影中的真實感并不等于真實，如果要在觀影期間產生間離效果，首先電影中的某一事物必須符合現實世界中觀眾對這一事物的生活經驗，由此才能將觀眾從電影中“間離”出來。在用手柄配合VR觀影時，進行各種交互動作時手柄會帶給觀眾一種真實感，從而借由這種真實感短暫進入到觀影沉浸狀態。但手柄的體積限制以及抽象的交互方式又時刻提醒著觀眾這種真實感并不意味著真實，此時形成一種無意的間離效果得以將觀眾從沉浸狀態中抽離出來。

3 “身體在場”的重塑：“裸手交互”對VR觀影沉浸感的提升

3.1 “身體在場”的重塑

作為能夠引起情感活動和美感的存在形式，并且能夠自由傳達出創作主體情感以及對生活的思考和感受，藝術作品需要關注主體內容和表現形式兩個方面，即表現什么和如何表現。受眾通過不同的藝術作品感知藝術主體內容，獲得審美愉悅的同時進入沉浸狀態。沉浸感并沒有一個統一的定義，它既屬于心理學中“感覺”與“體驗”的范疇，特指一種忘我的專注狀態與神情，而在傳播交流方面，沉浸感的發生一般是以“身體在場”為前提，即感官身臨其境地感知，并在其與環境的相互浸染后所激發的一種專注其中的感覺與體驗[9]。黃心淵教授將虛擬現實中的沉浸概括為生理沉浸和心理沉浸兩種[8]。生理沉浸體現在人類的感官層面，即基本的視覺、聽覺感受等。VR 技術通過360°的畫面、3D 環繞立體的聲音以及不同的交互動作使觀眾達到了類似于現實世界中的情境，賦予了觀眾更大的生理沉浸感。心理沉浸歸屬于認知層面，其出現早于生理沉浸。在早期，繪畫、音樂、雕塑等傳統藝術作品給受眾帶來的生理沉浸感很少，藝術創作者需要通過創作出更優質的藝術作品以使受眾達到心理沉浸，而良好的生理沉浸會促使受眾更快達成心理沉浸。因此，根據技術特點，黃心淵教授將虛擬現實的傳播稱為“生理沉浸式傳播”。基于這一觀點，筆者認為“裸手交互”技術在虛擬現實“生理沉浸式傳播”的基礎上，通過加強觀眾“身體在場”的幻覺，進而實現虛擬現實傳播中的心理沉浸感。

作為傳播學中長期關注的對象，身體的“在場”和“缺席”也成為學者們熱議的話題。大眾傳播學將身體看作是固著于特定時空的消極因素，因為信息的遠距離傳播必須要打破身體的束縛[10]。各類印刷媒體和電視、無線電廣播、電影等電子媒體讓受眾足不出戶就可以獲取萬里以外傳播而來的信息。隨著虛擬現實、人工智能（AI）等概念的出現，重新激活了基于身體領域的研究。所謂“在場”是指主體在場，也就是“身體在場”。對于身體而言，“在場”是一種存在狀態，也是身體與身體、身體與周圍場的一種關系。“身體在場”就意味著能夠對“在場”的事物產生影響，甚至能夠直接操縱、改變“在場”或周圍的事物[11]。劉明洋等將“身體參與傳播活動的完整度”作為媒介形態的劃分標準，提出“身體媒介”“無身體媒介”“身體化媒介”及“類身體媒介”四個階段的論斷：“身體媒介”時代的身體是肉身的在場，“無身體媒介”時代的身體處于缺席或隱退的位置，“身體化媒介”時代的身體是虛擬在場（身體不直接出現，但發揮系統功能），“類身體媒介”時代的身體是技術真實下的虛擬在場（與“身體媒介”時代有著相同或近似相同的認知經驗，但肉身無需真正接觸）[12]。基于此，作為媒介的VR 應歸類于“類身體媒介”。在VR出現前的媒介時代，觀眾在欣賞藝術作品時的心理時空延伸和身體在場是一個“魚和熊掌不可兼得”的情況。而VR 憑借對現實的高度仿真，在現實時空之外創造了另外一個虛擬世界。VR 電影帶來的沉浸式體驗營造了一個比傳統影院更封閉的觀影情境，或者說觀影空間已然被影像空間所吞噬，用戶體驗是直接走進了虛擬的電影世界，實現了身體于影像中的“在場”[13]。但事實上，互動式VR 電影中的“身體在場”其實是一種矛盾的現象：一方面在傳播中缺少真實身體的存在；另一方面通過VR 技術的連接，能夠使身體實現在虛擬世界中的“身體在場”。從這一角度出發，虛擬現實中的“身體在場”雖然是一種虛假的幻覺，但從感官反應來看，觀眾依然可以通過身體動作與虛擬世界產生交互，VR 技術實際上是重塑了觀眾“身體在場”的幻覺。“人機交融”“多維感知”“虛擬化身”等新興的數字技術創造出了“技術身體”“虛擬身體”“遠程身體”等“后人類”的人工身體形態，拓寬了身體的邊界，豐富了“身體在場”的含義[14]。虛擬現實技術打破了“身體”的邊界，身體“在場”和“缺席”的問題變得失去了原來的意義，所謂“在場”和“缺席”探討的是身體“有”還是“無”，但是經由VR 技術轉換的“化身”既可以說“有”，也可以說“無”[15]。我們人類的真實肉體不再是評判“在場”與“缺席”的唯一因素。現實世界的真實身體通過VR技術連接虛擬世界中的虛擬身體,由此形成了一種身體在場的重塑，即“虛擬在場”。

相較于“手柄交互”的高度交互抽象性帶給觀眾虛假的身體記憶而言，“裸手交互”技術使觀眾在虛擬環境中的行為，更加適配于觀眾在真實世界的身體動作，在虛擬空間中還原出觀眾在真實世界的感受，更加強化了這種“身體在場”的幻覺。在擁有沉浸空間和多模態互動的VR 電影場域中，觀眾通過“身體在場”被賦予了故事中的“他者”身份，并以第一人稱視角扮演角色，這種視角下的“他我”和現實世界中的“真我”在身體空間、肢體運動、身體感知層面有一定的重合性，更有助于將沉浸、臨場和體驗的感覺投射到我們的認知中[16]。“裸手交互”技術將這種認知感覺發揮到一個新高度。雖然我們并不是身處現實世界中，但是通過VR 技術營造的360°虛擬世界以及“裸手交互”技術帶給觀眾的真實生活經驗，在認知上欺騙了觀眾心理，賦予了觀眾極大的臨場感，仿佛在現實世界中一樣，讓觀眾不去察覺VR 世界的虛擬性而沉浸在其中，達到一種忘我的狀態。瑞士蘇黎世大學的研究人員開發了名為“Birdly”的逼真鳥類飛行體驗項目（圖4）。這一項目的設計與“裸手交互”對觀影沉浸感的提升方式存在類似。項目中體驗者佩戴頭顯設備，俯臥在一個支撐平臺上，體驗者看到的畫面是以鳥類在天上飛行的視角，身體通過按壓和上抬平臺兩側的支撐板模擬鳥類揮舞翅膀的動作，從而控制虛擬飛鳥在虛擬世界的翱翔。

圖4 “Birdly”實驗項目

3.2 “熱媒介”屬性的強化

在《理解媒介》一書中，馬歇爾·麥克盧漢提出媒介有冷媒介與熱媒介之分，這一觀點是麥克盧漢最具爭議性的創見之一，有人甚至認為，冷熱媒介的概念矛盾重重、漏洞百出，不足為重[17]。麥克盧漢闡述了“冷熱媒介”區分的基本原理：“‘熱媒介’只延伸一種感覺，具有‘高清晰度’”“熱媒介要求的參與度低；冷媒介要求的參與度高，要求接收者完成的信息多。”[18]其區分“冷熱媒介”的主要標準立足點在于感官。“感官對媒介作出的回應”是指媒介調動我們感知的方式[18]。在麥克盧漢的理論中，“清晰度”是指感官的作用強度；“參與度”不是思想的參與，而是感官的參與[19],這有助于更好地理解冷熱媒介。

熱媒介通過對感官的壓倒性吸引力，將觀眾帶入一種“麻木”狀態[20]。其對感官的延伸是單一的、高強度的、線性的、分裂的，這種作用最終促進了生活中的專門化和分割性[19]。當人們使用“熱媒介”時，就已經被媒介定義了唯一的切入方式，“熱媒介”帶來的信息是清晰明確的，人們不需要調用身體其他感官去“參與”，只需按照它規定的參與方式參與即可，這就是“熱媒介”的高清晰度、低參與度。由此便能很好地解釋電影是高清晰度的“熱媒介”：正常情況下，電影開始前觀眾會坐到座位上，等著電影開場；開場后，觀眾聚精會神，并沉浸于電影放映的故事。作為“熱媒介”，電影對觀眾的干預十分顯著。低清晰度、高參與度的“冷媒介”，如電視，要求受眾分散注意力，不是調用一個或兩個感官，而是一個感官系統[21]。

觀眾在觀看VR 電影時，從傳統的二維平面步入三維全景視頻中去，盡管在觀影過程中存在交互性，但這種交互是存在于預先設定好的電影規則之內，其目的便是為了營造臨場感從而提升觀眾觀影的沉浸體驗。無論是電影還是VR 電影都符合“熱媒介”的屬性，但它們又同時調動了觀眾的多重感官。這似乎與“熱媒介”的定義不同，但其與“冷媒介”的區別在于，電影感官調動的“動力”來自影片本身對觀眾多重感官的激發，從而減少了觀眾自身對各種感官想象的驅動“負擔”[7]。而VR 電影將觀眾的多重感官“延伸”到了一個更高的高度，使體驗者更容易沉浸于VR 電影傳遞的情境信息流，因此更易于實現相對深度的沉浸狀態。“手柄交互”的抽象交互性則會使觀眾對手部感官想象的驅動“負擔”加重，從而對觀影沉浸感有一定減弱；“裸手交互”使觀眾在進行交互時更加專注，只需要根據自己的生活經驗便可完成交互，進一步強化“身體在場”的幻覺。

4 結語

VR 技術是通過構建3D 虛擬環境制造出身臨其境的體驗，即沉浸式體驗，但沉浸感并不是VR 技術獨有的，傳統平臺的游戲同樣也在追求沉浸感。所謂的沉浸感其實就是真實感，一部電影或一部互動劇場游戲越趨于真實，那么它能給觀眾或體驗者帶來的沉浸感就越強。真實感可以通過很多方式來體現，比如更自然的對話、更合理的場景設計、更沉迷的玩法設計等，其中有一個可以直接提高真實感的方式，就是用畫面、聲音、氣味等虛擬資產替代真實資產傳送給人的感官，讓人誤以為在真實世界中，這也正是VR 技術的強項。“裸手交互”在一定程度上提高了虛擬資產的協同性，盡可能確保觀眾所有感官獲取的信息一致，從而大幅提升沉浸感。

但“裸手交互”技術也存在一定缺陷，如手部追蹤困難、觸覺反饋缺失等，這也是阻擋該技術更廣泛應用的最大障礙。值得注意的是，近年來各界都在努力尋求相應的解決方法。為了解決手部追蹤丟失的問題，李仕等人提出了一種創新的方法，即基于二次坐標轉換的3D 手勢坐標映射。這種方法通過將手部骨骼節點的3D 坐標轉換到視點坐標系上，再通過坐標轉換獲取手部節點在真實場景中的實時坐標。通過虛實映射，用戶可以使用裸手驅動系統端的虛擬手進行人機交互。系統基于識別到的手勢信息向用戶提供實時反饋，從而實現在大場景下的人機“裸手交互”[22]。在觸覺反饋優化方面，英國公司Ultraleap 將超聲波技術應用于虛擬現實觸覺，將超聲波轉化為虛擬觸摸的感覺。這種技術使用戶能夠在虛擬環境中體驗觸摸的沉浸式感覺，有效彌補了觸覺反饋的缺失。這些新興技術以及理論的出現為“裸手交互”技術的后續發展提供了一定的理論與實踐基礎。未來，不僅在VR 領域、電影領域，作為目前最自然的人機交互方式，“裸手交互”定能為人們的生活提供更多便利，從方方面面提升體驗。?