虛擬現實環境的視聽體驗設計

文/歐陽盛劼

虛擬現實（Virtual Reality，簡稱VR）這一概念產生于人類對現實世界的探索與模擬，是人類一直尋求通過藝術或技術的方式再現現實的體現。它從一項主要用于軍事、航天等領域仿真演練的尖端科技逐漸普及為人類日常。如今，人們可通過使用VR頭戴設備或進入VR體驗區等來感受VR世界亦真亦幻的魅力，尤其是逼真的視聽效果，讓體驗者們仿佛置身幻境。

虛擬現實是以計算機技術為核心，結合相關科學技術，生成與一定范圍真實環境在視、聽、 觸感等方面高度近似的數字化環境，用戶借助必要的裝備與數字化環境中的對象進行交互作用、相互影響，可以產生親臨對應真實環境的感受和體驗，即在數字化環境中產生在真實環境的認知。知覺研究著名學者吉布森（J·J·Gibson）認為，我們周圍的環境為我們的生存提供了足夠的充分的信息，人體感官的構成也使人具備獲取信息的能力?，F實世界中，環境信息直接刺激人的感知器官，在VR環境里，這些信息需通過技術手段被復制或模擬，借助傳輸設備作用到使用者的感知神經。從本質看，虛擬現實系統是包含各種認知信息的綜合體，這些信息越逼真、越豐富，帶來的認知感受越貼近現實。

人的感官主要有視、聽、嗅、味、觸等，分別對應獲取環境中的光線、聲音、味道、質地等信息。獨立的感官系統或多感官協作還可產生空間感、方向感等。其中，視覺和聽覺是人體獲取外界信息最重要的兩大渠道，人們通過看和聽能基本完成對外界環境的認知感受。因此，在VR環境構建中，視聽系統的仿真模擬是虛擬環境真實感的重要著力點，需充分參考人視聽感官的生理機制和VR體驗特征來設計實現。

1.虛擬現實中的視聽體驗特征

1993年，Heim 提出“VR是一種在效應上而不是事實上真實的或實體”，同時刻畫了VR的7個特征：模擬性、交互作用、人工現實、沉浸性、遙在、全身沉浸和網絡通信。1994年，Burdea 等出版了《Virtual Reality Technology》一書，書中他們用3“I”——沉浸感（immersion）、交互性（interaction）、構想性（imagination）概括了VR的基本特征，這也是VR視聽系統的體驗訴求。

其中，沉浸感與VR技術對現實世界的模擬程度成正比，仿真度越高，體驗者的認知活動越不被干擾，沉浸感越強。如前文所述，視聽是VR系統中最重要的部分之一，人可能接收到的所有真實視、聽信息是實現VR沉浸感的重要參考。此外，沉浸感體現出使用者對VR環境是被包含、被融入的關系，從感知角度強調了VR環境應是一個立體空間，因此，VR視聽系統需滿足人對縱深、方位等空間信息的需求。

VR沉浸體驗不僅來自于立體空間感，也來自使用者與環境間的互動行為，VR的交互性特征可為用戶帶來行為系統的沉浸感。VR的交互性不僅指對體驗者有意識的操作給予反饋，還應在體驗者發生無意識的行為時，及時模擬真實環境做出變化。如使用者轉動頭部，設備中的畫面隨之轉動，以模擬視野的調整。

構想性是VR“源自現實又超越現實”的體現，強調了設計者在其中的主導地位。虛擬現實本質上是人類尋求感官模擬和復制的一種途徑，在模擬過程中也存在對現實世界物理性的超越。從視聽角度看，VR“允許我們以前所未有的豐富細節與深度，觀察和跟蹤真實世界”，并通過技術手段“安排”人們的視聽活動，這進一步滿足了體驗者的審美訴求并形成情感共鳴。

2.虛擬現實的視聽體驗設計

以VR的3“I”特征為指導，VR視聽體驗設計應從人感知活動的生理機制和體驗訴求兩個角度出發。其中視覺部分主要有視覺逼真、空間視覺和位置/方向跟蹤三個方面，聽覺部分主要為視景伴音、方位信息兩個方面。

2.1 視覺部分

VR對現實世界的模擬包括模擬目標對象、對象間的關系和相互作用、與對象發展變化遵循的規律。VR視覺系統針對于人眼所見的畫面，可從這三個層面分為視覺逼真、空間視覺和位置、方向跟蹤。

視覺逼真指VR技術對現實視覺畫面的仿真。從視覺信息構建方面，模擬對象的靜止、運動形態、環境景觀等構成VR畫面主要內容，要求數字建模合理、可辨。從視覺信息傳輸方面，頭顯設備的顯像能力也對視覺逼真感有影響，主要為技術因素。一是畫面視域。人的正常單色視域約為水平200度，垂直130度，其中，人眼主要對中心為20度的視域敏感。因此，設計VR視覺系統時應確保中心20度的顯像水平，并盡可能開拓周邊視域。二是幀頻和分辨率。VR視覺系統形成實時畫面是通過相互獨立的序列幀圖像，由大腦視覺殘留能力形成連續畫面，由VR顯示器傳達至人眼。受到攝像機和顯示器性能的限制，VR顯像存在細微的幀頻滯后與傳感顯示的延時，因此，過于復雜的顯像環節將帶來VR場景的失真。

空間視覺指人類通過視覺可在大腦形成空間深度感，以此判斷自己和關注物體間的空間距離?？臻g深度感主要由四種基本類型的深度線索而得。一是靜態深度線索，指通過靜態圖像就能獲得的深度線索，如物體的相互位置、物體清晰程度、物體的相對大小等；二是運動深度線索，指在動態圖像中獲得的深度線索，如看到物體由小變大可感覺到物體的由遠而近；三是生理深度線索，既通過大腦監視眼球和眼周肌肉的調節程度產生深度感覺；四是雙目視差線索，指由于雙眼的水平瞳距，使景物中的任意點在兩眼中形成的圖像存在水平位置的差異從而形成雙目視差，進而感知到目標物體的遠近深度。前兩者需在環境的三維坐標中尋找參照，根據目標對象與參照對象間的差異獲得線索。目標與參照可是同環境下的不同對象，或對象與整體環境，也可是同一對象運動的不同狀態。后兩者主要利用人類視覺系統多種機制交叉協作，更多從體驗者內部產生效應。

位置/方向跟蹤是VR對現實世界視覺規則的模仿，是VR顯像對體驗者行為的動態響應，為體驗者帶來行為系統的沉浸感。這主要體現在VR體驗者轉動頭、眼時，頭顯畫面根據轉動角度及時做出調整，模擬真實環境中視角的變化。這不僅從視覺活動上緊密關聯體驗者與虛擬環境形成臨境感，從視覺信息角度，模擬視角變化時VR環境中事物透視關系的變化也將豐富體驗者的視覺空間感。這一方面要求軟件技術對使用者眼球、頭部運動捕捉的精確及時，硬件設備不得對人眼、頭的運動產生阻礙；另一方面要求VR顯示系統具備一定運算成像能力，減少模擬透視變化帶來的延時滯后。

綜上，可獲取以下幾點VR視覺體驗設計思路指導：

對于模擬對象，數字建模應做到物體靜態時外形特征清晰可辨，動態時遵循合理的運動原理，同時充分考慮硬件設備的技術瓶頸，在有限的技術條件下充分利用成熟、穩定的實現手段。人眼視域敏感區為視角中心20度左右，為減輕頭顯設備運算負擔，可適當簡化、弱化邊緣區域的事物模擬。例如，在微鯨VR影視作品中常將有效信息集中顯示在一定范圍的虛擬舞臺上，四周加入三維光影效果延伸出畫面，從而控制VR視頻的技術難度，彌補顯示設備視域的不足。

對于對象與對象、對象與環境間的關系，空間視覺是使人眼獲得的二維圖像信息形成空間深度感的重要能力，當體驗設計對虛擬環境建設提出體現空間距離的需求，可通過著重乃至夸張表現環境中單個物體本身或多個物體之間的位置、大小、虛實、運動的變化。例如，2012年央視春晚中的《因為愛情》歌曲表演節目中加入的花瓣飄灑特效，就是通過夸張放大的花瓣運動與男女主角虛實變焦來營造廣闊的舞臺空間。

對于對象與環境的變化規律，眼、頭運動的捕捉和VR系統的反饋及時是最重要的兩點，但除了對視線跟蹤技術的研發使用，也應關注顯現設備是否舒適穩固。目前VR頭戴設備主要分為自帶處理器的VR一體機、搭配智能手機使用的VR手機盒子與其簡化版的紙盒。VR一體機大多笨重，長期使用會造成眼部、頸部肌肉的疲勞，VR盒子雖輕便但存在手機位置固定不穩等弊端。這些都影響了VR視覺系統對自然狀態下體驗者眼、頭運動及其視覺反饋的模擬。

2.2 聽覺部分

聽覺是人類僅次于視覺的第二大感知來源，人類對客觀世界的感知信息有15%左右來自聽覺。聽覺信息的作用一方面為實時生成的視景伴音，產生視覺和聽覺的疊加效應，達到聲像融合；另一方面三維聲音信息可補充由于視野所限、視景未顯示到的信息，使人可監控、識別來自任何方位的信息，不僅僅是視野內的方位信息。

VR 系統中作為視景伴音的聲音信息直接產生于體驗者的聽覺感官，體驗訴求主要有聲音仿真與聲音圖像間的同步兩方面。聲音仿真指計算機生成的聲音應盡可能的逼近真實，模擬聲音在不同密度介質中的音速變化、反射、折射，還有不同聲源同時發聲時，多種聲音的疊加與混合。聲畫同步的概念源自影視藝術，指聲音由畫面中人、物體或環境產生，與畫面協調一致。保持聲音與畫面的同步融合，可極大地增加視聽系統的逼真度。

聲音信息向方位信息的轉化則主要由人的“單耳效應”與“雙耳效應”實現?！皢味奔础岸保侵附涍^人類不對稱的耳廓反射之后，到達耳膜的聲波頻譜特征與其聲源的方向有關。這也就是說，人憑一只耳朵，就能初步辨出聲音的方向，從而對聲音進行定位。“雙耳效應”（Duplex Theory）是指雙耳位于頭的兩側，兩耳之間有一定的距離，那么聲源發出的聲音到達兩耳的路徑距離不一樣，聲音的延時和衰減就不同，聲音到達的時間和強度也就不同，從而產生聽覺的空間感。對此，VR聽覺系統在模擬聲音環境時，一可通過改變目標聲源與環境聲傳入人耳的時間差來模擬虛擬環繞效果，二可配合眼、頭轉動的方位角度調整左右耳接收聲音信號的時間、強弱，來模擬聲源至體驗者頭部中心距離方向的變化。

因此，為達到VR聽覺系統作為畫面伴音與突顯空間感的體驗效果， 需從三個角度進行聲音數據的儲備：模擬目標對象的仿真音源；當前虛擬場景下的環境音，包括多種聲音的疊加混響與不同傳播介質中聲音傳播規律變化的體現；對體驗者頭部運動的動態響應。前二者結合目前發展成熟穩定的環繞聲技術可提高聽覺的的真實感與臨場感，后者則再次強調了VR系統對體驗者頭部活動的跟蹤與反饋。

3.總結與展望

虛擬現實帶來的視聽體驗越過了傳統人機交互需借助的象征符號，直接介入人本能的感知活動中，通過模擬真實環境對人體感官的刺激與互動，構建了一個源自現實又可人為干預的數字世界。VR視聽通過對感知的模擬復制使體驗者的身心沉浸于數字技術構建的虛擬空間，這是人類使用媒介技術再現現實世界的嘗試，也是媒介形態沿著“虛擬化”脈絡發展的體現。隨著VR技術的發展，VR視聽體驗還將在仿真基礎上打破現實存在與主觀想象的界限，帶來超越現真實的審美體驗，解放人類受限于現實條件的理解、情感、想象，甚至改變人們對自我、世界、時空的看法。

[1] 周逵.虛擬現實的媒介建構：一種媒介技術史的視角[J].現代傳播（中國傳媒大學學報），2013，35（08）：29-33.

[2] 趙沁平. 虛擬現實綜述[J]. 中國科學（F輯：信息科學），2009，39（01）：2-46.

[3] 彭聃齡.知覺的現代理論[J].哲學動態，1989（07）：26-29.

[4] David Gelernter， Mirror Worlds：or the Day Software Puts the Universe in a Shoebox…How It Will Happen and What It Will Mean， Oxford University Press， USA， 1993.

[5] 蔣慶全.頭盔顯示器視覺機理與視域設計[J].電視技術，2004（04）：81-84.

[6] 徐偉忠、劉輝、談正，三維立體顯示系統的開發研究，中國圖像圖形學報，Vol.2，No.2，3，Mar.1997，PP.144-148.

[7] 羅福元，王行仁，彭曉源.聲音渲染技術及其在虛擬環境中的應用[J].系統仿真學報，1999（05）：364-367.

[8] 劉光明，劉汐，竇維蓓.對虛擬環繞聲產生的研究與簡單實現[J].電聲技術，2003（04）：43-47.

[9] Stevens SS，Newman EB. The localization of actual sources of sound. Am J Psychol，1936，48：297-306.

[10] 王生九. 虛擬聽覺空間和虛擬環繞聲技術的研究及其DSP實現[D].東南大學，2006.