基于聲景理論的VR 電影聲音塑造

(中國傳媒大學音樂與錄音藝術學院,北京 100024)

1 引言

聲景 (soundscape)這個概念由莫里·謝弗(Murray Schafer)在他的《Soundscape:Our Sonic Environment and the Tuning of the World》一書中提出。聲景,概括來說是一個區域內所有聲音的總和,它既包括了自然聲環境,如各種水聲、風聲、雷聲、蟲鳴、鳥叫,也包括了人為聲環境,如機器聲、各種工業與商業活動的聲音,以及人創作的音樂等。聲景所含的各類聲音囊括了電影聲音中的所有聲音元素。同時謝弗提出,聆聽是一種有意識的精神活動,聲景由外在的“聽”和內在的“感知”共同構成,強調人通過聲音來與環境產生聯系。“世界聲景計劃”給出了聲景的定義——“一種強調個體或社會感知和理解方式的聲音環境”,這一點與VR 電影中強調觀眾與聲音內容的交互是一致的。

VR 電影和傳統電影相比,影像與觀眾的關系產生了顛覆性的改變,通過營造一個不受限制,可由觀眾自主參與的三維空間,實現了其獨特的交互性和沉浸性。VR 電影缺乏傳統電影的鏡頭感,而是讓觀眾處在一個完全視覺化的場景中,視覺化程度越高留白空間越小,敘事的能力也就越弱,因此許多VR 電影從“講述故事的時間藝術”向著“感受故事的時空藝術”轉變。時間與空間的感受恰好是聲音的強項,每一個空間有其不同的聲音特征,聲音天生又是依賴時間而存在的,可以預見聲音是VR 電影最終實現沉浸感的關鍵。在VR 電影中聲音的呈現方式與以往有很大不同,不能夠完全照搬傳統電影的設計方式,同時考慮到VR 電影強調對所處聲音環境的體驗和感知,與“聲景”理論具有一致性,因此嘗試結合聲景的相關思維對VR 電影中的聲音景觀塑造進行一些思考。

2 VR電影聲音的技術基礎

VR 電影聲音的制作流程和傳統電影較為一致,都有拾音、制作、還放三個部分。但因為呈現方式的不同,VR 電影的聲音制作在工具使用和制作方式上還是存在不同。為了獲得更好的沉浸感,聲音制式一般選擇3D 環繞聲格式,并使用耳機還放,同時配合頭部跟蹤跟隨視角的變化而變化。下面對VR 電影聲音制作不同環節的技術手段做簡要的介紹。

2.1 前期拾音

前期拾音是素材的準備,好的素材可以為后期的制作打下良好的基礎,對于VR 電影來說,需要展現更細致的聲場信息,這些信息可以通過后期制作獲得,也可以在相應的聲場中錄制獲得。目前主流的拾音方式主要是以下兩種:采用雙耳拾音技術(Binaural Recording) 的人工頭拾音;采用聲場合成技術的原場 (Ambisonics) 傳聲器拾音。

人工頭拾音技術通過模擬人耳的外部與內部結構,在人工頭模型的耳道內放置麥克風來模擬人耳聽覺的效果。人工頭拾音包含了相應的HRTF 信息,該信息是再現三維聲場信息的關鍵,但因為每個人人頭的差異化,HRTF信息難以完全匹配每個觀眾,所以在再現上還是有所缺陷。另外,人工頭拾音只適合于耳機還放,如果采用揚聲器還放則會帶來嚴重的聲染色。人工頭拾音對于拾音位置和方向的要求與鏡頭匹配,達到視點和聽點的統一,對于VR 電影來說,可以采用多方向的雙耳拾音,例如3Dio 公司推出的四方雙耳立體聲話筒(如圖1所示),4組雙耳立體聲話筒分別指向0°、90°、180°、270°,從而與360°的畫面視角相匹配。盡管使用方便,但是也存在相應的問題,比如缺少垂直面的信號,缺少人頭面部輪廓的信息帶來的HRTF信息。

圖1 3Dio Omni Binaural Microphone

原場傳聲器技術是一種球形三維環繞聲拾音技術,市面上常見的是一階原場系統 (FOA),例如Sennheiser AMBEO VR mic (如圖2 所示),包含四個心形指向的振膜,分別指向左前、左后、右前、右后,所拾取的原始信號叫做A 格式 (A-format),再經過處理后得到B 格式 (B-format)信號。B 格式包含4個通道的信息,即全方向的W 信號、前后深度的X 信號、左右寬度的Y 信號和上下高度的Z信號,因此能夠同時獲得水平面和垂直面的信息,最后解碼成不同的方位信息與監聽揚聲器相匹配。一階原場系統的缺點是空間解析度不夠好,因此市面上出現了高階原場系統(HOA),這類話筒具有更多通道數,能夠獲得更高的解析度,比如Eigenmike Microphone(如圖3所示),這種拾音方式很好地支持了VR 電影任意方向的視角轉換。

圖2 Sennheiser AMBEO VR mic

圖3 Eigenmike Microphone

除了現場直接拾取3D 環繞聲之外,還應當針對影片補錄更多的聲音細節,這里可以采取的方式和傳統影片差異不大,此處不再贅述。這些非3D 格式的素材在后期應當進行相應的處理加入三維聲中。

2.2 聲音制作

VR 電影在編輯和混錄上與傳統電影差異較大,由于畫面展現方式的不同,用于編輯的軟件應當可以將球形視頻展開,并且能夠在調整觀看角度的同時實現聲畫同步。目前能夠支持上述模式的視頻軟件有Kolor Eyes和SpookSync VR。針對于VR 聲音制作的音頻軟件,目前大多數主流的音頻工作站都能夠支持多路母線輸出,最常用的比如Pro Tools HD、Reaper、Nuendo等,都可用于VR 聲音制作。制作時將播放軟件與音頻工作站同步起來,能夠使三維聲音編輯工作變得直觀高效。

對于聲像定位和三維空間感的處理則是VR 電影聲音制作的重點,需要用專門的插件來處理。比如用于VR 的杜比全景聲軟件 (Dolby Atmos for VR),其聲像定位所參考的三維空間是以鞋盒(shoebox) 為模型的矩形立方體,它包含四個工具,分別用來實現3D 聲像定位和元數據生成、將音頻和元數據進行混錄并輸出雙耳渲染信號、對所有混錄對象的空間定位和電平動態進行監看、視頻還放。另外一類則是基于Ambisonics格式的插件包,它的三維空間模型是以聽音位置為中心的圓球體,通過水平方位角、高度、距離的調整來設置聲像在球體中的位置,通過寬度來改變聲像的大小。這兩種空間模型會帶來不同的聽音感受,同樣是前方聲像的移動,在Dolby Atmos格式中,這種移動是直線進行的,而在Ambisonics格式中則沿著圓弧移動。

市面上用于聲音制作的各類軟件已有幾十種,各自的功能和適用情況也都有所不同,需要聲音工作者根據需要進行選擇。

2.3 后期還放

針對VR 電影的特點,耳機目前還是最適合的方式,配合頭戴設備,將觀眾從現實世界中隔離出來,完全沉浸于電影所營造的環境中。耳機不存在最佳聽音點的限制,也不存在揚聲器還放時的串音干擾。耳機重放的原理是將制作好的3D 環繞聲進行HRTF編碼,經過卷積轉換成帶有HRTF信息的雙聲道虛擬環繞聲信號,最后經過耳機恢復原始的空間信息。目前編碼采用的HRTF 是一個平均值,但是每個人由于頭部大小、輪廓等不同,個人的HRTF數值也不同,回放就會有一定的聲像畸變,比如產生頭中定位效應與前后聲像的混淆。意識到耳機回放的這一不足之后,廠家開始研發可以實時校準的3D 音頻耳機,當用戶佩戴耳機就會開始收集頭部和耳廓數據來校準HRTF,使得聲音回放更加個人化,更加準確。

聲音還放的另外一個重要技術是頭部跟蹤(Head-Tracking),當觀眾改變視線方向時,聲音和畫面不會一起轉動,而是保留其原來的位置,這種聽音方式與生活經驗一致,因此加強了沉浸感的體驗。還放過程中需要實時捕捉聽音者的頭部方位信息并反饋給還放系統,從而隨時調整送往耳機的幻像聲源。

3 VR電影聲音的新特點

基于VR 電影的技術手段,同時考慮到其藝術表現手法,相較于傳統電影,VR 電影的聲音具有不同的特征。

首先VR 電影的聲場不再基于聲道。從單聲道開始,人們一直在追求如何展現更多的空間特征。無論是立體聲,還是5.1、7.1、11.1的環繞聲,聲音的制作都是基于聲道來制作的,然而這種基于聽覺錯覺的空間聲場還無法滿足觀眾對于沉浸感的期待。現在VR 電影以Ambisonics技術為核心,聲音制作方式不再受聲道的束縛而是轉向聲場的構建。人們得以用空間的思維進行設計和創作,當脫離了聲音與聲道關聯的思維之后,如何進行聲音設計將成為新的問題。

其次在VR 電影中,觀眾的主導作用得到了極大的強化。原本觀眾作為接受者,受到銀幕的限制,被動去聆聽制作好的聲音。而VR 電影中觀眾參與了聲音的構建,每個人觀看的視角不同,一部影片放映可能經歷了完全不同的聲音。觀眾能夠自由選擇聽點、空間和聲音過渡的方式,意味著聲音制作者需要轉變聲音制作的思路,應當從單純對聲音的展現,向著暗示和引導轉變,讓觀眾能夠不自覺地跟隨我們的意圖去聆聽。

另外在VR 電影中已有交互的嘗試,觀眾可以通過自己的動作改變角色的行為,而這種交互會帶來更多的變化和不確定性,如何去展現這些交互所帶來的聲音變化,如何基于這些交互讓聲音表達不同的含義,都是值得考慮的事情。

由于這些不同,VR 電影的聲音設計需要新的藝術思考,“聲景”理論的理念與VR 電影聲音的新特點有很高的相似性,更加強調一個空間的完整性和聽者在其中的精神活動,人與環境具有相互作用的關系這一點對于VR 電影的聲音來說具有指導意義。

4 VR電影中聲景的三個單元

面對這么多聲音元素,聲音工作者應當如何去選擇最終呈現的聲音元素、去設計各個聲音元素之間的關系? 盡管VR電影以觀眾為主導,但這不意味著只是單純對環境進行重現,任由觀眾進行選擇,而是要有層次有重點地對聲音元素進行設計,從而最終使得觀眾領會其中的意圖。在聲音元素的關系上,聲景理論將它分為三種基本聲音單元:基調聲(keynote sounds)、信號聲 (signals)和標志聲(soundmarks),VR 電影的聲音設計同樣可以圍繞這三點展開。

4.1 基調聲與空間背景聲

基調聲原本是音樂術語,是用來識別一段音樂的關鍵要素,它不總是被有意識地聽到,但是卻能讓整個作品具有傾向性。這個詞在聲景中的引入就是為了強調空間環境對于整體感知的重要意義。基調聲是人們日常聽慣的聲音,勾畫出在某個環境中固定的聲音生態,如鄉村的風聲、水聲、鳥鳴等,城市則習慣于交通等聲音元素。這些聲音存在的時候人們可能不會過于注意,因為已經成為了一種感知習慣,但是一旦缺少某些元素就會變得不夠真實。

基調聲在VR 電影中所對應的就是觀眾所處空間環境的背景聲,在聲音創作中這不意味著精確還原各個聲音元素,而是需要構建一個符合電影基調的環境,觀眾不會去刻意尋找每一個聲音來源,而是在整體上獲得大環境的包圍感,并且在潛意識中認可自己所處的環境。在這一部分,聲音工作者在真實的基礎上應當充分考慮作品的需要,讓不同的聲音元素避免簡單的堆疊而是營造一個有利于電影內容的情感氛圍,這同時也意味著在聲音的呈現上,環境聲應當隨著觀眾改變視角產生細微但是難以察覺的變化,在保持真實的同時不至于因為刻意的變化干擾觀眾的體驗。

4.2 信號聲與前景音效聲

信號聲是一種前景聲,是經過有意設計并傳遞某種確切的內容和意義的聲音,舉例來說有警報聲、號角聲、鐘聲等。這一用途的聲音在VR 電影中應當有更深層次的作用,而不僅僅是像傳統電影那樣對畫面中的形象和動作進行描繪。

首先,對于VR 電影的敘事上來說,傳統基于鏡頭調度和場面調度的敘事方式被打破了,觀眾的視線不再局限于銀幕上給出的信號,那么如何引導觀眾跟隨電影的情節發展就成為了一大問題。此時聲音感知的全方向性就能夠發揮作用了,聲音最大的意義是“使看不見的東西存在”,同時又讓觀眾對即將看到的東西有所預感。從心理學上看,在沒有看見聲源只聽到聲音時會讓人覺得神秘,會促使觀眾去探索和認知環境,如果說隱藏聲源能夠給觀眾留下懸念,那么展示聲源就是一個解謎的過程,這個過程是完成電影敘事的重要手段。比如觀眾處在一個房間之中,該故事可能發生在窗外,但是觀眾的視線可能一直在房間的其他方位上,此時窗外如果傳來帶有信息的聲音,觀眾的視線就會被引導,從而跟隨情節的發展融入影片的故事之中。這種聲音的調度在VR 電影中應當會占有越來越重要的地位,就如同傳統電影中的鏡頭調度,其內容和意義也會受到更多的發掘。

其次對于VR 電影的交互性來說,聲音還可以起到其他的作用。筆者曾經體驗過一個VR 影片,觀眾在一個超現實的奇幻世界中經歷時間與空間的變化,其中一個有趣的體驗是音效與視覺的交互帶來的趣味性。筆者體驗過程中有一個場景,觀眾周圍不同的位置有不同的花朵,當觀眾看向某一朵花,這朵花就會開放并且彈奏出相應的音符,通過這樣的方式,觀眾更愿意長時間進行VR 體驗,對于觀眾接受影片中奇幻世界這一設定也有幫助。通過對信號聲與畫面結合這樣的設計來讓觀眾參與電影情節也是VR 電影聲音的設計思路之一。

4.3 標志聲的應用

標志聲一詞則是借鑒了地標 (Landmark)一詞,指的是一個區域內唯一或者獨有的聲音,是有一定文化含義,具有保護價值的聲音。這一層面的聲音在VR 電影聲音未來的發展中有很大潛力,就如同導演的個人標簽或者是電影某一形象的IP 化,在未來,聲音應當也會成為一部VR 影片的獨有特征和記憶標簽。目前VR 電影的著眼點還停留在視覺上,對于聲音的思考較少,但也已經有影片在這方面做出了一些嘗試,比如《恩典潮涌》(Waves of Grace)在講述利比亞人民與埃博拉病毒抗爭的過程中貫穿孩子們的嬉笑聲、奔跑聲以及當地獨特的音樂歌舞,使觀眾看完影片之后對當地獨特的風貌留下印象,也對黑暗中的希望有了共鳴。

5 啟示與展望

VR 電影未來的發展必然要依靠兩點:技術的進一步發展和新的藝術理論的指導。雖然技術是藝術展現的基礎,但有了藝術理論的指導科技才能夠向著相應的方向進步。

基于聲景理論,在VR 電影聲音呈現的目標主要有以下兩點:

最基礎的是在場感知,以整體環境的構建、改變視角時細微的變化來為聽者構建一個真實可信的虛擬空間,沉浸于場景甚至相應的生活狀態與情緒,這一點十分依賴科技的發展與制作的技術。現有的制作工具還是主要針對于傳統電影的制作,功能也較為零散,不同平臺之間的壁壘也依然存在,但隨著VR 電影受到重視,相關的制作工具會繼續開發,目前的功能也會更加完善和強化,同時也可以借鑒游戲聲音的制作方式為VR 電影聲音創造更多可能性。

在此基礎上還存在人文與審美的感知。觀眾的主動選擇使得每個人聽到的內容都是獨一無二的,帶有個人的主觀判斷與審美取向,但作品是有表達的,電影總是希望能夠在精神層面上與觀眾產生共鳴。這一點則對創作者的意識有更高的要求,先進的觀念和思維作為指導才能夠創造出真正有價值的作品,因為優秀的作品最終不依賴于強大的工具,而在于如何表達。?