虛擬影像中管弦樂與數字化設計結合分析

馮曦 張晶晶

摘 要：目前，在眾多的電影電視及多媒體舞臺表演中，虛擬影像與管弦樂的組合是視聽空間的主要形態。虛擬影像的技術與藝術想象激發了傳統管弦樂創作方式與音響觀念的變革，管弦樂得以在聲響層次、聲場空間、沉浸式審美體驗上展現其前所未有的改變。本文將從這3個方面具體分析數字媒介中傳統管弦樂審美形態的變化及其影響。

關鍵詞：虛擬影像;管弦樂;音效;聲場空間;沉浸

虛擬影像是指完全以計算機視頻算法處理制作而成的數字化電影圖像。自計算機技術應用于電影領域近半個世紀以來，虛擬影像以其夢境般的視覺奇觀不斷刷新觀眾的幻想邊界，以強勁勢頭活躍于電影媒體;同時也愈加廣泛地應用于網絡、游戲等新媒體以及現代歌舞劇等需要多媒體舞臺布景的場合。當下，在眾多的商業影視作品中，虛擬影像與管弦樂的組合成為視聽聯覺創作的主要結構形式。在數字影像幻境的創造過程中，管弦樂配樂的聽覺聯動，雖然保持了固有的創作思維、織體結構和音樂語言形態，但在數字化革命的浪潮中也孕育出獨特的藝術觀念、審美趣味與闡釋方式。

如果將傳統電影配樂中管弦樂隊真實錄制、原聲回放的電影音樂形式稱為傳統管弦配樂，那么，傳統管弦配樂時代努力創造的音畫統一關系在數字技術的推動下被悄然改變。音樂與音效創造性地組合與疊加，聲音的潛質與天馬行空的虛擬影像不謀而合。管弦樂得以在聲響層次、聲場空間、沉浸式體驗這3個方面上展現出其前所未有的審美創造能力。

1 樂中的音響——數字音效與傳統管弦樂的結合

管弦樂與數字音效的結合是數字虛擬空間音畫結合的大膽嘗試。這里的數字音效特指經由計算機軟件算法生成及效果處理后而得到的音響。數字音效的產生源于虛擬影像的需求，它是塑造虛擬物象真實性的利器。虛擬影像是設計者借助計算機創造出的虛擬物象，它一方面展示超越真實的各種奇特幻象，呈現高度的假定性，另一方面又描摹真實物象，努力創造虛擬的真實。“數字化的電影仍然是假定性和逼真性相互依存和相互制約的，只不過沒有物質基礎的擬像反倒比傳統影像顯得更加真實。”[1]從某種意義上來說，音樂也具有高度的假定性，“音樂的聲音是非自然性的，是通過人的思維活動創造出來的音響，是一種創造性的音響”。[2]實際上，超越自然音響的音樂是人類在聽覺上對虛擬空間描繪的產物，是人類思維在聽覺上的投射物，與視覺上的虛擬影像產生聯覺效應。數字音效賦予虛擬影像真實性，但與傳統影像聲音不同的是，數字音效不是對現實音響的拷貝，而是一種被高度建構的音響。它是經由計算機數字合成器發出的電子虛擬聲，或是自然音響經過復雜的數字處理后的音響。從這個角度來說，數字音效也是一種非自然性的、創造性的音響。兩者的疊加即能引發人們在聽覺上產生強烈的虛擬體驗。因此，管弦樂與數字音效的結合是數字視聽虛擬技術發展的必然。

1.1 情景渲染的同步整合

情景渲染的同步整合是指在特定的視覺現象出現之時，聲音段落中一個音樂事件與一個音效事件為渲染某種情緒而交匯整合同步出現。自百年前有聲電影工業起步，管弦樂即以豐富的音響和情感表現成為影視藝術情景渲染的有力工具，電影影像的管弦樂配樂傳統沿襲至今，并依然是聲音空間的主要情感傳達載體。數字技術應用之前，電影音效主要致力于對現實音響的捕捉和還原，音樂與音效之間缺少同步交匯。數字技術的運用大大提高了音效的音色合成與處理能力。設計者可以通過加工、疊置、重新混錄或剪輯等手段，賦予音效更多的內涵與情感，在音響的真實性之外投射音樂的表演性，使音效具備情景渲染的能力。“如果電影中復現出來的聲音和現實中的情況完全一樣，觀眾就會覺得這些聲音沒有那么真實、有效、恰當。如果想達到這種要求，電影聲音就要渲染出與之相聯系的感覺。”[3]虛擬影像容納了各種現實場景的夢境視覺，為管弦樂與數字音效的情感疊合創造了優越的條件。

管弦樂與數字音效的同步整合有3種類型。

（1）重音式同步渲染。重音式是常見的音效與音樂的同步形式，表現為音效的關鍵音落在音樂的節拍重音點上，形成重音的重合。其視覺上同步點一般為視覺沖擊力強的動作、移動場景或高格鏡頭之處。重音式同步使音效與管弦配樂產生準時、瞬時和突發的一致性，突出了敘事情節的關鍵基礎。電影《海王》大量使用了這一重音同步渲染方式。如開場海洋館里小海王亞瑟遭到同伴挑釁毆打時，背后游泳的鯊魚突然面向挑釁者猛烈地撞擊玻璃，一聲沉悶有力的撞擊聲以重音鼓點形式正式托出管弦配樂，伴隨第三聲撞擊聲，配樂進入第二個樂句的演奏，漸入高潮。影片中眾多的搏斗場景描寫大量使用了配樂與音效在重音點處疊加的形式。如配樂片段結束時的重音與高崖跳水時的電子音效或海底飛行器的引擎啟動聲同時產生，以光束爆射音效重音開啟新配樂段落，以重音音效作為配樂轉折段落的轉場銜接。這一方式增強了音畫結合的緊密度，讓人產生音畫一體的幻覺，同時也有助于通過視聽聯覺創造刺激點，不斷出現逐級增強的刺激，使得觀眾的情緒被緊密吸引和跟隨，達到導演預期的目的。

（2）錯位式同步渲染。錯位式同步是指音樂與音效互為節奏、先后交錯出現形成一個新的節奏型。它打破原有的音樂節奏慣性，通過聲音音色與節奏的變化形成配樂的“離調”效果。這一渲染方式對音畫時間同步的精確點要求較高，需要音效設計者與作曲家緊密配合。如電影《創·戰紀》中主人公薩姆深入虎穴尋找父親主光盤的下落，結果陷入被出賣混戰的局面，命懸一線之際，薩姆的父親及時出現。電子舞曲風格的配樂被一聲渾厚有力的降調低音截斷，此音效是父親威嚴與力量的代表。在降調低音之后，隨著父親的起身與鏡頭的上移，音效轉為迅速升調的重音，并迅速開啟新的電子配樂模式，節奏的起伏變化在電子音效的起落下轉換，形成獨特的聽覺效果。

（3）標點式同步渲染。標點式同步將音效作為一個段落結束時一種標點的形式來與音樂配合，畫面情節段落的管弦配樂與音效軌道看似分離，直到段落結束時匯聚。它使音樂與音效對畫面的渲染更具重量與厚度。如在電影《時間規劃局》中，男女主角共同經歷的緊張段落均是以管弦樂推進情緒氣氛。管弦樂通過不斷反復的節奏型，漸次遞進的旋律音高，以及密集動蕩的鼓點來逐漸拉升觀眾的情緒飽和度。在危急的情節終于落幕，觀眾期待管弦樂的結束音之時，音樂在聲音空間中卻突然消失，而被一個強有力的音效取而代之，給這一段落加上了句號。標點式的音效代替了常規音樂的和弦式結束音，創造性地結束一個劇情段落。配樂與音效標點式的同步創造出特殊的聲畫同步效果，它打破了管弦樂敘事常規的終止模式，使影像劇情節點的戲劇性得以夸大。

1.2 音色邊界的模糊化

數字技術使管弦樂與音效的聲音在音色的融合度上提升，尤其是電子音色的產生讓管弦樂與音效的邊界日益模糊化。隨著數字技術的發展，影視管弦樂的創作愈來愈多地依賴計算機音頻工作站完成，可在工作站平臺中使用的管弦樂數字采樣音色逼真細膩、體量龐大，為作曲家提供了有力的音色素材支持。較逼真地采樣音色，在計算機中依然可以進行電子化處理，這樣的處理客觀上推進了與電子音效的融合。如電影《盜夢空間》，影片創造了管弦樂配樂與電子音響互相融合的優秀范例。管弦樂配樂大量出現在人物制造的夢境場景中，為了區分夢境與現實，突出夢中情景的玄幻與沉重，作曲家在利用管弦樂隊發揮渾厚宏闊音響的同時，又加入大量厚重的電子低音或金屬質感的空闊音效。為了增強音色的融合度，管弦樂隊的低音聲部與高音聲部被強化，部分樂器予以適度的空間音效果的處理，使音色的融合更為自然流暢。同時，作曲家在創作手法上也突破線性旋律表現的思維，樂隊主要以長音線條勾勒和弦變化。即使在表達主人公對愛人和家人的思念之情時，作曲家也取消了線性旋律的歌詠，轉而通過大提琴八分音符節奏的演奏烘托情感的涌動，巧妙減小了音效點狀聲音與管弦樂整體音響之間的差異。

與此同時，工作站中的數字合成器音色豐富多樣，無形中為傳統管弦樂的聲音提供了充裕的音色補充。一些作曲家在傳統管弦樂配器中根據部分虛擬影像的需求會適當地加入電子合成器音色，以增強虛擬場景中光暈、機械、電子或金屬質感的表現。如影片《創·戰紀》，故事的主要背景是虛擬電子網絡世界，由3D技術創造的電子空間由各種電子高光的場景模型構成，管弦樂配樂在基本配器基礎上，加入大量電子琶音音色與厚重的電子低音或鼓點來配合畫面中的數字模擬世界。

2 虛擬的聲音空間——數字聲音技術下的再造聲場

“空間”這一詞在聲音研究領域被學者廣泛提及。著名學者維列克對聽覺空間的理解：“我們聽音的時候，即使只通過聽覺，也能在某種程度上感覺音源體的方向與距離等，可以把這樣建立起來的空間稱作為聽覺空間。”[4]這里，維列克強調了人對聲音信息的判斷是聽覺空間建立的基礎，強調人耳對聲源方向與距離的感知是構建聽覺空間的核心因素。在現實環境中，人耳對聲源方向與距離的感知明顯受制于所處的客觀聲場環境。例如，在劇場聽交響樂，雖然觀眾身處于同一個物理空間環境，但因座位前后上下的差異，觀眾的聽覺空間各有不同。座位靠近舞臺的觀眾聲源分辨清晰，能獲取更多的聲音細節;但因位置距離較近，聲源的直達聲過多，空間反射聲較少，距離感知較弱，建立的聽覺空間較小。座位遠一些的觀眾耳朵接收的直達聲少，反射聲多;對聲源的辨別能力較弱，距離感知明顯，建立的聽覺空間較大。如將劇場再分大、中、小不同類型，聽覺空間大小的反差將更為明顯。由此可見，在現實環境中，人們聽覺空間的形態在很大程度上受客觀聲場的大小、結構以及噪音環境等因素的限制。然而，在音樂會、歌劇、舞臺劇或電影等涵蓋聲音表現領域的表演環境中，不同的聽覺空間對觀眾的聽覺審美至關重要。在狹窄局促的空間，聲音顯得密集喧囂，在過大的空間，聲音混響加大，高頻衰減而含混不清，質感大打折扣。良好的聽覺空間是距離聲源有一定位置、能清晰分辨聲源位置、能獲取良好直達聲與反射聲比例的空間。在這樣的聽覺空間，觀眾才能獲得飽滿、均衡、動態清晰的聲音，才能清晰地體會到藝術家表演或音樂作品的聲音魅力。

20世紀80年代以來的數字音頻技術，將錄音工藝推向了嶄新的階段。在數字技術不斷發展的過程中，音頻信號的采集在信噪比、失真度、動態范圍和頻響等技術指標上明顯改善。計算機音頻工作站實現了大批量多軌道錄音的可能，使聲音的編輯、處理與合成縮混更加直觀便捷。數字環繞立體聲和全景聲技術不僅能再現自然聲場，也能基于聲源藝術化地再造一個聲場。數字錄音技術在傳統管弦樂上的應用，使管弦樂作品的音響呈現鮮明的再造聲場形態。“在錄音與重放之前，一首管弦樂作品本身就是一個完整的藝術品，具有完整的音響形式與藝術形象，錄音只是對它的重現和記錄。但在數字多軌錄音中則不然，因為是分軌錄制每一聲部，在合成之前并不存在一個具有完整音響形式的藝術品。只有在經過錄音師的縮混之后，一個具備完整音響形式和藝術形象的作品才真正產生。是錄音賦予它賴以存在的音質、聲像、聲場信息等一切物質要素，包括它的形象。”[5]也就是說，錄音師可根據聲源的基礎聲音，對細節樂器和整體聲響進行音色、音質、方位和距離的調控，創造所需聲場空間。

如電影《三生三世十里桃花》的配樂，在西方管弦樂配器的基礎上加入了部分中國民族樂器。為了表現出美輪美奐的虛擬影像時空，管弦樂隊在演奏描繪仙境場景的旋律之外，還需要借助錄音技術所創造的特殊聲場還原播放，才能創造出“此曲只應天上有，人間能得幾回聞”的聽覺效果。錄音師利用混響、均衡和聲道技術適當改造管弦配樂的真實音響，根據情節的需求調節音響中真實和虛擬成分的比例，為觀眾創造美化虛無的聲音空間。

3 沉浸性聆聽

沉浸性指將觀眾全身心投入于計算機生成的虛擬環境中的能力。觀眾在此環境中會覺得自己是這個虛擬世界的一部分，而不是一個旁觀者，所見所聞完全與真實環境相同。沉浸性是目前數字虛擬技術發展的重要特征，也是視聽技術研究與應用的熱點。目前，已進行商業推廣并帶來強烈沉浸式體驗的虛擬技術有VR、AR、MR、全景聲技術及3D音頻技術。虛擬視聽技術已緊密結合形成虛擬現實系統，主要應用于電影、游戲、劇場等文化娛樂領域。虛擬現實系統打破了信息平面展示的模式，可以向體驗者提供360度的完全視角、細膩逼真的立體畫面以及三維立體多方位的音響。體驗者進入虛擬現實中后，可以對所在環境進行一定程度的自由探索，場景畫面與聲音隨之發生改變，觀眾對劇情、環境和聲音的沉浸感體驗煥然一新。

全景聲技術或3D音頻技術，為傳統管弦樂的審美與傳播帶來了更多的沉浸性，使得沉浸性的審美逐漸成為一種普遍現象。虛擬現實系統中，傳統管弦樂的錄制、縮混與輸出重放雖然要經過編碼、聲場成像、解碼等復雜流程，但最終觀眾可以獲得精確還原的聲場空間、清晰的樂器聲源定位與均衡分明的聲部層次，如置身于交響樂隊之中。對于觀眾來說，音樂的接受不再只是單純的音樂內容形態的接受，更是對音響沉浸感的接受。清晰飽滿、層次分明的沉浸式音響，能夠激發聽眾強烈的在場感，直接刺激聽眾的生理反應，加快聽眾對音樂內容的意義認知。如全息聲電影以及一些虛擬影像在舞臺表演空間的應用，如上海四維音樂工程設計公司將全息聲技術引入上海北外灘交響音樂會，對音樂表演現場進行了沉浸式的全息聲音響設計。從聲音采樣制作、現場拾音到現場擴聲，對音樂內容及音效內容的呈現進行三維立體的創作，突破音樂還放的平面狀態，讓觀眾體驗身臨其境的全息感官享受。

4 結語

在“藝術+設計+科技”的時代大潮中，傳統音樂藝術形式的改變不可避免。傳統管弦樂已經歷三百余年音樂廳式的創作、表演與傳播，今日逐漸走向與其他藝術形式的融合。虛擬影像與傳統管弦樂的結合是技術發展與藝術融合的必然結果，在結合過程中逐漸形成鮮明的視聽審美形態，如音效層次的增加、立體化空間的還放等。隨著技術的進步，管弦樂與虛擬影像的結合將有更多的創新點需要研究與實驗。

參考文獻：

[1] 楊新宇，高太梅.高科技對電影美學的影響與沖擊[J].上海大學學報，2010（06）：61.

[2] 王次炤.音樂美學[M].北京：高等教育出版社，1994：11.

[3] 米歇爾·希翁（法）.視聽：幻覺的構建[M].黃英俠，譯.北京：北京聯合出版社公司，2014：214.

[4] 渡邊護（日）.音樂美的構成[M].張前，譯.北京：人民音樂出版社，1996：72.

[5] 伍建陽.再現藝術聲場與再造藝術聲場[J].現代傳播-北京廣播學院學報，1997（02）：31.

作者簡介：馮曦（1980—），男，上海人，南京藝術學院傳媒學院博士研究生、副教授，中國傳媒大學南廣學院錄音教研室主任、副教授，研究方向：數字媒體藝術，錄音藝術。

張晶晶（1982—），女，江蘇連云港人，中國傳媒大學南廣學院副教授，研究方向：影視聲音設計，錄音藝術。