虛擬現實技術中的未來音頻制作技術研究新展望

2017-07-05 12:48:57姚國強

電影評介 2017年9期

姚國強

姚國強

一、基于歷史發展的聽覺藝術與視音頻技術的演進歷程回顧

（一）聽覺藝術發展歷史回眸

聽覺是人類重要的生理機能之一。依靠人類左右的兩耳可以感知到外部世界聲源的信息，從而達到人類認識客觀世界環境及聽到各種聲源變化的主要目的。因為人類言語的產生實現了人與人利用聲音進行實時信息交流的可能，并使得人類從此與自然界的其他生物之間發生了重要的性質變化。所以，聽覺藝術的形成之于人類則由來已久。音樂、繪畫和舞蹈的出現，則是人類文明社會和文化發展不斷演進的重要結果。

早在18世紀工業革命爆發之前，中國與西方的音樂藝術其實都已經相當的繁榮和發達。

1791年，英國人詹姆斯·瓦特剛剛改良完成的蒸汽機就被投入到紡織、采礦、冶金、造紙等工業部門。而那年正是中國清朝的乾隆56年，先后6次下江南巡視的乾隆皇帝迎來了其80壽辰。為了給酷愛中國戲曲的老皇帝祝壽，南方的“三慶”“四喜”“和春”“春臺”等四大“徽班”專程進京演出祝壽戲[1]，受到了皇族權貴及京城民眾的熱烈歡迎。此后，四大“徽班”就留在北京繼續進行民間演出，成為了京劇[2]發展史上重要的歷史事件。[3]

而自巴洛克時期之后，西方的古典主義音樂也迎來了輝煌的發展時期。奧地利的著名歐洲古典主義作曲家沃爾夫岡·阿瑪多伊斯·莫扎特[4]于1791年的年末去世，他一生創作了大量作品，包括器樂作品的協奏曲、交響樂和人聲作品的歌劇。他的音樂生涯前期為薩爾斯堡領主的樂師，后期去了維也納創作音樂謀生。此時，德國長笛演奏家特奧巴爾德·波姆改造完善了管弦樂中的木管樂器的發聲腔體及機械按鍵結構和指法體系，使得木管樂器的音色和靈活性得到了大大的提高，成為了交響樂隊中的固定樂器。莫扎特創作的大量經典音樂作品都是用這種改善后的木管樂器來演奏的，技術的進步促進了音樂形式的豐富與繁榮。由此可見，在18世紀末，想聽到某個作曲家、樂手或戲曲家表演的音樂作品并不是一件簡單的事情。因為即使是皇帝想要欣賞戲曲演出節目，也要興師動眾的南巡或者等待戲班跋涉千里上京才能實現。而其他的封建領主則需要自己掏錢供養樂師才能夜夜笙歌，只有在京城或者大城市的市民階層才能花錢看到著名樂師藝人的現場演出。

當第一次工業革命用蒸汽機打碎了封建君主制度的枷鎖后，便創造出了大量新興的行業。而城鎮市民的高速增長則為聽覺藝術新形態的發展提供了新興市場和變革契機。

19世紀末開始的第二次工業革命帶領世界進入到了電氣化的時代。基礎科學的進步和經濟的飛速發展，使得通信技術成為了民眾日常生活的必須。在意大利人安東尼奧·梅烏奇、英裔美國人亞歷山大·格雷厄姆·貝爾和美國人托馬斯·阿爾瓦·愛迪生對電聲傳送技術的研究基礎上，促使了電話在19世紀末的誕生。

1877年，愛迪生在對貝爾電話的改進工作中意識到可以通過帶針膜片記錄聲音，于是他在聲音的振動中刻蝕蠟紙從而保留下了聲音的軌跡。此后，他還與助手發明了利用圓筒上滾動的錫箔記錄聲音的圓筒留聲機（Phonograph）。

1887年，艾米爾·伯利納在圓筒留聲機技術基礎上研制出唱盤和一種叫Gramophone的圓盤留聲機，將聲音振動信號記錄在涂蠟圓盤上。[5]因為圓盤的攜帶比圓筒更方便，使得使用機械動力的78轉Gramophone留聲機受到了大眾的歡迎。從此，電話和留聲機的發明開啟了電聲學領域的技術大門。對于普通民眾來說，通信的現實意義就是不需要樂器和歌手現場演出也可以聽到音樂的時代終于到來了。留聲機推動了當時音樂藝術在大眾之中的流行傳播和發展。因此，時代的改變使得“聽音樂”一詞由聽現場音樂家的演奏音樂而變為了聽聲音載體上的音頻信息。而“聽音樂會”則成為了“聽音樂”一詞原本的含義。雖然這種變化最終導致“聽音樂”缺失了撫弄絲竹的樂趣，但是，聽眾卻獲得了可以隨心所欲地滿足聽覺審美鑒賞需要的能力。作為聲音藝術的音樂是隨著時代的變化而發生概念的演進與內涵的擴展，自此，聽覺藝術上升到了聲音藝術的領域。

（二）虛擬現實技術的基礎——視音頻技術的發展過程回顧

當今的虛擬現實技術實際上是一種綜合利用計算機系統圖形技術和各種顯示及控制設備接口、在計算機上生成多源的信息融合交互式三維動態視聽虛擬及真實場景，結合空間感知的“即時定位與地圖構建”技術（Simultaneous Localization and Mapping,簡稱SLAM）。這種技術可使設備實時地獲取到周圍的環境信息，以便能夠精確地將虛擬物體放到正確的位置上。同時，還可以利用觀影者的實體行為數據來提供觀影者沉浸于該仿真的虛擬環境中。虛擬現實技術實際上是一種具備新媒體特征的包含視聽觸覺的新技術。

技術的基礎必然是根植于視聽技術發展的歷程之中的。虛擬現實內容的制作技術也必然是與視聽媒體內容的制作技術的發展息息相關。縱觀留聲機的發明過程，虛擬現實中最為基礎的聲音保存與還放制作技術與當年留聲機的留聲技術，其最大的不同實際上是在聲音保存的介質上，而不是在發明原理上。

1879年，愛迪生和助手接著發明了著名的白熾燈泡。燈泡的發明有力地促進了電子科學技術的發展和電影技術的誕生。

1888年之后，愛迪生和助手利用白熾燈泡光線照射膠片上的圖像，發明了活動電影放映機Kinetoscope。活動電影放映機是通過機械裝置放映影像的器材，但是一次僅能供一個人播放觀看。

1894年，愛迪生在美國第一次舉行了活動電影放映機的公開放映活動。為了讓人們在看到畫面的同時又能聽到聲音，1895年，愛迪生研究了將圓筒留聲機Phonograph放入活動電影放映機的機器裝置——有聲活動電影機Kinetophone。這樣，視聽媒體就第一次被有機地結合在了一起。

1895年，法國人奧古斯特·盧米埃爾和路易斯·盧米埃爾發明了手提式電影放映機Film projection。同年12月28日[6]，盧米埃爾兄弟在巴黎卡布辛大街的咖啡館第一次用電影放映機和銀幕公開放映了自己拍攝的電影短片，公認的電影至此誕生。

1904年，英國物理學家約翰·安布羅斯·弗萊明根據1883年愛迪生在燈泡改進過程中發現并留下的懸而未決問題的“愛迪生效應”發明了電子管。電子管是一種可以放大電信號的電子設備。利用電子管的放大功能，電信號可以推動揚聲器發出巨大的聲音。

1906年圣誕節前夜，加拿大人雷金納德·奧布里·費森登在紐約附近設立了一個廣播站并進行有史以來的第一次廣播。廣播的內容則是由圓筒留聲機播放的英籍德國作曲家喬治·弗里德里希·亨德爾的《綠樹成蔭》（意大利語：Ombra Mai Fu）、費森登自己小提琴演奏法國作曲家阿道夫·夏爾·亞當的《圣善夜》（O Holy Night）、費森登自己演唱法國作曲家查理·弗朗索瓦·古諾的《喜歡和安靜》（Adore and Be Still）等音樂作品。費森登最后還朗讀了一段《圣經》中的《路加福音》（Gospel of Luke）。[7][8]而世界上第一座持有經營執照的電臺則是美國匹茲堡KDKA電臺。于1920年11月2日正式對外開始廣播。

1927年，以美國華納兄弟公司出品的《爵士歌手》為標志，到1929年華納公司的《紐約之光》[9]，有聲電影逐漸占據了電影市場主流。有聲電影中的光學錄音使用膠片感光的方式來實現。所以在現場拍攝時，聲音可以被記錄在膠片上。而放映時則通過光信號轉變為電信號，在電影院中還音出拍攝時所記錄下來的聲音。由于膠片上有齒孔的存在可以有效地保證膠片上的聲音和畫面能夠同步還放。

至此，1931年中國也誕生了最早的光學錄音電影《雨過天青》和《歌場春色》。[10]

不難發現，以膠片為記錄基礎的光學聲底與畫面印制在一起的優點是成本低、壽命長、易保存。

1898年，丹麥人瓦蒂瑪·波爾森發明了錄音電話機Telegraphone。[11]其實這是一種磁性鋼絲錄音機。經過第二次世界大戰的戰爭洗禮，20世紀50年代開始了磁性錄音設備的大量使用。比起此前的記錄介質，磁性錄音具有便攜性能強、制作成本低、音質好等特點。它還能夠在拍攝的現場就立刻還放。而這些優點是光學錄音時代所無法比擬的。之后，光學錄音系統主要被用來印制電影膠片的拷貝。畢竟電影膠片拷貝可以更方便地在電影院里還放畫面和聲音。因此，盡管光學電影錄音拷貝的還音質量惡評甚多，但是，首先電影拷貝在進行光學錄音處理及制片發行放映方面經濟便宜；第二，膠片拷貝要比磁性聲帶更容易保存。即使到現在，通過實踐發現一般的觀眾大多數人無法區別磁性4聲道還音和杜比光學4聲道的還音差異。[12]

二、電影錄音技術與虛擬現實技術發展進程對比

2014年，美國社交網絡平臺——臉書公司（Facebook）宣布收購沉浸式虛擬現實技術公司——奧庫魯斯公司（Oculus），實現了時隔7年后虛擬現實技術的復蘇。

2015年，全球資本市場大規模投入資金開始搶占工業4.0與互聯網+時代的新型視聽傳媒市場，實現了虛擬現實技術第三次爆發。科技帶動了電影電視的轉型，由此派生出來360°全景視頻、增強現實、混合現實和影像現實等虛擬現實技術。因此，虛擬現實對于音頻制作的發展創新就成為了必然要求。目前，對于虛擬現實圖像及視頻技術的研究正方興未艾，而對虛擬現實技術中的音頻制作技術的研究尚乏善可陳。因此，盡快展開虛擬現實技術中的音頻制作技術研究，對于增進國家文化技術“軟實力”、深化推進國家經濟“供給側改革”、開創“大眾創業、萬眾創新”社會則具有了迫在眉睫的社會意義及理論意義。

通過研究，虛擬現實技術最終呈現給觀者的是在虛擬環境中實施自主交互式的包含視音頻的內容及觸覺感知的內容。因此，這種內容創作技術是建立在電影電視技術和計算機游戲技術之上的一種全新形態的多媒體技術。其中的視頻與音頻創作技術必然與電影電視和計算機游戲的創作過程有著傳承和發展的關系。總結目前虛擬現實技術的專業特點，最為重要的核心特征就是具有計算機生成的可交互的、被稱為“虛擬環境”（Virtual Environment，簡稱：VE）的三維環境。

虛擬現實的技術特點是“實時”（Presence）、“交互”（Interaction）和“自主”（Autonomy）；而其重要的技術特征則是“3I”：“沉浸”（Immersion）、“交互”（Interaction）和“構想”（Imagination）。虛擬現實技術中的視音頻內容制作技術實際上是在傳統電影電視技術和計算機游戲制作技術的基礎之上有所創新和發展的一項新的技術。

（一）電影錄音技術的發展過程

廣播和電影的出現，使得聲音藝術及視聽藝術必須依賴于音頻制作這一技術制作環節。隨著科學技術的不斷發展創新，音頻制作工藝也發生了天翻地覆的變化。

1881年，法國人克雷芒·阿尼耶斯·阿德爾（Clément Agnès Ader）在巴黎展示了第一個雙聲道音頻系統（《科學美國人》Scientific American雜志對此曾進行過報道）。阿德爾使用一系列的電話拾音器連接從巴黎歌劇院到巴黎電子展的一套房間內，通過房間里的電話接收機，聽眾左右耳可以分別聽到在現場左右設置的電話拾音器進行的實況轉播演出。

1900年，巴黎世界博覽會上獻映了第一部環幕電影風光片。法國的格里麥·塞松發明的環幕電影畫面以360°環行包圍著觀眾。所以，環幕電影的聲音系統具有全方位的立體空間感。[13]

現代立體聲技術是20世紀30年代由英國工程師艾倫·布魯姆林在EMI所發明的。他的專利技術包含了立體聲錄音、立體聲電影、還有環繞聲。①Early stereo recordings restored.BBC.2008-08-01.Archived from the original on 7 August 2008.Retrieved 2008-08-07.http:// news.bbc.co.uk/2/hi/technology/7537782.stm.艾倫·布魯姆林早在1933年就開始了雙耳拾音的技術實驗。而對于電影中使用的立體聲技術直到1935年才完成。他的實驗短片《列車在海因斯站》（Trains At Hayes Station）完全實現了說話聲音跟隨畫面里演員的行走方向進行運動的技術設計。

1938年，英國科學家亞歷克·李維斯發表了作為電話科技的描述脈沖編碼調制（PCM）的第一個專利技術。而后，數字音頻技術經過了漫長的發展。

1952年9月30日，第一部西尼拉瑪電影《這是西尼拉瑪》公映①西尼拉瑪電影官網http://cinerama.topcities.com/.。西尼拉瑪電影使用的是35毫米全涂磁錄音和膠片，在放映時與三條畫面連鎖同步運動放映。這種立體聲影片有6個聲道。其中的5個聲道輸向銀幕后面的5組揚聲器，而另外1個聲道則作為觀眾廳內的環境聲揚聲器。

1955年，Todd-AO立體聲系統推出。它采用了65毫米的電影底片拍攝，然后擴印成70毫米涂磁拷貝進行播映。

1974年，臨場音響的森薩朗得系統立體聲Sensurround作品《大地震》公映。②森薩朗得電影官網http://www.in70mm.com/newsletter/2004/69/sensurround/about.htm.

1972年，日本天龍公司推出了第一個8個通道的數字錄音機DN-023R。這是一個4磁頭開盤式的廣播磁帶錄像機。4月24日第一次用于錄制了斯美塔那的四重奏表演和莫扎特的弦樂四重奏K.458和K.421。

1979年，日本的索尼公司和荷蘭的飛利浦公司合資公司開發了第一個數字光盤CD，并于1982年開始上市發售。

1987年，索尼開發了數字音頻磁帶DAT（Digital Audio Tape）。

1982年，阿根廷人烏戈·蘇查雷利（西班牙語：Hugo Zuccarelli）發明的人頭錄音（Dummy head recording）——Holophonics技術③Holophonics“全息聲音”http://www.acousticintegrity.com/acousticintegrity/Holophonics.html.令聽覺系統充當干涉儀，從而能讓聲音得到立體空間音響效果。Holophonics技術的聲音特征證明了用普通的雙聲道立體聲揚聲器也能有效的、清晰地聽出來立體聲。為了優化這種效果，揚聲器也被特別設計以重現波場合成（Wave field synthesis，WFS）錄音。

近年來，索尼以此技術還開發了虛擬立體聲聽音技術（Virtualphones Technology），利用了Holophonics技術的耳機來還放聲音，可以將5.1或者7.1聲道的立體聲轉換為雙聲道的立體聲來還放，并保留多聲道立體聲的聲場感受。

（二）虛擬現實VR的發展簡史和分類

1968年，伊凡·蘇澤蘭（Ivan Sutherland）與學生鮑勃·斯普魯（Bob Sproull）創造了第一個可以用于虛擬現實及增強現實的頭戴式顯示器系統，確立了VR的技術原理。這個第一次開啟了頭戴式虛擬現實系統的實驗應用，由于設備非常沉重需要掛在天花板上，所以，該系統又被戲稱為“達摩克利斯之劍”。

伴隨著20世紀70年代末的信息技術與計算機的興起，虛擬現實技術通過信息技術的支持迎來了第二次高速發展的時期。1982年，游戲行業久負盛名的美國Atari公司成立了虛擬現實研究實驗室。賈瑞恩·拉尼爾（Jaron Lanier）經過對虛擬現實相關技術進行持續研究和開發，于1984年創辦的VPL Research公司在研究可視化編程語言和數據手套等虛擬現實設備方面取得了較大的進展。雖然拉尼爾提出了“虛擬現實技術”，并使得“VR”成為當下已廣為人知的技術概念。但當時的VR試圖開發商業化時長卻未能成功。

2012年，奧庫魯斯公司生產的虛擬現實（Virtual Reality。簡稱：VR）產品——“Oculus Rift”眼鏡，通過國外知名眾籌網站Kick Starter募集到了160萬美元的風投資金。

2014年，奧庫魯斯公司被著名的美國社交網絡平臺——臉書公司（Facebook）以20億美元的價格要約收購。“Oculus Rift”眼鏡吸引了大批開發者投身于VR的項目開發中，正式打響了這場VR的世紀之戰。此后對Magic Leap的多輪風投引爆了2015-2016年VR產業的全面爆發。在所謂的VR“元年”之際，全球資本市場開始大規模的投入資金開發虛擬現實技術，搶占工業4.0與互聯網+時代的新視聽傳媒市場份額，預示著時隔7年的VR技術開始正式復蘇，重返商業化的市場競爭，因而從發展的角度實現了VR技術的第三次爆發。

目前，虛擬現實大致可以細化為以下幾類：

表1 虛擬現實分類及特點、代表技術與裝具

表2 虛擬現實與電影立體聲制作的歷史對照

三、電影數字立體聲與虛擬現實音頻的制作模式

在簡述了聲音藝術創作中音頻技術的發展脈絡后，對比VR與電影音頻制作的開發歷程，不難看出，兩者之間十分有意思的時間對應關系。

（一）電影數字立體聲與虛擬現實音頻的發展制作對比

自電影聲音數字化以來，世界上主要的電影立體聲錄還音制式大致由杜比Dolby、數字影院系統DTS和索尼數字動態立體聲SDDS此三家系統構成，基本壟斷了全世界的商業電影市場。由此，高清數字電視也選用了杜比數字立體聲系統作為廣播伴音進行播放。近年來，杜比全景聲、巴可數字聲以及中國學者研究的全維度環繞立體聲（ADSS）[15]等新的數字空間聲系統也層出不窮，使得音頻技術與聲音藝術創作者對于空間聲再現真實世界中的環境聲場的學術研究也保持著不斷發展的態勢。

現階段開發制作VR、AR、MR及CR聲音的主要工具引擎有Unreal、Unity、Cryengine、TORQUE、COCOS、UNIGINE等。在節目的編程開發及美術、聲音設計上，新的工具引擎開發與畫面、聲音技術制作模塊的優化和完善已然成為一個必不可缺的主要技術環節。開發新的硬件器材和相關的App、研究工具引擎的應用技術也正是VR音頻制作進程中的主要任務。所以，盡管目前正處在VR的開發與發展期，但是群雄割據但還沒有國際統一的技術標準，所以基本上還是各說各的為多。由此，要進一步地開發出通用的VR硬件裝備加入到混合現實（MR）及影像現實（CR）的內容制作及播放環節中。同時，還要進一步地改造現有的傳統觀影場所，以適合發展中的各種形態和制式的虛擬現實影像的還放體系。

前述可見，目前虛擬現實技術以及內容的呈現基本是利用個人的裝具來實現的。而電影、游戲與VR呈現的聲音則采用了不同的還放途徑。

通過體驗VR、AR、MR裝具，可以發現，虛擬現實、增強現實以及混合現實的音頻隨著內容分類的不同而呈現出制作模式的差異。音頻的播放，大致是在游戲應用和類似地圖導航的應用中，通過計算機游戲引擎和地圖的變化來帶動不同的聲音素材在交互活動中實現播放的。由此，聲效音頻不一定具備影視同期聲的精確聲場定位，虛擬物體的聲效也不一定要匹配真實物體發出的聲音。大部分聲音只有簡單的語音、聲效和背景音樂，無刻意研發和創作的空間聲還音體系。而在影像現實和360°VR影視中，聲音的呈現方法則與現代數字立體聲電影一樣需要高度的逼真。這兩類不同形態的聲音導致了音頻制作體系的不同。所以說，這導致了在目前現有的電影立體聲制作體系和游戲聲音制作體系之外有了新的發展要求和制作變化。

有聲電影的聲音，如語言、音響及音樂在播放時必須與畫面一一對應（聲音蒙太奇中的對位手法除外）。而電影聲音及畫面的運動則被導演的藝術設計所操控，所以觀者在觀影過程中是無法操控的也不能在技術上與故事內容進行參與和互動的。因此，電影中的聲音與畫面必然是與經過剪輯設計的時間線所對應，只能通過導演設計的視角來觀影和聽聲。例如，電影《兵臨城下》①電影《兵臨城下》Enemy at the Gates.2001.http://www.imdb.com/title/tt0215750/.中，參加斯大林格勒戰役的狙擊手瓦西里在噴水池的尸體堆中隱蔽著，利用戰場炮聲響起的時刻開槍射殺敵人。影片中此段落是完整的一個外景場景，鏡頭經導演設計后成為了主觀或者客觀的視角，并不會因為不同的觀者在觀看時產生時間上的差異。因此影片在電影院放映時，電影中所有的語言及音響都會與影片的空間環境相一致，與實際發聲的聲源及發聲時間所對應。

而交互式電子游戲的聲音呈現方式是游戲參與者在觸發了地圖中的某個物體或者區域后才發聲。因此，其語言及音響必然是在關卡中伴隨游戲參與者的動作進展而互動，而與背景音樂BMG的發聲而互不連貫。這樣其聲音與畫面就沒有了必然的時間線對應，畫面只能看到由游戲參與者和游戲設計者選定的視角。例如，在游戲《使命召喚》②游戲《使命召喚2》Call of Duty2.2005.http://www.imdb.com/title/tt0469287/.中，在斯大林格勒的關卡中，游戲參與者扮演狙擊手瓦西里在噴水池尸體堆中隱蔽，游戲提示游戲參與者必須利用戰場炮聲響起的時刻開槍射殺敵人。此關卡段落是完整的一個外景場景，游戲視角完全被設計成了游戲參與者的主觀視角。由于游戲參與者的心理承受能力和反應靈敏度各有差異，有可能某些游戲參與者可以立即完成射殺任務，而有些游戲參與者則可能需要等很久才能完成射殺任務。這種互動能力的差異就產生了關卡時間長度的差異。因此，語言及音響將伴隨游戲參與者的操作而由游戲引擎帶動同步發聲，而背景音樂BGM則會不斷的循環播放去等待游戲參與者完成任務。因此，這個音樂和語言、音響就不會像電影音樂那樣同步一致。這就使得這兩種聲音在與畫面相向而行時互不一致。電影中，聲音與畫面同步一致，但在游戲中則不一定能做到同步一致。

特別是在360°VR影視中，由于整個環境空間都已被事先拍攝下來，所以，當觀者頭戴眼鏡隨意調整視角在360°空間內自由觀看時，聲音的定位也是不一致的。電影《兵臨城下》中瓦西里在噴水池中狙擊敵人的段落在360°VR影視中則會向觀者開放360°環境空間，由觀者自由選擇參與觀看時的視角，可以身臨其境的全方位體驗和感受電影中戰場的冷酷和血腥。由于在多次觀賞過程中可以隨意的處于不同的環境位置，從而可以更加深入的感受到藝術家藝術創作與造型設計的美學意義。根據360°VR影視全視角無死角的圖像特性，360°VR影視聲音制作工藝及流程必須要融入對視頻和觀者運動捕捉的處理構思與設計。因此，360°VR影視包含并且兼容傳統電影的聲音制作工藝及流程，也是最接近電影制作工藝的影像展示方式。

（二）虛擬現實中音頻制作模式的新發展

1. 運動捕捉與三維空間跟蹤技術

為了開發制作虛擬現實視音頻產品，傳統影視聲音制作體系和模式將要融入新的技術和知識內容。首先就是聲音制作者必須掌握動作與運動捕捉技術。其中包含了對觀者的運動捕捉和對被拍攝物體的運動捕捉及三維空間跟蹤兩個部分。在虛擬現實內容產品體驗過程中，觀者完全沉浸在一個360°自由的互動虛擬空間中，在這個虛擬空間中觀者的身體會發生各種不同方位的運動。因此，通過光電攝影機及傳感器來采集和捕捉人體運動的數據來融合交互式三維動態視聽虛擬及真實場景，以及結合空間感知的“即時定位與地圖構建”技術來對聲音的產生、聲像的變化與角色語言的交互互動就變得具有非常重要的意義了。

其次是對被拍攝物體的運動捕捉。這種運動捕捉技術早已成為電影視頻特效制作中的一個重要環節。通過掌握被拍攝物體的運動捕捉數據，在聲音動作效果的處理上就具備了精準的時間性與空間性客觀因果對應關系。例如，目前在電影特效制作中的三維空間跟蹤技術可以在視頻工藝中重建三維虛擬環境，通過運動捕捉和三維空間跟蹤技術可以替換掉畫面不需要的內容。這些數據還可以進一步結合虛擬現實開發工具和引擎，為自動交互和添加各種不同的聲音及創建實時的、隨觀者運動變化的空間聲場建立起數據基礎。所以說，聲音制作者如何利用和處理這些運動捕捉數據對于虛擬現實中的音頻制作具有舉足輕重的關系。

2. 視音頻制作統一設計的合成技術

在360°VR影視作品的拍攝錄制中，由于打破了傳統電影的畫框限制，觀者可以跳出導演與剪輯預設的故事窗口，自由自在地融入到場景之中。傳統電影的聲音拾音方式必然要受到巨大的技術挑戰，話筒和話筒員將面臨著無處可藏的困窘境地。為了避免話筒和話筒員進入畫面穿幫，傳統電影錄音制作中會采取各種方法來隱藏話筒或者使用微型話筒。這種方法在一定程度上雖然避免了穿幫，但卻可能影響到錄音的技術質量。

聲音藝術理論和實踐工作者通過多年的創作經驗積累和總結出了“同期錄音三原則”[16]和“同期錄音的五條基本原則”。

“同期錄音三原則”指出：同期錄音時，語言聲音要優先于音響聲音錄制；畫內聲音要優先于畫外聲音錄制；錄音助理(話筒員)工作時要面向演員和攝影機。

“同期錄音的五條基本原則”[17]則指出：聲畫景別相一致的原則；畫內突出主體的原則；畫內聲（臺詞）與前景聲（臺詞）為主的原則；話筒盡可能逼近發聲體的原則；收錄主臺詞盡可能避免噪聲的原則。

當進行完全開放的360°場景的同期聲音錄制時，如果在人物比較多的場景中可以將聲音拾取工作人員設計為串場的龍套人物角色進入畫中，以此使話筒員成為合理的存在。但是場景在草原或沙漠、大海之中錄制對話同期聲，或者在交響樂隊中錄制演奏，如果繼續隱藏或者使用微型話筒，在這種情況下錄音工作會遇到相當大的困難，難以實現上述的原則或者導致錄制的聲音質量損失過重。因此，聲音藝術工作者就需要掌握基本的圖像擦除技術，使用擦除技術可以有效的打破隱藏話筒的局限。例如，在一個360°VR影視靜止的真實外景草原對話鏡頭中，話筒和話筒員可以隨意的逼近被拍攝對象，在后期制作時再在圖像中擦除掉話筒和話筒員的影像，從而保證了畫面內容的單一性。如果所拍攝的是運動鏡頭，就需要更好的掌握高水平的擦除技術。而當聲音工作者掌握了這種擦除技術之后，同理也可以擦除掉周圍影響畫面的照明設備或是其他出現中畫面中的人員或景物。所以此技術必然會對聲音創作以及其他部門產生積極、有益的促進作用。

3. ADR技術

ADR技術也就是自動對白替換技術（Automatic Dialog Replacement）。ADR技術很早就被運用在了電影聲音的制作之中了。可以想象，ADR技術在虛擬現實作品的聲音制作中也可以大量運用。首先就是在非真實的內外景拍攝及同期錄音時，由于需要進行藍綠幕背景的摳像特技攝影，受現場混亂或者大量動作捕捉器材設備及信號的影響，同期錄音可能非常棘手。此時，ADR技術就可以有效地展開對白替換，結合圖像擦除和合成技術完成同期聲場環境中對白效果的模擬。同理，在真實的內外景拍攝及同期錄音時，前述的圖像擦除技術和運動擦除復原技術以及ADR技術結合，也可以達到保證對白質量的技術目的。

4. 引擎音頻開發和應用技術

由于虛擬現實的特點是“實時”“交互”“自主”“沉浸”和“構想”。虛擬現實影像作品可以使觀者具備自主自由交互運動的觀賞能力。因此，傳統電影中由導演與剪輯設置的時間進度也就被顛覆了，聲音與畫面沒有了剪輯設置好的對應時間線。這種虛擬現實作品的聲音制作就具備了傳統電子游戲的音頻制作特征。

另外，傳統電影聲音制作工藝中所有的聲音素材添加與調整，立體聲的分配完全是由聲音設計師的主觀藝術設計和傳統的手工制作模式來完成的。而音頻參數的調整大部分是憑著錄音師的創作經驗和主觀聽覺感受來進行調整的。特別是擬音環節則完全是手工創作的。大量的數字設備，如數字音頻工作站（DAW）則僅僅是參與了手工處理流程的效率提高，并沒有帶來智能化的改變。因此，這種手工的模擬制作方式模式是無法適應在虛擬現實中觀者主宰時間線的進程和互動隨機的位置以及自由在空間變化的情形。所以，此時聲音藝術創作者就需要運用虛擬現實的引擎和開發工具來進行虛擬音頻的制作和開發相關的APP。這樣對聲音資料素材的使用及調度完全可以自動進行。因此，掌握聲音引擎的開發技術可以進一步的促進VR聲音的國際化技術開發標準。例如，可以利用類似C語言進行音頻的虛擬周邊設備的開發處理和虛擬全景電位器的聲音素材自動分配技術，或者開發出可以實時調用聲音素材庫的模塊來結合畫面運動進行動作捕捉和三維空間定位的數據，從而實現交互還原虛擬空間環境中的聲音素材與立體聲場的定位變化。另外，虛擬現實對于音頻制作技術的另一個領域則是觸覺震動，聲音本質上是一種機械振動，模仿虛擬現實中觸覺感知的震動也可以經由音頻引擎的開發帶動驅動相關放大器和觸覺電子器械的實時響應。

5. 虛擬現實立體聲聲場在影院的還放技術

在虛擬現實的技術開發與內容制作領域內，由于電影立體聲技術的發展歷史成熟而久遠，已有了大量的成型技術與內容產品。同時，聲音的數據量相對于圖像的數據量要小得多，在現有的計算機技術條件下，已具備了可以快速實時上傳下載的能力，而聲音創作的周期與人員配置也較為靈活。所以，VR的聲音制作已具備了天然的優勢。但是，我們也不得不意識到虛擬現實的音頻制作之路上還存在很多的挑戰。例如，空間聲場的還放技術還不成熟。由于虛擬現實的觀看和聽音系統基本上是靠個人化的頭戴裝具模式來實現的。盡管頭戴裝具也具備了運動捕捉定位功能。但由于觀者會隨著內容進行交互運動，所以聲音的傳輸則應該采用無線技術以避免產生線纜纏繞捆綁觀者的危險。在此基礎之上，我們可以開發出虛擬聽音裝具的專利，開發出聽音衍生市場商業應用版權的技術。

盡管耳廓效應的存在導致耳罩式耳機比耳塞式耳機更具備聽音方面的優勢，但是，耳機先天性的缺點在于還放低音的能力不如揚聲器。因此，在有條件的情況下應該在耳機中設置還放低音補償的揚聲器。由此我們可以引申到對現有電影院的改造。為了適應立體電影，絕大多數電影院都引入了立體放映系統和觀者用的專用眼鏡。所以，在虛擬現實作品的影院播放模式中也可以參考立體電影的分發專用眼鏡的制度。將影院改造為使用無線傳輸聲音信號，增加對觀者的運動捕捉定位設備。通過分發無線接收音頻的VR頭戴式裝具給觀者，同時打開影院的低音揚聲器，可以在虛擬現實發展的時代盤活當下的立體影院資源。進一步開發通用硬件加入到MR混合現實及CR影像現實的內容制作及播放環節中，進一步的改造現有的影院，才可以適合多種形態和制式的虛擬現實還放體系。

綜上所述，虛擬現實中音頻制作模式將出現新的技術發展，電影也將面臨類似前述音樂藝術表現形式概念發展變化的情形。如同音樂與戲劇本質上是不同的藝術，但是可以發現存在二者形成交集的歌劇及音樂劇藝術形態，同樣虛擬現實本質上與電影也是不一樣的，但是兩者在視聽制作技術上能夠形成大規模的交集。因此，新的機遇可以帶動虛擬現實與電影自表現內容形式的差異開始進而逐漸形成各自新的制作技術體系。我們相信，聲音藝術理論與聲音制作教育也將隨著虛擬現實技術的發展而進入到了一個新的發展時代。

[1]中國藝術研究院音樂研究所.中國音樂詞典[M].北京：人民音樂出版社，1985：199.

[2][4]王沛綸.音樂詞典[M].北京：文藝書屋,1977：386,78.

[3]封杰.勾勒京劇形成之路展現數位卓越功臣——簡評《同光十三絕合傳》[J].中國京劇，2014(10)：84-86.

[5]姚國強.電影電視聲音創作與錄音制作教程[M].北京：中國電影出版社，2011：3.

[6][12](日)日本映畫テレビ技術協會.映像製作のためのサウンド·レコーディング[M].日本：寫真工業出版社，2003：6,156.

[7]Helen May Fessenden.Fessenden:Builder of Tomorrows[M].US:Forgotten Books，2015：153-154.

[8]Engineering and Technology History Wiki.Milestones:First Wireless Radio Broadcast by Reginald A.Fessenden, 1906[M].2015.

[9]馬守清.現代影視技術辭典[M].北京：中國電影出版社，1998：11.

[10]許南明.電影藝術辭典[M].北京：中國電影出版社，1986：518.

[11]姚國強.影視錄音聲音創作與技術制作[M].北京：北京廣播學院出版社，2002：2.

[13]姚國強.環幕電影《龍城風光》數字多聲道立體聲錄音新工藝影視技術[J].現代電影技術，1999(9)：24-32.

[14]歐躍發.基于虛擬現實的移動學習模式探析[J].中國科教創新導刊，2010(22)：71.