放談沉浸式電影聲音技術(shù)

甄 釗

（北京電影學(xué)院，北京 100088）

放談沉浸式電影聲音技術(shù)

甄 釗

（北京電影學(xué)院，北京 100088）

介紹近年圍繞沉浸式電影聲音的學(xué)術(shù)研究、概念形成和產(chǎn)業(yè)面臨的問題，反映對這些問題的思考；介紹年內(nèi)在該領(lǐng)域發(fā)生的重大事件及其影響。

沉浸式聲音；基于對象處理；基于聲道還原；基于波場合成

近兩三年，沉浸式聲音（Immersive sound）似旋風(fēng)般席卷了好萊塢，并迅速在全世界蔓延。Dolby Atmos（杜比全景聲）和Auro-3D（巴可3D聲音技術(shù)）的全方位環(huán)繞聲格式都給觀眾留下了深刻印象，最近則更加致力于家庭影院的聲音環(huán)境的推廣。來自不同方向的音響充滿影院，為觀眾帶來前所未有的聲音體驗(yàn)。這是自1990年以來獨(dú)立聲道的5.1環(huán)繞聲問世以來在電影聲音的生產(chǎn)和消費(fèi)領(lǐng)域最激動人心的技術(shù)變革。

身臨其境，沉浸式聲音（Immersive sound）面臨藝術(shù)和技術(shù)的雙重突破。

1 困境——關(guān)于多聲道電影聲音格式問題的來由

早在2002年，任職于日本放送協(xié)會（NHK）并發(fā)明了著名的濱崎方陣（Hamasaki SQ）的濱崎公男先生就提出了Hamasaki 22.2聲道的3維環(huán)繞聲系統(tǒng)，作為一個(gè)試驗(yàn)性的方案，這個(gè)系統(tǒng)是為NHK的超高清電視系統(tǒng)（UHTV）開發(fā)的。

自此以后的十多年間，相繼有來自德國、美國及其他國家的各種實(shí)驗(yàn)系統(tǒng)紛紛問世，都借3D電影的概念進(jìn)行推廣，本身并無明確的概念與名稱。名目的雜亂也反映出多聲道電影聲音在研究開發(fā)與應(yīng)用推廣方面的亂象。概念不清，理念各異，也是這個(gè)時(shí)期多聲道電影聲音格式研究的特點(diǎn)。

據(jù)不完全統(tǒng)計(jì)，曾經(jīng)出現(xiàn)的多聲道還音系統(tǒng)有：Hamasaki 22.1；Iosono（德國公司Iosono開發(fā)）；Dolby Atmos；Auro-3D；Immsonic（巴塞羅那媒體研究中心推出）……其中既有基于聲道還原方式的，如Hamasaki、Auro-3D；也有基于對象處理的Atmos；還有基于波陣面合成重建三維聲學(xué)空間的波場合成的Iosono等。

就其原始開發(fā)理念而言，既有面向游戲聲音制作，也有為音樂錄音而設(shè)計(jì)，甚至干脆以實(shí)驗(yàn)為目的。最后，這些系統(tǒng)多多少少地都試圖加入到電影聲音制作的過程中。以至于在過去的數(shù)年中，總是能夠風(fēng)聞在某部電影的制作中試用了某某多聲道還音系統(tǒng)之類的消息，一時(shí)間莫衷一是。

2 多聲道電影聲音格式的內(nèi)涵及命名的困惑

在以上的幾種方案中，只有Dolby Atmos由于在中國電影市場的先聲奪人，因此起了一個(gè)非常形象的中文名稱“全景聲”，甚而幾乎擔(dān)當(dāng)起此類多聲道系統(tǒng)的通用名稱，這情景不禁令人回想起當(dāng)年Dolby Stereo（杜比立體聲） 就是20世紀(jì)70、80年代電影立體聲的代名詞。

但是無論如何，“全景聲”已經(jīng)成為Dolby Atmos在中國的專利名稱，實(shí)際上它所代表的含義嚴(yán)格地說是專指Dolby Atmos的。那么其他的多聲道電影還音系統(tǒng)又將如何命名呢？

幾乎是與Dolby Atmos在中國市場風(fēng)生水起的同時(shí)，有關(guān)電影制作機(jī)構(gòu)也在進(jìn)行類似系統(tǒng)的實(shí)驗(yàn)研究，最明顯的例子是中國電影集團(tuán)公司（以下簡稱“中影集團(tuán)”）后期制作基地的13.1多聲道還音系統(tǒng)的試驗(yàn)研究。此外，還有在一些教育機(jī)構(gòu)安裝了Iosono多聲道實(shí)驗(yàn)系統(tǒng)，Auro-3D也在Barco（巴可）公司的極力推廣下受到一定的關(guān)注。在進(jìn)行此類系統(tǒng)的研究和實(shí)驗(yàn)過程中，毫無疑問，會感覺到它們之間存在某種共通的概念，但又各有自己的特點(diǎn)。如果試圖找到一個(gè)通用的名稱來概括或描述這個(gè)范疇是相當(dāng)困難的。事實(shí)上，即使是杜比在早期的推廣過程中也未能給自己的系統(tǒng)找到一個(gè)通用名稱，無論英文還是中文。

在多次的國際學(xué)術(shù)交流中，分別使用過：多層環(huán)繞聲，三維環(huán)繞聲，高度環(huán)繞聲、半球環(huán)繞聲等不同的概念，雖然多少都能得到國內(nèi)外同行的認(rèn)可和理解，但是缺乏普遍的共識。所以，直到不久前，見諸各種學(xué)術(shù)資料中最多用的仍然是一個(gè)不定短語——超越5.1。

3 問題——雜亂而無所適從

20世紀(jì)90年代初，數(shù)字聲音首次應(yīng)用于電影放映，獨(dú)立聲軌的5.1聲道環(huán)繞聲分別以CDS(Cinema Digital Sound，影院數(shù)字聲音)、Dolby Digital（杜比數(shù)字）、DTS（Digital Theater System，數(shù)字影院系統(tǒng)）和SDDS（SONY Digital Dynamic Sound，索尼數(shù)字動態(tài)聲）等方式問世，給電影發(fā)行業(yè)帶來機(jī)遇的同時(shí)也帶來了許多困擾。Dolby Digital、DTS和SDDS三種格式爭奪電影制作和影院的競爭中受到不同方面的青睞，結(jié)果發(fā)行者分成不同的陣營，如果想要還放所有的電影數(shù)字立體聲格式，影院必須安裝以上的所有三種格式，這既不實(shí)際也不劃算。于是，最終的妥協(xié)就是制片廠印制所謂的4合1聲跡（見圖1）的拷貝，其中包括矩陣編碼立體聲光學(xué)模擬聲跡，Dolby Digital、SDDS和DTS同步信號。同樣的，在影院一端，需要不同的影院處理器完成讀出和解碼環(huán)節(jié)，這些都毫無疑問地增加了影院的運(yùn)營成本。若干年來，大多數(shù)主要制片廠均采用此種方式制作拷貝，直到后來大多數(shù)電影只制作Dolby Digital數(shù)字聲跡的拷貝，使之最終成為最通行的格式。這種局面一直持續(xù)到數(shù)字電影拷貝用5.1 PCM（Pulse Code Modulation，脈沖編碼調(diào)制）聲音文件完全取代了編碼聲跡。

好景不長，數(shù)字電影聲音最初的“伊甸園”被Dolby Atmos的出現(xiàn)破壞了，這種全景聲格式要求另外把一個(gè)5.1或7.1 PCM混錄聲音打包進(jìn)DCP（Digital Cinema Package，數(shù)字電影包）。而對于Auro-3D格式的拷貝， 5.1 PCM混錄聲音是包含在11.1 Auro-3D混錄聲音中的。如果一個(gè)5.1混錄聲音在Auro-3D影院還音時(shí)，Auro-3D編碼器會把上層通道電平和設(shè)置設(shè)為“無效”。

無獨(dú)有偶，今天的局面較之20世紀(jì)90年代更為嚴(yán)峻。僅就在影片制作發(fā)行過程中最早得到廣泛使用的兩種沉浸式電影聲音格式Atmos和Auro-3D而言，由于兩者開發(fā)理念不同，前者更需要能夠處理聲音對象的專用處理器，而后者則是以聲道方式進(jìn)行聲場重建。令業(yè)主更為不堪的是，兩者的眾多揚(yáng)聲器布置完全不同，使得它們之間幾乎沒有兼容的可能。影院會因?yàn)榘惭b單一還音系統(tǒng)，無法還放競爭對手的聲音格式，從而失去一部分市場。這就更大程度地增加了影院運(yùn)營的成本，使得影院業(yè)主們對于采用這樣的多聲道制式多多少少有抵觸。

沉浸式電影聲音格式之爭仍在繼續(xù)。

4 SMPTE的大動作——MDA，開放格式的時(shí)代即將到來

2013年初，美國影院業(yè)主協(xié)會(NATO)和歐洲國際影院聯(lián)盟（UNIC）攜手?jǐn)?shù)字電影倡導(dǎo)組織（DCI）建立通用沉浸式電影聲音拷貝（common immersive sound package），而不再像35 mm膠片拷貝的“4合1”聲跡那樣把所有格式的聲音統(tǒng)統(tǒng)發(fā)給影院。

作為響應(yīng)，電影電視工程師協(xié)會（SMPTE）成立了一個(gè)特別工作組(TC-25CSS)協(xié)助標(biāo)準(zhǔn)化工作。SMPTE意在“協(xié)調(diào)”兩個(gè)“標(biāo)準(zhǔn)”：一個(gè)基于Dolby Atmos，而另一方則是DTS的MDA（多維音頻）。

巴可和杜比都承諾支持開放格式。雖然Auro-3D目前不是基于對象的格式，但它的制作工具套件允許基于對象的混錄。同時(shí)， Auro-3D的東家Barco的影院處理器的設(shè)計(jì)已經(jīng)有了一個(gè)升級思路，很可能把環(huán)繞聲道分成若干個(gè)分區(qū)。根本來說，使用元數(shù)據(jù)的目的就是無論任何格式的混錄聲帶經(jīng)由任何一種影院處理器渲染生成后都會產(chǎn)生與影院揚(yáng)聲器的布置相匹配的聲音效果。的確，在混錄棚里有些原本是為Auro-3D或Atmos混錄的聲音文件具備轉(zhuǎn)換到另一種格式的定向數(shù)據(jù)。而對于觀眾的區(qū)別在于，影院系統(tǒng)與混錄系統(tǒng)互相匹配的程度。

由DTS提出了一個(gè)可能的解決方案即MDA。該公司的影院業(yè)務(wù)已經(jīng)剝離成為Datasat公司，這正是為Barco生產(chǎn)AP24影院處理器的代工廠家。

MDA的技術(shù)源自于SRS實(shí)驗(yàn)室，后被DTS兼并。“MDA電影支持者集團(tuán)”是一個(gè)非正式的聯(lián)盟，由DTS和QSC、USL和Barco等組成，他們聯(lián)合向SMPTE 的TC-25CSS工作組提出了MDA方案。

迄今為止，MDA還沒有正式用于任何影片，但它一直在進(jìn)行行業(yè)測試，幾個(gè)月前剛剛向TC-25CSS工作組提交規(guī)范文本，其1.0版本的標(biāo)準(zhǔn)計(jì)劃2014年8月初發(fā)表。

SMPTE開展的標(biāo)準(zhǔn)化過程極其漫長。雖然電影行業(yè)想要結(jié)束格式之爭，電影制片廠和設(shè)備生產(chǎn)商無法坐等MDA真正投入使用，畢竟，Auro-3D和Dolby Atmos是現(xiàn)成的。

MDA與Atmos一樣是基于對象，并為行業(yè)提供一個(gè)開放的格式，向開發(fā)人員提供開發(fā)工具。MDA作為一個(gè)開放格式將是免費(fèi)的，DTS將向數(shù)字音頻工作站和調(diào)音臺廠家提供必要的軟件 （巴可和杜比一直以來都是這樣為電影行業(yè)提供類似的支持）。

不同于Auro-3D和Atmos需要可擴(kuò)展的揚(yáng)聲器布置和定向目標(biāo)的理念，MDA在設(shè)計(jì)上希望與揚(yáng)聲器不相關(guān)，然而實(shí)際上在影院實(shí)施過程中可能會產(chǎn)生很多偏差。

一旦這個(gè)開放格式得以通過，下一個(gè)目標(biāo)應(yīng)該是沉浸式聲音文件到5.1或7.1格式的下變換問題，這樣可以避免DCP中單獨(dú)附帶PCM線性混錄聲音文件。危險(xiǎn)在于，這有可能意味著最終的混合由于在影院自動完成而失去了制作者的監(jiān)控。究竟這個(gè)目標(biāo)是否可行還不明了，影院中的聲音重新定向?qū)⑹沟没熹浀氖д`更加凸顯。

開放格式，這將是一個(gè)艱巨的任務(wù)……

5 大事件——Immersive Sound 師出有名

2014年9月6日，由MIX雜志、CAS與MPES聯(lián)合在美國洛杉磯卡爾弗城的SONY電影公司舉辦了為期一天的“Immersive Sound—from Production to Playback”的主題活動，圖2為活動期間舉辦的的專題研討會現(xiàn)場，這一事件成為年內(nèi)全球電影聲音行業(yè)最為矚目的一次活動，超過500位電影聲音專業(yè)人士出席。曾經(jīng)兩次獲得奧斯卡獎(jiǎng)的著名聲音設(shè)計(jì)師Randy Thom在Cary Grant劇院做了電影聲音創(chuàng)作的主題演講。活動包括了一系列專題研討會，以及影片片段的演示和不同格式沉浸式聲音的體驗(yàn)等。筆者也在當(dāng)日參加了所有活動，圖3為筆者在Interteen2014活動上做沉浸式音樂拾音的技術(shù)演示。

除了 Atmos、Auro-3D、 MDA等沉浸式電影聲音格式的片段在William Holden劇院展示放映以外（見圖4）。當(dāng)日活動最令人矚目的是在Kim Novak劇院開展的分別以“創(chuàng)作的機(jī)遇”，“格式之爭”（見圖5）、“技術(shù)與流程”（見圖6）為主題的研討會，話題分別涉及剪輯與混錄、音樂與對白、三種格式、技術(shù)與流程等。而三種格式的沉浸式聲音系統(tǒng)體驗(yàn)（見圖7）則分別在Sony 后期制作的第7混錄棚、Burt Lancaster劇院和Anthony Quinn劇院進(jìn)行。當(dāng)晚，還在Cary Grant劇院特別放映了SONY新片《The Equalizer》。

這次被譽(yù)為一次獨(dú)一無二（one-of-a-kind）的盛大的活動中，宣告了一個(gè)時(shí)代的正式啟幕： Immersive Sound——沉浸式聲音成為多聲道電影聲音的正式名稱，2014年成為沉浸式電影聲音的元年。這一事實(shí)將在全世界范圍尚處于初始階段的多聲道電影聲音技術(shù)領(lǐng)域被越來越廣泛地接受。

圍繞沉浸式聲音的研究，包括系統(tǒng)格式搭建，標(biāo)準(zhǔn)化與兼容性，內(nèi)容制作方法，制作工具開發(fā)以及系統(tǒng)最小化與應(yīng)用領(lǐng)域拓展等。還有很多工作需要集結(jié)大批有識之士共同參與，希望不僅沉浸其中，并且推動發(fā)展。

甄釗，北京電影學(xué)院教授，北京市教委長城學(xué)者培養(yǎng)計(jì)劃入選人，影視環(huán)繞聲專家。承擔(dān)北京市教委《綜合媒體技術(shù)條件下的電影全景聲錄音工藝及制作手段研究》項(xiàng)目，2014年7月應(yīng)邀赴美國芝加哥國際互動媒體論壇進(jìn)行沉浸式聲音基礎(chǔ)研究的學(xué)術(shù)演講和制作手段的演示。2014年9月出席Immersive sound from production to playback研討會。

（編輯 杜 青）

On the Immersive Sound Technology of Film

ZHEN Zhao
(Beijing Film Academy，Beijing 100088, China)

This essayintroduces the academic research in recent years around the immersive sound, concept of its and the difficultywhat industry are faced with.The paper reflectthe authors thinking of these issues. At the same time also introduces the important events in the field of years and its influence.

Immersive sound；based on object praocessing; based on the channel reduction; based on wave field synthesis

10.3969/j.issn.1674-8239.2014.12.010