數字電影沉浸式音頻制作技術分析和實現方法探討

董強國

中國電影科學技術研究所(中央宣傳部電影技術質量檢測所),北京 100086

1 引言

自2012年杜比推出Dolby Atmos全景聲格式,沉浸聲影廳進入快速發展階段,隨后DTS和Auro Technologies等公司也推出自己的沉浸式音頻格式。近幾年我國部分廠家推出了自己的沉浸式音頻格式,如中國多維聲、Wanos全景聲、全息聲、22.5.8全景聲、飛達六面聲等。因不同品牌沉浸式音頻技術使用的是自有音頻格式,各系統間不兼容,造成多版本制作發行的壓力,因此成為制作方、發行方和影院采購方的重要絆腳石。制片方想避開格式之爭,擺脫一部電影制作多個版本所導致的時間和成本,渴望無論在哪個放映廳,內容音效都能保持一致,且達到最佳狀態。發行方期望能夠一版兼容多版本的發行。影院投資方希望一套沉浸式音頻系統能夠播放所有的沉浸式音頻文件格式。

2013年美國電影電視工程師協會 (SMPTE)針對上述問題,在電影音響系統技術委員會 (TC-25CSS)內成立了互操作沉浸聲工作小組開展相關研究。2018 年至今,電影電視工程師協會(SMPTE)陸續發布了SMPTE ST 2098-1:2018沉浸式音頻元數據、SMPTE ST 2098-2:2018沉浸式音頻比特流規范、SMPTE ST 2098-3:2019沉浸式音頻渲染預期效果和測試、SMPTE ST 2098-5:2018數字電影沉浸式音頻通道、SMPTE ST 429-18:2019 沉浸式音軌文件、SMPTE ST 429-19:2019沉浸式音頻DCP 包、SMPTE ST 2069-201:2021沉浸式音頻比特流插件等沉浸式音頻技術相關指導性文件。2019 年跨協會數字電影論壇 (ISDCF)組織電影行業技術公司 (如杜比、巴可、Xperi/DTS、D-Box)對基于SMPTE ST 2098系列的沉浸式音頻技術的互操作進行了測試,結果表明,所有系統都能很好地進行杜比Atmos文件的基礎播放,DTS內容也可在杜比渲染器上播放,且D-Box動作數據和沉浸式音頻數據兼容良好。

隨著國際電影相關技術規范的發布和沉浸式音頻技術互操作測試的成功,為解決我國沉浸式音頻技術面臨的問題提供了很好的借鑒,本文利用我國現有的沉浸式音頻制作平臺,通過分析國內外沉浸式音頻相關技術規范,提出一種能夠兼容現有制作系統,且能夠符合國際標準技術規范的沉浸式音頻制作和混錄工具的研發思路,并基于Protools制作平臺研發了一套沉浸式音頻制作和混錄工具。

2 數字電影沉浸式音頻技術規范解讀

傳統5.1或7.1數字電影聲音制作采用的是基于聲道的制作概念,混錄后的每個音軌對應還音端的每個聲道,聲音素材經過終混后生成位深24bit、采樣頻率48k Hz或96k Hz的PCM、WAVE編碼格式的6通道或8通道音軌文件,然后通過數字電影DCP打包系統,對其進行加密、封裝打包,完成數字電影發行版的制作。

數字電影用沉浸式音頻制作與傳統的制作方式有很大的不同,它采用“基礎聲床+對象+元數據”的制作概念,元數據中攜帶聲音的運動輔助信息(如增益、運動軌跡坐標等)實現音頻對象在時間和空間中的運動,通過沉浸式音頻渲染技術來還原三維聲場。然后將沉浸式音頻混錄后的音軌文件和元數據進行沉浸式音頻碼流的編碼,將編碼后的沉浸式音視頻碼流進行封裝打包和加密,完成數字電影沉浸式音頻DCP包的制作。美國電影電視工程師協會(SMPTE)針對沉浸式音頻的制作特點對沉浸式音頻制作核心內容元數據、碼流和DCP包的制作制定了相關的技術指導性規范。

2.1 沉浸式音頻元數據技術規范

為了方便沉浸式音頻空間移動對象的制作,沉浸式音頻移動對象的制作方式采用“對象+元數據”的方式進行。SMPTE ST 2098-1:2018規定了沉浸式音頻制作所需的元數據,主要規定了音頻通道元數據、聲床元數據、對象元數據、空間坐標系和空間坐標系映射到數字電影沉浸式影廳的映射關系,主要內容如下:

(1)每個通道應具有唯一的標識符,各通道元數據標識與終端還音設備的路由關系需要進行編碼。

(2)每個聲床應具有唯一的標識符,聲床元數據規定了基礎聲床軌道數,如5.1(L、R、C、LFE、Ls、Rs)、7.1(L、R、C、LFE、Lss、Rss、Lrs、Rrs)、9.1(L、R、C、LFE、Lss、Rss、Lrs、Rrs、Lhs、Rhs)聲床。

(3)每個對象應具有唯一的標識符,對象元數據可以描述在三維空間中的大小、形狀、音頻對象的特性(如對話、音樂和特效),可以指定應用于與音頻對象關聯的音頻本質的增益、音頻對象呈現的時間間隔。

(4)定義了元數據可單獨控制增益的最小還音區域如表1所示。

表1 增益可控區域

(5)定義了音頻對象的移動軌跡空間坐標及其與影廳的對應關系。該坐標使用的是笛卡爾相對坐標系,使用X,Y,Z相互正交的空間笛卡爾坐標系來定位音頻的空間位置,笛卡爾空間坐標系如圖1所示。對象空間位置元數據為了能夠覆蓋影廳的所有區域,因影廳結構通常為立方體結構,根據影廳的結構對空間坐標系進行了立方體映射,對于X 軸參考點為左右立方面,對于Y 軸參考點為前后立方面,對于Z軸參考點為立方體的底部、中點和頂部。根據影廳的結構對X,Y,Z坐標系進行了歸一化,該歸一化模型定義了X軸左面值=0、右面值=1,Y軸前面值=0、后面值=1,Z軸底值=0、頂值=1,中點值=0.5,立方體影廳坐標映射實例如圖2 所示。

圖1 笛卡爾坐標系

圖2 立方體影廳坐標映射關系實例

2.2 沉浸式音頻碼流技術規范

混錄后的沉浸式音頻文件以128 個PCM 音頻文件+元數據的格式存在,為了方便數字電影DCP包的制作和還音,需要對其進行編碼。SMPTE ST 2098-2規定了沉浸式音頻碼流技術規范,它將沉浸式音頻碼流分解成IAFrame結構,每個幀都對應于一個圖像編輯單元。IAFram 元素包含解碼一幀音頻所需的所有音頻和元數據元素,IAFrame結構由Bed Definition、Bed Remap、Object Definition、ObjectZoneDefinition19、AudioDataDLC、Audio-DataPCM、Authoring ToolInfo、UserData組成,各元素之間的繼承關系如圖3所示。

圖3 沉浸式音頻幀元素繼承關系

Bed Definition語法主要目的是告訴渲染器哪個特定的音頻元素應該路由到哪個揚聲器或揚聲器陣列;ObjectDefinition語法主要目的是告訴渲染器哪個特定的音頻數據元素應該被 “pannned”到影廳中的特定位置;AudioDataDLC 語法主要目的是用于對118個音頻文件進行無損壓縮編碼;AudioDataPCM 語法是用于對118 個PCM 音頻文件進行編碼;Authoring ToolInfo語法主要用于規定創建沉浸式音頻框架的供應商和工具 (包括版本);User Data語法主要用于規定使用SMPTE 標識的未定義的用戶數據。

2.3 沉浸式音頻DCP包制作技術規范

數字電影沉浸式音頻DCP 包由MXF 和XML文件共同組成,使用素材交換格式 (MXF)對圖像、聲音和字幕進行封裝,使用可擴展標記語言(XML)對MXF文件進行組織,生成合成播放列表(CPL)、打包列表 (PKL)和資產映射表等XML文件。SMPTE ST 429-18:2019主要規定了如何對符合SMPTE ST 2098-2規范的沉浸式音頻碼流進行KLV 編碼和MXF封裝,沉浸式音頻封裝架構如圖4所示。

圖4 沉浸式音頻封裝架構

SMPTE ST 429-19:2019 對符合SMPTE ST 2098-2規范的沉浸式音頻DCP包進行了約束,它規定所有攜帶沉浸式音頻核心的軌應符合SMPTE ST 429-2 定義的SMPTE 打包格式。合成播放列表(CPL)中至少應包含沉浸式音頻和主聲音資產的所有卷。沉浸式音頻合成的每個卷應該包含沉浸式音頻元素,合成播放列表 (CPL)中的每個卷應該包含沉浸式音頻元素,為了確保符合SMPTE ST 429-2的要求,主聲軌應出現在每個卷上,并包含相同的通道數。沉浸式音頻DCP 包MXF 和XML 文件應符合的標準規范如圖5所示。

圖5 數字電影沉浸式音頻DCP包規范

3 數字電影沉浸式音頻制作技術實現方法

目前,我國院線電影用沉浸式混錄棚多數采用的是基于Protools架構的制作環境,沉浸式音頻制作硬件架構如圖6所示。為了能夠與現有混錄設備保持良好的兼容性,需要在現有平臺的基礎上進行沉浸式音頻制作、混錄和監聽、編碼和打包工具的研發。符合相關國際規范的沉浸式音頻文件至少由“聲床+對象+元數據”組成,沉浸式音頻文件的制作首先將所提供的聲音素材混錄制作成符合SMPTE ST 2098-1規定的元數據格式的沉浸聲音頻素材,然后編碼成符合SMPT 2098-2碼流規范的沉浸聲母版文件,依據SPMTE ST 429-19 規定的打包規范進行封裝打包,形成沉浸式音頻DCP包,沉浸式音頻制作系統標準符合性實現架構如圖7所示。

圖6 沉浸式音頻制作系統硬件架構

圖7 數字電影沉浸式音頻標準符合性實現架構

3.1 沉浸式音頻制作實現方法

沉浸式音頻制作工具應采用基于Protools架構的制作環境,基于對象的制作方式,以聲床作為基礎,對象為輔助的多聲道制作方式,主要用于沉浸式音頻對象的制作,該系統至少包含基礎聲床、基于對象的聲像和移動聲像控制工具。聲床和對象軌主要用于沉浸式音頻混錄素材的制作和播放,聲像控制工具主要用于移動對象的制作,并生成符合SMPTE ST 2098-1元數據。該系統至少應具備以下功能要素:

(1) 采樣率:應至少支持48k Hz的采樣率。

(2) 幀率:應至少支持24/1、25/1、30/1、48/1、50/1、60/1 FPS。

(3) 聲床:應支持7.1聲床軌(L,R,C,LFE,Lss,Rss,Lrs、Rrs)或支持9.1 聲床軌 (L、R、C、LFE、Lss、Rss、Lrs、Rrs、Lhs、Rhs)。

(4) 對象:應支持118個對象軌,每個對象軌能夠獨立進行聲像控制。

(5) 聲像控制:聲像控制工具應能夠實時控制特定聲音發聲時間、電平、位置、大小、移動特性等信息,對象可以在聲場內移動,也可在單個位置重現,或者通過特定的揚聲器重現。

(6) 聲像控制工具應采用極坐標的形式表現對象的運動軌跡,Panner建議使用鞋盒型,Panner對象位置映射到電影院的揚聲器陣列如圖8所示。

圖8 對象位置映射到電影院的揚聲器陣

3.2 沉浸式音頻混錄和監聽實現方法

沉浸式音頻混錄和監聽工具主要用于沉浸式音頻文件的混錄、對象元數據的生成和混錄效果的實時監聽。該系統主要包括沉浸式音頻混錄工具、沉浸式音頻渲染工具和監聽系統組成。沉浸式音頻混錄工具主要用于符合SMPTE 2098-2元數據格式的聲床、對象和元數據的錄制。沉浸式音頻渲染工具主要用于接收來自沉浸式音頻制作工具發送的聲床、對象和元數據信息渲染到影廳B 環電聲響應系統中,實現沉浸式音頻的監聽。該系統至少應具備以下功能要素:

(1) 沉浸式混錄工具可實時錄制來自沉浸式音頻制作工具發出的聲床軌和對象軌音頻數據流。

(2) 沉浸式混錄工具可實時錄制來自沉浸式音頻制作工具發出的元數據流,所錄制的元數據格式應符合SMPTE ST 2098-1:2018 沉浸式音頻元數據中規定的格式。

(3) 沉浸式音頻渲染工具可實時接收來自沉浸式音頻制作工具發出的音頻數據流。

(4) 沉浸式音頻渲染工具可實時接收來自沉浸式音頻制作工具發出的元數據。

(5) 沉浸式音頻渲染工具可以將元數據的對象位置信息渲染到影廳布局下的回放環境中,映射關系應遵循X 軸0到1為影廳的左墻到右墻距離,Y軸0到1為影廳的前墻到后墻距離,Z 軸0到1為影廳的主揚聲器系統聲中心高度到天花板的距離。

(6) 沉浸式音頻渲染工具可將沉浸式音頻數據流實時渲染到終端還音通道中,實現沉浸式制作效果的監聽回放。

3.3 沉浸式音頻編碼實現方法

沉浸式音頻編碼和打包工具主要用于將數字電影沉浸式音頻聲床、對象和元數據編碼成符合SMPTE ST 2098-2規范的碼流,進行符合數字電影沉浸式音頻DCP包制作,沉浸式音頻編碼工具至少應具備以下功能要素:

(1) 沉浸式音頻編碼工具應支持9.1個聲床和118個對象音頻數據的DLC編碼。

(2) 支持采樣率為48k Hz,幀率24/1、25/1、30/1、48/1、50/1、60/1 FPS的沉浸式音頻碼流的編碼。

(3) 沉浸式音頻編碼的最小編輯單元是IAFrame,該編碼結構應具備BedDefinition、Bed-Remap、ObjectDefinition、AudioDataDLC、Object ZoneDefinition19、AudioDataPCM、Authoring-ToolInfo、User Data等要素。

(4) 沉浸式音頻數據元數據的相對距離編碼公式如下:

其中,XY 代表影廳左右和前后軸坐標,Z 代表影廳高度層坐標,D為無符號整數,n代表比特數。

(5) 沉浸式音頻編碼工具應符合SMPT ST 2098-2的碼流規范和SMPTE RDD 57:2021 對碼流的約束規范,編碼的主要規則如表2所示。

表2 沉浸式音頻編碼規則

3.4 沉浸式音頻打包實現方法

沉浸式音頻打包應遵循SMPTE ST 429-18 《數字影院節目打包-沉浸式音頻軌道文件》規范,以專用音軌文件的形式承載,并應按照SMPTE ST 429-19《數字影院節目打包-沉浸式音頻的DCP 操作約束》的所有規定進行打包。制作的沉浸式音頻DCP包的格式應符合SMPTE ST 429-2中的相關規定。沉浸式音頻打包工具至少應具備以下功能要素:

(1) 沉浸式音頻打包工具應能夠同時對圖像、5.1/7.1、沉浸式音頻母版的MXF 封裝、KDM 制作,數字電影沉浸式音頻打包和KDM 制作流程如圖9、10所示。

圖9 數字電影沉浸式音頻打包流程

圖10 數字電影KDM 制作流程

(2) 合成播放列表 (CPL)應包含沉浸式音頻資產和主聲音資產的所有卷。

(3) 沉浸式音頻內容密鑰應由KDM 承擔,內容密鑰應與SMPTE ST 430-1規定的 “MDEK”密鑰類型對應。

4 沉浸式音頻碼流制作工具

我國院線電影沉浸式音頻制作多數采用的是基于Protools架構的制作環境,數字電影沉浸式音頻核心制作軟件如動態對象制作工具、渲染器、編碼器等長期處于國外廠家技術壟斷狀態,國內用戶無法使用該工具制作符合國際規范的數字電影沉浸式音頻文件,導致國內還音廠家無法獲得符合國際規范的節目源,造成制版較多,影響了我國還音技術廠家的積極性,嚴重阻礙了我國數字電影沉浸式音頻技術的發展。

基于上述原因,中國電影科學技術研究所 (中央宣傳部電影技術質量檢測所)從國際標準符合性、與現有硬件設備兼容性和方便混錄師使用的易用性角度出發,在基于Protools軟件環境下,研發了一套符合國際規范的沉浸式音頻元數據制作工具、沉浸聲渲染工具和沉浸式音頻編碼工具。該工具在原有沉浸式音頻制作平臺上的集成流程如圖11所示。

圖11 沉浸式音頻制作工具連接流程圖

該系統將聲像控制工具嵌入到Protools的對象軌實現對運動對象時間、空間和響度的控制,完成運動對象的制作。通過I/O 接口和網絡通信接口實時傳輸元數據、對象和聲床信息,完成沉浸式音頻數據向沉浸式音頻混錄系統的傳輸。沉浸式音頻混錄系統接收到相關信息后進行實時的渲染,實現實時混錄監聽,同時進行元數據、對象和聲床文件的錄制。最后通過編碼工具將所錄制的沉浸式音頻文件編碼成符合SMPTE ST 2098-2 規范的沉浸式音頻碼流。該系統的主要功能如表3所示。

表3 沉浸式音頻制作和混錄系統主要功能

5 總結

SMPTE 2098系列沉浸式音頻相關標準的發布,為實現我國沉浸式音頻技術制版的相對統一和系統間的互操作以及國產沉浸式音頻技術的發展提供了很好的技術借鑒。為了盡快補齊我國在沉浸聲技術領域的短板,盡早實現數字電影沉浸式音頻制版的統一化和標準化,本文對符合國際規范的沉浸式音頻規范進行了解讀,針對現有沉浸式音頻制作系統的技術特點,提出了一套能夠兼容現有硬件環境和符合國際規范要求的沉浸式音頻制作和混錄實現方法,并在基于Protools的制作環境下嵌入自研的沉浸式音頻聲像控制工具,可進行符合SMPTE ST 2098-1規范的沉浸式音頻動態對象的制作。研制的數字電影沉浸式音頻混錄軟件,可進行符合SMPTE ST 2098-1規范的沉浸式音頻的實時渲染、監聽和錄制。研制的數字電影沉浸式音頻編碼工具,可進行符合SMPTE ST 2098-2規范的沉浸式音頻碼流的編碼。