專業(yè)影院用沉浸式音頻技術(shù)分析和實(shí)現(xiàn)方案探索

董強(qiáng)國(guó) 王文強(qiáng) 周令非

（中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所,北京100086）

1 引言

近年來,隨著沉浸式音頻技術(shù)的發(fā)展,我國(guó)電影產(chǎn)業(yè)也迎來了一次巨大變革。數(shù)字影廳沉浸式聲音放映已成為當(dāng)今影院新技術(shù)應(yīng)用的熱門配置,然而此項(xiàng)技術(shù)長(zhǎng)期被國(guó)外少數(shù)幾個(gè)生產(chǎn)廠家所控制(壟斷)。目前,國(guó)外主流的沉浸式音頻系統(tǒng)主要有杜比全景聲(Dolby Atmos)、DTS:X 和Auro 3D等。近幾年,國(guó)內(nèi)涌現(xiàn)出了一些沉浸式音頻還音系統(tǒng),主要有中國(guó)多維聲 (13.1)、WANOS 全景聲系統(tǒng)、音王22.5.8全景聲系統(tǒng)、飛達(dá)六面聲和Holosound全息聲等,但這些系統(tǒng)的實(shí)現(xiàn)方案各不相同,從而造成我國(guó)數(shù)字電影沉浸聲制作繁瑣、制版眾多、兼容性差、還音質(zhì)量參差不齊,使得國(guó)產(chǎn)沉浸式音頻系統(tǒng)難以在影院大范圍推廣。

SMPTE 2098系列數(shù)字電影沉浸式音頻技術(shù)國(guó)際標(biāo)準(zhǔn)的發(fā)布,為數(shù)字電影沉浸聲制版的統(tǒng)一、系統(tǒng)間的兼容提供了技術(shù)標(biāo)準(zhǔn)指導(dǎo)。本文對(duì)SMPTE 2098-1、SMPTE 2098-2 和SMPTE 2098-5 標(biāo)準(zhǔn)中涉及的沉浸式音頻關(guān)鍵技術(shù)進(jìn)行解讀,根據(jù)我國(guó)沉浸式音頻技術(shù)的現(xiàn)狀,提出一套專業(yè)影院用沉浸式音頻系統(tǒng)的解決方案,旨在推動(dòng)中國(guó)沉浸聲盡早打破國(guó)外技術(shù)壟斷、實(shí)現(xiàn)統(tǒng)一制版、系統(tǒng)間互操作和與國(guó)際技術(shù)標(biāo)準(zhǔn)兼容,形成具有中國(guó)自有知識(shí)產(chǎn)權(quán)的數(shù)字影院沉浸式音頻標(biāo)準(zhǔn)化體系。

2 數(shù)字電影沉浸式音頻技術(shù)

數(shù)字電影沉浸式音頻是基于聲道/對(duì)象技術(shù)實(shí)現(xiàn)的,內(nèi)容創(chuàng)建者用它們來設(shè)計(jì)具有聽眾上方和周圍的聲音,通過影廳基礎(chǔ)層、高度層和頂層布置的揚(yáng)聲器系統(tǒng)進(jìn)行聲音的還原。

數(shù)字電影沉浸式音頻關(guān)鍵技術(shù)有:用于創(chuàng)建電影沉浸式音頻內(nèi)容的元數(shù)據(jù)、用于傳輸沉浸式音頻的比特流和將聲音引導(dǎo)到各揚(yáng)聲器系統(tǒng)所需要的“渲染器”。元數(shù)據(jù)是沉浸式音頻的核心,它能夠?qū)⒃诼曑壣系囊纛l對(duì)象和音頻通道成功地渲染到多個(gè)揚(yáng)聲器設(shè)備上。沉浸式音頻文件需要特殊的比特流和專門的通道進(jìn)行傳輸,沉浸式音頻比特流是用于傳輸沉浸式音頻文件的載體。沉浸式音頻渲染將與畫面相關(guān)的聲床和對(duì)象元數(shù)據(jù)適當(dāng)?shù)劁秩镜娇捎玫膿P(yáng)聲器上,使得聲音和相關(guān)的視覺元素在空間上相匹配。

3 數(shù)字電影沉浸式音頻技術(shù)相關(guān)標(biāo)準(zhǔn)解析

2013 年 10 月, 電 影 電 視 工 程 師 協(xié) 會(huì)(SMPTE)決定成立專項(xiàng)委員會(huì)TC-25CSS,以制定數(shù)字影院沉浸式音頻應(yīng)用標(biāo)準(zhǔn),旨在使各聲音系統(tǒng)之間實(shí)現(xiàn)互操作。2018 年該協(xié)會(huì)發(fā)布了包括《SMPTE ST 2098-1:2018 沉浸式音頻元數(shù)據(jù)》《SMPTE ST 2098-2:2018沉浸式音頻比特流規(guī)范》和《SMPTE ST 2098-5:2018數(shù)字電影沉浸式音頻通道》在內(nèi)的一系列沉浸聲標(biāo)準(zhǔn)。通過支持在單個(gè)可互操作的數(shù)字電影包內(nèi)傳送標(biāo)準(zhǔn)化的沉浸式音頻比特流,新的SMPTE沉浸式音頻標(biāo)準(zhǔn)簡(jiǎn)化了分配,同時(shí)確保影院可以自信地播放沉浸式音頻,自主地選擇兼容的沉浸式還音系統(tǒng)。

SMPTE ST 2098-1:2018主要規(guī)定了用于創(chuàng)建電影沉浸式音頻內(nèi)容所需的元數(shù)據(jù),定義了沉浸式音頻通道元數(shù)據(jù)、音床元數(shù)據(jù)、對(duì)象元數(shù)據(jù)、結(jié)構(gòu)元數(shù)據(jù)、映射坐標(biāo)系和對(duì)象映射到揚(yáng)聲器系統(tǒng)所需的坐標(biāo)系與參照系,該標(biāo)準(zhǔn)主要內(nèi)容如下:

(1)通道元數(shù)據(jù)為每個(gè)音頻通道定義了唯一的標(biāo)識(shí)。元數(shù)據(jù)項(xiàng)標(biāo)識(shí)了與通道相關(guān)的單個(gè)揚(yáng)聲器或其他還音設(shè)備。元數(shù)據(jù)應(yīng)被編碼,以便明確地標(biāo)識(shí)期望的路由目的地。

(2)音床元數(shù)據(jù)明確了與音床相關(guān)的元數(shù)據(jù)標(biāo)識(shí),此標(biāo)識(shí)為唯一標(biāo)識(shí)。重映射系數(shù)則定義了如何將原始通道映射到不同的目標(biāo)配置,這組值規(guī)定了每個(gè)音頻通道應(yīng)配置多少增益,以生成與目標(biāo)聲場(chǎng)配置相一致的輸出音頻通道。

(3)對(duì)象元數(shù)據(jù)明確了與對(duì)象相關(guān)的元數(shù)據(jù)標(biāo)識(shí),此標(biāo)識(shí)為唯一標(biāo)識(shí)。音頻對(duì)象是一組與元數(shù)據(jù)有關(guān)的音頻樣本,用于根據(jù)元數(shù)據(jù)所指示的空間位置和其他屬性進(jìn)行聲音的再現(xiàn)。該位置可以與單個(gè)揚(yáng)聲器相關(guān)聯(lián),也可以不與單個(gè)揚(yáng)聲器相關(guān)聯(lián)。對(duì)象元數(shù)據(jù)定義了音頻對(duì)象在三維空間的位置、尺寸、形狀、增益和生存周期等屬性。

(4)音頻對(duì)象位置元數(shù)據(jù)使用笛卡爾坐標(biāo)系放置音頻對(duì)象,該系統(tǒng)使用三個(gè)正交軸(x,y,z)來定位空間中相對(duì)于所選原點(diǎn)的點(diǎn)。x坐標(biāo)表示左右尺寸,y坐標(biāo)表示前后尺寸,z坐標(biāo)表示上下的尺寸,如圖1所示。音頻對(duì)象位置的笛卡爾坐標(biāo)值是對(duì)理想化影廳(立方體形狀)的參考點(diǎn)進(jìn)行了歸一化處理,相對(duì)參考點(diǎn)的選取如圖2 所示。圖2 中,正前方為銀幕位置、相對(duì)于影廳中的面向銀幕的觀察者定義為“左”。元數(shù)據(jù)能夠表示立方體內(nèi)、上和外的音頻對(duì)象位置信息,位置元數(shù)據(jù)應(yīng)至少能夠表示從Z軸中點(diǎn)到立方體頂部的立方體上和內(nèi)部的位置信息。

圖1 笛卡爾坐標(biāo)系

圖2 長(zhǎng)方體影廳坐標(biāo)實(shí)例

SMPTE ST 2098-2:2018主要規(guī)定了在比特流或文件中攜帶沉浸式音頻各種元數(shù)據(jù)的格式,它承載了重現(xiàn)完整沉浸式音頻節(jié)目所需的音頻要素和元數(shù)據(jù),該標(biāo)準(zhǔn)主要內(nèi)容如下:

(1)數(shù)字和數(shù)據(jù)類型編碼定義了Plex編碼、用例編碼、相對(duì)距離編碼和幅度增益編碼的結(jié)構(gòu)。

(2)比特流IAFrame規(guī)范主要定義了IAFrame語(yǔ)法、床定義語(yǔ)法、床重映射語(yǔ)法、對(duì)象定義語(yǔ)法、對(duì)象區(qū)域定義19語(yǔ)法、音頻數(shù)據(jù)DLC 語(yǔ)法、音頻數(shù)據(jù)PCM 語(yǔ)法、授權(quán)工具信息元素、用戶數(shù)據(jù)元素。

(3)IAFrame數(shù)據(jù)字段定義了IAElement數(shù)據(jù)字段、IAFrame數(shù)據(jù)字段、床定義字段、床重映射字段、對(duì)象定義語(yǔ)法、對(duì)象區(qū)域定義19字段、音頻數(shù)據(jù)DLC數(shù)據(jù)字段、音頻數(shù)據(jù)PCM 數(shù)據(jù)字段、授權(quán)工具信息元素、用戶數(shù)據(jù)元素。

SMPTE ST 2098-5:2018定義了與數(shù)字電影沉浸式音頻演示相關(guān)的沉浸式音頻通道和聲場(chǎng)組的名稱和縮寫。該標(biāo)準(zhǔn)還提供了用于沉浸式音頻再現(xiàn)的電影揚(yáng)聲器的典型位置的指導(dǎo),該標(biāo)準(zhǔn)主要內(nèi)容如下:

(1)定義了沉浸式音頻共12個(gè)通道的名稱和縮略 名 (Lh、Rh、Ch、Lsh、Rsh、Lssh、Rssh、Lrsh、Rrsh、Lts、Rts、Ts),沉浸式音頻通道描述見表1所示。

表1 沉浸式音頻通道

(2)該標(biāo)準(zhǔn)將影廳揚(yáng)聲器布局分為水平層、高度層和頂層。其中水平層由傳統(tǒng)的5.1和7.1聲道的揚(yáng)聲器系統(tǒng)組構(gòu)成,高度層/頂層包含的沉浸式揚(yáng)聲器系統(tǒng)組有Lh、Rh、Ch、Lsh、Rsh、Lssh、Rssh、Lrsh、Rrsh、Lts、Rts、Ts。

表2 沉浸式聲場(chǎng)組

(3)該標(biāo)準(zhǔn)在傳統(tǒng)的5.1聲道和7.1聲道配置的基礎(chǔ)上,推薦了沉浸式音頻9.1、11.1、13.1和15.1聲道揚(yáng)聲器系統(tǒng)組的位置配置,沉浸式聲場(chǎng)組描述見表2所示。

4 沉浸式音頻系統(tǒng)實(shí)現(xiàn)方法設(shè)想

SMPTE 2098系列數(shù)字電影相關(guān)沉浸式音頻技術(shù)標(biāo)準(zhǔn)的發(fā)布,為數(shù)字電影沉浸聲制版的統(tǒng)一、沉浸式音頻文件的元數(shù)據(jù)制作和渲染、沉浸式音頻文件的傳輸、系統(tǒng)間的兼容提供了技術(shù)標(biāo)準(zhǔn)指導(dǎo)。SMPTE 2098數(shù)字電影沉浸式音頻標(biāo)準(zhǔn)與現(xiàn)行DCI《數(shù)字電影技術(shù)規(guī)范》1.2版音頻格式相比有較大變化,如在5.1/7.1聲道音頻格式基礎(chǔ)上增加了高度層,在垂直面上(天花板)增加揚(yáng)聲器系統(tǒng)；音頻內(nèi)容的制作摒棄了聲道的概念,采用基于對(duì)象的制作方式；音頻文件的構(gòu)成摒棄了PCM 格式,轉(zhuǎn)而采用碼流的方式進(jìn)行封裝。因此,數(shù)字電影沉浸式音頻系統(tǒng)設(shè)計(jì)方案應(yīng)遵循以下原則:應(yīng)盡量不增加沉浸式音頻的制作、發(fā)行和還音等流程的復(fù)雜和繁瑣程度；充分考慮與DCI《數(shù)字電影技術(shù)規(guī)范》1.2版規(guī)定的數(shù)字電影現(xiàn)行制作、發(fā)行和放映體系的兼容性；符合SMPTE 2098沉浸式音頻系列標(biāo)準(zhǔn)的技術(shù)規(guī)定；核心技術(shù)應(yīng)規(guī)避國(guó)外相關(guān)專利的技術(shù)壁壘。

圖3 數(shù)字電影還音流程圖

圖4 沉浸式音頻系統(tǒng)流程圖

DCI《數(shù)字電影技術(shù)規(guī)范》1.2版規(guī)定了數(shù)字電影聲音發(fā)行母版制作、打包、傳輸、影院系統(tǒng)、放映和安全的技術(shù)規(guī)范,數(shù)字電影還音流程如圖3所示。沉浸式音頻系統(tǒng)應(yīng)主要由浸式音頻制作、編碼、打包、播放、解碼和揚(yáng)聲器系統(tǒng)組成,系統(tǒng)流程圖如圖4所示,以便兼容現(xiàn)有數(shù)字電影制作、打包和還音技術(shù)體系,符合SMPTE 2098系列標(biāo)準(zhǔn)的技術(shù)規(guī)范。

4.1 沉浸式音頻制作系統(tǒng)

沉浸式音頻制作擬采用基于對(duì)象的制作方式,采用以聲床作為基礎(chǔ),對(duì)象為輔助的多聲道制作方式。沉浸式音頻內(nèi)容的制作必須有一個(gè)沉浸式音頻聲床,通常為5.1、7.1、9.1或11.1音床,播放過程中它是一直存在的,它是分配給揚(yáng)聲器系統(tǒng)的固定通道,作為沉浸式聲軌的基礎(chǔ)。沉浸式音頻內(nèi)容由對(duì)象組成,音頻對(duì)象可以理解為共享一個(gè)物理位置的聲音元素集合,它由元數(shù)據(jù)控制,通過元數(shù)據(jù)給定的特定聲音發(fā)聲時(shí)間、電平、位置、大小、移動(dòng)特性等信息,對(duì)象可以在聲場(chǎng)內(nèi)移動(dòng)、也可在單個(gè)位置重現(xiàn),或者通過特定的揚(yáng)聲器重現(xiàn)。沉浸式音頻制作系統(tǒng)可以在現(xiàn)有Pro Tools音頻制作系統(tǒng)中嵌入沉浸式音頻制作插件,制作沉浸式音頻元數(shù)據(jù)和同步數(shù)據(jù),實(shí)現(xiàn)對(duì)現(xiàn)有制作系統(tǒng)的兼容。沉浸式音頻制作插件核心技術(shù)采用基于對(duì)象/HOA 的制作方式,基于對(duì)象的音頻技術(shù)主要采用VBAP 算法(Pulkki,1997),這個(gè)算法已經(jīng)是公開算法,大多數(shù)廠家的專利都是在此基礎(chǔ)上形成的基于對(duì)象的專利,可以在現(xiàn)有的沉浸式音頻制作插件 (如Twirling Works、Spatial Audio Designer)的基礎(chǔ)上進(jìn)行研發(fā)。

4.2 沉浸式音頻文件編碼系統(tǒng)

基于對(duì)象的沉浸式音頻不能夠攜帶在主聲道中進(jìn)行傳輸,基于對(duì)象的沉浸式音頻核心需要利用一個(gè)特殊的傳輸用比特流,在輔助的數(shù)據(jù)軌上進(jìn)行傳輸。SMPTE 2098-2標(biāo)準(zhǔn)規(guī)定了沉浸式音頻數(shù)據(jù)的編碼和解碼方式。應(yīng)采用SMPTE 2098-2標(biāo)準(zhǔn)規(guī)定的沉浸式音頻碼流規(guī)范對(duì)沉浸式音頻元數(shù)據(jù)進(jìn)行編碼,生成沉浸式音頻Aux Data track文件,最終實(shí)現(xiàn)國(guó)內(nèi)外符合SMPTE 2098系列標(biāo)準(zhǔn)的廠家制作的沉浸式音頻數(shù)據(jù)的編碼。

4.3 沉浸式音頻打包系統(tǒng)

數(shù)字電影內(nèi)容傳輸?shù)接霸菏且詳?shù)字電影節(jié)目包(DCP)的格式進(jìn)行發(fā)行的,DCP 包是數(shù)字電影發(fā)行母版經(jīng)過編碼、加密、封裝打包等處理形成。為了兼容現(xiàn)有還音系統(tǒng)、簡(jiǎn)化發(fā)行版本,沉浸式音頻應(yīng)采用數(shù)字電影節(jié)目包 (DCP)的格式進(jìn)行發(fā)行,數(shù)字電影節(jié)目包 (DCP)音頻應(yīng)至少包含5.1/7.1聲道、沉浸式音頻數(shù)據(jù)流和音視頻同步文件。可以參考已具備沉浸式音頻打包功能的系統(tǒng) (如Cine-Cert公司的ASDCPlib-2.5.14 版、羅德施瓦茨的DVS沉浸式音頻打包系統(tǒng))進(jìn)行研發(fā)。通過研發(fā)沉浸式音頻打包系統(tǒng),嵌入各版本沉浸式音頻編碼文件,統(tǒng)一國(guó)產(chǎn)系統(tǒng)的沉浸式音頻制作系統(tǒng),實(shí)現(xiàn)沉浸式音頻DCP制版的相對(duì)統(tǒng)一。

4.4 沉浸式音頻還音系統(tǒng)

沉浸式音頻還音系統(tǒng)應(yīng)由沉浸式音頻播放服務(wù)器、沉浸式音頻處理系統(tǒng)、聲頻功率放大器和揚(yáng)聲器系統(tǒng)組成。沉浸式音頻播放服務(wù)器應(yīng)支持?jǐn)?shù)字電影DCP包的播放,沉浸式音頻文件應(yīng)按照SMPTE 2098-2標(biāo)準(zhǔn)規(guī)定的音頻碼流進(jìn)行傳輸,沉浸式音頻播放服務(wù)器與傳統(tǒng)播放服務(wù)器相比應(yīng)增加沉浸式音頻文件的播放和傳輸接口,建議使用AES67 或Dante網(wǎng)絡(luò)音頻傳輸協(xié)議進(jìn)行沉浸式音頻數(shù)據(jù)的傳輸。目前專業(yè)影院用數(shù)字電影播放服務(wù)器主要由國(guó)外廠家壟斷,需要經(jīng)過DCI的認(rèn)證才能夠使用。為了打破其技術(shù)壟斷的封鎖,擬采用 “外置沉浸式音頻播放媒體模塊+音視頻同步信號(hào)”的方式實(shí)現(xiàn)沉浸式音頻文件的傳輸。外置沉浸式音頻播放媒體模塊與數(shù)字電影播放服務(wù)器相比應(yīng)具有同等安全級(jí)別,同步信號(hào)應(yīng)符合ST 430-14標(biāo)準(zhǔn)關(guān)于同步信號(hào)和輔助數(shù)據(jù)傳輸協(xié)議的相關(guān)規(guī)定,沉浸式音頻還音系統(tǒng)實(shí)現(xiàn)方案流程如圖5所示。

圖5 沉浸式音頻還音流程圖

沉浸式聲音處理器由沉浸式音頻解碼器、渲染器、音頻通道路由和B環(huán)調(diào)試插件構(gòu)成。沉浸式音頻解碼器采用SMPTE 2098-2中的相關(guān)規(guī)定進(jìn)行解碼,沉浸式音頻數(shù)據(jù)的渲染應(yīng)根據(jù)影院中揚(yáng)聲器的位置和數(shù)量進(jìn)行實(shí)時(shí)渲染。B 環(huán)調(diào)試插件應(yīng)至少具備粉紅噪聲發(fā)生器、32段均衡調(diào)節(jié)、各通道延時(shí)和相位調(diào)節(jié)的功能。沉浸式音頻處理系統(tǒng)為了能夠兼容不同生產(chǎn)廠家的沉浸式音頻內(nèi)容格式,應(yīng)在設(shè)計(jì)時(shí)充分考慮與主流沉浸式音頻渲染模式的兼容性,通過研發(fā)渲染系統(tǒng)互操作性協(xié)議,最終實(shí)現(xiàn)支持杜比Atmos、Auro 3D、中國(guó)多維聲 (13.1)等國(guó)內(nèi)外主流沉浸式音頻文件的還音。

4.5 沉浸式音頻系統(tǒng)安全性

沉浸式音頻播放媒體模板應(yīng)符合DCI《數(shù)字電影技術(shù)規(guī)范》1.2版中關(guān)于安全的規(guī)定,沉浸式音頻應(yīng)進(jìn)行AES128位的內(nèi)容加密和MXF/XML封裝打包,產(chǎn)生適用于數(shù)字影院發(fā)行的數(shù)字電影節(jié)目包(DCP),同時(shí)產(chǎn)生密鑰傳送信息 (KDM)。DCP 和KDM 安全傳送至影院后,由沉浸式音頻播放服務(wù)器進(jìn)行MXF/XML 解封裝、解密密鑰提取、AES數(shù)據(jù)解密,同時(shí)實(shí)時(shí)嵌入數(shù)字音頻水印,有效保護(hù)電影版權(quán)和創(chuàng)作創(chuàng)意,保障電影創(chuàng)作質(zhì)量和影院放映質(zhì)量,打造更加公平、有序的電影環(huán)境。

4.6 沉浸式音頻還音系統(tǒng)B環(huán)調(diào)試基本原則

數(shù)字影院B 環(huán)是電影放映還音系統(tǒng)的一部分,從輸入源選擇器到影廳觀眾區(qū)構(gòu)成B環(huán)系統(tǒng)。為了使電影錄音控制室、鑒定放映室和室內(nèi)影廳音頻制作和還音環(huán)節(jié)標(biāo)準(zhǔn)化,數(shù)字影廳5.1/7.1通道B 環(huán)電聲響應(yīng)頻率特性應(yīng)符合標(biāo)準(zhǔn)GY/T 312-2017《電影 錄音控制室、室內(nèi)影廳B 環(huán)電聲響應(yīng)規(guī)范和測(cè)量》中的相關(guān)規(guī)定。基于對(duì)象的沉浸式音頻還音系統(tǒng)可以驅(qū)動(dòng)單個(gè)揚(yáng)聲器進(jìn)行還原,為了能夠更好地還原聲音,B 環(huán)調(diào)試時(shí),建議環(huán)繞聲道和頂部聲道基準(zhǔn)調(diào)試聲壓級(jí)調(diào)整為85dB (C)。

5 結(jié)語(yǔ)

本文通過對(duì)沉浸式音頻制作、編碼、打包、解碼和渲染系統(tǒng)的核心技術(shù)分析和實(shí)現(xiàn)方案探討,希望能夠推動(dòng)數(shù)字電影沉浸式音頻系統(tǒng)的全流程國(guó)產(chǎn)化,形成具有中國(guó)自主知識(shí)產(chǎn)權(quán)的沉浸式音頻系統(tǒng)標(biāo)準(zhǔn)化體系,從而實(shí)現(xiàn)沉浸式音頻制版統(tǒng)一和內(nèi)容共享,不同制作系統(tǒng)制作的沉浸式音頻文件可以使用統(tǒng)一的碼流進(jìn)行傳輸,任意一版沉浸式音頻DCP可以在任意裝有渲染互操作的沉浸聲音頻系統(tǒng)進(jìn)行還音,繼而通過沉浸式音頻內(nèi)容共享,推動(dòng)影院布局沉浸式音頻系統(tǒng)的積極性,促進(jìn)沉浸式音頻設(shè)備和系統(tǒng)健康、競(jìng)爭(zhēng)、有序發(fā)展。