數字電影沉浸式音頻元數據與聲場組相關技術標準解析

王 豐

中國電影科學技術研究所（中央宣傳部電影技術質量檢測所），北京100086

1 引言

沉浸式音頻（Immersive Audio）技術是近些年來國內外備受關注的熱點之一，該技術被引入影院后，憑借其展現出的高品質聲場包容感、準確的位置感和豐富的聲音細節，極大地提升了觀眾觀影感受，為電影產業帶來了巨大變革，也讓電影行業迎來了新一輪的發展機遇。

眾多廠商對電影沉浸式音頻技術的深入研發，為電影聲音創作開辟了新的空間，豐富了電影藝術作品的表現形式。而種類繁多的技術工藝也對電影行業的有序發展帶來了一些阻礙，主要表現為不同廠商沉浸式音頻系統在實現方案和技術規范方面各有不同，在聲道數量、聲場布局以及制作編碼格式等方面都有著較大差別，同時都使用著各自的專用制作工具與母版格式，很難用統一的方式對不同系統的功能特性及還音特性進行判斷。對于影院或終混棚建設而言，也只能從眾多規格中選擇某一種進行設計或改造，很難搭建出能同時兼容多規格沉浸式音頻系統的還音環境。對于制片方而言，為了能盡可能多地創造票房，需要制作不同音頻版本的DCP，且需為此支付更多的制作費用。

電影電視工程師協會（SMPTE）從2018 年至今陸續發布或修訂了多份關于沉浸式音頻的技術標準、工程指南及約束文件等技術類文檔，分別對沉浸式音頻的元數據、碼流、打包方式、聲道及聲場組等方面作了定義和規范，提出了沉浸式音頻渲染器預期渲染還音效果和測試建議，為影院沉浸式音頻系統技術要求提供了統一的框架，為制版的統一、系統間的兼容提供了規范化指導。本文將重點對涉及影院沉浸式音頻“元數據”和“聲場組”的相關標準內容進行闡述，并結合其對應的技術功能進行分析與解讀。

2 沉浸式音頻元數據（Immersive Audio Metadata）

“SMPTE ST 2098-1 Immersive Audio Metadata”（以下簡稱“2098-1”）主要從聲道（Channel）、聲床（Bed）、音頻對象（Audio Object）三個方面定義了影院沉浸式音頻的元數據（Metadata）信息，對音頻對象所使用的坐標系與參考系（Coordinate System and Frame of Reference）的對應關系做出了說明與定義，并強調不允許出現此標準之外的任何元數據類型。該標準僅對元數據類型作出了規范，也就是說只對沉浸式音頻中可體現出的各項功能作了規定，并未對各項功能的實現方式或母版格式提出規范要求。這不僅能最大程度兼容現階段各廠商已研發完成的沉浸式音頻技術方案，而且能夠為渲染效果留有充足的個性化發展空間。

2.1 聲道元數據（Channel Metadata）

聲道元數據是指與沉浸式音頻聲道相關的一組內容，主要包含聲道標識（Channel Identifier）、路由目標（Routing Destination）、參考波形（Waveform Reference）等元數據信息。

聲道標識用于表示唯一的音頻聲道，任何時候都不應存在具有相同聲道標識的兩個音頻聲道。路由目標表示與聲道相關聯的一個揚聲器或一組揚聲器陣列。參考波形用于關聯與聲道相關且能夠被明確識別的音頻素材（Audio Essence）。對于數字影院沉浸式音頻系統來說，音頻素材在“SMPTE ST 429-18:2019 D-Cinema Packaging - Immersive Audio Track File”（以下簡稱“429-18”）中被明確定義為無損壓縮格式。

在實際應用中，聲道元數據在渲染系統的聲道指向與素材關聯功能如圖1 所示，以聲道元數據A 為例，聲道標識表明該元數據為左聲道，參考波形關聯的音頻內容為Track1，并按照路由目標指向，從CH1聲道對應的揚聲器中還音。

圖1 聲道元數據關聯示意圖

2.2 聲床元數據（Bed Metadata）

聲床元數據是沉浸聲的基礎元素，包含聲床標識符（Bed Identifier）、聲床聲道列表（Bed Channel List）、重映射系數（Remap coefficients）、條件聲床（Conditional Bed）等內容的元數據。

（1）聲床標識符用來識別唯一的聲床，如果存在多個聲床（也稱作同步聲床），需確保任何時候的兩個聲床都不得具有相同的聲床標識符。聲床聲道列表用于列出聲床中的聲道，聲道的具體類別將在后文做出詳細說明。該標準對聲床的數量未做限制，但“SMPTE RDD 57:2021 SMPTE ST 2098-2 Immersive Audio Bitstream and PackagingConstraints: IAB Application Profile 1”（以下簡稱“RDD 57 Profile 1”）中建議現階段沉浸式音頻碼流只能含有一個聲床，且同時出現的聲床音頻素材數量和對象音頻素材數量總和不超過128個。為符合現階段的聲床規范要求，各廠商的沉浸式音頻制作系統使用了不同的解決方案。我們用3 個9.1OH 聲床舉例，有的制作系統在前期編輯和母版制作階段僅允許支持單一聲床，混音師需要將音頻工作站中與聲床相關的3 個聲床音頻內容分配給同一組聲床母線中，將其在母版制作階段合并為單一聲床，由于母版中聲床只占用10個聲軌，剩余聲軌最多支持118個音頻對象（圖2）。有的制作系統在前期編輯和母版制作階段支持多個同步聲床，混音師可以將音頻工作站中多個音頻內容分配給3 組聲床母線，由于母版中聲床占用了30個聲軌，剩余聲軌最多支持98 個音頻對象，但支持同步聲床的母版本身具備更多的可操作空間，母版中的3組聲床在編碼過程前會被縮混為單一聲床（圖3）。

圖2 支持單一聲床的母版制作流程示意圖

圖3 支持同步聲床的母版制作流程示意圖

（2）重映射系數是一組將原始聲床各個聲道的內容分配到不同目標聲場組配置的聲道增益參數，原數據中如果存在重映射系數，那么該數據中應有能夠正確識別對應目標聲場組類別的附加元數據信息，以及映射到目標聲道的附加增益原數據信息。條件聲床用來表示一個或多個用于不同聲場組配置的替代聲床。元數據中如果存在條件聲床，應支持對應的替代聲床和使用該聲床的條件（聲場組配置），并要求條件聲床至少應支持“SMPTE ST 428-12:2013, D-Cinema Distribution Master Common Audio Channels and Soundfield Groups”（以下簡稱“428-12”）標準中定義的5.1 和7.1DS 聲場配置。RDD 57 Profile 1 對重映射與條件聲床做出了建議性限制，明確現階段不需要支持這兩項功能。

2.3 對象元數據（Object Metadata）

音頻對象包含音頻素材和相關元數據信息，根據元數據指示的三維空間位置和其他屬性進行渲染還音。該位置可能與單個揚聲器有關，也可能與多個揚聲器有關，主要包含對象標識（Object Identifier）、參考波形（Waveform Reference）、對象位置（Object Position）、對象擴散（Object Spread）、對象增益（Object Gain）、去相關（Decorrelation）、定位公差（Snap Tolerance）、條件對象（Conditional Object）、區域控制（Zone Control）等內容的元數據集。

（1）對象標識用于為音頻對象提供唯一標識信息，任何時候的兩個音頻對象都不得具有相同的對象標識符，對象標識符在音頻對象的持續時間內是不變的，標識符應保證能夠在播放過程中支持標記任何時間點同時出現的最大數量音頻對象。本標準未定義同一時間出現的最大音頻對象數量，但RDD 57 Profile 1 對音頻對象數量做出了限制，明確同一時間最多可存在118 個對象。參考波形是用于引用與音頻對象相關聯的音頻素材，該標識能夠對音頻素材進行明確的識別。在影院沉浸式音頻系統中，音頻素材在429-18標準中被明確定義為無損壓縮格式。

（2）對象位置元數據用于確定音頻對象在三維空間中的位置，該空間應與影廳空間關系一一對應，且位置信息不能超出該空間范圍之外。在本標準中，對象位置通過笛卡爾坐標系指示，具體對應關系將在下文中予以說明。對象擴散元數據描述了音頻對象在三維空間中的大小和形狀。“SMPTE ST 2098-2:2019 Immersive Audio Bitstream Specification”（以下簡稱“2098-2”）標準中規定，沉浸式音頻應支持以音頻對象位置為中心向四周均勻擴散（也稱1D 模式擴散），也支持以對象位置為中心向四周非均勻（自定義）擴散（也稱3D 模式擴散）。在RDD 57 Profile 1 對擴散的方式做出了建議性限制，明確現階段影院沉浸式音頻僅包含1D 模式的擴散。從現階段應用層面來看，確定位置及擴散的表達方式多種多樣，有的廠商使用三維坐標方式將位置信息映射在笛卡爾坐標系中，有的廠商使用向量的方式將位置信息映射在笛卡爾坐標系中，而無論使用何種方式表達，位置和擴散兩項功能都是沉浸式音頻中最基礎的元數據信息，也是實際應用中最核心的功能，任何廠商的影院沉浸式音頻系統都應支持這些功能。

（3）去相關元數據用于表示音頻對象去相關量的大小。在沉浸聲還音系統中，當通過兩個或多個揚聲器再現音頻對象時，感知到的聲音對象可以是局部（小范圍）的，也可以是相對擴散（大范圍）的，這取決于重現音頻對象的源信號是相關的還是不相關的（或者說是相同的信號還是經過處理后有所區別的信號）。用多個相同信號再現一個聲音，則會產生一個相對容易確定發聲位置的小范圍聲源；使用多個相同但經過去相關處理的信號再現一個聲音，則會產生一個更寬、更分散且不太容易確定發聲位置的聲源。在RDD 57 Profile 1對去相關的方式做出了建議性限制，明確現階段影院沉浸式音頻僅包含最小或最大兩種去相關模式。從現階段應用層面來看，去相關通常都是跟隨對象擴散而存在的，當音頻對象為無擴散（點聲源）狀態時，去相關量也為最低（無去相關）值，從而保證多只揚聲器能準確還原出明確的聲源位置。當音頻對象為擴散狀態時，去相關量需為最大值，保證多只揚聲器能還原出一定范圍的聲源，而非點聲源。標準中沒有對去相關的實現方式做出統一的要求，各廠商需根據自身技術特點研發出各具特色的去相關渲染算法。

（4）定位公差元數據，表示對象音色保留優先于對象位置保留的程度，該屬性的極限值分別表示“保留對象音色具有最高優先級”和“保留對象位置具有最高優先級”。 區域控制元數據表示區域內指定的揚聲器被排除在渲染之外的程度，對于每個基本區域，音頻對象可能有單獨的增益值。在RDD 57 Profile 1 對定位公差與區域控制功能是否必須存在沒有做出明確限制，但明確要求定位公差與區域控制如果存在，那么各自都應為最大值。對于定位公差功能來說，最大值意味著該音頻對象只會從某一只揚聲器中還音，對于區域控制來說，最大值意味著影廳還音系統控制的區域會完全屏蔽不發聲。從現階段實際應用效果來看，當啟用定位公差時，音頻對象在移動過程中不會出現連續的相位變化，而是從影廳中的一個揚聲器突然跳躍至另一個揚聲器。啟用區域控制功能時，當音頻對象被定位在某個被屏蔽的區域時，該信號在主觀聽感上不應出現降低或消失的情況，而是通過其他相鄰區域的揚聲器還原出該音頻對象的內容。由于現階段未對定位公差與區域控制兩項功能的有無做出明確要求，所以各廠商的沉浸式音頻系統對這些功能的開發程度也參差不齊，有的系統完全支持定位公差與區域控制功能，有的系統暫不支持，也有的系統僅渲染還音端支持，而編輯制作端暫不支持。

對象增益定義了與音頻對象相關聯的音頻素材的增益量，該功能可為同一個音頻素材在不同聲場組配置的還音系統設置不同的增益量。條件對象元數據表示音頻對象應用的目標環境（聲場組配置），混音師可能需要為一個或多個不同聲場組配置分別制作不同的音頻對象，該元數據應支持識別替代音頻對象及其使用的特定聲場組配置。在RDD 57 Profile 1 對對象增益與條件對象做出了建議性限制，明確了現階段影院沉浸式音頻不應包含對象增益與條件對象內容。

2.4 坐標系和參考系

影院沉浸式音頻應使用笛卡爾坐標系指示音頻對象的位置，該坐標系使用三個正交軸（x、y、z）來定位空間中相對于原點的位置點，x 軸代表左右位置，y軸代表前后位置，z軸代表上下位置，如圖4所示。該坐標系為正方體參考系，能夠完全映射影廳內部的空間結構。

圖4 笛卡兒坐標系

對于影廳來說，音頻對象在正方體坐標系內對應的位置坐標值應與影廳實際空間結構一一對應。標準定義了影廳的“前”平面是銀幕的位置，影廳中心面向前方的觀察者左側、右側、后側及上方，分別對應影廳“左”平面、“右”平面、“后”平面及“上”方天花板位置。元數據可以支持音頻對象在正方體坐標系內、上和外部的位置，但至少應支持從Z軸中點到正方體坐標系頂部的正方體上和內部位置（即應支持上半個正方體坐標系中的任意位置）。將正方體內的音頻對象位置映射到影院揚聲器是編解碼渲染器的功能，其規范在2098-2 標準中有明確定義，但無論位置映射到的房間形狀如何，正方體上的參考點都應具有明確的含義：

（1）正方體的正面應映射到電影院的前墻位置，且最前面的揚聲器發聲面應視為影廳的標稱前墻。

（2）正方體的左表面應映射到電影院的左墻位置，且左側的揚聲器發聲面應視為影廳的標稱左墻。

（3）正方體的右表面應映射到影院的右墻位置，且最右邊的揚聲器發聲面應視為影院的標稱右墻。

（4）正方體的背面應映射到電影院的后墻位置，且后面的揚聲器發聲面應視為影廳的標稱后壁。

（5）正方體的中高平面應映射到傳統二維揚聲器系統的高度（例如傳統的5.1或7.1聲場組模式下揚聲器所在的高度）。

（6）正方體的頂部應映射到電影院的天花板位置，且頂部揚聲器發聲面應視為影廳的標稱天花板。

（7）正方體的底部應映射到影廳的標稱地板。

舉例來看，圖5 表示了坐標系位置與影廳位置的映射關系。左圖綠色點代表了標準正方體空間坐標系中的一個位置，右圖綠色點代表了影廳示意圖中對應的映射位置。對于大多數影廳來說，影廳內部結構不會是標準正方體，而是長度要大于寬度的不規則空間，坐標系空間邊緣對應揚聲器發聲面所形成的平面，如右圖中藍色虛線所示。對于任何一個影廳，該音頻對象的位置都是處在從前至后的33%處，從左至右的25%處，與左圖中正方體空間坐標系所表示的位置完全對應。

圖5 坐標系位置與影廳位置映射關系

3 沉浸式音頻聲道和聲場組（Immersive Audio Channels and Soundfield Groups）

“SMPTE ST 2098-5 D-Cinema Immersive Audio Channels and Soundfield Groups”（以下簡稱“2098-5”）標準是在428-12標準基礎上的延伸與拓展。后者定義了基于聲道的數字影院音頻素材的標識符，還定義了基于聲道的聲場組的標識符，前者將這些定義與概念擴展到了與沉浸式音頻相關的附加音頻聲道和聲場組中，明確了影院沉浸式還音系統與傳統環繞聲還音系統的關系與區別，將428-12 中定義的參數與數字影院沉浸式音頻聲道和聲場組相關聯，確定了沉浸音頻聲道及聲場組的結構類別和命名規范。下面將428-12標準中的音頻聲道及聲場組規范與2098-5標準相結合進行梳理與解讀。

3.1 音頻聲道

常規音頻聲道（沉浸聲場配置中的基礎層聲道）是指播放同一個單聲道音頻資產的揚聲器（或揚聲器組），聲道名稱及標識符，如表1所示。

表1 常規（傳統）音頻聲道標識表

沉浸式音頻聲道是指在沉浸式聲場配置中，播放同一個單聲道音頻素材的高度層及頂層揚聲器（或揚聲器組），聲道名稱及標識符如表2所示。

表2 沉浸式音頻聲道標識表

為推動實現各廠商影院沉浸式音頻系統的互操作性，RDD 57 Profile 1對現階段聲道類別給出了建議性限制，明確現階段只允許使用L、C、R、Lss、Rss、Lrs、Rrs、Lts、Rts、LFE這10個聲道。

3.2 聲場組

聲場組是通過給定的聲場配置同時播放一個或多個音頻聲道的集合。表3 列出了常見的傳統數字影院聲場組，每個聲場組由一個或多個音頻聲道組成，這些聲道將通過給定的聲場配置同時播放。

表3 常規（傳統）聲場組標識表

影院沉浸式音頻還音系統聲場組是由沉浸式音頻聲道和常規音頻聲道共同組成的。表4 列出了常見的數字影院沉浸式聲場組，每個沉浸式聲場組由一組常規的音頻聲道加上一個或多個沉浸式音頻聲道組成，可通過給定的沉浸式聲場配置同時還音播放。

表4 沉浸式聲場組標識表

由于影院沉浸式音頻系統目前的發展現狀難以實現對以上全部聲場組配置的渲染支持，為推動實現各系統間的互操作性，RDD 57 Profile 1對現階段聲場組類別給出了建議性限制，明確現階段只能使用7.1DS和9.1OH兩種聲場組配置。這種限制雖然會對部分廠商研發的渲染還音效果產生一定的負面影響，但能夠有效統一影院還音系統中揚聲器布局的一致性，有效降低影院升級或更換沉浸式音頻系統的改造成本。

4 發展與思考

SMPTE 發布的沉浸式音頻系列標準有一定的前瞻性，其目的是規范和統一沉浸式音頻的元數據結構類型，讓不同技術廠商使用統一的交互格式，使各自的系統具備互操作性。國外一些影院沉浸式音頻廠商早在2019 年跨協會數字電影論壇（ISDCF）上已實現了基礎渲染還音功能技術層面的互操作，并聯合歐洲數字電影論壇（EDCF）創建了影院沉浸式音頻碼流約束性文檔，為現階段不同沉浸式音頻系統的兼容提供了相對完整的技術指南。然而，從現階段實際應用情況來看，各影院間暫未完全實現使用相同DCP 在任意品牌還音系統完成渲染還音的目標，一些互操作性較高的品牌，也會因渲染技術不同，出現同一個內容在不同品牌渲染系統中還音效果的差異化。基于此原因，聲音制作機構和影院往往會選擇市場占有率較高的廠商設備，從而保障同一部影片能夠在盡可能多的影廳實現相同的渲染還音質量。

我國現階段也有多個機構正在從事影院沉浸式音頻技術的開發與應用工作，部分機構已經打通了從軟件到硬件、從制作端到放映端完整技術鏈條，并在國內外多個影廳得以商業應用。單從技術層面來看，遵循SMPTE 系列標準而開發的沉浸式音頻系統能夠在現階段實現相對良好的兼容性，但這些技術標準可能會涉及國外相關廠商的技術專利，存在著被國外核心技術壁壘“卡脖子”的風險。目前，我國部分沉浸式音頻技術研發機構也在自發組建行業團體，醞釀著具有自主核心技術知識產權的沉浸式音頻技術規范。

通過以上分析可以看出，形成沉浸式音頻自主核心技術知識產權，完善自有技術規范，只是防止被國外技術“卡脖子”的第一步。此外，還需要充分挖掘和發揮出自有核心技術知識產權在電影產業鏈中的商業價值，將自主核心技術有效嵌入到沉浸式音頻制作端、放映端，拓展活躍用戶數量，形成良好的商業運營生態環境，才能夠有力支撐電影技術的高質量發展。?