使下一代音頻個性化

所有新的廣播技術都會帶來好處，但焦點往往是在那些在娛樂或沖擊力方面增強觀看或聆聽體驗的技術。更實用和輔助的功能，如隱含字幕和音頻描述，在很大程度上被認為是必要但卻是為特定的受眾設計的。這種態度正在轉變，正如下一代音頻（NGA）所示的那樣，它的推廣更多地是基于個性化能力，而不是沉浸式聲音。

NGA系統建立在基于對象的音頻（OBA）概念基礎之上，它具有傳統音頻聲道（5.1或7.1）的基礎，但有多達128個“對象”。這些單獨的音頻元素可以要么位于音景的不同部分，以營造沉浸式體驗，要么用來代表一個信號的特定成分，如語音/評論和背景聲。它們的確切位置或功能由伴隨的元數據定義。

兩種主要的N G A格式——M PE G-H音頻和杜比AC-4，都利用O B A獲得沉浸式音頻（分別為MPEG-H 3D音頻和杜比全景聲）以及個性化和無障礙功能。最后兩個功能可以用來在足球賽轉播時選擇某一位解說員或某一語言（個性化）；讓聽力不好人士能夠改變電視劇配樂上臺詞和聲效/音樂之間的平衡（無障礙性）

雖然沉浸式音頻的運動和全包圍效果對故事片有明顯吸引力，但有一種觀點，尤其是在NGA的開發者中，個性化和無障礙性才是OBA的真正意義。

“對我們來說，個性化和沉浸式的結合才是最有價值的，”MPEG-H音頻的主要開發者、弗勞恩霍夫集成電路研究所媒體系統和應用主管哈羅德·富克斯表示，“你可以從事件中拾取聲音并創造一個5.1.4或7.1.4混音，這是音頻捕獲的對象方面。下一步是將這些對象與一些元數據分開；你在混音中考慮了它們，但實際上你并沒有把它們混合到5.4中。下一步，將是你擁有沉浸式音頻（不過為沉浸式聲道加上對象）的時候，你甚至可以向它添加一些個性化。”

正是在這種擴展的組合模式下，富克斯看到了MPEG-H音頻在未來提供的優勢和機會。“如果你只是把重點放在沉浸式和聲道混合，基本上它只是一小部分編解碼功能，”他說，“但我認為這是邁向未來的重要一步，因為在聲音制作方面，人們首先必須學會使用新方法，同時還能產生一些不錯的混音。下一步，他們可以超越這一點，設法獲得個性化的沉浸式體驗。”

測試MPEG-H音頻

這些組合出現于弗勞恩霍夫在疫情前兩年進行的MPEG-H音頻測試中。該系統2018年和2019年的兩次歐洲歌唱大賽上進行了測試，不但為大賽提供了沉浸式音頻，而且還提供了更實用的附加功能。富克斯表示，挑戰在于這樣的制作如何與音樂/特效、5.4制作中的國際聲、以及作為提供個性化的獨立對象（如對白增強或評論選擇和語言）的對白和評論一起工作。

“我們對一些體育賽事也采取了這種做法，例如在法國網球公開賽上與法國電視臺合作，”他表示，“那是在2019年，在整個比賽期間，在巴黎作為一個DVB-2 UHD服務播出，他們有標準的立體聲，然后是有兩個評論聲和5.4的MPEG-H第二音軌。這是一個完整的、半自動化的現場制作，他們可以在沒有直播時切換到錄播。”

MPEG-H音頻的個性化方面包括選擇體育比賽某一評論的能力（可能不僅是在電視或廣播評論員之間選擇，而且是在體育迷評論之間選擇），以及選擇人群聲來自場地哪一端（主隊端或客隊端）的可能性。雖然這讓觀眾在看什么和怎么看方面有更多的選擇和靈活性，但在輔助聆聽方面，OBA還有其它好處。

我們聽不見你說話

由于各種原因，現在各個年齡段的人越來越多地出現聽力問題。在過去的十年里，廣播公司已經看到越來越多的人抱怨節目難以理解。2020年底，弗勞恩霍夫集成電路研究所與德國地區公共廣播公司WDR聯合發布了一項調查，發現所有人口群體中68%的觀眾經常或非常頻繁地在理解電視上言語方面存在問題。正因為如此，現在很多人如果聽不清對白就會打開字幕。

包括BBC在內的一些OBA開發者已經在研究一種技術，使觀眾或聽眾能夠改變語音與背景聲效和/或音樂之間的平衡。MPEG-H音頻中這一系統是Dialog+，它是一種使響度級可以適應于語音和背景聲的制作技術。為了做到這一點，Dialog+利用了深度學習，它只有在最終混音完成后才能使用。通過這種方式，可以創建滿足特定個人要求的自定義語音級。

富克斯說，在MPEG-H制作的各個方面，元數據都非常重要。“它需要與音頻信號緊密同步，”他說，“首先，在現有的SDI基礎設施中，我們希望能夠使用其中一個音軌將元數據傳遞給編碼器。我們有幾種攜帶元數據的調制信號，而從編碼的角度來看是相同的輸入接口。編碼器只讀取元數據并進行相應的操作。這有點像制作過程中的遠程控制，所以編碼并不比過去更復雜。在輸出端，對于播出，它是一個單比特流。這意味著事實上播出系統并不需要改變。它是一個承載任何制作內容的MPEG-H基本流，沉浸于對象中。”

MPEG-H音頻已在巴西實施，但尚未被歐洲廣播公司采用。雖然總是有可供選擇的更高調的杜比格式，但隨著對廣播市場內非沉浸式特性可提供東西的了解增加，MPEG-H中的個性化和輔助功能潛力可使之被接受。BP