使下一代音頻個性化

所有新的廣播技術(shù)都會帶來好處，但焦點往往是在那些在娛樂或沖擊力方面增強觀看或聆聽體驗的技術(shù)。更實用和輔助的功能，如隱含字幕和音頻描述，在很大程度上被認為是必要但卻是為特定的受眾設(shè)計的。這種態(tài)度正在轉(zhuǎn)變，正如下一代音頻（NGA）所示的那樣，它的推廣更多地是基于個性化能力，而不是沉浸式聲音。

NGA系統(tǒng)建立在基于對象的音頻（OBA）概念基礎(chǔ)之上，它具有傳統(tǒng)音頻聲道（5.1或7.1）的基礎(chǔ)，但有多達128個“對象”。這些單獨的音頻元素可以要么位于音景的不同部分，以營造沉浸式體驗，要么用來代表一個信號的特定成分，如語音/評論和背景聲。它們的確切位置或功能由伴隨的元數(shù)據(jù)定義。

兩種主要的N G A格式——M PE G-H音頻和杜比AC-4，都利用O B A獲得沉浸式音頻（分別為MPEG-H 3D音頻和杜比全景聲）以及個性化和無障礙功能。最后兩個功能可以用來在足球賽轉(zhuǎn)播時選擇某一位解說員或某一語言（個性化）；讓聽力不好人士能夠改變電視劇配樂上臺詞和聲效/音樂之間的平衡（無障礙性）

雖然沉浸式音頻的運動和全包圍效果對故事片有明顯吸引力，但有一種觀點，尤其是在NGA的開發(fā)者中，個性化和無障礙性才是OBA的真正意義。

“對我們來說，個性化和沉浸式的結(jié)合才是最有價值的，”MPEG-H音頻的主要開發(fā)者、弗勞恩霍夫集成電路研究所媒體系統(tǒng)和應(yīng)用主管哈羅德·富克斯表示，“你可以從事件中拾取聲音并創(chuàng)造一個5.1.4或7.1.4混音，這是音頻捕獲的對象方面。下一步是將這些對象與一些元數(shù)據(jù)分開；你在混音中考慮了它們，但實際上你并沒有把它們混合到5.4中。下一步，將是你擁有沉浸式音頻（不過為沉浸式聲道加上對象）的時候，你甚至可以向它添加一些個性化?！?/p>

正是在這種擴展的組合模式下，富克斯看到了MPEG-H音頻在未來提供的優(yōu)勢和機會?！叭绻阒皇前阎攸c放在沉浸式和聲道混合，基本上它只是一小部分編解碼功能，”他說，“但我認為這是邁向未來的重要一步，因為在聲音制作方面，人們首先必須學會使用新方法，同時還能產(chǎn)生一些不錯的混音。下一步，他們可以超越這一點，設(shè)法獲得個性化的沉浸式體驗?！?/p>

測試MPEG-H音頻

這些組合出現(xiàn)于弗勞恩霍夫在疫情前兩年進行的MPEG-H音頻測試中。該系統(tǒng)2018年和2019年的兩次歐洲歌唱大賽上進行了測試，不但為大賽提供了沉浸式音頻，而且還提供了更實用的附加功能。富克斯表示，挑戰(zhàn)在于這樣的制作如何與音樂/特效、5.4制作中的國際聲、以及作為提供個性化的獨立對象（如對白增強或評論選擇和語言）的對白和評論一起工作。

“我們對一些體育賽事也采取了這種做法，例如在法國網(wǎng)球公開賽上與法國電視臺合作，”他表示，“那是在2019年，在整個比賽期間，在巴黎作為一個DVB-2 UHD服務(wù)播出，他們有標準的立體聲，然后是有兩個評論聲和5.4的MPEG-H第二音軌。這是一個完整的、半自動化的現(xiàn)場制作，他們可以在沒有直播時切換到錄播?！?/p>

MPEG-H音頻的個性化方面包括選擇體育比賽某一評論的能力（可能不僅是在電視或廣播評論員之間選擇，而且是在體育迷評論之間選擇），以及選擇人群聲來自場地哪一端（主隊端或客隊端）的可能性。雖然這讓觀眾在看什么和怎么看方面有更多的選擇和靈活性，但在輔助聆聽方面，OBA還有其它好處。

我們聽不見你說話

由于各種原因，現(xiàn)在各個年齡段的人越來越多地出現(xiàn)聽力問題。在過去的十年里，廣播公司已經(jīng)看到越來越多的人抱怨節(jié)目難以理解。2020年底，弗勞恩霍夫集成電路研究所與德國地區(qū)公共廣播公司W(wǎng)DR聯(lián)合發(fā)布了一項調(diào)查，發(fā)現(xiàn)所有人口群體中68%的觀眾經(jīng)常或非常頻繁地在理解電視上言語方面存在問題。正因為如此，現(xiàn)在很多人如果聽不清對白就會打開字幕。

包括BBC在內(nèi)的一些OBA開發(fā)者已經(jīng)在研究一種技術(shù)，使觀眾或聽眾能夠改變語音與背景聲效和/或音樂之間的平衡。MPEG-H音頻中這一系統(tǒng)是Dialog+，它是一種使響度級可以適應(yīng)于語音和背景聲的制作技術(shù)。為了做到這一點，Dialog+利用了深度學習，它只有在最終混音完成后才能使用。通過這種方式，可以創(chuàng)建滿足特定個人要求的自定義語音級。

富克斯說，在MPEG-H制作的各個方面，元數(shù)據(jù)都非常重要?！八枰c音頻信號緊密同步，”他說，“首先，在現(xiàn)有的SDI基礎(chǔ)設(shè)施中，我們希望能夠使用其中一個音軌將元數(shù)據(jù)傳遞給編碼器。我們有幾種攜帶元數(shù)據(jù)的調(diào)制信號，而從編碼的角度來看是相同的輸入接口。編碼器只讀取元數(shù)據(jù)并進行相應(yīng)的操作。這有點像制作過程中的遠程控制，所以編碼并不比過去更復(fù)雜。在輸出端，對于播出，它是一個單比特流。這意味著事實上播出系統(tǒng)并不需要改變。它是一個承載任何制作內(nèi)容的MPEG-H基本流，沉浸于對象中。”

MPEG-H音頻已在巴西實施，但尚未被歐洲廣播公司采用。雖然總是有可供選擇的更高調(diào)的杜比格式，但隨著對廣播市場內(nèi)非沉浸式特性可提供東西的了解增加，MPEG-H中的個性化和輔助功能潛力可使之被接受。BP