VR音頻技術(shù)在沉浸式廣播節(jié)目制作中的應(yīng)用探索

劉子群

[摘要]VR音頻技術(shù)是在VR視頻技術(shù)的發(fā)展和廣泛應(yīng)用的基礎(chǔ)上逐漸實(shí)現(xiàn)的，即VR音頻制作通過(guò)對(duì)三維環(huán)繞聲格式的有效運(yùn)用，為聽眾營(yíng)造更具沉浸式體驗(yàn)效果的聲音環(huán)境，提升有關(guān)聲音節(jié)目的質(zhì)量和傳播效果。文章在對(duì)VR音頻技術(shù)及其進(jìn)行節(jié)目制作應(yīng)用的主要軟硬件工具分析的基礎(chǔ)上，結(jié)合沉浸式廣播節(jié)目的制作流程，對(duì)VR音頻技術(shù)在節(jié)目制作中的具體應(yīng)用進(jìn)行研究。

[關(guān)鍵詞]VR音頻技術(shù);沉浸式體驗(yàn);廣播節(jié)目;制作;應(yīng)用

VR技術(shù)，即虛擬現(xiàn)實(shí)技術(shù)，其在各行業(yè)領(lǐng)域中有著較為廣泛的應(yīng)用，且應(yīng)用效果顯著。VR技術(shù)在實(shí)際應(yīng)用中注重打造虛擬的沉浸式感官體驗(yàn)，當(dāng)用戶在佩戴VR頭顯設(shè)備后，其通過(guò)自由晃動(dòng)頭部能夠使頭顯設(shè)備中的畫面實(shí)現(xiàn)相應(yīng)的視角變換，用戶可以進(jìn)行360°的虛擬全景畫面觀看和體驗(yàn)，營(yíng)造一種身臨其境的真實(shí)感和3D沉浸式音效[1]。在廣播節(jié)目制作中采用VR音頻技術(shù)，為受眾創(chuàng)造更好的沉浸式聲音體驗(yàn)效果，也是當(dāng)前我國(guó)有關(guān)行業(yè)領(lǐng)域研究和關(guān)注的重要問(wèn)題。為此，文章在對(duì)VR音頻技術(shù)及其進(jìn)行節(jié)目制作應(yīng)用的主要軟硬件工具分析的基礎(chǔ)上，結(jié)合沉浸式廣播節(jié)目的制作流程，對(duì)VR音頻技術(shù)在節(jié)目制作中的具體應(yīng)用進(jìn)行研究。

一、VR音頻技術(shù)及其主要類型分析

（一）VR音頻技術(shù)

VR音頻技術(shù)是在VR視頻技術(shù)的發(fā)展和廣泛應(yīng)用的基礎(chǔ)上逐漸實(shí)現(xiàn)的，VR音頻制作通過(guò)對(duì)三維環(huán)繞聲格式的有效運(yùn)用，為聽眾營(yíng)造更具沉浸式體驗(yàn)效果的聲音環(huán)境，提升有關(guān)聲音節(jié)目的質(zhì)量和傳播效果。其中，沉浸式廣播節(jié)目制作所采用的VR音頻技術(shù)和電影播放中廣泛應(yīng)用的杜比全景聲技術(shù)具有較大的相似性。VR音頻技術(shù)是在和VR視頻技術(shù)中相同的頭部追蹤技術(shù)應(yīng)用基礎(chǔ)上，通過(guò)用戶的頭部轉(zhuǎn)動(dòng)動(dòng)作實(shí)現(xiàn)聲音變化的實(shí)時(shí)反饋，以最大限度地實(shí)現(xiàn)用戶在現(xiàn)實(shí)生活中的聽覺體驗(yàn)還原等效果。在VR音頻技術(shù)中，利用耳機(jī)進(jìn)行VR聲音還放是其聲音還放的一種基本模式。

（二）VR音頻技術(shù)的主要類型與特點(diǎn)

結(jié)合VR音頻技術(shù)及其在具體實(shí)踐中的應(yīng)用，文章從以下幾個(gè)方面對(duì)其主要類型和特點(diǎn)進(jìn)行分析。

1.雙耳錄音技術(shù)

雙耳錄音技術(shù)，即人工頭錄音技術(shù)，它和常規(guī)的立體聲錄音之間存在一定的區(qū)別。人們?cè)趯?duì)物體發(fā)出的聲音進(jìn)行感知的過(guò)程中會(huì)受到多種因素的影響，如耳廓、耳道以及頭部等。根據(jù)這一情況，雙耳錄音技術(shù)在音頻制作中，通過(guò)對(duì)人耳聽覺的外部模型進(jìn)行有效模擬，并在人工頭模型所模擬的仿真耳道外部、人口部位等有關(guān)位置放置傳聲器音頭，從而對(duì)人的左右耳所聽到的聲音進(jìn)行模擬錄制，然后通過(guò)耳機(jī)重放，使聽眾獲取和人耳聽覺相類似的聲音效果。

值得注意的是，雖然雙耳錄音技術(shù)在通過(guò)對(duì)人耳聽覺相類似的自然聲音效果進(jìn)行模擬和錄制，可以給聽眾創(chuàng)造更好的聲音體驗(yàn)，但是受該技術(shù)模式下所錄制聲音的固定性特征限制，其只能對(duì)特定地點(diǎn)與特定方向的聲音信號(hào)進(jìn)行模擬和錄制，導(dǎo)致在實(shí)現(xiàn)VR音頻技術(shù)中根據(jù)用戶的頭部動(dòng)作獲取的聲音變化的實(shí)時(shí)反饋效果并不理想。因此，雙耳錄音技術(shù)在沉浸式廣播節(jié)目制作中，僅作為一種較為簡(jiǎn)便且容易操作的技術(shù)方式進(jìn)行應(yīng)用。此外，在當(dāng)前的廣播節(jié)目播放中，聽眾通過(guò)佩戴專用的頭顯或者頭部定位等設(shè)備來(lái)獲取相應(yīng)的聲音體驗(yàn)的情況基本不存在。因此，該技術(shù)在沉浸式廣播節(jié)目制作中應(yīng)用的局限性也較為突出，還需要進(jìn)行進(jìn)一步的研究。

2.頭部相關(guān)的傳輸函數(shù)技術(shù)

頭部相關(guān)的傳輸函數(shù)技術(shù)被運(yùn)用于音頻制作環(huán)節(jié)，其是根據(jù)人們對(duì)聲音方位的判斷，主要受時(shí)間差、聲級(jí)差、頭部晃動(dòng)、人體濾波效應(yīng)等因素影響，將HRTF作為聲源傳到人耳鼓膜的傳輸路徑中所產(chǎn)生的頻率響應(yīng)集合。該集合有對(duì)時(shí)間差以及聲級(jí)差等因素作用的綜合，從而形成響應(yīng)的聲源定位模型。其中，HRTF在音頻制作的過(guò)程中，可以被看作一個(gè)濾波器，其通過(guò)對(duì)原始聲音的頻段進(jìn)行調(diào)整，來(lái)實(shí)現(xiàn)與人耳所接收聲音相同的體驗(yàn)效果。在實(shí)際應(yīng)用中，利用雙聲道立體聲耳機(jī)進(jìn)行三維環(huán)繞聲效果獲取的基本原理，即對(duì)制作好的三維音頻進(jìn)行HRTF編碼，使其轉(zhuǎn)換為帶有HRTF的雙聲道虛擬環(huán)繞聲音信號(hào)，從而在耳機(jī)聽音下促進(jìn)其中的原始三維聲音空間信息恢復(fù)，最終獲得三維沉浸式環(huán)繞聲的聲音體驗(yàn)效果。

3. Ambisonics技術(shù)

Ambisonics技術(shù)是一種球形三維環(huán)繞聲技術(shù)，其錄音方式是對(duì)M/S立體聲音錄音方式的三維擴(kuò)展，即通過(guò)對(duì)以一定方式進(jìn)行組合的多個(gè)傳感器陣列的有效應(yīng)用，實(shí)現(xiàn)具有較高深度與高度信息的多軌聲音信號(hào)記錄，然后再對(duì)相應(yīng)聲道的信息進(jìn)行運(yùn)算，促進(jìn)其三維全景聲場(chǎng)形成，以滿足音頻制作與聽音的有關(guān)要求和效果。其中，采用4個(gè)聲道的一階Ambisonics是該技術(shù)在實(shí)際應(yīng)用中最為廣泛與成熟的技術(shù)方式體現(xiàn)。其傳聲器中包含4個(gè)傳聲器音頭，這4個(gè)傳聲器音頭的指向方位為左前、右前、左后、右后。該技術(shù)通過(guò)這4個(gè)傳聲器音頭進(jìn)行原始信號(hào)A-Format拾取后，在不同聲道中進(jìn)行疊加或者是反向疊加處理，即可獲取包含全方向W信號(hào)以及前后深度X信號(hào)、左右寬度Y信號(hào)、上下高度Z信號(hào)的B-Format，最終實(shí)現(xiàn)包含水平面與垂直面三維信息的完整三維聲場(chǎng)獲取，以滿足其三維立體聲環(huán)繞的聲音體驗(yàn)和效果[2]。

當(dāng)前，該技術(shù)在VR領(lǐng)域中可以作為一種音頻文件格式來(lái)進(jìn)行音頻保存與流通應(yīng)用，并且隨著各聲音平臺(tái)對(duì)音頻文件格式類型的支持范圍變化而不斷擴(kuò)大，其在實(shí)際中應(yīng)用的作用和優(yōu)勢(shì)也更加顯著。此外，與雙耳錄音技術(shù)相比，該技術(shù)的三維空間表現(xiàn)以及聲音元素定位等優(yōu)勢(shì)也更突出，在聲音的高度信號(hào)拾取以達(dá)到高度定位上的分辨度提升方面，更具有優(yōu)勢(shì)[3]。

二、VR音頻技術(shù)在沉浸式廣播節(jié)目制作中的應(yīng)用

結(jié)合上述對(duì)VR音頻技術(shù)的分析，在進(jìn)行VR音頻技術(shù)在沉浸式廣播節(jié)目制作中的應(yīng)用研究時(shí)，我們需要結(jié)合沉浸式廣播節(jié)目的制作流程對(duì)其技術(shù)應(yīng)用進(jìn)行分析。通常情況下，進(jìn)行三維沉浸式廣播節(jié)目制作的常規(guī)流程為：前期錄音、素材格式的轉(zhuǎn)換、后期的聲音處理、空間塑造、音頻導(dǎo)出等。其中，VR音頻技術(shù)在前期錄音環(huán)節(jié)的應(yīng)用，主要體現(xiàn)為對(duì)雙耳錄音技術(shù)與Ambisonics技術(shù)的應(yīng)用上;而在后期的聲音處理環(huán)節(jié)，則需要運(yùn)用EQ與壓縮技術(shù)等，以滿足后期聲音處理的實(shí)際需求。

（一）廣播節(jié)目制作的前期錄音及其技術(shù)應(yīng)用

在廣播節(jié)目制作中，為了給廣大聽眾帶來(lái)更好的聲音體驗(yàn)，節(jié)目制作者通常會(huì)采用雙耳錄音技術(shù)中的人工頭或是類人工頭錄音方式，或是通過(guò)對(duì)Ambisonics的聲場(chǎng)合成技術(shù)進(jìn)行有效運(yùn)用，以滿足其前期錄音的工作開展需求。其中，人工頭和類人工頭這兩種錄音方式在進(jìn)行聲音拾取后，需要通過(guò)一個(gè)完整的聲場(chǎng)塑造才能滿足節(jié)目制作的錄音需求。需要注意的是，采用人工頭或類人工頭錄音方式開展前期錄音工作，不僅存在較為突出的錄音方式相對(duì)有限問(wèn)題，而且也會(huì)使后期制作環(huán)節(jié)的工作開展受到較大的限制。因此，廣播節(jié)目制作需要結(jié)合具體情況對(duì)其前期錄音中的錄音方式及其技術(shù)進(jìn)行合理選擇，以確保整體工作開展的質(zhì)量和效率。

（二）聲像定位及其技術(shù)分析

由于雙耳錄音技術(shù)在廣播節(jié)目制作的前期錄音環(huán)節(jié)具有較大的局限性，因此，對(duì)廣播節(jié)目制作的聲像定位及其技術(shù)分析，就需要以Ambisonics技術(shù)及其錄音方式的應(yīng)用為核心，對(duì)其具體流程以及有關(guān)技術(shù)進(jìn)行分析。通常情況下，在廣播節(jié)目制作中，對(duì)單聲道與立體聲、環(huán)繞聲等不同格式的Ambisonics聲音文件的聲音拾取與應(yīng)用，需要通過(guò)有關(guān)插件應(yīng)用完成格式的轉(zhuǎn)換。比如，Plugin Alliance dear VR Pro插件在單聲道與立體聲格式的素材及其格式轉(zhuǎn)換中應(yīng)用就較為普遍[4]。完成對(duì)聲音素材的格式轉(zhuǎn)換后，節(jié)目制作者要使其能夠作為主輔拾音制式中的點(diǎn)聲源信號(hào)，然后在三維聲像插件的支持下，對(duì)其聲像位置在整個(gè)球形聲場(chǎng)中的靈活調(diào)整予以支持，滿足其聲像定位等工作的需求。

（三）對(duì)聲音的三維空間感處理及其技術(shù)分析

在廣播節(jié)目制作中采用VR音頻技術(shù)完成聲像定位等工作內(nèi)容后，節(jié)目制作者還需要針對(duì)聲音的三維空間感進(jìn)行有效處理。聲音的空間感因受到聲音和空間之間的關(guān)系影響，沉浸式廣播節(jié)目中的聲音空間感需求表現(xiàn)得非常強(qiáng)烈。因此，我們應(yīng)重視對(duì)聲音三維空間感的處理及其技術(shù)的應(yīng)用研究。一方面，現(xiàn)實(shí)空間中的反射聲來(lái)源情況較復(fù)雜，并且會(huì)受到空間結(jié)構(gòu)以及材料構(gòu)成、界面形狀等因素影響;另一方面，聲音的空間感表現(xiàn)為同一空間內(nèi)由于生源或者是聽聲音人員的位置不同，會(huì)導(dǎo)致其聲音組合的變化存在[5]。因此，根據(jù)該情況，在廣播節(jié)目制作中，節(jié)目制作者就需要對(duì)聲音的空間感和其所塑造的聲場(chǎng)空間特征進(jìn)行匹配，從而確保其聲音空間感的處理和聽眾的實(shí)際生活經(jīng)驗(yàn)相符合，進(jìn)而實(shí)現(xiàn)最佳的沉浸式聲音體驗(yàn)。Ambisonics技術(shù)在實(shí)現(xiàn)沉浸式廣播節(jié)目制作中的聲音三維空間感處理時(shí)，要采用房間仿真方式實(shí)現(xiàn)，即通過(guò)點(diǎn)聲源對(duì)預(yù)先設(shè)定的房間模型空間響應(yīng)進(jìn)行處理，以實(shí)現(xiàn)聲音在房間內(nèi)傳播的空間感模擬，從而獲取較好的聲音三維空間感處理效果。

（四）音頻導(dǎo)出分析

沉浸式廣播節(jié)目的制作中，耳機(jī)是其聲音還放工具以及監(jiān)聽工具。為實(shí)現(xiàn)廣播節(jié)目聲音播放時(shí)雙聲道立體聲耳機(jī)的沉浸式聲音感受獲取，就需要進(jìn)行相應(yīng)地實(shí)時(shí)雙耳渲染處理，將Ambisonics格式音頻文件向雙耳音頻還音轉(zhuǎn)換，以滿足聲音的渲染處理以及沉浸式三維空間感的效果需求，即在實(shí)際應(yīng)用中可采用Nx Ambisonics模塊來(lái)實(shí)現(xiàn)[6]。

三、結(jié)語(yǔ)

總之，對(duì)VR音頻技術(shù)在沉浸式廣播節(jié)目制作中的應(yīng)用研究，不僅能夠?yàn)閺V播節(jié)目受眾帶來(lái)更好的沉浸式聲音體驗(yàn)和節(jié)目收聽感受，而且有利于促進(jìn)廣播節(jié)目制作技術(shù)的創(chuàng)新和發(fā)展，這對(duì)推動(dòng)我國(guó)廣播電視行業(yè)的進(jìn)一步發(fā)展和提升具有十分積極的作用和意義。

[參考文獻(xiàn)]

[1]董梅.通信、廣播電視和OTT平臺(tái)的跨界音頻技術(shù)專家—Fraunhofer IIS[J].世界電子元器件，2017（10）：17-19.

[2]李英若，葉思成，何夢(mèng)凡，等.影視VR技術(shù)在聽覺音響設(shè)計(jì)中的應(yīng)用與案例研究初探（下）[J].現(xiàn)代電影技術(shù)，2018（02）：29-39.

[3]李亭剛.數(shù)字音頻技術(shù)在廣播電視工程中的應(yīng)用[J].通訊世界，2019（08）：144-145.

[4]秦偉.探究數(shù)字音頻技術(shù)在廣播電視工程中的應(yīng)用[J].數(shù)字通信世界，2020（10）：206-207.

[5]于銳.數(shù)字音頻技術(shù)在廣播電視領(lǐng)域的應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2020（02）：38-39.

[6]李宏程.淺談數(shù)字音頻技術(shù)及其在廣播電視工程領(lǐng)域中的應(yīng)用[J].中國(guó)傳媒科技，2018（07）：69-70.