空間音頻技術的新華“密碼”

魏驊 李霏霏 楊力尉

摘要：在萬物皆可“沉浸”的時代背景下，相比于突飛猛進的視覺圖像技術，如虛擬現實（VR）等，聲音技術的發展則相對滯后。本文從音頻技術發展歷程與趨勢，結合新華社國家重點實驗室在空間音頻領域的技術攻關和應用實踐，探討其對下一代媒體融合的積極影響，以及“視”“聽”融合面臨的主要挑戰。

關鍵詞：新華社國家重點實驗室 空間音頻 沉浸視聽

隨著傳統業態數字化程度加深，可視化、交互性、沉浸式數字創意產品和服務涌現，人們對信息質量和音視頻體驗提出新的要求。空間音頻技術創造了一種三維聲音的感覺，允許用戶感知聲源的方向和距離，使虛擬環境感覺更加真實。新華社媒體融合生產技術與系統國家重點實驗室（下簡稱“國重”）通過對空間音頻技術的研究，探索在新聞采編工作流程、融媒體產品創作等方面做出的革新。

一、空間音頻成為下一代音頻的必備特性

聽覺作為僅次于視覺的感知途徑，幫助人類采集了包括方位感、頻率高低等在內的15%以上的復合環境信息。音頻的感知受到長短時記憶的影響更明顯，可以調動人的情緒變化和好惡感知。在虛擬場景中，聽覺系統向用戶提供輔助信息，可增強視覺感知，彌補視覺效果的不足，增強環境仿真性和沉浸感。國外有公園戶外音樂廳通過可變聲學環境系統營造室內音樂廳的聽感；國內有以“真實重現”與“虛擬創造”為特點打造的文旅演藝及展覽展示項目，利用藝術與技術融合、創意手段與現實環境融合、演與觀交互融合，讓觀眾通過通感代入到或具象或抽象的情景，創造身臨其境的效果。

從音頻技術演進來看，20世紀80年代，聲音從一維走向二維，數字立體聲技術開始在CD、錄音磁帶等影視音樂文化消費、語音通信等領域廣泛應用。隨后，以杜比實驗室（Dolby）與數字化影院系統（DTS）為行業標準的2D立體虛擬環繞聲5.1、6.1、7.1等多聲道音效音頻技術取得廣泛認知。杜比全景聲（Dolby Atmos）和巴可3D聲音技術（Auro-3D）將沉浸式聲音或三維聲音帶到公眾面前。目前國內影院、流媒體平臺、家庭播放終端等多以該類技術作為影音亮點。

以虛擬現實與增強現實為代表的融合技術，正為聲音經濟帶來新的發展機遇，吸引著源源不斷的內容和流量注入。目前來看，相比廝殺嚴重的視頻市場，音頻市場前途仍是一片藍海。基于聲音的技術創新加速，聲音價值愈發凸顯。基于聲音的新互動方式正在固化，消費者習慣逐漸形成。根據《2022音頻產品使用現狀調研報告》，越來越多的消費者追求音頻產品中的空間音頻特性，并愿意為此支付更多費用。同時，相關細分市場正努力尋求將空間音頻功能整合至各類多媒體形式中：音樂產業致力于相關內容生產，比如打造更真實的虛擬音樂會體驗，或推出空間音頻音樂產品——2022年，Apple Music正式支持空間音頻，用AirPods Pro聽相關歌曲會發現音樂可以來自背后和周圍；2023年，網易云音樂和華為音樂均發布“空間音頻”，并嘗試在汽車等多終端場景支持空間音頻體驗；電影制片人利用空間音頻打造沉浸式“聲景”體驗，著重面向家庭影院系統；元宇宙已經融入在線游戲、在線K歌、在線教育等不同行業和場景。

音視頻技術發展迅速，但存在“跛腳”問題。例如，VR為視覺體驗帶來革命性進展，但聽覺體驗仍有局限。現階段，多數VR內容使用Insta360這類設備錄制，無法采集具有立體感的空間音頻。空間音頻專業設備價格高昂，創作費時費力，因此多采用“現實+虛擬”的混合音頻制作方法。當聲音不能準確反映日常聽音體驗，眼、耳接收信號匹配度不同，容易造成用戶與虛擬世界的斷聯感，甚至引起眩暈。在通信領域，大腦處理日常對話，需要空間方位信息的輔助。語音會議中，方位信息缺失容易導致注意力轉移；當多人同時發聲，與會者難以通過視覺信息分辨說話者，認知負荷進一步增加。

隨著音頻技術在傳媒領域的應用，新聞對于聲音的真實性、敘事性、沉浸感等效果要求提高。如俄烏沖突相關視頻報道中，我們會希望能更清晰聽見沖突現場的各種聲音，包括不同距離的爆炸聲、群眾的呼救聲、記者跑步的喘息聲、來自各方位的士兵指令聲等。同期聲是現場的重要信息源，在戰地報道、自然災害等新聞現場，如較完整收錄同期聲，新聞可信度和現場感將大大增加。

聲音還是下一代媒體融合中的重要元素，將對改變新聞生產流程、傳播方式產生關鍵性作用，進而影響媒體的發展前景和綜合實力。如果任何擁有智能手機的人都能生產高質量音頻內容，信息內容總量將爆發式增長。《紐約時報》曾推出采用空間音頻技術的音頻故事和廣播劇，路透社、《華爾街日報》及Meta等海外平臺紛紛布局；國內媒體方面，中央廣播電視總臺三維菁彩聲（Audio Vivid）、芒果TV、芒果全景聲相繼推出——這些都表明通過新一代音頻技術吸引用戶到媒介平臺的競爭愈發激烈。

二、空間音頻技術的新華“密碼”

國重自2020年聚焦信息傳播過程中聲音的沉浸式體驗和自然聽覺交互技術研究，以空間音頻技術為切入點，跨領域融合，跨學科融合，技術和內容創新融合，以技術促進信息傳播，在行業標準、技術認知等方面進行突破。2022年正式以“新華空間音頻”命名該項技術。國重研究聲音，希望搶占技術高地，突破技術壟斷，并在下一代媒體融合發展中充分釋放聲音元素，尤其是空間音頻技術的價值，創新“講故事”的方式方法，最大程度還原新聞現場，帶來傳統新聞報道無法比擬的在場感、參與感，增強報道深度。

現階段，從技術攻關到實踐應用，國重主要在以下四個方面尋求創新突破。

1.結合技術特點在算法上突破。空間音頻與全景聲區別主要在于采集方式和還原方式。此前，業內全景聲作品多數聲源并非真實采集，而是在聲床基礎上多聲像疊加而成。不同于杜比、DTS等通過技術手段制作具有空間音頻效果的內容及增加置頂揚聲器來實現3D效果，新華空間音頻技術通過從多個點位采集聲音數據，并進行修正和優化，還原真實的聲音聲場效果，讓用戶感受到更真實的音效體驗。目前國重已對聲音采集模式完成“傳統聲道采集”向“全方位算法采集”的演進。

2.結合新聞行業痛點在軟硬件系統上突破。記者跋山涉水到達新聞現場，記錄下寶貴的圖像資料，但收音技術等限制導致同期聲錄制無法達到預期效果，出現噪音大、有線耳機阻礙靈活操作等問題。在進行沉浸式音視頻新聞采編及制作、稿件回傳、送簽發布、調度協同時，也仍需攜帶較冗雜的采訪裝備。針對以上痛點，國重創造性地將高質量空間音頻采集技術與最新無線技術相結合，并與移動終端設備相結合，研發了一套全場景空間音頻采集解決方案，能便捷實現空間音頻聲場的實時采集、存儲、編輯、直播、發布等。國重團隊希望新華空間音頻技術及其軟硬件系統，可以像大數據、云計算等技術一樣滲透到視頻新聞制作中，更有效賦能新聞內容建設與呈現。

3.結合媒體融合態勢在產品應用上突破。在遵循新聞傳播規律和新興媒體發展規律基礎上，國重以空間音頻技術為支撐指導內容生產，創新內容形式，增強內容吸引力和傳播力，強化用戶意識、技術意識和互動意識，摸索出一套以“內容創意+技術賦能”的應用模式，初步驗證了新華空間音頻技術的應用需求與潛力，形成幾點心得。

一是聲音承擔更多敘事任務。新聞事件中往往存在特定關注對象，當鏡頭語言缺失，需通過聲音事件引導視點，尤其是對移動聲源和突發聲音事件時，聲音敘事尤其關鍵。以國重為紀念香港回歸祖國25周年創作的空間音頻短片《心潮》為例，空間音頻架構起時間脈絡與場景穿越感：短片開頭，香港回歸當日的新聞播報響起，瞬間把受眾拉進時代洪流中，車水馬龍聲、珠江浪潮聲、鬧市人潮聲、舞獅鑼鼓聲，伴隨粵語旁白的講述，觀眾在6分鐘內迅速回顧25年來香港在各領域的發展變化。

二是聲音發揮紀實感優勢。新聞的真實性與視聽感受密不可分，為增強沉浸感，需推敲聲音內容主體何時為環境音、何時為人聲語言等。由于用戶視角可自由移動，聲音對象需隨之實時改變，聲音和視覺不同步或定位不準確都會破壞沉浸感。國重創作的空間音頻短片《沉浸式回顧“夢天”圓夢之旅》以聲音完整、效果真實為前提，用CG動畫展現夢天實驗艙遨游太空，以及空間站在軌對接、組裝、變形等畫面，發揮新華空間音頻在后期音效合成上的技術優勢，對相關聲音模擬呈現。針對氛圍感最強的發射準備階段，無論是發射現場聲，還是體現當地風土人情的聲音、孩子喊出的發射倒計時、發射后現場觀眾的歡呼，都采用現場采集的空間音頻，將市井嘈雜、發射轟響等紀實元素與短片后半程CG動畫結合，保證視聽效果連貫性與整體性，營造出科幻電影感。

三是聲音小切口展現大命題。目前，國重創作的空間音頻短片以3～6分鐘時長為主，緊扣重大主題和熱點話題。這類題材對不同場景聲音元素的典型性、情感關聯度要求較高，國重以聲音技術為小切口，采用多重素材構建，以細膩視角鮮活展現宏大命題。貫徹落實黨的二十大精神的融媒體產品《聽見綠水青山》系列有兩大創作特色，即“雙線敘事”和“本地環境聲與樂曲融合”。《從較量到共生，八步沙聽見綠色奇跡》篇中，從過往的飛沙走石之聲到鏟土埋草之聲，再到產業發展、百姓安居樂業，以聲音客觀呈現從“沙進人退”到“人進沙退”；嗩吶樂手帶觀眾沉浸式走進八步沙林場，以音樂主觀呈現“困難面前不低頭，敢把沙漠變綠洲”的精神。二者結合，視音效對比，實現藝術表達與主旨思想融合。

4.結合市場需求在元宇宙場景中突破。作為數字虛擬世界和物理現實世界深度融合交互的重要節點，元宇宙蘊含著強大的技術觸發要素和商業可能。空間音頻技術被認為是元宇宙底層技術支撐，為全球物聯網提供通用的沉浸式音頻入口。借助音視頻技術打造強交互屬性的產品或服務，在辦公會議、社交泛娛樂、在線教育、在線醫療、生活消費、精神文化等產業創新應用。以在線音樂教育為例，如能清晰還原學生演奏的音調、音色、響度，老師將能更準確判斷教學情況。

基于此，國重著重在以下四個方面展開技術應用，重構元宇宙視角下的產品形態和用戶在虛擬世界的視聽體驗。一是內容生產和傳播。賦能空間音頻的數字化生產和傳播過程，提高內容生產力和產品力。二是泛文化產業數字創意。數字融合出版、數字資產、沉浸式展覽、互動直播，賦能數字創意。三是線上線下教育。創造沉浸式教學環境，模擬現實世界視聽場景，實現“學”與“用”的深度融合。四是個人消費和生產力工具。自研空間音頻采集產品，個人消費電子娛樂產品，提高生產力工具的效率。

三、“視”“聽”融合須闖三關

從電影、電視到今天的VR、AR，視覺文化獲得了驚人發展。隨著視聽關系失衡現象極端化，呼喚聽覺文化回歸的聲音也日益強勁。在萬物沉浸時代背景下，“視”“聽”融合主要面臨三大挑戰。

1.技術標準及跨領域結合挑戰。目前，部分沉浸視聽體驗，尤其是空間音頻體驗，缺乏統一評價標準。空間音頻感知機制涉及復雜的聲學和心理聲學等效應，存在個體差異，難以通過嚴格定量分析進行主客觀評估。為促進空間音頻進一步發展，可與產業鏈上下游共同打造行業解決方案，建立從內容制作、分發平臺到體驗場景的技術生態，同時結合認知科學、傳播學、大數據統計分析等學科領域，構建跨維沉浸視聽環境。國重正積極參與國內空間音頻技術的推廣普及，發揮新華社牽引示范作用，參與建立相關標準，通過打造落地案例，推動沉浸視聽產業由端到鏈深度合作，推動空間音頻標準試行應用。

2.視聽通信應用挑戰。在互聯網新基建的發展影響下，線上實時互動場景炙手可熱。Meta、微軟等公司在空間音頻方面的研究均指向會議等通信場景。

一是語音會議室或聊天場景。空間音頻可在一定程度上幫助受眾在多人通話場景辨別發言者，減少溝通疲勞感，提升沉浸感、參與度和效率。二是第一視角動作游戲。空間音頻可為玩家提供帶有方位線索的聲音信息，使玩家得以精確定位游戲中的“危險”，或對隊友進行“施救”，讓游戲體驗更真實。三是虛擬演藝。表演場地往往需要對聲場布置專門設計，以獲得更好的混響效果。而線上音樂直播節目中，混響效果仍缺乏氛圍感。一方面與聲音傳遞到觀眾耳朵的方式有關，可通過空間音頻技術解決，另一方面，觀眾的反應同樣是氛圍感的組成部分。

3.媒體融合應用挑戰。在融媒體內容創作中，如何“視覺不搶”又能做出創意？抓人眼球的同時突出聲音元素？首先需明確，聲音并非畫面的配角，而是參與主線創作的關鍵性元素。以國重在黨的二十大召開前夕播發的空間音頻短片《聽見中國》為例，先“由視到聽”，根據章節主題、情緒和鏡頭的起承轉合，對超過400個聲音細節去重排列、轉場銜接、精準表達；后“由聽到視”，對節奏感精細打磨，讓聲音跳出視覺信息，自己巧妙講故事。顆粒歸倉的豆米碰撞、海捕收獲的魚蝦奔騰、藏羚遷徙的抱團齊進，戴上耳機，受眾能感覺聲音從四面八方“撲面而來”，隨著畫面、音樂的轉合，共情思考。

國重團隊希望通過對空間音頻技術的探索與實踐，不僅在新聞領域深化技術研發和成果應用，更好賦能媒體深度融合發展，同時能快速應用于更廣泛的系統與平臺中。當然，要真正全方位實現技術落地，需得到從制作端、分發平臺到顯示端的全鏈路支持，以解決提質、降本、增效等實際問題為牽引，推動技術下沉。

作者魏驊系上海交通大學博士生、新華社總編室運營推廣室副主任、媒體融合生產技術與系統國家重點實驗室研究員

李霏霏系媒體融合生產技術與系統國家重點實驗室第一聯創中心主任助理兼運營總監

楊力尉系媒體融合生產技術與系統國家重點實驗室第一聯創中心高級運營經理

參考文獻

[1]季凌霄.從“聲景”思考傳播：聲音、空間與聽覺感官文化[J].國際新聞界，2019（03）.

[2]杭云，蘇寶華.虛擬現實與沉浸式傳播的形成[J].現代傳播（中國傳媒大學學報），2007（06）.

【編輯：李棟】