音視頻新技術與文旅的融合及創新應用

魏增來

（中國傳媒大學音樂與錄音藝術學院，北京 100024）

1 音視頻技術與文旅演藝的關系

文旅演藝的本質是體驗，體驗的主要感知手段是視覺和聽覺，與之相對應的學科即為現代電子技術中的音視頻技術。因此，音視頻技術在文旅演藝領域得到越來越多的應用，發揮著越來越大的作用。

良好的文旅演藝體驗在于真實重現和讓人感到“真實”的虛擬創造，或者是兩者的適度結合。兩者的區別在于，一個確實存在于現實世界中，人類的既往感知有過類似的經驗，可以在情緒中產生映射，只是感知的時空發生了轉換而已；另外一個則不存在于現實世界，以寫意手法仿效或創造視覺聽覺的象征，讓人類通過聯覺或通感體驗到從未感知過的情景，這種情景可以具象，如太空外星人、恐龍世界，也可以抽象，如玉淵潭文旅項目“萬物共生”里的五彩花徑（如圖1所示）等。但這兩者在文旅應用中的相同點都是營造所謂“真實”，通過“包圍感”、“沉浸感”和觀演之間的有效“互動”，讓觀眾產生“代入感”，從而“身臨其境”、“心獲其感”，由“共境”引發“共情”，使體驗感升華。

除此之外，文旅演藝項目大都長期展演，在具體操作層面也有很多痛點難點。最顯著的問題是技術手段越來越多，使用也越來越復雜，亂花漸欲迷人眼。如何化繁為簡，讓各類呈現手段“智慧”起來，避免犯錯誤、出問題，不影響正常展演，同時節省人力物力投入，才能實現更好的投入產出比。

圖1 玉淵潭“萬物共生”中的五彩花徑

為滿足上述這兩大類需求，音視頻技術需要與時俱進，創新發展，與具體文旅演藝場景下的應用需求形成相互支撐、相互促進、相互融合的局面，這也是任何事物進步的必然規律。實際的演化也是如此，音視頻技術發展進一步推高了文旅演藝呈現能力和需求標準，而需求標準的提升又反過來促進了音視頻技術的發展，兩者形成了良好的正向互動循環。

2 相關音視頻技術新進展

隨著信息處理技術及網絡技術的飛速發展，各類信息的實時處理能力得到前所未有的提升，音視頻信息的處理能力也同樣如此。之前具有一定理論基礎，但受制于運算能力而無法得到實現和驗證的技術當前很多都得以實現，雖然這些技術距離理想狀態還有一定的差距或者瑕疵，但并不妨礙業界據此進行大量的嘗試和探索。此類探索除了滿足當前文旅領域的常規需要外，還逐步順應上述文旅演藝呈現的需求，在“代入感”以及“智慧”兩個方面，形成了一定的發展趨勢，因此為相關呈現提供了更好的、也更易于使用的手段，讓藝術家們可以在更高的層面上以更高的效率展開創意和應用。

嚴格來說，這種“代入”以及“智慧”是多方面結合的產物，也可以認為是多維度融合的共同成果。為了便于闡述，筆者依然分為音頻、視頻以及控制三大類別。

2.1 音頻技術

音頻技術方面，為了實現所謂“代入感”以及“智慧”，以下幾種新技術尤為受關注，并有越來越多的應用。

2.1.1 沉浸式擴聲技術

沉浸式擴聲技術主要目的是為了重構聲音元素，基于具體聲源營造“真實”，以假亂真。文旅項目中通常以揚聲器重放為主，小型項目也可能采用耳機進行重放。

揚聲器重放方面，基于“對象（Object）”展開的沉浸聲制作，現在基本上已成為業界共識，其底層理論基本可以歸結如下。

· VBAP/DBAP/KNN等，以能量和距離等參量在不同揚聲器之間的配比設定對象的空間數據。

· HOA，基于球諧函數分解在不同揚聲器之間設定對象的空間數據。

· WFS，基于波場合成理論在不同揚聲器之間設定對象的空間數據。

受制于揚聲器空間布局、數量以及其本身電聲學特性等多種因素，通常來說，單一的底層基礎理論并不能較好地實現揚聲器重放時的沉浸聲效果。因此，目前商用的沉浸式系統大都采用多重底層理論相結合的方式來設定自身的算法，以在呈現效果、系統造價以及安裝施工便捷度等方面取得較好的平衡。

因為沉浸式擴聲具有更好的體驗感，所以目前的商用市場，很多廠商已經推出了相應的產品并在國內外進行了諸多實際探索。例如，采用d&b Soundscape系統的音樂劇《新華報童》（見圖2）、采用原WFS系統（現已更名為Holophonix）的《遠去的恐龍》、采用L-Acoustic L-ISA系統的法國南特狂人國環形秀場（見圖3）等；更值得一提的是，國內已有專業公司展開了這一方面的研發生產，并已提供了可以商用的產品，如深圳易科公司的ezAcoustic X-Core系統（見圖4）。此前筆者曾多次撰文提出，鑒于基礎理論的共同性以及DSP技術的共享性特征，國內通過音頻算法的研發來追趕音頻領域的世界先進水平可能是一條相對快捷的途徑。雖然目前上述探索仍然存在著很多不足，但任何事務的發展規律均是如此，因此這些創新實踐依然非常值得鼓勵和肯定。

圖2 音樂劇《新華報童》的沉浸式擴聲系統

圖3 采用L-ISA系統的法國南特狂人國環形秀場

圖4 前期預混過程中的易科ezAcoustic X-Core系統

在耳機重放方面，其底層理論均基于雙耳效應（Binaural），應用上更多地體現在頭相關傳遞函數（HRTF）及其變化上，如個性化的頭相關傳遞函數（PRTF）以及包含空間環境條件的頭相關傳遞函數等。國內外公司在這方面均進行了很多探索嘗試，包括英國DIGICO集團的Klang系統、中國上海費迪曼遜四維與外方合作的SVS系統等。

2.1.2 電子聲學環境可變技術

電子聲學環境可變技術主要目的是為了虛擬特定的聲學環境，在空間感上營造“真實”。該技術是由原電子可變混響系統而來，受制于目前的技術發展，只能虛擬相對更為“活躍”的聲學空間，最終將與上述沉浸式擴聲技術融合，完成對聲音情景主要要素的虛擬重構。其主要分為三大類。

（1）再生式系統

再生式系統，如MCR、CARMEN等，該類系統充分利用廳堂的固有擴散聲能并予以反饋放大，最終效果能夠充分保留廳堂固有的聲學特征，但其回授前增益不好控制，因此，更適用于廳堂固有聲學環境較為豐富的場所，且不建議設置過大的可變范圍。

（2）回路嵌入式系統

回路嵌入式系統，以ACS、E-Coustic（LARES）以及VIVACE第一代等為主要代表，它們以聲源的直達聲為基礎，通過優良的混響算法和強大的DSP處理能力，可以人為“合成”出一個聲學空間，因此具有非常寬泛的調整范圍和靈活多變的調整能力，能夠獲得較高的回授前增益，但它們引入了人工成分，與廳堂本身的相關性較差，因此，適用于相對不活躍（相對較“干”）且希望應用功能跨度很大的空間。圖5即為采用E-Coustic系統的美國芝加哥千禧年公園戶外音樂廳，通過可變聲學環境系統將一個室外公園在一定程度上營造出了室內音樂廳的聽感。

（3）混合再生式系統

混合再生式系統是再生式系統和回路嵌入式系兩種系統的混合體，主要代表為AFC、Constellation（VRAS）以及VIVACE Ⅱ，它們所適用的廳堂范圍更廣，但需要更有針對性地設計及調試。

2.1.3 揚聲器指向電子控制技術

在不改變揚聲器物理角度的情況下，通過電子相控技術及波束形成技術，實現揚聲器覆蓋區域的調整，非常適用于文旅場景下觀演區的靈活變化。

2.1.4 聲場智能調試及優化技術

利用大數據以及信號檢測技術進行聲場的智能調試或自適應調試，優化聲場效果，提高現場調試效率，提升系統的穩定性。

關于后續兩類技術，筆者已多次在其他文章中予以介紹，不再贅述。

2.2 視頻技術

對于視頻方面，同樣通過“沉浸”、“互動”以實現“代入感”，同時通過“智慧”以提高可操作性，目前主要有如下幾種技術。

2.2.1 三維映射（3D Mapping）

三維映射通過對被投射物體的3D建模，以將顯示內容準確映射其上，實現視覺效果與周圍基礎環境的有效融合，形成虛實結合的效果。圖6為基于法國沙特爾市圣母大教堂而進行的外墻立體顯示光影秀。

圖6 法國沙特爾圣母大教堂三維映射光影秀

2.2.2 沉浸式空間

通過巨幅或多維度視覺呈現，在視覺上形成包圍感；進一步融合觀、演關系，加強“真實”體驗下的代入感。圖7為法國巴黎光之博物館的沉浸式空間顯示的實景照片。

圖7 法國巴黎光之博物館沉浸式空間顯示展廳

2.2.3 特殊顯示（水幕、紗幕、透明屏、網屏等）

利用虛擬呈現與現實場景的結合，增強視覺的縱深體驗，實現與周圍基礎環境的融合，讓虛擬內容更具“真實”感，并豐富呈現的變化。圖8為唐山南湖公園云鳳島紗幕虛實結合的顯示效果。

圖8 唐山南湖公園云鳳島紗幕顯示

2.2.4 裸眼3D

在平面顯示媒介上，利用制作端相關技術，使顯示內容呈現立體視覺的“真實”感。圖9為曾被微信刷屏的成都太古里裸眼3D大屏顯示效果。

圖9 成都太古里裸眼3D大屏顯示（本圖片來自于網絡）

2.3 控制技術

對于文旅演藝應用的音視頻控制技術方面，其發展演化以更好地實現“互動”“智慧”為主，一方面提升觀與演的關系，增加代入感，另一方面降低技術使用的操作難度，提高效率。目前具有代表性的主要技術如下。

圖10 法國Modulo π PLAYER一體化Show Control控制界面示意圖

圖11 MERGING Ovation一體化Show Control控制界面示意圖

2.3.1 追蹤捕捉技術

追蹤捕捉技術是通過GPS或射頻定位等技術與音視頻技術的結合，實時進行音視頻信息的動態跟隨，實現互動性，展現真實感。目前常見的商用產品如加拿大的BlackTrax系統、挪威TTA公司的Stagetracker Ⅱ系統等。

2.3.2 聲光電融合一體化的Show Control總控技術

Show Control總控技術將演藝呈現的主要載體聲光電系統進行有效整合，并按一定基準實現總體自動化控制，從而確保演藝呈現順利進行，降低技術操作難度。圖10和圖11分別為法國Modulo π PLAYER和瑞士MERGING Ovation的一體化Show Control控制界面。

3 文旅演藝與音視頻新技術的融合應用實踐

視聽是不可分割的，為了在體驗中構建所謂“真實”，視聽必須融合，共同完成對人類感知的映射。因此，在以體驗為主的文旅演藝領域，“融合”成為關鍵詞。

對文旅演藝呈現而言，融合應該是多維度的，既是藝術與技術的融合，也是技術與應用的融合。融合應用的核心目標是實現“沉浸”“互動”所體現出來的真實感和應用中的“智慧”度。那么，在這種融合之下，具體實現至少包括：呈現手段與現實環境的融合、呈現手段間的相互融合，以及演與觀的融合。翻譯成技術語言，前兩者可以概括為“沉浸”，即通過與所處環境（或刻意營造的虛擬環境）相匹配的視覺聽覺的統一，產生代入感，而后者可以概括為“互動”，通過互動，也會產生情景交融的代入感，實現“共情”。所以，這種“沉浸”和“互動”都是為了前文所謂的“身臨其境”和“心獲所感”。

《遠去的恐龍》（圖12）中，通過巨幅LED屏顯示與舞美制作實景的虛實結合等方法，首先在視覺上形成較好的“沉浸”感；同時，通過原WFS沉浸式擴聲系統，使觀眾在聽覺上也形成較好的“沉浸”感，視聲結合即可對觀眾形成較好的代入感；再通過機械恐龍與前排觀眾的互動，進一步加強這種代入感，從而讓觀眾“真實地”感受到了虛擬的恐龍世界，以多種維度提升體驗感。同時，通過Ovation一體化控制技術，統一協調聲光電系統的演出進程，將原本復雜的操作進行簡化，最大限度地避免失誤。

圖12 《遠去的恐龍》劇照

同理，法國ECA2公司在中國蘭州創作演出的 《盤古傳奇》（見圖13）中，特別強調了所謂沉浸（Immersive）概念，通過法國Modulo π視頻綜合服務器，在建筑結構上進行巨幅三維映射以及水幕顯示，同時通過Modulo π聲光電一體化控制技術，有機結合了機械、燈光、水特效、火特效等多種呈現手段，多維度的技術融合給現場1 500名觀眾帶來了極具震撼力的感官體驗和沖擊感。

圖13 《盤古傳奇》現場演出圖片

4 目前面對的問題

技術的發展永遠沒有盡頭。當前，雖然音視頻新技術在文旅演藝呈現中起到了很大幫助作用，但仍有大量問題有待業界思考并解決，主要問題如下。

（1）在呈現端，無論音頻、視頻，仍未真正解決“真實”的問題，即所還原的元素還是不太像。

（2）在呈現端，觀演“交互”的程度依然很淺，觀眾參與度以及由此引發的代入感仍需提升。

（3）在控制端，人機交互界面仍然不夠人性化，即還不是那么“智慧”，操作使用的便利度依然存在提升空間。

（4）音頻、視頻設備相對獨立性過強，依然欠缺互相融合方面的深入思考。

（5）在實現端，鑒于文旅演藝應用場景通常具有廣大的觀演空間，因此分布式處理需求強烈，同時線纜衰減、敷設工作量等問題較為突出，如何更為快捷高效，如“全無線”方式等解決方案需不斷思考改進。

（6）文旅演藝呈現高頻次、長周期的應用特征對音視頻系統的安全可靠性提出了嚴峻考驗，所有設備都應在滿足功能的情況下適應各種環境的需要。

無論怎樣，科學和社會終將不斷進步。音視頻技術讓文旅演藝的體驗更加美好，讓生活更加美好！