用虛擬突破真實的邊界
——以《2060》為例談電視虛擬技術的創新運用

宋 芾

2021年被稱為元宇宙元年。元宇宙的概念引發全球資本市場和業界的廣泛討論，形成了一股現象級的熱潮。熱潮的背后，其實是互聯網和可交互式設備高速發展的背景下，以及新冠疫情的暴發與持續，人們對生活生產方式、社交、娛樂方式尋求改變的一種訴求。元宇宙這一融合了現實世界與虛擬世界的載體，也令人們對未來的生存環境和生活方式產生了無窮的想象。

電視行業作為人們娛樂方式的支柱產業之一，也隨著虛擬技術的發展和應用，不停迭代更新著全新的節目類型和傳播方式。在元宇宙的浪潮中，電視行業對全新虛擬技術的落地做出了不斷的嘗試以適應社會的發展，這其中的成果和經驗對后續虛擬技術在電視行業的運用也具有參考價值。

一、虛擬技術在電視行業的全新運用

（一）虛擬技術的革新帶來制作理念的革新

虛擬技術對于電視行業而言，其實并不算是新鮮的事物。早在1993年，以色列ORAD就已經推出虛擬演播室技術，[1]隨后的10年間，包括英國廣播公司、法國PSY虛擬演播室等都推出了自己的虛擬演播室技術。而中國在2000年左右，大洋、新奧特等廠商也推出了國產化的虛擬演播室，產品各具特色的同時，也打開了節目制作的新思路。

近年來，隨著計算機圖形CG技術的普及與發展，制作團隊嘗試將更多更復雜的場景、特效變換運用到節目的制作中，從新聞類節目虛擬演播廳的簡單場景、燈光、特效，到舞臺表演類節目復雜的場景變換和舞臺表演燈光、特效，用虛擬的場景、特效代替了真實的舞臺效果，而逼真的燈光、特效使得舞臺表演的內容和深度上都有了質的飛躍，為觀眾帶來了更加震撼的視聽感受。而節目制作的理念和主導思維也隨著技術的進步產生了質的改變。

以往的舞臺表演節目大多是基于真實空間的舞美、燈光、舞臺機械相結合，運用包括LED大屏、各類燈光機械的配合等來呈現完整的舞臺表演。在此基礎上，表演者的歌曲表現形式大多基于舞臺范圍內，以及現有的大屏、燈光技術所能展示的極限，導演在策劃每一首歌的表演內容時，往往會受限于物理空間、燈光照度角度、機械運轉能力等客觀因素的制約，但虛擬技術的引進，使得導演在表演的創作上可以更加天馬行空，不再受到這些因素的制約，從而將想要呈現的效果與表演的主題結合得更加緊密。從內容出發，不受約束不再是一句空話，所想即所得的創作理念，讓舞臺表演的設計從舞臺主導真正變成了內容主導，也進一步促進了內容的多樣化呈現。

（二）虛擬技術在節目中的創新使用

虛擬技術的運用給舞臺表演內容的創作帶來了革命性的變化，節目制作團隊也選取了不同的解決方案來應對不同的節目類型和需求，大致可以分為以下幾類：

1.真實場景+虛擬人物

以中央電視臺2015年春節聯歡晚會推出的虛擬主持人陽陽，騰訊新聞數字人梅澀甜，新華社數字記者小諍，湖南衛視在2021年推出的虛擬主持人小漾等為代表。這類解決方案是將虛擬人物通過虛擬演播系統和虛擬攝像機模塊映射到真實場景中，伴隨實時的動作捕捉系統，可以實現虛擬人物在真實場景中的表情、動作、聲音互動等功能，使得虛擬人物可以不受時空的限制，隨時出現隨時互動。這也是真正意義上的用虛擬表演者替代了真人，虛擬和真實之間有了普世概念中的互動性。

早期的虛擬人物受制于當時的技術水平，還無法達到神情、動作流暢度的要求，更多的只是一種全新的嘗試。但隨著近年來面部表情捕捉、動作捕捉技術的進步，以及計算機算力的提升，各家廠商也在不停迭代虛擬人物的制作，使得這一技術重新煥發了活力。包括愛奇藝《跨次元新星》、中央廣電總臺《上線吧！華彩少年》中，都運用了全新基于UE4引擎的虛擬人物舞臺表演。

2.虛擬場景+真實人物

江蘇衛視《2017跨年演唱會》、愛奇藝《虛實之城》演唱會中，都出現了真人歌手在宏大虛擬背景中的表演。相較于第一種解決方案，這類方案更加偏向于在場景塑造上的突破，主體內容還是基于真人表演，但用虛擬技術打造出真實舞美無法企及的空間和舞臺感受。

由于跨越了空間的限制，恢宏的場景與表演者形成了極大的反差，二者都極力營造出一種史詩感的表演效果，這類解決方案對于虛擬技術而言需要更大的渲染計算量和更高的各工種協同配合要求，也是目前虛擬技術應用最具代表的形式之一，在各大平臺的晚會、音樂節目中都可以看見這種技術的運用，極大地解決了舞美因為空間和制作工藝的限制，無法完美展現導演的設計構思等問題。

3.虛擬場景+虛擬人物

這類解決方案是2021年才登上電視節目制作舞臺的技術應用，也是首次將全虛擬制作運用到廣播級平臺的解決方案。以美國福克斯電視臺Alter ego、江蘇衛視《2060》為代表，結合了方案一的虛擬人物和方案二的虛擬場景應用，既突破了原有真人表演單一性，也跨越了現實時空的局限，是全新的探索和嘗試。

目前全虛擬的場景+虛擬人物的表演的案例還并不多見，主要是受制于此類硬件設備的高昂成本，以及電視節目制作播出周期的限制，需要大量的人力和各個全新工種的配合，對傳統的電視工業流程具有極大的挑戰。

除此之外，江蘇衛視《2022跨年演唱會》中歌手周深和虛擬的鄧麗君進行了合唱表演，《美國好聲音（第二十一季）》總決賽上酷玩樂隊的表演以及2021年11月加拿大歌手賈斯汀·比伯在WAVE平臺開展虛擬演唱會，這三個案例代表了未來虛擬技術落地應用的一個方向——在全虛擬的場景下，將真人表演者進行數字虛擬化，用虛擬“替身”的概念進行表演。這也是“虛擬場景+虛擬人物”的一個分支方案，主要解決了虛擬人物生產后社會影響力和號召力不足的問題。將真人明星虛擬化，可以最大化地使虛擬人物繼承真人明星在現實生活中的人物性格和影響力以及表演才能，省去了養成、培育虛擬人物的過程，可以高效吸引觀眾的關注，為節目做到引流的目的。但目前這類方案都還沒有完整的廣播級呈現，僅是一個節目或數個節目的嘗試，其中如何保持長期有效的運轉，制作周期和播出周期之間的問題如何解決，未來還有很多技術難題需要克服。

二、虛擬技術在廣播級平臺的應用落地——以《2060》為例

在各類解決方案的基礎上，以《2060》為代表的“虛擬場景+虛擬人物”的全虛擬方案無疑是目前最大也是創新應用落地相對比較成功的一次嘗試。

2021年，江蘇衛視首次試水全虛擬節目的制作流程，并在此基礎上研發、制作和播出了國內首檔國產動漫形象音樂舞臺競演節目《2060》。節目于2021年10月22日播出第一期，共10期節目，整季節目CSM63城平均收視2.256%，位居同時段省級衛視第一。[2]同時節目在社交平臺上全網熱搜300余次，短視頻播放總量超3億次，閱讀總量超45億次，討論總數超500萬次。因此《2060》不論是選材、制作還是虛擬技術的落地應用上，對虛擬技術的創新發展都有一定的借鑒意義。

（一）觀眾對于虛擬人物的接受極限在哪里

《2060》作為國內省級廣電平臺的首檔全虛擬綜藝節目，在研發之初就面臨一個重要的問題——如此新穎的內容創作，對于虛擬人物的音樂舞臺表演，觀眾可以接受的邊界在哪里？

雖然外界元宇宙的浪潮已經興起，但對于電視受眾來說，元宇宙還是一個非常新鮮的概念。江蘇衛視作為一家省級廣電的上星頻道，受眾的年齡層較之網絡平臺偏長，對于元宇宙和全虛擬的音樂舞臺表演接受難度較大。加之節目的出發點是立足國內現有的虛擬形象或創作全新的虛擬形象進行表演，需要一個良好的平衡點維系受眾的接受度與節目的效果呈現。

在經歷了大量的背調、數據采集之后，制作團隊決心打造一個“制作人+虛擬形象”的節目模式。把一直在虛擬人物背后的制作人員推到臺前，成為觀眾和虛擬人物溝通的一個橋梁。同時，制作人也是虛擬形象的創作者，他們對于虛擬形象，有著“朋友”“伙伴”甚至“兒女”的復雜情感，這類天然存在的強情感聯系，也令制作人和虛擬形象之間，有著超乎尋常的默契與配合。制作人作為引路人將觀眾帶入一個全虛擬的世界中，闡述虛擬人物的制作過程和性格特點，和虛擬人物在節目的進程中共同面對挑戰，完善舞臺表演，讓觀眾逐步接受這樣一群在現實里沒有實體存在，但又真正活在舞臺上的虛擬人物們。這樣既保證了節目全虛擬制作和呈現的初衷，同時也不會因為呈現過程超出認知，將原本的電視受眾人群拒之門外。

（二）讓“虛擬”變成看得見的“真實”

在確立了節目類型之后，主要命題就是如何在虛擬技術的加持下呈現舞臺和表演內容。在舞臺呈現方案上，節目主要以兩個階段為主：

第一階段是節目的第1-3期。考慮到電視端觀眾和現場觀眾的接受程度，制作團隊并沒有在一開始就采用較為激進的全虛擬模式進行錄制，而采用的是“全息膜+裸眼觀看”的模式。

全息膜是目前市場上成熟的一種虛擬呈現技術，主要是利用光的衍射原理通過多臺投影機將3D影像投射在成像膜上，最大的優勢在于觀眾不需要佩戴3D眼鏡，經過光的反射可以直接觀看到3D圖像。日本虛擬偶像初音未來、國內虛擬偶像洛天依等，都多次使用全息膜技術開展線下演唱會，均以較高的制作水準獲得了巨大的成功，也是目前虛擬偶像市場比較通用的呈現方式。

在這一模式下，《2060》使用了4臺4K投影儀，通過拼接的方式將虛擬畫面投射在50平方米的全息膜上，現場觀眾可以直接觀看到虛擬形象在舞臺上的表演，如同觀看真人表演一樣，在第一時間感受到舞臺的內容。以一種不煩瑣、更輕松的方式，引導觀眾對虛擬節目進行觀看和欣賞。但在另一方面，制作團隊創新性地提出了“穿越虛實之間”的概念，通過架設在現場攝像機位上的虛擬模塊實時錄制出虛擬畫面，與現場錄制的真實畫面相結合，運用節目內設置的“星環門”穿梭在真實場景與虛擬場景之間，亦真亦假，為電視和網絡端觀眾帶來不同的視聽體驗。

第二階段是節目的第4-10期。在這一階段，《2060》實現了真正意義上的全虛擬錄制。

制作團隊在綜合比較了現有技術的實際應用情況和制作周期的情況下，選擇XR技術作為節目的主要錄制方式。XR融合了AR、VR、MR等多重虛擬技術，通過將三者的視覺技術相融合，可以最大限度地帶來虛擬與現實之間的沉浸感。

軟件方面制作團隊選用了Epic Games公司的Unreal Engine 4引擎軟件（虛幻4引擎，以下簡稱“UE4”）作為節目生產制作的主要載體。UE4不論是在制作的易用性、模塊化生產、渲染效率和可用資源的數量上，都有著較大的優勢，并且隨著Epic Games公司的投入，更多可選擇的程序插件也為節目的制作提供了很大的便利。《2060》所有的虛擬場景、虛擬人物、虛擬攝像機和虛擬舞臺的表演內容都是基于UE4引擎進行研發和制作。

通過第一階段的循序漸進引導觀眾進入虛擬的世界，第二階段中，制作團隊開發制作了由虛擬“星環城”為主體，包含“卡岡圖雅小劇場”“水滴蒼穹”“長安未央城”等5大場景在內的虛擬世界，囊括了所有的節目內容、故事邏輯和世界觀表達。

在錄制方面，制作團隊搭建了一個包含觀眾席在內的總面積超過1500平方米的綠棚，開創了國內首次全綠幕錄制綜藝節目的先河。為了達到錄制的要求，制作團隊聯合挪威PIXOTOPE公司自主研發了一套完整的適用于廣播級錄制的虛擬演播系統。在UE4引擎的加持下，將提前制作好的虛擬場景以及實時的虛擬人物互動，通過攝像機加載的虛擬模塊，完全映射到現場的拍攝過程中，再通過虛擬演播系統回傳給現場的4K高清導播車，完成虛擬節目錄制系統的完整回路。其中最大的難點在于將真實攝像機與虛擬演播系統里的機位一比一聯動起來。制作團隊提前3個月進行實地測試和調整，最終確定攝像系統搭載的虛擬模塊分為固定機位和移動機位兩種，固定機位采用了比較常見的Freed協議，移動機位采用了激光反射電云的Mosys系統，通過紅外攝像頭拍攝布置在影棚頂端的眾多位置點來確認自身在虛擬系統里的位置，從而達到現實里的訊道攝像機可以與虛擬機位同步實時拍攝。

在這一階段中，由于現場是完全的綠幕錄制，沒有真實的舞臺舞美，現場觀眾均通過佩戴VR眼鏡的方式，通過虛擬系統的推流，觀看舞臺表演內容。完全沉浸式的觀看過程，為現場觀眾帶來了極為震撼的視聽感受，同時為了給參與節目的制作人更加逼真的互動體驗，上臺參加節目的制作人佩戴的是微軟公司的Holo-Lens2頭顯，這是一款基于MR技術的頭戴顯示器，通過現場無線網絡的推流，將虛擬人物的動作實時同步映射在眼鏡中，制作人可以看見虛擬人物如同真人一樣出現在自己面前，并且具有空間和體積的交互動作，真正實現了真人與虛擬人物的實時互動。

（三）如何讓虛擬人物真實地出現在觀眾面前

作為一檔以虛擬人物為主的音樂舞臺競演節目，參加節目的選手從真人變成了虛擬人，區別于常規節目的選手海選，《2060》的選手都是制作團隊從無到有制作出來的。針對不同參賽選手的情況，制作團隊制定了詳細的工業流程來適應各種情況的發生。

1.統一人物美術風格與制作環境

《2060》一共有26組制作人和虛擬人物，每組都是1位或2位真人制作人和1位虛擬人物進行搭檔的組合，其中音樂舞臺表演的部分均由虛擬人物完成。性格、畫風迥異的各種虛擬人物想要完成同臺競技，首先需要統一美術風格和制作環境。

虛擬人物的來源分為已經投入市場運營的虛擬偶像形象，已有獨立IP包含配套游戲、動畫的虛擬形象，只有原畫稿并未3D化的設計概念形象，為了達到觀眾審美認知的風格統一，制作團隊選擇了“二次元偏美型”的美術風格。

面對已有IP資產的虛擬人物，為了適應節目錄制的需求，制作團隊將所有的制作載體統一為UE4引擎同版本資產，對很多資產進行了重新制作，而對只有畫稿而無3D資產的虛擬形象則直接在UE4里完成人物的3D化制作，確保資產可以接入UE4引擎參與錄制，為完整的工業流程打下了基礎。

2.面部表情采集與動作捕捉系統

完成眾多虛擬人物的3D資產統一制作之后，虛擬人物只是“站”了起來，還沒有達到“動”的階段，在賦予虛擬人物行動能力的同時，神情和動作的匹配是讓虛擬人物真正擁有“靈魂”的關鍵所在。

為此制作團隊選用了國內Facegood的面部表情捕捉方案，以及基于Vicon V16光學動作捕捉攝像頭的動作捕捉方案。制作團隊為每位虛擬人物制作了超過100種的面部表情動畫，再和每位虛擬人物的中之人（虛擬人物背后的表情動作捕捉演員，需要匹配虛擬人物的性格動作設定，一般不露面）通過Facegood軟件系統進行一一匹配。再根據中之人面部肌肉的細微變化，對虛擬人物的表情進行調整，盡量使虛擬人物的面部表情可以貼合真人的表情、眼神變化，5個月的時間采集數據一百余人次，調整表情超過上千次，最終得到中之人表情與虛擬人物表情的高度匹配。

在動作捕捉方面，制作團隊在錄影棚的旁邊搭建了超過100平方米的專業動作捕捉房，布置了50個Vicon V16光學動作捕捉攝像頭，中之人在身穿動捕服裝的情況下，在身體的主要關節、手指、身體肌肉塊部分布置光學捕捉追蹤點，將中之人的動作與虛擬人物的動作相對應，從而實現虛擬人物動作的實時生成。

選取這兩種解決方案主要是考慮到節目最終效果的呈現，不論是Facegood面部表情捕捉系統，還是Vicon光學動作捕捉系統，都是依賴光學反射點成像的原理，在表情的細膩程度和動作的流暢程度上，都有無可比擬的優勢。但相應的缺點就是成本比較高昂，以及前期準備的工作量都很巨大，對綜藝節目很短的制作周期而言，是對制作團隊協調能力、工種配合流程的一大挑戰。但制作團隊的出發點在于節目呈現效果優先，在保證呈現效果的前提下，如何優化工業制作流程，達到最高效率，是制作團隊要解決的下一個難點。

3.挑戰內容制作周期的極限

不同于以往的二維動畫或者三維CG動畫的制作，影視級的動畫片、短劇、CG電影，都有著漫長制作周期和嚴格的制作流程，但綜藝節目受限于播出頻率和播出平臺的影響，季播類綜藝節目的制作周期都集中在3個月之內，一般都會采用邊錄邊播的錄制流程，可以最大化地節約時間成本，吸取觀眾的意見。所以相比較以往動畫片、CG電影動輒10個月、18個月甚至24個月的生產周期，綜藝節目的制作時間非常緊張。

《2060》總計制作生產了超過130分鐘的音樂舞臺表演內容，實時生成了超過1000分鐘的虛擬動畫數據。其中最復雜、品質要求最高的音樂舞臺表演內容時長與一部動畫CG電影相當，但制作時間只有常規動畫CG電影的十分之一，普遍集中在15～18天之內完成，在這過程中，制作團隊創新性地探索出了一條適合電視綜藝節目錄制的工業流程。（見圖1）

圖1 《2060》單集音樂舞臺制作流程

上述一共12道工序，需要在短短15天內完成，并且最多同時會有8組左右的人物在同步制作，平均每集動畫及特效制作量在20～30分鐘。制作團隊將每道工序的最短時間和可以同步進行的階段進行統一分類、管理，每個節目有單獨的PA（Program Manager，項目經理）進行管理，再和每道工序的負責導演、舞蹈編排、動畫師、特效師、TA（Technical Artist， 專業技術型藝術家）進行對接，實現多個節目的統一制作，分頭修改，最后統一合成的流程。《2060》虛擬技術團隊總共投入超過200人，各個環節分工明確，流程清晰有序，最大限度地利用時間和資源效率，降低因溝通修改成本而產生的錯誤率，保證節目的錄制。

三、結語

隨著更多更新的技術被應用到常規節目的錄制中，提升視聽感受的同時，也通過新鮮的呈現效果吸引了更多年輕的觀眾觀看電視。

《2060》是一次初步的嘗試，受限于現有技術中觀看設備、傳輸速度的影響，也只是將最新的虛擬技術以傳統舞臺表演的方式呈現，但虛擬技術的應用絕不僅僅止于此，帶給觀眾更多的可能是交互方式、觀看方式甚至是體驗方式的改變。

虛擬技術也為電視行業打開了融合傳播的新思路。未來，廣電行業的傳播不再局限于廣播電視和網絡平臺，元宇宙的虛擬全媒體將為傳播帶來更加廣闊的空間，并且現實和虛擬會向著融合一體化的方向發展。其中也蘊含著風險，包括了意識形態和輿論導向是否能跟上新技術的發展，虛擬技術發展帶來的社會倫理問題等，這些都是值得行業關注和思考的問題。

創新一直是電視行業發展的不竭動力與源泉，在元宇宙的浪潮下，借助虛擬技術發展的力量，廣電行業也會迎來全新的發展機遇。

注釋：

[1]金丹.數字虛擬技術在虛擬演播室節目制作中的應用與研究[D].北京工業大學,2015.

[2]數據來源：CSM城市組全國網，2021.01.01-12.31，節目同時段收視率。