基于全息投影和人機交互技術的元宇宙數字舞美研究

摘要：元宇宙數字舞美突破了平面感的舞臺設計，著力打造沉浸式的全息舞美，極大地增強了立體視覺效果，以此實現了跨時空、超現實的場景營造。人機交互技術拓展了沉浸式舞美的應用空間，實現了從“視覺”到“知覺”的場景重構、“后人類表演”的生成、“數字化身”的主體躍動、“多屏聯動”的舞臺鏈接，為觀眾提供了更強的參與感。元宇宙數字舞美打破了傳統的觀演關系，其所帶來的沉浸感和虛擬在場感，豐富了觀眾的藝術體驗。

關鍵詞：全息投影 人機交互 元宇宙 數字舞美

2021年10月29日，Facebook取Metaverse（元宇宙）之名，正式更名為Meta（元），引發了人們對元宇宙的好奇心。元宇宙是通過特定的鏈接技術，與現實世界進行映射、交互的虛擬空間，打破了虛擬與現實的邊界，創造出豐富的感官體驗。隨著媒介技術的不斷發展與革新，元宇宙相關技術“浸入”舞美設計，為文藝演出的舞臺增添新潮流、新場景。元宇宙數字舞美走在了創新、科技的前沿，通過融合全息投影和人機交互技術，打破了觀眾空間與舞臺空間的區隔，塑造出一種具有強大延展性的、立體的觀演空間，為觀眾提供了沉浸感十足、科技與文藝交融的審美體驗。

一、存在與邊界：元宇宙技術拓展舞臺想象空間

在舞美科技方面，元宇宙數字舞臺應用了最新的XR、AR、全息掃描和8K裸眼3D呈現等新技術，以此建立浸入式的觀演關系，給觀眾帶來更加真切的感官體驗。以2022年江蘇衛視春晚為例，該晚會綜合啟用XR舞臺虛擬場景、虛擬拍攝等技術方案，將虛擬與現實無縫對接、自由轉換，實現了觀眾360度全景視角的觀看體驗。元宇宙數字舞美以更強的沉浸感、時尚感、科技感，向觀眾傳遞了更強烈的感官視聽體驗。2022年嗶哩嗶哩拜年紀的春晚舞臺上，虛擬主播完成了新春曲《新春小記》的演唱，虛擬偶像女團A-SOUL發布了全新單曲。同時，北京衛視的春晚也出現了虛擬人蘇小妹與真人歌手劉宇同臺演繹的場面，構建了一種跨次元絕美舞臺。2019年的《鄧麗君·傳奇》全息演唱會，除常規演出外，主辦方還特邀鄧麗君的知名模仿者陸麗娟跟自己的偶像“同臺演出”。通過實時動捕技術，陸麗娟在后臺動捕房的表演動作被以全息影像的形式投射到前面舞臺上，實現了極具科幻感的隔空對唱場景。

總體來看，元宇宙相關技術在舞美中的應用，建構了一種超現實的舞臺時空，完成了虛實相生的情景構建，刷新了觀眾的視聽體驗。元宇宙數字舞美致力于打造一種虛實相生、情景相融的場景，運用數字影像科技搭建極度逼真的“舞臺空間”，在配合演員表演的同時，滿足觀眾對節目內容的浪漫想象。

二、虛擬與現實：元宇宙數字舞美的建構維度

當下，元宇宙的參與者多是具有多元開放思維的Z世代群體，他們對數字科技與自身生活的融合表現出較高的接受度。虛擬與現實的多元素碰撞與現代青年群體的審美期待具有高度的一致性，元宇宙世界里的集體狂歡正在向著多維互動的領域前進，這也促成了多元文化的交流互動。如果把元宇宙舞臺視為一種平臺，那么這個平臺將自然成為多元文化碰撞與交融的媒介場域，有助于吸納更多的觀眾，從而增加元宇宙世界的文化體量。

（一）全息投影：虛實共生的情感聯結

全息投影作為一種“創造虛擬”的技術，能夠將現實與虛擬充分融合，是當前元宇宙的重要入口之一。全息投影通過投射虛擬事物，在現實世界中疊加一層“布景”（數字虛擬影像），將現場觀眾引入一個虛擬與現實同構的世界。基于此，舞臺成為全息投影的天然應用場景，并且成為元宇宙的重要入口之一。

1．跨時空場景的營造。全息投影助推舞臺演出，突破時空限制，打造各種超時空互動場景。在2019年的《鄧麗君·傳奇》全息演唱會中，鄧麗君全息影像“登臺”演唱，一代人的回憶立刻被點燃，引發觀眾的廣泛共情。2010年，虛擬偶像二次元IP初音未來在現實舞臺上舉辦了一場演唱會，這次演唱會使用了由“2.5D半全息透明屏”和“雙投影技術”構成的全息投影技術，其基本原理是利用了光學上的“佩伯爾幻象”，形成一種立體的錯覺，給觀眾一種具有強烈真實感的視覺欺騙。全息投影在技術層面實現了一定程度上的“元宇宙想象”，將虛擬性的內容信息在現實中進行復原，配合成熟的CG技術和舞臺光影技術，給觀眾帶來不同尋常的感官體驗。

2021年春晚，張國立在解說三星堆時，春晚技術團隊利用全息投影技術把虛擬的三星堆影像適時地呈現在舞臺上，為觀眾帶來“一眼千年”的時空體驗。全息影像對數字舞美產生了顛覆性的影響，創造出虛實結合、夢幻立體的元宇宙感受。元宇宙相關技術與中國文化精神內核交融互滲，建構了極具中國傳統文化意境的數字舞美空間，破除了歷史的時空界限，讓過去那些不可見的歷史人物、事物等逼真地在舞臺上復原，實現了過去、現在和未來的時間展演。

2．超現實場景的營造。全息投影作為將用戶行為鏈接至場景的入口，能夠實現虛擬技術與表演創意的結合，使虛擬數字人、真實人物與虛擬環境完美融合，打造出符合節目主題調性的場景。2017年的“天貓雙11狂歡夜”晚會，技術團隊采用真人動態三維建模與傳輸、平面監測等AR技術，實現了“明星到你家”的場景落地。舞臺現場的明星走進一個“魔術盒子”，然后明星的動態三維影像便投射到了每個用戶的真實家庭環境中，觀眾還可以走進手機的拍攝范圍，與明星一同合影。技術團隊采用先進的動態捕捉技術，將明星的外貌、動作和表情精準地融入三維動態影像，再通過手機AR傳輸給“千家萬戶”，從而實現了“全息傳送”。舞臺現場的人物立體影像被傳送到了受眾所處的環境中進行交互，完成了多元場景元素的連接，為觀眾帶來嵌入自身現實生活的交互。

元宇宙世界的數字舞美具有細節化真實感，跨越了虛實之間的屏障。全息傳送以“跨屏”的方式將舞臺場景延伸至現實場景，進一步踐行了“受眾中心”意義，觀眾進入了“故事世界”，成為舞臺話語的一部分。基于此，觀眾的主體意識在不同的屏幕場景里躍動，以一種主體自覺的方式在變換的場景幻覺中“跟著感覺走”，形成強烈的沉浸性感官體驗。

（二）人機互動：沉浸式舞美的拓展

元宇宙語境下，數字科技與人文主義相合，賽博空間與現實生活互通，人機互動成為情感聯結的關鍵點，不斷突破真實與虛擬的二元區隔。受眾在元宇宙的舞臺能夠感覺到被回應，觸發強烈的參與感，脫離了單一的受眾身份，主體性得到再確證，從而被更大程度地卷入元宇宙的虛擬舞臺現場。人機交互技術具備突破傳統觀看慣習模式的效能，所帶來的沉浸感和虛擬在場感，給觀眾帶來新穎的藝術體驗。

1．“視覺”到“知覺”的場景重構。元宇宙數字舞美已經不單單是“舞臺”場景的塑造，而是融入了更多的社交、游戲、生活場景，形成全新的展演景觀。元宇宙舞臺的空間擺脫了劇場模式，向著虛擬“奇觀世界”的方向不斷發展。因此，舞美也不能繼續簡單地局限于虛擬舞臺的空間范疇，而是對整個元宇宙展演空間的美學設計。在元宇宙世界里，智能互聯、人機交互不自覺地嵌入舞臺美學設計之中，成為渲染舞臺氣氛、塑造觀演場景的重要方式。媒介交互的深度介入，讓觀眾的觀賞體驗轉向“全感官”的知覺刺激，觀眾可以自如地在各種虛擬場景中切換。“元宇宙中看演出”逐漸進入大眾視野，成為一種新的時尚潮流。

2023年RetaLand元宇宙虛擬跨年演唱會的數字舞美拓展了藝術想象力的新邊界，由數字技術構建的虛擬世界，拉滿了觀眾對沉浸體驗和交互玩法的期待值。RetaLand緊貼“我想和你在一起”的內容主題，設計了“未來之境”“溫暖之城”“夢境折疊”“電音燃歌”四個浸入式的元宇宙空間，讓用戶可以在移步換景中鏈接起共通的情緒。四大場景空間共同呈現了超現實、超現場、超時空的元宇宙音樂舞臺，深度還原了“Livehouse”的氛圍和體驗，讓觀眾可以穿梭在多元場景中，體驗一場360度沉浸式視聽盛宴。在元宇宙數字舞美構建的沉浸感虛擬世界中，利用各種人機交互手段將用戶融入元宇宙的虛擬舞臺空間，讓觀眾真正擺脫物理舞臺的觀賞限制和束縛。元宇宙實現了數字化生活的最終想象，使虛擬事件更具沉浸感和協作性。

2．“后人類表演”的生成。后人類即人與生物技術、數字技術、AI技術等結合、連接而產生的多態化的“人”，元宇宙的主要實踐者即各種后人類。虛擬數字人表演、AR表演、VR表演、虛擬化身表演等后人類表演，擴展了表演的內涵與外延。后人類表演是極具顛覆性的創新嘗試，能夠創造具有“科幻感”的視覺效果，還可以利用人機交互把觀眾拉進元宇宙的世界。

其一，虛擬表演場景的建構。虛擬人的展演與互動進一步拓展了數字舞美的空間邊界，舞美要契合虛擬人的表演及其行為活動，制造情感共鳴點，實現有溫度的傳播。元宇宙數字舞美只有充分釋放虛擬人的活力，才能提高受眾的參與度，使其全方位融入節目之中。2023年的央視春晚在技術創新應用上再次突破，充分運用了AR、XR等前沿科技，建構了沉浸感十足的元宇宙數字舞美。武術表演節目《演武》，由虛擬制片全流程打造，前期表演使用了綠箱摳像并回傳攝像機追蹤數據的方式，將演員動作畫面與虛擬場景進行合成。在春晚現場則使用AR、XR技術塑造少林寺“演武場”和“兵器場”等場景，將傳統武術與XR技術完美融合。在節目《當“神獸”遇見神獸》中，創作者使用VR三維繪制技術，為觀眾呈現了古神獸“走出”文獻古籍的視覺奇觀。在歌舞節目《滿庭芳·國色》中，創作者通過虛擬影像制作技術，讓表演者化身為虛擬空間的“尋色人”，脫離了現實舞臺的限制，能夠自由地“行走于天地間”。創作者從中國傳統色彩體系中提煉顏色，然后使用暈染效果對這些顏色進行全場沉浸式的場景轉換，使觀眾的視覺被顏色所包圍。

其二，虛擬偶像的形象建構。虛擬數字人是數字科技與二次元文化結合的產物，指利用AR、VR、CG等數字技術打造的虛擬人物，其本身并不以實體形式存在，是建立在后現代消費主義下的文化產物。虛擬人已經成為元宇宙數字舞美的重要參與者，以虛擬人為載體，演員可以與觀眾、節目建立起更加沉浸的互動感。2023年RetaLand元宇宙虛擬跨年演唱會聚合了菜菜子Nanako、星瞳、厘里Leah、春草、ViVi子涵一眾虛擬偶像，ViVi子涵作為本次元宇宙虛擬演唱會的特邀主持人，全程帶領觀眾暢游Retaland元宇宙世界，春草演唱《小城春天》，GALI虛擬形象獻唱歌曲《懸浮術》，龔俊數字人霽風帶來跨年舞臺首秀《漠河舞廳》。

其三，互動式表演形式的建構。2021年的“天貓雙11狂歡夜”晚會，以一出“沉浸式劇情互動秀”形式呈現在觀眾面前，突破傳統的以藝人表演為觀看中心的模式，把節目內容轉化為推理線索。在這樣的新舞臺邏輯下，主辦方把所有的舞臺呈現有機地切分成四個場景——未來賽博、童話世界、現代都市和大唐國風，然后在節目演繹過程中預設一條劇情主線，在劇情互動中完成場景切換，上演了一場跨越古今、連接夢幻與現實的時空之旅。主辦方依據“情節推理+現場演繹”的互動邏輯，將參演藝人變成了NPC角色，讓觀眾成為參與其中的“玩家”。這種形式的演出可以全方位調動觀眾的實時參與，技術團隊為此專門搭建了一個覆蓋全媒體矩陣的互動框架，基于劇情主線和場景設定，觀眾通過游戲化的界面實時參與到劇情推理、解謎的各個環節中，打破了場內與場外的空間局限，完美體現了沉浸式劇情互動秀的參與感。

3．“數字化身”的主體躍動。人機交互技術賦予場景與主體之間更多的情感勾連，使場景不再是固化于框架之內的圖像信息，而是演變為觀眾（用戶）主動自我介入的媒介環境。通過數字孿生技術，用戶可以將自己鏡像為孿生的數字形象，然后借助人機交互技術實現對孿生形象的控制，這樣便可以實現“身體延伸”。《中央廣播電視總臺2023網絡春晚》在新媒體矩陣同步播出后，取得了良好的收視率和口碑效果。此次春晚在虛擬技術支持下，構建了一座“賽博國風”元宇宙分會場，供億萬網民一起沉浸式過小年。觀眾以“數字形態”親臨現場，行走于岸邊仿佛置身于真實的江邊觀賞夜景，還有琵琶、門樓、燈籠、屏風等各種國風元素與漫天煙火、炫彩霓虹燈等科技元素，共同構建出一個充滿濃濃傳統文化氛圍的元宇宙數字舞美空間。

元宇宙晚會優化了場景的觀眾適配性，精準定位觀眾的個性化選擇，觀眾可以定制自己的虛擬形象，這對增強觀眾的代入感有著巨大的作用。總臺2023網絡春晚元宇宙分會場還設置了一個自由換裝的體驗環節，用戶可以根據主辦方提供的數字造型產品（服裝、頭飾、眼鏡等）隨心搭配自我虛擬形象，生成個人專屬的元宇宙形象，使其成為自身在元宇宙會場的數字化身，既能為喜歡的節目揮舞熒光棒、打call，也可以發紅包、放煙花。最為驚喜的是，本次網絡春晚的元宇宙會場完成了虛擬世界和真實世界的同屏互動。例如，節目《向上的光》氣氛達到高潮時，滿場氣球從主會場“飄向”元宇宙會場，此時觀眾可以操作個人數字化身去捕捉氣球、燃放煙花。元宇宙晚會的場景是以觀眾（人）為節點，通過人的數字化身建構起新的觀演形式，營造出新的舞臺美學表達。

4．“多屏聯動”鏈接場內與場外。多屏聯動的出現，讓“場內”與“場外”實現鏈接，從而擴展了電視晚會的舞臺景觀。舞臺場景借助虛擬交互手段實現了主體的虛擬在場，極大地調動了觀眾的“場內”空間想象。在移動互聯高速發展的今天，人們已經適應了多屏聯動的界面化媒介生活狀態。隨著媒體融合的加速，電視晚會的場景從鏡頭圖框之內的“疊加”“遷徙”進入了屏與屏之間基于主體感官的“躍動”時代，在屏際之間形成了新的場景美學。大小屏之間的聯動交互，形成了一種新的互動場景，觀眾在此種場景下發揮出更為強大的主體性，深度參與到電視節目之中。元宇宙相關技術的創新應用，為2023年央視的網絡春晚舞臺打造了全鏈路的元宇宙交互體驗。技術團隊融合AIGC作畫、區塊鏈技術，構建了一個Web3.0門票抽取系統，用戶可以通過該系統獲得專屬的數字門票、兔年AI藝術畫，并參與元宇宙會場門票的抽獎。

舞臺現場與場外的觀眾可以深度綁定，場外景觀逐漸“走進屏幕”，舞臺節目的表演空間便實現了內外一體化，舞美隨著舞臺的延展必然產生新的含義，內在的舞美設計與外在的觀眾參與需要有機融合在一起，形成新的場景表達。中國移動咪咕與北京市西城區聯合打造了北京廠甸云廟會——“北京琉璃廠歷史文化街區非遺元宇宙”項目，用戶只要掃碼就可以進入“元宇宙·廠甸廟會”的舞臺場景，在一比一復刻的北京琉璃廠古文化街虛擬場景中，用戶能夠參與“拼手速·吹糖人”“猜燈謎·云探店”“放煙花·迎福氣”等一系列互動游戲，賦予民俗活動全新的“玩法”。這些互動方式使觀眾從場外“跳入”場內，催生了新的舞臺敘事，實現了兩重場景的疊合。人機交互技術能夠充分調動觀眾的多重感官參與，不斷消解觀眾與節目的心理距離。

三、結語

元宇宙數字舞美具有強大的場景營造能力，其跨時空、超現實的場景使觀眾的感官體驗不斷延伸。技術團隊對虛擬人與真實個體的主體同構關系進行了深度探索，通過人機交互實現了虛擬人與人的主體性融合，是元宇宙數字舞美技術創新的錨定點。隨著元宇宙數字舞美質量的提升，口碑的傳輸與塑造更加高效，為品牌的樹立與傳播帶來了諸多良性長尾效應。

（作者系湖北美術學院創新學院副教授）

參考文獻

[1]楊鵬鑫，賈斌武．元宇宙表演性考察：后人類表演及劇場化生存[J]．戲劇（中央戲劇學院學報），2022（06）．

[2]劉磊，李詩雨，吳婷．元宇宙背景下虛擬數字人與綜藝節目的共創[J]．中國廣播電視學刊，2023（03）．

[3]林瑋，梁奧夢．“全感官時代”：電視晚會的場景變革及其意義[J]．中國電視，2022（05）．

【編輯：孫航】