虛擬植入技術在電視節目制作中的應用

任 軍

（中央廣播電視總臺，北京 100142）

0 引 言

1978年，Eugene L提出了“電子布景”（Electro Studio Setting）的概念，同時指出，未來的節目制作可以在只有演員和攝像機的空演播室內完成，其余布景和道具都由電子系統產生。這項技術于20世紀80年代獲得專業技術認證，冠名為虛擬現實（Virtual Reality，VR）技術。

虛擬現實技術是伴隨計算機技術發展的時代產物。人們利用計算機技術，設計制作并生成與現實環境在視、聽以及觸感等方面高度近似的虛擬化環境。用戶可以借助相關設備與虛擬環境中的對象進行互動，產生與真實環境相同亦或相近的體驗和感受。虛擬現實技術可以營造出可媲美現實情境的超逼真場景，使體驗者產生身臨其境的真實體驗感。虛擬現實技術給人們提供了一種由數字信號構筑的空間并在這個空間里展開實踐創作的基礎技術。虛擬現實技術具有沉浸性、交互性以及構想性3個特性。

1 虛擬植入技術系統與虛擬演播室技術系統的應用特點

虛擬演播室技術與虛擬植入技術都源于虛擬現實技術，有著相同技術基因和相同的系統構造。它們都利用了計算機圖形處理技術和視頻合成技術，實現由計算機制作的三維虛擬場景與現場主體人物或其他元素的實時合成，使人物（主持人）與植入的虛擬場景建立互動關系，虛實相互融合、同步變化，最終獲得符合節目方案要求的合成畫面。

虛擬演播室技術系統應用的特征是：在藍箱（或綠箱）環境中，運用色鍵技術，對主體人物摳像后與虛擬背景合成為可運動的、相互融合的且可實現互動關聯的畫面。隨著節目形態的變化，原來一些在虛擬演播室執行的節目制作需要結合實景來完成，這就需要一種完全可以在實景區域實現三維場景植入的技術。因此，虛擬現實技術派生出一個新的電視節目制作技術——虛擬植入技術（RealSet或AugmentReality-AR）。虛擬植入技術系統是在虛擬演播室技術系統基礎上擴展出來的電視節目制作系統。

在虛擬演播室制作系統中，虛擬背景在人物之后。而虛擬植入技術在實景環境下主體人物面前生成虛擬場景（或虛擬道具），虛擬場景投放在主體人物的前面，形成虛實結合的交互關系。這種技術制作形式具有很強的代入感，會使觀眾產生一種身臨其境的感覺，也使得節目內容更加生動有趣。目前，在各類節目制作過程中，虛擬植入技術比虛擬演播室技術更受青睞。

2 虛擬植入系統的構成

虛擬植入技術與虛擬演播室技術一樣源于虛擬現實技術，是虛擬現實技術發展的必然產物，也是影像合成技術發展的再一次革新和升級。

虛擬植入系統是在實景區執行的虛擬場景的投放，無需運用色鍵摳像技術，因此虛擬植入技術擺脫了傳統虛擬演播室技術基于藍箱的限制，適合在諸多實景節目中運用。

虛擬植入系統的基本構成包括圖形圖像創作系統、攝像機跟蹤系統以及圖形工作站，如圖1所示。

圖1 虛擬植入系統示意圖

2.1 圖形創作系統

圖形創作系統利用三維動畫軟件在計算機中建立一個虛擬環境，在這個虛擬的三維世界中搭建模型及場景。設計人員根據設計要求設定虛擬攝像機的運動軌跡及其他動畫參數，結合模型的運動，最終生成合成畫面[1]。

虛擬植入系統的場景通常為三維虛擬場景。這些場景可通過常用的3d Max、Maya等三維創作軟件來建模，由專業的圖形處理軟件編輯合成（包括建模、材質分配、光調整以及物體運動等在內的物體模型、效果及動畫），一般由性能較高的電腦（如HP Z800）及專用圖形創作軟件配置而成。制作三維場景時需要照顧現場實景環境和燈光設計等因素，在4K/8K時代，處理好材質的細節和色調的搭配，需要預演檢查合成效果。

2.2 攝像機跟蹤系統

攝像機跟蹤系統的功能是為圖形工作站提供處理現場各元素的位置信息和運動數據，以便圖形工作站能夠通過這些信息，構建與現場攝像機運動一致、畫面內容信息一致并能正確反映現場各元素之間位置透視關系的虛擬攝像機系統。

攝像機跟蹤技術有傳感器跟蹤技術、網格跟蹤技術、紅外跟蹤技術以及超聲波跟蹤技術4種。傳感器跟蹤方式有光學識別系統和機械傳感式系統兩種，目前使用較多的是機械光電傳感跟蹤方式。

攝像機跟蹤系統的工作原理是通過安裝在攝像機云臺和鏡頭上的諸多傳感器，識別攝像機運動和鏡頭焦距焦點變化過程和幅度，即通過采集攝像機推、拉、搖、移等動作信息，獲取攝像機運動數據和鏡頭變化參數，并將這些信息實時傳送給圖形工作站，以便圖形工作站將攝像機跟蹤系統提供的攝像機綜合運動信息映射到圖形處理單元，形成與攝像機綜合運動數據同步變化的虛擬攝像機系統。這樣，虛擬攝像機與現場攝像機被相對地鎖定在了一個位置，當現場攝像機運動時，虛擬攝像機受跟蹤器的控制可以實時地與現場攝像機保持同步運動。

由跟蹤系統提供的攝像機運動信息，經過圖形工作站分析處理后，可以對包括主體位置、透視關系及景深在內的諸多合成元素給出準確的處置意見。例如，當渲染工作站識別到傳來的攝像機鏡頭景別信息變化為近景或特寫時，如果信息中聚焦點是在跟蹤主體人物，那么渲染主機會給出背景虛焦的判斷，生成的畫面是前實后虛的效果；如果此時傳感器沒有識別到景別的變化，前景和背景聚焦一致，分不出前景后景，畫面會產生景深不自然感。

跟蹤系統需要能夠及時地進行捕捉并處理現場攝像機微小的運動變化，這樣才能為圖形工作站提供實時的、準確的運動變化信息。因此，虛擬植入系統對于跟蹤系統的傳感器精度有很高的要求。

2.3 圖形工作站

在虛擬植入系統中，圖形圖像的處理工作主要由圖形工作站（HDVG）來完成。除了處理由攝像機跟蹤器傳來的攝像機運動數據外，圖形工作站還負責調用和調整事先做好的3D虛擬場景，并向圖形發生器傳輸圖像數據。

在節目制作過程中，圖形工作站是最繁忙的程序化工作系統。在處理攝像機運動數據信息的同時，圖形工作站還要同時渲染加工處理動畫、透明物體、燈光及材質貼圖的模型文件，實時調用和調整虛擬三維場景。

由于每一幀虛擬場景只有20 ms的繪制時間，而且虛擬場景要求貼圖的質感和光效要與實景保持高度一致，因此，對這些虛擬元素和模型的處理，需要比較強大的計算和渲染資源[2]。另外，隨著攝像機的運動，圖形工作站還需要實時計算出虛擬元素在場景中的空間位置、大小比例以及光感變化等信息，并能夠實時渲染輸出，因此圖形工作站還需要具備較大數據量的處理能力和高強度的渲染運算能力。如果處理能力達不到要求，就會出現運動畫面卡頓、虛擬元素與場景脫節等情況，達不到節目設計的效果。

3 虛擬植入技術在電視節目制作中的應用

虛擬植入技術可以將三維虛擬圖形、主持人畫面以及三維動畫整合到演播室實景中或者外景拍攝的任何地方，具有靈活性強的特點，對新聞、體育、天氣、財經及娛樂等節目可以實現完美的現場包裝。近幾年，在諸多體育賽事和春節晚會的節目制作現場也能看到虛擬植入技術工作人員的身影。

對于不同類型的節目，虛擬植入的場景形態類型也不盡相同[3]。虛擬植入形態類型可以分為用于大型晚會和娛樂節目的奇幻形態、新聞專題節目的道具形態以及為配合建立現場互動關系而植入的虛擬人物形態。

在晚會和綜藝類節目中植入虛擬場景元素，會給觀眾以絢爛奇幻的感受。如圖2所示，在2021年春節晚會武術表演中植入塞外場景，增加了觀眾的沉浸感。在體育賽事、訪談類節目及紀錄片類節目中植入虛擬場景，或者植入不能實現的虛擬道具，可以配合節目內容起到強化說明的作用。如圖3所示，在轉播游泳賽場時，為賽道植入虛擬標識可以幫助觀眾全面認知賽事和輕松辨識現場環境[4]。

圖2 中央電視臺2021年春節晚會

圖3 2012倫敦奧運會游泳比賽現場

有一些節目制作現場，結合LED大屏幕內容添加虛擬場景，既可以將一些抽象內容進行寫實化處理，也能烘托現場氣氛。如圖4所示，在中央電視臺《心理訪談》節目制作現場，訪談區域的中間位置以LED大屏幕作為部分背景，大屏兩側分別制作了兩塊綠板與大屏拼接在一起。設計創作人員將投放在大屏兩側的虛擬背景內容與LED大屏播放內容串接在一起，形成一個完整的訪談背景和互動場景，營造出實景與虛擬場景渾然一體的視覺效果。設計人員還結合背景大屏設計了與之互動的虛擬場景和模擬道具，將抽象節目內容進行具象化處理。通過虛實結合的技術設計，實現了虛擬背景與LED大屏實景內容的無縫連接，將實景與虛擬背景和植入場景建立了互動關聯，也使主持人和嘉賓與虛實現場完美地融合在一起。這樣復雜的場景是虛擬演播室技術和虛擬植入技術相結合共同實現的，可謂設計巧妙、相得益彰[5]。

圖4 《心理訪談》節目虛擬植入效果圖

虛擬場景植入的原則是直觀和簡潔，應從場景設計的數量、尺寸、材質、色彩及現場環境等元素給予充分考慮，既要準確表達虛擬場景植入的意義，也要實現與實景自然融入的合成效果。

4 結 語

伴隨5G+4K/8K+AI技術的發展，虛擬植入技術系統也會不斷升級?；谔摂M植入應用的靈活性，虛擬現實技術會越來越廣泛地受到影視制作平臺的關注，也會在社會更多領域得到推廣和應用。