Ross Video助力總臺央視數碼團隊巧用AR

8月4日，中國電影電視技術學會圖像專業委員會在京主辦了“2022年AR技術應用研討會”，本次研討會以“2022年北京冬奧會”和“2022年總臺央視春晚”兩個大型項目的AR制作為研討主題，總臺央視數碼AR團隊在這兩個大型項目中立下了赫赫戰功。

研討會上，《傳播與制作》記者采訪了央視數碼AR技術負責人馮高潔老師，請他談談總臺AR技術歷程，并介紹ROSS虛擬制作系統在冬奧會開閉幕式和春晚直播中的應用體會。

十年春晚

AR技術不斷創新

自2012年春晚首次應用AR以來，AR技術已連續10年登上春晚舞臺，從最初的高清單機位AR應用到現在的4K超高清多機位AR應用、渲染引擎從最初的圖形渲染到現在的“次世代”虛擬引擎。

早期的A R應用受限于當時的技術發展水平，跟蹤手段單一、渲染能力較低、合成功能簡單，在節目整體效果中處于輔助的位置，節目呈現也往往以“道具置景類”的虛擬元素為主，比如窗花、春聯、鐘表等，這一定程度上影響了AR內容和實景內容的進一步融合。

在這樣的背景下，總臺央視數碼AR團隊努力拓展AR應用領域，盡可能地使視覺元素貼近節目主題。2015年春晚，團隊制作了首個虛擬吉祥物“陽陽”，在春晚上首次將虛擬角色利用動作捕捉技術與AR技術相結合；2017年春晚涼山分會場，虛擬吉祥物“火鳳凰”飛進大涼山，將大范圍的鏡頭調度、多機位間的切換配合融入涼山群山之中。

2018年及以后，虛幻引擎（Unreal Engine）逐漸應用在現場晚會中，其基于物理的算法和材質極大地提升了AR場景的渲染質量、豐富了AR內容的類型，比如高仿真度的粒子效果、虛實內容之間的陰影投射和反射等，極大地打開了團隊創作的想法，拓展了AR應用的范圍。“從此刻起，我們才敢于在春晚中使用水、火、隨機擾動、碰撞等元素和功能。2019年總臺第一次實施了全要素的4K HDR春晚制作，可以說對于AR的效果起到一個全新的變革。”

“隨著可用手段的不斷增加，我們也經歷了一個“由簡到繁，去繁就簡”的過程，也就是您所提到地“巧用AR”，這其實也是我們做AR多年以來的經驗積累。”馮高潔認為，AR盡管位于畫面的最上層，但它的目的并非替代其他元素，而是節目創作的有力武器。所以，一個節目想要真正讓人印象深刻，就不能簡單地炫技或者堆疊先進技術，而應該首先深入節目創作意圖，找到合適的切入點和展現形式，其次才是豐富細節、增強表現力、優化性能。

春晚直播

Ross Video虛擬系統功不可沒

說到春晚AR直播技術，必須要提到Ross Video。六臺Ross Video Voyager超高清渲染系統和Ross Video Furio軌道機器人在今年春晚直播中表現亮眼，助力央視打造精彩紛呈、沉浸式體驗的春晚舞臺。

“客觀地說，Ross Video有著極具前瞻性的戰略眼光，早在2016年，ROSS就意識到次世代渲染引擎之于影視制作的重大意義，隨即投身到Voyager系統的研發中，經過多個版本的更新迭代，整合了來自包括央視數碼AR團隊在內全球廣電客戶的需求，打磨出目前我們在用的Voyager超高清虛擬系統。”

總臺春晚已經多年采用ROSS渲染系統展現舞臺藝術之美。“我們和ROSS在多個大型紀錄片和重大活動中有過合作，這不是簡單的使用方和設備商的關系，而是內容創作團隊和解決方案研發團隊的關系。很多時候，某項重大應用需要二者相互支持方可推動。Ross Video作為視頻制作應用領域的引領者，一直是新技術、新設備、新理念的先行者。”

AR團隊在今年總臺春晚AR的前期創意階段就制定了“巧用AR”的大方向，沒有使用傳統的依靠AR塑造環境的手法，而是讓環境成為AR，再讓AR成為節目內容。舞蹈節目《只此青綠》在前景設計了一個緩緩漣漪的水面，利用虛擬引擎的技術手段實時動態反射舞臺環境。“ROSS系統內置的實時調改功能非常實用，這使得對AR內容的線上微調成為可能。在舞蹈《只此青綠》這個節目的直播過程中，Voyager能及時地對水面的位置做了線上修正，確保了水面和舞臺的無縫銜接。”

“另外，得益于ROSS核心矩陣的高可靠性，我們才能夠建成對播出安全和畫面質量要求極高的春晚直播系統；同時，Ross Video Voyager超高清系統對內容創作團隊及時有力的提供研發和運維方面的支持，非常符合央視數碼AR團隊對于畫面設計制作方面的要求。”

作為2022年春晚AR技術總監，馮高潔評價，ROSS公司的產品，無論從安全性，還有功能性，以及從藝術的展現方面，都是非常的優質。尤其是春晚這么一個大舞臺，工種眾多、流程復雜、現場直播，對系統高安全性還有可靠性都有非常高的要求。整個春晚錄制過程中，Ross Video的工程師都在現場保駕護航。“之所以選擇ROSS，也是基于以上的這些考量。”

北京冬奧

增強現實的開閉幕式精彩絕倫

北京冬奧會開幕式于2月4日晚在國家體育場盛大舉行，開幕式驚艷了全世界，100分鐘精彩絕倫的呈現一場數字技術與美學創新融合交匯的華麗盛宴。

負責開幕式AR系統設計的馮高潔回顧，在春晚籌備和直播的同時，團隊中幾位同事也在另一塊“戰場”上揮灑汗水，這就是冬奧會開幕式。“說實話，這項任務對我們來說是一次全新的挑戰，在接到這項任務時我們有太多的疑問和不確定性。這里面包括怎么和OBS協調AR機位？如何保障AR系統平穩運轉？如何實現防疫閉環內閉環外的信息和物資傳遞？等等。”

首先是布線，根據北京奧組委的需求，開幕式部署三個虛擬機位的4K超高清AR制作。“由于國家體育場面積大，導致傳輸距離過長，傳統的設備不足以滿足跟蹤信號的傳輸。為了保證虛擬跟蹤信號的安全傳輸，使用了光纖線路作為跟蹤信號的傳輸介質，分別在體育場內和鳥巢外轉播綜合區架設光端機，將跟蹤信號由鳥巢場內傳至鳥巢外轉播綜合區內的AR渲染服務器。”

其次是鏡頭的設計，包括雪花的構建和融入，紅絲帶飛入鳥巢構成中國結等經典鏡頭，AR團隊和切換團隊緊密合作，提前規劃，共同設計分鏡。

開幕式以“構建一朵雪花”為主題，為了達到最佳效果，AR團隊使用UE新一代粒子系統制作背景雪花，在大數量粒子模擬上效率提升巨大，能以較小的性能開銷實現更豐富的視覺效果。使用的渲染引擎來自Ross Video Voyager 4K超高清系統，片片虛擬的雪花紛紛落下，讓觀眾看到了“燕山雪花大如席”的壯觀場面。同時把隨機生成動畫和人工預置動畫結合在一起，使得標有國家名字的雪花前景元素得到完整地展現。

閉幕式上，AR團隊非常用心的思考怎么表現好中國元素，講好中國故事。最終呈現的效果是來自四面八方的紅絲帶匯集到鳥巢中央，編織成一個懸浮在空中的中國結。“這些創意的完美呈現得益于ROSS產品的高安全性，使得我們非常放心的使用設備。此外，Voyager基于Unreal Engine的底層架構打造，LUCID跟蹤調試系統也在不斷打造，這一生態日益完善，兼容了業界通用的主流文件格式和數據協議。”

“在技術保障和技術支持方面，ROSS做的非常到位。”

“一個成熟的產品必須要緊貼一線生產，不經過實戰的反復錘煉，是無法鍛造出真正適合行業中大多數用戶的軟件系統的。”馮高潔強調，總臺是Ross Video的重點客戶，對于央視數碼AR團隊的訴求和痛點，ROSS向來都是用最快的速度給予響應，組織最精良的工程師團隊進行技術支持。在這樣的大力支持下，央視數碼AR團隊的創意才得以最大程度地施展，也成功地實現了4K春晚的首次全要素制作和XR技術在總臺的首次落地。

“在技術保障和技術支持方面，ROSS做的非常到位。”每次的重大活動開始之前，ROSS公司都會針對這些重大的直播活動，建立一個由國內外工程師部門組成的一個應急保障的團隊，國內工程師會親自到場提供技術服務，遇到問題一起分析、一起交流，提出一些現場的解決方案，還會通過微信、視頻、24小時電話待機等方式提供遠程技術支持。除了國內支持團隊，公司位于加拿大總部的工程師也可以在必要的情況下參與到重大項目的實施過程中，線上視頻會議、多方溝通的機制更是早已建立起來。”這也是總臺非常信賴ROSS的原因之一。

馮高潔最后表示：“前進的路上，有你有我，我們一起尋找下一個突破點；廠家和用戶是先進技術落地的一體兩面、缺一不可。面對新技術不能望而卻步，要抓住每一次技術變革的機遇。”BP