AI+VR制作系統及在2021年央視春晚制作中的應用

陳 瑾

（中央廣播電視總臺，北京 100859）

0 引言

近年來，新興技術的發(fā)展對傳統電視媒體帶來前所未有的影響，媒體融合、節(jié)目形式創(chuàng)新、節(jié)目制作水平提升是傳統電視媒體在新環(huán)境下贏得市場的必要手段。其中，虛擬現實技術作為一種前沿技術，因其沉浸感、交互性等特點給電視節(jié)目制作帶來無限創(chuàng)意，有效提升電視節(jié)目制作效率與效果，成為電視媒體節(jié)目制作領域的一個重要研究方向。

以往采用色鍵摳圖實現虛擬現實效果，多以藍箱綠幕為背景，使用色鍵系統通過圖像邊緣處理的分割技術對主持人進行摳像。但這種技術的運用過程中存在一些問題，現場燈光造影、道具、主持人服裝等各個環(huán)節(jié)均可能對色鍵摳像帶來噪聲，前期需要長時間的系統配合調試，影響制作效率；另外，傳統色鍵摳圖需要后期制作團隊提前做好場景內容，尤其復雜場景下主持人和背景融合容易出現前后景穿幫，影響節(jié)目制作效果。

AI+VR智能虛擬現實制作技術作為虛擬現實的進階版，結合立體視頻投影變換、光學運動跟蹤、光學空間定位、AI智能分析自然視頻人體運動跟蹤等關鍵技術，以多屏幕拼接的AI+VR制作系統實時呈現動態(tài)虛擬場景。該技術解決了上述問題，演員能夠根據屏幕畫面更加靈活地表演，使得虛實前后場景融合更加自然，提升節(jié)目視覺呈現效果，為觀眾提供毫無違和感的“沉浸式”體驗。

中央廣播電視總臺（以下簡稱“總臺”）在虛擬現實制作技術領域進行了多年的跟蹤和應用研發(fā)，在深入研究VR視覺效果與透視關系的基礎上，結合多塊異面大屏幕呈現3D背景，進一步實現可視化三維空間內的虛擬節(jié)目制作，通過攝像機直接拍攝虛實融合的現場畫面，解決傳統虛擬演播室技術局限性；研發(fā)高精度的光學跟蹤系統進行適配，能夠同步接收鏡頭控制參數如ZOOMFOCUS等信息，反饋并實時傳遞給大屏控制端和渲染端，實現虛實場景鏡頭語言統一；研發(fā)AI智能化跟蹤系統，支持通過攝像頭捕獲人物運動信息，結合AI算法，將肢體動作附著在系統的人體骨骼模型上，實現更加自然仿真驅動人物動畫的功能。綜合運用以上技術，形成一套AI+VR融合應用的虛擬現實制作系統，并將其應用于中央廣播電視總臺春節(jié)聯歡晚會（以下簡稱“央視春晚”）等多個大型重點節(jié)目的制作中。

1 AI+VR制作關鍵技術

1.1 立體視頻投影變換技術

立體視頻投影變換技術主要包含異面大屏幕呈現攝像機透視角度畫面、多屏幕同步播放、虛實空間比例匹配、物體及攝像機跟蹤數據解析等內容。

通過視覺投影變換原理研究VR視效及透射關系，基于虛擬空間與實際空間坐標轉換理論，創(chuàng)建實際空間等比場景，依據實際攝像機位置及鏡頭參數信息，在虛幻軟件（本系統使用的圖形渲染軟件UE4）中等效創(chuàng)建虛擬攝像機，通過投影變換算法實時解算虛擬場景呈現關系，將場景內容投影至多塊LED大屏進行3D效果呈現，替代綠幕或藍箱傳統制作模式，主持人在現場能夠直觀場景內容，更加自然地走位，更好地進行節(jié)目互動。

1.2 光學運動跟蹤技術

運動跟蹤是指實時準確測量、記錄物體在真實三維空間的運動軌跡或姿態(tài)。光學式運動跟蹤因其精度高、無接觸，在中小型廣電虛擬演播室中最為常用。該技術基于計算機視覺原理，由多個相機從不同角度對目標特征點的監(jiān)視和跟蹤來完成運動捕捉任務。理論上對于空間中任意一個點，只要它能同時為兩個相機所見，就可以確定該點在空間中的位置。

通過研究光學運動跟蹤技術，采用分布式多相機陣列進行運動跟蹤，相機通過小孔成像原理，將3D空間中的物體通過中心射影變換投影到相機成像平面，如圖1所示。通過系統標定過程獲取相機內參矩陣和畸變系數，其中內參矩陣又包括焦距、像素物理尺寸等，畸變有徑向畸變和切向畸變等，多相機標定不僅獲取各相機內參，還得到了各相機之間的相對位姿關系，其標定精度直接影響最終跟蹤質量。

圖1 成像示意圖

設世界坐標系的XOY平面與靶標平面重合，則在世界坐標系中靶標角點齊次坐標為，其中，圖像上與之對應的像素坐標為，公式為：

其中，R表示世界坐標系到相機坐標系姿態(tài)變換，t表示世界坐標系到相機坐標系原點平移變換，二者表示相機外部參數；f表示相機的焦距，即相機焦點到成像平面的物理距離，(u0,v0)T表示相機坐標系Z軸與成像平面交點的像素坐標，dx表示成像平面u軸方向上一個像素的物理尺寸，dy表示成像平面v軸方向上一個像素的物理尺寸，它們共同組成相機內部參數。

現實情況中，相機拍攝圖像不可避免地會產生畸變。所謂畸變就是進行投影時直線產生彎曲的一種現象。畸變主要分為兩種：徑向畸變與切向畸變。徑向畸變主要由鏡頭鏡片形狀加工偏差引起，鏡片的制作原料和加工工藝等都會影響鏡片形狀，徑向畸變又可以分為桶形畸變和枕形畸變，如圖2所示。而切向畸變主要由鏡片和成像平面不平行導致，受鏡頭組件加工和裝配精度影響，又可以分為薄透鏡畸變和離心畸變，如圖3所示。

圖2 徑向畸變示意圖

圖3 薄透鏡、離心畸變示意圖

精確的跟蹤定位需要對畸變進行算法矯正，含畸變校正的世界坐標系中，靶標角點與成像平面坐標系對應點的對應關系：

其中，k1、k2和k3為徑向畸變系數，p1和p2為切向畸變系數，采集多張靶標圖像，帶入上式求解方程組，得到相機內參矩陣、畸變系數的初值。然后對相機內參初值優(yōu)化，利用Levenberg-Marquardt非線性最小二乘算法最小化重投影誤差，得到最終相機內參矩陣、畸變系數。

另外，靶標角點的測量也是精確定位的關鍵，有了這些運動相關的外參數初值，才能進一步通過參數標定測量物體的空間位移與旋轉角度位姿。多相機外參標定流程如圖4所示，通過同時拍攝共同視場中不同位姿的靶標，提取靶標角點，利用PnP算法建立靶標平面坐標系與相機坐標系的位姿關系，從而得到各相機之間相對位姿關系。然后利用光束平差法非線性優(yōu)化算法最小化重投影誤差，從而得到最佳多相機外參。

圖4 標定流程示意圖

針對節(jié)目制作中虛擬演播室復雜環(huán)境條件，該算法能有效提升系統應用魯棒性，攝像機位姿與鏡頭參數的同步融合，降低了系統復雜度，簡化系統部署及操作流程，提升系統運營穩(wěn)定性。

1.3 光學空間定位技術

基于紅外光學的物體空間定位技術，由空間中不同視角的多臺光學傳感器組成多維視覺矩陣，確保物體在捕獲空間范圍內無死角跟蹤定位，高精度光學定位技術具備統一的三維空間坐標系和數據時間軸，可以對攝像機、人體以及物理道具進行亞毫米量級精度實時同步定位，毫秒級的系統延時傳輸，可以保證現實與虛擬場景無頓挫切換，高效完成節(jié)目制作，實現攝影機機位、鏡頭參數、人體動作、道具位置數據協同。同時根據電視節(jié)目制作流程工藝設計空間定位系統應用軟件，一鍵式目標跟蹤，可同步跟蹤多達數十個攝像機、道具，適配電視節(jié)目多機位制作需求，降低操作復雜度及系統硬件成本。

光學空間定位技術能夠實時捕獲特制跟蹤點對主持人動作手勢進行實時位置跟蹤，通過虛幻軟件UE4中預設碰撞觸發(fā)事件在內容中疊加特定動畫特效，實現主持人和虛擬元素的實時動態(tài)交互；也可以通過跟蹤主持人手持平板疊加節(jié)目附加信息，主持人可以根據制作需求通過平板控制，一鍵自主選擇特定疊加效果，提升節(jié)目制作效率。

1.4 AI智能分析自然視頻人體運動跟蹤技術

AI智能分析的自然視頻人體運動跟蹤技術基于AI深度學習理論，采用卷積神經網絡架構設計自然視頻人體骨骼解算器，通過多維多視角視覺系統標定參數，3D化2D骨骼節(jié)點結果，結合人體運動學及影視動畫制作機理進行IK骨骼參數求解，使用ZMQ傳輸協議進行最終運動數據分發(fā)應用至電視節(jié)目制作。

受益于傳感器技術及圖像處理技術的不斷發(fā)展，人體骨骼關鍵點檢測效果逐漸提高。目前常見的人體關鍵點檢測技術可以分為兩種：基于深度相機的檢測和基于彩色圖像的檢測。與深度相機檢測方法相比，基于彩色圖像轉置卷積的多人骨骼關鍵點AI檢測框架，利用卷積神經網絡（CNN）等計算技術，直接對RGB相機采集到的圖像進行特征提取、信息融合、結果輸出，能夠實現端到端的人體運動跟蹤流程，并且這類技術具備硬件復雜度低、應用場景廣、可跟蹤人數多等優(yōu)勢。

多人骨骼關鍵點檢測技術使計算機對圖像中多個人體的不同關節(jié)及五官（如：眼、頭、手、髖、踝）等關鍵點進行準確定位，并將屬于同一人的個體關鍵點準確連接，以描述多人不同的姿態(tài)信息，對人體靜止姿態(tài)、連續(xù)動作進行運動跟蹤。

關鍵點提取的效率和準確性是整個人體運動跟蹤的基礎，通過深度學習網絡檢測圖像人體關鍵點，為節(jié)約AI算力采用分布式GPU架構，設計開發(fā)多GPU集群服務器，通過算法規(guī)劃設計解決多GPU運算核心線程通信調度問題，實現多GPU協同工作，提升AI算力，優(yōu)化系統延遲，提高運行流暢度。針對數字圖像、數值計算等計算機量化操作帶來的固有噪聲信號，運用圖像信號處理技術對重建骨架數據進行濾波處理，平滑數據曲線，提升系統運行穩(wěn)定性。

在多人交互場景下人與人之間會有很嚴重的遮擋問題，二維人體姿態(tài)檢測器無法保證給出完全正確的關節(jié)分配結果；同時人體數量未知加大了不同視角間人體關鍵點匹配的難度。為了解決上述多人多視角人體關鍵點組裝的問題，采用混合跟蹤組裝算法組裝人體骨架，同時考慮多視點約束和時域約束，用迭代算法同時優(yōu)化所有視角下的關鍵點分配結果。多人多視角人體關鍵點組裝流程如圖5所示，圖的左上、左下、右下表示三個視角下兩個人的關鍵點信息，每個人有一個關鍵點脖子，一個關鍵點胯，這兩個關鍵點之間就有四種組合。對于大分辨率二維圖像的檢測網絡，將利用TensorRT布置到多個NVIDIA TITAN顯卡上，加速并行處理。對于復雜計算的逆運動學解算等，利用OpenMP多CPU加速，整個流程一個周期時間可以控制在30 ms左右。

圖5 多人視角人體關鍵點組裝示意圖

整個算法架構流程如圖6所示，AI智能解算流程采用流式計算模型，利用分布式架構并行處理，系統延遲取決于單個Pipeline效率，系統速度取決于流處理中耗時最長模塊——關鍵點檢測，在優(yōu)化系統延遲的基礎上能夠有效提升運動跟蹤系統速度。

圖6 AI解算算法流程示意圖

2 AI+VR制作系統

基于立體視頻投影變換、光學運動跟蹤、光學空間定位、AI智能分析自然視頻人體運動跟蹤等關鍵技術，總臺研發(fā)出一套不受環(huán)境限制的虛擬現實節(jié)目制作生產流程，既可以實現真人與虛擬場景同屏，也可以實現虛擬角色與真實場景同屏，結合立體拼接大屏合成渲染的內容生產平臺，形成了標準的電視節(jié)目制作流程，拍攝現場即是節(jié)目制作現場，所見即所得，全面提升節(jié)目制作效能，最終形成完整的AI+VR融合應用制作系統。其包括多LED屏幕拼接控制渲染子系統、物體空間運動跟蹤子系統以及AI智能自然視頻人體運動跟蹤子系統。

多LED屏幕拼接控制渲染子系統，支持攝像機運動數據及鏡頭參數解算并將數據映射至虛擬場景的功能，采用多塊LED屏幕，背景內容根據現場攝影機拍攝機位及鏡頭信息，通過投影變換實時渲染至屏幕，實現不同角度的立體透視效果。主持人可以直觀虛擬背景場景，現場靈活走位，解決虛擬環(huán)境與主持人配合問題。

物體空間運動跟蹤子系統如圖7所示，主要解決攝影機空間定位及鏡頭參數獲取融合以及主持人交互道具位置跟蹤，基于光學運動跟蹤技術，采用大空間運動捕捉技術對演播室多機位及多道具進行全方位無死角跟蹤，通過自動化控制理論的伺服回饋技術對攝像機鏡頭Zoom、Focu、Iris等參數進行實時監(jiān)測，運用多傳感器信息融合技術對跟蹤數據及監(jiān)測數據同步分析，設計S-C（Server-Client）網絡并發(fā)架構進行數據廣播發(fā)送，實現跟蹤數據和虛幻引擎無縫對接。實時渲染服務器根據實拍攝像機真實推拉搖移實時調整大屏顯示內容，采集畫面即最終播出畫面，無需后期再進行制作，主持人和虛擬場景內容交互更加自然，3D效果更加直觀，有效避免電視節(jié)目制作中常見穿幫現象。

圖7 物體空間運動跟蹤子系統示意圖

AI智能自然視頻人體運動跟蹤子系統，利用轉置卷積的多人骨骼關鍵點AI檢測框架，通過對自然視頻中人體關鍵點檢測，分步進行訓練及端到端測試，同時通過公開數據集上的對比實驗調節(jié)優(yōu)化算法參數，評估運動跟蹤精度，對人物骨骼特征提取及后處理部分進行優(yōu)化提升，并基于數據編碼設計虛幻引擎插件，將動捕數據實時傳輸至虛幻引擎直接調用。所構建的無標記運動跟蹤系統使得主持人無需任何穿戴設備即可實時進行運動姿態(tài)跟蹤，骨骼運動數據可通過網絡廣播實時分發(fā)至虛幻引擎進行虛擬角色動作遷移。同時，采用GPU分布式架構，AI解算Pipeline并行運行，在不增加解算服務器的前提下，兼容多人高效動捕數據解算，提升解算效率，尤其在總臺直播類節(jié)目應用中，系統延遲控制在100 ms以內，形成全新的直播節(jié)目制作模式。

由上述3個子系統形成的AI+VR制作系統支持攝像機運動數據及鏡頭參數解算，并將數據映射至虛擬場景的功能，實現不同角度的立體透視效果；支持識別空間范圍內物體位移及旋轉數據計算并轉換成空間坐標，實現場景內真實人物和虛擬元素多種形態(tài)的互動；支持通過攝像頭捕獲人物運動信息，結合AI智能算法，將肢體動作附著在系統的人體骨骼模型上，實現更加自然仿真驅動人物動畫的功能。將其應用于節(jié)目制作中，可搭建異面大屏幕來實時呈現三維背景，在一個可視化的三維空間內進行，通過高精度的光學跟蹤系統對攝影機進行機位跟蹤，同步接收鏡頭控制參數如ZOOM/FOCUS等信息反饋，并實時傳遞給大屏控制端和渲染端，如圖8所示，從而實現虛實場景鏡頭統一、前后景融合。

圖8 AI+VR系統示意圖

3 AI+VR制作系統在春晚中的應用

總臺2021年工作思路與打算匯報會中要求“從嚴從實抓好常態(tài)化疫情防控，特別是要抓好春晚疫情防控，全力以赴保障員工和演職人員健康安全”，因此在2021年春節(jié)聯歡晚會中，基于AI+VR制作系統，在統一三維空間坐標系與數據時間軸下實現攝像機、交互道具等物體定位數據跟蹤，通過北京與香港“云”上聯動錄制的方式，完成了劉德華、王一博、關曉彤在春晚現場的“同框”演出節(jié)目《牛起來》。場景聯動和各元素間的交互使得《牛起來》的整體視覺內容呈現融合統一，給觀眾呈現了一款科技感十足炫酷的春晚創(chuàng)意節(jié)目，帶來了煥然一新的視覺體驗。

《牛起來》制作流程如圖9所示，基于AI+VR制作系統，通過物體空間運動跟蹤子系統對攝影機進行機位跟蹤，能夠同步接收鏡頭控制參數，并實時傳遞至多LED屏幕拼接控制渲染子系統（此次采用了3塊LED屏幕），通過投影變換實時渲染至屏幕，背景內容根據現場訊道機拍攝機位及鏡頭信息呈現在3塊大屏幕上，使得演員與虛擬場景內容交互更加自然，節(jié)目制作前期系統測試如圖10所示。

圖9 《牛起來》制作工藝流程

圖10 AI+VR制作系統現場測試

AI+VR制作系統在視覺呈現方面，通過攝像機跟蹤系統和VR渲染引擎實現場景的動態(tài)透視效果，使虛擬世界與現實空間完美融合。在此基礎上制作出的創(chuàng)意節(jié)目《牛起來》廣受好評，僅在抖音平臺的播放量就達到了1.29億次。

4 結語

隨著視聽傳播技術的發(fā)展與媒介生態(tài)的變化，觀眾對于文化消費的需求日益增高。伴隨著5G網絡速度帶寬的升級，AI、VR、六自由度、全息等技術的日漸成熟，如何將新興技術融合應用于電視節(jié)目的制作中成為廣電技術人員優(yōu)先面臨的新課題。

未來，總臺在“5G+4K/8K+AI”戰(zhàn)略布局下，將不斷以技術創(chuàng)新為基礎，持續(xù)開展融合媒體制作技術應用實踐，通過信息技術的全面升級帶動廣電行業(yè)新的增長點，并將創(chuàng)新成果實時、高效、精準推廣，縮短轉化周期、降低轉換成本，充分展示總臺技術優(yōu)勢和市場影響力，實現社會效益和經濟效益的雙豐收。