Vicon追蹤系統在LED虛擬攝制中的應用研究

馬金秀

中國電影科學技術研究所(中央宣傳部電影技術質量檢測所),北京 100086

1 前言

以LED 為背景墻的虛擬攝制系統近年來迅速點燃了國內外的影視市場,此項技術是目前影視制作領域的前沿技術,國內尚處于研究、探索、實踐階段。本文研究基于中國電影科學技術研究所 (中央宣傳部電影技術質量檢測所)搭建的虛擬拍攝實驗環境,把以往主要用于動作捕捉的高精度Vicon動作捕捉系統和LED 背景墻、虛幻引擎 (Unreal Engine)4.27渲染系統進行了結合應用,提高了物理攝影機的追蹤精度,提升了LED 虛擬拍攝的拍攝質量。對結合應用過程中的技術難點,如坐標系的匹配、跟蹤原點的設定、物理攝影機與虛擬攝影機的綁定和匹配等做了細致研究。本文提出的將Vicon動作捕捉系統用于LED 虛擬攝制,實現物理攝影機與虛擬攝影機綁定和匹配的方法,旨在為行業從業人員提供技術指導,推動LED 虛擬攝制技術的行業應用和發展。

2 項目研究背景及面臨的問題

2.1 LED虛擬攝制技術的興起

將實景影像投射到演員身后進行拍攝在20世紀30年代就出現了,該技術通常用于拍攝汽車駕駛鏡頭,通過電影放映機生成后方投影進行拍攝,它的缺點很明顯:只能從一個固定視角進行拍攝,否則投影的畫面和拍攝的實景前景在視角上會出現透視關系錯誤。LED 顯示技術的發展以及游戲引擎實時渲染能力的提高,讓根據鏡頭視角變化實時渲染背景成為一種可能。

2019年,好萊塢拍攝迪士尼的科幻劇集 《曼達洛人》第一季時,采用了以LED 作為背景墻的虛擬攝制技術。《曼達洛人》中有一半的鏡頭是在名為StageCraft①的片場里完成的。以LED 背景墻替代傳統綠幕,綜合應用了攝影機追蹤、虛幻引擎實時渲染等技術,實現了現場實景和虛擬背景的協同攝制和攝影機內(In-camera)最終成像。《曼達洛人》搭建的 “LED Volume”是一個高度為6 米,周長為54米的LED 視頻墻,由點間距為2.84 毫米的1326個LED 模組組成,形成270度半圓形背景屏幕,22米直徑的表演空間,頂部是LED 屏幕天花板。以LED 作為背景墻的虛擬攝制技術自2019年起迅速掀起了虛擬攝制的熱潮,2019年可以認為是以LED 作為背景墻進行虛擬攝制的元年。

2.2 面臨的問題

LED 虛擬攝制技術發展之初主要用于電視劇集的拍攝,電視劇集和電影在技術規格上存在較大差異,電影在色彩還原、亮度、對比度等技術參數上都有更高的要求,提升LED 虛擬攝制的拍攝質量,需要更高精度的追蹤系統,以實現物理攝影機和虛擬攝影機的精準匹配,減少系統誤差,提升拍攝質量。LED 虛擬攝制系統是多套系統的集成,在系統搭建上存在多種技術解決方案,不同的技術解決方案,其拍攝性能有很大區別。在攝影機追蹤系統的搭建中,一些小型工作室采用了很多民用設備解決對物理攝影機的追蹤問題,但民用設備的捕捉精度有限,其拍攝效果無法保證。綜上所述,更高精度的追蹤系統用于LED 虛擬拍攝將有助于LED 虛擬攝制技術的發展與應用。

3 物理攝影機和虛擬攝影機的匹配實現

3.1 LED虛擬攝制系統技術架構

LED 虛擬攝制系統主要由攝影系統、攝影機追蹤系統、LED 屏顯示系統、游戲引擎渲染系統、同步系統、燈光照明系統等構成,各系統協同工作,并在攝影機里實現最終成像。其工作原理為:攝影機追蹤系統將捕捉到的物理攝影機的運動軌跡賦予游戲引擎中的虛擬攝影機,物理攝影機驅動虛擬攝影機,虛擬攝影機通過游戲引擎渲染系統把正確的虛擬環境投射到LED墻上,被攝物在LED背景墻前進行表演,由物理攝影機完成拍攝,實現攝影機內最終成像的效果,其系統架構如圖1所示,在虛擬拍攝系統中還可以加入數字資產管理、后期處理等系統。

圖1 LED虛擬攝制系統

3.2 攝影機運動追蹤技術

攝影機運動追蹤技術是LED 虛擬攝制系統中的關鍵技術,需要通過對真實攝影機位置的追蹤,將攝影機的實時位置移動數據實時傳入到虛幻引擎,通過物理攝影機和虛擬場景中虛擬攝影機的綁定和匹配,獲得正確的視角渲染虛擬場景,實現虛擬攝制。

3.3 攝影機追蹤系統分類

攝影機追蹤方案根據實現原理的不同可以分為主動式和被動式,主動式的位置跟蹤中,攝影機或傳感器位于被跟蹤的設備上,典型的主動式跟蹤設備有Ncam、Lightcraft、MoSys、RedSpy等；被動式追蹤通常采用光學跟蹤方式,面向被追蹤的物體,使用攝影機或其他傳感器放置在一個固定的位置,典型的被動式跟蹤設備有Vicon、OptiTrack、HTC Vive等。

3.4 光學追蹤技術原理

LED 虛擬攝制系統通常采用復雜的光學追蹤解決方案。一般會在攝影機上安裝反射標記點,圍繞LED 背景墻架設一圈攝像頭,其工作原理為:在光學動作捕捉系統中,每個紅外動作捕捉鏡頭上都有紅外(長波)發射器,鏡頭會發射出紅外光,被捕捉的目標上附著了能夠反射紅外光線的標識點(Marker),標識點反射的紅外光會被多個鏡頭上的感應器矩陣接收。不同位置的鏡頭采集到標識點的位置后,就可以計算出這個點在空間中的三維坐標,通過這種原理,動作捕捉系統可以同時采集到目標上多個標識點的一系列三維坐標。大量坐標數據通過POE交換機傳輸給動作捕捉軟件,便可以解算出目標在空間中的位置、方向和運動軌跡等信息,進而實現對目標的追蹤。

3.5 Vicon追蹤系統對物理攝影機與虛擬攝影機的綁定和匹配實現

3.5.1 技術難點

要實現物理攝影機與虛擬攝影機的綁定和匹配需要解決兩個技術難點:一是坐標系的匹配,Vicon追蹤系統采用左手坐標系,本實驗渲染系統采用的是虛幻引擎 (UE),虛幻引擎使用右手坐標系,要實現物理攝影機和虛擬攝影機的綁定,首先要使兩者的坐標系實現匹配。其次是坐標原點的設定,其設定關系到匹配的精準性。在虛擬攝制中,虛幻引擎中的虛擬LED 背景墻必須和真實物理環境中的LED 背景墻完全一致,這樣才能盡可能減少拍攝效果誤差。一般采取激光掃描的方式對攝影棚中的真實LED背景墻進行建模,以達到尺寸上的精準匹配。虛擬LED 背景墻和真實LED 背景墻不僅在尺寸上要精準匹配,更重要的一點是坐標原點需要完全一致,要實現坐標原點的一致,在真實的攝影機追蹤環境中,就需要標定原點。

3.5.2 Vicon 追蹤系統搭建

Vicon動作捕捉系統由運動捕捉攝像頭、Vicon 系統支持的POE 交換機、Shōgun 數據處理軟件等組成,可提供實時和離線數字光學運動捕捉數據,這些數據可應用于動畫制作、虛擬現實系統、生命科學等方面。對于虛擬攝制來說,Vicon動作捕捉系統只捕捉相當于剛體的物理攝影機的運動軌跡,可以完全滿足虛擬攝制對于物理攝影機運動的精度需求。

本文的研究環境基于中國電影科學技術研究所(中央宣傳部電影技術質量檢測所)拍攝技術研究實驗室。實驗室設計架設攝像頭桁架的尺寸為寬度5.2米,高度3米,長度9.4米。根據攝像頭有效的捕捉角度,架設6 個Vicon Vantage V16 (1600萬像素)攝像頭,支持120FPS全分辨率拍攝,6個MX-T160攝像頭。實驗室有效的捕捉范圍為:寬度2.3米,長度5.4米。搭建完成后的環境如圖2 所示。攝影機追蹤系統架構如圖3所示。

圖2 拍攝技術研究實驗室

圖3 攝影機追蹤系統架構圖

3.5.3 物理攝影機與虛擬攝影機的綁定和匹配解決方案

(1)三維笛卡爾坐標系

笛卡爾坐標系 (Cartesian Coordinate System)也稱直角坐標系,在數學中是一種正交坐標系,由法國數學家勒內·笛卡爾引入而得名。直角坐標系的x軸、y軸與z軸必須相互垂直。包含z軸的直線為z線。在三維空間里,當我們設定了x軸、y軸的位置與方向的同時,我們也設定了z線的方向。在z線以原點為共同點的兩條半線中,存在正值和負值,這兩種不同的坐標系統稱為右手坐標系與左手坐標系。右手坐標系又稱為標準坐標系或正值坐標系,如圖4所示。

圖4 笛卡爾坐標系

(2)虛幻引擎(UE)和Vicon追蹤系統坐標系的匹配方法

任何坐標系下的坐標都是相對坐標。因此,笛卡爾三維坐標系下,通過變換坐標軸的正向方向,就能夠得到兩種不同的坐標系,即左手坐標系和右手坐標系。這就為Vicon追蹤系統和虛幻引擎渲染系統的坐標匹配提供了理論依據。

虛幻引擎為左手坐標系:X 軸正向為右,Z 軸正向為上,Y 軸正向向后,如圖5所示。

圖5 虛幻引擎坐標系

Vicon追蹤系統采用的是右手坐標系:Y 軸正向為右,Z軸正向為上,X 軸正向向后,如圖6所示。

圖6 Vicon坐標系

本實驗系統測試了幾種方式,在物理攝影機通過Live Link導入虛幻引擎時,在Live Link中更改坐標軸方向,測試了Z軸±90度變換,以及X 軸、Y 軸的±90度、±180度變換,均不能實現軸向的匹配,并會造成坐標軸的混亂。

經過多次研究和測試,Vicon追蹤系統左手坐標系和虛幻引擎右手坐標系匹配的技術解決方案為:借助虛幻引擎中的空Actor(跟蹤原點)轉換Z 軸的方向,實現Vicon坐標軸的轉換。圖7是物理攝影機進入虛幻引擎時攝影機的初始位置,通過把虛擬攝影機拖入空Actor下,作為它的子項,虛擬攝影機的位置信息由跟蹤原點控制,更改空Actor Z軸方向,旋轉-90度,虛擬攝影機現在位于和虛擬屏幕垂直90 度位置,實現和物理攝影機的坐標匹配,如圖8所示。

圖7 攝影機初始位置

圖8 攝影機轉換坐標之后

(3)坐標原點的設定

真實物理世界的原點必須和虛擬場景里的原點完全一致,虛擬攝制時才能有正確的拍攝效果。

首先對真實物理世界的原點進行標定。原點標定必須要有基準參照物,在Vicon追蹤系統中,采用校準棒標定原點。Vicon 校準棒 (5 Marker Wand and L-Frame)有5個反光標記點,中間點為原點位,校準棒所標定的原點既是物理場景中的跟蹤原點,也是虛擬場景中的跟蹤原點。在原點標定時,需要特別注意方向,T 字校準棒標定原點的同時也標定了X軸、Y 軸、Z軸的方向。為保證物理場景中LED 背景墻的位置與虛擬世界中LED 背景墻位置方向一致,對Vicon追蹤系統來說,T 字校準棒擺放位置如圖9所示。

圖9 T 字校準棒擺放位置

(4)標記點

Vicon追蹤系統在進行人體動作捕捉時,通過往人體上貼標記點的方式捕捉人物動作。Vicon追蹤系統用于虛擬攝制追蹤物理攝影機的運動時,同樣需要在攝影機上設置標記點。

在研究中發現標記點的設置需要滿足兩個條件:一是標記點至少要5個,才能區分X 軸、Y 軸、Z軸的軸向方向；二是標定的軸向要互相垂直,方便進入虛幻引擎時的軸向轉換。

本實驗系統設計并制作了7個標記點的標識物(通常稱為Marktree),如圖10 所示,分別代表X軸、Y 軸和Z軸3個軸向,且互相垂直,另外2個標記點用以區分前后,如圖11。Marktree置于物理攝影機上 (圖12),跟隨攝影機拍攝時進行的推拉搖移等運動而運動,它作為一個道具剛體進入虛幻引擎。

圖10 Marktree三維顯示圖

圖11 Marktree坐標

圖12 實物Marktree

(5)物理攝影機剛體道具的制作

Marktree的標記點在Vicon 數據處理軟件Shōgun顯示為點的狀態,7 個標記點的Marktree顯示7個點,在剛體道具制作過程中,最先選擇的3個點非常重要,決定了剛體代表的物理攝影機的方向,即X 軸、Y 軸 和Z 軸的方向。以7個點的Marktree為例,依次選擇攝影機拍攝方向最后面的點、最前面的點和攝影機左側的點,剩余其他點選擇順序不限,如圖13所示。全部點選擇完成后,創建道具即可完成剛體道具的創建,這個道具代表物理攝影機,如圖14 所示。圖中,錘子形狀的物體借助了Vicon在做動作捕捉時骨骼的概念,代表骨骼的 “根”,Vicon追蹤系統用于虛擬攝制時,它的位置代表物理攝影機CMOS成像的位置,根據不同攝影機CMOS成像位置不同,可以調整創建的骨骼道具根位置的偏移量,確定CMOS的位置。位置信息越準確,在后期虛擬攝制中的誤差越小。

圖13 Shōgun中的Marktree最初顯示

圖14 Marktree的剛體道具

(6)物理攝影機和虛擬攝影機的綁定

要實現物理攝影機和虛擬攝影機的綁定需要解決兩個問題:一是物理攝影機追蹤信息需要實時導入虛幻引擎,二是物理攝影機和虛擬攝影機的關聯。

物理攝影機的實時跟蹤數據通過Live Link 插件進入虛幻引擎。Live Link在分發被追蹤的攝影機信息方面至關重要,配合nDisplay將追蹤信息送至每個群集節點。Live Link提供了一個通用接口,它主要有2 個作用:管理數據源和管理主體。Live Link還利用角色的概念來定義應該如何使用傳入的數據,這讓數據能更容易映射到引擎中的目標Actor。支持的角色包括攝影機、光源、角色、變換和基本角色 (用于一般數據)。源是數據進入Live Link客戶端的方式,可以在插件中對源進行定義,這樣第三方無需修改引擎代碼即可構建自己的源。源負責管理它們接收動畫數據的方式 (例如通過網絡協議接收)。每個源都擁有對客戶端的引用,以便其向客戶端傳輸數據。Live Link導入Vicon追蹤數據,需要安裝專用的插件,把物理攝影機當作 “道具”接入虛幻引擎。

虛擬攝影機和物理攝影機的綁定通過Live Link的控制器實現。Live Link 控制器能簡化將Live Link信息用于Actor的過程,會自動從Live Link對象獲取數據,并流送給場景中用戶選擇的Actor。應用Live Link控制器,為虛擬攝影機添加數據源,選擇在Vicon Shōgun中設定的代表真實物理攝影機的剛體道具,虛擬攝影機將開始從選定的Live Link對象自動接收數據,即實現了虛擬攝影機和物理攝影機的綁定。Live Link控制器實現了虛擬攝影機和物理攝影機實時的數據鏈接,但要將數據賦予內視錐進行拍攝,需要在nDisplay中把虛擬攝影機和內視錐攝影機ICVFX 攝像機 (ICVFX Camera)進行掛載。

4 結論

虛擬攝影機和物理攝影機的綁定和匹配是以LED 為背景墻進行虛擬攝制時的關鍵技術之一。要實現物理攝影機和虛擬攝影機的綁定和匹配,首要進行的是追蹤系統的方案選擇和設計。多種追蹤系統可以實現對物理攝影機的追蹤,但追蹤精度不同會導致拍攝效果差異很大。由于拍攝現場的情況復雜,還存在丟失物理攝影機追蹤信號的情況,因此,穩定、高精度的追蹤系統是保證拍攝效果的關鍵因素。本文研究利用高精度的Vicon追蹤系統實現物理攝影機和虛幻引擎的虛擬攝影機綁定和匹配,對于其他右手坐標系的追蹤系統進入虛幻引擎有一定的參考性,同時也為用戶提供了多方位、多層級的技術解決方案。

注釋

①StageCraft是工業光魔 (ILM)聯合行業內部ILM Fuse、Lux Machina、Profile Studios、NVIDIA 和ARRI等公司,共同研發的端到端影視實時虛擬攝制解決方案 (命名為StageCraft)。