基于LED背景墻的電影虛擬化制作中攝影機跟蹤技術研究

李 想 趙建軍 陳 軍

(1.北京電影學院中國電影高新技術研究院,北京 100088)

(2.北京電影學院影視技術系,北京 100088)

1 前言

基于LED 背景墻的電影虛擬化制作技術(下稱“LED 虛擬化制作”)是指在拍攝現場,通過攝影機跟蹤系統和實時渲染引擎,將渲染畫面顯示到LED 背景墻上,演員在LED 背景墻形成的環境中進行表演,從而實現拍攝時的“合成”。這一技術極大地提高了虛擬化制作的效率,降低拍攝風險,擺脫傳統拍攝過程中的諸多限制,為影視拍攝、賽事直播、廣告制作、大型演出等不同領域的創作者營造更加友好的創作環境,如圖1所示。

圖1 LED虛擬化制作技術在不同領域中的應用

攝影機跟蹤系統是電影虛擬化制作的基礎,在實際應用中,對于跟蹤系統的要求往往強調定位精確度、穩定性、魯棒性和用戶創作的自由度。目前市面上已經存在多種對于剛體進行姿態估計和運動跟蹤較為成熟的解決方案,考慮精度、重量、成本和適用環境等因素,基于視覺的攝影機跟蹤方案已經成為目前進行虛擬化制作的熱門選擇。

隨著LED 虛擬化制作技術的興起,人眼對于真實場景與虛擬背景的相對穩定性更加敏感,同時攝影機自身的運動規律與普通剛體又存在著差異,再加上LED 虛擬化制作環境帶來的動態變化使得基于視覺跟蹤的應用環境又重新面臨挑戰。

本文對攝影機跟蹤系統在典型LED 虛擬化制作環境中的應用進行研究,通過一系列測試,利用客觀數據對跟蹤的精度、穩定性、魯棒性、數據處理傳輸速度、合成效果等方面進行分析,同時結合主觀操作感受,對攝影機跟蹤技術在LED 虛擬化制作這一新領域進行研究。

2 跟蹤系統簡述

真實世界中的攝影機運動往往受到空間限制,LED 虛擬化制作技術則給予了創作者無限的空間,在虛實結合的創作環境中提供了更多鏡頭運動的可能性。

2.1 攝影機運動簡述

在真實的電影拍攝中,一個運動鏡頭由起幅、運動、落幅組成,其中運動鏡頭主要包括:推、拉、搖、移、跟、升、降、甩。攝影機在進行拍攝時可視為一個不會產生形變的剛體在進行歐式變換運動,這一運動的特點是無論位置和方向發生變換還是在不同坐標系下觀察同一個物體,它的長度、夾角、體積等形狀和大小都保持不變。在影視制作環節中,攝影機實際上是對人眼行為的模擬,攝影機拍攝呈現畫面的目標是觀眾,所以攝影機的運動往往有連續、平滑等特性。

對于具體的鏡頭運動行為,Dolly(推拉)、Pedestal(升降)、Truck(橫移),對應剛體位移運動中的沿物體正方向指向進行前后位移、沿物體縱軸方向指向進行上下位移、沿物體水平軸方向指向進行左右位移;Pan(橫搖)、Tilt(俯仰)、Roll(橫滾)對應剛體旋轉運動中的繞物體縱軸旋轉、繞物體水平軸向進行旋轉、繞物體正方向指向軸向進行旋轉(圖2)。其中,對于Roll即橫滾運動,在影視攝影制作中較少涉及該類的鏡頭運動。因此對于剛體運動軌跡的優化,則需要針對攝影拍攝時的運鏡規律進行重新配重與優化。

圖2 攝影機運動類型①

現有的對剛體進行姿態估計的解決方法側重于通過提升觀測設備的刷新率以捕捉物體更加快速的變化,或提升觀測設備的分辨率以捕捉更加細節的變化和更加精準的3D 特征點的定位精度。這些舉措都缺乏針對攝影機位姿變化和運動規律的的精準重建與優化,更加適用于普通剛體,例如機器人或SLAM 技術。然而過度的濾波平滑又會造成對攝影機動作還原的失真,因此選擇算法優化適度的攝影機跟蹤系統同樣重要。

2.2 攝影機跟蹤常見的集成方案

跟蹤設備選擇方面,因攝影機的跟蹤所關注的內容是如何從像素坐標系還原回世界坐標系的位置,所以對目前常見的跟蹤解決方案進行分類,根據實現原理的不同可以分為由內向外跟蹤及由外向內跟蹤兩種方式。由內向外跟蹤不需要外部傳感器或信標,被追蹤對象需要搭載不同的傳感器利用算法來獲取對象的精確位置,通常在由內向外的位置跟蹤中,攝像機或傳感器位于被跟蹤的設備上,典型的由內向外跟蹤設備有Ncam、Lightcraft、MoSys、RedSpy等;由外向內跟蹤采用某種信標的任何方法都屬于外向內跟蹤技術,通常采用光學跟蹤方式使用攝影機或其他傳感器放置在一個固定的位置,面向被追蹤的物體,典型的由外向內跟蹤設備有Vicon、OptiTrack、HTC Vive等。

在跟蹤設備與其他三維渲染系統集成方面,根據跟蹤數據使用的場景或階段不同,可以將系統管線分為實時和后期兩個階段。在實時階段,跟蹤設備軟件端可以通過插件與第三方DCC(Digital Content Creation,數字內容創作)軟件或實時渲染引擎進行通信,將攝影機的外參(6DOF 的位姿變換數據)以及鏡頭內參(焦點、焦距、鏡頭畸變等)參數實時地傳輸給引擎中的虛擬攝影機,最終渲染出位置、透視、視場等顯示正確的畫面;在后期階段,經過前期跟蹤數據的實時傳輸與錄制,后期部門可以選擇對跟蹤數據進行清洗修正再利用,減少攝影機反求操作,可以極大地提高后期工作效率。

2.3 基于LED 背景墻的虛擬化制作對跟蹤系統的需求

目前LED 虛擬化制作技術從原理上可以看作是增強現實技術在影視行業的應用,該技術被廣泛地應用于影視制作、大型演出直轉播等泛娛樂行業,不同的應用場景對于跟蹤系統提出了新的不同需求。由于LED 顯示屏幕的廣泛參與,實時渲染的虛擬背景直接顯示并且被攝影機同步記錄下來,這使得虛擬場景與真實場景之間的坐標系匹配更為重要。動態畫面和復雜閃爍的光環境變化也給跟蹤技術帶來了新的挑戰,面對各種不同技術原理的跟蹤設備,本文設計以下實驗對HTC Vive Pro Eye、Ncam、stype RedSpy、OptiTrack PrimeX 22四款在行業內廣泛使用的基于不同原理的跟蹤系統進行對比分析并對設備特性及應用場景做出總結。

3 實驗設計

對于跟蹤系統而言最重要的系統屬性是跟蹤的精度、穩定性及魯棒性,本文將通過測量在相同LED 顯示環境下不同跟蹤設備的跟蹤精確度、穩定性、魯棒性,結合數據處理傳輸速度、跟蹤使用的場地要求、操作時主觀感受等要素,對不同實時跟蹤解決方案進行對比分析。

3.1 實驗對象

本實驗分別以由外向內基于紅外視覺的跟蹤設備OptiTrack動作捕捉系統、基于激光掃描的HTC Vive Pro Eye虛擬現實眼鏡,以及由內向外跟蹤設備基于雙目視覺的Ncam 攝影機跟蹤設備、基于紅外單目視覺的RedSpy紅外攝影機跟蹤系統為對象,根據實驗對象設備的安裝要求裝配至本實驗設備攝影機SONY F55上,裝配情況如圖3所示。

圖3 四組實驗對象裝配方式

3.2 實驗環境及要求

本實驗依托于北京電影學院影視技術系與青年電影制片廠聯合建設的基于LED 背景墻的電影虛擬化制作攝影棚實驗環境。首先,該LED 虛擬化制作實驗環境最大縱深為9.73m,寬度為10.60m,高度為4.20m。三面均由點間距為2.6mm、亮度可達1500nit的雷迪奧(ROE)DM 系列LED 屏幕環繞,其中,左右兩側屏為平面,前側主屏為面板夾角為5°的22列LED 面板組成的弧面。其次,頂部由132只諾華視創六基色LED 照明燈構成11×12排列組合的燈光矩陣,覆蓋LED 顯示區域。最后,可移動影視照明燈光系統是由南光等LED 面板燈具以及Froza系列聚光燈及柔光布組成影視制作拍攝領域常見的燈光配置環境。經測光表測量,在拍攝范圍中間能夠捕捉到的整體照度達2900lx,整體實驗環境與照明環境如圖4所示。

圖4 LED屏幕、燈光矩陣、影視照明燈光系統實驗環境

3.3 實驗步驟

根據測試計劃,將實驗步驟(如圖5所示)分為設計實驗、數據采集、數據處理、數據分析及實驗總結五個階段,分別設計靜止狀態、慢速及快速的運動狀態,以及在俯仰和橫搖等旋轉軸上的運動、左右上下平移等位移軸上的運動動作,對影視制作拍攝運動進行模擬再現,針對攝影機跟蹤系統的精確度、穩定性、魯棒性進行數據分析。

圖5 攝影機跟蹤系統分析實驗步驟

(1)精確度即“準確和精密的程度”,是一種統計學概念。其中,準確度是指測量數據的平均值偏離真值的程度;精密度是指對某一量進行測量時,每次測量的數據大小彼此接近程度。因此,對系統精確度的測量分析即是對該系統測量結果的綜合評價:測量的精確度越高說明測量的平均值越接近真值,并且測量數據較為集中,代表測量系統的系統誤差與偶然誤差都比較小,測量結果既準確又精密。在攝影機跟蹤技術中,跟蹤設備的精確度是系統組成最為重要的特性之一,系統精確度越高,由跟蹤數據求得的攝影機運動越能夠真實地還原攝影機在現實世界中的運動。通常情況下,在進行設備精確度分析時需要絕對的外部信息,但絕對的外部信息在大多數情況下是未知的,則可選取由更高階測量精度的傳感器得到的參考值進行確定。

(2)穩定性通常是指“測量儀器保持其計量特性隨時間恒定的能力”。與其他的增強現實或SLAM 技術不同,基于影視制作的需求,我們對于攝影機跟蹤除了要求能夠快速準確地跟蹤目標之外,穩定性是重中之重。經過分析,我們認為在影視攝影過程中,攝影棚的變化錯綜復雜,可以總結為復雜的現場光線環境和不斷變化的前景遮擋關系均會對跟蹤系統產生較大的影響。因此我們在不同環境下對數據進行采集與分析,對不同的跟蹤系統進行對比。

(3)魯棒性通常指控制系統在一定(結構、大小)的參數攝動下,維持其它某些性能的特性。對于LED 虛擬化制作環境,攝影機跟蹤系統的魯棒性干擾則在于剛體跟蹤點的遮擋丟失。本次實驗設計針對實驗對象的剛體跟蹤點進行魯棒性實驗,選擇的OptiTrack Active Puck有8個主動發光點正在進行運動,遮擋主動發光點數的百分比依次增加,進行相同運動行為并且記錄,繪制運動路徑,觀察波動增加直至跟蹤丟失的過程;RedSpy是由內向外跟蹤,因此對紅外攝像頭進行人為遮擋;Ncam 對雙目攝像頭的視野范圍進行遮擋;HTC Vive對跟蹤器上的紅外反光點進行遮擋。

4 實驗結果

4.1 跟蹤精確度實驗

對于攝影機在不同的運動情況下進行分析,我們通過測量每個軸的讀數,就能夠繪制出被跟蹤物體在跟蹤系統的三維空間中隨時間變化的位置。

4.1.1 對靜止情況進行模擬實驗

攝影機靜止時,在設備開機穩定運行一段時間后,獲取任意時間段攝影機的位置信息,由Matlab中的scatter3 ()函數繪制可得跟蹤數據在三維可視化環境下的位置坐標如圖6所示。

圖6 精確度分析——靜止情況下

經處理后的數據以坐標系原點為基準,在靜止狀態下,RedSpy三維坐標點最為集中,在各軸向上均勻分布;Opti Track所得的三維坐標點也較為集中,主要分布在水平面上,垂直面上及所得Z軸的數據較為集中;Ncam 集中程度較差,并且跟蹤點坐標呈線性分布狀態;HTC Vive的離散程度最高,跟蹤點具有隨機分布的特點,在水平面及垂直面上沒有明顯區別。從精密程度上來看,設備精密程度排序為RedSpy＞OptiTrack＞Ncam＞HTC Vive。

對跟蹤坐標數據的離散程度進行樣本標準差計算,標準差越大,樣本的離散程度越大,結果見表1。

表1 靜止狀態下跟蹤系統標準差分析

4.1.2 對于旋轉、平移運動進行模擬實驗

圖7 精確度分析——旋轉運動情況

攝影機運動時,在設備進入穩定運行狀態后在水平方向上分別進行慢速和快速橫搖運動,在垂直方向上分別進行慢速和快速俯仰運動,之后隨機截取攝影機的位置信息,運動情況繪制后如圖7所示。當設備進入穩定運行狀態后,攝影機在水平方向上運動時,分別進行慢速和快速平移運動,隨機截取攝影機的位置信息,運動情況繪制后如圖8所示。

圖8 精確度分析——平移運動情況

(1)橫搖運動

慢速:Ncam 在做慢速橫搖運動時,在水平面與垂直面上浮動都較小,運動軌跡較為平滑且符合攝影機橫搖的運動特征;Opti Track在Z 軸方向產生了抖動,頻率較高,與運動平滑的特征稍有不符;RedSpy在做慢速橫搖運動時,在Z 軸上的數值出現階梯性下降,對于這一運動,Z 軸最大值和最小值相差0.5cm,對于渲染畫面顯示將會產生影響;HTC Vive產生高頻在±0.1cm 幅度之間抖動。由此可見,在做慢速橫搖運動時,跟蹤精確度排序為OptiTrack＞Ncam＞HTC Vive＞RedSpy。

快速:Ncam 在進行快速橫搖動作時數據過于穩定平滑,符合橫搖動作,但會丟失細微動作特征;OptiTrack運動軌跡符合運動特征,存在輕微波動;RedSpy在做快速橫搖運動時精密程度更差,對于Z軸的估值產生了更大的波動,在做橫搖這一Z軸不變的動作時的最大值和最小值差距達0.8cm;由運動軌跡可見,HTC Vive數值產生了高頻、大幅度的抖動,不符合橫搖運動平滑的特點,但整體在可接受范圍內。由此可見,在做快速橫搖運動時,跟蹤精確度排序為Ncam＞OptiTrack＞HTC Vive＞RedSpy。

(2)俯仰運動

慢速:四個被測設備在運動過程中均表現良好。RedSpy、HTC Vive 軌跡平滑,符合運動軌跡;Ncam 在啟動時產生了輕微的數據波動;OptiTrack整體軌跡良好但存在小幅度低頻的波動,對跟蹤效果影響較小。跟蹤精確度排序為RedSpy＞HTC Vive＞Ncam＞OptiTrack。

快速:在進行快速俯仰運動時,Ncam 的運動軌跡在折返點出現了Z軸數據跳躍現象,整體運動軌跡產生偏移存在累積誤差;RedSpy數據在折返點產生數據中斷但軌跡還原正確不影響跟蹤效果;Opti Track在末端產生了輕微的波動,但整體軌跡還原最較好;HTC Vive數據較為穩定,表現優秀。由此可見,在做快速俯仰運動時,跟蹤精確度排序為HTC Vive＞OptiTrack＞RedSpy＞Ncam。

(3)水平位移

慢速:三個被測設備在運動過程中均產生了輕微波動,Ncam 數據濾波平滑效果最為明顯;Opti-Track不管是從波動頻率還是波動幅度上來說都較小;RedSpy次之;HTC Vive在運動啟動的時候產生波動幅度較大。因此,在進行慢速水平位移運動時,跟蹤精確度排序為Opti Track＞RedSpy＞HTC Vive＞Ncam。

快速:Ncam 的平滑作用較為明顯,但失去了對運動特征的準確還原;其他三者對于跟蹤路徑的反饋較為一致,符合運動平滑的特性。由此可見,在做快速水平位移運動時,跟蹤精確度排序為OptiTrack＞RedSpy＞HTC Vive＞Ncam。

(4)垂直位移

慢速:四個被測設備在運動過程中的運動整體路徑有較大差別。Ncam 運動軌跡體現出對于垂直平移運動記錄的失真;運動中的特性在RedSpy的圖像中也丟失了一部分,平滑處理較多;OptiTrack和HTC Vive保留運動軌跡雖有輕微波動,但仍可以接受。綜上所述,在慢速垂直位移中,跟蹤精確度排序為RedSpy＞OptiTrack＞HTC Vive＞Ncam。

快速:Ncam 的平滑作用較為明顯,出現運動特征的丟失,路徑與真實運動軌跡有區別;其他三者對于跟蹤路徑的反饋較為一致,符合運動平滑的特性,RedSpy的平滑處理更為出色。由此可見,在做快速水平位移運動時,跟蹤精確度排序為RedSpy＞Opti Track＞HTC Vive＞Ncam。

4.2 跟蹤穩定性實驗

光環境變化:在設備進入穩定運行狀態后,保持現場光線穩定且光照適中,能夠滿足影視拍攝現場光線需求,當前光照環境穩定狀態下,通過測光表測量攝影機四周的照度數值為攝影機上方2700lx、下方520lx、前方2200lx、后方900lx。對現場的光線環境進行動態調控,同時對LED 顯示屏、現場影視級照明燈光進行調控,如圖9 所示。據檢測,在變化的環境中,攝影機周邊的光照環境極值可達最亮上2700lx、前2000lx、后1100lx、下560lx;最暗上240lx、前800lx、后57lx、下80lx;中間值上1000lx、前1300lx、后450lx、下210lx。

圖9 光線動態變化環境示意

遮擋條件變化:該實驗對現場可能會產生的極端遮擋環境進行模擬,利用影視拍攝中的黑旗道具在攝影機前運動,如圖10所示。

圖10 前景遮擋變化示意

圖11 穩定性分析——靜止狀態模擬

圖12 穩定性分析——運動狀態模擬

對不同光線環境與遮擋環境進行靜止狀態模擬:其中圖11是當前光照環境下靜止不動時各被測設備的位置軌跡,圖12是當前光照環境下各被測設備動作表現。

以光線穩定且光照適中的環境下的運動狀態作為參照物,分別以在現場光環境進行動態變化的運動軌跡和在現場攝影機前不斷產生動態遮擋的情況下運動軌跡進行對比。對于靜止狀態下的模擬可以進行坐標離散程度分析,如表2所示:光線穩定且光照適中的環境記為E1,光環境進行動態變換記為E2,攝影機前景不斷產生動態遮擋記為E3。

表2 不同實驗環境下跟蹤系統標準差分析

在現場光照環境不斷產生動態變換的情況下,Ncam 受到了較大的影響,跟蹤數據在Z軸上分布廣泛,最大值和最小值相差0.3cm;OptiTrack受到的干擾十分明顯,跟蹤數據出現了兩部分分化,在水平與豎直面上均有分布,可能會對實時渲染效果產生影響;RedSpy影響較小,跟蹤點仍舊較為集中;HTC Vive跟蹤受到影響較少,波動不明顯。穩定性排序為HTC Vive＞Red-Spy＞OptiTrack＞Ncam。

在現場攝影機前景不斷產生動態遮擋的情況下。運動過程中,Opti Track 的運動軌跡在小幅度內高頻波動;Ncam 軌跡中間出現了明顯波動;其余的設備受到的干擾較小。穩定性排序為RedSpy＞HTC Vive＞Ncam＞Opti Track。

4.3 跟蹤魯棒性實驗

將遮擋程度設置為0%、25%、50%、75%、100%,分別對運動軌跡進行記錄,如圖13所示。

在遮擋程度達到25%時,Ncam 運動軌跡出現輕微偏移,RedSpy產生嚴重失真導致軌跡還原錯誤,在Z軸上的坐標差距達2cm;HTC Vive、OptiTrack產生輕微波動但總體軌跡還原正確。

在遮擋程度達到50%時,Ncam 運動數據產生明顯偏移,只有慣性傳感器在工作,視覺矯正逐漸減少;RedSpy丟失視覺圖像矯正內容,只剩慣性傳感器在工作并且運動軌跡軸向嚴重錯誤;OptiTrack波動幅度加劇,但整體運動軌跡符合運動規律;HTC Vive受到的影響較小,整體能夠維持運動軌跡,仍產生了輕微的波動。

在遮擋程度達到75%時,Ncam、RedSpy均基本上丟失畫面內容信息,只剩慣性傳感器在工作,運動趨勢正確但軌跡產生了嚴重失真;HTC Vive出現明顯波動并且產生運動方向上的錯誤;Opti-Track的運動數據直接丟失。

圖13 魯棒性分析——不同遮擋程度運動軌跡

在遮擋程度達到100%時,Ncam、RedSpy 依靠慣性傳感器仍然能對運動進行部分還原但軌跡嚴重失真;OptiTrack 與HTC Vive的運動數據直接丟失。

綜上所述,在魯棒性實驗期間,對于產生遮擋這一行為最先產生反應的是RedSpy跟蹤系統,當遮擋達到25%時便已經無法正常工作;在遮擋50%左右的范圍表現最好的跟蹤系統是Vive與Opti-Track,沒有產生嚴重錯誤;75%遮擋程度下幾乎使所有的跟蹤設備都無法正常工作;直到100%遮擋,雖然RedSpy與Ncam 內部的慣性傳感器仍在作用,由于沒有視覺矯正得出的錯誤結論,也會對攝影機內失效造成嚴重影響。

5 分析與討論

在電影虛擬化制作發展的歷史中,攝影機跟蹤方式伴隨著科技的發展、日漸更新的創作需求也在一步步發生變換,從最原始的機械跟蹤,到體系龐大場地限制的由外向內跟蹤,再到目前應用廣泛的由內向外跟蹤,這些技術的發展無一不是為影視創作提供更大的自由。但目前最廣為人知的劇集《曼達洛人》等影片則回溯了技術發展歷程,選擇了曾經被虛擬化制作“淘汰”的由外向內跟蹤技術OptiTrack動作捕捉系統。針對此現象,當前LED 虛擬化制作技術對跟蹤系統的需求,只有由外向內跟蹤的設備更能滿足。因此本文基于跟蹤系統在LED環境下運作的精確度、穩定性、魯棒性等因素進行設計實驗并展開分析。通過上述所有實驗,不同跟蹤設備在LED 顯示環境下的跟蹤精確度、穩定性、魯棒性,經過運動軌跡分析對比得出如下結果:

在跟蹤精確度方面,穩定狀態下RedSpy＞Opti Track＞Ncam＞HTC Vive。又因為每個跟蹤系統的原理不同,對于不同運動行為的跟蹤結果表現略有不同,進行橫搖及橫向運動時Ncam、Opti Track設備表現較好;在俯仰及縱向運動時RedSpy、HTC Vive表現較好。對于該實驗結果,Ncam 是橫向雙目鏡頭識別場景中的特征點;而RedSpy是縱向識別跟蹤點反算自己的位置;OptiTrack在實驗環境安裝時紅外攝像頭都在LED 屏幕上方,距離運動范圍約3～4m,故對于縱向上的運動分辨程度不及橫向運動。

在跟蹤穩定性方面,RedSpy及HTC Vive設備表現較為優異。因為Ncam 實現原理是雙目視覺,并且跟蹤設備與攝影機方向一致,即架設在攝影機下方,所以動態光照和前景遮蔽對于Ncam 產生了較大的影響。Opti Track跟蹤剛體時需要對每個紅外發光點進行識別并且計算出剛體的形狀與中心點,從而得出運動軌跡,因此動態光照的變化對于紅外沒有影響,但遮擋對于剛體的識別會產生較大的干擾。動態光線與前向遮擋對于RedSpy的向上影響較小、HTC Vive的基站在攝影機遮擋的反向,不存在干擾。由此可見,跟蹤設備的安裝方式、方向及運動習慣需要進行提前設計規劃,避免攝制現場帶來的穩定性干擾。

在跟蹤魯棒性方面,由于攝影師操作及工作習慣、攝影機裝配零件、現場置景環境、燈光柔光布等一系列因素的區別,會對攝影機跟蹤系統的四周及上方產生一定程度上的持續遮擋。基于紅外視覺原理與激光的跟蹤設備OptiTrack、Ncam、HTC Vive對于跟蹤設備跟蹤點遮擋情況下的魯棒性較強,在遮擋程度達到50%后還能較為正確還原;但同樣作為融合了慣性傳感元件的RedSpy,其魯棒性表現最差,在進行攝影機運動行為跟蹤時產生了較大的誤差。在RedSpy與Ncam 這兩個視覺與慣性共同作用的攝影機跟蹤系統中,Ncam 的傳感器融合算法表現更為優秀,RedSpy在跟蹤區域遮擋程度為25%丟失后,就會產生跟蹤軌跡嚴重失真的情況,在視覺跟蹤信息與慣性跟蹤數據融合技術方面還有待提升。

除了精確度、穩定性與魯棒性,實時性作為跟蹤系統的另一重要性能也需要考慮,但在本實驗中不具備對傳輸速度進行測試的條件,在后續的研究中亟待進一步分析。跟蹤系統數據實時處理及傳輸速度在此處是指從攝影機產生運動到運動捕捉軟件得到剛體的運動數據,再經過算法處理優化,傳遞到第三方DCC 或實時渲染引擎的時間。LED 虛擬化制作技術的核心概念是攝影機內視效拍攝,即攝影機直接拍攝得到真實畫面與虛擬背景的合成結果。在LED 屏上,我們使用相對固定的外視錐形成的光照環境,來模擬真實的光照與色彩匹配,使用內視錐作為攝影機直接拍攝的背景,內外視錐的渲染要分別單獨進行。由于硬件計算能力的限制,從攝影機產生運動到對跟蹤數據進行捕捉、解算、傳輸,再到引擎渲染生成畫面,該過程還無法完全實時完成。運動速度較大時,前景內容與LED 屏幕顯示的畫面內容將會產生漂移,人對前后景撕裂的變化非常敏感,因此在渲染端及信號傳輸端硬件限制的前提下,建議盡可能選擇處理算法數據傳輸高效的攝影機跟蹤系統。

基于該實驗環境、實驗設計與數據處理方式,綜合所有屬性及使用方便性、對于拍攝場地需求、價格等進行分析總結如表3所示(不同跟蹤系統在不同實驗環境下表現效果不同,本表格內容僅是在特定實驗條件下的結論,數據僅供參考)。

攝影機的跟蹤系統在實際應用中,除了其本身能力之外,對虛擬空間的定義、跟蹤設備原點與虛擬空間中跟蹤原點定義也需要特別注意。跟蹤設備中心與攝影機的光心同樣需要進行匹配:根據攝影機成像原理與虛擬攝影機成像原理,攝影機光心是凸透鏡的光學中心,一般位于透鏡的中央點,攝影機在進行理想中的繞Yaw 軸橫搖運動時,其旋轉中心應該是鏡頭的光心,而非攝影機云臺的旋轉軸。所以在控制虛擬攝影機旋轉時,需要將剛體進行旋轉運動的軸心與真實攝影機的光心重合,由此虛擬攝影機才能進行正確地位移旋轉等操作,渲染出正確的畫面。綜上所述,攝影機跟蹤技術在基于LED背景墻的虛擬化制作環境中還有許多需要進行深入研究與優化的內容,本文受客觀條件所限,只做了一些基礎性的測試,希望能起到拋磚引玉的作用,對其他研究人員有所啟發。

表3 跟蹤系統綜合比較表

6 總結

攝影機跟蹤技術從誕生開始就不斷地迭代更新,呈現螺旋式上升發展趨勢。本文在典型攝影棚環境中進行了實驗設計與論證,測試了多種攝影機跟蹤系統在LED 虛擬化制作中的應用,研究了多種方法的相關特性。實際拍攝生產中,面臨不同的創作需求與現場條件,創作者需要根據實際應用場景,了解每個跟蹤設備的原理及特點,分析其對跟蹤系統的性能需求,從而選擇合適的攝影機跟蹤系統,才能更有效率地進行影視生產與制作。

攝影機運動是攝影語言表達的基礎,是貫穿影視制作前、中、后期的關鍵環節,而攝影機跟蹤的技術又是電影虛擬化制作的最關鍵技術之一。希望本文的研究能夠為搭建、優化虛擬化制作系統提供參考,為科學選擇攝影機跟蹤系統、優化拍攝體驗提供借鑒,為電影虛擬化制作的應用推廣提供幫助。

①圖2 來源于https://www.reddit.com/r/coolguides/comments/conjff/camera_movement_guide/。