基于XYNC全紅外跟蹤技術的高清虛擬演播室構建

單 聰，張 斌

（解放軍電視宣傳中心 技術部，北京 100011）

0 引言

虛擬演播室以其獨有的優勢，一直備受矚目，目前幾乎各省市電視臺都有了自己的虛擬演播室。隨著科技的不斷發展，虛擬演播室技術也在不斷進步。解放軍電視宣傳中心的三訊道全紅外高清虛擬演播室采用了目前最前沿的虛擬演播室技術。下面具體闡述一下虛擬演播室的構建過程。

1 系統整體架構的設計

1.1 整體架構的設計思路

虛擬演播室系統大體是由傳統演播室系統、傳感跟蹤系統、渲染引擎及色鍵摳像合成系統組成的，然而對于不同的需求又采用了不同的設計方案來構建虛擬演播室系統。虛擬演播室的整體架構基本分兩種，一種是獨立通道化系統結構，另一種是共用式系統結構，獨立通道結構即每個訊道都使用一套虛擬設備。這種系統可以有獨立的預監和攝像機返送，系統設計跟傳統演播室系統類似，但是每個訊道使用一套虛擬設備，勢必會增加建設成本，性價比較低，因此，選擇了共用式系統結構。共用式結構即所有訊道共用一套虛擬設備，通過切換臺的AUX輸出選擇一個機位的信號送入公用的設備通道中。這種結構具有較高的性價比，系統安裝升級方便，增加訊道不用再額外增加虛擬設備，出現問題也便于查找。但是共用式架構沒有獨立的攝像機預監信號，針對此問題，對色鍵器及渲染引擎等關鍵部位的設備都采取了雙機備份，這樣既可以保證播出的安全，在一套系統出問題之后立刻切換到備份系統使用，也可以在需要的時候，使用備份系統作為獨立的預監通道使用，這樣，攝像師、導演及技術人員就可以在切換到下一機位之前看到合成好的圖像，也可以完成2個機位合成信號的疊化特技，極大增強了系統的實用性和性價比。

1.2 系統信號流程

該虛擬演播室采用了3訊道的設計，2個固定機位，1個搖臂機位（圖1），使用索尼公司最新的HDC-1580R高清攝像機系統，由于采用的是共用式的系統結構，因此3路攝像機的視頻信號首先要通過1個VDI設備。VDI設備的主要功能是分別在3路視頻信號的場消隱行中加入系統可以識別的標志，這樣渲染引擎才可以根據標志選擇對應的攝像機跟蹤信號來生成背景信號。經過VDI之后，3路信號輸入索尼MVS-6000切換臺，切換臺通過其AUX2和AUX5輸出口選擇適當的攝像機信號分別輸出給渲染引擎，通過渲染引擎的延時后與引擎根據跟蹤數據所生成的背景信號同時輸入到色鍵器中合成完整的節目信號。在這里之所以要對前景信號進行延時，是因為系統要對攝像機跟蹤數據以及背景數據進行處理，這個時間大概需要300 ms左右，因此需要對前景信號進行相應的延時，以確保前景與背景的同步。

圖1 演播室全景圖

2 攝像機跟蹤系統的設計

演播室系統中的每臺攝像機在三維空間中可以在8個不同方向上自由運動，其中平搖、俯仰、滾動以及三維空間中任意移動（X，Y，Z）是指攝像機整體的運動，變焦和聚焦是攝像機鏡頭的運動。這些運動參數的改變會引起拍攝圖像視角與透視關系的改變，在虛擬演播室中，為了模擬人物所在的三維環境，圖形工作站必須根據這些參數不斷調整三維視圖。而攝像機跟蹤部分的作用正是用來拾取攝像機的位置信息和運動數據，實時地跟蹤真實攝像機，將跟蹤數據傳輸給虛擬背景渲染設備，以保證前景與計算機背景“聯動”。

國內外不同視頻公司的虛擬演播室產品采用的傳感跟蹤方式也不盡相同，目前較為常用的跟蹤方式大體可以分機械傳感跟蹤系統、圖像識別跟蹤系統和紅外跟蹤系統。

機械式的傳感跟蹤系統是通過安裝在云臺上的平遙及俯仰傳感器以及安裝在鏡頭上的變聚焦傳感器來測量攝像機的運動，并將運動數據通過串行接口（RS-422或RS-232）傳送給計算機。這種傳感方式的跟蹤精度較低，由于齒輪之間的縫隙會造成誤差的積累，使用一段時間就要進行校準，每次機位的變動也需要重新的定位校準，使用維護較為復雜。對于攝像機的空間位置參數，需要配置專門的高端云臺，造價較高，且無法獲取攝像機的滾動參數。

圖像識別跟蹤系統目前使用比較普遍的是傲威公司的網格識別跟蹤系統，這種跟蹤方式是在藍色背景墻上使用較淺的藍色繪制網格，位于主持人的身后，然后通過圖像識別軟件根據變化的網格信息準確地計算攝像機運動的方向和位置信息，同時也包括變聚焦的信息。這種跟蹤方式雖然初始定位比較方便，但是一旦攝像機搖出了網格范圍或者畫面中攝取的網格較少（如拍攝大的特寫鏡頭時），跟蹤就會丟失，而且這種跟蹤方式對于鏡頭要求較高，對于不同型號的鏡頭需使用不同的鏡頭文件來校準跟蹤數據，在使用廣角鏡頭時，由于邊緣的變形過大，往往會引起跟蹤的誤差。

此外還有一種被稱為CamTrack的紅外跟蹤方式，但是這種紅外跟蹤方式并不是完全意義上的紅外跟蹤，它無法對攝像機進行空間位置初始定位，需要借助于網格跟蹤系統來對攝像機定位，然后再切換成紅外跟蹤的方式，無法獨立使用。

從上面的分析可以看出，各種跟蹤系統都有自己的缺陷，所以目前大多數的虛擬演播室都采用了兩種跟蹤系統相互配合的方式來確保更高的攝像機跟蹤精度。但這樣做無疑也增加了系統的復雜程度。

解放軍電視宣傳中心的虛擬演播室所采用的XYNC全紅外攝像機跟蹤系統是目前市場上可用到的較高端的攝像機跟蹤技術。在演播室攝像機計劃運動的范圍空間上設置若干個紅外攝像頭（機位見圖2），以確保在攝像機活動的任何區域都被3臺以上的攝像頭覆蓋。攝像機的上部裝有紅外發射器，紅外發射器主要分環形反射器和星型發射器兩種，環形發射器主要用于固定機位，星型發射器用于移動機位如搖臂或者肩扛時使用，發射器所發射的紅外信號被紅外攝像頭接收，傳送到相應的Im?age Unit單元進行計算，由此得到攝像機的俯仰、平搖、滾動及空間位置信息。紅外攝像頭拍攝的紅外發射器的信號，可以在控制PC上實時顯示（見圖3），方便對于影響紅外跟蹤的干擾信號及時的發現與排除。鏡頭的跟蹤數據通過在攝像機鏡頭上的數據獲取裝置X-HALO BOX傳送。所有數據傳送到XYNC系統主機Main Unit，Main Unit是整個跟蹤系統的中心，通過網絡將最后的攝像機參數數據傳送到渲染單元及控制單元，渲染單元按照相應的數據進行圖形渲染。

圖2 紅外攝像機機位圖（截圖）

圖3 紅外攝像機拍攝的攝像機紅外發射器圖像（截圖）

采用全紅外跟蹤方式的攝像機可以在已覆蓋紅外攝像頭的區域進行自由移動拍攝，最大限度地體現攝像機的自由度，可以使用搖臂軌道拍攝，也可以肩扛拍攝，讓攝像人員感覺自己正在進行的拍攝和實景方式完全相同。此外，全紅外跟蹤方式定位方便，系統開機便自動定位，操作使用簡單。

一般認為，采用紅外技術的跟蹤方式往往對于使用熱光源有一定的限制，當虛擬演播室燈光布置全部使用熱光光源時，有可能被誤認為紅外發射器信號而影響數據計算。但在實際的應用中，通常虛擬演播室多使用冷光光源給藍箱布光，熱光光源僅僅用于打主持人面光和實景道具的布光，因此光源對于紅外跟蹤方式的影響并不大，本中心在使用中也沒有因為光源而影響跟蹤精度的問題出現。在使用中比較經常出現的致使跟蹤丟失的原因是由于兩機位距離過近或者機位移動到了紅外跟蹤區域以外導致的，這些都是可以人為避免的。

3 視頻圖形工作站的選型與設計

3.1 圖形工作站的選型

虛擬演播室的背景要求是根據攝像機的運動實時渲染對應的虛擬場景，也就是攝像機每做一個運動，圖形工作站會根據攝像機的運動實時渲染對應的三維背景，每秒實時渲染25幀畫面。如果圖形工作站的渲染能力達不到要求，在處理一些較為復雜的背景時，就會出現不實時的現象（每秒不能實時渲染25幀畫面，背景出現動畫效果）。在這種情況下只能犧牲畫面效果，縮減虛擬場景的模型數、光效、貼圖的材質等，這樣會極大地影響到畫面質量，因此一臺好的圖形工作站是實現精美畫面效果的關鍵，可以說圖形工作站是整個虛擬演播室的核心設備。

本中心選擇的圖形工作站是以色列傲威公司第四代硬件產品HDVG。HDVG是一款強大的高標清兼容三維渲染硬件，配合Linux平臺和高性能的圖形卡，達到了最佳的渲染性能，并具有VGA顯示轉化為視頻輸出的功能，可以實現“所見及所得”的效果，方便了設計和技術人員的使用。支持最多6路HD-SDI視頻插入以及多種格式的視頻文件播放（包括 AVI，Quick Time，DV，DVC25，MPEG）。超強的運算能力、穩定的性能以及靈活便捷的使用方式是選擇HDVG產品的主要原因。

3.2 圖形工作站集連技術

在軍事節目的應用中，對圖形工作站的要求非常高，例如，在講解一個飛機的功能時，要求根據專家或者主持人的講解，實時展現飛機的各個功能模塊，這就要求工作站的實時渲染能力足夠強才能夠完成復雜模型的實時渲染。在這種情況下，可能單個圖形工作站就不夠了，HDVG具有集連技術，就是多個HDVG可以集連起來使用，渲染能力是單個HDVG的數倍。因此在本系統中除了1主1備2個圖形工作站外，還加入了1個復雜圖形處理工作站（HDVG-Graphics），通過與2個圖形工作站的集連實現單個HDVG的2倍的運算能力，實現對與復雜三維模型的渲染。在實際應用中還可以將此工作站作為圖形包裝工作站來使用，通過索尼DVS-6000切換臺的下游鍵來實現對節目的實時包裝，豐富了節目的制作形式。

4 色鍵器的選擇

色鍵器是虛擬演播室系統中不可或缺的重要環節，色鍵技術的優劣會直接影響最終的合成效果，色鍵器的摳像效果目前比較被大家認可的是美國的Ultimatte色鍵摳像設備，Ultimatte已經成為高質量色鍵器的工業標準，本中心的虛擬演播室選用了1主1備高標清兼容的Ulti?matte 11色鍵器。

5 音頻系統設計

在虛擬演播室系統中，XYNC全紅外攝像機跟蹤系統會產生300 ms左右的延時，此外，系統中使用的上下變換器及幀同步器的也會產生2幀的延時。因此必須給音頻通道加相應的音頻延時，但是對于不同的視頻信號，其產生的延時時間也不相同，如攝像機的信號必須經過延時器與跟蹤數據相匹配，但是作為插入視頻的放機信號就沒有經過延時器，而如果是從外來接口輸入的信號，由于經過了幀同步器又會多產生1幀的延時。因此在虛擬演播室中，不能單純對調音臺的輸出信號進行延時，而是要對每個音頻通道設置不同的延時時間。本中心使用的雅馬哈DM1000數字調音臺具有單獨對各路信號設置延時的功能。通過調試，最終確定在錄制標清節目時對于前景信號的音源，一般是對胸麥的信號做450 ms的延時，對于插入視頻的信號做300 ms的延時，以確保聲畫同步，錄制高清節目時，相應減少1幀的時間。

延時給聲音的監控也帶來了一些小問題，通常導播間的PGM監視器監看的是已經延時的視頻信號，所以導播間的聲音監聽也應該是延時后的音頻信號，而對于反送到通話系統的節目監聽聲，一定是沒有經過延時處理的，否則在通話系統中產生不必要的回音效果而對主持人產生干擾。因此調音臺需輸出2路信號，一路延時信號用于導播間監聽以及節目錄制，另一路未加延時的信號用于通話系統中的節目聲監聽。

6 結語

該演播室于2010年4月竣工使用，承擔著央視7套《防務新觀察》、《軍旅文化大視野》、《超級戰士》以及央視3套《文化正午》、央視8套《第八頻道》等節目的錄制任務。建成以來，該演播室一直處于滿負荷運轉狀態，在該演播室的設計過程中，始終把獲得高質量的視頻圖像放在首位，在系統的關鍵部位，都選用了最高端的設備，并且配置了主控級的技術監視器以及視頻示波器對視頻質量進行實時監控。在此基礎上考慮了系統的經濟性、安全性以及實用性，通過靈活的系統設計，既節約了成本、保證了播出安全，又保證了系統能可以實現導演的各種需求，實現了其價值的最大化。