荊門電視臺虛擬演播室系統設計

馬 巾，別業鵬，馬 雙

（荊門電視臺，湖北 荊門 448000）

1 引言

荊門電視臺里現有的虛擬演播室為兩維半系統，建于2001年，承擔全臺自辦欄目、1小時民生類演播室直播等任務，部分配件已嚴重老化，尤其是色鍵器出現嚴重的不穩定現象，直接影響安全播出[1]。系統中沒有三維物體，只能通過動畫文件來仿真，三維動畫數量有限，超過5個會丟幀。當鏡頭推倒大廣角時，虛擬背景會被放大，變得很虛。攝像機左右搖擺幅度受限制，一般只能搖22.5°。演播室中的電視墻是一個面，當電視墻旋轉90°時電視墻就變成了一條線，沒有厚度感；不能實現虛擬燈光效果；無法實現虛擬相機的瀏覽；演播特技效果有限，無法滿足實際播出的需要。

2 技術需求

2.1 系統架構要求

系統架構為三機位雙通道數字SDI真三維虛擬演播室系統；最少1個傳感機位，攝像機可以實現平搖、俯仰和變焦的精確機電跟蹤；雙通道，能在PGM和PST兩個通道中，任意調度3個機位，實現2通道的特技切換；系統提供2個進口獨立色鍵，可同時監看PGM和PST通道的摳像合成畫面；PGM和PST通道間切換支持包括硬切、淡入淡出、劃像、三維卷頁等至少200種切換特技，在機位切換過程中，保證前景信號與虛擬背景信號場同步切換，不出現前背景不同步、夾幀、畫面撕裂等現象；可以實現任意真實攝像機的虛擬運動軌跡設置，實現虛擬搖臂、導軌、航拍運動拍攝效果；系統設計構架應以簡潔為主，盡量減少單臺設備的數量，避免故障點、系統連線和維護量的增加；系統支持外同步功能，自帶同步分配器，滿足系統內部各配件（如渲染主機、切換器、色鍵等）的同步信號鎖定需求，預留同步輸出口，方便鎖定其他外圍設備（如攝像機、錄像機、非編等）；系統需確保音視頻同步；雙通道之間的特技切換必須達到廣播級質量。

2.2 虛擬場景渲染模式及性能要求

系統應能支持三維模型實時渲染和場景圖像實時渲染的兩種渲染模式；三維模型實時渲染模式和場景圖像實時渲染模式相結合應用的要求[2]。為保證場景精美細膩的渲染效果，如實現光影追蹤、紋理反射等高級渲染效果，虛擬大場景可采用預渲染的場景圖像（三維軟件預先渲染廣角場景圖片）；為體現場景動態效果和結合節目制作需要，場景中如三維字、虛擬大屏幕（電視機）、虛擬桌子、欄桿、地板等，可采用三維模型實時渲染。要求系統具備統一的坐標系，保證無論是真實或者虛擬攝像機運動過程中，主場景圖像和三維模型物件融為一體，兩者之間保持正確合理的透視關系，不會出現錯位、漂移的現象，虛擬燈光每場8盞，并且保證攝像機快速變化過程中，場景不撕裂、不抖動，不出現黑場；系統場景圖像實時渲染能力應達到2048×1024像素分辨力、32位 （帶Alpha通道）以上的要求[3]。

2.3 攝像機跟蹤系統技術要求

系統應能同時支持真實攝像機機電傳感跟蹤和虛擬攝像機運動軌跡跟蹤兩種跟蹤方式；真實攝像機機電傳感跟蹤的平搖、俯仰和鏡頭變焦（推拉）應達到表1中的精度。

表1 傳感器精度表

系統應能支持虛擬攝像機運動軌跡跟蹤，無須配置搖臂、導軌等裝置，可實現任意真實攝像機的虛擬運動軌跡設置，實現航拍、搖臂、導軌等拍攝效果；系統要求虛擬攝像機按照任意軌跡的運動過程中，真實攝像機拍攝的前景人物與虛擬場景必須實現同步聯動、精準定位和合理的遮罩關系，并且虛擬攝像機的軌跡不受空間限制，虛擬場景建模不受任何限制，可任意設置虛擬攝像機軌跡。

3 系統簡介

現在采用的系統為勵得公司U-Set 3D全景虛擬演播室系統；U-Set 3D全景虛擬演播室是一款支持三機位同步切換、采用計算機圖形跟蹤系統與攝像機機電傳感跟蹤系統相結合、渲染系統根據場景虛擬攝像機軌跡或者采集攝像機平搖（Pan）、俯仰（Tilt）和變焦（Zoom）的參數，實時生成與前景運動一致并經色鍵摳像合成以及添加字幕層輸出的新一代創新型虛擬演播室系統；用戶可定制加裝機電傳感跟蹤的攝像機機位，最大限度提升系統性價比，擺脫了傳統虛擬演播室攝像機取景空間范圍的限制，可以實現好萊塢大片式的恢宏航拍效果；其貼近虛擬節目制作實際的多跟蹤模式機位系統構架，極大提升了虛擬演播室產品的性價比和易用性。

4 系統工作原理

系統各模塊和功能與工作原理（見圖1）如下：

1）切換器：完成攝像機前景信號的切換工作，受控于圖形工作站串口信號。

2）同步信號分配器：完成外來同步型號的分配，分別將同步信號分配給U-Set 3D圖形工作站、切換器以及預留給用戶攝像機的3個同步信號輸出口。

3）視頻輸入模塊：將切換器輸出攝像機前景視頻信號進行廣播級數字處理。

4）色鍵1和2：運用領先的色鍵摳像算法，將兩路前景數據流進行實時的摳像處理并產生相應前景畫面的鍵和填充數據信息。

5）傳感信息采集處理模塊：采用機械光電傳感跟蹤方式，采集攝像機平搖、俯仰、變焦6個方位的動作信息。

6）活動視頻采集模塊：實時采集輸入的活動視頻信號，并做10 bit廣播級數字處理，以用于建立虛擬場景視頻窗口。

7）活動機位背景渲染及前背景疊加模塊：采用先進的計算機圖形運動跟蹤算法，根據預設的虛擬攝像機軌跡關鍵幀，實時渲染生成動態虛擬背景和動態鍵遮罩信息，并與前景鍵和填充數據信息進行合成處理，實現前景摳像人物與虛擬場景具備合理空間透視關系的完美結合；虛擬攝像機鏡頭進行廣域航拍的全運動過程中，真實攝像機拍攝的前景人物實現同步聯動、精準定位和合理的遮罩關系，真實與虛擬空間結合得天衣無縫。此外，該模塊還需要控制攝像機切換模塊，當虛擬背景進行不同視角背景切換的時候，同時發出控制信號給攝像機切換模塊，切換至相應視角的前景攝像機。

8）廣角機位背景渲染及前背景疊加模塊：根據傳感信息采集模塊送來的真實攝像機動作參數，將廣角虛擬背景實時渲染生成與真實攝像機動作一致的虛擬場景和遮罩關系，并完成各個機位的各種三維和二維物件、符合不同機位透視關系渲染工作，最后與前景鍵和填充數據信息進行前背景的合成處理。此外，該模塊也還需要控制攝像機切換模塊，當虛擬背景進行不同視角背景切換的時候，同時發出控制信號給攝像機切換模塊，切換至相應視角的前景攝像機。

9）DVE特技切換及字幕疊加模塊：對兩路合成信號進行DVE特技切換處理，并在最終輸出信號上疊加字幕圖文。

10）音頻采集延時模塊：對演播室現場音頻實時采集并作相應延時處理輸出，以保證虛擬演播室視音頻信號音畫同步。

圖1 系統原理圖

5 系統技術特點

U-Set 3D全景虛擬演播室系統具有以下技術特點：

1）虛實結合無限完美視界。U-Set 3D全景虛擬演播室的圖形運動跟蹤算法，是通過設置虛擬攝像機的運動軌跡關鍵幀，自動計算真實攝像機畫面中物體在虛擬空間的坐標。在虛擬攝像機沿預設軌跡運動過程中，真實物件始終保持位于虛擬空間的唯一位置，而虛擬場景隨著虛擬攝像機運動而景別不斷變化，從而實現各種航拍、搖臂、移動導軌等真實拍攝才能實現的效果。同時，通過鍵遮擋技術，實現自動遮擋功能，從而將虛擬物件與真實物件的合理透視、景深關系完美體現。由于虛擬攝像機的運動軌跡是在虛擬空間任意設置的，無論場景是山峰、城堡、輪船、摩天大廈，抑或太空、宇宙飛船，只要想象所及的任何虛擬場景和拍攝效果都可以實現。

2）機電傳感與圖形運動跟蹤結合，最大限度貼近臺里應用需求。

盡管在實現大范圍的虛擬節目拍攝效果方面，圖形運動跟蹤算法獨具優勢，但在節目實際制作過程中，攝像師需要對攝像機進行平搖、俯仰或者推拉鏡頭的動作，由于沒有在真實攝像機前端加裝物理跟蹤方式，所以無法采集獲知攝像機參數變化，以便虛擬場景與真實前景同步運動。

U-Set 3D全景系統并沒有試圖改變用戶的操作習慣，采用放大或者移動攝像機人物畫面的方法（這種方式會大大降低攝像機前景畫面指標，原理如前所述），通過移動鼠標的方法實現鏡頭變化的效果，而是在攝像機搖動、變焦以取景人物半身、特寫的過程中，傳感系統采集其相應參數，傳遞至渲染系統，虛擬場景同步變化；采用機電傳感與圖形運動跟蹤相結合的方式，可以運用前者，滿足通常虛擬節目的制作需求；也可以運用后者，實現恢宏的航拍、搖臂等飛行鏡頭，用于節目的開場與收場，將虛擬空間的廣闊場景充分表達，實現了技術與藝術完美和諧統一；U-Set 3D全景系統保留了廣角機位，它可以通過廣角機位的切換，體現出主持人處于虛擬空間的效果來。例如，機位一取的是主持人中景，機位二取的是全景，主持人和嘉賓都出現于虛擬演播室場景當中，機位三取的是嘉賓中景，通過這3個攝像機的之間的切換，就可以很好地體現出虛擬演播室的空間效果，見圖2。

圖2 3個機位切換效果圖

由于沒有配置攝像機傳感跟蹤系統，虛擬背景不能隨著攝像機的推拉搖而作相應運動，所以在節目制作播出過程中攝像機是不能動的。但是，在U-Set 3D中提供了一個非常實用的功能，虛擬背景是可以通過軟件來進行上下、左右、縮放的調整的。像上面提到的例子，若機位二取全景，就把背景縮小到一定程度，把虛擬場景的全景效果表現出來；機位一、三取的是中景，就把背景放大到相應程度，如果需要虛擬大屏幕正好在主持人身后，可以上下或左右移動背景到相應位置即可。

3）靈活的多機位設計。U-Set 3D全景虛擬演播室系統標配三通道攝像機切換器，3個攝像機拍攝的不同景別前景對應相應廣角虛擬場景，同時，這3路攝像機信號可以任意綁定任何一路應用圖形跟蹤算法的運動機位，實現超出實際攝像機機位的靈活多機位切換效果，極大豐富了虛擬演播室的創作手段。

4）精美預渲染場景與靈活實時渲染場景元素完美融合。U-Set 3D全景虛擬演播室系統采用預渲染場景與實時渲染場景元素相結合的渲染模式。在場景內可添加各種實時渲染三維、二維場景元素，場景元素完全遵循預渲染三維場景空間坐標定義，滿足各個機位視角的合理透視關系，各種視頻、圖文、動畫序列、粒子、三維模型虛擬電視機/電視墻、統計柱狀圖和餅狀圖等可任意創建，并實現對前景的遮擋功能。

5）精彩的陰影、倒影色鍵處理效果。在U-Set 3D系統中，用戶不僅可以任意增加演員的陰影，控制陰影的深淺，而且還可以增加多個角度的陰影，更可以增加演員的倒影，與虛擬場景的反光地面相結合，制作出遠遠勝出以往的精彩虛擬演播室節目。

6）提供完整字幕解決方案。在虛擬合成畫面后的字幕疊加通道，可以實現在虛擬節目畫面前添加字幕圖文，省卻另外給虛擬演播室系統配置下游字幕的成本。

7）機械光電傳感跟蹤系統，攝像機跟蹤精確平穩。U-Set 3D全景虛擬演播系統采用高精度的機械光電傳感器，實時控制三維虛擬場景中的虛擬攝像機參數，從而使三維虛擬場景隨著真實攝像機的動作變化而改變。在快速的鏡頭推拉搖動過程中，可以控制虛擬場景的快速同步變化，同時保持場精確的平穩過渡，不會出現人與背景錯位的現象。

萬能鏡頭傳感系統，兼容所有攝像鏡頭，不需要任何機械改造，安裝使用簡單快捷，系統狀態一目了然，見圖3。

8）本地硬盤播放和外接視頻信號的多路大屏設計。U-Set 3D系統可以實現獨家的多大屏的技術要求，即在虛擬場景里面實現同時打開多個不同內容虛擬大屏幕，一路大屏幕信號來自外接視頻信號源，如VTR，DVD等；另外幾路大屏幕信號（路數隨計算機系統配置而定）可以是事先采集進計算機主機的AVI視頻文件，而文件的壓縮格式可以支持 M-JPEG，MPEG-2（I幀、IBP 幀），DV25，DV50 等視頻壓縮格式。

圖3 鏡頭傳感系統

9）基于Ultra-Fx視頻流控制傳輸技術，確保前后景切換同步準確。U-Set 3D成功地運用Ultra-Fx視頻流控制傳輸技術，實現所有視頻流的傳輸都獨立于計算機傳輸總線。同時，最大限度降低視頻流控制對CPU的占用，通過在GPU里面設計大容量的DDR顯存，很好地解決了這一問題，實現機位切換時前背景同步準確。

10）高質量的虛擬大屏幕。U-Set 3D系統中的虛擬大屏幕接入信號可以采用復合、模擬分量、Y/C、數字SDI等基于廣播級的視頻信號格式輸入。

[1]別業鵬.荊門電視臺新聞直播系統的設計與實現[J].電視技術，2008，32（9）：74－75.

[2]武紅辰.數字化播出系統的發展[J].世界廣播電視，2001（5）：36-38.

[3]沈丞，張利.虛擬演播室中三維模型簡化算法研究[J].電視技術，2009，33（12）：75-77.