沉浸式劇場實時粒子特效系統研究
——以北京電影學院懷柔校區千人劇場為例

孫揚揚 曾志剛

1.北京電影學院中國電影高新技術研究院，北京 100088 2.北京電影學院影視技術系，北京 100088

1 引言

近年來，隨著媒介與技術的創新發展，人們對于視覺藝術的追求也在穩步提升。沉浸式劇場運用先進的技術和創意設計，打破了傳統舞臺表演的局限性，使觀眾能夠身臨其境地沉浸于現實舞臺與虛擬空間的融合環境中，因而廣泛地被大眾所接受。

人機交互旨在應用語音、圖像、文本、眼動和觸覺等信息進行人與計算機之間的信息交換，主要包含：大數據可視化交互、基于聲學場感知的交互、混合現實事物交互、可穿戴交互和人機對話交互。

當下沉浸式劇場與虛擬影像的人機交互技術將成為未來研究與發展的方向。實時粒子特效指的是粒子特效跟隨追蹤對象的運動而運動，從而達到交互的目的。對于沉浸式劇場而言就是實時產生的粒子特效會跟隨舞臺上追蹤對象的運動變化而產生相應的變化，包括粒子位置變化、粒子觸發、粒子效果變換等。實時粒子特效是虛擬空間交互設計中較為普遍存在的一種特效技術，當前在交互展覽、互動裝置中具有廣泛的應用。因此，為了在沉浸式劇場中實現實時粒子特效追蹤效果就需要搭建一套與之適配的軟硬件集成系統。

2 軟硬件系統方案設計與實現

沉浸式劇場實時粒子特效系統方案可以依據功能進行分類，具體可以分為：追蹤技術、實時粒子特效制作技術、預演技術和顯示技術。通過追蹤技術采集舞臺上追蹤對象的空間位置信息及其運動信息，并對采集數據進行加工處理。實時粒子特效制作技術通過交互設計軟件制作實時粒子特效畫面。預演技術負責在軟件端預演真實舞臺呈現效果。顯示技術負責采集、管理、分配畫面并傳輸給終端的顯示設備。表1為軟硬件系統解決方案。

表1 軟硬件系統解決方案

追蹤技術采用的主要方案包含BlackTrax、Opti-Track、諾亦騰、HTC VIVE、Vicon 等。當前主流的追蹤技術采用光學追蹤技術，分為有標記點的光學追蹤技術和無標記點的光學追蹤技術。其中有標記點的光學追蹤技術又可分為主動式光學追蹤技術和被動式光學追蹤技術。主動式光學追蹤技術采用的追蹤點是本身可以發光的二極管，通過攝像頭捕捉發光二極管發射的光線，從而定位追蹤點。被動式光學追蹤技術使用一些特制的小球作為追蹤標記，小球表面存在一層強反光能力物質，使攝像頭能夠捕捉到小球的運動軌跡。其中BlackTrax 采用主動式光學追蹤技術，OptiTrack、諾亦騰、HTC VIVE、Vicon 采用被動式光學追蹤技術。

實時粒子特效制作常用的交互設計軟件包含TouchDesigner、Notch、Unity 3D、Unreal Engine 等。TouchDesigner 在藝術表演和實時創意設計方面更為靈活，具有較強的交互性和實時可編程性，其節點式編程環境使用戶能夠自由地控制實時內容的流程和邏輯。Notch 更專注于高質量的視覺效果，應用于專業舞臺演出。Unity 3D 和Unreal Engine 可實現游戲領域的畫面渲染，兼容影視制作及工業應用。因此，Notch 和TouchDesigner 更適用于藝術表演和實時創意設計，而Unity 3D 和Unreal Engine 更適用于影視制作和游戲開發。

預演系統主要方案包含hecoos、Disguise 等。hecoos 和Disguise 是國內外主流的預演播控軟件，用于模擬舞臺、燈光、影像的現場效果，預演完整的活動過程，在視頻播控、燈光設計和機械控制方面，可以實現設計過程與現場執行的無縫對接，極大提升現場執行效率，在虛擬攝制、大型現場演出、沉浸式裝置體驗、虛擬直播間等領域實現廣泛應用。

顯示技術通常采用LED 顯示技術和激光投影顯示技術。LED 顯示技術是主動式發光顯示技術，即LED 顯示面板上的每顆燈珠主動獨立發光，基于空間混色效應實現顏色顯示。LED 顯示技術具有高亮度、高動態范圍、高對比度、壽命長、低功耗等特性。激光投影采用激光光源將影像放大投射到銀幕上，經過漫反射進入人眼。相較于傳統投影機，激光光源具有高亮度、廣色域、低功耗、光源壽命長、穩定性好等特點。

筆者利用現有設備，在北京電影學院懷柔校區千人劇場搭建了一套由BlackTrax 主動式紅外追蹤系統、3D 舞臺設計服務器系統、hecoos 多媒體服務器系統、JSTRON 視頻處理器系統和激光投影機顯示系統組成的沉浸式劇場實時粒子特效系統解決方案。

圖1 為該系統的流程圖，其中BlackTrax 主動式紅外追蹤系統通過紅外信號定位追蹤對象的空間位置，數據經由局域網傳輸給3D 舞臺設計服務器。在3D 舞臺服務器中使用TouchDesigner 軟件制作粒子特效，并將特效畫面通過局域網傳輸給hecoos 多媒體服務器。在hecoos 多媒體服務器的hecoos Pro 軟件中完成預演與輸出管理，JSTRON 視頻處理器負責拆分視頻畫面，最終將畫面以投影的形式輸出。

圖1 實時粒子特效系統圖

本文將基于此方案分析沉浸式劇場實時粒子特效系統的關鍵技術，即基于BlackTrax 的追蹤技術、基于TouchDesigner 的實時粒子特效制作技術、基于hecoos的預演技術和基于激光投影的顯示技術。

3 追蹤系統技術方案

BlackTrax 主動式紅外追蹤系統是一款實時空間定位系統，能夠精確地捕捉舞臺上的物體、演員或裝置位置、方向角、速度與加速度信息。其設計目的旨在為舞臺、演出和活動提供高精度實時定位和追蹤解決方案。

3.1 軟硬件系統搭建

BlackTrax 主動式紅外追蹤系統主要包含：Black-Trax 服務器、信標器、紅外線纜、紅外線感應器、時間同步器、路由器、eSync 2控制器和若干校準工具。

如圖2 所示，紅外線感應器的作用是捕捉信標器的紅外線纜發射的信號并通過網線傳輸給POE 交換機。POE 交換機將紅外線感應器、時間同步器、eSync 2 控制器和路由器傳來的數據打包發送給BlackTrax 服務器。其中路由器接收信標器所傳輸的信息包含連接狀態和電池狀態。時間同步器與eSync 2 控制器配合使用，用來同步信標器與紅外線感應器。

圖2 BlackTrax 系統圖

BlackTrax 服務器中包含三款軟件：BlackTrax GUI、Motive、WYSIWYG。Motive 負責校準實驗環境中紅外線感應器的位置并管理紅外線感應器、捕捉追蹤位置信息。BlackTrax GUI 的作用是管理定位信息并將追蹤數據傳輸給第三方系統。WYSIWYG 的作用是管理燈具型號、地址碼和追蹤區域，從而替代燈光控制臺實現燈光追蹤。

在完成軟硬件系統搭建后，需要校準紅外線感應并將定位數據傳輸給第三方系統。校準的目的是在軟件中還原紅外線感應器的空間位置，以便定位信標器的空間位置信息。數據通常交由第三方系統進行加工處理，目的是與第三方系統制作的內容進行實時匹配。

3.2 校準

在校準過程中需使用Motive 軟件和校準工具，校準工具包含校準棒、手杖電池和地坪校準器。

校準過程分為兩步。首先連接好手杖電池與校準棒，在紅外線感應器能接收信號的有限空間中揮舞校準棒，使每個紅外線感應器能均勻捕捉校準棒的空間位置信息，每個紅外線感應器捕捉的數據量至少為20000 個。隨后，對捕捉的數據進行運算，應用校準數據就能還原對應紅外線感應器的相對位置信息。

之后設置坐標原點，使用的工具是地坪校準器和手杖電池。如圖3所示，在舞臺中央擺放地坪校準器，以觀眾席的視角為準，Y 軸方向是舞臺后方，X 軸方向是舞臺右側。設定完成后，在Motive 軟件中保存校準文件，便完成校準流程。

圖3 地坪校準器的放置

3.3 數據傳輸

數據傳輸指的是將數據傳輸到第三方系統，使用BlackTrax GUI 軟件實現，具體通過設置輸出參數（Output Configuration）、傳送追蹤對象（Sending Trackables）、輸出模塊（Output Modules）三個界面的參數實現。

首先，在BlackTrax GUI 的Output Configuration 界面中新建一個輸出口。由于傳輸的是追蹤點的位置信息，因此數據傳輸類型為RTTrPM 協議，NIC 設定為本機的IP 地址，地址設置成接收端的IP 地址，需要保持信號發送端與接收端端口一致。

隨后，設置Sending Trackables 參數，在窗口中具有四種類型的追蹤對象數據可以傳輸，即Beacon、Min、Rigid、Soft。Beacon 和Min 指的是信標器的類型，Rigid 和Soft 指的是追蹤對象的類型，即剛體與柔體。剛體指的是形狀和尺寸在運動和受力狀態下保持不變的物體，通常用于描述沒有彎曲、拉伸或擠壓的物體。因此可以將至少三個紅外線纜固定在剛體上，在BlackTrax GUI中將帶有線纜的剛體綁定為剛體對象。柔體指的是形狀和尺寸隨運動或外力的變化而變化的物體，對于柔體的追蹤通常需要指定追蹤點為框架創建解決方案。分配給柔體的追蹤點數量沒有限制，對柔體的追蹤本質上是對柔體質心的追蹤。

最后，需在Output Modules 模式中選擇對應數據傳輸類型，包含LED、質心、方向角、時間戳、速度與加速度。LED 數據即追蹤點數據，用來發送單個追蹤點的3D 坐標信息。質心數據用于傳輸剛體的空間位置信息，由于剛體對象是一個至少由三個追蹤點形成的空間立體結構，對于剛體對象能獲取其6D位姿信息。質心數據通常搭配方向角數據一起使用。方向角數據包含四元數數據與歐拉角數據。四元數數據是一種復雜但更為有效描述旋轉的數學工具，它是由一個實部和三個虛部組成的結構體數據，用于表示旋轉軸和旋轉角度。歐拉角則將物體的旋轉分解成三個連續的基本方向旋轉，可以拆解成繞X 軸旋轉（Roll）、繞Y 軸旋轉（Pitch）、繞Z 軸旋轉（Yaw）。速度與加速度用來傳輸追蹤對象的速度與加速度數據，需要與LED 或質心數據搭配使用。

4 實時粒子特效制作

TouchDesigner 是一款節點式可視化編程工具，其中包含Comp、Top、Chop、Sop、Dat、Mat 六大類型的基本元件和功能豐富的集成插件。TouchDesigner 具有豐富的軟硬件接口支持，其支持的硬件設備包含Kinect 體感設備、LeapMotion 體感控制器、激光雷達、Arduino 智能硬件設備等交互設備。其支持的傳輸協議包括DMX 協議、OSC 協議、MIDI 協議、NDI 協議等，通過這些協議能傳輸燈光控制信號、音視頻信號、空間位置信息等。

使用TouchDesigner 實現實時粒子特效制作的過程主要分為兩步，第一步是傳輸協議的轉換，第二步是粒子特效的設計。

4.1 協議轉換

在特效制作過程中需要處理兩次傳輸協議的轉換。第一次是將BlackTrax GUI 傳輸來的RTTrPM 協議轉換成OSC 協議，第二次是將制作完成的粒子特效以NDI協議傳輸給hecoos多媒體服務器。

4.1.1 RTTrPM 協議

BlackTrax GUI 傳輸的追蹤協議具有兩款，分別是實時跟蹤協議-照明（RTTrPL）和實時跟蹤協議-運動（RTTrPM）。RTTrPL 協議主要用于燈光追蹤，傳輸的數據包中包含燈具的域、通道及通道值的相關信息。其本質上是將空間坐標信息轉化成燈具的Pan 或Tilt 通道的數值，從而達到燈光追蹤的目的。RTTrPM 協議用來處理運動追蹤，傳輸的數據包中包含運動物體的位姿數據，包括LED、質心、方向角、時間戳、速度與加速度。RTTrPM 協議是一種網絡傳輸協議，既能使用TCP 的方式傳輸也能使用UDP 的方式傳輸。考慮到數據傳輸的實時性，通常使用UDP的方式進行數據傳輸。

4.1.2 OSC 協議

OSC（Open Sound Control）協議即開放式聲音控制，是一種網絡傳輸協議，采用UDP 方式進行網絡傳輸。OSC 協議要求信息發送設備與接收設備處于同一局域網中，并且監聽同一個端口信號。OSC 協議最初是為音頻服務的，音頻控制器OSC 協議能更好地控制音頻設備。隨著技術的發展，OSC 協議的用途越來越廣泛，不僅可以用于控制視頻設備、燈光系統、動作捕捉設備，還可用于發送命令、控制參數、傳輸實時數據等。

4.1.3 NDI協議

NDI（Network Device Interface）協議即網絡設備接口協議，旨在實現高質量、低延遲的實時視頻、音頻和元數據的網絡傳輸與共享。NDI 協議在2015 年發布，提供免費開源的軟件開發工具包（Software Development Kit，SDK）。NDI 協議能傳輸視頻信號、音頻信號、TALLY 信號（用于指示視頻切換器中信號狀態的燈光）以及控制方案，其采用高效的編碼技術，高清信號壓縮比約為15∶1，延遲能夠控制在100ms以內。目前廣泛用于直播、會議、視頻制作、醫療、教育等領域。

4.1.4 OSC 信號處理

由于BlackTrax GUI 傳輸的是RTTrPM 協議，因此需要使用BlackTrax 官方提供的Python 代碼將其轉換成OSC 協議。在TouchDesigner 中創建OSC In 元件，通過調整OSC In 元件參數面板的接收端口并激活該元件，就能獲取局域網中對應端口發送的OSC信號。圖4是對OSC 信號處理的流程，該流程實現拆解OSC 數據，并對捕捉到的數據進行一定變換從而實現與運動對象的匹配。流程中，創建Select 元件拆解OSC 元件中的數據，添加Math 元件將數據進行一定的變換，并將數據傳輸給Null 元件。Null 元件是一個特殊的節點，本身不執行任何操作。Null 節點的作用類似于連接器，用于連接和組織網絡節點。

圖4 OSC 信號處理節點流程圖

4.2 粒子特效設計流程

圖5 為本次實驗粒子特效設計的節點流程圖。Grid 元件劃定區域，Particle 元件產生粒子，將Null 元件當作Grid 元件參數的引用，從而將追蹤位置傳輸給粒子。通過渲染“四元件”：Light 元件、Camera 元件、Geometry 元件、Constant 元件輸出給Render 元件，由Render 元件實時渲染輸出，其中Light 元件負責燈光設置，Camera 元件負責搭建相機視角，Geometry 元件存放各種需要渲染的對象，Constant 元件負責貼上材質信息，經過這樣操作便能產生粒子特效。由于粒子具有生命周期，因此要產生連續粒子追蹤效果就需要循環“四元件”，Feedback 元件開啟循環，Blur 元件添加模糊，Level 元件調整亮度，Add 元件負責將當前畫面疊加回Feedback 元件達到循環目的。最后添加NDI OUT 元件將粒子特效畫面傳輸給hecoos 多媒體服務器系統。

圖5 TouchDesigner 節點流程圖

5 預演與顯示系統技術方案

預演與顯示系統包含hecoos 多媒體服務器、JSTRON 視頻處理器和多臺激光投影機（圖6）。其中hecoos 多媒體服務器中的hecoos Pro 軟件負責舞臺的預演、投影機的控制與軟件端的輸出管理。JSTRON視頻處理器負責裁切視頻信號，由于投影機數量較多，需要通過hecoos Pro 軟件與JSTRON 視頻處理器進行輸出控制與管理，從而實現端到端的映射。

圖6 預演與顯示系統圖

hecoos Pro 是一款實時預演現場的全案設計創作軟件，能完成項目技術方案的設計、舞臺的搭建、效果的預演，并輸出給對應的投影機、音響設備、LED 屏幕、燈具和舞臺機械裝置。設計師可以在軟件中模擬真實投影機的光路設計和畫面畸變，從而完成具體模型的3D 映射效果和光路設計。

北京電影學院懷柔校區千人劇場使用的hecoos多媒體服務器搭載i9-10900K 處理器、RTX6000 顯卡和64G 內存，具有強大的編解碼能力和渲染輸出能力。hecoos 多媒體服務器具備6 個DP1.2 接口，最大支持4K 分辨率輸出，支持最多10 路高清NDI 網絡采集，支持最多4 路SDI 接口的4K 采集卡采集視頻信號。

如圖7 所示，千人劇場搭建了一套由11 臺固定安裝的激光投影機和5 臺流動激光投影機組成的投影系統，投影機的標準分辨率為1920×1200，而hecoos 多媒體服務器最多支持6 路DP 輸出，因此需要通過視頻處理器，將一路輸入信號裁切成多路輸出信號。

圖7 投影機點位布局圖

視頻處理器是一種專門處理數字視頻信號的設備，具有分割屏幕、拼接屏幕、自定義EDID、混合矩陣、自定義橫縱向排布等功能。EDID（Extended Display Identification Data）即擴展顯示識別數據，通過EDID 顯示設備可以向計算機發送自身的技術規格、支持的分辨率、頻率范圍和色彩特性等信息。EDID提供了一種標準化的方式，用于確保計算機與顯示設備之間能夠有效交換顯示配置信息，從而實現最佳的顯示效果與兼容性。

千人劇場采用4 臺JSTRON LVP9000-D 視頻處理器，每臺視頻處理器具有2 路輸入和4 路輸出。2路輸入分別支持DP1.2 標準和DP1.1 標準，能接收超高清（UHD）信號，最大支持3840×2400 無損分割。4路輸出支持DVI 1.0 標準，最大輸出分辨率為1920×1200。

5.1 輸出管理

輸出管理是將hecoos 多媒體服務器的4 路DP 輸出，通過視頻處理器的分割屏幕功能拆解成16 路DVI 輸出，從而匹配整個沉浸式劇場的16 臺激光投影機。首先需要調整視頻處理器的輸入設置，通過EDID 功能將畫面修改為3840×2400。視頻處理器的輸入信號就是hecoos 多媒體服務器的輸出信號，設置完成后就能在hecoos Pro 軟件輸出管理界面的添加本機顯示中識別到該屏幕。在hecoos Pro 中通過切片功能將4路虛擬屏畫面拼接成一路輸出畫面，在視頻處理器的輸出時序中完成分辨率調整，在拼接設置中實現將一路輸入信號裁切成4 路輸出信號。完成上述設置，就能實現投影畫面軟硬件端的匹配。

5.2 效果展示與評價

本次實驗使用12 個紅外線感應器，在舞臺上搭建了一個4m×6m×3m 的追蹤空間。追蹤對象手持信標器與紅外線纜，在追蹤空間中運動。在BlackTrax GUI 中激活對應的信標器后，就能將數據傳輸給TouchDesigner。傳輸的數據類型為Beacon，即被追蹤對象的3D 坐標信息。通過在hecoos Pro 的媒體面板中添加NDI 信號采集，將采集到的媒體信號放入時間線，選擇對應的映射，輸出到虛擬屏中。由于在之前已經完成輸出管理即虛擬屏到真實投影機輸出畫面之間的映射，當前只需要在菜單欄中打開所有顯示，就能將畫面傳輸給對應的投影機打出。最后回到TouchDesigner 中修改Math 元件的參數，使投射出的粒子特效能完美匹配追蹤對象的運動。

圖8 展示的是本次實驗中實時粒子特效效果，投影機打出的粒子特效畫面隨著舞臺上追蹤對象運動而運動。追蹤對象在舞臺中完成慢跑、急停、下蹲、上跳等動作時，粒子特效可實時反饋。整套系統可根據具體劇目創作需求，實現靈活修改與軟硬件設施拓展。通過修改紅外線感應器的數量與安裝位置設定追蹤對象的活動范圍，通過增加追蹤范圍內信標器與紅外線纜的數量，實現道具、演員與裝置的多樣化追蹤；通過修改數據傳輸類型合理設計追蹤效果方案，通過修改粒子特效的設計呈現不同的視覺感受，通過投影畫面的選擇、拼接與匹配，可實現更加沉浸的效果。因此應合理地應用沉浸式劇場實時粒子特效系統，給觀眾帶來更加沉浸的視聽盛宴。

圖8 實時粒子特效效果展示圖

6 結語

本文基于北京電影學院懷柔校區千人劇場，搭建了一套沉浸式劇場實時粒子特效系統，實現了粒子特效與追蹤對象運動的匹配，目前已實現多追蹤對象的實時追蹤和多投影機的投影特效。但由于TouchDesinger 軟件的限制，無法做到實時特效的觸發，需借由游戲引擎的藍圖功能，進行相關功能的補充并提升可控性。未來隨著空間定位技術與交互技術的不斷發展，更多的特效形式與交互方案會應用到沉浸式劇場中，從而實現更加真實的虛擬影像交互效果，將為沉浸式劇場的內容創作帶來更多的可能性。?