基于體感技術的交互式舞臺燈光控制系統設計

王會芹，樊欣嚴

(中國傳媒大學信息與通信工程學院，北京100024)

1 引言

舞臺燈光是演出場景中一個重要的環節。在舞臺演出中，運用舞臺燈光設備和技術手段，隨著節目和劇情的發展，改變燈光顏色和亮度，可以烘托演出效果，渲染舞臺氣氛。所以舞臺燈光設計與控制是舞臺場景設計中的一個重要組成部分。目前舞臺燈光的控制效果和方案主要由設計人員根據演出節目和劇目的具體內容預先通過設計軟件制作設計，然后在演出中利用控制系統進行操作、控制實現的。但是隨著欣賞水平的日益提高，人們對演出節目的感染力和節目互動性有了更高的要求。許多表演場合例如音樂會、戲劇表演和服裝走秀等，經常需要舞臺背景變化與表演者之間進行實時互動，以增強和激發參與者的共鳴，使演出更具吸引力。這時照明效果需要根據現場情況實時改變，預先設計的舞臺燈光效果無法完全滿足這些這種交互性和實時性要求。為此，本文提出了基于體感技術的舞臺燈光交互式控制系統，該系統不需要預先設計，僅通過表演者的各種姿勢和動作實時控制現場的舞臺燈光效果，使燈光的隨著演員的動作交互變化，使演出更具有感染力。

體感技術亦稱為體感交互技術，是一種直接利用人體聲音、動作等與周圍環境或設備進行互動，并對用戶動作進行識別、解析、做出反饋的人機交互技術。體感交互主要通過體感硬件設備和體感軟件控制系統來實現。硬件設備用來識別控制者的動作，然后將動作圖像以信息數據的方式傳入計算機，通過計算機的電子屏幕與用戶產生運動式的交互活動；體感軟件系統主要完成體感硬件設備輸出的數據信息的進行處理與加工，并控制機器端做出相應的反饋[1]。

在眾多體感交互設備中微軟公司開發Kinect由于不需要手柄，直接通過動作、聲音等方式來控制終端的特點，使之成為人機交互領域的研究熱點，用于醫療、康復和機器人控制等領域[2]。

本文提出的交互式舞臺燈光控制系統利用Kinect作為交互設備，用來跟蹤表演者的雙臂動作，然后通過體感軟件系統識別這些動作，并將其和舞臺燈光效果結合起來設計調光控制信號，最終實現輸入信號和輸出燈光信號的交互動作。

2 交互式舞臺燈光控制系統結構

整個交互式舞臺燈光控制系統結構如圖1所示。首先由Kinect采集表演者的動作，然后通過安裝在計算機上的體感軟件——TouchDesigner對這些動作信號進行識別和處理，再將不同的動作和舞臺燈的對應效果聯系起來，從而實現了基于人體動作的交互燈光控制系統。因為TouchDesigner軟件的輸出信號滿足Art-Net協議，而舞臺燈接收的調光信號服從DMX協議，所以利用一個Art-Net和DMX的轉換接口實現數據格式的變換，最后將調光控制信號送入舞臺燈，實現對舞臺燈效的實時控制，具體內容介紹如下。

圖1 交互式舞臺燈光控制系統結構圖

2.1 Kinect

Kinect主要由彩色攝像頭、紅外發射裝置、紅外攝像頭、麥克風陣列等部件構成。通過紅外裝置和紅外攝像頭可以完成深度數據的采集。深度數據是指 Kinect 視野范圍內的物體到 Kinect 的三維空間距離。利用骨骼追蹤技術可以從深度數據中得到人體骨架節點信息，它可以同時追蹤6個用戶，準確識別兩個人的具體動作。這里的準確識別是通過準確標定人體的20個關節點，實現對人體動作地實時追蹤。這些關節點的信息如圖2所示。它是以Kinect所處位置作為原點，用米作為坐標單位，構建感應實體的空間坐標軸，通過三維坐標(X，Y，Z)來表示每個關節的位置(每個關節點用圓形顯示)。其中X代表水平移動距離，Y代表垂直距離，Z代表和Kinect的距離。坐標系的設定依據右手螺旋準則，Z則是與上述體感器方向保持相同。而Y逐步向上攀升的是正半軸部分，另外有X向左邊外延的是正方向[3]。

圖2 Kinect可識別的20個關節點信息

這樣表演者的動作不同，關節點所處的位置不同，坐標值亦不相同，如果將不同的位置和燈光效果結合起來，例如利用Z坐標值不同改變舞臺燈亮度。燈的亮度會隨著表演者的動作實時改變，實現了亮度的交互控制。

2.2 Art-Net/DMX 轉換器

Art-Net是一種基于TCP/IP協議的以太網協議。目的在于使用目前現有的標準網絡技術，在廣域內傳遞大量DMX512數據。其燈光控制信息包含在網絡數據包傳送，通常建立在一個局域網絡中，在硬件滿足其穩定性的情況下，甚至可以通過無線WIFI網絡直接完成各終端以及交換機之間的聯通。Art-Net支持的功能包括發送和接收的燈光的數據；管理功能，如檢測節點，節點控制參數更新和發送時間碼等，是一種即將普及的下一代燈光系統的協議。

DMX512協議由美國劇院技術協會最先提出的目前舞臺設備中通用的一種數據協議。它的傳輸速率固定為250kbps，每個數據位的時間是4us，512個字節的數據傳輸時間為22.528ms。數據的幀頭通常是88us，數據的幀頭隨后是一個空閑幀，空閑幀時間長度是8us-1ms。

由于Touchdesigner軟件輸出信號滿足Art-Net協議，而舞臺設備的輸入類型多滿足DMX協議，兩類數據格式不同，所以需要Art-Net/DMX轉換器。

Art-Net/DMX轉換器通過設置IP地址將Art-Net信號通過各種類型的網絡傳輸至低層的DMX設備，極大的方便了燈光控制信號的輸出。

3 交互式舞臺燈光控制系統軟件設計

舞臺燈光的交互控制效果由TouchDesigner軟件設計實現。TouchDesigner是一款基于數據流的一個可視化開發平臺，它可以根據不同需要創建各種的實時效果。例如可以創建互動的多媒體系統、建筑投影，也可以實現現場音樂的實時視覺效果，或者進行最原始的原型類的創作。

舞臺燈光交互控制系統軟件設計主要包括采集和整合表演者手臂動作信號，對動作信號進行二次處理，然后以它為控制數據實現不同的燈光效果，并輸出控制信號來驅動舞臺燈光設備，從而實現輸入和輸出信號的交互式動作[4]-[6]。

3.1 交互式燈光效果設計

系統主要針對手臂動作設計不同的燈光效果。表演者位于Kinect前方1.2-3.5米的范圍，由Kinect捕捉他的手臂動作。手臂動作可以分解成三種情況，如圖3所示。圖(a)是代表原始狀態，這時手臂自然下垂在身體兩側；圖(b)對應擴展動作，兩臂分別向左右兩側拉伸，上臂關節點X坐標值發生改變；圖(c)兩臂向上伸展，上臂關節點Y坐標值發生改變；圖(d)兩臂向前伸展，上臂關節點Z坐標值發生改變。通過圖3可以看出，這種動作的變化可以通過手部關節點位置體現出來(圖中紅色圓點)，所以手臂動作的變化可以通過手部坐標顯示出來。

(a) (b) (c) (d)圖3 手臂的三種分解動作

根據利用左、右手各控制若干只舞臺燈，由手部關節點坐標的變換設計燈光效果如下。

(1)選取左右手的空間中的X坐標信號控制左右燈具跟隨左右手進行水平交互運動，即手的空間坐標值X控制燈光的水平軸，其運動范圍是由初始位置(圖3(a))到兩手完全伸直(圖3(b))對應舞臺燈具的Pan軸變化到左右各120度的位置；

(2)選取左右手的空間中的Y坐標信號控制左右燈具跟隨左右手進行垂直交互跟隨運動，手的Y坐標控制對于燈具垂直方向的運動，其運動范圍是在手自然垂下(圖3(a))到完全舉到最高(圖3(c))對應舞臺燈的Tilt軸的最低位置即135度的時候和垂直0度的時候；

(3)手的Z坐標對應燈具的亮度通道的變化，其運動范圍是在手臂自然下垂時(3(a))為燈光亮度Dimmer值為0，手臂完全伸直后(圖3(d))燈光的Dimmer值；

(4)其它燈光效果設計

在以上效果基礎上，可以利用TouchDesigner內置函數塊實現其它燈光效果。如加入濾波函數進行延時，使燈的各個軸實現波浪效果等。

3.2 程序實現

上述燈光效果程序實現過程如圖4所示。首先對端口進行初始化，在Touchdesigner軟件中建立Kinect輸入通道用來采集深度數據。輸出端口設置為dmxout輸出模，令其輸出口為Art-Net形式，并根據Art-Net/DMX轉換器的IP地址設置dmxout模塊的網絡地址；然后開始采集Kinect輸出的深度數據，對深度數據進行二值化處理，將表演者的數據信息從背景中分離出來，獲得表演者的深度數據，再利用骨骼獲取函數，得到兩只手的三維坐標。根據3.1的內容，結合雙手的坐標值設計燈光效果，最后將控制信號送到dmxout輸出端，通過Art-Net/DMX轉換器送給舞臺燈，同時觸發定時器，重新獲取手部坐標信息，實現對表演者動作的實時跟蹤和對舞臺燈的實時控制[6]。

4 實驗測試

為了體現舞臺燈光交互式控制的效果，實驗選擇極強的律動性的歌曲“In The Name Of Love”為背景音樂，控制的舞臺燈包括12只LED Par燈，2只搖頭電腦燈和激光燈。輸出設備較多，對于此演出設計控制復雜，需要來回切換控制模式，且人員的動作幅度不可能過大，所以測試實驗僅用左手作為體感輸入，右手控制模式的切換。具體效果如圖5所示。

(a)歌曲開始

(b)歌曲高潮

(c)歌曲結束圖5 舞臺燈交互式控制效果

在歌曲開始時候加入了LED Par燈，照射在背后的墻上，跟隨著歌曲的律動揮舞左手，令電腦燈的跟隨手的動作進行擺動，燈光的閃爍的速率跟隨節奏變化如圖5(a)所示，在歌聲高潮的時候伸出左手，增強燈光的亮度與亮區大小如圖5(b)。在歌曲結束時，手回到原位，電腦燈回到原始位置并全部熄滅，激光照射在表演者的背上，形成了一個煙霧繚繞的逆光剪影效果，并保持其效果至音樂徹底結束。整個過程舞臺燈光隨著歌曲節奏變化而變化，充分體現了演出的交互性和實時性，烘托了舞臺氛圍，增強了演出效果。整個過程燈光效果跟隨手部動作的變化而發生變化。

5 結論

本文將體感交互技術引入舞臺燈光控制系統，設計了一種基于Kinect體感設備的舞臺燈光交互式控制系統。該系統可以直接利用表演者的手臂動作控制舞臺燈光效果的變化。和常規的舞臺燈光控制系統相比較，本文提出的方案增強了舞臺燈光控制的交互性，可以更好的激發觀眾的共鳴。通過測試實驗說明基于體感技術的交互式舞臺燈光控制系統是有效和可行的。在實際應用中可以作為傳統舞臺燈光控制系統的一種有效的補充形式。