基于體感的大型編舞輔助系統

李啟華 古棟笙 邱金波 周俊杰 林偉豪

摘 要：針對大型舞蹈中存在的排練效率低、動作不協調等問題，提出基于體感交互的大型編舞輔助系統。系統基于Kinect體感交互攝像頭實現舞者身體軌跡的實時捕獲，并結合Unity3D實時匹配舞者的三維模型和軀體數據，從而達到輔助編舞的效果。錄制少數舞者的舞蹈進行仿真實驗，并與當前具有較好視覺沖擊的大型舞蹈相比，所提出的系統有效地提高了編排效率，避免了編排過程中出現站位錯誤、默契不足等問題。

關鍵詞：編舞;Kinect體感攝像頭;Unity3D

Abstract：Aiming at the problems of low rehearsal efficiency and uncoordinated movement in large-scale dance，a large-scale choreography assistant system based on somatosensory interaction is proposed.The system realizes the real-time capture of the dancers body trajectory based on the Kinect somatosensory interactive camera，and combines Unity3D to match the dancers 3D model and body data in real time to achieve the effect of assisting the choreography.Recording a few dancers dances for simulation experiments，and compared with the current large-scale dances with better visual impact，the proposed system effectively improves the programming efficiency and avoids problems such as station errors and tacit understanding during the arrangement process.

Key words：choreographer;Kinect somatosensory camera;Unity3D

0 引言

大型舞蹈是一種結合各種表演因素而成的表演藝術，然而一個大型舞蹈的編排需要付出大量精力、時間去提前做好方案，排練時還要保證下達的口令無誤，才能完成舞蹈編排的工作。為提高舞蹈編排效率，本團隊開發出了一款在應用在大型舞蹈編排的舞蹈編排輔助系統，編舞老師可以在虛擬環境中修改編排效果，舞蹈演員則可以通過預覽三維動畫了解自身動作和走位等等。這使得編舞老師不再需要反復編排人員動作和走位，舞者不再身心疲累的彩排，對商業藝術行業甚至高校教學都有積極的意義。

1 基于體感交互的大型編舞輔助系統

1.1基本思路

系統利用開源的kinect體感攝像頭（以下簡稱kinect）實時捕捉鏡頭前一名舞者的身體運動軌跡，并將kinect與Unity3D游戲引擎通過中間插件kinect with MS-SDK連接，將人體軀體關鍵點運動軌跡的位置變化數據實時上傳到上位機，人物軀體數據經過Unity3D的處理呈現在可視化的虛擬場景中，再于3D max建模軟件中構建舞蹈人物、舞蹈專用場景等模型，將模型導入Unity3D中，使人物的三維模型與捕捉到的軀體數據進行實時匹配，在自定義的場景中實現舞蹈動作的三維重現。在Unity 3D引擎中不斷進行舞者人數的增減、一名或多名舞者舞姿的調整、整體隊形或舞者形象的變換、背景音樂和環境的變化等一系列操作后，達到只需要一名舞者，一個攝像頭，一臺PC機便可實現大型舞蹈編排的預覽效果。系統功能實現圖如下圖圖1所示：

1.2 功能實現

1）Kinect深度信息獲取算法[1]和軀體運動軌跡的捕捉。

從復雜的圖像中提取具有價值的數據一直被認為是非常具有挑戰性的問題，通過不同的方法實現圖像的分割提取具有重大的意義。本文對Kinect提取的深度數據做不同的處理，為了進一步提高細化算法的求解質量，采用二值化的方式對得到的人體目標進行處理，從而去除帶干擾的背景。細化算法是骨架提取中的主流算法，在滿足骨架的連通性和單像素，以及經過二值化處理得到較好邊緣二值圖像的基礎上，采用經典的細化算法，從邊界連續、均勻地向內腐蝕直到得到骨架。最后經過細化得到的骨架如圖2所示：

在Kinect體感設備中，我們獲取到20多個骨骼關鍵關節點的位置數據，這些數據以三維坐標的形式被Unity3D游戲引擎中的骨骼跟蹤腳本所記錄。當用戶在裝置上進行運動時，主要選擇了動作幅度較大的幾個關節點進行采集，對這些關節點的位置信息可以以向量p的方式表示：

式中：為一個用戶姿態所包含的特征向量總和。

2）在Unity3D中導入軀體運動軌跡數據、相應的模型、骨骼等，將軌跡數據與骨骼進行匹配結合，并使用開源游戲引擎 Unity3D[2]進行圖形顯示。

3）在 Unity3D 的主要框架及場景管理器基礎上實現舞蹈動作的調整，舞者運動路徑的建立，舞者人數的增減，整體隊形和舞者形象的變換、背景音樂和環境的變化等一系列腳本操作，初步實現大型舞蹈的預覽效果。

舞臺場景和舞蹈角色等模型導入到Unity3D中是靜態的，要想使這些資源能夠在 Unity3D中附有動態行為，我們還需要編寫相應的腳本程序，并附加到相應的三維模型多模塊虛擬系統中，系統建立了如下幾個主要腳本程序。

其中，ComputerUIControl主要負責虛擬場景中電腦端UI界面的交互行為;EventControl主要負責場景中對象的鼠標單擊、雙擊、右擊事件的處理;ProcessControl的功能類似于C言的main函數，用戶可以通過該腳本查看整個系統的執行步驟;RoadContral復制人物的隊列功能;ShowTip主要負責場景對象的標簽顯示。

2 結語

系統將Kinect和Unity3D等技術結合起來實現了虛擬環境的快速教學，經過試用編舞輔助系統的舞蹈編排比傳統的舞蹈編排具有以下優點：1、降低了大型舞蹈編排的時間，極高了提大了編舞效率;2、實現虛擬教學，新奇的系統受到廣大學生的歡迎，提高練舞者的熱情。本系統的研發對商業藝術行業甚至高校教學都有積極的意義。系統將會一直完善，調研使用人員的不同需求，逐步的實現更多功能。本項目受到廣東石油化工學院創新創業學院-大學生創新培育項目支助，在此表示感謝。

參考文獻

[1]劉飛.基于Kinect骨架信息的人體動作識別[D].東華大學，2014.（132）：12-16.

[2]王同娟.基于Unity3D的教育游戲開發研究[J].電腦編程技巧與維護，2018（11）：7-8+27.

作者簡介

李啟華（1997-03）、男、漢族、廣東云浮、本科在讀生、研究方向為：電子信息工程;

古棟笙（1998-3）、男、漢族、廣東廣州、本科在讀生、研究方向為：測控技術與儀器;

邱金波（1982-2）、男、漢族、廣東茂名、本科在讀生、研究方向為：計算機科學與技術;

周俊杰（1998-6）、男、漢族、廣東湛江、本科在讀生、研究方向為：計算機科學與技術;

林偉豪（1997-9）、男、漢族、廣東普寧、本科在讀生、研究方向為：計算機科學與技術;