虛擬人自動編舞系統研究

陳節省

摘要：在音樂驅動生成舞蹈上，現有方法是根據音樂的數字化特征生成舞蹈動作，但是沒有考慮音樂的節拍、風格、結構等，所以生成的舞蹈動作未能和音樂內容很好匹配。文章提出了一種新型的方法，先分析音樂的風格、節拍、結構、藝術性，形成更加細分的舞蹈動作數據庫，然后使用動態規劃算法填充每段舞蹈，再對舞蹈銜接段做插值過渡。產品發布1年來，全國有100多萬人次使用，文章所述方法得到了有效的驗證。

關鍵詞：虛擬人;自動編舞;舞蹈動作合成;音樂驅動;動態規劃

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）16-0072-02

1 概述

音樂和舞蹈都是人類最古老的藝術，也是密不可分的藝術。音樂是舞蹈的靈魂，舞蹈是音樂的回聲。舞蹈動作常常以音樂旋律的節奏為基礎，通過有組織、有節奏的人體動作，來表達情感和塑造藝術形象[1]。一般由專業的編舞人員來設計和編排舞蹈動作，比較有專業性，比較難以大規模地生產。隨著元宇宙的興起，虛擬人越來越多地融入娛樂生活中，例如初音未來、洛天依、《堡壘之夜》演唱會，都是虛擬人和歌、樂、舞三者合為一體的藝術作品。同時，也產生了大量的編舞需求，全部手動編舞耗時耗力，因此可以借助計算機的自動化、智能化來降低成本，實現音樂編舞[2]。例如，樊儒昆基于音樂和舞蹈動作的節奏特征建立動作與音樂片段的匹配模型， 并利用動態時間規整（DTW） 算法來度量動作與音樂片段的節奏匹配程度[3]。方丹芳提出了先目標音頻分段，然后對音樂片段和動作數據庫中已有的動作片段進行特征匹配分析，最后對目標音樂片段特征匹配的動作片段進行過渡幀插值銜接[4]。以上算法主要是基于音樂的節奏特征和強度特征，忽視了音樂的風格和結構特征[5]。

本文提出了一種新型的方法，整體框架圖如圖1所示。首先分析音樂的風格、節拍、節奏、結構和藝術性，通過動作捕捉，建立風格多樣的舞蹈動作數據庫。對于一首新的歌曲，先分析歌曲風格、節拍、節奏，然后標記歌曲組織結構和每個段落的首尾時間戳。對于每一個歌曲片段，應用動態規劃算法填充舞蹈動作。最后再對舞蹈銜接段做插值過渡，輸出完整動作序列。

2 構建舞蹈動作數據庫

本文所研究的主要是KTV里的流行歌曲。如表1所示，經統計3萬首KTV曲庫歌曲，絕大部分是4/4拍、3/4拍、3/8拍的歌曲。按照用戶演唱的情緒，分為抒情、勁歌、柔情、搖滾、RAP等五種風格類型。

流行歌曲一般由前奏（Intro）、副歌（Chorus）、主歌（Verse）、間奏（Inter）、尾奏（Outro）等段落組成，如圖2所示。每個段落對舞蹈的要求也不同，前奏是舞蹈入場和氣氛的鋪墊，副歌是整首歌的高潮部分也需要舞蹈的充分表達[6]。以《小蘋果》歌曲為例，這首歌是4/4拍，編曲采用了復古“迪斯科”的風格，歌詞簡單朗朗上口，舞蹈以“伊甸園蛇舞”舞步為主，前奏部分和主歌部分每拍節奏的強度均衡，舞蹈為熱身運動和身體小幅擺動，副歌部分的節奏呈現出“強-弱-次強-次弱”的特點并逐漸將全曲推向高潮，舞蹈以多人的大開大合的動作來烘托愛情的幸福美好，間奏部分的舞蹈通過拍手來延續熱烈的氛圍，尾奏部分以雙手上下擺動的整理動作結束歌曲[7]。整首歌的舞蹈動作和音樂節奏、風格十分匹配，動作簡單易學，用戶聽著音樂就會情不自禁地隨之搖擺，使該曲常年在KTV和廣場舞中廣受歡迎。

在相同的節拍、風格、段落特征的情況下，通過動作捕捉，制作了20秒、15秒、10秒、5秒、2秒、1秒等時長不等的舞蹈動作。為便于匹配時的拼接連貫性判斷，也記錄了每個動作第一幀和最后一幀與標準動作的歐氏距離。因此，舞蹈動作數據庫以“節拍_風格_段落_時長_編號”的動作編碼作為主鍵進行記錄和查詢，對應的動作記錄文件內容包含：時長、藝術性分值、第一幀和標準動作歐氏距離、最后一幀和標準動作歐氏距離、動作數據。

3 生成舞蹈動作

通過手動和自動化結合的方式分析每首歌的歌曲特征，標記好歌曲的段落的時間段、風格、節奏和節拍[8]。生成舞蹈動作分為2個步驟，第一個步驟是從舞蹈動作庫中選擇匹配的舞蹈動作，第二個步驟是將不同的動作間做動作銜接。

一首歌的完整動作可以分解為生成各個歌曲段落的動作來完成，即從“節拍_風格_段落_時長_編號”的舞蹈數據庫中挑選合適的舞蹈動作來填充到歌曲段落。假設某個段落的歌曲時長為[T]（秒），[X]為此段落對應的[n]個候選舞蹈動作的集合，第[i]個動作[xi]對應的時長為[wi]，即求解需要最少幾個[xi]可以接近填充滿時長[T]。

形式化描述如下：

解向量? ? ? ? ? ? [S]：[xi∈{0，1}，1≤i≤n]

目標函數 [mini=1nxi]

約束條件 [T-1≤i=1nwixi≤T]

此問題是一個典型的動態規劃問題，通過貪心算法或者動態規劃算法均可求解[9]。本文選用貪心算法求解，用算法1表述如下：即優先選擇當前可選擇的時長最大的動作，在同樣時長的動作中優先選擇和上個動作的歐氏距離最小的動作，最終求解得到每個段落的匹配的舞蹈動作集合[S][10]。

算法1. 貪心算法求解匹配的動作集合

[S={}]，初始解集合為空

Sort（[X]），將候選動作集按照時長從大到小排序

while（[S]總時長未接近段落時長[T]）

從[X]取出一個時長最長且和上個動作歐氏距離最小的候選動作[xi]，其時長為[wi]

if? （[S]總時長+[wi]） ≤ T

[S=S+xi]，[xi]加入解集合S

[X=X-xi]，將動作[xi]從X中移除

end

end

return S

假設解集合[S]包含[m]個動作，總時長為[L]，按每秒含30幀的動作，則將有[（T-L）×30]幀的數據需要通過插值算法來合成銜接動作。[S]中相鄰2個動作[xj]和[xj+1]需要合成的動作幀數為：[vj=xj+1第一幀和xj最后一幀的歐氏距離i=0mxi+1第一幀和xi最后一幀的歐氏距離×T-L×30]

相鄰2個動作的歐氏距離越大，分配得到的插值幀數權重就越大。如圖3所示，本文采用雙圓弧插值算法來合成[xj]和[xj+1]中間的插值銜接動作。

4 結論與展望

本文通過分析音樂的風格、節拍、結構、藝術性，形成更加細分的舞蹈動作數據庫，然后使用動態規劃算法填充每段舞蹈，再對舞蹈銜接段做插值過渡，實現了流行音樂自動編舞系統。如圖4所示，在產品中共生成了8653段，合110869秒的舞蹈動作庫，在3萬首流行歌曲上完成了虛擬人自動編舞，成功推廣應用到全國7000多家KTV中，總計約100萬用戶點唱過，經實際驗證具有較低的實現成本和較好的舞蹈效果。

但是，自動編舞系統仍舊是一個復雜和需要持續深入研究的課題。后續可以增加更多的舞蹈風格，引入深度學習算法來生成更多的舞蹈動作，以期進一步完善系統。

參考文獻：

[1] 張雅琳，趙麗璐.淺談音樂與舞蹈的關系[J].音樂時空，2016（1）：122-123.

[2] 彭文耀，吳瑞琪，晁飛，等.一種基于姿態關系特征的機器人舞蹈生成方法[J].廈門大學學報（自然科學版），2019，58（5）：774-780.

[3] 樊儒昆，傅晶，程司雷，等.動作與音樂的節奏特征匹配模型[J].計算機輔助設計與圖形學學報，2010，22（6）：990-996.

[4] 方丹芳，李學明，柳楊，等.基于過渡幀插值的音樂驅動舞蹈動作合成[J].復旦學報（自然科學版），2018，57（3）：358-365.

[5] 王丹.論音樂編舞法中主題動作的選擇[J].新鄉學院學報（社會科學版），2009，23（3）：179-181.

[6] 王奇.舞蹈音樂結構與舞蹈表演關系探究[J].北方音樂，2014（12）：50-51.

[7] 鄒宇，穎徐湘.淺談歌曲《小蘋果》藝術創演特征[J].黃河之聲，2015（24）：77-78.

[8] 劉旺.卡拉OK評分系統的應用研究[J].電腦知識與技術，2017，13（11）：181-182，192.

[9] 董軍軍.動態規劃算法和貪心算法的比較與分析[J].教育技術導刊，2008，7（2）：129-130.

[10] 吳平，方歡.帶偏好的貪心算法應用[J].電腦知識與技術（學術版），2020（3）：96-97.

【通聯編輯：唐一東】