舞蹈的動作捕捉與圖像還原研究與設(shè)計

鐘祎洵，許 偉，姚日暉，寧洪龍

（華南理工大學(xué) 藝術(shù)學(xué)院，廣東 廣州510640）

動作捕捉技術(shù)主要通過對表演對象身體的主要關(guān)節(jié)的長度、關(guān)節(jié)運(yùn)動角度等信息，進(jìn)行數(shù)據(jù)收集，并利用虛擬顯示等展示技術(shù)，將這些數(shù)據(jù)重新轉(zhuǎn)化為可以直觀認(rèn)識的畫面［1］.在舞蹈類非物質(zhì)文化遺產(chǎn)保護(hù)方面引入動作捕捉技術(shù)，已圍繞不同類型的非遺舞蹈或儀式進(jìn)行了如精確保存與分析舞蹈動作或儀式、捕捉方式、教學(xué)手段運(yùn)用化等不同側(cè)重的研究［2-6］.但這些逐步成熟并愈加精細(xì)的動作捕捉技術(shù)的現(xiàn)實(shí)途徑化過程中，也存在一些問題.例如：第一，對表演載體——身體的內(nèi)在關(guān)注不夠充分.僅限于在三維空間里機(jī)械收集動作基本構(gòu)成、線條軌跡走向的信息收集，以及在此基礎(chǔ)上實(shí)現(xiàn)交互多媒體設(shè)計中實(shí)現(xiàn)虛擬記錄式還原，并未有對舞者在動作進(jìn)行過程中，形成這些軌跡線條的身體狀態(tài)變化有所關(guān)注；第二，對運(yùn)動數(shù)據(jù)的研究尚不足.運(yùn)動數(shù)據(jù)作為單純文化資源采集中對動作構(gòu)成的分辨依據(jù)，還未運(yùn)用至對該類別舞蹈內(nèi)在特征的深入分析；第三，動畫形象的動畫建模仍不足以真實(shí)化.真實(shí)舞者，應(yīng)以體征數(shù)據(jù)變化輔以動畫形象的舞蹈動作進(jìn)行，增強(qiáng)直觀理解；第四，目前的動作捕捉技術(shù)中傳感設(shè)備基本以光點(diǎn)反射技術(shù)為主，而柔性傳感器可通過佩戴在舞者身上，保證最佳捕捉效果.

舞蹈動作不同于普通游戲、影視的形象肢體動作，因而需要更高效、高精的姿態(tài)識別需求，來形成切實(shí)有效的方法，提供穩(wěn)定精確的分析，形成良好的理論支撐［7］.比起傳統(tǒng)動作捕捉技術(shù)，基于柔性傳感器的動作捕捉和還原系統(tǒng)在傳感設(shè)備、信號傳輸設(shè)備、數(shù)據(jù)處理設(shè)備的整體統(tǒng)一、高效性方面等方面具有相當(dāng)優(yōu)勢［8］.本研究基于此種動作捕捉和還原系統(tǒng)方式的設(shè)計與運(yùn)用，對非遺舞蹈“醉龍舞”進(jìn)行研究.其意義在于對體征數(shù)據(jù)的搜集利用、與多重角度動態(tài)影像捕捉復(fù)原相結(jié)合，深入真實(shí)地對其本真風(fēng)格進(jìn)行把握，增強(qiáng)研習(xí)者對舞蹈動作要素的形象性認(rèn)識，加深對動作形態(tài)和文化背景的認(rèn)識和理解，而避免在收集整理舞蹈體系時，形成刻板化系統(tǒng)規(guī)范性，并相應(yīng)激發(fā)傳承過程中逐漸消亡的原型舞蹈活力.本研究通過在現(xiàn)有動作捕捉技術(shù)，到三維影像測量中運(yùn)用中，引入真實(shí)體征生理數(shù)據(jù)的收集轉(zhuǎn)化，擴(kuò)大動作捕捉技術(shù)的運(yùn)用范圍，促進(jìn)動作捕捉技術(shù)的發(fā)展，并結(jié)合運(yùn)動學(xué)角度，細(xì)化非遺舞蹈的傳承研究的方向和內(nèi)容，提高傳承研習(xí)水平，進(jìn)一步實(shí)現(xiàn)傳統(tǒng)文化的活性保存，同時促進(jìn)舞蹈和三維顯示等交叉學(xué)科的發(fā)展.

1 基于柔性傳感器的系統(tǒng)設(shè)計

柔性傳感器的動作捕捉和還原系統(tǒng)包括圖像捕捉系統(tǒng)、AGPS總系統(tǒng)、AGPS分系統(tǒng)、同步模塊、柔性傳感器、數(shù)據(jù)分析模塊以及圖像還原和數(shù)據(jù)輸出系統(tǒng).在進(jìn)行過程中，同步模塊與圖像捕捉系統(tǒng)、AGPS總系統(tǒng)、以及圖像還原和數(shù)據(jù)輸出系統(tǒng)相連接；數(shù)據(jù)分析模塊以及圖像還原和數(shù)據(jù)輸出系統(tǒng)；AGPS分系統(tǒng)分設(shè)實(shí)驗(yàn)空間四角；柔性傳感器由表演者佩戴在身體上，通過壓力式柔性傳感器以獲取運(yùn)動幅度、關(guān)節(jié)彎曲度等微觀體征數(shù)據(jù)，從而可深入分析表演者的肢體動作技巧［9-10］；柔性傳感器與AGPS定位結(jié)合，獲取表演者的實(shí)時運(yùn)動信息，再由同步模塊將捕捉到的影像與實(shí)時運(yùn)動信息進(jìn)行同步，同時通過數(shù)據(jù)分析模塊分析表演者的體征信息，最后將圖像還原和輸出數(shù)據(jù)（見圖1）.

圖1 系統(tǒng)構(gòu)成示意圖

2 系統(tǒng)優(yōu)化

2.1 個體及群體動作多角度重構(gòu)

目前的動作技術(shù)很難實(shí)現(xiàn)對表演者在舞臺或劇場的動作進(jìn)行多角度重構(gòu)，由于常規(guī)的立體動作捕捉攝錄系統(tǒng)為雙鏡頭，如果要提高捕捉系統(tǒng)的效果，則需要昂貴的多鏡頭陣列組（見圖2），立體化圖像和動作捕捉多鏡頭陣列系統(tǒng)對表演者的動作和距離捕捉精度取決于光學(xué)系統(tǒng)的測距和不同鏡頭的精確定位關(guān)系（特別是多鏡頭陣列），但出于運(yùn)輸和裝配的原因，鏡頭之間的間距一般較緊湊，當(dāng)捕捉大范圍和廣視角場景的動作時將有較大的系統(tǒng)誤差［11-12］.

圖2 常規(guī)多鏡頭陣列照片

此外，在常規(guī)的動態(tài)影像捕捉和還原系統(tǒng)依靠光學(xué)系統(tǒng)的精度等決定捕捉和還原動作的質(zhì)量，但由于鏡頭角度和數(shù)量限制，對于大范圍和多人表演的信息，會存在系統(tǒng)性缺陷的數(shù)據(jù)丟失，導(dǎo)致舞蹈動作還原的失真.本系統(tǒng)利用可穿戴柔性傳感器、基座標(biāo)定系統(tǒng)與雙鏡頭捕捉相結(jié)合的方式，提升表演者動態(tài)影像捕捉的視角和身體方位的還原精度，輔助攝像機(jī)更好地捕捉攝影機(jī)盲區(qū)內(nèi)的身體方位與動作，產(chǎn)生立體感更強(qiáng)的3D影像，解決了傳統(tǒng)攝像視角較窄的問題，使拍攝范圍更廣，反饋信息更豐富，也達(dá)到更好的還原效果（見圖3）.其具體進(jìn)行步驟主要有：

第一，雙鏡頭攝像機(jī)捕捉其鏡頭范圍內(nèi)的影像，同時柔性傳感器將表演者身體不同部位的信息發(fā)送到AGPS分系統(tǒng)，再經(jīng)AGPS總系統(tǒng)匯總，發(fā)送至同步模塊；

第二，將雙鏡頭攝影機(jī)捕捉的影像和AGPS數(shù)據(jù)發(fā)送至同步模塊后，利用幀同步算法，對影像和數(shù)據(jù)進(jìn)行同步：首先同步隨機(jī)數(shù)種子；然后，通過客戶端上傳當(dāng)前動作畫面的操作和當(dāng)前幀索引以及實(shí)時數(shù)據(jù)的指令；經(jīng)過客戶端指令操作，驅(qū)動畫面幀前進(jìn)；為實(shí)現(xiàn)畫面回放，客戶端請求到操作文件再執(zhí)行一次服務(wù)器記錄所有的操作；以上步驟操作完成后，將處理后的數(shù)據(jù)發(fā)送至圖像還原與數(shù)據(jù)輸出系統(tǒng)，對拍攝動作片段進(jìn)行多角度重構(gòu).

圖3 改進(jìn)前后系統(tǒng)對比

2.2 生物體征的結(jié)合

目前的動作捕捉技術(shù)重在“形”的捕捉，將較為精準(zhǔn)的、完整連續(xù)的動作信息，形成完整的舞段數(shù)據(jù)并復(fù)原.舞蹈藝術(shù)的表現(xiàn)以身體為載體進(jìn)行呈現(xiàn)，但舞蹈的表現(xiàn)性與表演者身體內(nèi)在狀態(tài)、情緒狀態(tài)緊密關(guān)聯(lián).因此，對“形”捕捉收集數(shù)據(jù)的同時，也需要把握表演者運(yùn)動生理數(shù)值與情緒數(shù)值，實(shí)現(xiàn)全面的舞蹈傳承復(fù)原.

現(xiàn)有動作捕捉技術(shù)系統(tǒng)無法反饋表演者的身體狀況和情緒調(diào)控問題，特別是無法考慮多表演者的動作一致和重復(fù)性.本系統(tǒng)利用可穿戴柔性傳感器和基座標(biāo)定系統(tǒng)相結(jié)合的方式，利用柔性傳感器獲取表演者的生物學(xué)體征信息，并發(fā)送至數(shù)據(jù)分析模塊，輔以EQ-Radio情緒檢測儀和SPSS軟件等，著眼于表演者的身體運(yùn)動狀態(tài)變化（如體能、舞姿變化角度、力量投入、速度等）與心理狀態(tài)（完成動作或舞段所對應(yīng)）的波動，為表演者和研習(xí)者分析動作進(jìn)行以及完成的內(nèi)在表現(xiàn)、合理程度以及情緒變化等方面提供幫助.并且，對采集的所有數(shù)值信號在后期的數(shù)據(jù)處理中，模型的骨骼結(jié)構(gòu)與蒙皮結(jié)合的同時，匹配相應(yīng)的運(yùn)動或情緒數(shù)據(jù)并加以顯示，實(shí)現(xiàn)精細(xì)化的模型驅(qū)動（見圖4）.

圖4 系統(tǒng)內(nèi)在關(guān)系結(jié)構(gòu)圖

3 “醉龍舞”的研究

“醉龍舞”等非遺舞蹈的表演多以民間藝人為中心進(jìn)行［13-14］.因藝人的自由表現(xiàn)性以及非遺舞蹈特殊文化背景的影響，非遺舞蹈類別的特定風(fēng)格，并沒有統(tǒng)一的系統(tǒng)規(guī)范與客觀的標(biāo)準(zhǔn)去衡量對照，故不能以學(xué)院派民族民間舞蹈體系所建立的規(guī)范嚴(yán)謹(jǐn)標(biāo)準(zhǔn)進(jìn)行［15-17］.但風(fēng)格傳承的核心在于對此個性化獨(dú)特風(fēng)格的研習(xí)掌握，實(shí)現(xiàn)對傳人表演風(fēng)格或流派風(fēng)格的深入把握.”醉龍舞”等非遺舞蹈風(fēng)格作為特定舞蹈的藝術(shù)特色，既有文化背景的思想觀念基礎(chǔ)，又離不開舞蹈形式的表達(dá)；既有時代歷史累積的傳統(tǒng)，同時也存在非遺舞蹈藝人個性的凸顯.傳承以語言進(jìn)行解釋概括，較為抽象；而單純的示范或跟隨性摹仿方式，不僅需要靠個人的領(lǐng)悟力以及時間的打磨，在精確度上并無確保.本研究基于柔性傳感器動作捕捉還原系統(tǒng)，從動作形態(tài)構(gòu)成出發(fā)，加上運(yùn)動狀態(tài)、心理狀態(tài)的研究可以進(jìn)行整體風(fēng)格把握.

3.1 外在風(fēng)格

“醉龍舞”的風(fēng)格構(gòu)成主要重在3個因素：源自武術(shù)氣質(zhì)的男性舞動的陽剛矯健氣勢、持道具的動作姿態(tài)，以及動作中伴隨而來的“醉態(tài)”.本研究將運(yùn)用多角度重構(gòu)方式，對基本動作從靜態(tài)、動態(tài)及整體形態(tài)方面，對“醉龍舞”的3個風(fēng)格構(gòu)成因素逐一進(jìn)行分析.

首先，在多角度重構(gòu)靜態(tài)舞姿的研究中，通過對不同角度靜態(tài)舞姿的捕捉成像到數(shù)據(jù)合成.根據(jù)靜態(tài)動作所處的空間高度（高、中、低）、截面（橫截面、豎截面、矢狀面）和其他需要方向，安置對應(yīng)攝像頭，并通過柔性傳感器，經(jīng)AGPS分系統(tǒng)同步模塊，收集即時后期圖像還原的數(shù)據(jù)，對表演者的軀干、四肢以及頭部動作構(gòu)成局部細(xì)節(jié)綜合分析，把握代表性靜態(tài)舞姿造型的肢體位置、角度，以及男性氣勢在動作中的表現(xiàn)，掌握風(fēng)格性要點(diǎn).

其次，在多角度重構(gòu)動態(tài)舞姿連接研究中，通過空間、界面和方向?qū)o態(tài)舞姿進(jìn)行解析，重點(diǎn)突出肢體伸展空間和“醉”態(tài)的視頻信息.因“醉龍舞”動作與南拳馬步及對打招式有關(guān)聯(lián)，如一些基本步伐如“馬步”“撗襠步”“虛步”和“金雞獨(dú)立”等動作無不滲透著“武道”氣息與氣勢.因而，其軀干體態(tài)以及肢體伸展空間與學(xué)院派體系化的民間舞動作空間，以及以“醉龍舞”為素材進(jìn)行的創(chuàng)作型作品中動作空間存在區(qū)別.通過前期對動作的捕捉圖像、后期圖像還原數(shù)據(jù)中，通過“醉龍舞”的各式動作路線軌跡、動態(tài)連接變化和動律等進(jìn)行本體分析，累積動態(tài)舞姿基礎(chǔ)數(shù)據(jù)；同時為了加強(qiáng)研習(xí)效果，設(shè)計采用對照組的形式，同時錄入相似舞龍或創(chuàng)作型動作的軌跡形態(tài)，加以對比，突出“醉龍舞”風(fēng)格所在.“醉龍舞”風(fēng)格表現(xiàn)的動態(tài)動律的關(guān)鍵點(diǎn)在于“醉”.表演者從清醒到微醺的變化過程，體現(xiàn)于下半身的踉蹌舞步與蹣跚步態(tài)、以及上半身保持協(xié)同和連貫的表現(xiàn).例如“游龍醉步”“騰云躍海”等動作中，既有表演者對動作本體“醉”形態(tài)構(gòu)成、“醉”步態(tài)表形的熟練掌握與表現(xiàn)，同時也具有“醉”意識的即興發(fā)揮.對其動態(tài)風(fēng)格的研習(xí)把握，并無固定范本可參考，增加傳承難度.針對此，可以利用柔性傳感器與AGPS定位結(jié)合，收集表演者同一動作多次表演的信息，并通過多角度重構(gòu)動作空間要素，分析每個動作在每次完成中的數(shù)據(jù)，獲取動作矩陣的特征值；同時，對動作位移過程中出現(xiàn)的位置變化而呈現(xiàn)的空間轉(zhuǎn)化，進(jìn)行多次圖像捕捉與數(shù)據(jù)搜集，進(jìn)行綜合分析并對舞蹈動作建模.

再次，在多角度重構(gòu)的整體風(fēng)格把握中，既需要著重分析單一動作的道具性特點(diǎn)和動作術(shù)語的運(yùn)用，同時也需要關(guān)注整體表演氣勢及套路.“醉龍舞”中的動作都需手持檀香木而雕成的小巧龍形道具.整個動作構(gòu)成除了肢體動作本體，更包括與道具合成之后的整體空間.而道具的運(yùn)用與徒手姿態(tài)的分合狀態(tài)，既可以借助多角度重構(gòu)通過動作軌跡進(jìn)行區(qū)分，同時更應(yīng)該作為整體化的空間構(gòu)成進(jìn)行把握.整體舞姿風(fēng)格另一個所需關(guān)注的研究點(diǎn)是多人表演動作信息獲取.”醉龍舞”作為群體性表演的祭祀舞蹈，既有雙人對配，同時也有眾多表演者的同時參與的場面——同樣是構(gòu)成風(fēng)格表現(xiàn)的重要要素.借助本研究所設(shè)計的系統(tǒng)，把握不同舞者的上下、左右、前后等動態(tài)信息，既可以完整地了解多動態(tài)舞姿，也能夠把握男性群體動態(tài)舞姿在氣勢上的動作軌跡空間表現(xiàn).對套路記錄的技術(shù)基礎(chǔ)也在于此.

3.2 內(nèi)在風(fēng)格

內(nèi)在的風(fēng)格展現(xiàn)和內(nèi)在身體機(jī)能控制與調(diào)節(jié)有關(guān).傳統(tǒng)舞蹈學(xué)習(xí)中對動作力度、速度、頻率的了解與把握，是一種模糊的意識理解，缺乏精準(zhǔn)數(shù)據(jù)的給出.而基于柔性傳感器可貼身佩戴特點(diǎn)，可以有效收集表演者在表演過程中體征數(shù)據(jù)的變化，輔助加強(qiáng)多角度重構(gòu)下靜、動、整體姿態(tài)等風(fēng)格特點(diǎn)的理解.“醉龍舞”中如“高擎低穿”“前后絞蹲”等單一動作幅度大，變化強(qiáng)，而拳、掌、手臂等身體部位的力度要求高，因而在單一動作中隨發(fā)力、位置空間變化而產(chǎn)生的體征數(shù)值尤為有價值.而單一動作之間的連接過程中的體征數(shù)值的變化，更是連續(xù)進(jìn)行的動作及風(fēng)格體現(xiàn)的具體化呈現(xiàn)；并且，可以將研習(xí)者的體征數(shù)據(jù)變化與表演者的體征數(shù)據(jù)變化進(jìn)行對比分析，深化風(fēng)格化的掌握.

3.3 表現(xiàn)風(fēng)格

“醉龍舞”作為“浴佛節(jié)”祭祀儀式中的組成部分，舞蹈本體并不以動作姿態(tài)的美感取勝，也不以具體的情節(jié)吸睛，而是重在祭祀儀式進(jìn)行過程中敬神祈福的虔誠意念［18］.舞者既有如普通祭神者拜叩求神的崇敬渴望，又包括作為儀式舞者的莊嚴(yán)肅穆，以及隨舞動過程不斷累積的熱情.加上飲酒而醉舞的習(xí)俗，隨著侯王廟內(nèi)的席間舞龍、謝龍、開光和巡游等儀式過程的進(jìn)行，表演者的表演情緒進(jìn)一步被激發(fā)，在不同階段的情緒發(fā)展也存在相對的轉(zhuǎn)變.因此，通過本研究設(shè)計系統(tǒng)以及相應(yīng)軟件所測定的信息，探求表演者心理狀態(tài)的變化，不僅可以作為風(fēng)格把握的數(shù)據(jù)標(biāo)識之一，也可以作為傳承中對照數(shù)據(jù)進(jìn)行參考（見圖5）.

圖5 “醉龍舞”研究架構(gòu)示意圖

4 結(jié)語

本研究主要針對既有動作捕捉技術(shù)的不足，依據(jù)柔性傳感器工作原理，結(jié)合AGPS分系統(tǒng)、總系統(tǒng)和同步模塊，實(shí)現(xiàn)即時數(shù)據(jù)處理，設(shè)計出設(shè)備成本低和效果強(qiáng)的捕捉還原系統(tǒng)，最大限度地提高捕捉還原的效率以及節(jié)省研究成本；并基于此，對“醉龍舞”風(fēng)格從外在、內(nèi)在及表現(xiàn)3個方面進(jìn)行技術(shù)性量化把握；將非遺舞蹈“醉龍舞”的風(fēng)格把握與捕捉構(gòu)型與生物機(jī)體、情緒數(shù)值相關(guān)聯(lián)，擺脫以往研究中片面追求動作軌跡空間構(gòu)成的單一性，以及后期動畫模型真實(shí)性的刻板技術(shù)化發(fā)展.從而避免簡單的傳統(tǒng)舞蹈傳承中跟隨式、觀察式模糊學(xué)習(xí)，也避免捕捉還原系統(tǒng)中對動作軌跡進(jìn)行單一捕捉和數(shù)據(jù)處理，將藝術(shù)特性與科學(xué)方法更恰如其分地進(jìn)行結(jié)合.通過技術(shù)性分析，分別從靜態(tài)、動態(tài)以及整體動作進(jìn)行量化把握，增強(qiáng)傳承發(fā)展的精細(xì)度，加強(qiáng)傳承研習(xí)的效率和效果.尤其是對表演者的生物體征數(shù)據(jù)以及情緒數(shù)據(jù)的測定分析，引入動作研習(xí)過程，有助于對表演者身體的內(nèi)面性認(rèn)識，有助于學(xué)習(xí)以及表演水平的提高，為舞蹈動作及其他藝術(shù)表演的定性和定量分析提供了新的思路.