增強(qiáng)現(xiàn)實(shí)技術(shù)在舞蹈和戲劇中的應(yīng)用

[美] Flavia Sparacino1, Christophcr Wren1, Glorianna Davcnpor1, Alcx Pcntlandl著 柳楊譯

[摘要]介紹利用增強(qiáng)現(xiàn)實(shí)技術(shù)擴(kuò)展舞蹈和戲劇的表現(xiàn)，借助實(shí)時(shí)的基于計(jì)算機(jī)視覺的身體跟蹤和手勢(shì)識(shí)別技術(shù)，以及Mcdia Actors軟件，在舞蹈和戲劇中通過圖像、視頻、音樂、文本與演員共同表演，拓展傳統(tǒng)表演空間與藝術(shù)形式。

[關(guān)鍵詞]舞臺(tái)表演；增強(qiáng)現(xiàn)實(shí)；互動(dòng)式虛擬環(huán)境（IVE）；舞蹈空間；戲劇空間；建模技術(shù)

1引言

為表演者搭建的互動(dòng)舞臺(tái)，可以協(xié)調(diào)和同步表演者的手勢(shì)、身體動(dòng)作和語音，以及投影圖像、圖形、表現(xiàn)文字、音樂和聲音。筆者已經(jīng)開發(fā)了兩種協(xié)作技術(shù)：一種是光學(xué)的，不受束縛的，能實(shí)時(shí)跟蹤人體；另一種賦予數(shù)字媒體感知能力，表現(xiàn)能力和交流能力，類似于人類演員。

在舞蹈中，筆者進(jìn)行了人體運(yùn)動(dòng)音樂和圖形增強(qiáng)的研究。建立一種“舞蹈空間”（DanceSpace）：由舞者的動(dòng)作生成音樂和圖形的舞臺(tái)，即一小組樂器附著在舞者的身體上，并產(chǎn)生與柔和的背景音樂作品一致的旋律配樂；同時(shí)，表演者將圖像投影到一個(gè)大的背景屏幕上，用身體作為畫筆。在這種情況下，計(jì)算機(jī)的角色可以看作一個(gè)“助理編舞”，該系統(tǒng)能夠在演奏者使用他們的身體作為界而創(chuàng)建或排練一個(gè)片段時(shí)即興創(chuàng)作配樂。當(dāng)編舞者希望基于身體動(dòng)作來創(chuàng)造舞蹈表演而不是遵循預(yù)選的樂譜時(shí)，這是一個(gè)很大的優(yōu)勢(shì)。

在劇院里，筆者做了手勢(shì)、姿勢(shì)和語音增強(qiáng)方面的研究。在即興“戲劇空間”（TheaterSpace）中，筆者設(shè)定了一種情境，演員能把自己的想法以動(dòng)畫、文本的形式投射在舞臺(tái)上，進(jìn)而與自己的想法相互作用。在這種情況下，計(jì)算機(jī)的角色是通過使用感知和表達(dá)媒體，與真實(shí)演員合作進(jìn)行表演。

在下面的章節(jié)中，筆者將描述互動(dòng)式虛擬環(huán)境（Interactive Virtual Environment，IVE）舞臺(tái)，利用實(shí)時(shí)光學(xué)人體跟蹤系統(tǒng)和Media Actors軟件架構(gòu)，提供舞蹈空間和即興劇場(chǎng)空間的藝術(shù)和技術(shù)細(xì)節(jié)。

2 IVE舞臺(tái)技術(shù)

互動(dòng)式虛擬環(huán)境舞臺(tái)是一個(gè)大約4.6 m×5.2 m的房間，要求良好且恒定的光照，還有固定的背景：大型投影屏幕占據(jù)房間的一側(cè)，安裝在屏幕頂部的向F指向的廣角攝像機(jī)容許IVE系統(tǒng)跟蹤表演者，如圖1所示。通過使用實(shí)時(shí)計(jì)算機(jī)視覺技術(shù)（Wren，1997：Darrell，1996：Oliver，1997），能夠解釋表演者的姿勢(shì)、手勢(shì)、身份和動(dòng)作。顯示屏上方安裝有相控陣列傳聲器，用于拾音和語音處理。安裝在旋轉(zhuǎn)云臺(tái)上的窄角攝像機(jī)也可用于精細(xì)視覺感應(yīng)。一臺(tái)或多臺(tái)計(jì)算機(jī)用于實(shí)時(shí)監(jiān)控輸入設(shè)備。

IVE沒有額外的學(xué)習(xí)成本，表演者不必花費(fèi)時(shí)間適應(yīng)、清潔設(shè)備或解開導(dǎo)線。IVE是為了更通用的目的而建立的，使得人們不用頭戴式顯示器、手套或其他裝備，就能參與沉浸式的互動(dòng)體驗(yàn)和表演（Wren，1996；Darrell， 1994）。通過攝像頭和傳聲器遙感，人們可以自然而然地與大型投影屏上顯示的素材進(jìn)行互動(dòng)。IVE目前只支持該空間中一名表演者以及多名觀演者，筆者正在擴(kuò)展跟蹤技術(shù)，以支持多名表演者同時(shí)表演。

3實(shí)時(shí)計(jì)算機(jī)視覺輸入系統(tǒng)

實(shí)時(shí)計(jì)算機(jī)視覺程序被稱為Pfinder，即“人物發(fā)現(xiàn)者”（Wren，1997）。Pfinder是一種對(duì)單個(gè)表演者運(yùn)動(dòng)進(jìn)行身體跟蹤和解釋的系統(tǒng)。該系統(tǒng)只使用指向舞臺(tái)的廣角攝像頭，以及一臺(tái)標(biāo)準(zhǔn)Silicon GJraphics 02計(jì)算機(jī)；采用顏色和形狀的多類統(tǒng)計(jì)模型，將人從背景中分割出來，然后在各種視角下查找和跟蹤人的身體部位。它采用“最大后驗(yàn)”概率的方法，使用簡(jiǎn)單的二維模型來對(duì)人體進(jìn)行檢測(cè)和跟蹤。

Pfinder先建立場(chǎng)景模型，首先研究沒有人的場(chǎng)景。當(dāng)一個(gè)人進(jìn)入時(shí)，場(chǎng)景中會(huì)看到一個(gè)巨大的變化，意味著Pfinder開始構(gòu)建該人的模型，隨著時(shí)間的推移，建立起一個(gè)像動(dòng)態(tài)的“多團(tuán)塊（ multi-blob）”一樣的結(jié)構(gòu)。建模過程由人身體上的顏色分布所驅(qū)動(dòng)，那些團(tuán)塊則代表著不同顏色的區(qū)域（見圖2）。人體的頭、腳、襯衫、褲子都會(huì)生成單獨(dú)的團(tuán)塊。構(gòu)建團(tuán)塊模型的過程由二維輪廓形狀分析引導(dǎo)，該輪廓形狀分析可以識(shí)別可靠標(biāo)記身體部位的輪廓。

計(jì)算機(jī)視覺系統(tǒng)由幾層組成。最低層使用自適應(yīng)模型，將用戶從背景中分割出來，使系統(tǒng)無需使用色鍵和特殊服裝即可跟蹤用戶，同時(shí)識(shí)別用戶輪廓內(nèi)的色彩分段。這使系統(tǒng)能夠跟蹤重要的特征（手），即使這些特征不能從圖形背景分割中辨別出來。這個(gè)附加的信息使得推導(dǎo)用戶的一般三維結(jié)構(gòu)成為可能，在下一層產(chǎn)生更好的手勢(shì)跟蹤，使用分割和團(tuán)塊分類的信息來識(shí)別有趣的特征：邊界框、頭、手、腳和矩心。最高層使用這些特征，結(jié)合人體的知識(shí)來檢測(cè)重要的手勢(shì)和動(dòng)作。如果Pfinder被給定相機(jī)模型，它通過反投二維圖像信息，利用假設(shè)平面用戶垂直于平面地板，生成一個(gè)預(yù)估的三維位置。Pfinder可提供并行服務(wù)，為幾個(gè)客戶端提供數(shù)據(jù)，客戶端可以連接和分離，而不會(huì)影響視覺程序。

4舞蹈空間

舞蹈空間（DanceSpace）是一個(gè)互動(dòng)舞臺(tái)，充分利用Pfinder的能力實(shí)時(shí)追蹤舞者的動(dòng)作。舞者身體的不同部位（手、頭、腳、軀干）可以映射到構(gòu)成虛擬身體的不同樂器，即驅(qū)動(dòng)鍵盤。此外，計(jì)算機(jī)可以識(shí)別手和身體的姿勢(shì)，用以觸發(fā)音樂的節(jié)奏或旋律變化，并從計(jì)算機(jī)視頻評(píng)估中生成繪制圖像。

計(jì)算機(jī)生成的音樂由一個(gè)質(zhì)地豐富的旋律基調(diào)組成，演奏期間在后臺(tái)播放。當(dāng)舞者進(jìn)入空間時(shí)，一些虛擬樂器被無形地貼在其身上。然后，舞者用身體動(dòng)作在背景軌跡上產(chǎn)生一個(gè)即興創(chuàng)作的主題。在DanceSpace的當(dāng)前版本中，舞者右手拿著大提琴，左手拿著電顫琴，腳上掛著鈴鐺和鼓。舞者的頭類似于音量旋鈕的作用，在接近地面時(shí)聲音就會(huì)縮小。從舞者的手到地而的距離被映射到附在手上的樂器演奏的音符的音高。因此，當(dāng)手在表演者的頭上時(shí)，會(huì)彈奏更高的音符，而當(dāng)手靠近腰時(shí)則會(huì)彈奏更低的音符。雙手樂器以連續(xù)模式演奏（即從低音到高音，演奏者必須演奏其中的所有音符）。鈴鐺和鼓相反，是由腳部動(dòng)作觸發(fā)的一種樂器。雙手的更具體的手勢(shì)或手腳的組合可以在氛圍音樂中產(chǎn)生旋律或節(jié)奏變化。舞者在整個(gè)演出過程中都可以將音樂“調(diào)”到自己的味道。生成的音樂在不同的交互式空間執(zhí)行者之間差別很大。

隨著舞者的移動(dòng)，她的身體在構(gòu)成表演空間的一側(cè)的大屏幕上留下五彩的軌跡（如圖3所示）。軌跡的顏色可以選擇性地映射到舞臺(tái)上舞者的位置，或更多“富有表現(xiàn)力”的運(yùn)動(dòng)線索如速度。圖形是通過繪圖生成的兩個(gè)貝寨爾曲線來抽象地表現(xiàn)舞者的身體，第一條通過坐標(biāo)繪制的曲線代表表演者的左腳、頭部和右腳，第二條曲線代表她的左手、身體的中心和右手。小三維球體也被繪制到圖形上映射表演者的手、腳、頭和身體中心。以此作為舞者的參考，突出了屏幕上身體的風(fēng)格化表現(xiàn)。多彩多姿的拖線代表舞蹈演員在演出中跟隨她的虛影（圖3）。

5Media Actors

在本節(jié)中，介紹創(chuàng)作互動(dòng)表演新媒體建模技術(shù)：Media Actors。MediaActors包括：圖片、視頻、聲音、語音、文字對(duì)象，它能夠以可信的、富于美感的、具有表現(xiàn)力的和有趣的方式對(duì)運(yùn)動(dòng)和姿勢(shì)做出反應(yīng)。

Meclia Actors由三層組成：

（1）內(nèi)容，它可以是文本、圖片、視頻、聲音、語音、圖形；

（2）感知層，負(fù)責(zé)“理解”，并解釋表演者的姿勢(shì)和運(yùn)動(dòng)；

（3）舞蹈組件，其選擇在給定的語境下最合適的表達(dá)行為。該舞蹈組件負(fù)責(zé)合成演員的自主行為。

Media Actors的架構(gòu)中（見圖4），內(nèi)容和內(nèi)容的編排之間沒有分離。Media Actors的舞蹈組件根據(jù)與演奏者的交互語境指定其行為。與提前設(shè)定r序列動(dòng)作的腳本動(dòng)畫不同，提供了一個(gè)動(dòng)作樹，它由數(shù)字演員的內(nèi)部動(dòng)作或者演員的外部動(dòng)作或者兩者共同來驅(qū)動(dòng)。因此，人與數(shù)字演員之間的相互作用的模型包含的可能性幾乎是無限的樹，而不是連續(xù)動(dòng)作的線性序列。

6即興戲劇空間

即興戲劇空間（Theater Space）提供了在體現(xiàn)人類演員和媒體產(chǎn)生的演員與公眾之問的互動(dòng)，表演者利用IVE系統(tǒng)和MediaActor合力完成表演的編排。

筆者設(shè)想了一個(gè)戲劇場(chǎng)景，在這個(gè)場(chǎng)景中，可以看到一個(gè)人類演員與他自己的想法互動(dòng)，而這一想法以動(dòng)畫的表現(xiàn)文本形式投射到大屏幕上。筆者將文本模仿為另一個(gè)演員，它能夠理解和同步人類演員動(dòng)作，文本、語調(diào)和手勢(shì)。在一連串短劇中，筆者展示了一位女演員在審問自己的過程中做出重要決定。Media Actor以表現(xiàn)文本的投影形式扮演她的“自我改變”，并引導(dǎo)她做出最終決定。文本演員具有感應(yīng)能力：可以跟隨舞臺(tái)上的用戶，感應(yīng)一套基本的手勢(shì)，理解簡(jiǎn)單的單詞和句子。其表現(xiàn)能力包括：通過排字行為顯示基本情緒，如快樂、傷心、憤怒或興奮。

7結(jié)論

筆者通過建立一個(gè)互動(dòng)性舞臺(tái)，容許將投影的圖像與演者的手勢(shì)、身體運(yùn)行和語音進(jìn)行協(xié)調(diào)和同步。建立這一過程為，首先構(gòu)建IVE舞臺(tái)，該舞臺(tái)提供一個(gè)空間進(jìn)行表演：然后通過計(jì)算機(jī)視覺技術(shù)對(duì)舞者的行為、動(dòng)作和手勢(shì)進(jìn)行跟蹤識(shí)別，利用Media Actor軟件構(gòu)建即興戲劇空間，合力完成表演的編排。