新媒體演出藝術創作實踐

【摘 要】 探討新技術在演藝觀念、演藝形態、演藝語匯、交互體驗等方面帶給演出藝術的變化，介紹上海市多媒體演藝虛 擬空間合成重點實驗室的作品：新媒體舞蹈詩《文明·圖騰》、《極境》、《愛情書簡》等。

【關鍵詞】 新媒體；演藝觀念；演藝形態；演藝語匯；交互體驗

文章編號： 10.3969/j.issn.1674-8239.2014.06.007

最近幾年，隨著技術的發展，演藝行業發生了根本性的變化。那么，新技術增強了演出藝術的本質力量嗎？這個問題來源于我對電影藝術的思考。電影誕生一百多年來，隨著技術的發展產生了深刻的變化。例如，上世紀90年代初所提出的非線性剪輯和個人電影的概念，已經由當今的自媒體、微電影等手段完全實現。

我以為，從電影和演出藝術角度看，藝術作品的價值可以分為三個層面：

第一個層面是感官層面?，F在的技術已經使得我們的聽覺感官和視覺感官都得到了充分享受。但我們的技術和藝術只能停留在感官層面嗎？顯然不是，這只是最低層次。

第二個層面是情感層面。演出藝術的本質力量是能夠讓觀眾動情。

但我覺得演出藝術最重要的是第三個層面——哲學層面。演出結束后，能不能給觀眾留下思考和體悟？這是最重要的。

其次，新技術改變了演出藝術的創作方式嗎？可以肯定，完全改變了。電影的線性剪輯到非線性剪輯，藝術特效和創意的虛擬演示，把我們創意的流程徹底改變了。

那么，接下來引入我演講的主題：新技術到底帶給了演出藝術創作什么變化？我將從五個方面來談：演藝觀念、演藝形態、演藝語匯、交互體驗，以及上海市多媒體演藝虛擬空間合成重點實驗室的作品。

1 新技術帶來的變化

新技術主要帶來了四個方面的變化：

（1）新的演藝觀念；

（2）新的演藝形態；

（3）新的演藝語匯；

（4）新的交互體驗。

1.1 新的演藝觀念

在新技術演藝時代，創新性投影、3D全景音效和計算機交互技術使演出藝術創作觀念產生了重大變化。

1.1.1 演出藝術的改變

四大新技術正在改變現實：信息技術、新材料技術、新能源技術、生物工程技術。

（1）新材料、新技術和新方法，使藝術想象成為現實。

計算機控制的影像、光色、文字、聲音、實錄視頻以及實時交互技術與演出藝術的結合，為演出藝術創造了很多新的可能性。

（2）新的視覺形態、觀演方式與新的空間交往方式。

新的空間形態、視覺體驗方式和新的互動交往方式正在改變著演出藝術的創作觀念與表現形態，使演出藝術更加自由。

在戲劇史上，有多位致力于新技術與演出藝術創新的藝術家：俄國導演梅耶荷德提出“戲劇電影化”的口號，把電影手法移植到戲劇舞臺上來；德國導演皮斯卡托 “混合性媒介”的運用，使戲劇完全不受時間和地點的限制；德國導演布萊希特提出“合成的藝術作品”概念；捷克舞臺美術家約瑟夫·斯沃博達認為，自己的主要設計領域就是“活動與光的戲劇”。

演變進程：技與藝→技術與演藝→新技術與演出藝術的交融，必然產生新的演藝類型。

演藝創作產生對先進音視頻技術的需要；先進音視頻技術對演藝創作帶來提升。

舉例《鳥巢·吸引》（見圖1）：

1.1.2 新的演藝觀念的具體表現

在演出藝術作品中的具體表現：

（1）不拘泥于行動敘事和人物對白；

（2）聚焦于演出現場能量的釋放；

（3）注重于視聽張力和交互共振；

（4）重視空間、影像、聲音、多重媒體和機械裝置的復合結構。

在演藝作品創作過程中的具體表現：

小結：新技術的發展與應用拓開了演出藝術的廣闊空間。

1.2 新的演藝形態

（1）在演出空間方面：更多地采用劇場外的空間環境進行構思和創作，演出發生在廣場上、教堂內、商場內、車間內、公路上、輪船上以及其他的生活環境之中；

（2）在觀演關系方面：突破了傳統表演區和觀眾區的嚴格限制，通過靈活的場面調度使觀演空間之間相互侵入、相互碰觸，鼓動觀眾參與表演，形成觀者與演者之間交融互動的現場效果。

演出案例：

（1）《極限震撼》（Fuerzabruta，見圖2）

阿根廷導演于2005年推出，曾在倫敦、紐約等多地演出。演出空間在露天搭建，用膜布、水、舞臺道具構成，它挑戰了劇場和表演的限制，沒有固定的舞臺及座位，觀眾全程站立觀賞并隨時改變位置。

（2）西班牙拉夫拉前衛劇團（La Fura dels Baus）《Action》（見圖3）

演出特色：結合影像、泥漿、煙霧、火水等非常規的方式進行。

（3）佩普·伽特爾的《白蛇傳2.0版》工作坊（見圖4）

通過陶泥練習，讓演員變成一個整體。

（4）《Sleep No More》（見圖5）

這是一臺在紐約上演的互動藝術劇，劇本改編自莎士比亞名劇《麥克白》。演出場地是由三座廢棄的倉庫改建的虛擬的三十年代風格賓館。整個劇情線索由十幾位戲劇演員分頭展開，觀眾們戴著白色的鬼魅面具游走觀看。

（5）世博會阿聯酋館（見圖6）

（6）Lake Stage 數字音響系統（見圖7）

1.3 新的演藝語匯

演出藝術作品中，把身體、空間、投影、聲音、裝置、泥漿、煙霧、火水、重金屬音樂、多重媒體和機械技術結合在一起，構織成一種具有強烈表現力的、跨界的演藝語言。

其一：將具有現代科技含量的演出空間設計與投影、聲音相結合，使影像運動與實景、真人表演與影像、視覺形象與聽覺形象融合表意；endprint

其二：運用同步投影、針孔攝影、手機通訊、交互感應、網絡互動等新媒體手段來增強觀眾參與現場表演的熱情；

演出案例：

（1）德國話劇《朱莉小姐》（見圖8）

德國柏林列寧廣場劇院的版本，改編自瑞典劇作家奧古斯特·斯特林堡的代表作，由凱蒂·米歇爾和里奧·沃納導演。整個作品酷似一部發生在戲劇舞臺上的電影：在舞臺上，一個巨大的屏幕放映著舞臺上的演出，而這劇情又是現場表演、現場拍攝的。德國媒體評論說，它有別于傳統意義上的戲劇表演，更像是一部成功的戲劇裝置藝術作品。

影像元素從表層——到融入敘事——影像敘事方式的深度介入：

影像與敘事；改變了傳統戲劇的敘事方式，將電影的主觀鏡頭的敘述視點與戲劇的第一人稱敘事相結合。

（2）英國新潮戲劇《上街的動物和孩子們》動畫與戲劇表演（見圖9）

英國1927劇團作品，講述租住在破舊陰沉的河口大廈的艾格尼絲·伊維斯母女的故事。該劇最大特點是幾乎不用燈光照明，全部采用投影方式，背景為三塊舞美景片，但藝術表現極富創意。

（3）加拿大多媒體劇《動畫大師諾曼》

（4）當代法國表演藝術家馬克·奧洛涅的“電影戲劇”

（5）德國小劇場戲劇《股市反彈》——“互聯網戲劇”

（6）太陽馬戲《Ka Show》

自動化舞臺機械裝置給導演場面調度帶來了深刻的影響，極大地拓展了演藝敘事空間，增強了藝術表現力。

1.4 新的交互體驗

交互體驗是新技術演藝時代特有的體驗方式?？煞譃樗姆N：實景式體驗、互動式體驗、沉浸式體驗、多感官體驗。

（1）實景式體驗：《長恨歌》、《印象·麗江》強調真情實景

（2）互動式體驗：林茨電子音樂演出《極限震撼》互動

（3）沉浸式體驗；2006年在柏林戲劇節——環境戲劇《馬克·努比的預言顯現》、《Sleep No More》、零距離交流

（4）多感官體驗：Seven Sisters Group 出品，Susanne Thomas、Sophie Jump編導創作，2013年世界舞美展舞美設計金獎作品《Like A Fish Out Of Water》（見圖10）

新技術時代是一個注重現場能量釋放和演藝語匯創新的時代。今天，演出藝術創作越來越注重個性創新，越來越強調交互體驗，越來越突出情感能量，逐漸形成了一種“綜合性的演藝語匯形態”。

2 實驗室創作

2.1 上海市多媒體演藝虛擬空間合成重點實驗室

（1）歷程：

2004年12月：在上海市科委批準下成立，并得到文化部、上海市教委專項資助；

2008年7月：通過科委一期研究項目驗收；

2011年7月：通過科委二期研究項目驗收。

虛擬實驗室秉承藝術和科學、內容和技術的結合理念，基于新媒體、虛擬現實、網絡等數字技術，將集成創新方式與藝術內容創作結合，致力于演藝創作語匯、藝術形態創新及創作工具的革新。

（2）實驗室主要任務包括：

新媒體交互藝術創作實驗（舞臺演藝、影視、游戲、動畫、展覽展示）；

虛擬排演創作工具系統研發（舞臺設計、燈光設計、導演創作、空間展示）；

數字媒體藝術學科專業建設和人才培養（數碼藝術設計、媒體創意專業博士、碩士、MFA研究生等）。

（3）代表性成果：VIRP虛擬排演軟件第一版和第二版

“VIRP軟件系統交互引擎和七個子模塊”：底層交互引擎；虛擬舞臺設計互動模塊；虛擬道具設計互動模塊；虛擬角色動作行為設計互動模塊；虛擬服裝設計互動模塊；虛擬燈光設計互動模塊；虛擬攝像機設計互動模塊；虛擬演出預算管理互動模塊。

（4）新媒體演出藝術教育：

建立一個基于數字、信息、虛擬現實、自動化等技術的創作實驗平臺，融合戲劇、影視、新媒體等藝術表現形式，匯集表演、互動、游藝等多種創作內容，創造一個培養復合式演出藝術創作人才的環境。

2.2 實驗室創作介紹

2.2.1 實驗室作品

（1）新媒體舞蹈詩《文明·圖騰》（見圖11）

（2）新媒體舞蹈詩《極境》

（3）新媒體舞臺劇《愛情書簡》

（4）媒體情景詩《追夢·中國》

（5）建筑投影《樂舞百戲》

新媒體舞蹈詩是在新技術條件下，舞蹈藝術、音樂藝術與影像藝術、交互藝術等元素綜合在一起敘述故事內容的新型演出藝術形式。

2.2.2 新媒體舞蹈詩《文明·圖騰》

（1）內容簡介

一百年前，人類登上了南極洲。

二十多年前，我國科學家展開了對南極大陸的科學考察與研究。

四年前，我們開始醞釀用舞蹈、音樂、文字和影像來表現科學家在遙遠南極大陸的探險故事。

極境——南北兩極的一片凈土，擁有地球上最持久的光明和最漫長的黑夜，是一個人類認識自我、挑戰極限的地方。

三個形象——極光之神奧羅拉、南極的風光與動物、探險者。

（2）設計方案

①《極境》空間設計與投影設計方案（見圖12～圖13）

②舞者與影像：交互動作設計實驗

“極夜”星空互動創作實驗室（見圖14）：

在該實驗中利用了紅外線跟蹤技術。紅外線跟蹤技術是一種新穎的攝像機跟蹤技術，它是利用紅外線收發裝置來檢測表演者手持手電筒揮舞的方位，來實現與星空的互動。

“海豹”互動創作實驗（見圖15）：

在該實驗中利用了微軟的Kinect體感技術捕捉舞蹈者的動作，通過邏輯設計，讓舞蹈者動作與虛擬環境中的企鵝動作建立一定的邏輯映射，從而實現兩者間的實時互動，反映了科考者與自然和諧共生的景象。endprint

基于iPad的多媒體演出控制設計：

《極境》中多媒體軟件投影有正投、背投、地投等，影像控制環境復雜。為了便于播放與控制，我們設計了基于OSC的iPad多媒體集中播放控制系統。

③《極境》舞臺影像制作

（3）墻幕立體投影技術的沿用

立體投影技術營造南極冰山崩塌現場。

第二幕需要營造演員在暴風雪的呼嘯中前進，面對巨大冰山的崩塌，跨過冰裂的峽谷，這些現實中的南極驚險場景都需要在舞臺上展現出來，并與演員進行互動。我們繪制了初步的設計稿。

《極境》的整個舞臺從側面看，呈現L形，背景是寬畫幅的數字燈投影，但舞臺地面跟普通舞臺是不同的，不同之處在于，面對觀眾方向向上抬高15度左右。

當演員與背景地面進行舞蹈互動時，觀眾就能很清楚看到背景與地面的變化透視效果。那么，在三維制作中，也必須以觀眾的視角去架設攝像機，設置背景與地面兩臺攝像機。因為背景直接面對觀眾，所以，當我們在制作背景時，需要注意場景的三維縱深感。這樣，當攝像機在移動時，觀眾就能直觀地感覺到舞臺變化。但是，由于地面投影的方向不同，那么地面的三維攝影機的可視角度必須根據數字燈的方向，同時考慮到人眼的透視角度進行變形。

比如地面表現，我們在后期軟件中進行了透視變化校正，地面變形成方形。最后，觀眾的視角所呈現的舞臺地面如下（見圖16）。

冰川地面要用整個舞臺地面來表現，要用四臺投影儀拼接圖像才能鋪滿整個舞臺。把處理之后的地面變形圖像分割成四塊畫面，分別投射在舞臺上作拼接融合。最終背投和地投的影像組合在一起。

（4）寫實的光線算法及3D合成技術讓畫面更逼真（見圖17）

全部雪山場景是用最新的Global ambience、Globient illumination及全局天光制作，物理攝像機拍攝每幅雪山畫面的渲染需要30分鐘。一段1分鐘的雪山動畫渲染，需要750小時。我們配置了8臺高性能的計算機，作為渲染平臺?！稑O境》第三幕的冰山制作首先是在3dsmax中制作冰山的低面模型，然后進入Zbrush軟件刻畫細節，使用貼圖烘焙的技術把normal map貼回到低面模型上用于渲染。在3dsmax軟件中設置燈光，來模擬南極的光照。通過調整燈光的角度和顏色來模擬一天中不同時間段的光線變化。

攝像機鏡頭從水上進入到水下，展現另一個完全不同的空間，使用體積霧來模擬水下的效果；使用體積光來模擬光線透過水面到水下的折射效果；利用燈光散焦來模擬水紋在冰山上運動的效果；使用SSS材質來模擬冰山透亮的真實質感；用粒子來模擬企鵝在運動過程產生的氣泡；最終通過分層渲染合成出最后的效果。

慢動作的處理：開場動畫出現了大量的雪山場景、雪人特效。在最后的鏡頭中，奧羅拉凌空360度翻轉幻化出極境logo的鏡頭，中間部分是一個慢鏡頭。我們用每秒150格動畫幀做出整段影像，當中包括場景、人物、布料、頭發、雪花、煙塵的動畫，并加速到6倍數播放，使畫面前半段保持正常運動，在翻身的瞬間，時間拉出原畫面150幀每秒，奧羅拉呈現慢速運動，最后幻化成粒子。

（5）舞蹈動作反算

第五幕《極光》是利用舞臺上舞蹈演員雙手揮動的曲線來表現南極動態萬變的光線效果。我們用抽象的線條來表現極光動態，舞蹈演員用揮動的雙手拉出美麗的線條，線條必須和舞蹈演員的動作要合拍。

首先拍攝一段舞者的跳舞視頻。在3D軟件中導入這段視頻并創建一個3D人物模型，按照舞者的動作位置調節3D動作，并跟蹤捕捉3D人物的手的位置，以便光影跟著手的動作而移動。從3D軟件里導出人物的手的位置，在fusion里架設3D攝像機，并使用粒子系統制作光影的效果。在粒子系統面板里開始調整顏色設置參數，到最后成品。

（6）動力學仿真運算

大量的地面斷裂、冰山倒塌畫面，我們是運用3dsmax的插件RAYFIRE及particle flow tool box2粒子流系統來模擬自然動態（見圖18）。

使用RAYFIRE Tool軟件對山體進行切割。

在paticle flow中，使用Birth Group方式生成粒子，加入PhysX World世界重力系統，為了讓粒子也就是冰山在合適的時間崩塌，我們需要加入PhysX Switch命令，使崩塌受精確時間控制。同時，我們也希望能控制崩塌的方向和力度，所以，我們加入三塊Deflector導向板來控制粒子山體崩塌的方向、力度和時間。

（7）創作實驗的意義

①影響創作題材；

②影響創作思維和創作觀念；

③影響創作方法；

④影響藝術作品形態；

⑤演出藝術語匯創新；

⑥探索演出藝術表達方式的各種可能性。

2.2.3 新媒體舞臺劇《愛情書簡》

（1）空間設計結構與效果（見圖19～圖20）

設計特點：

①靈活自由的敘事方式

● 敘事視點·主觀性

● 由遠及近·視覺上

● 層層深入·聽覺上

②時空錯位的雙重敘事

● 時空迥異·多重性

● 性格差異·對比性

● 沖突互動·交互性

③影音交織的“戲劇蒙太奇”

● 時空組接·流暢性

● 表演動作·連貫性

● 敘事內容·自由性

● 視覺蒙太奇、聲音蒙太奇和表演動作蒙太奇

④戲劇場面的情感張力

● 描繪環境·真實性

● 渲染情緒·生動性

● 提升立意·鮮明性

● 通過影像與聲音對真實環境的描述

● 提升戲劇表演的情感力度。

● 以人物性格塑造為核心，以人物情感表現主旨

新媒體舞臺劇《愛情書簡》運用新的技術手段，探尋新的舞臺藝術敘述方式和表演語匯、拓展了更為開闊的藝術創作空間，豐富了當代的藝術表現創作手段。

此外，2013年為配合上海國際藝術節青年藝術創想周，我們制作了3D建筑投影《紅樓@樂舞百戲》（見圖21），這是以漢朝的“樂舞”、“百戲”為主要創作素材，通過漢磚、樂舞、百戲三個部分，展示了從街道、戲臺、集市到宮廷之間，音樂、歌舞、雜耍、技藝百花齊放的繁榮景象。

3 結束語

新媒體演藝創新的當代意義：

● 提升演藝作品的視聽表現力；

● 推動演藝形態與演藝語匯的創新；

● 推進演藝作品的產業化進程；

以一種開放的態度來面對新技術時代的演藝創新，促進演藝創作與演藝科技的互動發展。

注釋：

新媒體與演出藝術：基于數字、信息、虛擬現實、自動化等技術，融合戲劇、影視、新媒體等藝術形式，匯集表演、互動、游藝等多種形態的綜合創作，以觀眾的綜合體驗為特征，與文化創意產業對接的新的藝術品種。

作者簡介：

劉志新，上海戲劇學院創意學院副院長，文學博士。上海市多媒體演藝虛擬空間合成實驗室藝術總監。策劃導演新媒體情景詩《追夢·中國》、新媒體舞蹈詩《極境》、《文明·圖騰》、新媒體舞臺藝術設計《拓印》、3D建筑投影《紅樓@樂舞百戲》、《紅樓@夢》、情景展覽劇《歲月·1978》、多媒體情欲悲劇《榆樹下的欲望》、多媒體情景朗誦劇《紅色箴言》、大型多媒體音樂劇《張國榮·負距離接觸》、電視電影《我愛杰西卡》等。榮獲上海創意產業博覽會創意設計銀獎、上海國際科學與藝術創新獎、第二屆文化部創新獎等。endprint