跨界的身體表達及其交互模式初探

田 湉

“跨界”指的是讓原來不相干的元素，相互滲透、融合，利用其互補功能，生成新的藝術形式。在當代藝術實踐中，科技與藝術、新媒體與藝術之間的交叉融合正以新的面貌出現，“藝術+科技”的跨界，身體與其他媒介（多媒體、裝置、燈光、聲音等）的交互設計①，已成為編舞家思考與實踐的新方向。

本文基于正在發生的“藝術+科技”的藝術創作實踐，將“交互”這一概念引入舞蹈創作領域，圍繞身體與不同舞臺載體之間的交互展開：既包括人機交互模式中集中于身體的部分，即身體與計算機、機器系統等實時交互對話關系；也包括提前預設好的、在表演場地發生的身體與其他媒介，如燈光、裝置、聲音等之間的交互表演創作關系。通過探討身體與其他媒介通過“交互”實現的表演創作模式，來看身體表達的諸多可能性以及由此帶來的新的藝術形式。

一、研究現狀

藝術創作中，“身體進入交互模式”主要體現為身體與其他媒介在舞臺或其他空間中的交互表演、設計與編排。它多被應用于多媒體舞劇、跨界藝術形式的舞臺劇、國家大型文藝表演、實景演出，以及在開放性劇場（公共空間、廣場等非劇場形態）空間中的演出，這是身體交互表演及創作模式存在的環境，也是探討交互表演關系產生的基礎。

新媒體舞蹈創作②最為直接地體現了舞蹈創作領域中編舞與其所使用的技術媒介之合力。在已有的研究中，有關新媒體舞蹈的專著如《舞蹈多媒體技術及其應用》（孫曉梅，2004），較早提出了舞蹈多媒體技術，主要從舞蹈多媒體制作的技術手段如圖像處理軟件、人體三維動畫軟件等切入研究，此外，《舞蹈新視覺》（劉春，2010）、《幻象之舞：劇場舞蹈影像創作與探索》（劉春，2011）、《新媒體舞蹈概論》（張朝霞，2012）、《鏡中舞影》（劉春，2014）、《舞蹈多媒體影像創作研究》（吳振，2014）、《新媒體舞蹈藝術創作實踐研究》（李青，2017）等，都在不同程度上走向了新媒體技術與舞蹈的跨領域研究。有關新媒體舞蹈的學術論文，如劉春的《舞蹈新媒體初探》（2005）與《動靜編碼：舞蹈與媒體的兩次轉換》（2018）等共計59篇（其中碩士論文13篇）③，都關注到了媒體技術帶給舞蹈創作和表演的革新，但較少涉及媒體技術與舞者之間的互動，更未將研究重心放在身體與其他媒介在跨界藝術形式中的交互模式上。

另外，身體交互模式還存在于國家大型文藝表演活動中。國家大型文藝表演活動往往代表的是國家形象，是中國與世界文化藝術對話交融的平臺，因此，編導為了打破傳統的編創思路，較多地采用了身體與多媒體、燈光交互設計的技術手段。例如2016年中國杭州G20峰會“最憶是杭州”的文藝表演中，《美麗的愛情傳說》用LED扇屏與舞者劉福洋、駱文博進行互動演繹；2018年中國青島上合峰會“有朋自遠方來”文藝表演中，《天涯明月》用多媒體制造的月亮的陰晴圓缺與布滿LED燈的40多位群舞演員舞動水袖進行互動演繹；2019年中國北京世界園藝博覽會開幕式中，《綿延的芬芳》用彩色游動地球儀與獨舞演員李祎然進行互動演繹。關于此方面的論文，主要集中在對大型文藝活動的報道以及對演出活動如何能夠最大限度地體現中國文明的探討上，較少涉及大型活動的組織策劃、導演素養等問題，而對編創及其跨界形式更少談及。

實景演出是跨界藝術創作的另一個實踐場所。實景演出緣起于景觀歌劇，它伴隨著2003年張藝謀《印象· 劉三姐》的首演成功而誕生。實景演出的話題受到較多人關注，筆者在2019年6月1日前以“實景演出”或“山水實景演出”為關鍵詞在中國知網搜索出相關論文共計84篇（其中碩士論文21篇），研究內容多聚焦在文化產業方面，對實景演出中身體如何參與編排以及身體在其中與其他媒介的交互性未有關注。

事實上，關于身體與不同媒介的交互表演和創作的藝術實踐，目前已很風靡。以國內為例，張藝謀導演的舞臺劇《對話、寓言：2047》（第1季、第2季），都是將舞臺表演形式確定在新型科技如機械臂、無人機等與“非物質文化遺產”木筒號子、壯族坡芽歌書、內蒙古呼麥等的結合基礎上，一端指向古老的傳統，另一端則指向嶄新的科技和未來。2019年6月北京舞蹈學院《界》的演出，以舞蹈與燈光、裝置、影像、互動技術、電子音樂的跨界形式，“從彼此的界限，找到融合的邊界，從而達到新的世界”④。《母陀羅》中，劉巖的手勢動作提前設置了追蹤感應器，通過編程完成現場的實時交互。

梳理關于身體與其他媒介的交互關系研究，可以發現：第一，身體尚未在跨界視域作為研究的主要對象。主要是因為身體的跨界屬性是在科技日益發達的新時代背景下，多媒體、高科技越來越多地介入劇場藝術呈現中的結果。第二，交互尚未作為藝術創作的研究核心。以“交互”為視角的相關探討，多將交互（體感交互、人機交互）運用到產品設計領域，探討其多學科、多領域知識的交叉性和應用實踐。⑤至今交互設計依然是一門集普適計算、人因工程、認知工程、人機交互、認知工效學、信息系統、計算機協同工作等諸多學科領域交叉的新興領域［1］，它更多關注和研究的是用戶、人與產品之間的互動方式及由此產生的用戶體驗，較少有從藝術創作表演領域研究身體與機器的交互設計或交互表演帶來的可變性，及其藝術創作表演上的半開放性。

二、3種層級

對“身體進入交互模式”的探討，是圍繞跨界藝術實踐中身體的“交互性”展開的、有關身體與其他媒介（機器、裝置、屏幕、燈光、聲音等因素）在交互、接觸、感應、識別、控制等溝通方式下實現的表演創作模式的研究。在跨界藝術創作中，編導往往調用不同元素的話語形式如肢體、聲音、裝置、光影、多媒體投影等參與進來，身體以不同的交互方式參與到跨界藝術形式中，至少包括3個層次：第一，作品中偶有使用技術媒介，這種使用是媒介較少介入劇場，不作為主體甚至主要手段；第二，媒體技術為劇場藝術表達和形式呈現的主要靈感來源，但有時候囿于劇場條件與環境，媒體技術在劇場藝術表達和形式呈現中可能被應用但也可能不被應用，即媒體技術成為創作的重要組成部分，但沒有成為作品呈現的部分；第三，由人機交互、體感交互等交互技術帶來的實時表演創作呈現，其中技術是關鍵因素，即媒體技術與身體的互感構成了一種“活”的畫面，在這里，媒體與“身體”共存。前兩個層次，主要是以同臺式但沒有互動和對話關系的表演，即提前預設好身體動作與燈光、多媒體視覺效果、裝置等媒介的配合式表演。而最后一層，則是由身體與其他媒介的牽制關系產生的實時“交互”，并由交互技術帶來身體的幻象和舞臺視效。

關于如何界定新媒體舞劇或新媒體舞蹈創作，主要看其是否運用了交互技術；換句話說，“作為一部新媒體舞劇，新媒體交互技術是其中必不可少的一個部分”［2］。“新媒體交互藝術的核心技術之一是復合電子技術，這類技術所具備的高度系統化以及和人類的感官非常相近的各種感應功能。利用紅外線傳感器、聽覺傳感器、溫度和濕度傳感器等高精密度的儀器，可以實現獲取人類大腦無法感知的外界信息的目的。”［3］新媒體舞劇中的交互技術，主要是通過傳感器捕捉身體動態產生的交互模式。讓我們以下列作品為例。

（一）《俑2》中新媒體的交互設計

“2018培青計劃”委約作品《俑2》（組舞），一方面以漢代舞俑為形象，試圖重訪歷史中的身體姿態；另一方面也將多種劇場元素如多媒體影像、沙畫、光影、人聲等作了跨界融合的嘗試。

其中，“序”部分的沙畫與舞者，獨、群舞段與多媒體投影都有著不同程度的交互設計。

獨舞段落中，舞者被置放在方塊的燈中，正上方的投影幕上是舞蹈影像。影像中呈現的正是舞者本人，以從頭俯拍的視角制造一種俑的“出土”感，好像觀眾從上向下看。影像中的舞者與劇場中現實表演的舞者在動作上基本保持了一致，但是在一些如旋轉的動作重復中對影像中舞者的動作做了身體細節和碎片化處理，這些都是事先拍攝好并經過精心剪輯設計的，使觀眾在觀看時，時而跳脫出來，時而又從劇場舞者的動作中找到某種一致性。

群舞段落中，在接近尾聲時，一大橫排舞者跑向舞臺臺口，而他們身后的影子特效則相向而行跑向屏幕上方，且越來越小，這樣的相向而行來回反復了幾次，起到了較好的烘托效果。投影中后方的一排特效影子經過了前期的動作摳像、重新制作，才能在演出的時候與現實表演的舞者配合達到效果——既在與前面舞段中舞臺真實的燈光制造的影子之下保持了連接感，又盡可能地保持了作品的純粹度。所以，當新媒體加入時如何不削弱作品中身體的純粹感，這是身體交互技術應用于舞蹈創作中所要思考的問題。

（二）《沖浪》中舞蹈影像的引導交互

《沖浪》是編導兼舞者吳卉借助自己和外婆兩位女性的遭遇，通過傳統與當下變形的身體呈現，探索了人與“巨浪”的關系及時代境遇。同時，《沖浪》的靈感也來自編導的另一部舞蹈影像作品《給城中村的“卡拉OK”》——通過身體的表演及與影像的交互，表達了4層含義：其一，城中村的“鄉愁”。“鄉”是某種舊的、過往的、回憶的東西，所以作品的音樂選擇了一些“舊”的音樂。其二，《春天在哪里》《夜來香》《小白船》的歌詞與現實的沖突。現實城中村的舊、擠、雜、密、暗、冷、陰、臭等，與歌詞中“春天”、“童話”、純情、悠揚、舒緩、“夜來香”等構成強烈的對比。其三，卡拉OK作為一種普遍存在的鄉村娛樂文化形式，被選擇并使用。與村里DVD碟的娛樂傳播方式和語境構成協調。其四，影片中的素材，包括“一個人”（的城中村）、光影、建筑、空間和虛實的處理等，折射出一個復雜的時空存在。其中，光影、建筑和空間感是影片重點發展的元素。⑥《沖浪》通過吳卉長達15分鐘的一張持續大笑的面部以及具有諷刺意味的身體，與事先拍好的影像《給城中村的“卡拉OK”》做交疊，配合現場錄音中外婆的真實口述回憶，碎片式的陳述，讓觀者深刻感受到《沖浪》想要傳達的能量和想要述說的人的時代境遇。其中的舞蹈影像作品與舞臺中舞者身體的相互配合，強化了身體在作品中的表達，成為作品的有力支撐，從某種程度上，它承載著一個城市的過去、現在和未來。

值得注意的是，吳卉以3支樂曲《春天在哪里》《夜來香》《小白船》來結構整個影像作品，該影像作品既可以單獨作為一部影像作品，也可以作為舞臺作品《沖浪》的創作來源和作品的一部分來呈現。

（三）《游園驚夢》中Kinect⑦技術的實時交互

新媒體交互的身體實驗在舞劇中的嘗試，有代表性的是新媒體舞劇《游園驚夢》（北京，2014），其編導整合了影像、舞蹈、三維動畫和交互技術等手段來完成作品。

在一個小時的作品中，觀者通過演員的身體與環境產生的實時交互所營造的幻境，邂逅內心最深處的自我，從而擁有一個不一樣的游園驚“夢”——去發現自己的花園，審視自己的人生。在表演中，演繹杜麗娘的舞者通過深度攝像頭捕捉，達到與身后投影幕上粒子、牡丹花園、星云等的實時交互，其身體姿態的站立、蹲下、流動，身體重心的平衡、失重、傾倒，舉手投足，都被投影到布景中，以粒子的集中、散開、向左、向右的表現形式，由身體牽制出的一系列與主題相關的視覺幻象，這一技術實現的實質則是身體和Kinect交互技術相結合的結果。微軟研發的Kinect技術，截至2019年已更新至Azure Kinect，較前幾代不僅可以實現多人追蹤，還能夠更為精準地捕捉舞者周圍的3D環境，使身體辨識的延時更為短暫。它有別于同臺式但沒有互動和對話的人與影像的互動表演，亦區別于提前預設好的肢體動作配合式表演，而是通過接觸、感應、識別、控制等溝通方式，實現的人機交互、共同融合而成的表演模式。

三、特性描述

（一）基于舞蹈本體的身體性

對“身體進入交互模式”的探索與實驗，需要把握一點：即使身體走向數據，人體運動軌跡趨于視覺化，但動作本質依然延續。身體與媒介結合的過程中，身體以外的因素并不能取代身體本身，在交互關系中，身體依然是唯一有生命的物質材料。

交互的身體依然執著于與舞蹈本體相關的諸多方面。以重心為例，身體交互中的重心，體現出交互關系中身體的方位、去向以及與其他媒介如機器、裝置等的緊密關聯性。重心，作為人體各質點所受地球引力的合力點，是人體客觀存在的一種物理因素。人體在運動過程中重心必然存在變化。從舞蹈生物力學的角度來看，影響人體運動的外力包括：重力、摩擦力及反彈力。［4］重心與身體的平衡協調關系不僅是動作風格的體現，而且也成為身體和其他媒介相互牽引的關鍵，重心變化會帶來身體交互核心位置變化和移動，較之局部的手的追蹤，會產生較大的交互變化：受到交互技術的制約，身體也可能產生重心的變化，使身體在物理界域中產生牽制；反之，因重心失去和偏離帶來的身體指令和信號，也會反作用于機器（交互技術的載體），產生身體動作動力走向的生發，從而帶來新方向和新的指令。

（二）基于交互關系的牽制性

身體與其他媒介的跨界表演中，交互關系毫無疑問是連接身體及其另一端的關鍵。有人曾提出“互動（交互）舞蹈”的概念，并指出：“‘互動舞蹈’（也稱交互舞蹈），Interactive Dance，是當今新媒體舞蹈范疇內舞臺表演領域的活躍分支。通常是借助LED大屏、投影幕布等介質，運用后期特效、動作捕捉、虛擬現實、傳感裝置、體感探測、3D映射等技術手段，在人機互動配合中生發出的新形態舞蹈品種……其創新首先體現在多元的交互方式，如LED大屏交互、投影幕布交互、傳感裝置交互等。”［5］其交互關系，主要是由身體與其他媒介（LED大屏、投影幕布）的牽制關系產生的，分為提前預設好的肢體動作與燈光、多媒體視覺效果、裝置等媒介的配合式表演，以及實時“交互”的有現場對話關系的表演。對于前者，這種牽制關系較弱；對于后者，牽制關系則較強。

在實時交互的表演關系中，因為身體與另一媒介的相互牽制，會使整個表演產生運動過程中的轉換性，以及因表演、編創、欣賞三者同處在未完成狀態的半開放性等。轉換性，是指身體與其他媒介在交互過程中的不斷轉換，包括牽制、被牽制的轉換，發出指令與接受指令的轉換等；身體交互在這種轉換關系中，不斷進階、疊加為更為復雜的交互層次。交互創造出了一個以轉換為關系的引力場，由此帶來虛擬空間、現實空間、重疊空間、身體周圍的空間，不斷進階、跳躍、反轉與輪回。

而半開放性主要是指在交互關系中，身體和機器（交互技術）不是固定和封閉的，而是未完成的，因為交互關系的發生必須給予表演的當下以及舞者身體的在場。這種半開放性來自身體與其他媒介合一式共舞的不完全設定的“余地”和空間。交互關系中編創、表演、欣賞也常常都是未完成的。交互的實現，勢必讓它是一部未編排完整的半成品，編導僅進行一半的身體創編，并進行新媒體交互技術的編程，其余部分都將在演出中才能實現。比如機器臂的動作元語言，在方位、角度、速度、姿態等方面有所設定，但在表演動作順序和路徑的編程中，由在場的身體來決定和完成最終的效果。

（三）新藝術形式的產生

身體以不同的方式參與到跨界藝術形式中，交互模式作為身體與其他媒介的對話基礎，它具有了重建關系和創造新的藝術形式的無限可能。除了身體與多媒體、影像、機器（系統）的交互之外，還有很多媒介都正在越來越多地與身體本身產生互動聯結，介入到身體表演和創作中，或成為與人和身體互動的介質載體，依據這些媒介的不同而產生新的表現形式和藝術特性。

身體與其他介質交互共舞的表演模式，有自身的藝術特性和技術要求，也因此具有了創造和生發出更多新的藝術形式的可能性。不局限于基于電腦技術的舞蹈形態，人與機器、身體與其他介質之間的結合、轉換及密切對話，都將成為當代藝術創作的特征和趨勢。當下，身體與其他媒介的交互關系為編舞家們提供了重新認識身體和動作的通道，越來越多的編舞家饒有興致地關注媒體技術帶給身體的開發空間以及身體與不同介質交互產生的質感和力量，這是傳統劇場舞蹈觀演中不可企及的。因此，身體交互模式研究在舞蹈領域的提出，并非否認身體在舞蹈藝術中的本體屬性，而是希望通過緊隨國內外跨界藝術創作的前沿動態，就身體交互關系在藝術創作、藝術生產中的存在狀態進行一些新的探索，給藝術創作者、編舞家們帶來使用身體的嶄新方式和思路。

【注釋】

① 設計學領域中的身體“交互”，一般分為自然交互與體感交互兩種：自然交互是用語音、手勢等人類自然的、無須學習的方式進行交互；而體感交互被廣泛應用于運動、游戲甚至生活中，通過身體與機器系統的交互關系實現。另有人機交互，指的是通過計算機輸入/輸出設備實現人與計算機對話的技術。

② 人們通常把以數字多媒體及互聯網技術為支撐，在創作、承載、傳播、鑒賞與批評等藝術行為方式上推陳出新，進而在藝術審美的感覺、體驗和思維等方面產生深刻變革的新型藝術形態稱為新媒體藝術。而多媒體舞臺劇是聲像圖文等多向兼容的媒介形式的整合出現，體現的是科技和藝術、文化在劇場范圍內的互動。在藝術領域，有關新媒體、多媒體和數字媒體三者可以做出如下區分：新媒體（New Media），主要基于新技術應用，體現新的藝術觀念及其方式；多媒體（Multi-Media），指的是多種媒介的應用，主要側重媒介形態；數字媒體（Digital Media），基于虛擬現實的媒介技術，其數字化技術是關鍵。通常情況下，藝術創作領域多用“新媒體”；設計應用多用“多媒體”；傳播學領域多用“數字媒體”。本文對新媒體舞劇的界定主要看其舞劇或舞蹈創作本身是否用到實時動態捕捉技術，即身體的體感交互技術或人機交互技術。

③ 文獻綜述數據主要來源為中國知網，索引日期為2019年5月之前。數據索引依據主要側重藝術創作領域，例如對新媒體舞蹈創作的索引，排除了新媒體舞蹈教學、新媒體舞蹈傳播等。

④ 引自北京舞蹈學院舞蹈劇場2019年6月1日——2日的跨界演出《界》節目單介紹。《界》為任冬生導師工作坊創作，劉春及其團隊參與支持。

⑤ 從1963年美國麻省理工學院在IBM709/7090計算機上開發出第一個分時系統CTSS（Compatible Time Sharing System），計算機的交互初見端倪，到20世紀90年代后，在人機交互領域的研究集中于用戶的產品體驗，人們對產品的選擇從可用、好用、想用轉向了在交互體驗上審美、情感的愉悅等。

⑥ 根據筆者2019年6月1日與《沖浪》編舞、舞蹈影像作品《給城中村的“卡拉OK”》導演吳卉的訪談內容整理。

⑦ Kinect技術是微軟在2010年6月14日對XBOX360體感周邊外設正式發布的名字，它是一種3D體感攝影機，導入了即時動態捕捉、影像辨識等功能。該技術開發了動感系統和動作捕捉，計算機可以領會指令，執行動作，通過身體動作、語音口令就可以參與指令，開啟了人機交互技術的新紀元。