多元共“聲”

2023 年首屆杭州國際電子音樂節(jié)以“元點”為主題，標(biāo)志初始，昭示新生。這場音樂盛會從立足經(jīng)典傳承到瞄準(zhǔn)產(chǎn)業(yè)應(yīng)用， 再到探索科技前沿，以開放的學(xué)術(shù)姿態(tài)和全方位的行業(yè)視角成功構(gòu)建了一個電子音樂藝術(shù)創(chuàng)作與音樂科技研發(fā)的交流平臺。在音樂節(jié)的九場音樂會中，上演了七部由中國青年藝術(shù)家創(chuàng)作于2022 至2023 年間的交互音樂作品：馬仕驊的《初生》———交互式視聽電子音樂演出（2023），王馳的《緣源元》———為四個數(shù)據(jù)驅(qū)動樂器和電子音樂而作（2023），吳文釗的《煉金術(shù)》———為紅外傳感器、 燈光與電子音樂而作（2023），林舒瑜的《蝶之夢·夢之蝶》———為實時電子音樂與機械裝置而作（2022），《自由落體》———現(xiàn)場數(shù)字驅(qū)動交互電子音樂（2022），萬方、曾紫喬的《宋韻·運河詩路》———新 媒 體 實 時 音 畫 交 互 電 子 音樂（2023），馮金碩、孫華的《客廳戲劇》———交互音樂場景表演（2023）。這些作品突破了傳統(tǒng)音樂基于器樂或人聲表演媒介與形式， 利用不同的交互系統(tǒng)，創(chuàng)新音樂表演媒介，為作品定制個性化的表演行為與方案。七部作品的創(chuàng)作者是近年來中國音樂新媒體藝術(shù)的新生力量，有著敏銳的藝術(shù)洞察力與開拓的創(chuàng)新精神。在他們的創(chuàng)作中，傳統(tǒng)音樂思維與當(dāng)代跨媒介藝術(shù)語言相互滲透；不同藝術(shù)形式之間跨界協(xié)作；音樂藝術(shù)與現(xiàn)代科技聯(lián)通交融，體現(xiàn)出了前衛(wèi)、實驗、革新的創(chuàng)作意識。

一、交互裝置的多元

交互音樂在表演主體與媒介上顛覆了傳統(tǒng)音樂由演奏員進行樂器演奏（或人聲演唱）的媒介體系架構(gòu)，不同身份的人———演奏員、創(chuàng)作者、觀眾，或某種設(shè)備———計算機、裝置等，皆可成為表演主體，特定的系統(tǒng)程序與裝置相結(jié)合可作為表演介質(zhì)實現(xiàn)實時控制與表演。在一部交互音樂作品中，交互系統(tǒng)結(jié)構(gòu)是重要創(chuàng)作內(nèi)容之一，其通常包含輸入（傳感）裝置、輸出裝置與控制中心（程序）。其中，輸入（傳感）裝置作為交互系統(tǒng)前端硬件，主要功能是識別外界信號，生成驅(qū)動藝術(shù)內(nèi)容的數(shù)字信息。

在作品的媒介交互設(shè)計中， 利用體感裝置、攝像頭或遠紅外測距裝置在身體或物體動勢與聲音、影像中架起一座媒介聯(lián)動橋梁的交互形式在近年來得到了較廣泛的運用。作品《宋韻·運河詩路》《蝶之夢·夢之蝶》《初生》與《客廳戲劇》均通過識別人體的姿態(tài)與動勢生成數(shù)字信息代碼，驅(qū)動聲音或影像的呈現(xiàn)。《蝶之夢·夢之蝶》的作者設(shè)計了一個由多個硬件連接而成的數(shù)字驅(qū)動樂器裝置， 包括電腦、便攜式攝像頭、歷動傳感器、打擊樂器（梆子與吊镲） 及用于觸發(fā)打擊樂裝置組。以歷動（Leap（Motion）傳感器結(jié)合Wekinator為表演傳感媒介，手勢姿勢一方面驅(qū)動打擊樂裝置演奏，一方面觸發(fā)電子音響與數(shù)字影像，從而形成聽覺與視覺的聯(lián)動表演。作品裝置結(jié)構(gòu)的獨特性在于其利用一個復(fù)雜的機械裝置來演奏打擊樂器。《宋韻·運河詩路》同樣以歷動傳感器為交互表演媒介，通過手勢動作來控制聲音與視覺內(nèi)容。在現(xiàn)場演出中，實時交互信息由Max、Kyma與TouchDesigner共同進行處理，其中Max 負責(zé)處理歷動傳感器的實時數(shù)據(jù)，Kyma 負責(zé)對聲音進行合成處理，TouchDesigner 負責(zé)視覺影像的處理。作品《初生》采用具有內(nèi)置陀螺儀的可穿戴式設(shè)備進行互動表演。通過OSC（Open1Sound1Control）通信協(xié)議，陀螺儀的偏轉(zhuǎn)角度和加速度信息被輸送給計算機端的Max/MSP 進行數(shù)據(jù)映射， 實現(xiàn)音視互控。作品《客廳戲劇》通過AI 攝像機實時、準(zhǔn)確地識別舞臺中的物件、動作和場景位置，實現(xiàn)肢體與場景內(nèi)物品的實時互動， 從而生成音樂和視頻，并以互動劇目的形式進行舞臺呈現(xiàn)。該作品的開發(fā)充分調(diào)用了人工智能算法技術(shù)， 通過數(shù)據(jù)集收集、標(biāo)注以及參數(shù)調(diào)優(yōu)的訓(xùn)練過程來確保在不同演出場景中的穩(wěn)健性和靈活性。作品《煉金術(shù)》的傳感裝置由兩個紅外測距傳感和兩個可變色聚光燈改裝制成。紅外測距傳感器負責(zé)感測聚光燈前的物體運動，測量物體與傳感器之間的實時距離。表演者在聚光燈裝置前的手部運動被生成一系列距離數(shù)據(jù)，通過Arduino數(shù)據(jù)連接中間件進行數(shù)據(jù)接收，并送入Max/MSP 程序進行數(shù)據(jù)分類， 再由AbletonLive111進行聲音實時處理，從而形成交互音樂表演。

上述幾部作品的媒介裝置在演出過程中處于“隱藏”狀態(tài)，被視作一種不具備藝術(shù)造型審美功能的表演設(shè)備。由于觀眾無法直觀且清晰地看到交互裝置的存在，因此需要在表演動作與藝術(shù)內(nèi)容之間建立對交互關(guān)系的理解。但將媒介裝置作為一件具有藝術(shù)形象的數(shù)字樂器， 并通過直接觸控裝置，甚至控制裝置的自身運動進行交互表演的作品則提供了另一種交互欣賞體驗。作品《緣源元》的核心傳感裝置是微型芯片控制器。作者賦予傳感器“圓”的外形，并通過四根細鋼絲導(dǎo)線將四個圓形裝置相連接，固定在鈴鼓竹框架中心，使其形成一個整體表演裝置（見圖1）。通過表演者的觸控行為，微型芯片控制器持續(xù)輸出包括方向、亮度、電容式按鈕與加速度等數(shù)據(jù)， 并通過數(shù)據(jù)映射形成聲音交互表演，展現(xiàn)出多個數(shù)據(jù)驅(qū)動樂器形成復(fù)雜音樂控制傳輸網(wǎng)絡(luò)的整合能力和音樂表情演奏潛力。作品《自由落體》以平板電腦（ipad）作為表演與傳感裝置界面，其作為連續(xù)數(shù)據(jù)控制器使不同聲音之間的轉(zhuǎn)換與控制變成可能。

二、表演形式的創(chuàng)新

交互音樂中的多元藝術(shù)與技術(shù)媒介之間構(gòu)建起的交互系統(tǒng)為作品表演形式的創(chuàng)新提供了土壤。交互系統(tǒng)可被理解為一個全新的表演系統(tǒng)，其媒介間的數(shù)據(jù)信息運作規(guī)律是設(shè)計作品表演行為與形式的底層邏輯。

在一些僅將媒介作為接收信號與數(shù)據(jù)映射裝置，而不賦予其外在藝術(shù)特征的作品中，創(chuàng)作者通常會側(cè)重對表演行為的設(shè)計。例如，在《初生》《宋韻·運河詩路》《蝶之夢·夢之蝶》《煉金術(shù)》與《客廳戲劇》五部作品中，交互媒介裝置僅負責(zé)識別實時手勢姿勢信息，在表演過程中不與表演者發(fā)生直接接觸。因此，表演者的肢體動作與姿勢設(shè)計便尤為重要。創(chuàng)作者必須設(shè)計一套完整控制姿勢，使其與表演內(nèi)容之間建立起明確的交互關(guān)系，讓觀眾可以理解表演行為和藝術(shù)內(nèi)容之間的邏輯，以便通過表演行為來理解作品藝術(shù)內(nèi)涵。《蝶之夢·夢之蝶》的作者設(shè)計了三種不同的手勢來控制作品不同樂段的聲音或影像交互（見圖2）。三種手勢包括“單指手勢”“雙指手勢”與“蝴蝶手勢”。其中，“蝴蝶手勢”在通過歷動傳感器控制XYZ 三軸距離信息，完成音高、力度與速度數(shù)據(jù)映射的同時，還透過其手指與手腕富有詩意的舞動來意化蝴蝶紛飛，使表現(xiàn)行為直接指向作品主題。《煉金術(shù)》在傳感裝置媒介之外，通過使用幾個特殊表演物件（可透光的固體水晶、裝有水的透明水杯和條狀燈帶等）來輔助視覺內(nèi)容的表現(xiàn)。表演者手持固體水晶或透明水杯與傳感裝置進行交互，在引發(fā)聲音交互的同時，利用物件可透光的特性來形成神秘、夢境般的光影效果。《客廳戲劇》顛覆了傳統(tǒng)戲劇舞臺的表現(xiàn)形式，通過虛擬增強現(xiàn)實技術(shù)、AI 人工智能算法技術(shù)結(jié)合影像技術(shù)與聲音交互技術(shù)等呈現(xiàn)了一個虛擬劇場。它旨在給觀眾提供一個沉浸式扮演體驗，即把觀眾拉入到表演當(dāng)中去，成為表演者。作品通過表演者對舞臺中的實物道具，如桌椅、水杯、餐具、書本、玩具與水果之間的交互完成聲音和影像控制，同時，通過人與道具之間的互動表演完成特定故事內(nèi)容的敘述。

作品《自由落體》與《緣源元》表現(xiàn)方式是將表演者的表演行為直觀地與表演媒介聯(lián)系起來，根據(jù)作品結(jié)構(gòu)與交互系統(tǒng)設(shè)計了一套完善的表演方法。同時，在表演過程中，表演者與表演媒介在不同程度上發(fā)生直接接觸，使作品呈現(xiàn)出更為直觀的交互關(guān)系。作品《自由落體》創(chuàng)造性地將平板電腦與乒乓球運動聯(lián)系起來， 發(fā)展出一系列獨特的表演行為，如基于多點觸控技術(shù)的觸控表演行為，通過改變平板電腦運動方向獲得偏角度與加速度信息變化的表演行為，多種投擲乒乓球的表演行為。作品《緣源元》中的每個圓形裝置可被視為一個“樂器”或是“聲部”，其表演方法是基于四個圓形裝置的一系列控制，如改變圓形裝置角度，用手連續(xù)沿圓形裝置觸控，同時控制兩個圓形裝置等。

三、音視交互的感知

音視交互一直是交互音樂領(lǐng)域重要的表演形式之一。兩種藝術(shù)形式利用各自的藝術(shù)語言對作品的主題進行呈現(xiàn)與發(fā)展，相互詮釋彼此的同時以不同的對話形式構(gòu)成類似“重奏”的關(guān)系。二者的交互控制策略有多種形式，包括利用全部或部分聲音信號作為源數(shù)據(jù)來直接控制視覺變化，利用視覺信號控制聲音參數(shù)的變化，以及利用來自某種感應(yīng)裝置的源數(shù)據(jù)同時驅(qū)動聲音與視覺的各自展開等。

作品《宋韻·運河詩路》的交互系統(tǒng)運用了三個程序。其中Max/MSP 分析由歷動捕捉到的演奏員手部位置信息，這包括檢測左右手的存在與否以及它們在X 軸和Y 軸上的具體位置。這些信息隨后通過MIDI.CC（連續(xù)控制）消息傳輸?shù)終yma 系統(tǒng)，用于聲音的合成和實時控制。Kyma 中的數(shù)據(jù)映射策略包含兩個主要方面，其一是聲音的開始取決于左右手的出現(xiàn)，或是位于特定坐標(biāo)軸上；其二是音色的變化通過X、Y 軸上的位置進行控制。除了實時聲音合成及控制外， 這些數(shù)據(jù)在Kyma 里還通過OSC 通信協(xié)議發(fā)送至TouchDesigner，實現(xiàn)視覺效果的實時生成和控制。例如，手的出現(xiàn)映射到視覺呈現(xiàn)的開始，手的具體位置信息會影響粒子的流動速度等，從而創(chuàng)造出一種動作、音樂及視覺緊密結(jié)合的效果。作品《蝶之夢·夢之蝶》中控制視覺變化的源數(shù)據(jù)來自歷動傳感器，Max/MSP 中的Jitter 負責(zé)處理視覺數(shù)據(jù)映射。作品的影像素材取自現(xiàn)場演出場景中的表演者手勢動作與歷動傳感器，通過由點構(gòu)成的集群形態(tài)的視覺造型，結(jié)合鏡像對稱構(gòu)成的萬花筒視覺效果，數(shù)字影像將真實、具體的演出場景演繹成為抽象性的內(nèi)容。作品《初生》基于Max 編程環(huán)境完成聲音與影像交互。其中，聲音部分的程序分為“基底”（Bed）和“對象”（Object）兩部分5PsCfkSFxz22Lnejllcq7rk2iW/zdtXX1K7uk+DqrME=，基底部分負責(zé)串聯(lián)各個部分并形成結(jié)構(gòu)，對象負責(zé)呼應(yīng)影像片段的運動，兩部分均包含了不同類型的聲音合成、采樣管理與調(diào)制技術(shù)，以保證多樣化的聲音處理與組織效果呈現(xiàn)。影像系統(tǒng)以不同形態(tài)的粒子云為主，其生成程序分為“渲染功能區(qū)”“矢量與引力場生成區(qū)”“粒子顯示區(qū)”三個主要部分。三部分結(jié)合產(chǎn)生了一個具有多重控制源的粒子系統(tǒng)，其核心部分是采用jit.gen 編寫的引力算法對象， 該對象可生成具有隨機形態(tài)的粒子云，在此基礎(chǔ)上，通過導(dǎo)入外部建模文件（jit.gl.model）、音頻信號、算法圖樣（jit.bfg）等數(shù)據(jù)對粒子云的形態(tài)進行塑造。結(jié)合粒子系統(tǒng)本身的控制參數(shù)， 粒子云本身的運動狀態(tài)（速度、方向）也會產(chǎn)生多樣的變化。因此，在多個控制參數(shù)的管理下， 粒子云的形態(tài)具有極強的可塑性，在視聽可視化設(shè)計中可以適應(yīng)各類聲音數(shù)據(jù)的信號參數(shù)反饋，并實現(xiàn)藝術(shù)化的呈現(xiàn)。《客廳戲劇》將舞臺演出場景與內(nèi)容投射成為虛擬的影像。AI 視頻捕捉到的實時數(shù)據(jù)通過OSC 協(xié)議傳輸?shù)組ax 軟件中，為音樂生成創(chuàng)造了即時的數(shù)據(jù)流。Max 軟件負責(zé)接收和處理這些數(shù)據(jù)，并通過精心設(shè)計的算法將實時捕捉到的數(shù)據(jù)映射為音樂參數(shù)。這些音樂參數(shù)包括音符的控制、音樂表達形式的控制以及音樂進程的控制（CUE）。音符的控制涵蓋了音高、音量和持續(xù)時間等方面，而音樂表達形式的控制則允許對音樂的情感和節(jié)奏進行精準(zhǔn)調(diào)整。引入音樂進程的控制系統(tǒng)使得作曲家能夠預(yù)先定義和編排一系列音樂進程，根據(jù)舞臺上發(fā)生的事件自動切換，從而創(chuàng)造出更加動態(tài)和多變的音樂體驗。

四、藝術(shù)內(nèi)涵的體現(xiàn)

當(dāng)代交互音樂以多元的媒介結(jié)構(gòu)和形式，通過獨特的創(chuàng)作視角對客觀事物、社會思潮與傳統(tǒng)文化等進行審視和思辨。它們不僅期望通過藝術(shù)內(nèi)容來折射作品的主題，還嘗試通過在媒介裝置、表演形式與技術(shù)路徑中去投射作品的文化內(nèi)涵。

作品《宋韻·運河詩路》與《蝶之夢·夢之蝶》以中國古典文化為背景，通過不同的音樂風(fēng)格與聲音形態(tài)來映射古典文化符號。在聲音材料選擇上，《宋韻·運河詩路》以中國傳統(tǒng)民族打擊樂器及具有濃郁地域特色與文化符號意義的越劇唱段采樣為創(chuàng)作材料，使作品在音色、節(jié)奏與音調(diào)組織方面具有典型的中國傳統(tǒng)音樂語言與符號特征。作品視覺設(shè)計以“宋代運河歷史為切入點，從詩詞與中國傳統(tǒng)繪畫中提取意象元素，結(jié)合地塊特點與舞臺空間的邏輯，設(shè)計實時變幻的影像，營造現(xiàn)代東方意境。”交互媒介的藝術(shù)形式突破了傳統(tǒng)民族樂器與越劇的表演局限，被人們熟知的原始藝術(shù)素材在媒介技術(shù)和語言搭建起的全新感知系統(tǒng)中被賦予新的藝術(shù)語態(tài)，其材料的變化形態(tài)與路徑體現(xiàn)出基于聲音變形技術(shù)與數(shù)字影像處理技術(shù)下的審美特征，讓作品以全新的視角和姿態(tài)展現(xiàn)出“在詩意化的視聽盛宴中體悟大運河古今敘事的起承轉(zhuǎn)合”。《蝶之夢·夢之蝶》的創(chuàng)作靈感來自莊子的《莊周夢蝶》，作者通過在虛擬電子音響與現(xiàn)實聲音，虛擬視覺影像和現(xiàn)實場景表演邊界之間的探索，探討莊子提出的人不可能確切地區(qū)分真實和虛幻世界的這一經(jīng)典哲學(xué)問題。 在作品的三個段落———“現(xiàn)實”“夢”“夢中夢”中，聲音與視覺均經(jīng)歷了一場由現(xiàn)實到虛擬的變化歷程。

哲學(xué)一直以來是新媒體藝術(shù)領(lǐng)域的創(chuàng)作焦點，尤其是對生命、宇宙終極問題的思考。《煉金術(shù)》《緣源元》與《初生》三部作品的主題關(guān)乎宗教哲學(xué)與宇宙觀。《煉金術(shù)》的創(chuàng)作背景源自古希臘萬物本源的哲學(xué)思想。“古希臘的煉金術(shù)認為，所有物質(zhì)都是由第一物質(zhì)和‘素質(zhì)’構(gòu)成……作者使用的多面體‘水晶’被賦予‘第一物質(zhì)’的意涵，不同顏色的燈光代表不同種類的‘元素’。”作品《緣源元》表達著作者對于生命起源的思考與理解。“起源、輪回和時空延伸的抽象含義可以描述和比擬世界萬物。在日復(fù)一日，年復(fù)一年，周而復(fù)始的運動中，我們對時間跨度的感悟時而瞬息萬變，時而停滯不前。”在這場關(guān)于起源、輪回的藝術(shù)探討中，以裝置的圓形視覺造型為載體，以交互姿勢為表現(xiàn)路徑，以聲音表現(xiàn)與組織為藝術(shù)內(nèi)核，使作品在復(fù)合媒介語言中“形神兼?zhèn)洹薄Ｗ髌贰冻跎防贸橄蟮穆曇艉鸵曈X呈現(xiàn)了一幅壯觀的聲景畫卷。“這是一場來自未來的宗教儀式，表達了人類對自身存在起源、對于空間與時間誕生時刻的敬畏與好奇。”作品包含四個部分，分別是空間的爆發(fā)，生命的播撒、時間的流淌、星系的消長。這四個主題所描繪的客觀事物的形態(tài)，以及作者對時間與空間的理解被投射在聲音與視覺表達上。

除了古典文化與哲學(xué)命題之外，借用新媒體技術(shù)來重新詮釋現(xiàn)實生活中的人與物，亦是創(chuàng)作者樂于關(guān)注的主題。作品《客廳戲劇》以生動的表演形式再現(xiàn)了人與人之間的交往關(guān)系。通過兩人之間相互試探到矛盾激發(fā)的故事線，人與人交往中存在的多重復(fù)雜心理、身體行為改變以及情緒起伏通過現(xiàn)實與虛擬兩種藝術(shù)途徑得以呈現(xiàn)。作品《自由落體》延續(xù)著電子音樂領(lǐng)域?qū)ΜF(xiàn)實生活中的聲音進行再創(chuàng)造的審美趣味。乒乓球的聲音結(jié)合其自由落地時由慢至快的節(jié)奏律動給予作者充分的音樂想象空間，并由此引發(fā)了一場利用交互技術(shù)趣味展現(xiàn)乒乓之聲的藝術(shù)表演。

結(jié)語

新媒介音樂藝術(shù)的魅力在于能夠打破所有藝術(shù)形式之間的壁壘， 將科技手段轉(zhuǎn)化為藝術(shù)語言，注入藝術(shù)創(chuàng)作與表現(xiàn)中去，展現(xiàn)出人、計算機、各種移動設(shè)備、人工智能產(chǎn)品與傳感器之間進行媒介連接與信息互通的未來世界之圖景。新媒體藝術(shù)領(lǐng)域的創(chuàng)作者應(yīng)在對音樂科技前沿技術(shù)保持高敏銳度的同時，以獨特的藝術(shù)視角來觀察、解釋當(dāng)今的世界。近年來AI 人工智能技術(shù)迅猛發(fā)展，逐步滲透至各個行業(yè)領(lǐng)域，使人們重新定義、審視著人與智能技術(shù)之間的關(guān)系。值得肯定的是，我們從《客廳戲劇》作品中已看到當(dāng)代中國新媒體藝術(shù)家對AI 人工智能技術(shù)的初步探索， 它為我們未來將如何結(jié)合、利用人工智能技術(shù)進行創(chuàng)作與表演提供了重要的參考方向。

李秋筱 博士，浙江音樂學(xué)院音樂工程系副教授

（責(zé)任編輯 張萌）