從三部新銳作品探究當前交互音樂的創(chuàng)作形式

世紀70年代，交互技術(shù)在音樂領(lǐng)域的應用引發(fā)了交互式作曲（Interactive Composing）的誕生。這是“一種作曲或音樂即興演奏的方式，計算機軟件介入到實時的現(xiàn)場演奏中，影響或修改音樂”①。從概念的闡述中我們不難發(fā)現(xiàn)這種創(chuàng)作方式區(qū)別于常規(guī)的三個主要特點：音樂的不確定性、互動性和實時性。近四十年來，交互式作曲被大量運用于現(xiàn)場電子音樂演出中，它打破了音樂內(nèi)容的預置模式，在音樂表演和呈現(xiàn)之間建立起互動的橋梁。

隨著信息時代的到來，數(shù)字技術(shù)的發(fā)展也為藝術(shù)提供了更多跨界的可能性。聲音藝術(shù)可以更為方便地與各種數(shù)字化媒介進行聯(lián)通，與視覺藝術(shù)進行互控。由此，交互式聲音創(chuàng)作的范圍也得到了更為廣泛的拓展，呈現(xiàn)出“人機交互”“機機交互”“視聽交互”三種具有代表性的表現(xiàn)形式。本文從中各選取了一部新銳作曲家于近期創(chuàng)作的作品，通過對創(chuàng)作理念和技術(shù)手段的解析，分別對三種交互環(huán)境中的創(chuàng)作形式進行探討。

一、基于人機交互環(huán)境的音樂形式

（一）概念綜述

“人機交互”的音樂形式最早誕生于交互類電子音樂的現(xiàn)場演出，主要是由演奏員的動作指令（包括器樂演奏動作、歌唱動作、舞蹈動作等多種指令信息）與計算機編程程序之間展開交互。在這種形式中，預先編寫的程序通過傳感裝置捕捉到演奏動作信息后進行運算和渲染，并生成新的聲音經(jīng)由揚聲器反饋給演奏者以進行下一步交互。

近年來，除專業(yè)音樂會以外，愈來愈受到關(guān)注的還有大量以人機交互為核心的聲音裝置作品。與現(xiàn)場電子音樂演出不同的是，交互式聲音裝置的表演主體由專業(yè)演奏員變?yōu)槠胀ǖ膮⒂^者，其更加注重大眾的參與和體驗。也因此，此類作品在創(chuàng)作的構(gòu)思與方式上與音樂會作品存在較大不同。例如，裝置作品沒有動機的展開、線性的時間發(fā)展邏輯，而大多是以模塊化的形式設(shè)置不同的交互效果，讓觀眾通過互動感知聲音所蘊含的情感與思想。

（二）交互式聲音裝置《凌波I》創(chuàng)作解析

王新宇的《波凌I》是一部基于人機交互環(huán)境的多媒體聲音裝置，該作品首演于2018年10月的裝置系列展演“聲之形”。作者以“凌”表現(xiàn)升騰之意，“波”則體現(xiàn)了中國傳統(tǒng)文化意象中水的形象。作品綜合采用了動作捕捉技術(shù)、計算機圖形技術(shù)、全息膜投影技術(shù)、四聲道計算機聲音處理與回放技術(shù)，使聲音、影像同時在垂直維度中的表現(xiàn)形成為一種對升騰的象征，旨在以新媒體藝術(shù)的角度宏揚中華文化。

在整體的技術(shù)架構(gòu)方面，《波凌I》主要由7個軟、硬件單元構(gòu)成整個多媒體裝置系統(tǒng)。主要包括：動作傳感與捕捉模塊、動作與聽視覺參數(shù)關(guān)聯(lián)與映射程序、數(shù)據(jù)驅(qū)動音頻程序模塊、數(shù)據(jù)驅(qū)動視覺程序模塊、視頻投影模塊、數(shù)字音頻接口和音頻回放設(shè)備。其中，動作傳感與捕捉模塊、視頻投影模塊、數(shù)字音頻接口及音頻回放設(shè)備屬于系統(tǒng)中的獨立硬件模塊，而動作與聽視覺參數(shù)關(guān)聯(lián)與映射等三個程序模塊，全部處于同一多媒體計算機工作站當中。

圖一? 《波凌·I》系統(tǒng)結(jié)構(gòu)簡圖

作品通過微軟公司的Kinect 2.0體感攝像頭對體驗者的手勢動作進行捕捉，并將捕捉到的手部位置信息傳送到預制好的MAX /MSP②程序中。由此，得到一對適用于音樂與視覺參數(shù)控制的X、Y位置坐標數(shù)值作為控制實時音樂與視頻生成和處理的原始驅(qū)動數(shù)據(jù)，并同時送入到動作與聽覺、視覺參數(shù)相關(guān)聯(lián)的映射程序模塊中，喚醒音樂程序模塊和視覺程序模塊開始工作，從而引起聽覺與視覺效果的實時變化。

具體來說，在聲音交互部分中，MAX程序在接收到X、Y位置坐標源數(shù)值后，會實時生成兩類具有豐富層次的音樂內(nèi)容。第一類是基于電子合成樂器聲源的一些帶有神秘色彩的長線條、和聲性或旋律領(lǐng)奏性聲音以及一些帶有彈撥性質(zhì)、敲擊性質(zhì)的節(jié)奏性聲音;第二類則是數(shù)字音頻采樣庫中的自然聲源，例如不同液體、液滴以及波浪的聲音，以呼應作品的主題。作品對X、Y位置坐標源數(shù)值的輸出做了加速度判定處理，通過體驗者手部位置的加速度情況而判定當前的動作激烈程度，從而劃分出兩種不同的聲音激發(fā)層次。在較為柔和的層次中，實時音頻程序的控制以輕柔的電子鋪底化和聲音層的漸變?yōu)橹鳎曇舻拿靼怠⒁舾摺⒁魠^(qū)等要素隨著的位置源坐標的變化做出相應的響應和變化。而當體驗者的動作較為激烈時，實時音頻程序同樣會切換到相對激烈的音樂模式當中，隨機觸發(fā)較為響亮的電子鈴音與打擊樂聲部，以及不同的波浪采樣聲音。

在視覺交互部分中，數(shù)據(jù)驅(qū)動視覺模塊以Jitter程序中的“jit.gl.mesh”物件為核心，通過“jit.noise”與“jit.gen”物件之間的組合，在“jit.world”中利用OPEN GL標準圖形引擎生成一個包含大量粒子點的空間。之后，利用另一組“jit.noise”與“jit.gen”構(gòu)建出一個可以對空間中所有“液粒”形成吸附作用的引力點，通過對“jit.world”引力數(shù)據(jù)和引力空間的重力狀態(tài)進行實時控制和調(diào)節(jié)，形成一種特殊的粒子吸附、升騰與懸浮效果。在此基礎(chǔ)上，整個數(shù)據(jù)驅(qū)動視覺模塊設(shè)置了“有人操控”和“無人操控”兩種工作模式，當有觀眾進行參與時，視覺程序中的控制接口會打開，由體驗者接管數(shù)據(jù)控制權(quán)，而當裝置的動作識別區(qū)域內(nèi)沒有觀者存在時，程序會自動進入“無人操控”模式，將視覺模塊中的所有顆粒鎖定在空間的“地面”上，形成一汪液體隨機滾動、游弋的效果。

在作品最終的整體呈現(xiàn)層面，音頻輸出的空間定位算法成為至關(guān)重要的一個部分。該算法將視覺模塊中的引力點在二維聲場中進行數(shù)據(jù)映射，得到相應的的位置，并根據(jù)位置的坐標數(shù)值調(diào)節(jié)四個揚聲器的振幅水平，從而讓聲音的定位變化與視覺引力點的定位變化類似，共同與參觀者的動作產(chǎn)生一種直觀的關(guān)聯(lián)。另外，與視覺模塊類似的是，音頻模塊同樣設(shè)置了有人與無人兩種運轉(zhuǎn)模式。當有人參觀時，聲音進入一種由手勢動作驅(qū)動的“演奏”模式，而在無人參與時，則是一種隨機化的氛圍電子音樂生成狀態(tài)。

二、基于“機機交互”環(huán)境的音樂形式

（一）概念綜述

“機機交互”嚴格來說是在“人機交互”大范疇中發(fā)展出的分支——以數(shù)字化媒介與計算機程序展開交互的模式。得益于當前聲音編程環(huán)境的開放性，音樂能夠更加自由地與各種數(shù)字化設(shè)備進行聯(lián)通，從而極大地拓寬了交互媒介的范圍，衍生出基于智能設(shè)備與計算機交互的音樂創(chuàng)作。其中，既有將生活中常見的電子設(shè)備例如智能手機、平板電腦、數(shù)字游戲桿等化身為“交互樂器”實時改變音樂呈現(xiàn)的作品，也不乏藝術(shù)家們根據(jù)創(chuàng)作需要，用自己研發(fā)、設(shè)計并制作的創(chuàng)新數(shù)字媒介進行交互音樂表演的精彩案例。媒介的豐富程度和更新速度令人目不暇接。

“機機交互”創(chuàng)作面臨兩個核心問題;其一為數(shù)據(jù)如何進行映射，其二為如何通過現(xiàn)場肢體表演與聲音形態(tài)建立必要的關(guān)聯(lián)。這兩個問題同樣也是此類創(chuàng)作的技術(shù)實現(xiàn)與審美理念之所在，決定著一部作品的呈現(xiàn)水準。在傳統(tǒng)聲學樂器中，無論是弦樂、管樂、打擊樂亦或是鍵盤類樂器，其演奏動作與聲音效果已通過物理的聲學規(guī)律綁定，因此演奏動作與聲音之間的映射關(guān)系是固定的。但這種情況在新型數(shù)字化媒介中并不存在，因而，在此類創(chuàng)作中，如何為演奏動作與聲音建立映射關(guān)系、建立何種映射關(guān)系成為了創(chuàng)作者首要考慮的問題。

（二）《繩索與聲線之歌》創(chuàng)作解析

《繩索與聲線之歌》是馮金碩為Gametrak控制器而作的交互式電子音樂作品。Gametrak原本是為數(shù)字游戲開發(fā)的一種可以追蹤雙手三維位置的線性數(shù)字媒介。其控制線長達2米，四周伸展面積可達到12.56平方米，能夠讓現(xiàn)場演奏更具表演性。同時，因為具有清晰的拉力反饋便于精準控制，對演奏的精度有很大的幫助。

該作品的主要創(chuàng)作思路是通過Gametrak控制器實時捕捉演奏者的動作信息，觸發(fā)聲音的合成。創(chuàng)作策略分為演奏形式設(shè)計、演奏動作設(shè)計、數(shù)據(jù)映射設(shè)計三個部分。

在演奏形式方面，表演過程類似于操控3D游戲：演奏者的雙手牽拉控制器的繩索，產(chǎn)生的動作數(shù)據(jù)實時觸發(fā)計算機程序進行聲音合成。這些由計算機合成的聲音模仿了歌唱時的聲腔，仿佛是用雙手“牽拉”出的樂句，既富有藝術(shù)的夸張，又頗具趣味性。

在演奏動作方面，由于動作與聲音表現(xiàn)的契合度將極大地左右觀眾對于作品的理解，因此，動作設(shè)計以及如何與聲音內(nèi)容進行關(guān)聯(lián)是作曲家考慮的重點。在《繩索與聲線之歌》的創(chuàng)作和演出過程中，結(jié)合聲音的表現(xiàn)與控制器的自身特性，作者從三個方面將動作與聲音形態(tài)進行了關(guān)聯(lián)，即：演奏動作的指向決定了音高的上行與下行、演奏動作的幅度和力度變化決定了音樂的響度大小、演奏動作的速度與音樂的節(jié)奏律動相對應。基于以上三種關(guān)聯(lián)，作者在程序中建立了動作數(shù)據(jù)與聲音內(nèi)容的映射關(guān)系，使雙手拉拽繩索的動作能夠?qū)崟r影響和控制聲音合成的參數(shù)，包括音高、包絡、共振峰等等，從而引發(fā)聲音形態(tài)的實時變化。并且，當音樂速度極快或響度很高的時候，將動作幅度適當夸大，以加深聲音形態(tài)的表現(xiàn)力。

在數(shù)據(jù)映射策略方面，《繩索與聲線之歌》以“多對一”映射為主，即多個動作參數(shù)共同控制一個聲音合成參數(shù)，各參數(shù)之間構(gòu)成交叉。例如，為了能夠在撥動控制器的牽線時營造一種“撥弦”的效果，作者將撥動牽線時同時獲得的X軸傳感器和Y軸傳感器坐標信息映射成為計算機合成“撥弦”聲音的數(shù)據(jù)。并在過程中增加了一個映射中介層，即：將X軸和Y軸的兩個笛卡爾坐標系（Cartesian coordinates）的向量轉(zhuǎn)化成極坐標（Polar Coordinates）的向量，即r/θ（半徑坐標與角坐標），再丟棄r數(shù)據(jù)只保留θ數(shù)據(jù)，獲得牽線的離軸角度，從而讓程序理解“撥弦”的動作。

三、基于視聽交互環(huán)境的音樂形式

（一）概念綜述

聲音是一門聽覺藝術(shù)，而人們對于聲音意象的感知卻在一定程度上依賴于視覺經(jīng)驗。無論是樂器演奏、人聲歌唱、交通工具的鳴響、動物的鳴叫等諸多能夠傳遞信息的具象聲音，還是那些不以承載和傳遞信息為目的的抽象聲音，對于其意象的理解往往都需要結(jié)合對視覺感官的聯(lián)想。例如用“顆粒性”去想象時值短促的聲音，用“線性”去想象長時值的聲音等。這種基于形態(tài)與空間上的所謂視聽連覺的通感，成為視聽交互創(chuàng)作中聲音意象可視化的實現(xiàn)路徑，讓“無形”的聲音變得“有形”。

“視聽交互”創(chuàng)作包含了視覺影像與聲音藝術(shù)兩種元素，視聽內(nèi)容均由計算機編程環(huán)境實時生成，通過數(shù)據(jù)的交換進行聯(lián)動與互控。其打破了傳統(tǒng)視聽結(jié)合形式中視覺媒體與聲音媒體各自“封裝”的狀態(tài)，使兩種媒體互為主從，以“聲音”可視化和“視覺”可聽化的形式相互實現(xiàn)增值。因此，在此類創(chuàng)作中，視覺形象與聲音形態(tài)的關(guān)聯(lián)性顯得尤為重要，如何讓聲音意象與視覺形象相互契合成為創(chuàng)作的核心之所在。

（二）《造物者的贊美詩》創(chuàng)作解析

《造物者的贊美詩》是馬仕驊創(chuàng)作的一部三段式視聽交互作品，作品的核心思想體現(xiàn)的是作者對于人類與數(shù)字世界之間關(guān)系的思考。其中的視覺影像與音頻部分均通過Max編程環(huán)境實時演算生成。從微觀角度來看，雙方互相影響對方的效果呈現(xiàn)，但從宏觀角度出發(fā)，整體的變化規(guī)則卻掌握在表演者手中，以此為“造物”點題。

1. 聲音材料的構(gòu)成與組織方式

由于作品意圖討論人性與數(shù)字世界之間的關(guān)系，因此在聲音材料的選擇方面，作者希望能夠體現(xiàn)出兩種層次的對立與融合。全曲的聲音素材共分成兩大類：由正弦波、白噪聲等聲音信號為基礎(chǔ)的合成聲用來預示“數(shù)字世界”，“造物者”的主題源于四個樂句的女聲吟唱，使用了教會調(diào)式和較為宣敘性的旋律。

在完整呈示人聲材料后，其自然的聲音特質(zhì)逐漸開始受到電子化處理手段的影響，開始逐漸向著抽象化的電子合成聲音特質(zhì)靠攏。經(jīng)過兩個段落的發(fā)展，逐漸與電子化的背景融為一體，以此隱喻人類所處的現(xiàn)實世界與數(shù)字虛擬世界的逐漸融合所帶來的的人性迷失。值得一提的是，為了深入表現(xiàn)出從自然聲到電子聲的過渡，作者使用了“交叉合成”（Cross-Synthesis）③的手法，將人聲材料的頻譜信息進行實時分析，并將其緩慢加入到以振蕩器為基本工具的電子聲合成程序當中。

2.影像表現(xiàn)特征與視聽結(jié)合手法

作品的影像材料同樣采用了寫實素材與抽象素材的結(jié)合，并通過實時控制完成二者間的平滑過渡，過渡變化的幅度由聲音部分的振幅、合成聲調(diào)制幅度等數(shù)據(jù)控制，從而達成視聽媒體間的緊密結(jié)合。影像內(nèi)容主要基于面部建模、粒子和立方體三個主要模塊變形發(fā)展而成，其中大部分影像模塊的效果變化都受到了聲音信號不同程度的影響。同時，兩者之間也存在著明顯的關(guān)聯(lián)，這種關(guān)聯(lián)主要體現(xiàn)在影像素在與聲音素材在整部作品的結(jié)構(gòu)分布中相互對應，在形態(tài)特征的表現(xiàn)上互相參考。

3.《造物者的贊美詩》所體現(xiàn)的視聽關(guān)系分析

第一，宏觀視聽關(guān)系分析

從作品的宏觀方面來說，影像部分與聲音部分均顯現(xiàn)出純粹極簡、抽象化的總體形象。為了使作品更加清晰有序，作者對聲音與影像的交互邏輯進行了精心設(shè)計，音頻模塊與視頻模塊在各個段落中的對應關(guān)系以圖表方式進行歸納如下（未出現(xiàn)對應的部分用“X”符號代替）：

從上表能夠看出，為了讓畫面的景別關(guān)系更加清晰，作者基于視聽動態(tài)結(jié)合設(shè)計了功能區(qū)分。在大多數(shù)情況下，音視頻模塊之間相互對應，確保影像與聲音呈現(xiàn)之間保持深層次的互動。在少數(shù)情況中，音視頻模塊暫時分割，視頻模塊單獨作為背景構(gòu)圖，沒有與聲音關(guān)聯(lián)，反之亦然。這樣的現(xiàn)象大多出現(xiàn)在內(nèi)容密集的段落，如在高潮段落三中，由于此時音樂與視頻變化的節(jié)奏已非常快，作者有意識地讓音頻模塊C產(chǎn)生的持續(xù)鐘鳴音脫離同步關(guān)系，獨立存在于背景當中。可見作者在處理兩種媒體交互的邏輯時較多考慮了聲音的顯形比例與二者之間的整合關(guān)系，從而使作品中的聲音意象在影像中的傳遞更合乎邏輯性。

第二，微觀視聽關(guān)系分析

從微觀設(shè)計來說，《造物者的贊美詩》中聲音與影像的結(jié)合邏輯主要與視聽聯(lián)覺的原理相關(guān)，具體體現(xiàn)在三個方面：

從聲音形態(tài)與造型要素來看，由于聲音部分大量碎片化的人聲、噪聲、脈沖低音等在總體聽感上都具有明顯的“粒子特性”，并且大多以顆粒集群的方式呈現(xiàn)，所以作者在視覺影像中同樣選用了許多點狀素材進行構(gòu)圖，將碎片化特征體現(xiàn)在視覺上。而這些素材的變化通過程序設(shè)計能夠與聲音信號通過數(shù)據(jù)映射來保持同步，使視聽雙方在形態(tài)方面能夠更好的契合。

從聲音音色感受與影像色彩要素來看，作品將二者保持了相當?shù)慕y(tǒng)一性。整部作品的視覺空間與其中的內(nèi)容全部采用單色呈現(xiàn)，黑白兩色分別用于背景與前景內(nèi)容，通過相互調(diào)換，帶來光影關(guān)系的劇烈變化，增強了段落間的對比，營造出視聽表現(xiàn)的張力。

從聲音空間與視覺空間的結(jié)合角度看，作者通過調(diào)整聲像位置與混響比例在聽覺空間中形成了聲場的的遠、中、近景，并通過視覺空間中的景別關(guān)系加以呈現(xiàn)。這樣的安排使雙方的空間層次都十分清晰，當前處于主體位置的視聽材料能夠同步突出，不同層次的關(guān)系也能夠相互得到更為直觀的表現(xiàn)。

結(jié) 語

交互式音樂創(chuàng)作是一個高度綜合的廣闊領(lǐng)域，它涵蓋了多維感官與多重媒體的內(nèi)容，既是創(chuàng)作形式的創(chuàng)新，也是演奏形式和體驗形式的創(chuàng)新。依托于快速發(fā)展的交互技術(shù)和不斷演進的各種新型數(shù)字媒介，創(chuàng)作者們將聽覺藝術(shù)的維度不斷向外拓展，與各類藝術(shù)元素進行融匯貫通，并在一定范圍內(nèi)增加內(nèi)容的隨機性，使得形式更加豐富。我們能夠預見到的是：交互式音樂富有希望與前景，同時也充滿了未知與挑戰(zhàn)，而這些無窮的變化和不確定性也正是它的價值與樂趣之所在。在視聽媒體高度發(fā)展、音樂與科技深度融合的趨勢下，我們可以期待它更為有趣和智能化的未來。

這種方法最早出現(xiàn)于法國作曲家讓·克勞德·里賽特（Jean Claude Risset）等一系列作品當中，對于電子音樂創(chuàng)作中的

材料平衡與過渡問題提出了極佳的解決方案。

[基金項目：本文為2018年中央高校基本科研業(yè)務費專項資金“交互式聲音設(shè)計研究”（項目批準號2018NTSS53）、2018年國家社科基金藝術(shù)學重大項目“中國數(shù)字新媒體藝術(shù)創(chuàng)新研究”（項目批準號18ZD12）的階段成果]

趙曉雨? 北京師范大學藝術(shù)與傳媒學院講師，中央音樂學院電子音樂作曲博士? ? ? ? ?（責任編輯? 張萌）