從三部新銳作品探究當前交互音樂的創作形式

世紀70年代，交互技術在音樂領域的應用引發了交互式作曲（Interactive Composing）的誕生。這是“一種作曲或音樂即興演奏的方式，計算機軟件介入到實時的現場演奏中，影響或修改音樂”①。從概念的闡述中我們不難發現這種創作方式區別于常規的三個主要特點：音樂的不確定性、互動性和實時性。近四十年來，交互式作曲被大量運用于現場電子音樂演出中，它打破了音樂內容的預置模式，在音樂表演和呈現之間建立起互動的橋梁。

隨著信息時代的到來，數字技術的發展也為藝術提供了更多跨界的可能性。聲音藝術可以更為方便地與各種數字化媒介進行聯通，與視覺藝術進行互控。由此，交互式聲音創作的范圍也得到了更為廣泛的拓展，呈現出“人機交互”“機機交互”“視聽交互”三種具有代表性的表現形式。本文從中各選取了一部新銳作曲家于近期創作的作品，通過對創作理念和技術手段的解析，分別對三種交互環境中的創作形式進行探討。

一、基于人機交互環境的音樂形式

（一）概念綜述

“人機交互”的音樂形式最早誕生于交互類電子音樂的現場演出，主要是由演奏員的動作指令（包括器樂演奏動作、歌唱動作、舞蹈動作等多種指令信息）與計算機編程程序之間展開交互。在這種形式中，預先編寫的程序通過傳感裝置捕捉到演奏動作信息后進行運算和渲染，并生成新的聲音經由揚聲器反饋給演奏者以進行下一步交互。

近年來，除專業音樂會以外，愈來愈受到關注的還有大量以人機交互為核心的聲音裝置作品。與現場電子音樂演出不同的是，交互式聲音裝置的表演主體由專業演奏員變為普通的參觀者，其更加注重大眾的參與和體驗。也因此，此類作品在創作的構思與方式上與音樂會作品存在較大不同。例如，裝置作品沒有動機的展開、線性的時間發展邏輯，而大多是以模塊化的形式設置不同的交互效果，讓觀眾通過互動感知聲音所蘊含的情感與思想。

（二）交互式聲音裝置《凌波I》創作解析

王新宇的《波凌I》是一部基于人機交互環境的多媒體聲音裝置，該作品首演于2018年10月的裝置系列展演“聲之形”。作者以“凌”表現升騰之意，“波”則體現了中國傳統文化意象中水的形象。作品綜合采用了動作捕捉技術、計算機圖形技術、全息膜投影技術、四聲道計算機聲音處理與回放技術，使聲音、影像同時在垂直維度中的表現形成為一種對升騰的象征，旨在以新媒體藝術的角度宏揚中華文化。

在整體的技術架構方面，《波凌I》主要由7個軟、硬件單元構成整個多媒體裝置系統。主要包括：動作傳感與捕捉模塊、動作與聽視覺參數關聯與映射程序、數據驅動音頻程序模塊、數據驅動視覺程序模塊、視頻投影模塊、數字音頻接口和音頻回放設備。其中，動作傳感與捕捉模塊、視頻投影模塊、數字音頻接口及音頻回放設備屬于系統中的獨立硬件模塊，而動作與聽視覺參數關聯與映射等三個程序模塊，全部處于同一多媒體計算機工作站當中。

圖一? 《波凌·I》系統結構簡圖

作品通過微軟公司的Kinect 2.0體感攝像頭對體驗者的手勢動作進行捕捉，并將捕捉到的手部位置信息傳送到預制好的MAX /MSP②程序中。由此，得到一對適用于音樂與視覺參數控制的X、Y位置坐標數值作為控制實時音樂與視頻生成和處理的原始驅動數據，并同時送入到動作與聽覺、視覺參數相關聯的映射程序模塊中，喚醒音樂程序模塊和視覺程序模塊開始工作，從而引起聽覺與視覺效果的實時變化。

具體來說，在聲音交互部分中，MAX程序在接收到X、Y位置坐標源數值后，會實時生成兩類具有豐富層次的音樂內容。第一類是基于電子合成樂器聲源的一些帶有神秘色彩的長線條、和聲性或旋律領奏性聲音以及一些帶有彈撥性質、敲擊性質的節奏性聲音;第二類則是數字音頻采樣庫中的自然聲源，例如不同液體、液滴以及波浪的聲音，以呼應作品的主題。作品對X、Y位置坐標源數值的輸出做了加速度判定處理，通過體驗者手部位置的加速度情況而判定當前的動作激烈程度，從而劃分出兩種不同的聲音激發層次。在較為柔和的層次中，實時音頻程序的控制以輕柔的電子鋪底化和聲音層的漸變為主，聲音的明暗、音高、音區等要素隨著的位置源坐標的變化做出相應的響應和變化。而當體驗者的動作較為激烈時，實時音頻程序同樣會切換到相對激烈的音樂模式當中，隨機觸發較為響亮的電子鈴音與打擊樂聲部，以及不同的波浪采樣聲音。

在視覺交互部分中，數據驅動視覺模塊以Jitter程序中的“jit.gl.mesh”物件為核心，通過“jit.noise”與“jit.gen”物件之間的組合，在“jit.world”中利用OPEN GL標準圖形引擎生成一個包含大量粒子點的空間。之后，利用另一組“jit.noise”與“jit.gen”構建出一個可以對空間中所有“液粒”形成吸附作用的引力點，通過對“jit.world”引力數據和引力空間的重力狀態進行實時控制和調節，形成一種特殊的粒子吸附、升騰與懸浮效果。在此基礎上，整個數據驅動視覺模塊設置了“有人操控”和“無人操控”兩種工作模式，當有觀眾進行參與時，視覺程序中的控制接口會打開，由體驗者接管數據控制權，而當裝置的動作識別區域內沒有觀者存在時，程序會自動進入“無人操控”模式，將視覺模塊中的所有顆粒鎖定在空間的“地面”上，形成一汪液體隨機滾動、游弋的效果。

在作品最終的整體呈現層面，音頻輸出的空間定位算法成為至關重要的一個部分。該算法將視覺模塊中的引力點在二維聲場中進行數據映射，得到相應的的位置，并根據位置的坐標數值調節四個揚聲器的振幅水平，從而讓聲音的定位變化與視覺引力點的定位變化類似，共同與參觀者的動作產生一種直觀的關聯。另外，與視覺模塊類似的是，音頻模塊同樣設置了有人與無人兩種運轉模式。當有人參觀時，聲音進入一種由手勢動作驅動的“演奏”模式，而在無人參與時，則是一種隨機化的氛圍電子音樂生成狀態。

二、基于“機機交互”環境的音樂形式

（一）概念綜述

“機機交互”嚴格來說是在“人機交互”大范疇中發展出的分支——以數字化媒介與計算機程序展開交互的模式。得益于當前聲音編程環境的開放性，音樂能夠更加自由地與各種數字化設備進行聯通，從而極大地拓寬了交互媒介的范圍，衍生出基于智能設備與計算機交互的音樂創作。其中，既有將生活中常見的電子設備例如智能手機、平板電腦、數字游戲桿等化身為“交互樂器”實時改變音樂呈現的作品，也不乏藝術家們根據創作需要，用自己研發、設計并制作的創新數字媒介進行交互音樂表演的精彩案例。媒介的豐富程度和更新速度令人目不暇接。

“機機交互”創作面臨兩個核心問題;其一為數據如何進行映射，其二為如何通過現場肢體表演與聲音形態建立必要的關聯。這兩個問題同樣也是此類創作的技術實現與審美理念之所在，決定著一部作品的呈現水準。在傳統聲學樂器中，無論是弦樂、管樂、打擊樂亦或是鍵盤類樂器，其演奏動作與聲音效果已通過物理的聲學規律綁定，因此演奏動作與聲音之間的映射關系是固定的。但這種情況在新型數字化媒介中并不存在，因而，在此類創作中，如何為演奏動作與聲音建立映射關系、建立何種映射關系成為了創作者首要考慮的問題。

（二）《繩索與聲線之歌》創作解析

《繩索與聲線之歌》是馮金碩為Gametrak控制器而作的交互式電子音樂作品。Gametrak原本是為數字游戲開發的一種可以追蹤雙手三維位置的線性數字媒介。其控制線長達2米，四周伸展面積可達到12.56平方米，能夠讓現場演奏更具表演性。同時，因為具有清晰的拉力反饋便于精準控制，對演奏的精度有很大的幫助。

該作品的主要創作思路是通過Gametrak控制器實時捕捉演奏者的動作信息，觸發聲音的合成。創作策略分為演奏形式設計、演奏動作設計、數據映射設計三個部分。

在演奏形式方面，表演過程類似于操控3D游戲：演奏者的雙手牽拉控制器的繩索，產生的動作數據實時觸發計算機程序進行聲音合成。這些由計算機合成的聲音模仿了歌唱時的聲腔，仿佛是用雙手“牽拉”出的樂句，既富有藝術的夸張，又頗具趣味性。

在演奏動作方面，由于動作與聲音表現的契合度將極大地左右觀眾對于作品的理解，因此，動作設計以及如何與聲音內容進行關聯是作曲家考慮的重點。在《繩索與聲線之歌》的創作和演出過程中，結合聲音的表現與控制器的自身特性，作者從三個方面將動作與聲音形態進行了關聯，即：演奏動作的指向決定了音高的上行與下行、演奏動作的幅度和力度變化決定了音樂的響度大小、演奏動作的速度與音樂的節奏律動相對應。基于以上三種關聯，作者在程序中建立了動作數據與聲音內容的映射關系，使雙手拉拽繩索的動作能夠實時影響和控制聲音合成的參數，包括音高、包絡、共振峰等等，從而引發聲音形態的實時變化。并且，當音樂速度極快或響度很高的時候，將動作幅度適當夸大，以加深聲音形態的表現力。

在數據映射策略方面，《繩索與聲線之歌》以“多對一”映射為主，即多個動作參數共同控制一個聲音合成參數，各參數之間構成交叉。例如，為了能夠在撥動控制器的牽線時營造一種“撥弦”的效果，作者將撥動牽線時同時獲得的X軸傳感器和Y軸傳感器坐標信息映射成為計算機合成“撥弦”聲音的數據。并在過程中增加了一個映射中介層，即：將X軸和Y軸的兩個笛卡爾坐標系（Cartesian coordinates）的向量轉化成極坐標（Polar Coordinates）的向量，即r/θ（半徑坐標與角坐標），再丟棄r數據只保留θ數據，獲得牽線的離軸角度，從而讓程序理解“撥弦”的動作。

三、基于視聽交互環境的音樂形式

（一）概念綜述

聲音是一門聽覺藝術，而人們對于聲音意象的感知卻在一定程度上依賴于視覺經驗。無論是樂器演奏、人聲歌唱、交通工具的鳴響、動物的鳴叫等諸多能夠傳遞信息的具象聲音，還是那些不以承載和傳遞信息為目的的抽象聲音，對于其意象的理解往往都需要結合對視覺感官的聯想。例如用“顆粒性”去想象時值短促的聲音，用“線性”去想象長時值的聲音等。這種基于形態與空間上的所謂視聽連覺的通感，成為視聽交互創作中聲音意象可視化的實現路徑，讓“無形”的聲音變得“有形”。

“視聽交互”創作包含了視覺影像與聲音藝術兩種元素，視聽內容均由計算機編程環境實時生成，通過數據的交換進行聯動與互控。其打破了傳統視聽結合形式中視覺媒體與聲音媒體各自“封裝”的狀態，使兩種媒體互為主從，以“聲音”可視化和“視覺”可聽化的形式相互實現增值。因此，在此類創作中，視覺形象與聲音形態的關聯性顯得尤為重要，如何讓聲音意象與視覺形象相互契合成為創作的核心之所在。

（二）《造物者的贊美詩》創作解析

《造物者的贊美詩》是馬仕驊創作的一部三段式視聽交互作品，作品的核心思想體現的是作者對于人類與數字世界之間關系的思考。其中的視覺影像與音頻部分均通過Max編程環境實時演算生成。從微觀角度來看，雙方互相影響對方的效果呈現，但從宏觀角度出發，整體的變化規則卻掌握在表演者手中，以此為“造物”點題。

1. 聲音材料的構成與組織方式

由于作品意圖討論人性與數字世界之間的關系，因此在聲音材料的選擇方面，作者希望能夠體現出兩種層次的對立與融合。全曲的聲音素材共分成兩大類：由正弦波、白噪聲等聲音信號為基礎的合成聲用來預示“數字世界”，“造物者”的主題源于四個樂句的女聲吟唱，使用了教會調式和較為宣敘性的旋律。

在完整呈示人聲材料后，其自然的聲音特質逐漸開始受到電子化處理手段的影響，開始逐漸向著抽象化的電子合成聲音特質靠攏。經過兩個段落的發展，逐漸與電子化的背景融為一體，以此隱喻人類所處的現實世界與數字虛擬世界的逐漸融合所帶來的的人性迷失。值得一提的是，為了深入表現出從自然聲到電子聲的過渡，作者使用了“交叉合成”（Cross-Synthesis）③的手法，將人聲材料的頻譜信息進行實時分析，并將其緩慢加入到以振蕩器為基本工具的電子聲合成程序當中。

2.影像表現特征與視聽結合手法

作品的影像材料同樣采用了寫實素材與抽象素材的結合，并通過實時控制完成二者間的平滑過渡，過渡變化的幅度由聲音部分的振幅、合成聲調制幅度等數據控制，從而達成視聽媒體間的緊密結合。影像內容主要基于面部建模、粒子和立方體三個主要模塊變形發展而成，其中大部分影像模塊的效果變化都受到了聲音信號不同程度的影響。同時，兩者之間也存在著明顯的關聯，這種關聯主要體現在影像素在與聲音素材在整部作品的結構分布中相互對應，在形態特征的表現上互相參考。

3.《造物者的贊美詩》所體現的視聽關系分析

第一，宏觀視聽關系分析

從作品的宏觀方面來說，影像部分與聲音部分均顯現出純粹極簡、抽象化的總體形象。為了使作品更加清晰有序，作者對聲音與影像的交互邏輯進行了精心設計，音頻模塊與視頻模塊在各個段落中的對應關系以圖表方式進行歸納如下（未出現對應的部分用“X”符號代替）：

從上表能夠看出，為了讓畫面的景別關系更加清晰，作者基于視聽動態結合設計了功能區分。在大多數情況下，音視頻模塊之間相互對應，確保影像與聲音呈現之間保持深層次的互動。在少數情況中，音視頻模塊暫時分割，視頻模塊單獨作為背景構圖，沒有與聲音關聯，反之亦然。這樣的現象大多出現在內容密集的段落，如在高潮段落三中，由于此時音樂與視頻變化的節奏已非常快，作者有意識地讓音頻模塊C產生的持續鐘鳴音脫離同步關系，獨立存在于背景當中。可見作者在處理兩種媒體交互的邏輯時較多考慮了聲音的顯形比例與二者之間的整合關系，從而使作品中的聲音意象在影像中的傳遞更合乎邏輯性。

第二，微觀視聽關系分析

從微觀設計來說，《造物者的贊美詩》中聲音與影像的結合邏輯主要與視聽聯覺的原理相關，具體體現在三個方面：

從聲音形態與造型要素來看，由于聲音部分大量碎片化的人聲、噪聲、脈沖低音等在總體聽感上都具有明顯的“粒子特性”，并且大多以顆粒集群的方式呈現，所以作者在視覺影像中同樣選用了許多點狀素材進行構圖，將碎片化特征體現在視覺上。而這些素材的變化通過程序設計能夠與聲音信號通過數據映射來保持同步，使視聽雙方在形態方面能夠更好的契合。

從聲音音色感受與影像色彩要素來看，作品將二者保持了相當的統一性。整部作品的視覺空間與其中的內容全部采用單色呈現，黑白兩色分別用于背景與前景內容，通過相互調換，帶來光影關系的劇烈變化，增強了段落間的對比，營造出視聽表現的張力。

從聲音空間與視覺空間的結合角度看，作者通過調整聲像位置與混響比例在聽覺空間中形成了聲場的的遠、中、近景，并通過視覺空間中的景別關系加以呈現。這樣的安排使雙方的空間層次都十分清晰，當前處于主體位置的視聽材料能夠同步突出，不同層次的關系也能夠相互得到更為直觀的表現。

結 語

交互式音樂創作是一個高度綜合的廣闊領域，它涵蓋了多維感官與多重媒體的內容，既是創作形式的創新，也是演奏形式和體驗形式的創新。依托于快速發展的交互技術和不斷演進的各種新型數字媒介，創作者們將聽覺藝術的維度不斷向外拓展，與各類藝術元素進行融匯貫通，并在一定范圍內增加內容的隨機性，使得形式更加豐富。我們能夠預見到的是：交互式音樂富有希望與前景，同時也充滿了未知與挑戰，而這些無窮的變化和不確定性也正是它的價值與樂趣之所在。在視聽媒體高度發展、音樂與科技深度融合的趨勢下，我們可以期待它更為有趣和智能化的未來。

這種方法最早出現于法國作曲家讓·克勞德·里賽特（Jean Claude Risset）等一系列作品當中，對于電子音樂創作中的

材料平衡與過渡問題提出了極佳的解決方案。

[基金項目：本文為2018年中央高校基本科研業務費專項資金“交互式聲音設計研究”（項目批準號2018NTSS53）、2018年國家社科基金藝術學重大項目“中國數字新媒體藝術創新研究”（項目批準號18ZD12）的階段成果]

趙曉雨? 北京師范大學藝術與傳媒學院講師，中央音樂學院電子音樂作曲博士? ? ? ? ?（責任編輯? 張萌）