交互式電子音樂的構成解析

范翎

【摘 要】 以羅伯特·羅以及托德·溫科勒的觀點為參照，提出了交互式電子音樂的信號處理流程的實時表演數據化、數據 接收與分析、數據處理、內容輸出等四個步驟，并簡要介紹目前常用的兩款交互音樂軟件。

【關鍵詞】 交互式電子音樂；交互過程；數字化；交互音樂軟件；硬件加速器

文章編號： 10.3969/j.issn.1674-8239.2017.12.009

對于音樂藝術而言，實時化的舞臺表演是其最為重要的傳播途徑。現場表演所具有的個體差異、即興化程度以及不確定性等都是構成舞臺表演獨特魅力的重要方面，而表演過程中的視覺信息傳達也是音樂審美體系構成中不可或缺的重要組成部分。

交互式電子音樂的發展始終依靠科技所給予的強大生命力而不斷前行，從某種程度上說，其歷史進程既可以被看作是舞臺呈現不斷多元化與科技化的過程，也可以被看作是人的實時化主觀行為對作品構架影響不斷加深的過程。隨著數字時代的到來，計算機所提供的數字化環境為藝術媒體的存在方式提供了無限的可能，同時，以數字為媒介所構建的信息通信平臺使各類藝術媒體的融合與轉化變得極為便捷。交互式電子音樂不斷融合多種藝術媒體，并形成了具有高度設計感和不確定性的藝術形式，其發展的源動力在于不斷涌現的各類多運算邏輯、設計方法、控制手段、媒體關系以及舞臺呈現形式。

當代交互式電子音樂盡管形式多樣、姿態萬千，但其交互過程的基本構成則雷同。筆者參照羅伯特·羅（Robert Rowe）（美）以及托德·溫科勒（Todd Winkler）（美）對交互式電子音樂的交互過程解析，提出了交互式電子音樂的信號處理流程的“實時表演數據化、數據接收與分析、數據處理、內容輸出”四個步驟，并簡要介紹目前常用的兩款交互音樂軟件。

1 構成要素的全面數字化

在優質的程序設計的前提下，表演者能夠利用不同的表演途徑，通過主觀化的行為動作盡情表達對作品的獨特理解與感悟，而在此過程中，交互程序作為構建作品結構的基礎與保障，其不僅體現了作曲家對于音樂要素體系構架的觀念，也蘊含了多種藝術媒體間交匯融合方法與手段，因此，交互程序設計中所涉及的信號分析、信息流程、邏輯運算、數據轉換以及數據映射的方法都將直接影響到作品最終的呈現效果。

建立在計算機技術之上的媒體數字化是電子音樂實現多元化交互前提。正如古希臘哲學家畢達哥拉斯所信奉 “萬物皆數”的思想一樣，當計算機能夠將一切轉化為數的時候，萬物便歸于統一，物質世界便也能夠通過虛擬環境實現能量，甚至實物的相互轉化。交互式電子音樂的構成極為復雜，不僅體現在外化的形式以及媒體構成等方面，也體現在內在的數據處理以及運算邏輯等步驟。當人的行為、聽覺媒體、視覺媒體的構成要素能夠轉化為相應的數據體系時，數字環境下的交互表演與交互創作便成為現實。通過數據映射，不同媒體間能夠建立起復雜的參數鏈接關系，人的舉手投足、樂器音高的上下起伏、畫面結構的除舊布新都能夠引起其他藝術媒體的實時改變，從而在其相互作用的過程中完成作品的多元化呈現。

2 交互過程的解析

盡管交互式電子音樂的外化形式千變萬化，但其數字化交互過程中的技術構成卻具有一定的規律。加拿大的馬塞洛·莫特森·萬德烈（Marcelo Mortensen Wanderley）和意大利的尼古拉·奧利奧（Nicola Orio）認為：“在音樂中，最顯著的交互行為表現為演奏者對樂器的操控……一旦將計算機視作一件樂器，（這一觀點）將會為音樂文獻研究以及傳統的（音樂）控制評價體系提供巨大的可研究資源范圍，即使許多現存的應用程序僅僅再現了一種近似于指揮和樂團之間的交互關系。”[1]面對如此復雜的研究對象，許多交互音樂領域的專家學者都曾對交互式電子音樂的系統構架進行過分析與解構。

作為交互音樂研究領域的先驅，羅伯特·羅非常關注音樂數據的通信及處理，他認為交互音樂的實時化呈現系統實現了形式化的音樂生成過程，并將交互音樂系統分為三個組成部分。

（1）樂譜驅動/表演驅動。紙面寫作與演奏行為的作為信號來源。

（2）變形/生成/音序。通過電子技術對音樂素材進行處理，從而產生新的結構方式。

（3）樂器/回放。由設備生成電子音響，并作為現場表演的拓展以及獨立音響而存在。

羅伯特·羅的觀點具有較強的廣義性，其兼具了模擬技術與數字技術在交互系統中的功能特質。時至今日，數字技術憑借其多個層面的綜合優勢，業已成為媒介交互的核心技術，而“交互技術”幾乎等同于“數字交互技術”。

托德·溫克勒在《交互音樂創作—Max應用技術和理念》一書中將交互音樂的流程分為行為輸入（Human input）、計算機接收與分析（Computer listening，performance analysis）、編譯（Interpretation）、計算機作曲（Computer composition）以及聲音輸出與表演（Sound generation and output，performance）等五個步驟。

由于現有的交互程序大都將“分析”與“編譯”合并于同一物件中，同時，交互式電子音樂所涉及的研究對象較為紛繁復雜，并且都統一于數字形式，因此，筆者以羅伯特·羅以及托德·溫科勒的觀點為參照，將交互式電子音樂的信號處理流程分為以下四個步驟，如圖1所示。

（1）實時表演數據化。將人的各類實時表演行為及其所產生的結果轉化為數據過程，其中包括聽覺信息與視覺信息的數字化，以及通過各類偵測系統將表演行為轉化為數據形式。

（2）數據接收與分析。計算機接收由行為轉化所形成數據的過程，一方面將音頻與視頻數據作為待使用的媒體內容輸入緩存，另一方面對音頻與視頻數據進行分析，將由此形成的控制源數據輸入緩存，或直接將由偵測系統所生成的控制源數據輸入緩存。endprint

（3）數據處理。通過對各類數據進行路徑分配、邏輯運算、值域轉換以及關聯映射等處理，實現對目標物件的有效控制，并生成全新的媒體數據。

（4）內容輸出。依靠不同樣式的媒體呈現方式完成作品的最終形態。

在利用計算機處理交互關系的過程中，人的行為、媒體內容、控制信息等都被轉化為數字形式，并按照作曲家所設計的信號流程與運算邏輯進行處理，因此，從某種程度上說，“人機交互”從本質上說依然是“人人交互”。作曲家通過交互程序設計記錄創作意圖，這一過程類似于傳統音樂創作中的樂譜寫作，而計算機則成為了將“樂譜”轉化為現實的工具。由于這一過程建立在人的實時控制行為的基礎之上，因此，便形成了具有高度不確定性的，表現為“人機交互”的呈現過程。

3 交互音樂軟件

計算機程序或多或少都存在一定的交互性，而交互的程度則取決于它們如何對操作進行響應，以及由此引發的操作主體的反應。例如，視頻播放軟件的交互性較弱，用戶除了能夠選擇播放片源、調整音量、改變清晰度或在線發表評論以外，無法對所播放的視頻內容進行任何修改。而網絡游戲的交互性較強，用戶能夠通過預先設定的虛擬行為任意地改變所處的虛擬環境，甚至通過網絡建立虛擬的人際關系，從而完成一定的虛擬任務。

對數字技術平臺支持下的多媒體交互而言，其實質是在人的行為控制下的數據轉換與映射。作為數據運算的核心，計算機需要結合一定的交互軟件實現數據的接收、處理及輸出等功能，同時，為保證交互的實時性，數據處理的響應時間需控制在人所能感知到的延遲范圍內。除了硬件限制所導致的延遲問題以外，大部分的實時處理與分析需要建立在對聲音采樣、存儲基礎之上，無論是延遲回放或是音頻分析，都會產生在原始信號與轉換信號之間的延遲。因此，為了解決實時響應的問題，除需計算機擁有強大的運算能力、高效的數據存儲與讀取能力以外，還需要結合科學而高效的算法以應對復雜的數據構成。

目前，交互音樂或交互媒體藝術相關的計算機軟件平臺的開發呈現出多元化、綜合化以及開源化等特點。憑借現有的硬件運算能力，通過在筆記本電腦上安裝Ableton Live、Traktor或Reason等軟件便能輕松地實現實時交互音樂表演。但這一類軟件的開發者出于提高易用性的考慮，往往會將多數細節功能進行封裝，因此很難完成極富創意的個性化交互設計。

相對而言，Reaktor、Max、Pure Data（PD）等軟件則能夠提供更為底層化編程環境，這些可實現個性定制的專業型軟件近年來也迅速發展，并在專業電子音樂與計算機音樂領域成為主流的創作與展演工具。依靠這些軟件平臺，藝術家們通過可視化的圖形界面，以眾多基礎性的功能模塊搭建屬于個人的交互程序，其中所包含的算法、合成手段以及信號流程等設計構架均具有高度的個性化特征。此外，專業的交互軟件平臺除支持一般的MIDI控制設備以外，也能夠通過OSC協議接受Joysticks、Kinect、Leap Motion等設備的控制信息，因此，其對于動作行為控制的接受度是極為寬泛的，從而能夠將多種形態的表演行為作用于聲音或其他媒體的控制。Csound、SuperCollider、ChucK等專門為音頻所開發的程序語言能夠為聲音的交互提供強大的創作環境，通過底層化和開源化的程序語言，設計的自由度得到了最大程度的釋放。目前，使用最為普遍的專業交互音樂軟件包括Max、Kyma、PD、Openmusic等。

3.1 Max＼MSP＼Jitter

Max＼MSP＼Jitter是目前運用最為廣泛的圖形化多媒體交互編程環境，由Max、MSP和Jitter三部分組成，專門為音樂等藝術媒體開發。在其20多年的發展歷程中，已被眾多作曲家、演奏家、軟件設計人員、研究人員和藝術家用于藝術創作、展演以及工程設計等眾多領域。

Max程序是模塊化的，其擁有一個由眾多被稱為“物件”的例行程序所構成的共享數據庫，同時，其所擁有的開放式的應用程序編程接口（API）能夠接收由第三方所開發的全新外部物件。開放式程序所提供的寬松設計環境為Max軟件使其有更寬泛的應用空間，獨具個性的物件和程序，并通過各類在線社交媒體進行發布和交流，從而使Max成為在商業與非商業領域都具有拓展可能性的軟件平臺。除此以外，Max軟件所提供的圖形用戶界面能夠清晰地呈現出程序運行結構，同時也能夠為用戶提供便捷的圖形化操作模式。

設計完成的Max程序可以被打包成能夠獨立運行的應用程序，也能夠打包成為時下主流音頻制作軟件系統的處理插件。同時，隨著筆記本電腦被越來越多地應用于現場音樂表演，Max/MSP/Jitter憑借其靈活的個性化設計空間、較低的系統資源占用以及多媒體整合化優勢，因此，被更多的聲音藝術家以及視覺藝術家所關注，成為大多數跨界藝術現場表演的核心平臺，是目前擁有最多用戶數量的交互音樂設計軟件，其在某種程度上也成為了交互式音樂表演通用化編程語言的代名詞。

3.2 Kyma

Kyma也是一種由“物件”所構成的操作平臺，它基于“Smalltalk”語言編寫，這種語言區別于C、C++、Java或Pascal，專門以開發聲音為目標，能夠為作曲家提供創造和掌控聲音的各類可視化物件，并通過軟件平臺實現對聲音的實時創造和控制。與Max相似，Kyma中的物件也通過連線連接，作曲家能夠清晰地看到信號流程的走向，并通過物件的圖表迅速判斷其功能。

Kyma是一種用于聲音控制、合成，并使其擁有一定特性的語言。與其稱作“圖形化語言”，不如稱為“提供了多種分析和控制數據方式的語言”更準確[2] 。Kyma是一種數據驅動的語言，從根本上來說就是關于數據變形的語言。這種語言通過觀察數據、獲取數據、變形數據來創造想要的多種音樂效果，揭示出數據的多方面特性。它是專門為處理聲音合成以及變形、聲音的探索和構建、音樂作品的演奏和創作提供優化幫助的語言[3]。endprint

相對于Max所采用的更為底層化的語言架構方式，Kyma為用戶提供了更多功能整合化程度較高的物件，為用戶的使用提供了便利。與此同時，當需要進行更為復雜或更個性化的參數設定時，Kyma則能夠通過在可變參數區域輸入CapyTalk，使用邏輯運算、數據提取、產生動態數據流、分析和測量聲音參數等方式實現無限的聲音可能，而CapyTalk本身便是一種編程語言。

Kyma系統由軟件和硬件部分組成，作曲家通過計算機軟件進行聲音編程，而各類參數的運算則通過專門的硬件部分完成。目前，Symbolic Sound公司能夠提供的硬件音頻加速器包括Pacarana和Paca兩種（見圖2），并且可以通過鏈接多臺Pacarana或Paca實現更為強大的運算能力。專門的硬件加速器代替計算機CPU完成復雜的聲音運算，這保證了Kyma能夠高效而穩定地完成大數據量的數據運算和處理。

相對于Max而言，Kyma更專注于對聲音本身的合成、變形與表演，因此，其所提供的部分操作界面與Pro tools、Logic等商業軟件相似，能夠提供更為便捷的編輯和混音功能。

為實現電子音樂的現場交互式表演，Kyma為用戶提供了能夠接受多種外部控制器實時控制數據的功能。一方面，硬件加速器為實時響應提供了更高級別的穩定性與可靠性，另一方面，通過虛擬控制界面編輯器（VCS）中對外部控制器的選擇，用戶能夠將控制器的控制信息與VCS中的推子、旋鈕、開關同步關聯，從而實現對物件中各項參數的實時控制。目前，Kyma所支持的外部控制器包括Wacom、Joysticks、Gametrak、Wii等。除此以外，Kyma也能夠方便地接收外部MIDI、高精度MIDI以及OSC等信息。因此，其對于外部設備控制信息的接受程度是相當寬泛的。

4 結語

電子音樂的交互程序設計看似與音樂創作本身相去甚遠，然而，良好的交互設計不僅體現了作曲家對舞臺表演行為與音樂之間錯綜關系的規劃與設計，也凝結了作曲家對于聲音素材的選擇、音高與節奏的組織甚至不同媒體間建構關系的訴求。雖然與傳統音樂，甚至幻聽電子音樂的創作方式大相徑庭，但對于以交互為原點構架媒體內容的電子音樂而言，程序設計本身便是建構音樂或其他媒體內在結構的基本手段，而與“實時表演數據化、數據接收與分析、數據處理、內容輸出”等四個階段的不同設計，則體現了不同作曲家多元化的創作手段以及創作觀念。

參考文獻：

[1] Marcelo Mortensen Wanderley， Nicola Orio. Evaluation of input devices for musical expression： Borrowing tools from hci[J]. Computer Music Journal， 2002.

[2] Scaletti， C.. Computer Music Languages， Kyma， and the Future[J]. Computer Music Journal， Vol.26（4）， 2002.

[3] Stolet， J.. Kyma and the Sum of Sines Disco Club[M]. lulu.com， 2012.endprint