以Wii Remote為控制手段的交互音樂創作探索

李云鵬

摘要：作為電子音樂的一種類型，交互音樂，特別是以計算機為創作平臺，基于外部控制器的交互音樂的發展方興未艾。無論是從創作手段，還是從音響效果來看，這種音樂與科技相結合的模式都代表了一種新的音樂創作思路，具有其獨特的藝術魅力和研究價值。在本文中，筆者試圖以 Wii Remote為控制器，結合古箏音源Chinese Zheng作為載體，在Max/MSP平臺上來探索這種音樂的創作。

關鍵詞：交互音樂 Wii Remote Max/MSP

交互音樂，是一種使用傳統聲學樂器、計算機系統及現代音響等設備，由表演者以“人機交互”的形式，與預制程序協作完成音響的音樂類型。

交互音樂的創作，包括“作品設計”和“演奏設計”兩方面內容。“創作”是制定相應的規則，確立音樂內容，觸發方式及整體架構，讓交互的結果具有一定的預見性，并以程序、樂譜的形式體現。“表演”則是在這種規則和架構的約束下完成具體的音響。因為在每次表演時控制器產生的具體參數值都是在一定范圍內波動的，所以每次實現的音響結果也不同，最后就實現了“有控制的隨機”音響效果。

一、作品設計

（一）人機交互平臺的設計

“交互”，本意是“交流和互動”。作為一種現象，“交互”發生在至少兩個個體之間。在交互音樂的概念中，“交互”實質上代表的是“人機交互”，它是實現音樂創作和表演的核心。人機交互，是一門研究系統與用戶之間的互動關系的技術。利用這種技術，可以讓計算機或各種機器與人交流。交互音樂的實現，正是依靠建立在人機交互平臺下的設計和表演行為。其中，前期只有解決了交互平臺和方式的問題，才能為實現相應的音響結果提供可能。具體而言，可從以下幾個方面來著手：

1.控制器

從本質上看，使用任何控制器，其控制流程及目的均無區別。作品的交互平臺是在計算機上構建的，所以這個流程是：外部控制器產生數據→計算機處理→觸發音響。理論上，只要能和計算機相連接的輸入設備，如鍵盤、鼠標等均能實現控制功能。但這些計算機傳統輸入設備用作控制器時有它們自身的局限性，如設定鍵盤的某些動作，可能會與操作系統或別的程序的快捷鍵相沖突；設定鼠標的某些動作，也可能會做出某些干擾程序運行的點選操作。所以，最好的途徑是使用專用的外部控制器，如游戲機Wii的控制器Wii Remote。

Wii Remote是用于任天堂游戲機Wii上的控制器，這種控制器的標準配置是由Core和Nunchuk兩部分組成的，具有新穎的控制手段和豐富的功能。如3軸加速度傳感器可以檢測使用者的運動方向及加速度大小；紅外感應頭具有矩陣的功能，可檢測外部控制點的平面坐標位置；類比搖桿可以產生一系列二維數組；各類按鍵可以實現基本的觸發功能；LED燈可顯示游戲主機或計算機發回的信息等。

另一方面，控制器采用通用的藍牙方式與游戲主機連接，這就為后面的交互控制提供了可能。同時，通過對Wii Remote各種控制模式的研究，可得出如下結論：基本功能按鈕以及十字方向控制按鈕會產生瞬時性的整點數據，而類比搖桿、紅外感應頭、3軸加速度傳感器則會產生持續性的浮點數組數據。

2.軟件平臺

軟件平臺是形成人機交互界面的基礎。人機交互界面能夠實現人的行為與計算機之間的互通。在創作過程中，人機交互界面主要實現載入音源、效果器、反饋音樂結構信息等功能。這個平臺又可細分為宿主軟件和構件兩部分。

作為宿主軟件，Cycling 74公司出品的Max/MSP是一個強大的圖形化音樂程序編輯系統，也是常用的交互作曲創作工具之一。這個軟件擁有一個圖形化的友好編程環境，編程時只需將不同功能的構件（object）加以連接，而不用鍵入大量文本語句。這些構件都具有強大的擴展能力，可以根據需要編寫，與不同的軟硬件相連接。

構件方面，則可使用名為tk.wii的第三方構件，這個構件通過計算機的藍牙適配器與Wii Remote傳遞信息，從而與宿主程序對接，最終實現交互目的。它能實現與Wii Remote的雙向通訊，既可將動作信息接收到宿主軟件中，又可將產生的信息反饋到Wii Remote上的振動馬達或LED燈上。

（二）音樂材料設計

在傳統音樂的創作過程中，音樂材料的構建是不受限的。作曲者可以按自己的想法和需要，訂立相應的音色、演奏法、音列等音樂材料諸要素。而在交互音樂中，音樂材料各要素的實現，還受制于交互平臺的控制方式和數據生成方式。只有適合交互平臺本身特點的音樂材料，才能夠通過人機交互獲得發展。否則，材料不可控，也就失去了交互音樂設計和表演的意義。音樂材料的構建可從以下幾個方面進行考慮：

1.音色

音色的選擇是需要首先解決的問題。在Wii Remote與Max/MSP構建的交互平臺上，聲音的觸發是以數據觸及臨界點為條件的。根據這一特性，音色形態最為符合的就是點狀音色。從演奏法分類來看，這種形態的音色主要包括打擊樂器音色、彈撥樂器音色等。本文擬選擇Kong Audio公司的古箏音源Chinese Zheng作為實驗對象，原因是古箏音色的音頭非常突出，各類數據能比較容易和及時地觸發出音響。

2.音列

鑒于該音色所代表的中國民族音樂風格特征，音列的設計也可與之對應，如可將其設定為民族音樂中的母體三音列形式，即大2度加小3度的結構，首音可從符合樂器音域的任意音高開始。在音樂其后的發展過程中，則根據需要，通過表演者對按鍵的控制，將原始三音列進行“移調”處理，以實現音高的運動和發展。同樣，基于音列和風格相對應的考慮，每次移調后的音列仍在新調上的自然音級上構成。同時，當兩組三音列相連接時，通過相應的技術手段，排除相鄰音之間產生大二、小七度，增四、減五音程的可能性。

（三）特效處理設計

嚴格地說，特效處理，其目的也在于得到一些特定的音色，即屬于音色設計的內容，但這與前述“音色”又有區別。前述的音色，對應真實樂器本身發出的聲音。而經過特效處理生成的聲音，是聲學樂器不可能發出的，是經過計算機效果器處理之后的聲音。真實聲音和經過處理之后的電子音響的結果，也是電子音樂典型的音響形態。在設計過程中，可使用效果器插件進行實時處理，如可選擇Lexicon Pantheon II混響器插件和GRM Band Pass Stereo帶通濾波器插件。將Nunchuk上的類比搖桿對應Pantheon II混響器的混響時間和干濕聲比例控制器，可以方便地控制聲音的空間屬性。在演奏時，通過控制兩者的比例，可實現聲音在不同的“空間”中穿梭的效果。同時，這個類比搖桿還可被分配到類似GRM Band Pass Stereo這樣的濾波器上。通過類比搖桿的不同方位控制，可以實現諸如帶寬、頻率截止點等參數的變化，從而產生實時濾波的音響效果。

（四）織體及結構的設計

設計織體時，必須充分考慮控制器自身的特點，及其觸發音響的方式。Wii Remote的Core部分最具特色的控制方式在于加速度感應。這種感應只檢測當前動作的加速度，并不反映絕對速度信息（如勻速運動在Core上無任何數據反應），這就決定了控制器在觸發音響時是以“點”的方式進行的，“線狀”織體也是由若干個“點”連綴而產生。Nunchuk上的類比搖桿，則適合對已生成的織體做實時效果處理的控制，這種音樂并非調性音樂，音高、調式、和聲等要素對結構的影響已經退居到非常次要的位置，音高材料中的“三音列”特性也只是決定作品的風格歸屬。然而，在創作的探索過程中，各個段落不同的寫法會帶來作品織體形態的明顯變化，這種織體形態的變化就決定了作品的宏觀結構。

捕捉此次創作探索所實現的作品音響，還可以發現織體的變化，也影響振幅的變化，最終體現出這種宏觀結構的設計結果。將振幅進行相對定量分析后，借用音樂表情術語的表示方式，可將其大致的變化脈絡歸納為p→mf→f→mp。同時，可將音響、振幅特征，音響實現形式與宏觀結構特征的關系歸納如下：

1.段落I（p）：呈示段落，以樂音作為音響形態，以單音構成點狀織體，通過甩動Core，使用Nunchuk上的類比搖桿控制混響器參數來實現音響。

2.段落II（mf）：發展階段1，以“先樂音，后噪音”作為音響形態，以長音模擬“搖指”演奏法帶來線狀織體，通過甩動Core，使用①、②鍵控制織體厚度，使用Nunchuk上的類比搖桿控制濾波器參數來實現音響。

3.段落III（f）：發展階段2與高潮段落，以樂音和噪音的對置作為音響形態，通過拍琴體的噪音音響帶來塊狀織體，以甩動Core來實現音響。

4.段落IV（mp）：動力再現段落，以樂音作為音響形態，以雙音構成點狀織體，使用和段落I同樣的方式來實現音響。

作品結構的設計，除包括作曲者事先完成的“宏觀結構”設計外，還包括演奏過程中完成的“微觀結構”設計。這種設計主要體現在演奏員按照一定的邏輯，有控制地完成節奏、音區的發展，以及音色調制變化軌跡等具體內容，并與“宏觀結構”相對應，共同實現音響。

（五）樂譜設計

傳統音樂的記譜法因其表現的是聲學樂器的演奏法，所以在交互音樂中，顯得捉襟見肘。在這種交互音樂中，我們需要將控制器視為一種新的樂器，結合傳統音樂的記譜法，擴充其中的符號集合，使其既能符合控制器的要求，又能表現一些交互音樂的演奏特征。

傳統音樂由于其演奏結果基本已經提前預知，所以其生成的樂譜也就相對固定。但交互音樂的樂譜設計只能也只需體現出設計的基本意圖，所以樂譜并非完全固定，只是在音樂的大致發展方向上有所提示。在這種樂譜中，有些已經設計好的音樂材料（如音高等）是不需記錄的，只需要將控制器正確的“演奏法”傳達給演奏者，具體的音樂材料將會被恰當地觸發到。在樂譜設計的探索過程中，通過TrueType造字程序的輔助，可以得到一套適用于Wii Remote控制器的樂譜符號集，并可將這套符號集在Sibelius 軟件中，生成特定的樂譜。（如下圖所示，譜表中的C指Core，N指Nunchuk。）

二、演奏設計

（一）交互音樂中的演奏

演奏，是利用相應“樂器”（可以是以物理方式存在的，也可以是以虛擬方式存在于某些宿主中的）通過演奏主體的操作，最終實現音響結果的行為。它是音樂成形的最終環節。

在音樂的實現過程中，作曲者從事的創作活動實際為“首度創作”，即將基本的音響意圖通過樂譜的形式去體現。演奏者從事的演奏活動，則是根據樂譜塑造音響結果。在這個過程中，演奏者會實現自己的“二度創作”，即在遵循“首度創作”原則的基礎上加入自己的處理。在傳統音樂中，作曲者基本預知了演奏結果，音響意圖已經非常明顯和具體。所以，演奏所能實現的“二度創作”空間較小，對于音響輪廓的改變程度也非常小。但在交互音樂中，作曲者前期所設計的只是音樂的音列、基本結構、材料的發展方向等要素，并未預知具體的演奏結果。于是，“二度創作”的空間顯得非常廣闊。在這種狀態下的演奏，時刻伴隨著“即興作曲”的動作，演奏的過程實質上成了邊創作邊演奏的過程。

另外，在交互音樂演奏的過程中，每次演奏所實現的音響輪廓都會有一定的差異。演奏者在演奏過程中，需根據當時聽到的音響即刻做出判斷，操作控制器生成下一步音響。在以古箏為音色載體的創作探索過程中，表演者所面臨就是一個規定了基本運行框架的“虛擬古箏系統”，演奏者一邊演奏，一邊根據當前所聽到的音響去設計和生成其后的音響。

在此次創作探索所實現的音響中，控制鍵在每個段落中起到的作用如下：

A鍵在所有段落中均起到初始化數據的作用，也即“歸零”；B鍵在I和IV段落中起到切換泛音音色的作用；C鍵在I和IV段落中起到音列移位的作用，而在II段落中起到關閉所有音符發聲的作用；Z鍵在所有段落中均起到音區歸位的作用；H鍵在I-III段落中均起到“進入段落”的作用；1鍵、2健分別起到切換為單音模式、雙音模式的作用；類比搖桿則可用來在I、IV段落中控制混響器，II、III段落中控制濾波器。

（二）演奏過程中的人機交互設計

在演奏過程中，演奏員與計算機始終是演奏主體密不可分的組成部分。演奏員根據計算機生成的隨機音響決定下一步的行為，同時根據控制器相應功能的設置將這種決定變成音響效果并實現，以規范作品的結構和音響的發展方向。例如，設定甩動Core，縱向上便會得到不同音高上的搖指音響。但當這種音響發展到一定的階段，便需要將這種織體打薄。演奏員需根據當時的音響效果，循環地觸發Core上的1、2號鍵去輪流消除之前產生的音，以達到消減音響厚度的效果。此外，計算機信息的實時反饋也是交互的一個重要環節，它不僅可以起到段落提示的作用，還可以幫助演奏者規范作品結構，提高演出的成功率。Core下方的四個LED燈可標記出當前音樂所處的段落信息，如可將第1 個LED燈對應作品的第一部分，第2個LED燈對應作品的第二部分，等等。同時，每個段落音數達到限制值時，會給出一個震動提示，以方便演奏員處理好音樂段落的“進”和“出”。

三、結語

交互音樂是在信息技術高度發展的大環境下產生的，它綜合了最前沿的控制科技與新音樂作曲手段，能夠提供給我們一種全新的創作及表演方式，具有很大的發展潛力。本文針對一個比較常見的控制器，結合相應的軟件平臺，進行了創作探索。實際上，可以實施交互控制的方式還有很多，如常見的iPhone、LeapMotion，以及更加高端的GPS、腦電波等。從創作的結果上來看，交互音樂的創作和表演形式也大量地應用在音響裝置、劇場音樂（劇）中，正是通過這種方式，可以使得表演者與音樂產生高度的關聯性，使音響效果具有豐富的色彩，也使得電子音樂的表現形式向著不同維度進行更加深入的發展。

參考文獻：

[1]劉健.關于電子音樂記譜法的思考[J].黃鐘，1997，（01）.