基于game-trak的交互式電子音樂創(chuàng)作技法研究*
——以作品chimes at midnight為例

李亞熙

（四川音樂學院，四川 成都 610021）

電子音樂的發(fā)展，從單純靠聽覺來欣賞的具體音樂、磁帶音樂，到包含現(xiàn)場表演的混合型電子音樂，再到可能性更多的計算機音樂，迄今，已走過近70年的歷程。如今，電子音樂發(fā)展到成熟階段，特別是隨著錄音技術(shù)的進步，各種技術(shù)手段不斷完善，使電子音樂可以表現(xiàn)出更加多元化的交互形式關(guān)系。顯而易見，多媒融合的交互式電子音樂樣態(tài)，無疑是當今電子音樂發(fā)展的一個新的歷史時期。托德·溫克勒（Todd Winkler）在《交互音樂創(chuàng)作》一書中對交互式電子音樂定義道：“在音樂的創(chuàng)作或者即興的同時，計算機現(xiàn)場實時的采集現(xiàn)場的數(shù)據(jù)，使用這些數(shù)據(jù)對音樂的發(fā)生和變化產(chǎn)生影響。”①根據(jù)這個定義，所謂交互，需要兩個及以上對象共同來完成。按照交互對象的不同，可以劃分為：人機交互（如：現(xiàn)場真實樂器與實時電子音樂的結(jié)合），機機交互（指不同的媒介系統(tǒng)之間的交互關(guān)系，如：聲音、燈光、影像等相互結(jié)合），組合交互（即上述不同的交互模式同時存在，成為交互式電子音樂中最典型的一種樣式）。本文所討論的作品，正是這種具有組合交互模式特征的交互式電子音樂。

一、Game-trak與交互式電子音樂

由于交互式電子音樂所包含的多媒融合特性，作曲家在創(chuàng)作中，可以使用的樂器種類更加寬泛。這些“樂器”可以是基于聲學樂器的、新媒介產(chǎn)品的，又或是來源于日常生活用品等等。而新媒介的產(chǎn)品可以是MIDI或電子類的“樂器”，又或是其他非音樂領(lǐng)域的電子產(chǎn)品。如，游戲產(chǎn)品、智能移動設(shè)備、各類傳感器等。這些“樂器”可以在交互式音樂表演中，通過拾取演奏者的動作數(shù)據(jù)，將其映射成預(yù)制的音樂參數(shù)，再實時地生成最終的聲音或音樂作品。例如：最常見的游戲手柄，任天堂的Wii Remote，高爾夫游戲控制器Game-trak，Microsoft為XBOX游戲機設(shè)計的體感識別裝置Kinect，Leap公司發(fā)布的Leap Motion，甚至我們身邊最常用的iPad/iPhone/iTouch等等。電子音樂創(chuàng)作者可以使用這些控制器，并根據(jù)不同的數(shù)據(jù)傳輸形式達到交互的目的。本文中，筆者的分析，是以Game-trak為例的數(shù)據(jù)驅(qū)動樂器的運用。

Game-trak（高爾夫游戲控制器）是一種基于位置跟蹤技術(shù)的三維游戲控制系統(tǒng)的設(shè)備，專為家庭視頻游戲平臺設(shè)計（如：視頻游戲機和個人電腦），由埃利亞特·邁爾（Elliott Myers）于2000年發(fā)明，最早是用于任天堂游戲機控制桿和高爾夫球模擬訓練器。Game-trak的可控界面，主要是兩根類似釣魚線的尼龍伸縮繩。繩索的一端是塑料接頭，可連接專門配置的手套，方便使用者在手持高爾夫球桿時固定或控制繩索；繩索的另一端則是連接到硬殼塑料底座中，末端連著的齒輪，可以實時地識別另一端在三維空間中的相對位置。除此之外，還包括了一個附加的踏板輸入，如圖所示。

Game-trak圖示

演奏者在使用Game-trak控制器時，主要是雙手握住繩索的一端，每只手都可以自由控制3軸數(shù)據(jù)（即xyz軸），分別表示橫向、縱向與拉伸長度。附加的腳踏板輸入，可以作為非線性數(shù)據(jù)的映射區(qū)以別于繩索。Game-trak的繩索本身拉力彈性反饋很強，可達到12bit的精度，當它進行數(shù)據(jù)傳輸?shù)組ax/MSP中時，自然會獲得更加準確的數(shù)據(jù)，從而讓創(chuàng)作者可以進行數(shù)據(jù)的精確計算與控制，使演奏者擁有非常自然且精準的演奏體驗。Game-trak作為一件特殊“樂器”，為當代音樂創(chuàng)作者打開了技術(shù)思路與手段，許多作曲家紛紛以其為基礎(chǔ)創(chuàng)作出富有想象力和創(chuàng)造性的音樂作品。例如，美國電子音樂作曲家杰弗瑞·斯托萊特（Jeffrey Stolet）創(chuàng)作的交互式電子音樂作品《繩索的儀式》（2012），王馳的《靈隱》，馮金碩的《繩索與聲線之歌》（2015）以及萬芳2017國際計算機音樂大會（ICMC）獲獎作品《Moving Bits》等。

二、交互式電子音樂作品Chimes at midnight②中的創(chuàng)作技法

作品Chimes at midnight是筆者于2017年為Game-trak和實時影像而創(chuàng)作的四聲道交互式電子音樂，中文名為《姑蘇城外寒山寺》，時長6分15秒。創(chuàng)作靈感源于《楓橋夜泊》中的“姑蘇城外寒山寺，夜半鐘聲到客船。”這一詩句。筆者以寺院鐘聲為主題貫穿整首作品，將鐘聲、風聲、河流、野外環(huán)境等具體聲音通過聲音設(shè)計系統(tǒng)進行處理，試圖表現(xiàn)詩句中所描繪的意境——靜謐的夜色中伴隨著悠揚的鐘聲。作品使用Game-trak作為實現(xiàn)交互的主要裝置，借助攝像頭采集視覺圖像，以此來觸發(fā)聲音素材和影像，并實時控制音樂參數(shù)及影像參數(shù)的變化。

（一）交互式程序設(shè)計

就技術(shù)方法而言，能夠編寫和設(shè)計交互式電子音樂的平臺很多，例如：Max/MSP、Kyma、Pure Data、AudioMulch、Integra Live等，它們的優(yōu)勢和功能各不相同，不僅可獨立運行，還可以交叉并用。在創(chuàng)作中，應(yīng)根據(jù)創(chuàng)作目標，對不同的平臺和媒介進行選擇。本文所分析的作品，在聲音和實時影像設(shè)計方面，運用了計算機編程語言Max/MSP、DIPS③和Kyma三種創(chuàng)作平臺來完成。其中，Max程序部分，主要負責數(shù)據(jù)的接收、處理、映射和發(fā)送；DIPS負責視覺部分的生成、處理和實時影像輸出；而Kyma，則在接到數(shù)據(jù)后，負責聲音部分處理和最終的聲音輸出。這三個軟硬件平臺，通過OSC和MIDI信息進行數(shù)據(jù)交互并協(xié)同工作。

Chimes at midnight演奏畫面

如上所述，作品的創(chuàng)作，首先需要用Max來完成控制器Gametrak的數(shù)據(jù)接收、處理、映射和發(fā)送。在Max中得到數(shù)據(jù)，需要用到人機交互接口物件hi，該物件可以提供來自人工接口外圍設(shè)備的輸入（即，觸控板、鍵盤等設(shè)備）。Game-trak上的兩根繩索，分別可以獲得xyz三組數(shù)據(jù)，數(shù)據(jù)精度達到4096個數(shù)值。為了使數(shù)據(jù)更便于映射給其他功能使用，就需要將數(shù)據(jù)范圍映射到另一個預(yù)存數(shù)值范圍內(nèi)再進行輸出。例如，在作品中就將0到4096映射為0到127，以便于將MIDI信號傳送給Kyma再進行聲音控制，如圖所示。

Max控制數(shù)據(jù)映射圖示

獲取數(shù)據(jù)后，還需根據(jù)作曲家的設(shè)計，將數(shù)據(jù)進行分類和轉(zhuǎn)換。作為交互式電子音樂“樂器”最常用的兩種數(shù)據(jù)形式，即為觸發(fā)類和漸變類，通過實際演奏動作進行數(shù)據(jù)轉(zhuǎn)換，實際上相當于是在觸發(fā)“樂器”開關(guān)（Button）和聲音推子（Slider）。Game-trak本身所表現(xiàn)出的6組線性變化數(shù)據(jù)，便屬于漸變類形式，而附加的腳踏板輸入，則可以用于數(shù)據(jù)的觸發(fā)開關(guān)。同時，在實際創(chuàng)作中，為了便于演奏者或作曲家所考慮到特殊動作設(shè)計，通常又會從漸變類數(shù)據(jù)中取一個特定值作為觸發(fā)點進行控制。例如，作品Chimes at midnight中，作者僅使用雙手控制繩索。為便于演奏，將x軸滑動到0時觸發(fā)一個bang信號進行開關(guān)設(shè)置，以進一步滿足完成多種表演動作的可能性。

完成了數(shù)據(jù)的接收和轉(zhuǎn)化后，最為關(guān)鍵的環(huán)節(jié)，便是數(shù)據(jù)的準確映射。這種映射關(guān)系，賦予游戲設(shè)備新的生命，將它轉(zhuǎn)變成一件可以進行交互的電子“樂器”。作品的聲音設(shè)計的部分，由Max將數(shù)據(jù)通過KymaConnect發(fā)送給硬件Paca/Pacarana，并最終由Kyma完成聲音算法的生成與輸出。同時，整個作品的時間節(jié)點控制使用Kyma中的Timeline來完成。如上文所述，作者通過Max平臺，可以獲取6組線性變化數(shù)據(jù)，這些數(shù)據(jù)在作品中的映射如表格所示。

Chimes at midnight中控制器6組數(shù)據(jù)的映射

同時，由于聲音算法的改變，數(shù)據(jù)映射也會發(fā)生相應(yīng)的變化。由此可見，作品中聲音的觸發(fā)，音量、聲像的變化，甚至是聲音算法頻率的控制，都可以實時地由Game-trak來操控。這一過程，僅只需要將獲取的數(shù)據(jù)，映射到一個精確的范圍便可得以實現(xiàn)。

作品的實時影像部分，使用DIPS來生成與變形。將Max中設(shè)置轉(zhuǎn)換好的控制器數(shù)據(jù)發(fā)送給DIPS主程序，控制實時影像的變化。DIPS中實時影像的生成由兩部分構(gòu)成：第一部分是攝像頭捕捉的人物動態(tài)變化；第二部分則是由Game-trak控制的線性變化和影像位置。為了便于實時控制，影像的變化參數(shù)及范圍會預(yù)先寫入程序中，這樣在實際演奏時，即可減輕演奏者的負擔，同時也利于每一次演奏的完整性。在作品中，影像的觸發(fā)和每一次的動態(tài)變化映射關(guān)系為：當z1軸拉伸距離大于35（范圍為0到127），且x1為0時發(fā)送一次變化指令。這個數(shù)值的設(shè)置，以演奏者拉長繩索到可控制最高處時來確定的，換言之，當演奏者左手把繩索拉到最高再往左邊拉伸到控制器x軸的極限時，影像才會發(fā)生變化。這樣的設(shè)定，是為了將映射的數(shù)據(jù)與聲音控制區(qū)分開，在控制的同時不會引起誤觸。

（二）交互式電子音樂樂器的演奏

在傳統(tǒng)樂器演奏中，演奏者和作曲家通常是兩個不同的角色。二者需要不斷地溝通磨合，最終呈現(xiàn)出一部完整的作品，其中演奏者的二度創(chuàng)作對于作品的藝術(shù)表現(xiàn)十分重要。然而，交互式電子音樂使用的“樂器”并不全是傳統(tǒng)的常規(guī)樂器。在應(yīng)用非常規(guī)“樂器”來演奏交互式電子音樂作品時，每一個細微的動作變化都會直接影響到音樂參數(shù)的改變，且這種“樂器”的演奏方式變化多端沒有定式，幾乎無法找到像傳統(tǒng)的常規(guī)樂器那樣訓練有素的演奏者，因此，這類作品的演奏者往往也就是創(chuàng)作者本身。在創(chuàng)作/演奏過程時，需要通過大量的實驗來確定特定動作，換言之，即需要確定控制器數(shù)據(jù)的位置所帶來的參數(shù)變化是否是作品所需要的。正是由于這些可控參數(shù)的實時性，可以預(yù)見，每一次演奏這類作品時，實際上都是一次新的體驗和不同的版本。對觀眾而言，每一次欣賞這類作品時，同樣也會有一些不一樣的視覺與聽覺感受。

由于交互式電子音樂所使用“樂器”的特殊性，類似像Gametrak這種原本屬于游戲設(shè)備的控制器，在具體使用過程中，對于其表演動作的設(shè)計和熟練程度，往往決定著演出的實際效果。因此，當完成了聲音和影像數(shù)據(jù)的映射后，創(chuàng)作者還需要對演奏的動作進行必要的設(shè)計。從而使“動作與聲音具有關(guān)聯(lián)性，讓觀眾更容易理解演奏者的意圖；動作與控制器的特性相匹配，發(fā)掘更加‘地道’的演奏方式；動作適度的夸張，讓演奏更具有舞臺演出效果。”④在演奏中，動作的指向、力度、幅度和速度都會影響觀眾對動作的理解，進而亦會影響作品帶給人的直觀感受。如，在作品Chimes at midnight的演出過程中，演奏者每一次觸發(fā)鐘聲的力度和速度不同，直接關(guān)系到作品中聲音的變化和音量的增減；當音樂進行到高潮部分時，將繩索快速旋轉(zhuǎn)纏繞到手上以拉長繩索，則能夠有效地控制音樂起伏；高潮結(jié)束時緩慢并輕柔地放回線圈中，在顯現(xiàn)音樂結(jié)構(gòu)點的同時，影像也會隨著動作和繩索的控制產(chǎn)生相應(yīng)的變化。這些夸張的動作設(shè)計，強化了演奏、音樂與影像之間的對應(yīng)關(guān)系，也進一步豐富了舞臺演出的效果。

（三）作品結(jié)構(gòu)與聲音、影像材料

作品時長約6分15秒，分為三個部分，段落的劃分主要以聲音形態(tài)和實時影像的對比變化來體現(xiàn)。第一個部分結(jié)束于2分40秒處，這一部分以鐘聲為主題拉開序幕，伴隨類似風聲和環(huán)境聲引出“姑蘇城外寒山寺，夜半鐘聲到客船”的主題意境。聲音材料及其變形以脈沖型、持續(xù)型和游移型的形態(tài)為主，結(jié)合聲像的變化不斷發(fā)展。影像部分是通過攝像頭采集的演奏畫面并實時變形，營造出一種虛幻而神秘的意象。隨著聲音形態(tài)的不斷變化，影像逐漸表現(xiàn)出分裂的形態(tài)，由一個完整虛幻的人物影像最后演化為繁星點點。

第二部分從2分40秒到5分33秒左右，作為第一部分的變化發(fā)展，這一部分的聲音意象加入了類似鈴聲、風雪聲、流水聲等變形材料，融合了持續(xù)型、游移型、重復(fù)型等聲音形態(tài)，從4分40秒開始逐漸發(fā)展到整個作品的高潮。同時，影像部分由一條被繩索映射控制的線開始，每一次拉動繩索變化其位置，影像中的線條會隨著控制變化形態(tài)和位置。隨著音樂情緒的發(fā)展，線條逐漸增加，變化更加豐富。

第三部分從5分33秒到6分15秒左右結(jié)束，與第一部分相呼應(yīng)，回到鐘聲與虛幻人物影像的結(jié)合。聲音材料僅使用變形的鐘聲，通過疊加不同低頻的方式改變其音色。使得更為低沉的鐘聲和色彩變幻的影像卻又不同于開始部分，形成簡短而意味深長的尾聲。

三、結(jié)語

作曲家將非常“樂器”應(yīng)用于交互式電子音樂作品創(chuàng)作中，極大豐富了電子音樂的表現(xiàn)性和感染力。對于創(chuàng)作者而言，在給予更多創(chuàng)作空間的同時，還有可能以演奏者的身份，更好地增加了對作品表現(xiàn)的掌控能力。此外，多媒融合的交互式電子音樂作品，對于作曲家跨領(lǐng)域的知識結(jié)構(gòu)和能力提出了更高的要求；對于觀眾或聽眾而言，亦可能在欣賞不同作品的同時，或許也是一個十分有趣的全新體驗過程。

然而，不可否認，目前在使用類似于Game-trak的數(shù)據(jù)驅(qū)動樂器進行交互式電子音樂創(chuàng)作時，仍存在著一些不足或缺陷。如：由于控制器本身的限制—Game-trak繩索的長度有限，不能將其放置太遠，使舞臺表演區(qū)域會受到一定限制；由于電子設(shè)備靈敏度不高，會導(dǎo)致數(shù)據(jù)抖動和誤觸；由于線路故障無法進行設(shè)備連接或因網(wǎng)絡(luò)傳輸問題導(dǎo)致信號不穩(wěn)定從而使演出中斷等等。此外，與傳統(tǒng)樂器相比，使用數(shù)據(jù)驅(qū)動樂器時，也需要創(chuàng)作者去發(fā)掘并逐漸完善更多的表演方式和可能，不斷彌補演出效果的單一性。

顯而易見，在以多媒融合的交互式電子音樂創(chuàng)作中，對于數(shù)據(jù)驅(qū)動樂器的研發(fā)和應(yīng)用，雖還有許多的空間有待于我們?nèi)ミM行探究，但隨著這樣一種新型樣態(tài)的不斷開拓與完善，必將為電子音樂的藝術(shù)表演樣式，帶來更加廣闊的發(fā)展前景。

注釋：

① Todd Winkler.Composing Interactive Music：techniques and ideas using Max.Massachusetts，United States：The MIT Press，2001，P3.

② 作品視聽鏈接：https：//pan.baidu.com/s/1QxMnA0BeJ1lucpomFTiUig

③ Max/MSP的插件軟件“DIPS”(Digital Image Processing with Sound，用聲音進行數(shù)字圖像處理)

④ 馮金碩.2000-2015年間交互音樂控制器創(chuàng)新路徑與應(yīng)用實踐研究[D].中央音樂學院博士學位論文，2017：63.