實時編程在新媒體電子音樂創作與表演中的應用初探

韓金昊/ 楊萬鈞 （四川音樂學院）

引 言

在電子音樂誕生初期，電子音樂的研究方向集中于運用硬件創造新聲音和探索新的表演可能性上，直到20世紀40年代計算機的發明為信號數字化研究提供了全新的途徑與方向，電子音樂才逐漸擴展到現在的新媒體與多平臺上。在探索更高效的聲音合成方面，使用代碼合成聲音并不是近些年才出現的，早在1950年工程師和音樂家就在RCA MARK II上①用編譯計算機執行代碼的方式實現了電子化聲音的合成與電子音樂的創作，這是人類首次使用計算機作為主要開發工具來設計聲音與創作作品。從這個時期開始，多種聲音合成語言被開發出來用于聲音合成與音樂作品創作，如Music N②系列語言，目前此系列語言中還有Csound③等音樂編程語言在廣泛使用。經過半個世紀的發展，現在的聲音合成語言體系趨于完善與多樣化。

長期以來，國際電子音樂研究機構對于使用聲音編程方式設計聲音及作品創作都非常重視，許多國際性電子音樂學術活動都將實時編程音樂作為一個單獨的分類進行探討與研究，如ICMC（International Computer Music Conference國際計算機音樂年會）、MAIN（MAteraINtermedia festival）等。此外還有專業研究機構針對特定技術舉辦學術活動，ICSC（國際Csound年會）就是專門為使用Csound語言進行聲音設計的音樂家們提供交流平臺。

目前國內各大音樂學院以研究作曲技術為主，通用性計算機基礎較弱，藝術家習慣使用的簡化圖形編程語言不易與其他專業相匹配，進而在技術上與其他專業人員交流有所不便。因此，加強從編碼層面設計的能力有利于為設計增添技術支持，進而加強電子音樂與計算機的聯系，在設計與合成方面將會有更多的可能性和研究空間。

一、研究背景與目標

在電子音樂發展初期，作品表演的方式是作曲家先在設備或合成器上創作出完整的音樂作品，然后再將錄音拿到音樂會現場播放。這種音樂會現場只有一對音箱或幾件設備，鮮有表演者的表演。甚至在某些情境下要盡可能封閉觀眾的視覺感官，作曲家要關閉音樂廳內所有的燈光充分調動觀眾的聽覺，使得電子音樂會場很沉悶。這樣雖然強調了作品的聽覺性，但缺少了視覺刺激，觀感相對單一。為改善這一表演缺陷，部分電子音樂家開始嘗試在現場實時創作并表演電子音樂，或與舞臺表演結合在一起，就出現了混合媒體音樂、交互式音樂、聲音裝置。新藝術形式既能夠調動觀眾的聽覺又能豐富觀眾的視覺，讓觀眾與表演者或作曲家之間有著良好的溝通與互動，更容易取得好的藝術體驗并活躍現場氣氛。

隨著計算機運算速度的提高以及聲音合成語言技術的發展成熟，在近20年來的電子音樂發展中，實時編程創作電子音樂已形成相對獨立的電子音樂創作表演類別。

筆者在本科二年級期間接觸到能夠通過實時編程合成聲音的技術，在進一步學習和研究的過程中，發現該技術不僅可以快速的合成聲音信號，還可以實時的對信號進行修改，不僅可以輸出聲音信號還可以輸出或接收MIDI事件或OSC信息，在新媒體電子音樂中具有良好的表演性和兼容性。以此筆者同指導老師創作多個概念作品，截至此篇文章發表我們已完成首個作品《New Dawn》的公演，以及對不同系統下信號傳送的測試。在指導教師的鼓勵下筆者將該技術研究申報創新訓練項目《MIDI音序技術與燈光交互訓練》，獲得國家級的大學生創新創業項目的資金支持，并于2019年5月28日在四川音樂學院公演了諸多概念作品，獲得了現場觀眾的一致好評。本文將結合該作品討論在研究過程中所取得的成果和遇到的問題。

二、實時編程在新媒體電子音樂中的應用

（一）實時編程技術在MIDI、DMX交互設計中的優勢

實時聲音合成（Live_Coding Programming）是使用專為音樂家開發的聲音編程技術，在現場實時編譯代碼合成聲音與創作作品，綜合比較幾種語言后項目組選定了Sonic Pi作為研究對象。Sonic Pi是基于SuperCollider和Ruby開發、為“樹莓派”④單板機所開發的音樂編程語言，它學習起來簡單且專為實時編程所設計。Sonic Pi不僅支持MIDI事件和OSC信息的接收與發送，它在編譯MIDI或OSC信息時還可以添加算法支持，在實時編程時有更多的操作選擇。

MIDI（Musical Instrument Digital Interface即音樂設備數字接口），是一種使相關設備間相互兼容并實現信息交流的技術標準⑤。MIDI事件的信息結構簡單，一個MIDI事件由一組8位的二進制字符組成，這些事件信息以串行方式傳輸，因此它們可以控制同一系統內的多個設備。MIDI事件里常用的三種可編譯事件是“channel”“pitch”“velocity”，在DAW⑥里對其調控采用圖形化控制方式，作曲家只需調出控制界面，在參數區畫出圖形化數值，就可以生成一個MIDI音符事件；在編碼中則需要規定一個MIDI音序器的操作碼⑦，對其聲明MIDI音高、力度就可以生成一個的MIDI信號，后面再加上一句對于輸出端口與通道的限定就可以發送到指定的軟硬件中。從本質上看編碼就是將音序器中鼠標操作的動作指令直接變成參數輸入到編譯器⑧中，節省了鼠標參數與動作轉化映射。

如在Sonic Pi中寫入：midi_note_on 60, 127, port: “xxx”, channel: xxx，就可以產生一個MIDI音符事件。如要修飾控制器可加入相關控制參數：midi_cc 10, 60, port: “xxx”, channel: xxx。

DMX是Digital Multiplex的簡稱，意思是數字多路復用器，DMX512是一種燈光設備數字通信網絡的標準⑨，用于規范數字化燈光控制信息，增強設備之間的兼容性。

DMX標準下的燈光設備使用統一的16進制數據，值域范圍0-255（十進制整數），數據串行傳輸。更新后的DMX512標準下設備最多可以支持512個數據通道，每個通道單獨設置，支持與MIDI、C control等通用控制器建立映射。DMX512協議下的燈光設備一般都是一個設置一個通道，不存在復合通道設置，所以一個控制參數的控制值域將被強制縮放至0-255，不能分段映射或添加算法。DMX512的傳輸方式類似于網絡，通過給設備分配DMX地址（DMXIP）來確定數據包流向，這樣可以確保在正常通信情況下數據不會擁塞。

DMX512燈光設備的設置只有參數一種控制方式，無論是燈光模式調控還是顏色輪⑩軸轉速，都是通過數值大小來控制。以常用的搖頭燈（DcPR II）和PAR燈（Parabolic Aluminum Reflector light）為例，它的顏色控制只有一個設置通道——DMXIP+3。0-255這256個數值被劃分了3個數組，分別代表了當前顏色轉盤的旋轉位置、顏色盤順時針旋轉速度和逆時針旋轉速度，以127/188/254三個數據點作為區分不同模式的間隔。這樣的控制方式雖然減少了數據通道的占用數量，在大型活動中可以承載更多的燈具。但是這也加大了控制難度，導致在切換燈光模式時難免會觸發其他不必要的模式，特別是MIDI控制器會受到很大的影響。此外，筆者在DMX映射模式測試中發現，將MIDI控制器接入DMX控制軟件后，推動MIDI推子時DMX信息數值是呈線性變化的。由于MIDI值域與DMX值域呈1:2的關系，使得映射后的數值比例也為1:2，即映射后的DMX控制精度下降一倍。另外在實際操控中，人工勻速漸變中數值的精確度不達標，且人的主觀感受并不是線性變化的。因此在切換信號時用模擬類推子難以達到理想效果。

對于這種問題筆者在測試使用編碼編輯MIDI信號后發現可以利用編碼的方式彌補人工操控的短板。使用編碼編輯MIDI信號的優勢在于可以使用復數線程同時操控，只需算法加持控制，就可以用單一變量在線程內自行變化直到下一指令。如：

可以產生通道n數值k的控制器信號，接下來k會在線程內變化，以此實現數值的對數變化或躍遷，從而精準實現模式的切換或連續顏色位置的變動。

在綜合對比了多種控制器后，DMX512控制器的成本相對較低且與MIDI信號的兼容度最高，DMX信號與MIDI信號傳輸線纜相互兼容，且DMX512控制器自帶能與MIDI映射的算法，這使得MIDI與DMX的即時數據映射比其它控制器容易得多，因此最終選定使用DMX512控制器。

（二）實時編程在新媒體電子音樂表演中的應用

依據以上通信協議與實時編程所創作的新媒體電子音樂作品《New Dawn》的意義在于，作品使用實時編程作為主要手段，綜合MIDI協議與DMX512協議在軟硬件設備之間通信，通過燈光與影像構成視覺部分，使用“Sonic Pi”實時編程語言設計與創作，軟件“Freestyler”做DMX燈光控制，軟件“ResolumeArena”做影像實時生成。作品《New Dawn》共使用吉他、貝斯、合成器、鼓、鋼琴5種音色，其中吉他與鋼琴由表演者現場演奏，貝斯、鼓和合成器使用Sonic Pi內置合成器與NativeInstrumentKontakt采樣音源進行聲音合成。

此作品的創作建立在局域網MIDI與DMX通信上，音頻信號通過多臺電腦共同合成，最終通過調音臺輸出。這個系統特點在于MIDI信號通過無線局域網進行傳遞，DMX信號通過物理菊花鏈?（Daisy chain）網絡相互傳送。本作品中使用RTPMIDI在無線網絡中共享MIDI事件，通過RTPMIDI每一端的IP地址區分數據包的流向，將MIDI的控制事件發送至不同電腦上，同時控制多個軟件。DMX則同理，通過設置每臺射燈的DMXIP以確定信息流向，以支持多個模擬推子混合控制。在Sonic Pi實時編寫MIDI代碼所生成的MIDI事件通過RTP MIDI傳遞到Kontakt上，Kontakt接受MIDI事件后生成的數字信號通過DAC轉換成模擬信號與樂器信號一起經過調音臺混合與處理，最后通過揚聲器放出。系統連接如下圖所示：

在作品表演中除原始材料是預先準備好的，其余媒體均為現場實時合成。在控制媒體的合成與混合量時，本作品中運用MIDI控制器（MIDI controller）和編碼生成MIDICC?控制事件，該MIDI事件是連續的控制事件，常用于控制數字推子?。我們選用的MIDI控制器上有多個模擬推子?，當控制器接入電腦后該推子將會持續發送當前位置的信息，電腦則會把該MIDICC事件映射為數字推子，通過該方法可以使用控制器手動調節各類媒體的合成與混合。例如可以通過設置MIDI CC10（標準映射：Pan）映射為色相輪的參數，通過推動MIDI CC10來改變當前影像的顏色。

影像軟件的映射頁面

同理該映射方法也應用于DMX，通過將MIDI CC10映射為PAR燈的顏色通道，在改變影像色相輪的同時也改變燈光的顏色，使環境氛圍與影像保持一致，又或在控制軟件中對控制參數做反相，達到顏色間強烈的對比。這里將遇到在上文中提到的跨色域轉換顏色問題，當要將紅色域轉換到黃色域時，使用模擬推子推動的過程中必將經過綠色域，這會造成舞臺上顏色與音樂不協和。從理論上看，在線性變化中都會出現這種情況，因此這里就必須要用到編碼方式彌補模擬推子的線性問題。這里我們用到下面這組算法：

在這段代碼中的算法通過定義一個數字集合，并規定循環觸發條件，就可以確定在某一時間跳過某一色域，從下一色域反向進行。通過降低集合的循環時間、提高集合數組的精確度可以增加DMX映射后的分辨率。比如保持片段的時間長度不變，但是將事件數量提高一倍，單個事件的觸發事件降低一倍，結果將是在原時間長度下數值變化的分辨率提高一倍。

在整個作品的表演過程中各個部分運作雖然相互獨立，但是控制信號的來源只有一臺電腦、一個控制器，這使得在第二段落后控制難度慢慢增加，需要控制的參數也越來越多。一個操作員最多可以同時操控兩個推子和一個旋鈕，或者一臺電腦上的四個虛擬控制器，這時DMX協議最大的弊端就暴露了出來——人工無法同時操控諸多的控制器，因此在作品中后期大量使用算法作為生成MIDICC事件的核心方式。下面這段代碼就是諸多線程中的一個，它將簡化眾多繁瑣的勻速推程，讓程序根據算法自行生成連續的MIDI信息。

這一段代碼就使用算法的方法實現了搖頭燈的顏色切換，同理還有數個code block完成其他控制，這些code block分布在同時進行的多個線程里，相互獨立但可控。在表演時可以實時修改i、k和n的數值，實現色域、運行分辨率、運行時間的實時調控。如果修改MIDI CC的編號為70還可以將該代碼映射到射燈的垂直角度，此過程只需更改一個編號而不需修改設置端的DMXIP，在即興表演中可以讓表演者更加得心應手。

《New Dawn》是依據多種通信和實時編程技術創作出的第一個作品，經過實地表演后它已不再是紙面上的設想，而是一個切實可行的方案，因此命名為“New Dawn”希望它能成為電子音樂表演的一種新興的表演方式，打破以往沉悶的音樂會現場。影像與燈光的設計來源于日出，使用的橙色與紅色的線條和PAR燈也寓意著曙光的出現。在作品中后段出現的吉他與鋼琴與彩色PAR燈交相呼應寓意著各種思想與創意相互碰撞，希望這種交互技術可以給眾多音樂家們帶來新的思路。

音樂會現場

（三）目前還存在的問題

盡管通過編碼器可以實時生成和修改信號，但編程仍然是一門難度較大的技術。與圖形化的編程軟件不一樣的是文字編程通過限定嚴格的語法保證了信息的傳遞效率，但它也限制了信息的傳遞方式，提高了傳遞信息的難度。讓很多作曲家感到困惑的是在一個沒有圖形與指示的界面里單靠文本說明去聲明信號的傳遞方向，若稍有不慎就會在邏輯上出錯。

其次現行的MIDI信號是上世紀80年代的產物，它雖然字符量小、傳輸方便、編譯難度小。但是現在都是高精度設備，所需的數據精度高、數據流量大。MIDI這種低精度、字符量小的信號已經與很多設備不兼容了。對于MIDI的期待只能放在正在籌備的MIDI2.0上，期望能通過5G這條快車道給MIDI2.0帶來全新的活力。

除人工控制問題外，映射MIDI與DMX512時由于DMX控制器自身設置的原因，在一個控制器中只能接收64條MIDI通道。雖然可以將一條MIDI通道映射到不同的DMX地址上，但是對于有著多功能且信息量大的燈光設備來說64條通道完全不夠用。因此項目組計劃在下一個項目中使用局域網來傳輸MIDI與DMX信號，采用復路傳輸的方式進一步的探索在網絡中交互信號的應用。

結 語

本文主要從新媒體角度討論了電子音樂創作與表演方向上的創新與可能性。當代音樂已不僅僅是單一的聽覺藝術，它逐漸走向多元化，多感官協同音樂將在未來極大的發展。概念型作品《New Dawn》意在探索MIDI與DMX512在新媒體舞臺上的可能性，使MIDI不再作為一個音樂工具，而是作為一個通信工具再次活躍于舞臺。下一步將把實驗型音樂借助新媒體技術將它推廣于大眾，就如同從另一個角度考慮MIDI的用法上，實驗性音樂在美術與雕塑方面有著很強的共鳴能力，它在跨界藝術及VR、AR方面將有著良好前景。針對本文所提的技術還有很多問題值得研究與探索，希望藉由此文給眾多作曲家、表演者新的思考與方向。

注釋：

① RCA MARK II：1957年美國無線電聯盟將可編程音樂合成器RCA MARK I改進為II代，允許其使用非官方外部程序，并將音域擴展了兩個八度。

② MUSIC N系列語言：由Max Mathews于1957年編寫而成，MUSIC I是第一個通過直接合成生成數字音頻波形的計算機程序。

③ Csound最初由Barry Vercoe基于Max Mathews的MUSIC XI模型。

④ 樹莓派：是基于Linux的單片機電腦，由英國樹莓派基金會開發。

⑤ MIDI事件由8位字（通常稱為字節）組成，這些字以31.25 kbit/s的速率串行傳輸。

⑥ DAW：Digital Audio Workstation數字音頻工作站。

⑦ 操作碼：即編譯語言中的關鍵字，如：Function,Core,For。

⑧ 此處樹莓派的編譯器為SuperCollider Server。

⑨ “娛樂技術-USITT DMX512-A-用于控制照明設備和配件的異步串行數字數據傳輸標準”。

⑩ 在傳統搖頭燈里切換顏色是通過一張有著很多顏色濾鏡的顏色轉輪來切換預制好的顏色，不存在調色的概念。

? 菊花鏈：任意非相鄰設備必須通過相鄰的中間設備鏈接，使信號不會形成網狀的拓撲結構，且不會形成環路。

? MIDICC：MIDI控制事件，用于控制MIDI外設的連續控制事件。

? 數字推子：即軟件中生成的UI推子，用于鼠標操控的虛擬控制器。

? 模擬推子：即各類控制器中的觸控推子，用于手動控制的實體控制器。