中國傳統樂器在新媒體交互作品創作與表演中的應用
——以新媒體影音作品《幻·翼》為例

韓金昊 / 楊萬鈞

引 言

中國傳統樂器是中華音樂文化的重要載體，幾千年的音樂文化所積淀留存的結晶造就了：“金石土革絲木匏竹”八類樂器，其中廣為人知的“笙”屬于“竹”類樂器。笙最早可以追溯先秦史書《世本》中的“女媧作笙簧，伏羲造琴瑟”，具有悠久的發展歷史。據考證，笙在春秋戰國時期最為鼎盛，這一時期笙既能參與管樂隊的合奏又能單獨演奏，在隋唐后期又逐漸演變出笙樂隊的管樂齊奏。到了近代后，西洋樂器在國內被廣泛接受，有著成熟的調性和聲體系與完整音色規劃的西洋管弦樂隊涌入中國文化圈，擠壓著中國傳統樂器的地位。笙作為一件音色個性較強、頻譜過于規律的民族樂器，在與多種樂器合奏時不易形成協和感，在規模化的樂隊編制中錯失了發展時機。但隨著時代與技術發展，新媒體交互理念給了笙一個新的發展機會。笙的音色由于頻譜分布規律，因此更容易調制出富有特色的聲音。其音響具有高頻的穿透力和中頻的柔和感，在有著鮮明特征的新媒體電子音樂①中很適合作為交互對象。

本文將以筆者創作的新媒體交互作品《幻·翼》為例（2020 年紐約虛擬電子音樂節入圍作品），闡述笙作為中國傳統樂器如何參與到新媒體交互創作之中。

一、研究背景與目標

近些年新媒體交互作品在社會上初露尖角，愈來愈多的交互概念出現在各大展演作品中，從早期的音樂噴泉到近期的VR、AR，都有交互概念的體現。此類技術在國內國際受到極大的關注，但目前在國際上大部分的交互式作品或展演中使用的都是西洋樂器或噪聲樂器，很少有中國本土傳統樂器出現。因此筆者在創作中選用笙作為交互對象，結合實時編碼技術，在實時影像生成軟件和聲音合成系統上創作，最終以新媒體音樂的形式為現代笙作品帶來一個新的面貌。

自20 世紀以來，現代音樂、先鋒實驗派音樂逐漸興起，其改造傳統作曲技術并打破傳統作曲理念的思想引起了全球的實驗熱潮。從早期的具體音樂、純電子音樂到后期的計算機音樂及經電子手段處理的交互音樂，作曲技術的創新使得一些新穎的作曲思想與觀念融入作曲家的創作中，作曲技術的進步使得生活中隨處可見的聲源都有可能改造出一個極具特點與內涵的聲音，而新媒體音樂則是在此基礎上綜合了各種音樂與表現媒介的新興音樂藝術。這種兼具有多種媒體藝術的音樂形式對于笙來說，是一個新的發展機遇。

筆者在本科階段學習研究了能夠實時編寫聲音信號合成代碼的人機交互技術——Live Coding（實時編碼）。該技術在進行實時聲音合成時可同時收發MIDI 信息，在新媒體電子音樂中具有良好的表演性和兼容性。該技術與實時影像生成技術相結合，在表演時通過映射聲音信號來實時生成影像，由表演者依據現場情況實時修改算法與程序，以達到音樂與多種媒體的有效融合。

二、實時聲畫交互技術在《幻·翼》創作與表演中的應用

（一）《幻·翼》的聲音合成技術基礎

Live Coding 原意是在現場表演實時編譯代碼來控制程序，在音樂作品中常用于在現場實時編寫聲音合成代碼以實時生成音樂。該技術的一大亮點就是在現場實時公開編寫的操作碼②，并根據現場狀況調整算法，以達到在表演中與觀眾互動的目的。

筆者在創作《幻·翼》時采用真實樂器作為聲源，通過現場編寫效果器鏈③來對聲音進行處理，從而達到對音樂素材的鞏固與發展。在對效果器鏈進行實時調整時，遵循步進或對置來表現作品的沖突感。該手法需要在編碼過程中快速執行多個操作碼并保持其在時間上的連貫性與穩定性，對此需要引入自定義函數以簡化操作流程。用自定義函數封裝大段的執行過程及算法，可以使其被字符量較少的變量④來調用，進而快速轉換效果器類型及其調制參數。被自定義函數封裝過的代碼塊可以在不同buffer 中以變量的方式調用，自定義函數中插入的臨時變量可以將變化的參數傳遞到函數里，實時的對其控制和處理。在下例中可以使用變量f 對自定義函數test 進行參數調制，并執行輸出a：

使用自定義函數可以實現用很少量的字符調動大段的代碼，減輕在實時編寫代碼時的操作量。除此之外，將循環結構與算法結合后可以生成插值，增強在效果變化時的平滑感。例如要調整混響量（reverb）來產生由近到遠的深度變化，需要將混響時間以對數變化的方式由短增加到長。此類對數變化在生成時可建立以下對數模型，通過輸入集合a，函數test_exp 在1s 內自動生成10 個對數值va：

通過上例可以在可控范圍內使效果的變化變得平滑，但效果器是有限制的，不可能完全替代樂器的演奏法，這時就需要一種交互方式可以讓操作者與表演者進行單向溝通。在表演過程中，操作者與樂器表演者相互校準時鐘是一件困難的事情，為了在調用代碼塊的同時又能明確傳遞給樂手段落時間信息，筆者在代碼塊設計中插入了MIDI 信息作為時間標記，用MIDI 信息觸發段落標簽并將該信息傳遞給演奏員，提示演奏員表演的進度。在Live coding 中編譯MIDI 信息是一件很容易的事情，下例就是一個MIDI 信息的編譯：

該組信息代表作品的一個段落，由e3 音高的觸發代表段落開始，e3 音高的關閉代表段落結束。MIDI 信號作為一個段落的標記時可以在系統中可映射為指示燈事件，在進行交互時以不同顏色示意演奏員段落進行情況。

（作品《幻·翼》演出現場）

（二）《幻·翼》的聲音設計

《幻·翼》全曲分為4 段，“起、雨、爭、翔”四段對應“起、承、轉、合”傳統概念，同時融合西方曲式結構的對比并置和模仿級進。表演時采用現場表演和實時交互的綜合呈現方式，使用電子技術對現場演奏的聲音進行拾取變形，最后將聲音信號按比例混合輸出到調音臺，實現聲音的藝術化處理。

筆者在設計聲音合成結構時采用實時編碼的效果器鏈，實時對拾取的聲音進行變形及調制。在聲音處理時，筆者常用以下的嵌套方式實現效果器鏈的構成：

以上為《幻·翼》的效果架構之一，用嵌套的方法將echo 處理過的信號再經reverb 處理，從而在保證空間縱深感統一的前提下模糊聲音的聲像。此手法是模仿哈斯效應去模糊音效的聲像，并根據效果器的排列和現場的聽覺去控制參數，因此筆者在設計程序時留下許多變量，以方便在表演時進行修改。

上例是作品變量設計的基本思想之一，通過預留出足夠的變量，得以在表演中實時對效果器的參量進行修改，對聲音的深度進行調制。上例中mix: (b/c)*100即為一個簡單的算式，通過預先計算出的干濕比范圍給定可變化比例，用以維持信號輸出的比例。

除此之外本作品還使用到諸如減法合成、粒子合成、效果切片等等技術，但由于篇幅限制不在此贅述。

（三）《幻·翼》的視覺設計

筆者在設計《幻·翼》這個主題之初就已對其表現的場景進行了簡要的設計。在視覺形式上參考了中國水墨畫意境與風格特點，以圓潤交融的圖形變化展現笙與新媒體藝術在內涵上的統一，以色彩對立展現出雙方在形式上的對立，渲染出兩者相輔相成但又相互獨立的氣氛。

《幻·翼》的視覺設計使用了實時影像生成系統“Magic”，該系統可以將聲音通過算法轉換成視覺影像。Magic 系統采用開放式排布設計，采用圖形化編輯的界面，可以讓作者通過連接功能模塊和信號通路來處理信號流，并最終通過運算合成出影像。該系統中的每個功能模塊都可設定與聲音相映射的算法，這使得聲音細節在與影像映射時變得更加易于對位并且更有邏輯性。

在該系統中筆者以基本幾何圖形為基礎，使用動態捕捉、定幀、鏡頭移動切換等方式處理出各種漸變的影像，使其按照旋律的發展產生形態變化，根據頻率的分布產生顏色變化。實時處理的方式同上文的實時聲音處理一樣，使用可控的算法設計每個效果器的變化方式和速度，用MIDI 信息校準聲音與影像的時鐘。

《幻·翼》視覺設計主要來源于聲音素材的振幅與頻率變化，這些變化的原始數據通常不能直接驅動從而形成良好的視覺感受，因此必須要使用特定算法對其進行調控。以效果器“RGBA”為例，該模塊可對其上游音頻數據的RGBA 通道信息進行算法控制，其R、G、B、A四個參數分別可添加獨立算法，使其針對聲音的不同層次進行獨立映射與變化。在該效果器設計映射筆者常加入了“hold”算法對其進行保持和穩定，使其能夠流暢變化而不雜亂，同時使用“scale”參數對其值域進行縮放控制，以獲得足夠的對比度。

（作品《幻·翼》中的視覺色彩層設計片段）

在整體視覺效果設計時筆者仍然按照鏈狀進行嵌套，即第二順位效果是嵌套在第一個效果之中的，以此連接形成一個效果鏈。該種效果鏈的模式在視覺生成方面極大的簡化了數據聯動的模型，使得效果器之間不需要添加單獨線程進行控制。

Magic 在進行聲音映射時可以選擇信號源，即可讓一個效果參數在不同信號源間切換，或讓同一信號源映射多個效果參數。《幻·翼》這個作品是筆者在傳統樂器與新媒體交互音樂中的初次嘗試，因此在映射參數時采用了聲音的分層映射，在作品的部分段落中由多層聲音綜合映射。在分層映射中，多組聲音數據分別控制影像的多組算法，進而分割影像的變化方式，表現出既綜合又分離、既統一又獨立的矛盾感，加深其藝術化的表現特征，深化其電子音樂與傳統樂器在內容上統一但形式上對立的本質。

結 語

作品《幻·翼》是筆者首次嘗試結合中國傳統樂器和新媒體技術，運用現代作曲技術所創作的實時音樂交互作品，旨在結合多種媒體制作平臺和宿主、協同多系統創作、測試并建立各個系統間的接口。此作品在創作時通過和樂手的協調與配合得以獲得更好的音色，并尋找笙在現代技術下的各種創作可能性，以增強對現代音色的感知能力與審美能力。

經過測試與調整，《幻·翼》所使用的“聲—畫—控”三端合成系統可以長期使用并移植到其他作品上。該系統以實時的聲音信號合成與視覺材料生成為主，兼顧算法與手動控制，在創作其他作品時只需調整算法框架即可快速應用。其控制端采用的實時編碼控制方式可以兼容預制生成和現場創作，既可以現場拾音也可以實時合成信號，在作品創作上提供了多種可能性。

（作品《幻·翼》中的信號邏輯圖）

此次對樂器與新媒體系統交互的研究拓展了筆者對于新媒體藝術形態的視野，獲得了更多對于音樂與視覺方面的實踐經驗，并建立一套可持續改進與發展的系統。筆者所建立的系統利用軟件間的傳輸協議在聲音與畫面交互方面構建了交互接口，以簡單的控制方法控制作品效果，不過還存在很多問題。目前技術所支持聲音信號在軟件中的解析能力太小，僅能解析出少量數值組，雖然軟件提供了多種算法，但依然不足以展現作品表現力，在未來的調試與開發中仍需要尋找能夠深度解析聲音的工具。視覺信號在生成時聲音信號雖然能起到調控作用，但對音頻信號的變化的閾值過于固定，使得視覺素材變化過快，在一般創作中需要使用算法對其進行限制，不能充分發揮其作用。這些缺陷將在未來的研究中逐步分析并解決，以創作出有更好兼容性的新媒體創作系統。

注釋：

① 新媒體藝術是一種以光學媒介和電子媒介為基本語言的新藝術學科門類。新媒體電子音樂是其屬下一音樂特化分支學科。

② 操作碼為計算機語言中所規定執行命令的部分指令或字段。

③ 在聲音合成中，效果器呈鏈狀首尾相接的一種排布方法。

④ 變量是計算機語言中能儲存計算結果或能表示值的抽象概念。