基于互聯網的音樂信息傳輸技術研究及應用初探

韓金昊/楊萬鈞

引 言

2019年起，受新冠疫情（COVID-19）影響，全球各大音樂演出機構不得不停止線下演出，轉而以虛擬音樂會形式在線進行音樂表演。不過受技術條件與客觀網絡質量影響，直播平臺為保證流暢的信號傳輸，都會對音視頻信息進行壓縮，而有損壓縮算法會對信號質量產生無法還原的失真及數據丟失。另一方面，直播和在線會議平臺不對參與者的聲音信號進行強制同步校驗，使得在同一直播間或會議室的數個參與者間會產生不同長度的信號延遲，用于音樂表演其質量會受到嚴重影響。

在音樂創作方面，作曲家在使用網絡會議時很難和演奏員流暢的交流，音頻質量也達不到演奏標準，使得在創作時受到極大影響。盡管市場上有一些成熟的商業音頻傳輸系統，但能滿足線上音樂表演需求的均價格不菲，因而許多作曲家和工程師都在努力探尋一種能夠在保證音頻質量的情況下，低成本、高質量的傳輸音頻數據的技術方案。

本課題是在疫情造成社會生產受到極大影響，作曲家和表演藝術家堅持在困難條件下繼續音樂創作和表演的背景下提出的。筆者和團隊成員針對相關問題與技術，檢索并梳理了大量相關文獻，對部分理論和技術進行研究實驗，尋找可能的解決方案，通過本文向具有相關需求的讀者進行介紹。

一、商業化網絡音頻傳輸系統

（一）線上虛擬音樂會

十多年前，網絡音頻傳輸是一項比較復雜的技術，要實現虛擬線上音樂會通常需要很高的經濟和技術成本，例如自2010年開始的Eric Whitacre虛擬合唱團，在三年內實現了從185人到4000人的線上合唱表演，參與者遍布全球73個國家，在虛擬線上音樂會中留下了濃墨重彩的一筆。但他所構建的網絡通訊系統十分龐大，運行成本很高，同時還需得到通信贊助商的支持，因此在完成第三次虛擬合唱音樂會后便不再舉行。

近年來網絡技術飛速發展，音樂信息傳輸技術得到快速進步，虛擬音樂會的概念也逐漸被大眾接受，一些機構也把虛擬音樂會作為演出排期的一種列入計劃。受新冠疫情影響，原定于2020年的許多音樂會都不得不緊急取消或改為線上演出，如2020年紐約城市電子音樂節（NYCEMF 2020）和2020年國際電子音樂年會（ICMC 2020）都為應對當地嚴峻的疫情，改成了線上虛擬音樂會或線上推廣。

但因客觀經濟條件與技術條件的限制，組委會選用流媒體技術作為線上音樂會的通信手段。不過以流媒體技術傳輸的音頻信息都會被壓縮以加快傳輸速度，運營商和平臺為了保證流暢度會再次壓縮數據，這會對聲音細節造成不可挽回的損失。為此NYCEMF組委會提供了可下載的工程文件和音頻文件，方便聽眾在非實時環境中更好地欣賞作品。

由此可見，目前流行的網絡直播平臺或基于流媒體技術的網絡會議平臺并不適用于專業的音樂數據傳輸，難以應用于虛擬線上音樂會中，因而需要更符合專業音樂演出質量要求的網絡音頻傳輸方案。

（二）商業網絡音頻傳輸系統

通過網絡傳輸音頻的技術已經得到廣泛應用，但要高質量、高精度的傳輸音頻信號，目前只有很少的廠商掌握核心技術，其中Steinberg公司出品的VST Connect Performer系統是質量較穩定的常用系統之一。

VST Connect（下文簡稱VSTC）（如圖1所示）的開發團隊有著超過十年的網絡音頻傳輸技術的開發經驗，該系統操作方便、功能強大，易于上手。VSTC是一款強大的音頻信號傳輸及分布式處理軟件，通過內置在Cubase和Nuendo中作為一個路由終端，實現音頻傳輸網絡的構建，在專屬網絡內可高質量、高精度的傳輸音頻信號、MIDI信號，甚至視頻信號，是當前使用較廣的網絡音頻傳輸系統之一。

圖1 VST Connection的工作界面

完整版本的Cubase或Nuendo價格較高，為滿足非Steinberg用戶應用VSTC技術，Steinberg公司允許單獨發行并購買獨立的VSTC程序，可以應用于其他工作站或音樂軟件。

VSTC將音頻信號的處理分散至網絡上的多臺計算機，減少單一計算機的運算壓力。用戶在主控端登陸后便可自行構建用戶網絡，將受控端接入系統中，構成一個基于網絡的音頻傳輸系統。在傳輸信號時，VSTC可同時實現信號處理。通過主控端的VSTC可以設置受控端的處理進程，精確控制數字信號的流向，實現網絡內的信號分布式處理，最終混合成一個完整的信號。

除此之外，Apple公司的Logic Pro也提供基于網絡的分布式音頻處理（DAP）功能。利用TCP/IP協議，通過網絡將信號分散到有Logic Node服務的節點上處理，借助每個節點的運算能力對音頻信號實現處理，完成后發送回主機，減輕主機的運算壓力。Logic Pro的DAP系統只能運行在蘋果計算機上，不能跨平臺、跨宿主連接，在通信上較為不便。但憑借Logic強大的編曲功能和人性化的操作設計，仍活躍在音樂家群體中。

（三）商業化聲音處理網絡的局限

Steinberg的VST Connect還是Logic Pro的DAP系統都是商業軟件，作為功能模塊或插件接入系統，其核心組件都進行了加密封裝，對系統接入的功能做出了限制，降低了音頻傳輸與信號處理的兼容性，使得作曲家很難對其進行二次開發。兼容性的減弱還意味著用戶很難用其它平臺的軟件與系統建立連接，該網絡系統下所有的成員都必須采用同樣的接入方式，整體構建系統和使用的成本大大增加。這兩套系統的目標客戶是商業數字音頻工作站，其售價與使用成本高昂，學生、非盈利組織研究者等難以負擔其應用成本。

二、低成本的虛擬音樂會技術實現

（一）內網穿透技術

前面提到的聲音傳輸系統大多在局域網內工作，可以在小型音樂會場中用作低延時的通信服務，但要在大型活動或遠程表演中該如何實現信號傳輸呢？

經過筆者的研究與實驗，大部分的聲音傳輸系統都支持TCP/IP或UDP協議，因此可以利用內網穿透技術將本地IP地址和端口映射為公網IP地址和端口，從而將局域網和公網連通，使數字音樂信息可以通過公網進行傳輸。

在穿透內網時要使用和當前音頻傳輸系統相同的網絡協議，用轉發IP的方式把內網的IP與端口映射到公網。在實驗中，筆者使用JACK音頻傳輸套件，其信號可以通過UDP協議傳輸，因此首先要構建一條UDP通道才可將系統與公網連通。

因可以實現內網穿透的服務或軟件較多，經過多次實驗，筆者最終選定SukuraFrp系統實現了內網穿透。該系統是一種服務進程（守護進程），不需對操作系統做出設置，能夠根據選定條件自動構建UDP通道，非常適合有相關需求的音樂家或藝術家使用。

（二）MIDI協議

與常規網絡數據一樣，MIDI數據也可以在局域網內通過網絡通信協議在各終端之間傳輸。Mac OS上可以使用系統內置的IAC驅動實現網絡MIDI信號傳輸。Windows平臺上與之相似的網絡MIDI傳輸驅動有rtp MIDI，相較于MIDI over LAN或IP-MIDI等協議，rtp MIDI為開源自由軟件，免費而高效。筆者基于WiFi網絡使用rtp MIDI構建MIDI信息網絡，免去布線的麻煩，減少對演出場地的占用，使通信變得更方便。

（三）Open Sound Control協議

OSC（Open Sound Control）是一種數據傳輸規范，用于應用程序、硬件之間的實時通信。OSC項目最初是為設計一種替代MIDI的高精度、低延遲、靈活的通信標準，用于網絡環境下的實時音樂表演。相對于MIDI，OSC移除了MIDI許多固有的信息結構和硬件限制，加入了開放式、可自定義的空間地址模型，甚至可以通過標準網絡硬件提供任意的參數控制。

TouchOSC是目前比較流行的開源OSC控制軟件，支持跨平臺連接，可以使用基于UDP和TCP/IP協議的網絡通信。TouchOSC可以自行開發控制界面，用戶可以根據需要在開發套件中設計交互面板，不需要從代碼層面進行開發。

對于遠程表演來說，OSC在網絡通信方面已經超越了MIDI，可預見OSC將會成為音樂制作通用標準之一。

（四）JACK

JACK（Jack Audio Connection Kit）是一款介于軟件與音頻驅動之間的中間層，為音頻軟件、硬件之間的通信提供服務，可以讓用戶構建強大的信號處理及音樂制作系統。JACK來源于Linux系統，是專業級的聲音服務（守護進程），為音頻信號和MIDI數據提供實時、低延遲的連接。JACK中的JACKRouter服務可以運作在聲卡驅動與音頻軟件之間，作為一個中間層把音頻信號在各個端口間進行橋接。

在實驗中，已載入JackRouter的音頻程序可以作為JACK網絡中的一個節點，通過JACK的中間層功能將信號橋接到其他應用或驅動中。這樣的方式打破了操作系統對音頻I/O的限制，JACK作為跳線盤（patch bay）以跳線的方式將各個音頻軟件的信號相互連通，構建自己的信號流路由系統。

三、線上虛擬音樂會設計與表演實踐

經過筆者和團隊對上述網絡音樂信息通信技術研究和實驗，于2021年4月在四川音樂學院數字媒體四川省重點實驗室舉辦了一場小型虛擬線上音樂會，筆者和多位團隊成員參與創作了多部基于網絡通信的實時音樂作品。

此次線上虛擬音樂會在策劃之初，就討論決定作品基于低成本的互聯網音樂傳輸技術和內網穿透的遠程通信技術創作和實現，主要使用前文介紹的通信技術，搭建一套用于遠程傳輸音樂信息的網絡通信系統，以此實現一場實時的線上音樂會。

現代觀眾更愿意、更喜歡接受能夠與自己產生聯系的作品，如現場表演和現場互動；而錄播的作品在內容上較為死板，雖然能夠忠實地傳達作者的創作意圖，但觀眾很難身臨其境地融入到作品中。因此本場音樂會作品既有傳統的預制型作品、交互型作品，也有基于網絡的實時交互作品、實時編碼作品，從而體現出網絡技術在音樂創作表演中的應用和新的可能性。

其中，實時交互作品以內網穿透為核心通信手段，用MIDI、OSC傳遞控制信息，用JACK傳輸音頻數據，在總控計算機上整合為一個完整的作品。相比傳統音樂創作，基于網絡的創作可以使用低成本的開源軟件與通信技術，減少使用價格高昂的商業化系統，大幅降低創作成本來實現虛擬音樂會。

在交互作品創作中，MIDI協議是最常用通信標準。傳輸MIDI信息比傳輸音頻信息所需帶寬更窄，傳輸更為高效。為減少演出時主控端的運算負荷，大部分的音頻運算由音源宿主完成。宿主通過網絡獲取MIDI信息后，運算并生成音頻信號，通過聲卡發送至揚聲器，提高系統的整體運算效率。

在表演方面，基于網絡環境創作的作品無需演奏家親臨現場，能夠跨越地域限制邀請到高水平的演奏家，減少人員流動所帶來的一系列成本和安全問題，演奏家只需安裝指定的通信軟件就可加入虛擬音樂會進行表演。

實時的遠程通信還可以強化表演者與創作者之間的聯系，讓彼此合作更容易，在表演時可以更方便地交流，精確控制作品表演的細節，實時回應現場觀眾的需求，與觀眾互動。

遠程通信的優勢不僅體現在表演者與創作者之間，在音樂會的參與人數上也可大幅提升。傳統音樂會由于場地限制，無法滿足過多觀眾同時親臨觀賞，但在網絡上不受此條件的限制。理論上只要網絡音樂會主控端的數據帶寬足夠，就可以容納更多的觀眾，因此網絡音樂會可以讓更多的音樂愛好者參與其中。

在觀眾互動中，使用網絡通信可以拓展出新的交互方式。在本場音樂會中，筆者自行設計TouchOSC的界面，構建了一套自定義的OSC映射體系，成功地與MIDI系統連通，用無線控制的方法將OSC信息轉化為MIDI信息與設備產生交互，將MIDI和OSC信息映射為燈光或影像事件，大大拓展了表演方式。演職人員提前將團隊編寫的TouchOSC控制程序發送給作為演出志愿參與者的觀眾，讓他們按照設計要求在音樂會進行過程中參與到作品表演中來，使觀眾成為作品互動表演的一部分，打破觀眾與表演者之間的界限，強化表演者與觀眾的直接交流。

本場基于網絡音頻傳輸系統實現的音樂會，受到許多觀眾的好評與認可，在同行業參與者中留下很深的印象。許多觀眾表示這是一次耳目一新的體驗，使用了很多未曾想到過的新方法，對基于網絡技術的音樂表演有了新的認識，期待新作品的創作和表演。

結 語

在本次的音樂會實踐中，筆者通過研究網絡音頻傳輸、虛擬音樂會的相關技術，找到了諸多可以實現網絡音頻傳輸的方案，既包括有成熟的商業聲音傳輸系統，又有開源低成本的通信技術，可以滿足不同人群的應用需求。

本團隊對虛擬音樂會技術的實踐找到了有效的低成本通信手段，實現了在不同網段間的實時通信，建立了由多種軟件構成的音頻傳輸系統。對于那些無法獲得足夠經濟支持和技術支持的創作者而言，本次音樂會提供了一個良好的解決方案。這些低成本的通信技術在保證通訊質量的同時，還可以最大限度發揮用戶的自主開發能力，根據用戶知識背景和應用需求，以上的通訊技術還可在其它創作中加以應用。

對虛擬音樂會技術的研究還推動了筆者團隊基于網絡通信的實時互動音樂作品的創作，拓展了網絡音頻傳輸系統在音樂創作中的應用前景，探索到更多實時表演的可能性。希望相關的藝術家能夠借此文獲得新的靈感與思考。■