虛擬現實技術在電子音樂創作中的應用及其前景

■李 可

（中國傳媒大學，北京，100024）

近年來，虛擬現實（VR）技術飛速發展，并開始被各行各業的普通消費者應用，廣泛進入市場。虛擬現實技術（后文亦簡稱為“VR技術”）在音樂行業中的應用，自然也隨之在藝術界掀起了有一定強度的浪潮，例如：將電子音樂與光影藝術相結合，利用VR技術產生與以往不同的視聽效果；利用VR技術生成虛擬歌手，并結合電子聲音庫里的語音合成虛擬人聲，使之具備歌唱能力；在VR頭盔中配有虛擬鋼琴等樂器，以發揮學習和練習樂器的功能。但是，像這樣的與電子音樂相關的各式VR應用，整體上仍然處于開發、摸索階段，許多具體技術仍需改進，同時，VR技術在電子音樂行業中的應用的理論模式也還有待建構。因此，針對VR在電子音樂創作中的應用進行梳理和思考，是提出其應用模式的過程中一個必不可少的環節，也有助于我們進一步提出VR在電子音樂創作實踐中的應用設想及要求。

一、虛擬現實技術在電子音樂創作中的應用現狀分析

筆者搜集到了VR在電子音樂創作中的幾種應用實例 ，它 們 就 是 Soundstage、Electronauts、The Wave、Block Rocking Beats、The Music Room等幾種電子音樂創作的VR環境。這幾種VR音樂創作平臺具有一定的代表性，彼此有一些相似之處，但也有明顯的不同。下面，筆者將分別詳析這幾種工具的特點、功能，然后以之為出發點，嘗試探討將來VR應用于電子音樂創作的相關設想及要求。

（一）虛擬音樂工作室應用：Soundstage

Soundstage是基于VR技術的一款虛擬音樂制作工作室平臺，具有虛擬樂器演奏、錄音以及混音制作等功能，可以模仿音樂人所需的專業音樂工作室。比如，在這里可以隨手取用MIDI鍵盤、Roland808和一系列合成器等音樂器材。該平臺于2016年7月開始通過Steam Early Access發售，HTC Vive和Steam VR（目前市面上很常見的兩款VR產品）用戶均可下載使用。

筆者看到，Soundstage的當前版本有三種演示模式：節奏、合成器和音序器（均提供了范例）。這三種模式下有分別預設的聲音樣本，在其中同樣可以使用交互控制器去修改或添加新的音軌，也有刪除的功能，如同在真實世界中操作一樣。這款應用的空間容量足夠大，所以幾乎可以隨心所欲地放置器件，彌補某些實體音樂工作室空間不足的缺憾。

在這款應用里也可以選擇使用各種樂器，例如鼓、電子琴等，同時可以體驗在虛擬世界中用發光的虛擬連接線將這些樂器搭配、連接起來的感覺，這樣的體驗在過去的制作軟件中是找不到的。筆者認為，在虛擬世界中可以毫無顧慮地真切體會器件、樂器、連接線的物理屬性，以及擊打樂器時的真實感，這對過去的軟件中那些太強的電子化、信息化、工程化色彩是一種補充。

在Soundstage提供的每款范例中，都會出現8種不同的工具菜單，菜單操作可以通過手柄控制器上的控制按鈕進行。菜單包括鍵盤、音序器、沙槌、特雷門電子琴、錄音帶（樣本庫）、分割器、振蕩器、揚聲器、采樣、錄音、混合器（4通道）和鼓等。在使用這些工具時，可以用虛擬的發光連接線把它們接在已經設置好的虛擬插孔上。

圖1 Soundstage用戶選取不同音色聲音樣本

圖1是真實照片和VR環境的合成圖。用戶正戴著VR頭盔和耳機，手拿帶手柄的控制器，觸碰虛擬世界中的聲音樣本庫，選擇軟件自帶的各種音色。①本文引用互聯網圖片較多，茲直接列出各圖來源網址，后不贅標。圖1為https://www.ithome.com/html/vr/241261.htm圖2至5為http://www.yxdown.com/vrnews/297237.html圖6至7為https://www.midifan.com/modulenews-detailview-28727.htm圖8至10為http://www.sohu.com/a/225351429_484765圖11為http://www.sohu.com/a/72398111_381245圖12為http://www.paopaoche.net/article/106864.html圖13至15為https://store.steampowered.com/app/425400/Block_Rocking_Beats/

圖2是用戶在VR中連接完成的架子鼓。這里，它們還連接了三個音箱，所以能發出聲音。每個鼓下面都連接著一個聲音樣本帶，作為其音色。

圖2 Soundstage世界中的架子鼓

在這個空間中，像這樣的設備連接是相當便捷的。該應用的研發者將其定義為一種“巢”，還表示過去的技術雖然逐步發達，卻讓很多人缺少了對設備的真實感受。

圖3 Soundstage世界中的沙槌

圖3比較特別，虛擬世界中的沙槌（圖中右側）也是一個“無線”的裝置。

圖4 Soundstage世界中的音序器

圖4則是一個步進音序器，正在使用三種音色演奏一段簡短的音樂。

圖5 Soundstage巨大的音序器

而在圖5中可以非常明確地看出Soundstage中龐大的音序器。不難數出，圖中已使用了10種音色。它們正在演奏一段比較復雜的音樂——在音序器中，可以將選取好的音色放在小格子里，亮著的格子表示已經放置了聲音樣本，而最亮的那一列是音樂播放進度的標志線。在Soundstage中，可以創建的步進音序器規模最大為21乘22，算是一個相當大的陣勢了。

（二）虛擬音樂創作工具應用：Electronauts

Electronauts是一款基于VR的虛擬音樂創作工具，可以用來作曲和混音，是Survios公司和獲過格萊美獎的制作人組合Stargate合作而成的，其造型設計用當代青年的眼光看來很“炫”。要說這個應用的最大特色，應該是其游戲性。

圖6 Electronauts的體驗效果圖

圖6是Electronauts的效果圖，可見該應用的畫面風格十分精美，無論是為用戶設計的人物造型還是虛擬世界中的設備，都刻意體現了科幻感。

圖7也是效果圖，有兩名用戶正在敲擊著面前的圓球，并且身處一個類似飛行器的物體上，兩側還有長著椰子樹的道路，情景化風格相當突出。這無疑可以打動許多熱衷“追夢”的青少年。而如圖8，其“DJ臺”的造型同樣追求“炫酷”，用戶可以在這里選擇各種素材，并控制音量、調節音效。

圖7 Electronauts雙人效果圖

圖8 Electronauts兩人站在虛擬DJ桌前

在Electronauts中可以實現“演出模式”（用戶在“DJ臺”前操作控制器，進行樂器的演奏，也可以用手柄控制器擊打虛擬鼓面形成互動），還可以實現播放音樂以及編輯樂曲的功能。在之前提到的“飛行器”的設置中，用戶可以調整“飛行器”的滑動速度和周圍顏色。

圖9 Electronauts采樣觸發模式下的藍色球體

圖10 Electronauts在6個音軌中選擇

通過擊打藍色球體去寫入旋律，是Electronauts中獨具特色的操作。這種具有游戲性、科幻性的設計打破了常規音樂制作應用中的音符輸入規則。

（三）集創演于一體的平臺應用：The Wave平臺和The Music Room平臺

這是兩款應用。先來看The Wave，它最大的特色或許是給DJ帶來一個“炫酷”的表演空間，讓用戶可以盡情地“打碟”，提供非常強烈的沉浸感。當然，比作為一個“表演空間”更重要的是，The Wave平臺也為用戶們帶來了音樂創作上的更多自由。它是2016年在美國硅谷的虛擬現實博覽會上發布的，當時作為一個電子音樂創作平臺顯得十分“亮眼”。它的創作界面非常直觀，這與出品方對它的定位分不開：面向專業“電音藝術家”的VR音樂創作平臺和演出平臺。設計者希望它能給演奏者們提供一種隨時隨地為來自世界各地的“粉絲”展現精美“音樂秀”的手段。因此，這款應用最有特點的功能大概要算通過互聯網實時與觀眾互動演出了。當然，網上的用戶也可以自由切換“頻道”，作為觀眾去選擇自己喜歡的VR音樂表演。另外，The Wave還有一個特別之處——其音樂共享的理念：在這個應用平臺上，共享作品非常容易，這是目前其他類似的應用沒有涉及的。不過，The Wave也還有待進一步開發。

圖11 The Wave效果圖

圖12 The Music Room效果圖

與之近似的一個應用是由Chroma Coda工作室發布的The Music Room，這款應用著重開發藝術家在虛擬空間中使用手勢的功能，利用手勢追蹤技術去實現樂器演奏。它在有著大量虛擬樂器的基礎上，還擁有完整的Bitwig錄音棚，具有數字音頻工作站（DAW）的能力，以供用戶進行專業化的音樂創作。

（四）多人創作實時溝通平臺應用：Block Rocking Beats

2017年7月初，VR音樂應用程序Block Rocking Beats登陸HTC Vive平臺。適配Oculus Rift和HTC Vive頭戴式顯示器的Block Rocking Beats其實是一款VR游戲，但具有音樂創作功能。在這款應用中，用戶可以運用鼓、吉他等樂器創作音樂，還能進行混音等后期制作，但它最特別的地方是支持多人同時創作，并讓這些人進行實時、有效的溝通，分享自己在電子音樂創作中的想法。另外，這款應用也支持用戶在建立音軌的時候在可視化的音頻時間軸下完成。而在創作模式之外，它也能用來進行單純的用戶互動，也就是“音樂主播”模式，而且其舞美燈光的設計也很精美。

圖13 Block Rocking Beats效果圖

圖14 Block Rocking Beats操作界面

在這款應用中創作完成的音樂作品，可以保存并下載到其他平臺上繼續使用，這個設計是十分合理的。當然，它也有多項功能有待完善，開發者表示后續版本還將支持把自己創作的音樂分享給其他用戶。

圖15 Block Rocking Beats音樂創作

二、虛擬現實技術應用于電子音樂創作的未來設想及要求

目前的VR虛擬技術在電子音樂創作中的應用還處于初級階段，有些應用甚至不比一個簡單的音樂創作游戲多出太多內容。要想擁有真正專業的、全面的VR電子音樂創作平臺，需要有整體的規劃。筆者謹此闡述一些關于VR進一步應用于電子音樂創作的設想。

（一）全方位虛擬音樂工作室：集成創、制、錄、演

前述的各種VR音樂創作平臺，在技術方面大都已基本成熟，然而每款的功能都不夠全面，從而沒有完全達到電子音樂創作界的專業水準。理想狀態下的虛擬音樂工作室，應該集創作、制作、錄音、演奏于一體，而且是可以多人操作、遠程聯機的全方位虛擬工作室。

在這樣的音樂工作室中，創作者可以選取各種虛擬樂器及其音色，并在虛擬音軌和音序器中輸入音符或者電子聲音樣本，或錄制虛擬樂器的演奏，以進行創作。基本的電子音樂創作原則在這里不會有太大的改變。在這個基礎上，針對不同樂器的不同演奏方式，需要研發人員進行進一步的代碼細節處理，這一步驟顯然也是可行的。

比如，要實現在虛擬世界中拉奏小提琴，其中涉及的技術就有拿弓、運弓、手指按弦等，而目前HTC Vive中的一款以打保齡球為主題的游戲已經實現了這類操作。在該游戲中，用手柄控制器去拿起放在虛擬世界中的地面上的保齡球這一動作，在代碼層面與用手柄控制器拿起琴弓幾乎是一樣的；拿到保齡球后，手臂先后擺再前揮最后投擲的動作，也和小提琴運弓的動作十分相似，只不過在保齡球上要使用拋物線方面的設計，而拉小提琴則要考慮運弓角度的變化。筆者建議，在虛擬世界的詳細程序開發中，可以針對不會演奏該種樂器的創作人創建一個特殊演奏模式，即不需要擁有真實演奏的基本功，也能演奏出品質可以接受的效果，例如用戶不需要使用真實演奏的按弦力度即可實現該力度下的音響效果。工程師甚至可以開發出一種對演奏者所奏的每個音符自動做出力度等方面的技術處理的功能，當然這可能要使用一些人工智能方面的成果。

我們很自然地會有一種疑問：為什么需要做出這樣的設計？或者說，既然可以用人工智能去處理音樂，我們還需要音樂創作者嗎？筆者認為，答案是顯而易見的。人類在創作音樂的過程中是要遵循一定的規律的，而創作人對一段旋律的力度處理——哪些地方重一點、哪些地方輕一點——也是遵循音樂欣賞審美規律，即樂器本身演奏的聽覺審美標準的。我們知道，在基于傳統意義上的個人計算機的電子音樂創作中，即便利用MIDI鍵盤，也不一定能把所有的音源音色準確、完美地呈現出來，仍然需要在計算機上進行一些特殊處理去達到想要的聽覺效果。只不過，現在這些煩瑣的操作都將由人工智能代替，音樂創作者要做的是學會如何使用這些虛擬樂器和虛擬音源去體現自己的靈感，在可預知的未來之內，這是技術無法代替人類的一點。應該指出，即使人工智能可以實現自動作曲，但也不說明它剝奪了人類進行音樂創作活動的權利和必要性。人類可以利用這些技術去達成一些目的，但是音樂創作仍然是屬于人類的活動。至于人類寫出的樂曲和人工智能寫出的樂曲各有什么優劣，完全是另一個問題。電子音樂創作更是不同于傳統音樂作曲，因為其中的某些音樂結構不同于傳統樂器能夠演奏出的音樂。所以，在VR中需要設計更多的技巧處理方面的功能，也就是說，VR世界里的音樂創作在技術上仍然需要得到進一步的提高，而且是大膽的提高。

至于錄音技術方面，當前可以實現在VR中錄制虛擬樂器演奏的聲音，包括虛擬人聲。不過，如果說到在虛擬世界中進行真實世界中的聲音元素的錄制，目前還是沒有實現，所以在VR世界中為一個真實的歌手錄制演唱現在還是難點，目前的技術水平可以實現的是在虛擬世界中語音聊天。這就說明我們還需要研發人員做進一步的研究，開發一種類似于手柄控制器的、能夠拾取真實環境中的聲音并且將之與虛擬世界建立聯系的硬件。這項個任務對技術有著進一步的要求，但這些技術并非不可實現：拾取聲音的技術目前已很成熟，在硬件與虛擬世界之間建立聯系的技術也已存在。如果在不久的將來，把這兩種技術適當地融合到同一個硬件當中，也就更好地體現出了真實世界與虛擬世界之間的交互。

在演奏方面，因為樂器演奏具有一定的表演性、審美性，所以目前VR中實現的樂器演奏只能說還停留在比較基本的模式上，其觀賞價值并不太高。而要想提高VR演奏的觀賞價值，就得對多個方面提出更高的要求，例如虛擬樂器的音色的質量、演奏操作的靈敏度、演奏環境的美觀程度，等等。這里，筆者想就舞美的設計多說兩句：在虛擬世界中實踐舞美，是一件讓人心動的事情——在無限大的虛擬環境中，無須擔心投入過多的資金，就可以接軌并提升演唱會、演奏會、文藝演出等一切需要舞臺的場所的環境，甚至最終取代之。舞美設計的精美化雖然有難度，但也是非常重要、富有意義的。

綜上所述，在技術實現的基礎上，如果擁有全方位的虛擬音樂創作工作室，將為電子音樂事業提供巨大的便利。

（二）全新創作聽覺感受：三維空間

目前的VR技術已經可以產生一個逼真的三維虛擬空間，讓使用者如同身臨其境一般及時地、無限制地觀察這個空間內的事物。在這里，可以任意擺放虛擬揚聲器的位置，呈現出動態的聲音效果。虛擬環繞聲技術可以利用雙聲道立體聲的硬件，在不增加聲道和音響素材的前提下通過被電路處理過的聲場信號使聆聽者感到聲音來自多個方位，從而產生仿真的立體聲場。VR虛擬音響則可以利用其獨有的全景聲場模擬算法，在將環境聲和虛擬聲源精確地還原在三維空間里的同時，支持聆聽者頭部旋轉和移動情況下的聲場重建。

綜合起來說，基于雙聲道的虛擬環繞聲技術的VR系統使聆聽者獲取更優質的聽覺體驗，根本原因在于利用一些聲學效應產生來自不同方位的聲像，由此不再局限于僅僅處在水平方向上的聲像。①具體來看，虛擬環繞聲原理應用了人耳聽音的幾種效應，分別是雙耳效應、耳廓效應、人耳的頻率濾波效應以及頭部相關傳輸函數等。雙耳效應指出，同一聲源到達兩耳有細微的時間差，同時還具有強度差和相位差。而耳廓效應主要是說耳廓在人的聽覺系統對外部聲源的定位過程中能發揮非常重要的作用。人耳的頻率濾波效應主要是說人耳對不同頻段的聲波有著不同的定位判定方法，比如相位差可以定位20至200赫茲的低音，強度差可以定位300至4000赫茲的中音，而時間差主要用來定位高音。頭部相關傳輸函數則主要是關于不同方位的聲音在人的聽覺系統中產生相對不同的頻譜的。把虛擬環繞聲技術用到電子音樂的創作中去，就可以利用“三維聲像”生產出不同于以往的電子音樂效果，甚至可以通過創作者在虛擬世界中的位移而不斷引發“三維聲像”的重建，碰撞出更新穎的音樂效果。這將催生實時交互式電子音樂作品的新突破，甚至有助于將舞蹈與電子音樂創作相結合，產生實時交互的電子音樂舞蹈作品。

概言之，VR環繞聲的出現使得電子音樂創作的探索空間大大拓寬。在虛擬世界中，創作者可以隨意擺放不同樂器的“三維聲像”，追求自己滿意的結果。當然，這也需要研發人員在虛擬世界中再建一個小的虛擬世界，即“三維聲像”世界，以方便創作者去擺放。通過不斷進行大量的這方面的創作嘗試，就會逐漸探究出一些創作規律。而或許比這更加令人興奮的是，我們可以利用VR環繞聲在電子音樂的創作中實現“用戶位移感”，讓人的位置的移動帶來“三維聲像”的改變。從藝術功能角度來說，VR環繞聲在電子音樂創作中如果廣泛應用，不僅可以為傳統的電子音樂的創作添加新思維，還可以培養一種全新的聽覺審美。基于虛擬音響的“不設限”，有望突破過去的電子音樂創作中的意象空間與音響空間，誕生新的創作技法體系。

綜上所述，隨著VR建模技術、虛擬環繞聲技術、VR硬件等方面的不斷成熟，VR應用于電子音樂創作的前景越發良好。筆者大膽設想，VR的普及將會對未來的電子音樂作品的聽覺效果產生比較明顯的影響，并推動電子音樂創作技法的創新和發展。而借力VR的實時交互式電子音樂創作，甚至可以參與到催生新的藝術創作方式的歷史進程中去。