當代音樂人工智能技術的應用與展望

摘 要：人工智能是21世紀以來，對人類音樂發展影響最為全面和深刻的技術和理念之一。而且在近年來，這種影響已經不再局限于音樂本體，而是擴展到了音樂的相關學科，也獲得了全面的藝術呈現效果。基于此，本文從交互式電子音樂中的四個大類（傳統舞臺的交互式、舞蹈交互、藝術裝置、敘事舞臺）闡述音樂人工智能與跨學科的關系，并簡要描述近期上演的代表性作品，從而介紹目前國際最新人工智能在各個領域的演出作品和應用。

關鍵詞：音樂人工智能；跨學科應用；展望

中圖分類號：J614文獻標識碼：A文章編號：2096-0905（2023）34-0-03

一、音樂人工智能技術的跨學科應用

（一）交互式電子音樂

數據驅動樂器是交互式電子音樂的一個分支，也是筆者主要研究的方向。傳感器作為樂器的編程是電子音樂作曲面臨的主要問題，即要如何劃分聲音。其中包括四大類，最常見的便是樂器與電子音樂的交互。樂器通過麥克風與電子音樂進行實時交互，或者演奏員穿戴音量檢測器或者傳感器，通過實時數據流和電子音樂進行交互。交互的結果可以反映為兩種——聲音、視覺。無論什么樣的交互，通過電腦輸出后，可以生成實時電子音樂，或者觸發聲音片段，再或是通過Max/MSP中的Jitter投影產生視頻效果。

相比傳統作曲，交互式電子音樂會帶來更多不同的感受，例如，鋼琴演奏傳統的古典作品時，利用燈光或者實時的畫面，在電腦的人工智能運算下，結合麥克風檢測到演奏曲子的輕重緩急進行光影變化，讓觀眾從另外一個角度欣賞同一首作品。這種聽覺藝術加上視覺效果的形式，除了讓人從新的角度理解古典音樂外，同時也吸引更多認為古典音樂“晦澀”的觀眾，從而能夠更好地將古典音樂推出去[1]。

（二）舞蹈交互

舞蹈演員穿戴上傳感器，而電子音樂再根據舞蹈演員的肢體動作而進行實時的處理，這是舞蹈的一大革新。傳統的舞蹈需要根據伴奏的節奏，而交互式電子音樂的舞蹈可以由舞蹈家用肢體作為“樂器”來“演奏”音樂。

主流的肢體檢測分為三種，第一種為穿戴式檢測，第二種是攝像頭檢測，第三種是通過編舞進行檢測。

通過穿戴式檢測傳輸數據的有很多，也有很多關于穿戴式舞蹈的論文，在此不再累述。但在眾多的傳感器中，由Arduino公司推出了一款名為sensestage xbee sensors的傳感器與其開源代碼，讓很多沒有編程背景的作曲家可以更簡單地建造自己需要的傳感器。攝像頭檢測中的，如Cody Kauhl創作的《Enclencher》。兩位舞者在手心貼了紅色貼紙，然后攝像頭檢測顏色（預制紅色），從兩臺Apple筆記本電腦的網絡攝像頭捕捉手勢或表演動作。這些計算機處理數據并通過無線鏈路將信息發送到另一臺計算機上，該計算機使用這些數據根據準備好的算法生成音高和節奏序列。簡單來說就是運動軌跡觸發Max中預制的聲音，從而結合聲音和舞蹈。又例如Pablo Garretón創作的Estudio Triángulo III為Interactive dance/music，max/msp，kinect，arduino。在這場表演中，舞者的動作控制著燈光和聲音，控制的參數來源于空間中x、y、z舞者的移動位置和移動速度。所有系統均采用Max/msp軟件進行編程，并使用kinect作為紅外傳感器和兩個arduino來控制燈光。 Max/msp補丁還通過實時算法產生聲音，以便根據舞者的動作實時產生音樂。

上述兩首曲子為2013年、2014年的作品，而近期Google推出的Google MediaPipe，可以連接Max/MSP，通過作者lysdexic上傳的開源插件，我們可以直接在Max內部得到檢測手部、頭部、臉部的動作數據，在這個基礎上，Max/MSP接收到純數據后，作曲家和工程師可以按照自己的想法將對應的數據音樂化。

通過編舞和聽節拍器（click）從而達到讓觀眾誤以為是實時觸發效果的方法其實是最早開始使用，最常見的方式。其實與磁帶音樂和樂器演奏一樣，樂手/舞者需要熟悉音樂，熟悉節拍，在適當的地方出現，聽起來看起來以假亂真，讓人分不清是實時還是預制。

（三）藝術裝置

帶有可觸發聲音的交互式藝術裝置近來在國際各大美術館展出，作品既是雕塑，又是互動音樂裝置。此外，增加了“聲音”這個緯度，也帶給雕塑家們新的靈感，從而從更廣闊的緯度去表現藝術家想要表現的主題[2]。

Amatria作為有感知的建筑雕塑（Sentient Architecture）作品，是由Philip Beesley領導的多倫多生活建筑系統集團（LASG）、Philip Beesley Architect Inc.和網絡科學中心網絡基礎設施（CNS）的成員設計和建造的。雕像和樓體一同建造。目前位于印第安納大學伯明頓分校信息計算和工程學院四樓。

Amatria懸掛在4樓中庭的樓梯上方，由3D打印結構灌木叢形成的龐大森林景觀。作為實時交互的建筑雕塑，便是人工智能的編程，使得其使用光和運動傳感器收集有關環境的信息，對大氣聲音、起伏的運動和變化的顏色做出反應，并且在后臺實時發出自然之聲，模仿叢林。Amatria的每個零件都包含一個光傳感器和執行器，從而使后臺軟件得以控制每一個零件上的傳感器和執行器。

圖1作品中人工智能運用于Amatria對于自然日照光線的捕捉、周圍環境的信息、大氣聲音的起伏進行檢測后產生數據流，并發送到每個單獨的羽毛元件（見圖2），使其能夠對每日環境變化做出相應的反應。音樂在其中扮演的角色，是支撐“3D打印森林景觀”的聲音部分的出現。整個作品規模龐大，需要運行的程序眾多，如同一個有機體。筆者猜測這也是作者設計的初衷：森林作為自然有機體存在，乍看平平無奇，但森林中的萬物都是緊密相連的。當人類試圖用科技“復制”這樣的“簡單的有機體”時，才會體現到自然規則的龐大和對自然法則的敬畏[3]。

（四）敘事舞臺（文學戲劇）

這一類可以從故事情節和語言學兩個方面入手，故事情節可以和交互式多媒體進行互動，從音樂、燈光、舞臺、交互式多媒體出發，讓導演更好地講述故事情節，同時使觀眾更加身臨其境。

亞歷山大·舒伯特（Alexander Schubert）所創作的Anima?被他自定義為“人工智能驅動的研究所（AI-driven institute）”。在作品簡介中介紹：“Anima?是一個中心，人們可以進入模擬情境，舉例說明他們生活中的段落和時刻——不斷變化的參數和修改的現實。它是由計算機運行的人工智能驅動的場景，以提供心理洞察或先驗啟蒙。這是一個放棄自我和身體，屈服于不斷變化、強化的環境的過程，在這個環境中，世界隨著人的進入而消失。它使未來和過去栩栩如生，并使虛擬充滿活力。它在客體與主體、生物學與技術、啟蒙與自我消解之間運作。”

從圖3可以看，舞臺前有一個半透明網紗的屏幕，這個屏幕可以使投影儀投影畫面，同時也可以讓觀眾看清演員或演奏家。作曲家在2023年布魯塞爾的講座《虛擬身份模型（Virtual Identity Models）》中提到，這樣的設置是“……仿佛我們透過舞臺，在看一卷錄像帶”，這樣的設置強調了故事感和距離感。Anima?的表演分為沒有AI參與的部分和有AI參與的部分，分別對應舒伯特想表現的內和外（inner and outer）的概念。

沒有AI參與的部分，根據作曲家在講座中介紹的：“從技術上講，這首曲子的所有七位表演者都使用節拍器（click track）；他們所說的每一個動作、每一個字，都是由節拍器產生的。所以參與者幾乎沒有代理權，也沒有什么表達的空間。”

而有AI參與的部分，AI主要自動實時生成三種文本：（1）對于臺上演員們的指令（如向前、回頭、哭、笑等）；（2）自動生成詩歌；（3）由AI生成的人物聲音進行朗誦自動生成的詩歌，演奏生成各種樂器聲音，以及合唱隊聲音等。

以上三點所涉及的技術之廣，編程之復雜，是令人無法想象的。第一和第二點中，可以使用人工智能、數學模型系統和神經元編程完成。而在第三點語音和樂器聲音的生成，則需要前期對表演者，樂器、合唱團大量的錄音后，由電腦生成的類似于這些采樣樂器/人聲的聲音。需要注意，這和平時在DAW中使用的音源采樣不同，這錄制了聲音之后，計算機會自動分析樂器/人聲的音色所反映的頻譜，自我進化生成更進一步類似于輸入樂器/人聲的聲音。在此基礎上，無論電腦生成什么文字、詩歌，都不需要女演員在此錄音，而是直接可以用電腦生成的聲音朗誦生成的文本和指令。作者在講座中提出，本作的中心思想，是思考“從內向外，從外向內看”的思想，且內外的連接（interface）才是最重要，最值得探索的[4]。

綜上所述，人工智能給藝術家帶來了更多表達的可能性，可以讓藝術家在更多的維度上表達自己的思考，自己的想法，迸發出更多的靈感，影響更多的聽眾與觀眾。

（五）其他跨學科關系

以傳統音樂中古琴演奏的記存方式為例。早先，古人為了保存古琴的彈奏指法、弦序和音位發明了減字譜，但令人惋惜的是大部分樂譜早已消失在歷史的洪流中。例如，上海音樂學院趙維平教授在一次采訪中透露，他們正聯合華為團隊研究如何用人工智能來解讀這些“天書”，重構古曲。這一過程需要電腦程序員將減字譜的記譜規律編寫成程序，再用智能設備拍下譜例，并智能翻譯成簡譜收錄數據庫中，隨后，通過云計算等技術手段在服務器上訓練神經網絡模型，進行減字譜的深度學習。這個過程便屬于機器學習（Machine Learning）。

二、音樂人工智能技術的跨學科展望

交互式音樂演奏、視覺藝術、人工智能識別系統可以讓各個學科之間有更加緊密的聯系，進行更多的跨學科項目交流。

從音樂科普的角度來說，多媒體互動可以改變認為古典音樂“晦澀難懂”、傳統音樂“曲高和寡”的聽眾的認知。在傳統的演奏中，根據實時的音樂變化做出現場的沉浸式視覺效果，吸引更多的年輕觀眾群體，推廣古典音樂的現代魅力，使得更多人開始進一步了解古典、傳統音樂。

從合作的角度來說，多媒體視覺藝術是一大趨勢。對于現代多媒體歌劇來說，現代的科技手段可以幫助舞臺導演有更多的維度展示作品，更好地體現人物的塑造，或者使觀眾更加身臨其境。其中包括實時的音樂和舞蹈的合作、電子音樂和視覺藝術的結合等。做到互幫互助，增加院際交流，互相提升。

從表演教學角度來說，積極引進人工智能跟隨伴奏，能夠引導學生對伴奏聲部進行練習，從而提高伴奏課的效率，減輕伴奏老師的工作壓力，讓跟隨伴奏事半功倍，提高學生的整體水平。

從項目申請角度來說，以“新時代新技術話說經典”為主題，用最新的媒介傳播中國傳統文化。在世界范圍內介紹中國傳統文化，用新時代的技術譜寫傳播經典文學作品，在國際音樂節介紹更多中國文化。

三、結束語

法國IRCAM聲學研究所CNRS的研究主任讓·路易·賈維托曾說：“人工智能在某方面會比我們更‘藝術……因此，人工智能迫使我們從另一個角度重新思考藝術、哲學、人類學等古老的問題。”科技與藝術的結合已經成為不可阻擋的趨勢，作曲家通過在音樂創作中有效融入AI技術，提高音樂創作質量。但科技自身不會產生藝術，科技卻可以作為載體激發人類以其形式進行創新，并推動整體音樂藝術的發展。這也正是音樂家堅信人工智能音樂具有光明發展前景的基本理念所在。

參考文獻：

[1]黃宗權.音樂人工智能的哲學審思[J].中央音樂學院學報，2023（03）：9-21.

[2]陳天嬌.人工智能在音樂創作中的應用[J].信息與電腦（理論版），2023，35（12）：177-179.

[3]楊東妮.基于人工智能技術的圖書館音樂資源數據庫建設方法研究[J].信息與電腦（理論版），2023，35（10）：180-182.

[4]徐麗梅.音樂人工智能專業風頭正勁[N].音樂周報，2023-07-05（031）.

作者簡介：林舒瑜（1994-），女，福建廈門人，博士，從事音樂作曲等研究。