新媒介、新范式、新景觀：AI技術賦能下的音樂創演樣態變革

美國學者約書亞·梅羅維茨（Joshua Meyrowitz）在其著作《消失的地域：電子媒介對社會行為的影響》中，圍繞“新媒介一新情境一新行為”三者的關系，提出“媒介情境理論”，詮釋了新媒介對社會情境和人的行為產生影響的機制。從這一視角出發，技術媒介對人與社會的影響機制也同樣在遵循著該路徑。當 ”時代來臨后，人工智能技術的熱潮席卷著各個領域，藝術創作隨即迎來了創作情境的重構與新情境的誕生，從而促使創作者的行為轉變。這也似乎正在印證媒介學家麥克盧漢的觀點：“我們開始意識到，新媒介不僅是機械性的小玩意，它們還是新的語言，具有嶄新而獨特的表現力量?！?/p>

探索人工智能技術所帶來的新的藝術語言和獨特表現力是近年來音樂領域關注的焦點。AI技術催生出一系列適應多層級需求的AI音樂生成工具，在Suno AI^① 問世后，輿論稱之為“開啟了音樂領域的GPT時代”。全球各大人工智能音樂公司幾乎同時以競技時速紛紛推出自己的AI音樂平臺。除此之外，各種AI、智能模型、開源算法也為專業創作者帶來了新的視角。在多重人工智能技術的加持下，基于不同的音樂內容需求和創作者專業程度，AIGC音樂生態新格局正在逐漸形成，由此，也帶來了新的音樂創作范式及新的音樂表演樣態，重塑著新的音樂情境與景觀。

一、AI技術在音樂領域的應用現狀

（一）從PGC模式到AIGC模式

人工智能時代的到來，引發了音樂創作的變。在此之前，數字音頻技術在音樂編創方面已進入了高度成熟的PGC（專業生產內容）模式。這種創作模式① Suno是一款生成式人工智能音樂創作程序。

下，音樂創作的每一個步驟都以“人”為主體，每一個環節都要依托創作者深厚的音樂基礎和專業的創作技巧，也決定了音樂創作具有較長的時間周期和較高的生產門檻。

各類生成式AIGC音樂平臺的誕生完全打破了音樂內容從無到有的創作過程，輸入音樂風格、演奏樂器和演唱類別的提示詞，幾十秒就可以生成一段音樂。類似于人類對AI系統進行的命題作曲，這種“一鍵生成”的文生音樂模式，似乎將數字技術未曾達到的“人人都是藝術家”照進現實。讓“作曲”不再囿于專業音樂人群體，非專業的音樂愛好者也能利用人工智能技術，基于數據和算法來完成音樂“創作”。

（二）多層級AI音樂工具的應用

1.生成式AI音樂工具

就廣義層面而言，人工智能音樂目前最為被大眾接受的是針對音樂內容層級的AI工具，例如Suno、Udio、AIAV、網易天音、天工SkyMusic等等。生成式AI大模型為音樂內容創作帶來了前所未有的便捷和無限可能。以歌曲創作為例，目前主流的AI音樂平臺具有兩種生成方式，一種是直接對歌曲進行描述，比如音樂風格、演奏樂器、情緒氛圍、歌手類別等，AI會按照上述提示詞直接生成包含歌詞的歌曲；另一種是先輸入歌詞，在指定歌詞的基礎上完成歌曲生成。

在生成模式和時長方面，AI音樂平臺也在不斷迭代更新。UdioAI最新的1.5代大模型已經允許付費用戶每次生成長達2分10秒的音樂，時長擴展了4倍，數量也由之前的每次2條音頻增加為每次4條。另外還增加了一些進階功能，比如可以對已生成的音樂進行續寫（Extend），進一步發展音樂，可以對不同風格的作品進行重寫（Remix），類似于模仿寫作。這些進階功能賦予了音樂生成更靈活的維度，在作品的復雜程度上有了提高，也為主觀音樂意識更明確的專業創作者提供更廣闊的創作空間。

2.AI虛擬人聲

除了音樂內容的生成，AI技術賦能音樂創作的另一大亮點無疑是對新的音色的貢獻一—即虛擬人聲對音樂演唱的全新演繹。在此之前，歌曲演唱聲部只能通過真人實錄的方式完成，而自微軟小冰問世后，各種風格的虛擬歌手逐漸登上舞臺，在制作Demo階段為創作和試聽帶來了極大便利。隨著技術的不斷升級，近年來虛擬人聲在風格多樣性、音色仿真度、氣口變化等各個方面都有了顯著提高。代表性平臺例如時域科技旗下的ACEStudio，不僅能夠依照語言系統、性別和風格等條件對數十種虛擬人聲進行篩選，還能通過多種虛擬人聲的混合和參數調整，合成新的聲音。在今年完成的最新功能升級中，ACEStudio為付費用戶提供了“定制歌手”功能—可以通過已有聲音素材訓練自己專屬的虛擬音色，建立更為個性化、更符合特定創作需求的獨有人聲。

相較于預置的虛擬歌手，“定制人聲”的自主性無疑更強，相當于可以在無限廣闊的范圍內實現音色的遷移，不再受制于平臺限定，自定義歌手音色。在音色訓練的過程中，AI模型的學習效果與原始聲音樣本的質量密切相關2，為提升音頻的純凈度與樣本的處理效率，ACE提供了“一鍵去除和聲和混響”的功能，用于維持原始聲音樣本處于干聲狀態。在原始人聲基礎上訓練新的音色一般需要 30～100 分鐘的清晰干聲樣本作為訓練數據，在此范圍內，時長與訓練效果成正比。但是當樣本超過120分鐘時，AI可能因學習過多細節導致音色訓練的結果偏離預期。

在訓練完成后，ACEStudio提供5個不同訓練深度的聲線版本，每個版本的聲線呈現出了不同的音色層次與細節表現。創作者可以通過“混合聲線”功能，對不同版本的聲線進行精細調整。平臺目前提供了34位虛擬歌手的音色種子，以便創作者在原有聲線的基礎上，通過不同音色與唱法的混合，定制出更符合創作預期的個性化聲線配方。部署聲線后，創作者也可以在創作界面利用“混合聲線”功能，對聲線參數進行動態調整，進一步增強了定制聲線的自由度與便捷性。

（三）小結

在AI技術賦能下，音樂創作正在開啟科技與藝術融合的新紀元。生成式AI工具使常規音樂內容的生產實現了“一鍵生成”模式。就生成結果而言，確實極大地縮短了之前依靠“手動”完成的音樂創編時間。但其目前在精細化上存在的盲區也很明顯，由于“一鍵生成”建立在機器學習基礎上，人類無法實時參與和更改其學習的過程，當對學習結果不滿意時，只能讓機器重新學習，而無法對音樂發展過程中的旋律、配器、節奏、結構等細節進行修改。因此在要求很高的場景下，比如在需要音樂的情緒、節奏與畫面的情緒、節奏精準對位的視聽環境中，目前生成式AI音樂的可控性及其在音色、音質上要弱于人類手動“創作+樂器”實錄模式。在這些環境中，很多對音樂創制流程掌控度極高的資深作曲家目前對AI音樂生成平臺的依賴度并不高。但是AI技術所帶來的新的創作媒介、新的聲音語匯、新的創作語境，以及由此產生的對人類能力之不可及的探索是極其富有價值的。這些創新點構成人工智能時代“AI化的藝術語言”，也勢必會形成新的藝術表現。

二、AI音樂創作情境的重構

事實上，國內音樂科技領域在探索AI藝術表現方面已有大量新的嘗試和成果一一通過不同類型的AI模型、工具進行長板組合、打破壁壘、建立AI化的創作語境。盡管AI機器學習的目標是高度自動化，但在專業音樂創作中，“手動化”與“自動化”本身并非二元對立。就目前AI技術在音樂領域的應用層面看，隨著技術的不斷升級，二者之間的交互有可能改變音樂創作的某些階段，形塑新的音樂創作范式，也由此重構音樂的創作情境。

為深入探究AI技術語境下的新型音樂創作范式，本文將以在2024首屆大學生AI藝術季AI音樂比賽中，榮獲最佳AI音樂技術探索獎的AI歌曲《精衛》做具體解析。該作品由中國傳媒大學音樂與錄音學院戴姍姍博士創作，是一首極具創新性的作品。其主題靈感來自《山海經》中“精衛填海”的傳說，整首歌曲的詞、曲、演唱全部由人工智能完成，作者巧妙地將戲曲與流行風格相融合，在AI全流程基礎上，又打破了常規AI音樂生成模式，以AI敘事為主線，重現中國傳統神話故事的情節。

（一）AI歌曲生成

《精衛》在創作理念致力于突破當下生成式AI在音樂內容方面僅擅長于流行、電子、搖滾等風格的局限，作者挑戰性地使用了全AI流程制作具有復雜情節與豐富結構的音樂劇風格歌曲，并通過AI續寫完成對音樂結構的設置、推進以及音樂情緒、張力的發展。在通過AI音樂平臺Udio生成音樂內容時，使用的提示詞力圖讓音樂風格向戲劇性、宏大、樂隊化發展。主要提示詞包括：video gamesoundtrack（電子游戲音樂）、epicmusic（史詩般的音樂）、orchestral（管弦樂隊）、epic（史詩般的）、fantasy（幻想的）、passionate（熱情、激昂的）、triumphant（勝利的、凱旋的）、crescendo（漸強）、main theme（主題）、finalfantasy（最終幻想）、lowwhistle（低音哨笛）、fierytrumpets（熾熱的號角）、D#minor（D大調）和femalevocalist（女聲演唱）等。

在確定音樂情節的敘事線和時間節點后，全曲根據歌詞的敘事結構通過進行了10次音樂續寫。每次續寫時的提示詞都需要由音樂的情節發展進行調整，以作曲思維控制音樂生成的結構，讓音樂表現與歌詞敘事相吻合。例如在引子部分，對AI使用“atmospheric”（氛圍感的）氣氛提示詞，讓其生成富有神話色彩的開篇樂段；隨著音樂的發展，在高潮段落使用“powerful”（有力的、強烈的）、epicmusic（史詩般的音樂）、orchestral（管弦樂隊）、epic（史詩般的）、fantasy（幻想的）、passionate（熱情、激昂的）、triumphant，（勝利的、凱旋的）提示詞并加強“powerful”的權重比例以生成相對應的音樂，突出情感的高亢與主題的升華。在情節敘事的主線基礎上，以“節點式”生成方式逐步推進，打破常規AI“一鍵生成”音樂中對曲式結構難以控制的弊端。

（二）AI歌詞生成

《精衛》的歌詞部分同樣注重與敘事結構的融合，歌詞的生成過程根據劇情結構共分成8個部分，分別是“第三人稱視角講述故事緣起”“精衛自述”“精衛回憶往昔”“精衛在海中嬉戲”“精衛深陷于汪洋”“第三人稱視角講述精衛身死”“精衛死后化身小鳥”“精衛將填海不休”。

作者通過AI工具Kimi和文心一言共同撰寫了具有故事性的歌詞。先在Kimi中發送指令，要求其以“說書人的方式撰寫、可以用五言，內容為一只精衛鳥，孤單的銜著石頭投入海中”。生成歌曲引子部分的歌詞。根據指令，Kimi很快給出了答案“孤鳥海上飛，名曰精衛哀。石小情何重，投海誓難回”AI基本能夠理解創作者意圖，也能夠較正確闡述“精衛填海”的故事主旨，但其生成的歌詞在文法上以及詞尾押韻方面都略顯不足。在通過另一個擅長歌詞寫作功能的AI平臺“文心一言”繼續進行精修、優化后，引子部分歌詞修改為“海上孤鳥飛，填海永不息，其中幾許意，且待我說緣起?！笨梢姼柙~的韻腳、尾調、詞格等內容都進行了明顯的優化和提升。

（三）歌聲分離與AI虛擬歌手演唱

當歌曲、歌詞的生成工作完成后，最后進行“升級”的是歌曲的演唱部分。由于之前Udio生成版本中的歌手音色達不到一首優質歌曲的演唱標準，也無法進行戲腔和流行兩種音色的轉換，需要通過專門針對演唱的AI虛擬人聲工具對演唱聲部進行優化。

作者先通過人工智能音色分離工具UltimateVocalRemover5將伴奏聲部和人聲演唱聲部分離，再利用AI工具SythesizerV中的虛擬歌手音色重新制作演唱部分。經過一系列試聽和精細對比后，用戲腔演唱與流行演唱兩種風格共同演繹的方式呈現。其中，戲腔使用了AI虛擬歌手“澄宵”的聲線，流行演唱則使用了AI虛擬歌手“Weina”（胡為娜）。為了使AI人聲聽起來更加貼近真實人聲的發音演唱和換氣特征，作者對虛擬歌手的聲線進行參數的精細調整。

由于戲腔演唱的部分比較短，主要集中在歌曲開始的引子部分，為了突出其聲腔特點，主要調整了“澄宵”聲線的“resonant（共鳴）”，以突出戲腔音色的高亢、嘹亮。而流行演唱占據了全曲的三分之二，為了在長時間的持續演唱中更好地模擬真人歌手，避免虛擬人聲的“塑料感”，作者將流行演唱部分的音色參數按照音樂的結構發展分成3組進行控制：首先在引子與主歌的部分，手動在音高上繪制滑音包絡線，將人聲變得輕柔纖細，更加具有意境；在歌曲的中間部分增加虛擬人聲中的“powerful”參數，讓聲線變得更有力量。除了表情參數的調整，作者還制作了流行演唱部分的二聲部，在其中增加低音部分，讓演唱更加具有穿透力、爆發力。

（四）小結

《精衛》以巧妙“混搭”多種AI工具、AI模型的方式對AI語境下的新型音樂創作方式進行了實踐探索，為歌曲的全流程AI化進行了有益的示范，同時也在AI歌曲的風格突破上做出了大膽的嘗試，拓寬了生成式AI音樂的常規路徑。深入分析《精衛》使用AI進行音樂創作的過程會發現，現階段創作者對音樂本體的認知和創作意識仍然是主導AI音樂質量的關鍵因素。在混搭各種AI工具取長補短的過程中，每一項方案的制定、工作的完成和結果的選擇都取決于創作者的主觀意識一一即對音樂的審美。從這個角度而言，人工智能技術賦能下的音樂創作情境，仍然是“以人為本”的AI。

開發了基于人工智能的交互式音樂創作系統Ricercar，專注于探索音樂的變奏與和聲變化的無窮可能。人類藝術家可以向該系統提供音樂靈感——輸入特定字符作為AI音樂的主題動機，之后系統將開始進行自主創作，在此過程中，藝術家可以隨時根據AI的輸出調整程序，與AI以交互行進的方式共同創作音樂。

中央音樂學院音樂人工智能與音樂科技系同樣自主研發了用于音樂創作的AI大模型——央音人工智能作曲系統，在國內外各大專業音樂會中已多次上演過由該系統創作的交響曲《歡迎》和《千里江山圖》，并通過指揮家YuFeng的虛擬數字人實時指揮中央音樂學院交響樂團進行演奏。在2023年6月的《面向未來-電子音樂與AI的交響導賞音樂會》，中央音樂學院展示了一系列基于最新的AI技術與電子音樂結合的創演成果，一些頗具創新性的作品也脫穎而出。

另外，依托最新的VR、AR等擴展現實技術的AI音樂會演出——如2022中國傳媒大學的“E音之夜-元宇宙音樂會”、中央音樂學院“12生肖元宇宙音樂會”將視聽融合、人機交互延伸至“元宇宙”全景沉浸空間，以AI虛擬偶像替代真人表演，與觀眾在真實與虛擬共存的空間中進行互動，尤其深受青年群體的熱烈追捧。

（二）AI多模態大模型技術在舞臺藝術中的實時應用：《說書：三打白骨精》

三、AI協作與音樂表演

（一）“AI+音樂演出”新樣態

人工智能技術的日新月異同樣為音樂表演帶來了全新的演出樣態。音樂藝術與人工智能的跨界融合正在從弱人工智能向強人工智能階段邁進。除了已被大眾知曉的生成式AI音樂外，專業音樂科技領域的重要研究方向是建立能夠在創作和演出過程中與人類達成合作關系的AI交互系統——即通過AI程序模擬人類的音樂創作甚至演出過程，與人類意識和行為在相對平行的關系中共同行進。藝術家、科學家通過自主研發AI模型用于創作和表演中，不斷地突破音樂創演的傳統邊界，延伸音樂舞臺的表現力，呈現出人工智能時代“AI+音樂演出”的新景觀。[]

慕尼黑音樂與戲劇大學的人工智能和音樂創作教授、研究員阿里·尼克朗（AliNikrang）為古典音樂家

由新媒體藝術家、中國傳媒大學副教授馮金碩創作的人工智能交互音樂作品《說書：三打白骨精》在2024杭州國際電子音樂節上進行了全球首演，成為該年度音樂節最受矚目的中國作曲家AI技術新作品。這部作品首次將人工智能多模態大模型技術在舞臺表演中進行實時應用，巧妙地將傳統京韻大鼓藝術與現代人工智能技術相結合，通過先進的AI技術實時捕捉語音、面部表情、身體動作等多模態數據，并借助人工智能深度學習大模型，對這些數據進行高精度、低延遲的實時分析和處理，從而實現音樂和視覺內容與表演者動作和情感的精準同步，探索了現場音樂表演與人工智能技術結合的新范式。

1.實時語音與劇情生成

在實時語音與劇情生成模塊中，作曲家采用了一系列前沿技術解決方案，實現對表演者語音的實時捕捉、分析及劇情響應的生成。

首先，系統通過使用Azure Cognitive Services

Speech SDK對表演者的實時語音進行捕捉②和轉錄。在《說書：三打白骨精》中，語音程序不僅需要識別標準的普通話，還需對京韻大鼓特有的表達方式進行適應和學習。該系統基于大規模多模態深度學習模型進行構建。能夠解析文本中的情感波動、關鍵詞及其與已有劇情的關聯性。例如，模型能夠識別出表演者語氣的緊張、興奮或沮喪，并判斷這些情感如何與“三打白骨精”的故事情節相符合。解析后的數據一—包括劇情指引、情感強度和關鍵動作指令一一隨即通過Open Sound Control（OSC）協議傳輸至實時音視頻處理中心—使用Max/MSP④撰寫的程序中。通過這種方式，劇情的每一個轉折和情感的每一次波動都能實時地反映在伴隨的音樂和視覺效果上，為觀眾提供了一種高度動態且富有表現力的觀看體驗。

2.多模態大模型的情緒與動作識別

情緒與動作識別模塊主要針對表演者的面部表情、語音情感和肢體動作語言。通過高分辨率攝像頭實時捕捉表演者的面部表情數據，再利用OpenAI的深度學習模型，結合Aliyun API^°ledcirc 進行面部情緒分析。面部表情的數據通過作曲家自創的算法模型進行處理，可以從復雜的面部數據中提取情緒強度和具體的情緒類型，再將這些信息實時轉譯成可以被音視頻生成系統解讀的數據格式。在身體動作識別方面，作品使用了M5 Stick C Plus？等智能硬件傳感器捕捉表演者的身體動作，這些姿態數據對于理解表演者的表演風格和動作意圖至關重要。作品通過Mediapipe框架處理這些數據，用于分析表演者的表演風格，并將它們與音樂生成邏輯進行精確映射一一通過動作的幅度、快慢、強弱調整音樂的節奏和強度，使音樂更好地與表演同步。

3.音視頻實時生成與控制

在《說書：三打白骨精》中，音視頻實時生成與控制部分是實現整個交互體驗的關鍵環節，確保表演者的動作、語言和情緒可以精確地映射到音樂和視覺效果上。這一過程涉及到復雜的音頻處理技術、視頻生成算法以及實時數據同步。實時音頻生成系統的核心依賴于Max/MSP編程環境，在本作品中，Max/MSP不僅負責生成伴隨音樂，還處理從Python腳本和OSC協議接收的各種動態數據，這些不斷變化的數據，影響著音樂的內容生成、節奏強度和風格轉換。根據語音與情緒分析模塊識別的情緒強度和劇情關鍵詞，Max/MSP調整音樂的節奏、調性和音量。作品的視頻實時生成同樣基于Max/MSP編程環境——通過其視頻處理Jitter算法程序實現。作曲家編寫的Jitter視覺程序通過OSC協議接收到多模態數據后，根據數據內容生成相應的視覺效果，如顏色變化、圖像扭曲或特定圖案的生成等，并通過實時色彩校正和動態遮罩等一系列圖像處理技術，加強視覺內容的表現力，使其與音樂和表演者的情緒緊密相連。

4.小結

作為一部新穎的AI交互作品，《說書：三打白骨精》創新性地將人工智能多模態大模型技術實時運用在舞臺表演過程中，是一次頗具挑戰的嘗試。首先，在多模態數據的準確識別與分析方面，同時處理并分析來自不同源（如音頻、視頻、傳感器等）的數據，需要復雜的算法來確保對數據的準確解讀。特別是在嘈雜的現場環境中，如何準確捕捉并識別表演者的語音、表情和動作，是技術實現中的一大難點。而音樂和視覺內容的實時生成并保持同步同樣是一大挑戰。從最終的演出效果看，作者成功地將多模態數據進行了深度整合并完成了現場實時交互。通過人工智能深度學習模型和自然語言處理分析表演者的語音、表情和身體動作，以自動化的情感分析和動作識別系統來理解表演者的表達意圖，為AI時代的舞臺演出提供了新的表現樣本。

結語

隨著人工智能技術的快速發展，特別是AI大模型的突破，音樂藝術的創演樣態正在經歷深刻的變革，從數字音頻時代漸行進入“AI+”時代。在這一輪顛覆式的智能革命中，我們正在見證AI的角色從“人機交互”到“人機共生”，從“響應式工具”到“助手式參與”的過程，也必然親歷籍由新技術賦能下，藝術的樣態、范式、邊界被不斷地重構與衍變，呈現出新的景觀。在這個過程中，越復雜、越訓練有素的人工智能系統越是具有相當程度的獨立意識能動性，但其表現的行為其實在反映人類的“意圖”，可以說越是“訓練有素”越符合人類的音樂價值觀，越能夠成為人類的機器協作者。無論未來達到高度自動化的AI能否以一個有機“生命體”的形態成為人類的“智能分身”，在藝術創作過程中創作者的審美意識和藝術理念都是寶貴而無法被忽略的，也是藝術的價值所在。[4]而通過科技賦能，打破創作的邊界、拓展人類思維局限、探索更多維的藝術語言、語境和表現，無疑是新技術賦予藝術創作的有益風景，或許也將是AI對于藝術的釋意。

參考文獻：

[1]王鉉，張圣楠.人工智能音樂模型演進脈絡及未來發展展望——以基于提示詞的生成式人工智能音樂模型為例[J].牡丹江大學學報，2025（03）：92-101.

[2]張宇，孫茂松.面向人工智能的傳統音樂標注數據集構建研究一—兼論多模態胡琴標注數據集的建設與應用[J].中央音樂學院學報，2024（02）：66-83.

[3]倪清樺，魯越，林飛，等.平行音樂：大模型時代的人機混合音樂創演[J].智能科學與技術學報，2024（02）：150-163.

[4][英]蘭貝托·科奇奧利，陶倩.構建音樂創作中人工智能技術運用的倫理框架[J].中央音樂學院學報，2024（01）：44-57.