“AI 孫燕姿”爆火，技術如何復刻聲音？

顏媛媛

“AI孫燕姿”橫空出世

2023 年最火爆的華語歌手是誰？不是周杰倫，也不是孫燕姿，而是“AI 孫燕姿”。

近期，在各大視頻平臺上，“冷門歌手孫燕姿”靠著各種各樣的AI“分身”翻唱不同曲風的歌曲，營業時長感人，作品出圈火爆。從流行到搖滾、再到“魔性”，沒有AI孫燕姿駕馭不了的曲風。

“這歌太上頭了，我能循環聽一個晚上。”這兩天，經常逛B 站的“姿迷”（孫燕姿的歌迷）會常常發出這樣的感慨，有人一晚上搜羅了“孫燕姿”翻唱的各種經典曲目。尤其是周杰倫的《發如雪》播放量高達106 萬，《半島鐵盒》《愛在西元前》等播放量也超過了60萬……

本人未曾開口，輕而易舉地占據華語樂壇半壁江山，連資深歌迷都不太能聽出差異。孫燕姿悄無聲息“攻占”華語歌壇的背后，靠的還是人工智能。

音樂圈的科技與狠活兒

除了“AI 孫燕姿”，還有“AI 周杰倫”、“AI 王心凌”……據悉，這些翻唱歌曲，是由多位UP 主通過開源項目自制后上傳。

“他們”的翻唱歌曲，由創作者通過開源項目“so-vits-svc”自制后上傳。

按照目前的技術，歌手的唱腔、技巧和風格還很難完全模仿，但音色已經基本能1：1 復制了。而我們也發現，AI 孫燕姿用的核心技術主要來自一個叫作so-vits的開源項目。

隨著AI 歌手的火爆，“教你打造屬于自己的AI 孫燕姿”“讓喜歡的歌手為你唱歌”等AI 訓練教程也火速上線，制作此類歌曲的門檻越來越低。

在《下雨天》的AI 翻唱視頻下，B 站網友評論，“那以后，能聽見黃家駒、張國榮他們唱新歌了。”

目前，這個項目已經迭代到了4.0 版本。相較于以往VITS、soft-vc、VISinger2 等項目，so-vits 的使用大大簡化，僅憑數段音頻，就可用一個生成式模型來合成目標音色的音頻，訓練出用戶想要的聲學模型。這個模型可以保留音高和音調，也可以用不同的語言來翻唱。

制作一首AI 歌手演唱的歌曲需要4 個步驟：下載一鍵啟動包、輸入合適的干聲（無音樂的純人聲）、訓練聲學模型（訓練時間越長效果越好）、進入音頻編輯軟件進行合成和后期。目前，網上已經隨處可見教學視頻，博主僅需3 分鐘就可教學AI 音頻制作的全流程。

實際操作起來其實并沒有這么簡單，目前，有兩個比較火的開源項目，分別是so-vits-svc 和RVC，它們都使用了一種叫作vits 的模型，原本是用于文本生成語音的，但是經過改造，可以直接將音色特征作為輸入，不需要轉換成文本。這樣就可以實現任意歌曲的音色轉換，而不僅僅是歌詞。

AI 孫燕姿就是利用這些技術，將孫燕姿的音色特征提取出來，然后用它來翻唱其他歌手的歌曲。這個過程并不簡單，需要一定的算法相關經驗和成果，也需要大量的數據采集和實驗。

據悉，AI 孫燕姿的創作者之一Rcell 表示，他和他的團隊經過半年時間做了上百組實驗，才得出了當前的最優解。他們采集了孫燕姿的四張專輯《孫燕姿 同名專輯》《克卜勒》《逆光》《是時候》，共計約100首歌曲作為訓練數據。他們還嘗試了其他歌手的音色轉換，比如周杰倫、林俊杰、王菲等等，但是效果都不如孫燕姿的好。

而此前為了紀念鄧麗君逝世22 周年，日本節目《金SMA》利用全息投影技術，令一代歌后“復活”。粉絲們自行訓練張國榮、姚貝娜等故去歌手的模型，讓故人以“數字生命”的形式重現，透過這些久違的聲音，讓聽眾在互聯網的一片喧囂之中，感受到獨有的人文主義溫暖。

今年3 月，歌手陳珊妮發布新歌《教我如何做你的愛人》，粉絲聽完新歌后幾乎都在稱贊這首歌的演唱水準一如以往。但一周后，陳珊妮發表長文表示，她的新歌其實是由“AI 模型”演唱，就連單曲封面也是AIGC 生成。在歌曲制作過程中，她為調教AI 演唱做了充足的工作，這些工作量不低于甚至遠高于親自演唱。

而陳珊妮也表示，期望透過這首歌，促動所有關心藝術創作的人思考——如果 AI的時代必將到來，身為創作人該在意的或許不是“我們是否會被取代”，而是“我們還可以做些什么”。

繞不開的版權問題

AI 翻唱涉及的版權問題主要包括：AI翻唱是否侵犯了歌手的聲音版權？ AI 翻唱是否侵犯了其他歌手的音樂版權？ AI 翻唱的歌曲是否享有自己的版權？

這些問題在我國目前還沒有明確的法律規定和司法判例，存在很多爭議和困難。

國外，AI“入侵”音樂界早有案例。如一名TikTok 用戶利用AI 蕾哈娜翻唱碧昂斯熱門單曲《Cuff It》的案例，引起了該曲版權方環球音樂的注意，并引發了侵權訴訟； 美國搖滾樂隊Nirvana 起訴歌曲《Drowned in the Sun》的制作團隊，稱該團隊利用AI 技術模仿了他們的風格；美國說唱歌手Jay-Z 起訴網站VocalSynthesis，稱該網站用他的聲音朗讀《哈姆雷特》等文學作品，侵犯了他的聲音版權和肖像權。

以大模型為橋梁，非編程人員便可打造專屬AI 工具，無疑是向通用人工智能邁進的重要一步，但當AI 在音樂、繪畫等領域的應用門檻逐步放低，相應的版權問題勢必紛至沓來。

有意思的是，so-vits-svc 模型的開發者已經從源代碼托管服務平臺Github 上刪庫，并表示，刪庫主要是因為項目已經停止維護和更新，并且聲明了項目的免責條款，強調項目是一個開源、離線的項目，所有成員和貢獻者對項目沒有任何控制權，也不知道用戶使用項目的目的和方式，因此所有基于項目訓練的AI 模型和合成的音頻與項目的成員和貢獻者無關。

5 月9 日，抖音也發布了關于人工智能生成內容的平臺規范暨行業倡議。其中提到，創作者、主播、用戶、商家、廣告主等平臺生態參與者，在抖音應用生成式人工智能技術時，發布者應對人工智能生成內容進行顯著標識，幫助其他用戶區分虛擬與現實，特別是易混淆場景；發布者需對人工智能生成內容產生的相應后果負責，無論內容是如何生成的；虛擬人需在平臺進行注冊，虛擬人技術使用者需實名認證；禁止利用生成式人工智能技術創作、發布侵權內容，包括但不限于肖像權、知識產權等。一經發現，平臺將嚴格處罰。

AI 技術生產的聲音，可能會讓你感到新奇，但也可能會讓你感到迷惑，在聽這樣的歌曲時，最好不要忘記了真正的歌手、真正的歌曲、真正的音樂。