當眼見≠真實，我們如何破解“信任危機”

應琛

最近，關于AI有兩個爆火的熱點事件：一個是“AI孫燕姿”走紅網絡；一個是“AI換臉”詐騙來襲。兩件看似無關的事情，都引發了大眾對于AI雙刃劍的深度思考。

加之今年早些時候，聊天機器人ChatGPT一經面世，其涉及的版權問題就曾引發各界廣泛關注。可以說，隨著生成式人工智能技術（AIGC）持續火爆，隨之而來的法律、安全與倫理挑戰也越來越大。

“AI孫燕姿”引發版權爭議

兩年前，當“冷門歌手孫燕姿”登上微博熱搜之時，相信無數80后、90后都在心中感嘆，在00后的世界里，曾經身為華語歌壇天后的孫燕姿竟然也成為了“時代的眼淚”。

但這一次，AI讓孫燕姿翻紅，再次成了名人。一個名叫“AI孫燕姿”的“歌手”頂著曾經華語樂壇巔峰歌手的頭銜，翻唱著大家耳熟能詳的歌曲，在社交媒體時代掀開了當代人對于華語樂壇的集體記憶。

據許多歌迷鑒定，“AI孫燕姿”與其本人歌聲相似度非常高，無論是音色、唱腔，還是極具個人特征的咬字和尾音，都能夠以假亂真。她的作品覆蓋從流行到民謠等多種風格，周杰倫、趙雷、劉歡等人的歌曲，更是在她的演繹下有了不同的味道。不少作品的播放量甚至超過百萬。

記者注意到，在AI翻唱曲目的評論區，不少粉絲驚嘆于AI技術的同時，也對創作者表示感謝，“雖然是AI，我也滿足了”。

上海市君悅律師事務所合伙人朱平晟律師在接受《新民周刊》采訪時表示，如果“AI孫燕姿”的創作者的素材來源是有正版授權的，且制作完成后僅用于個人學習和欣賞，可以不認為是侵權。但顯然“AI孫燕姿”已經超出這個范疇。

其原理是通過開源的生成式語音訓練模型收集素材，進行訓練。首先，需要把孫燕姿的歌曲去掉伴奏，或截取孫燕姿的訪談、對話視頻，獲取沒有伴奏、混響的原始聲音，然后把素材作為目標音色輸入到模型中進行訓練，得到一個孫燕姿音色的模型，轉換任意的歌聲，最后進行后期處理。

朱平晟坦言，技術更新的速度已經超過了知識產權法律更新的速度，經過人工智能提取的歌手音色模型，尚未被納入現行知識產權法律保護范圍內，但利用AI“歌手”翻唱其他歌手的作品，至少可能侵犯了原唱歌手、詞曲作者的相關權利。

按照相關法律規定，除非著作權人聲明不得使用，對已經合法錄制為錄音制品的音樂作品進行翻唱、二次創作等可以不經著作權人許可，但應當按照規定支付報酬。

被用作素材的孫燕姿聲音同樣可能涉及“侵權”。朱平晟表示，雖然音色和唱腔不受到著作權法的保護，但聲音作為具有獨特性、專屬性的人格標識，根據《民法典》第1023條規定，對自然人聲音的保護參照適用肖像權保護的相關規定；故此，自然人的聲音與肖像一樣，不應被肆意采集，隨意使用，更不應被混淆、濫用；此外，某些特殊的聲音可以被注冊成商標，那它同時受到商標法的保護。

“有些平臺上面直接放了孫燕姿的照片，其影響力的擴大也是因為用了明星的名字和照片，所以還可能侵犯了孫燕姿的姓名權和肖像權?！痹谥炱疥煽磥?，“AI孫燕姿”已經翻唱了超過1000首作品，數量遠超出孫燕姿本人出道20多年的作品總和，“考慮到AI歌手與孫燕姿本人從角色定位上看都是‘歌手，‘AI歌手創作者的商業行為還可能構成不正當競爭”。

至于是否起訴“AI孫燕姿”的制作者，需要孫燕姿自行決定。顯然，孫燕姿并沒有這樣的打算。

5月22日，孫燕姿在社交平臺上發布了《我的AI》一文，首度回應自己對“AI孫燕姿”的看法。她笑稱，在粉絲們已經接受她就是“冷門”歌手的時候，“AI孫燕姿”卻成為了頂流，“我想說的是，你跟一個每幾分鐘就推出一張新專輯的人還有什么好爭的”。

孫燕姿表示，也許有人會反對，認為它沒有情緒，沒有音調和呼吸的變化，但“很抱歉，我懷疑這只是一個非常短期內的回應”。她進一步指出，這種新技術將能夠大量炮制每個人所需的一切，“你并不特別，你已經是可預測的，而且不幸你也是可定制的”。

最后，孫燕姿表示：“在這無邊無際的存在之海中，凡事皆有可能，凡事皆無所謂，我認為思想純凈、做自己，已然足夠。”

6月9日，孫燕姿在社交平臺發文慶出道23周年時，又一次幽默回應自己被與AI比較一事，稱：“23年以后，我還是盼望有一天再做出好音樂與AI拼了，再做出一場回憶滿滿的演唱會?！?p>

“AI 孫燕姿”走紅網絡，不少作品播放量超百萬。

眼見不為實，耳聽亦為虛

AI歌手可能侵犯相關各方的權利外，用AI生成人聲可能還會為社會帶來其他更嚴重的法律和倫理問題。

據英國媒體《每日郵報》報道，一家西班牙小型電影制作公司Peabody Films稱收到英國著名男演員本尼迪克特·康伯巴奇的電話，對方表示對該公司即將拍攝的電影感興趣，想尋求合作。

康伯巴奇被中國觀眾稱為“卷?！?，可以說是英國國寶級演員，其聲音很有辨識度。這部電影的導演稱，他們最初收到了自稱是好萊塢明星經紀人發來的電子郵件，謹慎起見，他建議打個電話，而來電聲音與康伯巴奇的相似度有100%，“是那個聲音，毫無疑問”。

直到“康伯巴奇” 在拒絕了所有邀約見面后，又提出要該公司先打款20萬英鎊時，該公司才意識到了可能遇到了騙子。隨后，他們向“康伯巴奇”的經紀公司確認后才發現，這是一場AI騙局。

另據網絡安全公司邁克菲（McAfee）發現，在美國、英國、法國、德國、日本、澳大利亞和印度，有10%的人曾被AI語音詐騙。

朱平晟表示，過去的電信詐騙多半是通過文字信息偽裝成熟人，或通過電話偽裝成各個機構的工作人員進行詐騙，但在AI聲音模型技術輔助下，騙子可以很輕易地模仿熟人聲音進行詐騙，“聲音之外，換臉技術的提升更使得騙局的成功率大大提高”。

近日，中國多地爆出AI詐騙案件。先是內蒙古包頭警方發布消息，4月20日，福建省一知名企業家遇上了“高端”騙局，對方通過AI換臉和擬聲，佯裝成好友對他實施了詐騙，致其被騙走430萬元。后有安徽安慶公安透露，詐騙分子使用了一段9秒鐘的AI換臉視頻，騙取安慶一男子132萬元。

據網絡安全公司邁克菲（McAfee）發現，在美國、英國、法國、德國、日本、澳大利亞和印度，有10% 的人曾被AI 語音詐騙。

朱平晟律師本人和其同行在前不久也遭遇了一次“AI詐騙”。某天起床后，他先是收到了一條彩信，內容看小圖是以一男一女在床上的“色情”圖片為封面的小視頻鏈接。他沒點開直接就刪了。過了一會兒，他又收到一條短信，內容大致是“你有把柄在我們手里，為了避免影響家庭和事業，請盡快和某個電話聯系”。

“我當時沒有將這兩條內容聯系到一塊兒，以為只是詐騙短信而已。”朱平晟告訴記者，但當天到律所和同事閑聊時，他才發現原來很多同事也都收到了類似的消息?！皳孜煌抡f，那照片點開之后，臉部確實是本人的，但身體和場景都是偽造的，一眼‘假。不止一家所，其他律所律師也收到過類似的詐騙短信。”

“現在因為我們都沒有受騙，大家尚可以一笑了之，但仔細想想這事的性質還是非常嚴重的?！敝炱疥杀硎荆懊總€人收到的照片都被換成了他本人的頭像，也就是說，騙子獲取了我們的個人信息。因為像我們律師會在公開場合留下照片，比如律協或事務所的官網等。而得到語音素材也并不難，詐騙者既可以通過黑客手段、非法購買信息等渠道獲得，也可以通過不斷撥打騷擾電話，以‘廣撒網的方法獲得語音素材。經過AI訓練和后期處理后，就能夠制作成足以亂真的聲畫信息。”

處理此類AI詐騙的難點在于，如果真有人做過類似的事情因心虛而上當，就算事后知道被騙，一般也不太會張揚。而絕大部分的人沒有上當，也就沒有實際的損失，那警方一般也很難處理。但相關信息是真真切切被濫用了，而且不排除以后的身體、場景會越來越逼真。

不僅如此，如果不給錢，騙子將造謠圖片散布到網上去。或者，這種技術用到別的不法用途上——

比如，此前廣州一女子在地鐵上的照片被AI“一鍵脫衣”，在網絡上“造黃謠”，對當事人的工作與生活造成了極大影響。

又如，4月7日，浙江杭州檢察機關曝光了一個“女神群”，此群利用換臉技術將女星照片合成到淫穢視頻當中，再進行販賣，傳播。

再如，近期不少電商直播間被曝出使用明星AI換臉進行直播。消費者點開電商直播間發現，正在賣貨的竟然是“迪麗熱巴”“楊冪”等一些當紅明星。

這些行為在道德上毫無底線，更是對法律底線的挑戰，對當事人的生活、家庭，以及整個社會都會造成不小的影響。

“某些行為涉嫌犯罪的，有關部門會依照相關法律來進行處置。但民事部分，普通人維權的成本很高，即使勝訴，能獲得的賠償可能也比較有限。對AI技術的應用上，應該加強源頭監管?！敝炱疥杀硎?。

相關法規亟待“靴子落地”

面對當前AI行業的發展亂象，安全治理迫在眉睫。

2022年3月開始實施的《互聯網信息服務算法推薦管理規定》，就把生成合成類算法作為五類算法推薦技術之一納入監管。

2022年12月施行的《反電信網絡詐騙法》明確了互聯網企業的風險防控責任，平臺有義務針對AI詐騙進行技術篩查、攔截和報告。

今年1月起施行的《互聯網信息服務深度合成管理規定》中明確了：任何組織和個人不得利用深度合成服務制作、復制、發布、傳播法律、行政法規禁止的信息，并要求深度合成服務提供者應當建立健全辟謠機制。這為“AI換臉”技術應用劃定了“底線”和“紅線”。

但我國目前仍然缺乏對人工智能的總體立法，以及人工智能倫理的行業規范。

4月11日，國家互聯網信息辦公室發布了《生成式人工智能服務管理辦法（征求意見稿）》（下稱“征求意見稿”），并公開征求意見。征求意見稿對隱私、知識產權、肖像權、名譽權、訓練數據、人工標注、標識、不公平競爭、防沉迷等提出了規范。

這是國家首次針對當下爆火的生成式AI產業發布規范性政策。具體來看，征求意見稿制度設計，一方面延續了《互聯網信息服務深度合成管理規定》關于標識、評估、備案等既有制度安排，另一方面就訓練數據、人工標注等提出了新的合規要求，體現出監管邏輯更新和制度體系迭代的新趨勢。

上海正策律師事務所董毅智律師告訴《新民周刊》記者，這是對人工智能進行管理的良好開端。而《人工智能法》也已列入立法計劃，草案預備年內提請全國人大常委會審議。近日，《國務院2023年度立法工作計劃》對外公布，披露了這一動向。這表明，中國官方將推動全國層面的人工智能專門立法。但真正落地還需要一段時間。在未來，仍然需要制定更詳細的規定，對使用人工智能的各個主體進行更加明確的責任認定，對提供技術的服務商、內容生產者和平臺等進行責任區分。

許多基于人工智能技術的應用程序也層出不窮，甚至包括變臉軟件和“一鍵脫衣”等應用程序。

“從監管角度來說，首先要明確監管機構，是不是兩會后新組建的國家數據局？其次，要加強行業協會的自律，提供深度合成服務的企業要嚴格落實信息安全管理主體責任，建立健全算法機制審核、科技倫理審查、反電信網絡詐騙等管理制度，加強合成內容的審查與管理，對智能對話、合成人聲、人臉生成、沉浸式擬真場景等生成內容進行顯著標識，避免公眾混淆或誤認。”董毅智表示，對于用戶來說，要提高使用門檻，“至少必須實名制”。

此外，還要壓實網絡平臺的責任。對違規的發布者、平臺予以懲戒；作為個人信息的重要處理者，承擔起保護個人信息的法定義務。就在5月9日，抖音發布了一則針對人工智能生成內容的倡議，禁止利用生成式人工智能技術創作、發布侵權內容，包括但不限于肖像權、知識產權等，一經發現將嚴格處罰，此外還要求發布者對人工智能生成內容進行顯著標識。

“當然我們每個人都要提高安全意識，保護好個人隱私，不要在公開平臺上隨意發布自己的清晰正臉照，尤其是未成年人的?！倍阒菑娬{。

新興領域立法速度加快，已經成為了世界各國的一個常態。針對AIGC帶來的安全風險，董毅智表示，美國已經約談了幾家巨頭，但總體偏向于鼓勵；歐洲的監管則相對較嚴，正在加緊出臺相關法律法規，“我國差不多介于兩者之間。這項技術因為太新了，目前也尚未出現判例。整個行業可能還要經歷一段時間的野蠻生長”。

當前“治理”依然趕不上“詐騙”技術更迭的速度。長期而言，就需要采取個人預防、防御技術迭代、壓實平臺責任、完善法律法規等多管齊下的方式。但不可否認的是，掌握人工智能治理的話語權、規則制定權，搶先形成新的國家競爭優勢，已經成為世界各國努力的目標。