以“智”治“智”：AIGC謠言生成、特點及治理研究

摘要：Web3.0時代人工智能的發展使得AIGC謠言頻發，這主要源于內容生產中的深度偽造和公開數據強化等問題。AIGC謠言在形式上呈現出多樣態和高仿真，在內容上體現為近民生和抓眼球，在技術上凸顯出低門檻和高效率，在傳播上表現為難辨識和易擴散。AIGC謠言的治理需要創新智能方法和技術，以“智”治“智”，在生產端通過數據智能選擇進行信息溯源，在分發端引入智能識別并規范AIGC發布，在反饋端進行輿情智能檢測并推動源頭治理。

關鍵詞：網絡謠言 AIGC 人機互動 輿情治理

2023年12月20日，國家語言資源監測與研究中心、商務印書館、新華網聯合主辦的“漢語盤點2023”揭曉儀式舉行，“ChatGPT”當選年度國際詞。作為一款劃時代的人工智能應用，ChatGPT自2022年末發布以來，不斷刷新公眾的認知，也開啟了AIGC（Artificial Intelligence Generated Content，人工智能生產內容）這一新興內容的生產范式。隨著GPT-4o的發布以及國內多款AIGC工具的涌現，其生產類型從文本向圖片、音頻、視頻等多媒體領域拓展。然而，由此產生的負面影響也層出不窮，數據泄露、名譽誹謗、謠言混亂等問題凸顯，尤其是AIGC謠言產生了極其惡劣的影響，對其治理刻不容緩。從已有研究來看，網絡謠言的生產和傳播具有主觀偽造和未經證實的典型特征。AIGC謠言則是一種特殊的網絡謠言，它是借助AIGC進行生產或借由AIGC生產過程得到強化，并通過網絡渠道進行傳播的謠言。AIGC作為Web3.0時代最具代表性的生產范式，其謠言的生產主體及治理環境也日趨復雜。一方面，對話式人工智能制造的謠言高度仿真，并具有生產多模態謠言的能力；另一方面，基于智能技術的分發解決了謠言與用戶間的匹配問題，能夠輕松找到易于被謠言“感染”的用戶并向其精準投放。

一、人機互動：AIGC謠言生成路徑

AIGC謠言相較于其他網絡謠言，呈現出兩條獨特的生成路徑，一是謠言內容的智能生產，即利用AIGC對文本、圖片乃至音視頻進行全方位立體的深度偽造，使得謠言極具迷惑性，難以輕易識別；二是謠言傳播的智能強化，部分AIGC會對社交媒體中的數據進行實時抓取和學習，其數據中難以避免謠言的混入，進而在與用戶交互的過程中強化對謠言的傳播。

1．“智謠”生產：深度偽造形成立體謠言?！吧疃葌卧臁币辉~源于“計算機深度學習”和“偽造”二者的合成，是指通過技術的高仿真處理，實現視頻、音頻、圖像等信息的數據技術偽造，其廣泛應用于影視制作、廣告營銷、藝術創作等領域，但基于“深度偽造”技術的應用開發和普及也屢屢觸犯法律和道德的紅線。AIGC的演進帶來了對用戶友好的工具與平臺，同時也簡化了深度偽造內容的制作流程，即便是非專業人士也能輕松偽造出極具真實感的內容，大大降低了造謠的難度。包括GPT-4o在內的多款具有圖片生成能力的AIGC應用的推出，讓沒有任何圖片編輯技術的普通人也可以通過簡單的對話向人工智能下達指令，以實現圖片編輯?！坝袌D有真相”“有視頻有真相”等說法在基于AIGC的深度偽造面前徹底粉碎，謠言的甄別難度進一步提升。

2．“智謠”傳播：公開數據的謠言強化。AIGC應用的核心是基于數據預訓練產生的大規模語言模型（Large Language Model，LLM），預訓練數據集的質量和人工標注質量會顯著影響AIGC信息的質量。目前，AIGC應用類型較多，從使用范圍來看，可分為垂直型AIGC和通用型AIGC。垂直型AIGC是指在特定領域具有專業性，且主要為該領域的創作提供服務，如彩云小夢專注故事寫作，DeepAI專注圖片生成，Boomy專注音樂創作。通用型AIGC在使用體驗上更接近于傳統搜索引擎，如ChatGPT、文心一言等，用戶通過對話向它們尋求各類問題的答案和幫助，通用型AIGC應用的數據庫通常更為龐大，也更重視實時數據的抓取。AIGC應用中對報道或媒體傳播數據具有依賴性，而社交媒體中的低質和謠言數據會因為實時抓取而混入AIGC應用的數據庫，被用作預訓練數據集，再加上用戶的提問方式以及AIGC自身模型的缺陷，都會進一步導致謠言的生成和傳播。此外，AIGC應用為增強自身可信度，其回答會突出對權威信息來源的標榜。例如，部分新聞事件在早期的媒體報道和社交媒體數據中存在片面乃至錯誤的認知，AIGC參考引用這些信息并標注來源，以一種“官方認可的真相”形式取信于用戶，用戶又缺乏對AIGC運作機制的了解，進而導致謠言的強化傳播。

二、“智謠”難辨：AIGC謠言特點

有研究基于謠言文本的實證分析發現，善用故事元素并利用數據和權威支撐是網絡謠言敘事的顯著特征，扯明星、蹭熱點成為網絡謠言偽裝的重要手段，此外，圖片和視頻類謠言比例不斷提升。ChatGPT發布后，AIGC技術已將網絡謠言推向了更高層次，AIGC謠言在形式、內容、技術和傳播上呈現出嶄新特點。

1．形式上：多樣態，高仿真。當前網絡謠言呈現出多模態的復合形式，即文字、圖片、音視頻不以單一形式出現，而是多種形式并存，交叉佐證，以增強自身的可信度，其中以圖文并茂的謠言居多。AIGC謠言則從圖片編輯、圖片合成進入圖片生成時代，即只要編造文本謠言，便能通過技術生成與其相符的圖片，甚至視頻也能無中生有。2023年7月，網傳的廣東茂名“小孩偷鉛筆被老師綁電線桿5小時”視頻，經查是網民通過AI軟件生成的謠言。此類案例反映出AIGC謠言的極高仿真性，其對圖片、視頻的深度合成讓人難以辨識，多模態復合謠言的極強說服力也讓不明真相的群眾信以為真，并促成謠言的進一步擴散。2024年2月，OpenAI發布文生視頻模型Sora，只需要一段提示文本，就能生成具有多個角色和特定動作類型且主題和背景基本準確的高清視頻，這也將給未來的AIGC謠言治理帶來全新挑戰。

2．內容上：近民生，抓眼球。從內容上看，具有煽動性的社會新聞和其他民生信息仍是AIGC謠言的主流。2024年3月，網絡中出現一條標題駭人的“新聞”：“平遙古城明清街一女子與男友吃東西時，用竹簽扎小孩臉，后小孩被‘120’抬走，生死未卜”，該“新聞”還附有事發現場的視頻截圖和網友的熱議記錄，瞬間引發大量討論與猜測。后證實為謠言，是發布者為吸引眼球、增加點擊量而利用AI技術合成。這些要素俱全的煽動性謠言正迎合了公眾對悲劇和惡性社會事件的關切心理。部分AIGC謠言還造成了經濟損失，如2023年5月，一篇由AI生成的示警文稱“科大訊飛被爆涉嫌大量采集用戶隱私數據，并將其用于人工智能研究”，引發廣泛關注，科大訊飛股價因這則謠言出現大幅下跌。這一謠言利用了人們對個人隱私保護的關注，編造具有煽動性的內容，造成了極其惡劣的后果。

3．技術上：低門檻，高效率。ChatGPT的橫空出世推動了各行各業對大模型研發的熱情，現如今，即使不具備使用ChatGPT的相關條件，也可以通過文心一言、通義千問、訊飛星火、DeepSeek等國產AIGC應用獲得高效便捷的體驗。在任意瀏覽器中檢索“AI生成”，結果頁面中赫然陳列著數十條不同的AI工具網頁，涵蓋文本、圖片、音視頻等多種形式。網上甚至曾出現過一些“換臉直播”教程，發布者聲稱實時變臉軟件可以幫助用戶輕松“變臉”，極大地助力引流賣貨。AIGC的高效率導向了AIGC謠言的批量生產，2023年12月，西安市公安局鄠邑分局在對一起AIGC謠言的調查中發現，涉案的AIGC寫稿軟件每天能生成19萬篇文章，短時間內就能達到上百萬篇，以致官方辟謠后，許多雷同的謠言仍在互聯網上大量傳播。

4．傳播上：難辨識，易擴散。AIGC技術的不斷發展使得謠言的甄別難度進一步提升，尤其在進行公式化、模板化的消息新聞創作上，如若不進行事實核查，部分新聞從業者第一眼也難以辨別。此外，隨著深度學習、神經網絡等技術的成熟和應用，AIGC偽造圖片、音視頻的技術手段也在不斷升級，現在的AIGC已經可以生成非常逼真、難以分辨的圖像和聲音，甚至可以模擬出特定的光照、陰影、紋理等細節，使得偽造的內容更加真實可信。由于對AIGC技術的相對陌生，公眾對于深度偽造的AIGC謠言難以根據常識迅速做出判斷，因而在傳播上極易擴散。AIGC文本謠言尚且難以辨別，部分互聯網用戶缺乏對AIGC的了解，無法想象圖片、音視頻等的偽造情況，因此面對AI換臉、聲音替換等廣泛傳播的AIGC謠言，幾乎不會產生懷疑。

三、以“智”治“智”：技術賦能AIGC謠言治理

世界多國政府都正在積極推動AIGC及其相關法律條例的制定。在我國，2023年7月13日，國家互聯網信息辦公室等七部門聯合發布《生成式人工智能服務管理暫行辦法》，提出國家堅持發展和安全并重、促進創新和依法治理相結合的原則，采取有效措施鼓勵生成式人工智能創新發展，對生成式人工智能服務實行包容審慎和分類分級監管，明確了提供和使用生成式人工智能服務總體要求。據財聯社消息，2023年12月7日，歐盟接近達成一項里程碑式法案，對ChatGPT和其他人工智能技術進行監管。

同時，AIGC謠言的治理除了依靠相關法律法規的確立和監管推進，更需要以智能技術本身為支撐，針對深度偽造、公開數據強化等不同成因的AIGC謠言，形成一套涵蓋生產、分發及反饋全鏈條的智能治理路徑。

1．生產端：數據智能選擇，技術溯源信息。從生產端來看，AIGC的內容生產可分為三個階段，第一階段為模型預訓練，這一階段需要提供大量的數據集用于大語言模型的自我學習；第二階段為對話指令輸入，即用戶通過對話向AI發出內容生成指令；第三階段為AIGC內容產出，即AI依據自身對指令的理解，結合現有數據庫或抓取實時信息輸出合適的內容。依據生產過程的不同階段，在各階段進行適當介入并有效減少謠言的產出。

在模型預訓練階段，主要通過優化數據集的質量來保障數據庫的安全性和可靠性。首先，技術的進步不能跨過法律的紅線，要禁止各類機密數據、用戶隱私數據被用于模型訓練。其次，審慎使用社交媒體數據，在以往的案例中，放任于社交媒體中進行自我進化的AI往往在最后表現出較高的攻擊性和惡意性，盡管社交媒體中不乏真善美的聲音，但由于互聯網的匿名性，許多用戶針對AI展現出特定的不帶掩飾的惡意，使得AI的數據庫中充斥著大量低質數據，進而衍生出與普遍道德觀相左的“AI人格”。最后，優選公開可靠的數據，尤其在一些知識類數據的輸入中，應優先選擇經過認證的可靠性高的官方網站數據作為訓練集，而不能盲目采信各類百科數據，如確要使用，必須事先經過人工參與篩查標注，盡可能減少數據輸入端的謬誤。此外，也可以建立特定領域的AIGC應用，縮小其數據范圍，以便進行有針對性的微調。

在對話指令階段，應當通過預設的程序算法，禁止AI對某些不符合道德和法律規范的指令做出回應，并規范AI的內容輸出表達，使其遵循現有的規章制度。首先，可以通過設置關鍵詞禁止AI對某些指令做出回應，如在使用文心一言4.0的圖片生成模塊時，其會拒絕生成包含“血”“尸體”的圖片。其次，關注AI與用戶交流產生的自學習數據，通過人工參與標注等方式減少用戶端的不良數據逆向輸入，如有的用戶會通過諧音、其他指代詞等繞過預設的關鍵詞檢測，利用AI制造謠言。最后，明確禁止AIGC在部分領域的使用，如新聞、政治、未經授權的商業領域等，通過禁止未經認證的普通用戶利用AIGC應用生成新聞可以有效降低謠言的產出，對違背公序良俗的功能更應全力禁止。

在內容產出階段，模型的訓練程度以及算法的完備度均會影響AIGC內容的質量，可以從以下幾個方面優化AIGC表現，減少謠言產出：一是基于用戶的協同過濾，ChatGPT、文心一言等均設置了用戶的反饋途徑，即通過向用戶詢問AIGC內容的表現是否符合用戶預期來促進模型學習，進而優化其內容整合和表達能力；二是AIGC的信息來源標注，通過類似參考文獻標注的形式，給予用戶可對照可參考的可信信息來源，提升算法透明度，增強AIGC內容的可靠性；三是給AIGC內容添加數字水印，目前已有相關技術公司致力于針對AIGC內容識別的研究，也取得了一定的成果。但隨著AIGC的發展，其識別難度會不斷提升，應從源頭強制要求各AIGC應用公司為AIGC內容添加數字識別水印，即為每一條AIGC文本、圖片、視頻等賦予數字ID，引起人們對其內容真實性的警惕，增強可證實性，減少謠言信息的產出和廣泛傳播。

2．分發端：引入智能識別，規范AIGC發布。就分發端而言，AIGC的內容標識顯著性或區分度影響著其在互聯網中的傳播效率。社交平臺作為當下網絡謠言病毒式傳播的重災區，應針對AIGC謠言進行同步技術升級。首先，應大力開發和引入AIGC識別技術，如北京大學、華為已聯合開發出可進行ChatGPT內容檢測的AI檢測器，使用此類檢測器可以及時發現AIGC信息，提前納入監管范圍。此外，在AIGC應用主動為AIGC信息內置水印的前提下，社交平臺應積極向各AIGC應用取得相應技術授權，通過識別技術監測平臺中的AIGC信息。其次，應借助技術對平臺中的AIGC信息進行顯著標識。當檢測到用戶可能發布了AIGC信息時，應對其進行標注，提醒其他潛在傳播者“此條文本/圖片/視頻可能為AI生成，謹慎采信和傳播”。最后，引入人工參與的智能篩查機制，審慎推薦AIGC信息。目前，多數社交平臺的推薦機制均基于大數據和用戶畫像，如果相關模型針對互聯網熱門內容進行學習，很容易掌握當下社交平臺的“流量密碼”，并仿制出類似內容。因此，在識別并標注AIGC信息后，可以引入人工參與的篩查機制，對其真實性進行核查。同時，應審慎將AIGC信息納入算法推薦，AIGC信息的高效率生產和對互聯網熱門內容的高質量模仿極易在當下算法推薦體系中形成一邊倒的形勢，既可能對原創UGC內容帶來傾軋式打擊，也可能讓AIGC謠言披著熱門內容的外衣迅速傳開。

3．反饋端：智能監測輿情，推動源頭治理。在生產端和傳播端的層層把關與監管之下，對仍出現的“漏網之魚”，就需要啟用相應的AIGC謠言應急反饋機制，即AIGC謠言智能治理模型的反饋端。網絡謠言的治理依賴兩條信息反饋路徑：一是普通用戶的舉報，數字素養較高的用戶會對互聯網信息保持敏感性，道德本能會驅使他們阻止謠言信息的進一步擴散；二是有賴于當前的網絡輿情監測系統，其對互聯網信息的全天候監控能及時發現當下互聯網的熱點、爭議點，并形成相應匯報供人工核查。AIGC謠言作為網絡謠言的一種，對其監管也離不開這兩條反饋路徑，但在反饋核查后的應對上，AIGC謠言的處理應更為細致。首先，利用智能追蹤技術追查源頭發布者，依法追究其責任，并自動管控其后續傳播渠道。其次，辟謠既要講內容，也要分析技術，在破除謠言的基礎上，還要將AIGC謠言的高仿真特性普及給公眾，提供辨識技巧或工具，如早期AI生成的圖片不擅長手指、漢字、多個面部的生成等。再次，建立AIGC謠言的跨平臺智能監督體系，各平臺之間共享謠言數據庫，減少AIGC謠言通過更換發布平臺“死而復生”。最后，建立AIGC謠言數據集，一方面，可用于訓練專門的AIGC謠言識別程序，提高AIGC謠言識別效率；另一方面，可用于對現有AIGC應用的調整性修正，完善違禁詞庫和違禁指令，優化整體算法模型。

（作者段峰峰系湖南師范大學新聞與傳播學院副教授、碩士生導師；杜萌 湖南師范大學新聞與傳播學院）

本文系湖南省社科基金項目“網絡謠言傳播機理及智能治理研究”（項目編號：24JD058）的階段性研究成果。

參考文獻

[1]黃河．網絡謠言的智能化演變及治理[J]．人民論壇，2023（04）．

[2]王振波，吳湘玲．數字時代“深度偽造”技術研究——機理特征、功能異化及其優化理路[J/OL]．北京航空航天大學學報（社會科學版）．（2022-07-07）[2024-05-06]．https：//doi.org/10.13766/j.bhsk.1008-2204.2022.0148．

[3]喻國明．網絡謠言的文本結構與表達特征——基于騰訊大數據篩選鑒定的6000+謠言文本的分析[J]．新聞與寫作，2018（02）．

[4]陳世華．網絡圖像謠言的安全風險與治理路徑[J]．江淮論壇，2022（04）．

[5]莫祖英，盤大清，劉歡，等．信息質量視角下AIGC虛假信息問題及根源分析[J]．圖書情報知識，2023（04）．

【編輯：李棟】