生成式人工智能場景下虛假信息風險特殊性透視及應對

摘 要：生成式人工智能改變了傳統的信息生產機制而有廣闊的應用場景，但其生成虛假信息速度快、逼真度高、無中生有的特征不僅放大了傳統的虛假信息風險隱患，還使得信息信任風險成為虛假信息的重要風險類型，也使得社交媒體平臺虛假信息治理防線有被全面突破的風險。對此，應基于生成式人工智能對虛假信息治理體系的挑戰，從規范依據、虛假信息分類分級和實施部署方面著手推進虛假信息分級治理；應從應用準入、算法治理和訓練數據質量管理方面強化虛假信息的源頭治理；應從監管協同、義務細化和公私協同方面增強虛假信息的協同治理。

關鍵詞：生成式人工智能；虛假信息；分類分級；源頭治理；協同治理

中圖分類號：D035 文獻標識碼：A 文章編號：1672-335X（2024）02-0112-10

DOI： 10.16497/j.cnki.1672-335X.202402010

2022年12月1日，美國OpenAI公司推出的ChatGPT以其在自然語言理解、文本生成、代碼編寫及知識問答等方面的強大功效讓社會見證了生成式人工智能的廣泛應用場景和市場前景。我國很多企業也紛紛投入生成式人工智能的研發并推出了類似產品，如百度“文心一言”、阿里“通義千問”、360“智腦”、中國電科“小可”等。但生成式人工智能在應用過程可能的負面影響也被揭露和關注，對此，既有研究探討該技術在營銷領域[1]、旅游領域[2]、教育領域[3][4]、科研領域[5]的應用可能引發的風險及應對，從不同視角揭示其應用風險。通過文獻梳理發現，既有研究均將虛假信息作為該技術應用產生負面影響的原因之一，這充分說明在開展生成式人工智能場景下虛假信息治理理論研究的必要性。而觀察生成式人工智能技術的應用，發現該技術不僅有憑空編造虛假信息的特征，而且有生成速度快、生成內容逼真度高的特點，可以想見該技術必然會使虛假信息的風險產生某種形塑進而對虛假信息治理產生沖擊，[6]因而從實踐需要講也有對其展開研究的必要。既有虛假信息的治理實踐和研究，主要停留在生成式人工智能未廣泛應用前的社交平臺虛假信息的治理，[7]尚且沒有結合生成式人工智能技術對虛假信息風險的特殊性和治理的挑戰來開展，因而難免缺乏針對性。因此，本文擬對生成式人工智能技術場景下虛假信息風險特殊性進行挖掘，進而分析既有虛假信息治理體系在面對技術挑戰時的困局并探索紓困之策。

一、生成式人工智能技術下虛假信息風險特殊性透視

生成式人工智能技術在生成虛假信息方面有速度快、體量大和逼真度高的特征，[8]比人工生產虛假信息效率高出很多量級，甚至在圖片、視頻偽造等領域比人類更加高明。因此，生成式人工智能技術會對傳統的虛假信息風險發生影響，甚至還會產生新的風險挑戰。為對這些風險挑戰進行揭示，本文通過文獻調研法和案例收集法對風險樣態進行總結，以便揭示在生成式人工智能下虛假信息風險的特殊性。

（一）放大已有虛假信息的風險隱患

虛假信息因存在領域不同會在個人權益、社會秩序以及國家安全等不同層面產生風險隱患，而生成式人工智能技術會讓虛假信息的破壞性得以放大而難以控制。在個人權益層面，編造謠言對個體進行誹謗進而侵犯個體名譽權，這類虛假信息的風險在生成式人工智能廣泛應用前就已經存在，而生成式人工技術場景下造謠成本的降低和造謠水平的增強，使得謠言破除難度更高且風險隱患也更高，這放大了已有虛假信息的風險隱患。在社會秩序層面，生成式人工智能技術使得虛假社會新聞制作成本更低、速度更快和欺騙性更強，進而使社會秩序維護面臨更高的挑戰。例如，杭州某小區居民用ChatGPT制作“明日杭州市取消依照尾號限行”的虛假政府通告并進行分享導致虛假信息被廣泛傳播，嚴重擾亂了社會秩序。[9]而民眾信以為真的原因很大程度是因為ChatGPT編寫的虛假新聞有很強的邏輯性和連貫性。在國家安全方面，生成式人工智能編寫虛假信息能力給政治穩定、國防安全帶來的隱患也不容忽視。事實上，生成式人工智能被用于政治領域的案例已經出現。例如，美國芝加哥市長選舉中就曾出現利用人工智能軟件偽造候選人談話音頻進而讓選民對候選人政治立場產生誤解的破壞選舉事件。[10]而在國防安全方面，生成式人工智能技術可能被敵對國家用來對我國進行虛假信息攻擊。這種虛假信息攻擊主要有兩種情形：一種情形是通過編造虛假信息來影響我國民眾的認知進而營造有利于敵人的輿論。此種攻擊手法美國對中東地區國家施展過，極大地增強了美國在當地的輿論優勢。[11]第二種情形是偽造虛假情報信息干擾我國決策機構和國民對國安情勢判斷，進而危害我國國家安全。[12]盡管上述風險并不是因生成式人工智能而產生，但運用該技術會增加侵害手段的危害性，也會相應提升該種類風險的治理難度。

（二）增加信息信任損害為重要風險類型

生成式人工智能智能具有類人性、看似真實性等特征，這使其可能錯被作為獲取真實信息的工具，進而產生信息信任損害的風險。事實上，生成式人工智能下虛假信息引發的信息信任損害風險已經得到一定程度的顯現，體現在個人信息信任和知識信息信任兩個方面。在個人信息信任方面，已出現AI編造他人過往經歷信息的現象。例如，澳大利亞某地市長布賴恩·胡德被ChatGPT編造其在1999年、2005年曾向外國官員行賄被判處刑罰的過往經歷信息。[13]無獨有偶，美國喬治華盛頓大學法學教授喬納森·特利被編造有性侵女學生并被處罰的過往經歷且曾因此事被《華盛頓郵報》公開報道。而事實上《華盛頓郵報》從未報道過該新聞，而特利也從未因性侵女性受過指控。[14]這說明生成式人工智能有編造個人過往經歷的信息能力，如果將其作為獲取他人經歷信息的工具，必然引發個人信息信任的風險。在知識信息信任方面，類似ChatGPT的生成式人工智能能以聊天的方式向詢問者快速提供合乎邏輯和可信的答案，在回答簡單的知識常識等方面具有很好的客觀性和真實性，因此很容易被作為無所不知的超級人工智能而被賦予知識基礎設施的地位進而成為獲取知識的重要渠道。而生成式人工智能對問題的回答是基于對訓練數據的深度學習。如果學習的數據質量存在問題，其輸出文本真實性難以保證。在特定高深的學術領域，其沒有受到相關數據的訓練，其對問題的回答存在事實性錯誤、概念誤用甚至捏造信息等問題。生成式人工智能還會編造虛假的信息源，如果被其欺騙而怠于查證則無疑有害教育、科研的發展，[15]進而產生知識信任的問題。

（三）突破社交平臺內容治理防線的風險

生成式人工智能連續對話、信息批量制造以及出色的偽裝能力會使得社交平臺面對治理海量高度逼真的虛假信息的挑戰。社交媒體平臺如微信、微博、抖音、知乎等已經是人們日常交往的重要方式，成為發布信息、獲取信息與分享知識的重要場域，也是網絡虛假信息泛濫的重災區。社交媒體平臺打破了傳統媒體對信息發布的壟斷，任何用戶都可以是信息源，但也因用戶發布信息往往不會經過真實性審核而面臨如何有效治理虛假信息的困擾。[16]生成式人工智能技術在信息生產力方面的突破性進展，會進一步加劇社交平臺虛假信息治理的難度。在治理對象識別方面，生成式人工智能生成虛假信息的高效率和欺騙性使得社交平臺識別虛假信息的工作量和工作難度極大提高，進而增加社交平臺識別虛假信息的成本。在虛假信息傳播的技術反制方面，生成式人工智能的連續對話能力使其被作為社交機器人使用時更加難以識別，從而提高打擊社交機器人的難度。傳統的社交機器人只是簡單復制與粘貼原帖來傳播虛假信息而不能進行持續對話，相對容易被社交平臺識別與禁止，而生成人工智能如ChatGPT卻沒有原有社交機器人的不足。因此，社交平臺虛假信息的治理將會面臨不同以往的全新挑戰，甚至面臨現有治理體系被全面突破的風險。在這種背景下，無論是監管機構還是社交媒體平臺，都必須及時更新社交平臺虛假信息的應對策略，才能更好地應對生成式人工智能技術給社交平臺虛假信息治理帶來的挑戰。

二、既有生成式人工智能下虛假信息治理模式的困局及改進方向

網絡虛假信息問題自互聯網誕生之日就已經產生，但生成式人工智能廣泛應用之前的虛假信息隱患遠沒有現在這么嚴重。雖然目前網絡虛假信息的宏觀框架和治理措施及安排，在一定程度上能對生成式人工智能技術引發的虛假信息問題進行應對，但從治理現狀考察，既有治理體系面臨治理對象范圍擴大、源頭治理力度不足、治理主體協同性不強的困局。

（一）生成式人工智能下虛假信息的治理現狀

從虛假信息生成到發揮負面作用來看，依次會經歷生成式人工智能編寫虛假信息、社交平臺傳播、受眾接受錯誤信息的過程。因此，虛假信息的治理包括信息生產、信息傳播以及信息影響三個環節，涉及生成服務提供者、社交媒體平臺以及網絡用戶等多方主體。與之相對應，網絡虛假信息的治理也形成了覆蓋多環節、多主體的治理格局。通過梳理有關法律、行政法規、部門規章以及地方性法規、網絡平臺的管理規約、用戶協議等有普遍約束力或者局部約束力的文件，可將當前網絡虛假信息的治理主體、治理環節及治理措施概括為圖1。

總的來說，現有的以《網絡信息內容生態治理規定》為基礎構建的網絡虛假信息治理體系在宏觀治理框架方面已經相對完善，也基本覆蓋到相關主體和信息生產、信息傳播以及信息影響等環節。然而在治理規范的針對性層面，如《互聯網深度合成服務管理辦法》（以下簡稱“《辦法》”）〖ZW（1B〗2022年11月11日，《互聯網信息服務深度合成管理規定》由國家網信辦、工信部、公安部聯合發布，自2023年1月10日起施行。）直接指向人工智能深度合成虛假信息源頭生產的治理規范還比較少，《辦法》在第二章第六條只做了籠統的規定：“任何組織和個人不得利用深度合成服務制作、復制、發布、傳播法律、行政法規禁止的信息，不得利用深度合成服務從事危害國家安全和利益、損害國家形象、侵害社會公共利益、擾亂經濟和社會秩序、侵犯他人合法權益等法律、行政法規禁止的活動。深度合成服務提供者和使用者不得利用深度合成服務制作、復制、發布、傳播虛假新聞信息。轉載基于深度合成服務制作發布的新聞信息的，應當依法轉載互聯網新聞信息稿源單位發布的新聞信息”。《辦法》沒有對深度合成服務中的基礎數據來源、數據質量、數據合成算法進行規范。而其他規范在應對生成式人工智能下虛假信息治理方面還缺乏針對性。在治理對象的覆蓋范圍上，現行治理規范只規制屬于違法信息、不良信息和虛假新聞的虛假信息，而沒有覆蓋到人工智能生成的純粹事實虛假信息，如虛假健康信息、虛假學術信息等。因此，在既有虛假信息治理體系中，生成式人工智能引發的虛假信息問題難以得到有效治理，還需要進一步解決。

（二）面向生成式人工智能的虛假信息治理困境

生成式人工智能技術對虛假信息生產效率、虛假性識別難度的提高以及其作為知識基礎設施表面的虛假權威性，不僅放大了傳統虛假信息的風險隱患，而且引發新的信息信任風險和平臺虛假信息治理防線被突破的風險。然而生成式人工智能技術的積極價值也要保護，因此，在生成式人工智能時代下，虛假信息的治理目標在于實現人工智能科技創新與虛假信息隱患的平衡，盡全力將虛假信息隱患控制在合理范圍。而從虛假治理規劃的角度講，應做好事前人工智能虛假信息的源頭生成控制、事中虛假信息傳播的阻斷和事后虛假信息影響的消除等工作，而根據生成式人工智能的技術特性和事后修復虛假信息損害成本的考量，虛假信息治理的重點應放在事前虛假信息生成的監管和事中傳播環節虛假信息的阻斷，當然事后修復影響的責任追究和辟謠工作也要進行相應強化。因此，實現生成人工智能下虛假信息的治理，需要根據生成人工智能下虛假信息風險隱患的特殊性，從治理薄弱點出發，構建與生成式人工智能場景下虛假信息風險水平相匹配的治理體系。

但是，既有網絡虛假信息治理體系在面對ChatGPT等生成式人工智能技術方沖擊下面臨困局，主要體現在治理對象、治理規劃以及治理主體三個方面。在治理對象層面上，生成式人工智能使得虛假信息治理的范圍擴張，而既有治理體系沒有涵蓋可能引發風險隱患的全部虛假信息。根據《網絡信息內容生態治理規定》《互聯網深度生成服務管理辦法》《互聯網信息服務算法推薦管理規定》《網絡音視頻信息服務管理規定》等規范，既有治理體系范圍內的虛假信息僅包括違法信息、不良信息、虛假新聞，而沒涵蓋虛假健康信息、虛假學術信息以及偏見和歧視信息等事實虛假信息。以往事實虛假信息多由不法分子為了特定目的而刻意偽造，例如編造用鐵鍋炒菜能補充鐵元素等虛假信息來銷售鐵鍋等，而不會無目的地去偽造單純事實虛假信息，而生成式人工智能由于自身智能缺陷卻會不基于功利目的地去生產這些純粹虛假和違反常識的信息，因此生成式人工智能場景下需要治理的虛假信息范圍更為寬泛，如果采用同樣的治理標準，則會產生不合理地增加企業合規成本、阻礙技術創新以及侵犯個體信息發布自由等問題，因此，應該綜合考慮信息類型、信息領域以及風險程度進行分類分級治理。在治理規劃層面上，生成式人工智能使得源頭信息生產環節成為治理重點，既有治理體系在源頭治理方面力度不足，具體體現在生成式人工智能的監管缺位。[17]以ChatGPT為代表的生成式人工智能之所以會產生虛假信息，除了人為操縱之外，還與其內在算法缺陷以及訓練數據質量不高、語料庫不能及時更新等有關。生成式人工智能的治理除了要對傳播環節進行治理之外，還要回到生成人工智能規范本身，促使人工智能企業優化算法以及提高訓練數據的質量來盡力減少不必要的錯誤。即便如此，也不可能將全部的錯誤問題解決，還需要人工智能服務提供者在可能的范圍之內配合傳播環節虛假信息的治理，如添加數字水印等。整體來說，既有對人工智能企業算法治理、訓練數據質量管理以及配合后續治理的規范并非絕對欠缺，但都缺乏直接相關性。如，2022年3月1日施行的《互聯網信息服務算法推薦管理規定》，盡管對生成合成類的算法推薦技術進行了規范，但是并沒有直接從源頭對算法訓練數據、算法缺陷等進行規制；《互聯網深度生成服務管理辦法》中規定：深度合成服務提供者和技術支持者應當加強訓練數據管理，采取必要措施保障訓練數據安全；訓練數據包含個人信息的，應當遵守個人信息保護的有關規定。但是此處并沒有直接涉及訓練數據的質量、可信度等方面的問題。當然，2023年8月公布的《生成式人工智能服務管理暫行辦法》主要規定了生成式人工智能服務提供者的責任，但是后續治理的措施并不完備，傳播平臺責任者、服務使用者相關的責任并不明確，而且缺乏相應的懲罰措施。在治理主體的協同性方面，現有治理模式沒有構建起責任明確、協作有效的生成式人工智能場景下的虛假信息治理機制。生成人工智能場景下的虛假信息從產生到傳播會涉及多方主體，而不同主體應該負有相應責任，但由于缺乏明確的責任劃定和協同義務過于寬泛，因而治理主體在治理職責的履行效果上很難保證。比如，法律只是抽象地規定監管機關有監管職責，網絡服務提供者有防止生成、傳播虛假信息的義務，而如何具體履行防范義務以及采取何種措施沒有細化規定。又如，應對生成式人工智能給虛假信息治理的沖擊，有關主體（如網信、電信、公安等部門）之間需要進行必要的信息溝通、事務協調以及聯合行動，但目前尚缺乏相應的協調機制。因此，在虛假信息的治理上難免相互推諉，甚至即便部分主體（如公安機關、國家安全機關等部門）有心治理，但由于缺乏相應的協調機制其努力也因其他方面的掣肘而不能取得實效。此時，應該反思既有的虛假信息治理體系，根據人工智能對虛假信息治理的挑戰來采取應對措施，實現多元主體的治理協同。

（三）生成式人工智能技術下虛假信息治理的改進方向

面對生成式人工智能技術帶來虛假信息治理難題，既有虛假信息治理體系對生成人工智能場景下的虛假信息生產能力和風險隱患的特殊性缺乏有效的回應，因而需要進一步優化。以往虛假信息帶來的問題主要還是謠言誹謗、虛假新聞以及虛假信息攻擊，而且數量還停留在相對可控的范圍，只要強化對傳播各環節的把控，就能將虛假信息的影響控制在合理范圍之內。既有治理體系之所以面對生成式人工智能會陷入困局，其原因在于現有治理對生成人工智能技術生成虛假信息的特性回應能力不足。詳言之，正因為生成式人工智能無中生有、生成速度快的特性才使得需要治理的虛假信息類型增加、數量膨脹，進而才引發治理對象擴張的問題，也因其生成信息效率的革命性提高才使得信息生產環節的人工智能監管成為治理的中心，才使得不同治理主體的協同性需要調整，以此來適應治理需要。因此，既有治理體系的改進思路也應以生成式人工智能的技術特性和影響為基礎來展開。詳言之，首先，應重視違法信息、不良信息以及虛假新聞之外的虛假信息的治理，以遏制因治理疏漏而引發的信息信任等風險的現實化。其次，應增強生成式人工智能本身的治理，生成式人工智能產生虛假信息受其算法、訓練數據、人工標注等因素的影響，如果只是簡單去規定人工智能企業防止虛假信息生成的義務而不將治理的觸角伸進人工智能治理，那么虛假信息的治理就只是隔靴搔癢。最后，應根據生成式人工智能下虛假信息生成速度快、體量大、逼真程度高的特征對虛假信息不同治理環節的治理主體、治理規范、治理措施提出新要求，對整個虛假信息的治理體系進行全過程、全鏈條優化。

三、生成式人工智能場景下虛假信息的治理對策

生成式人工智能技術的進展使得虛假信息風險發生了深刻變化，不僅傳統虛假信息風險被放大，信息信任風險成為重要風險類型，還加劇了社交平臺虛假信息治理防線被突破的風險，因此對這些風險進行應對已經成為生成式人工智能場景下不可回避的問題。為有效應對這些風險隱患，可從虛假信息的分類分級治理、虛假信息的生產源頭治理以及治理主體的協同治理方面著手推進生成式人工智能場景下虛假信息的治理，進而疏解既有虛假信息治理體系在面對生成式人工智能沖擊而遭遇的困局。

（一）推進虛假信息的分級治理

面對生成式人工智能技術引發虛假信息治理對象范圍的擴充以及數量的急劇增加，務實的做法是對虛假信息進行分類分級治理，根據虛假信息損害法益的重要性和可能產生的危險性賦予治理主體差異化的治理責任，進而實現治理效果與治理成本的平衡。為實現分級治理，應從規范依據、分類分級指引、部署推進策略等方面來推進分級治理。

第一，應由監管機關明確規定虛假信息分類分級治理的要求，使得分級分類治理有法可依。分類分級治理的理念在數據治理[18]、個人信息保護[19]方面已得到貫徹并取得階段性進展，而虛假信息分類分級還沒有明確的規范依據，但《網絡信息內容生態治理規定》將信息區分為違法信息、不良信息并規定差異化義務的做法已經體現了虛假信息內容分級治理的理念。為了使分類分級有明確的法律依據，同時考慮到分級治理制度還處于初創期，因此可由中央網信辦在有關虛假治理規范中先做出原則性規定，以便給后續推行留下制度空間，但其中要包括內容分級原則性標準和差異化設置治理主體義務和法律責任等內容，以構建起分級治理的基本法律框架。

第二，應重視制定具有可操作性的虛假信息內容分類分級規范指引。科學且有可操作性的信息內容分類分級指引是落實虛假信息分類分級治理的先決條件和重要依托。[20]為確保該指引具有可操作性，在制定參與主體方面，應參考《網絡數據分類分級指引》的制定過程，吸納有關領域的監管機關、人工智能產業協會、社交平臺企業行業協會以及不同行業的研究機構和專業人士共同參與，以吸取各方面智慧和經驗來提高可執行性。在虛假信息內容分級指引參考標準上，可參考《網絡安全標準實踐指南》〖ZW（2B〗關于發布《網絡安全標準實踐指南——網絡數據安全風險評估實施指引》的通知，https：//www.tc260.org.cn/upload/2021-12-31/1640948142376022576.pdf。）的規定，綜合考慮虛假信息的危害程度、影響對象、影響程度因素來確定虛假信息的風險等級。根據虛假信息對國家安全、公共利益或者個人、組織合法權益造成的危害程度，將其從低到高分成一般、重大、危險三個級別，根據所損害法益的類型影響對象可區分為國家安全、公共利益、組織利益以及個人利益四種，而影響程度可分嚴重、一般、輕微和無影響四個等級（參見表1）。考慮到國家安全、公共利益的重要性，即便對其僅有輕微影響也可以定為更高等級，而僅對個人、組織權益產生影響的虛假信息即便有嚴重影響也可能被定為相對較低的等級。如，捏造某人殺人的謠言，相比造謠明天將施行交通管制的情形，后者涉及了不特定多數人的公共利益，盡管對公共利益有輕微影響，可以將后者定位更高級，因為這種謠言需要及時糾正，涉及的群體比較大，而前者針對的是個體，即使產生嚴重后果，也不產生更大危害，所以定為較低級別。

第三，應遵循“先試點后推行”虛假信息分級治理推進思路。監管機關和符合條件的企業可先行開展分級治理試點，對分類分級規范指引、差異化義務設置和分類監管措施的實施效果進行檢驗，并為后續改進提供參考經驗。為確保試點效果，首先要制訂詳細的試點規劃，對測試周期、測試指標、測試結果評價、治理成本、保障機制、監督機制、網絡用戶權益保護等方面做出全面規定。其次，試點期間對參與試點的生成式人工智能企業、社交平臺企業等主體給予特定的監管優待和財政補貼，調動企業參與試點的積極性。最后，要做好試點經驗總結工作，對試點過程中的積極成果及時進行總結，將其作為分類分級規范指引、義務規范設置和監管措施調整的依據。

（二）強化虛假信息的源頭治理

生成式人工智能對整個虛假信息治理鏈條的直接沖擊體現在信息生產環節，因此，虛假信息治理應強化源頭治理才能實現治理效能最大化。而人工智能產生錯誤信息除受人操縱外，還受其模型算法的局限性、預訓練數據質量以及人工標注質量的影響。[21]因此，從根本上遏制虛假信息，除了規范網絡用戶使用網絡行為、運用民法、刑法在事后打擊濫用人工智能行為外，還要強化人工智能本身的治理來控制人工智能本身的虛假信息生成和提供。

第一，應對生成式人工智能應用領域設置準入負面清單，暫時禁止其進入如科研、教學、醫療等可能引發高風險的領域。暫時禁止生成式人工智能進入科研、教學、醫療等領域，可以避免其帶來的不確定性風險，如避免學生學術誠信的擔憂、深度虛假信息生成，也可以避免醫學領域過度依賴人工智能可能造成不良預測事件、個人醫療信息泄露等。[22]與此同時，禁止生成式人工智能在這些領域的應用也會阻礙新技術的發展，不利于我國生成式人工智能技術的發展，阻礙科技創新。因此，相比于意大利禁止生成式人工智能ChatGPT應用的政策而言，意大利宣布禁用ChatGPT，限制OpenAI處理本國用戶信息，https：//www.thepaper.cn/newsDetail_forward_22539065。）我國應該保持政策的彈性，在目前生成式人工智能風險不明的情況下，對其設置準入負面清單，暫時禁止其進入某些領域，待到技術成熟時再全面放開。同時，我國要加大生成式人工智能的研發，不能因此錯失生成式人工智能的發展機遇。從目前來看，生成式人工智能的代表ChatGPT在智能回答上已經表現出類人性特征，但因其算法、訓練數據及人工標注的原因，其不可能成為知識基礎設施，而只是對已有信息進行加工和合成。盡管將其應用在科研領域及教育等領域可能會產生很多難以控制的隱患，如影響認知塑造、科研誠信進而沖擊人類的知識根基。但如果將其應用在電商領域以及政務問答等有相對固定模板的領域，則能起到提高生產力的功效，因此應對其應用領域進行限制。

第二，積極利用好算法備案審查制度抓手，通過細化和完善備案審查制度來督促生成式人工智能企業優化算法模型并對明顯虛假的信息進行過濾。算法備案是國家機關實施算法治理、推進數字治理現代化的重要抓手。[23]實現虛假信息治理首先要修改算法備案的適用范圍，目前算法備案僅對具有輿論屬性與社會動員能力的算法適用，目前新出臺的《生成式人工智能服務管理暫行辦法》也沒有規定其他類型的生成式人工智能算法需要備案。因此，首先，將高風險的生成式人工智能類算法納入其中，算法分級從算法可能引發的風險入手，將個人權益、公共利益與國家安全納入考慮范圍，可以劃分為高風險、中風險和低風險算法。參見陳兵，董思琰.分類分級治理算法的基本內涵及實踐進路[J].西安財經大學學報，2023，（6）：70-79.）不管算法是否具有輿論屬性與社會動員能力；其次，細化和擴充備案內容，將是否采取措施對虛假信息進行過濾或者反制以及其實際阻止效果作為審查內容；再次，強化算法備案后的審查力度，并將通過備案審查作為算法投入使用的前置條件，避免備案流于形式。[24]最后，將提交備案審查的材料如虛假信息控制報告、治理承諾書等，將其作為后續追責的依據，如果已經備案的算法模型在后續使用中出現的風險影響范圍、反制措施效果與備案內容描述有明顯差距，應及時撤銷備案并啟動備案造假的追責程序，進而強化備案審查的效果。

第三，應積極推動監管機關和人工智能產業協會在充分協商基礎上制定可供執行的訓練數據質量管理規范，引導人工智能企業提高訓練數據的質量，將因訓練數據原因導致的虛假信息錯誤控制在合理范圍。在訓練數據庫的選擇上，應要求人工智能企業對該數據庫中可能隱含的虛假信息的比例和對模型訓練的影響進行整體性評估，如果該數據庫虛假信息數據占比過高且會導致虛假信息輸出風險極高，就應要求將其排除在訓練數據之外。在選定可用于訓練的數據庫之外，應要求企業采取人工或者技術手段對數據庫的虛假信息盡最大可能進行清洗，究竟應達到何種法律強制標準應由監管機關和產業協會進行協商，以保證標準的可行性。監管機關在制定法律強制性之前應該積極與產業協會開展聽證會，聽取專家學者、產業公司代表的意見。此外，產業協會應積極制定行業標準，在行業標準的基礎上建立強制性國家標準，并以國務院部門規章的形式發布。

（三）增強虛假信息的協同治理

生成式人工智能場景下虛假信息生產的影響會傳導到整個虛假信息治理鏈條，因此需要增強不同治理主體之間的協同性來強化治理效能。

第一，應設置監管機關“義務型”責任清單，注重監管機關的力量整合，強化監管機關的協同性，使監管力量得到充分釋放，從而營造虛假信息治理的良好外部環境。監管者負有營造遏制虛假信息生態環境的重要責任，必須要通過壓實責任和強化協同來營造遏制虛假信息的良好外部環境。首先，應制定監管“義務型”責任清單，倒逼監管機關履行職責。責任的最初內涵是做好分內之事，[25]因此可通過責任清單來明確監管機關的職責。同時責任清單要根據實際情況來進行科學制定，避免難以落地。責任清單應該主要包括生成式類算法機制機理風險性評估、虛假信息檢測定期報告、虛假信息處理結果公告等。責任清單應貫徹到監管內容從產生、傳播、影響及處理等整個環節。其次，應由對互聯網虛假信息治理負有主體責任的網信部門牽頭有關監管部門來搭建虛假信息治理協同平臺、制定協調行動細則和銜接程序，最好借助已有的電子政務平臺來提高協作效率。

第二，應積極應用行業規約、平臺管理規約、用戶服務協議等軟法工具來實現治理義務的細化，使得人工智能企業、社交媒體平臺、網絡用戶有更加可具操作性的行動指南。首先，可應用行業規約工具來將抽象的法律義務細化，將法律義務轉化為對人工智能企業、社交平臺企業內控制度、治理措施、治理標準等方面的具體要求，為企業在實際運營過程中落實責任提供指引。其次，社交媒體平臺應在其平臺管理規約落實治理虛假信息的義務，詳細規定平臺對虛假信息的定義、虛假信息的舉報、投訴及處理機制、分級管理措施、違規行為的平臺懲戒（如凍結、注銷賬號等措施）等，將平臺的法律義務轉化為具體的治理行動。最后，應發揮用戶協議對用戶的自律約束，將不得利用生成式人工智能生成虛假信息、不得發布和傳播未經查證的人工智能生成信息納入用戶協議規定，并規定違反有關規定可能產生的平臺懲戒以及法律責任。為確保用戶了解有關協議，可采用各種舉措，如醒目提示、協議內容考試等手段方法進行提醒。

第三，應建立由監管機關、人工智能產業協會、網絡平臺行業協會、重點企業代表、有關專家和其他人士組成的虛假信息治理協調機制。虛假信息治理的協同性除了要細化各自職責外，還需要彼此之間信息互通、工作協調、資源共享和良性互動。通過設置協調機制可以及時了解各個主體在虛假信息治理方面的進展、遇到的實際困難以及需要何種配合，進而形成治理主體之間對虛假信息治理的合力，提高對生成式人工智能虛假信息的治理效能。例如，對于虛假信息的重要措施之一就是對人工智能生成信息進行標注，而為了不影響用戶使用，人工智能企業添加的標識可能需要利用技術才能加以識別，對此社交平臺企業可通過和人工智能企業合作來獲取標識的技術原理，以提高對生成消息的識別效率。

四、結語

生成式人工智能改變了傳統的信息生產機制而有廣闊的應用場景，但其生成虛假信息速度快、逼真度高、無中生有的特征，使得虛假信息風險樣態發生了改變，不僅放大了傳統的風險隱患，還使得信息信任風險成為虛假信息的重要風險類型，也使得社交媒體平臺虛假信息治理防線有被全面突破的風險。盡管如同ChatGPT那般強大的生成式人工智能在我國還沒有得到普遍應用，但其引發的虛假信息風險已經顯現，而且隨著生成式人工智能技術的快速發展將很快成為我國必須面對之問題。對此，既有虛假信息治理體系面臨虛假信息數量類型、數量的擴張、信息生成環節治理壓力增加、治理主體協同性不強等挑戰，因此本文從虛假信息分級治理、源頭治理、協同治理方面為應對上述挑戰提供了治理對策。但本文提供的對策能否在實踐中發揮預期效果還有待在治理實踐中根據具體情況進行細化和進一步修正，比如企業如何通過內控制度來具體落實分級治理的要求還需要細化研究。除此之外，治理體系方面的改進只是虛假信息治理效能提升的重要部分而不是全部，因此，虛假信息的治理還需要推進相關反制技術研究的提升。

參考文獻：

[1] Paul， Justin， Akiko Ueno， et al. ChatGPT and consumers：benefits， pitfalls and future research agenda[J].International Journal of Consumer Studies，2023，47（4）：1213-1225.

[2] Mich， L.， Garigliano， R. ChatGPT for e-Tourism： a technological perspective[J]. Inf Technol Tourism， 2023， （25）：1-12.

[3] Farrokhnia， Mohammadreza. A SWOT analysis of ChatGPT：implications for educational practice and research[J].Innovations in Education and Teaching International，2023，（5）： 1-15.

[4] 馮雨奐.ChatGPT在教育領域的應用價值、潛在倫理風險與治理路徑[J].思想理論教育，2023，（4）：26-32.

[5] 游俊哲.ChatGPT類生成式人工智能在科研場景中的應用風險與控制措施[J].情報理論與實踐，2023，46（6）：24-32.

[6] 劉霞.生成式AI或致虛假信息野蠻生長[N].科技日報，2023-06-13（04）.

[7] Marsden C，Meyer T，Brown I. Platform values and democratic elections ：how can the law regulate digital disinformation？[J]. Computer Law & Security Review，2020，36：105373 .

[8] 舒洪水，彭鵬.ChatGPT場景下虛假信息的法律風險與對策[J].新疆師范大學學報（哲學社會科學版），2023，44（5）：124-129.

[9] 罕山.ChatGPT寫假新聞，謠言該如何止于“智”者？[EB].https：//k.sina.com.cn/article_5328858693_13d9fee4502001mky0.html， 2023-02-18/2023-04-25.

[10] 任文科.ChatGPT有可能攪亂美國大選[EB].https：//mp.weixin.qq.com/s/4A8ajTIsmuCw6fKmEsr8Ug，2023-04-24/2023-04-26.

[11] 李志偉.美國實施“隱秘影響行動”炮制虛假信息[N].人民日報，2023-01-17（17）.

[12] 吉磊，李大琨.ChatGPT技術潛在的政治安全風險[N].中國社會科學報，2023-03-29（08）.

[13] 胡耕碩.被AI造謠找誰算賬？澳洲一市長擬起訴ChatGPT誹謗[EB].https：//m.mp.oeeee.com/a/BAAFRD00002023041478 4192.html，2023-04-14/2023-04-24.

[14] 騰訊網.又涉嫌造謠！ChatGPT編造法學教授性騷擾[EB].https：//new.qq.com/rain/a/20230408A007TI00.html，2023-04-08/2023-04-25.

[15]? Cotton， Debby R E， Peter A. Cotton， & J. Reuben Shipway. Chatting and cheating：ensuring academic integrity in the era of ChatGPT[J].Innovations in Education and Teaching International，2023： 1-12.

[16] 陳小燕，任書麗.社交媒體虛假信息的治理：基于平臺社會的視角[J].新聞傳播，2022，（20）：15-17.

[17] 畢文軒.生成式人工智能的風險規制困境及其化解：以ChatGPT的規制為視角[J].比較法研究，2023，（3）：155-172.

[18] 王玎.論數據處理者的數據安全保護義務[J].當代法學，2023，37（2）：40-49.

[19] 童云峰.證立與提倡：讀者個人信息的民法分類分級保護[J].現代情報，2021，41（12）：97-106.

[20] 唐要家，唐春暉.網絡信息內容治理的平臺責任配置研究[J].財經問題研究，2023，（6）：59-72.

[21] 莫祖英，盤大清，劉歡，等.信息質量視角下AIGC虛假信息問題及根源分析[J].圖書情報知識，2023，40（4）：32-40.

[22] 李川，楊勝剛.法益重塑與模式更新：場景化視域下個人信息刑法保護的動態轉向[J].廣西大學學報（哲學社會科學版），2023，（6）：105-117.

[23] 張吉豫.論算法備案制度[J].東方法學，2023，（2）：86-98.

[24] 劉艷紅.生成式人工智能的三大安全風險及法律規制——以ChatGPT為例[J].東方法學，2023，（4）：29-43.

[25] 劉啟川.“依清單行政”之辨正[J].法學，2022，（12）：52-64.

A Perspective on the Particularity of False Information Risks and Solutions under the Scenario of Generative Artificial Intelligence

Liu Chaomin

（Law School， Ocean University of China， Qingdao 266100， China）

Abstract： Generative artificial intelligence has changed the traditional information production mechanism and has a wide range of applications. However， its characteristics such as fast generation of false information， high fidelity and sheer fabrication of false information not only increase the traditional hidden dangers of false information， but also make information trust risk? an important risk type of false information. It also puts the defensive line of social media platforms false information governance at risk of being completely broken through. Therefore， based on the challenge of generative artificial intelligence to the false information governance system， we should promote the hierarchical governance of false information from the aspects of normative basis， classification and deployment of false information. We should strengthen the control of false information source from the aspects of application access， algorithm governance and training data quality management. We should enhance the collaborative governance of false information from the aspects of regulatory coordination， obligation specification and public-private collaboration.

Key words： generative artificial intelligence; false information; classification; source governance; collaborative governance

責任編輯：高 雪

收稿日期：2023-04-19

作者簡介：劉超民（1993- ），男，河北樂亭人，中國海洋大學法學院博士研究生，專業方向為網絡空間法。

①2022年ll月11日，《互聯網信息服務深度合成管理規定》由國家網信辦、工信部、公安部聯合發布，白2023年1月10日起施行。

②關于發布《網絡安全標準實踐指南——網絡數據安全風險評估實施指引》的通知，https：/／www．tc260．org．cniupload/2021-12-31/1640948142376022576. pdf.

③危險虛假信息，是指關系國家安全、國民經濟命脈、重要民生、重大公共利益等的虛假信息。這里只有涉及國家安全和公共利益的虛假信息才能被歸屬為危險虛假信息這種最高級別。而且涉及國家安全的虛假信息構成一般危害或者嚴重危害，才能歸屬于危險虛假信息，而涉及公共利益的虛假信息只有構成嚴重危害才能歸屬于危險虛假信息。這里是為了突出強淵國家安全的重要性。

④國家安全一般危害的參考：①對政治、國土、軍事、經濟、文化、社會、科技、網絡、生態、資源、核安全等構成威脅，影響海外利益、生物、太空、極地、深海、人T智能等重點領域安全；②對本地區、本部門以及相關行業、領域生產、運行和經濟利益等造成影響；③引發的級聯效應明顯，影響范圍涉及多個行業、區域或者行業內多個企業，或者影響持續時間長，對行業發展、技術進步和產業生態等造成嚴重影響。

⑤國家安全嚴重危害參考：①對政治、國土、軍事、經濟、文化、社會、科技、網絡、生態、資源、核安全等構成嚴重威脅，嚴重影響海外利益、生物、太空、極地、深海、人T智能等重點領域安全；②對本地區、本部門以及相關行業、領域的重要骨干企業、關鍵信息基礎設施、重要資源等造成嚴重影響；③導致對本地區、本部門以及相關行業、領域大范圍停工停產、大面積網絡與服務癱瘓、大量業務處理能力喪失。

⑥公共利益嚴重危害參考：波及一個或多個省市的大部分地區，引起社會動蕩，對經濟建設有極其惡劣的負面影響。

⑦重大虛假信息，是指可能危害國家安全、公共利益的虛假信息。重大虛假信息一般不涉及個人合法權益信息和企業（組織）合法權益，但達到一定規模的有關個人的虛假信息或者基于海量個人信息加工衍生形成的虛假信息，如其非法利用可能危害國家安全、公共利益，也應歸屬于重大虛假信息。如果虛假信息對國家安全的影響是輕微的，就歸屬于重大虛假信息，而對公共利益產生一般危害或者輕微危害影響，也歸屬于重大虛假信息。

⑧國家安全輕微危害參考：①對本地區、本部門以及相關行業、領域生產、運行和經濟利益等造成輕微影響；②影響持續時間短，對行業發展、技術進步和產業生態等造成一般影響。

⑨公共利益一般危害參考：波及一個或多個地市的大部分地區引起社會恐慌，對經濟建設有重大的負面影響。

⑩公共利益輕微危害參考：波及一個地市或地市以下的部分地區，擾亂社會秩序，對經濟建設有一定的負面影響。

⑩一般虛假信息，指的是可能對個人、組織合法權益造成危害，但不會危害國家安全、公共利益的虛假信息。

（12）國家安全無危害參考：對國家安全不造成影響。

⑩公共利益無危害參考：對公共利益不造成影響。

（14）個人合法權益無危害參考：對個人信息合法權益不造成影響，或僅造成微弱影響但可忽略不計。

（15）個人合法權益輕微危害參考：個人信息主體可能會遭受閑擾，但尚可以克服。如付出額外成本、無法使用應提供的服務、造成誤解、產生害怕和緊張的情緒、導致較小的生理疾病等。

（16）個人合法權益一般危害參考：個人信息主體可能遭受較大影響，個人信息主體克服難度高，消除影響代價較大。如遭受詐騙、資金被盜用、被銀行列入黑名單、信用評分受損、名譽受損、造成歧視、被解雇、被法院傳喚、健康狀況惡化等。

（17）個人合法權益嚴重危害參考：個人信息主體可能會遭受重大的、不可消除的、可能無法克服的影響，容易導致白然人的人格尊嚴受到侵害或者人身、財產安全受到危害。如遭受無法承擔的債務、失去T作能力、導致長期的心理或生理疾病、導致死亡等。

⑩組織合法權益無危害參考：對組織合法權益不造成影響，或僅造成微弱影響但不會影響國家安全、公共利益、市場秩序或各項業務的正常開展。

⑩組織合法權益輕微危害參考：可能導致個別訴訟事件，或在某一時間造成部分業務中斷，使組織的經濟利益、聲譽、技術等輕微受損。

（20）組織合法權益一般危害參考：可能導致組織遭到監管部門處罰（包括一段時間內暫停經營資格或業務等），或者影響部分業務無法正常開展的情況，造成較大經濟或技術損失，破壞機構聲譽。

（21）組織合法權益嚴重危害參考：可能導致組織遭到監管部門嚴重處罰（包括取消經營資格、長期暫停相關業務等），或者影響重要／關鍵業務無法正常開展的情況，造成重大經濟或技術損失，嚴重破壞機構聲譽，企業面臨破產。

（22）意大利宣布禁用ChatGPT．限制（）penAI處理本國用戶信息，https：//www．thepaper．cn／newsDetail- forward一22539065。