生成式人工智能虛假有害信息的風險挑戰與包容審慎規制

中圖分類號：D924 文獻標識碼：A 文章編號：1007-8207（2025）07-0075-15

一、引言

自2022年底Open AI推出生成式人工智能ChatGPT以來，因其能利用復雜算法和深度學習模型輔之大數據集中學習，具備強大的文本處理能力和流暢應對能力而驚艷世界，短短兩個月用戶即破億。而Sora和Demo等模型的問世，更是將生成式人工智能推向了前所未有的關注高度，它們表明生成式人工智能相關模型獲得了可媲美人類的判斷推理和行動能力。就技術而言，生成式人工智能遵循著“準備-運算-生成\"的運行邏輯，借助日益強大的算法和成熟的前置訓練數據，最終產生了與原始數據類似但又新穎獨特的文本、圖像、音頻和視頻等信息，簡而言之即模型根據指令生成某種內容。可見，創造性與自主性是生成式人工智能的重要特征。

然而，在技術狂歡背后卻暗藏著風險，由于訓練數據可能存在的漏洞以及算法固有黑箱等，生成式人工智能輸出的新內容可靠性低，極易產生虛假有害信息。此外，技術獲取的便利性也大大降低了虛假有害信息生成成本，其可借助新型媒介廣為傳播。加之，技術進步導致犯罪門檻降低和監管缺失，進一步加劇虛假有害信息的泛濫，極易滋生惡劣影響。英國學者辛頓曾警告稱：“生成式人工智能正制造大量虛假的文本、圖片和影像如不有效規則，人類將失去對AI的控制。”雖然因技術進步而引致的虛假有害信息已然出現，但相較于之前技術，生成式人工智能技術具有高度自主性以及交叉性，其不僅可“主動\"憑空捏造或“被動\"訓練出虛假有害信息，而且虛假有害信息高度逼真以致難以跟蹤治理。若此風險被人為有目的地利用，以制造網絡熱點、挑動公眾情緒或歪曲歷史事實，將危害國家安全、侵犯公民利益。22023年8月，工信部、公安部等部門聯合發布《生成式人工智能服務管理暫行辦法》（以下簡稱《暫行辦法》)。2023年10月，全球信息安全標準化技術委員會發布《生成式人工智能服務安全基本要求》。這些辦法或行業標準都強調利用生成式人工智能生成的內容應當真實準確，并應采取措施防止生成和傳播虛假有害信息。然而，囿于生成式人工智能處于起步階段，且牽及對信息的治理和運用信息的治理，以及未結合生成式人工智能虛假有害信息特殊性，導致當前規制手段較為零散與粗疏。再者，《暫行辦法》規范范圍有限與效力位階較低，尚不能滿足應對生成式人工智能虛假有害信息的復雜性與挑戰性之需。基于此，筆者嘗試從數據信息與綜合規制的互構性角度，從整體性與合作性視角探討，構建生成式人工智能虛假有害信息的包容審慎規制框架。

二、生成式人工智能引發的虛假有害信息風險

虛假有害信息古已有之，并廣泛運用于軍事、政治、情報等領域，但其存在又與技術條件密不可分。隨著深度學習等技術的迭代更新，生成式人工智能取得突破性發展，其功能越強大，制造虛假有害信息也愈發容易且復雜。加之信息的開放性、自主性、流動性等特性，為虛假有害信

息泛濫創造了條件，也極大增加了治理難度。

(一)虛假有害信息的框定

信息和知識是數字經濟時代的關鍵要素，虛假且有害的信息將對數字經濟造成重大挑戰。“虛假有害信息\"是一個復合的概念，在某種程度上，有害信息的危害性要比虛假信息大得多。3]“虛假有害信息\"這一概念在《暫行辦法》中被應用于第四條第一款“堅持社會主義核心價值觀，不得生成煽動顛覆國家政權、推翻社會主義制度，危害國家安全和利益、損害國家形象，煽動分裂國家、破壞國家統一和社會穩定，宣揚恐怖主義、極端主義，宣揚民族仇恨、民族歧視，暴力、淫穢色情，以及虛假有害信息等法律、行政法規禁止的內容”，但何為“虛假有害信息\"未詳細界定。虛假信息原用于軍事或情報部門，以此迷惑對手，后被理解為讓信息接收者相信是真實的信息而特意傳遞的錯誤信息，具有內容虛假、目的迷惑等特性。4]而有害信息原指計算機系統存在的程序、圖像等有害數據，后被界定為內容在倫理道德、價值觀導向、真實性或合法性等方面存在嚴重錯誤，對國家、社會以及法人等合法權益造成潛在危害的信息，具有傳播隱蔽性、時空即時性以及受眾廣泛性等特點。5因此，從文義上來看，虛假有害信息是指虛假的、故意制造的，旨在欺騙、誤導或損害個人、社會團體、組織或國家的錯誤信息。這些信息可能包括憑空捏造的內容、謠言、陰謀論等，其目的通常是為了獲取不當利益、破壞社會秩序或滿足某種政治或意識形態需要。從內在關系來看，“虛假信息\"和“有害信息\"是密切相關的，二者之間存在著緊密的關系。其中，虛假信息側重指不真實或不準確的信息，它可能是故意捏造的、誤導性的或錯誤的，如謠言、誤傳、虛構的內容等，這些信息的主要特點是與事實不符或存在誤導性，可能誤導受眾的認知和行為。有害信息則強調對個人、社會、組織或國家造成傷害或不良影響的信息，如侮辱、誹謗、仇恨言論、暴力內容等，其主要特點是具有傷害性或負面影響。虛假信息通常是有害信息的一種形式或表現方式，當信息不真實或被故意捏造時，它可能會對個人、社會或公共利益造成損害，因此被視為有害信息。虛假信息的傳播可能導致公眾受騙、社會不穩定以及損害人們的信任和社會凝聚力。同時，有害信息通常也包含虛假信息。因此，在\"虛假有害信息\"的概念中，二者是相互交織的，共同構成了對信息真實性和社會公共利益的威脅。

(二)生成式人工智能虛假有害信息的特征

1.自動生成性——突破現有治理防線。生成式人工智能模型能利用深度學習的復雜計算過程，通過對海量數據進行分析，并結合神經網絡等機器學習方法，使其具有與人類大腦相似的處理與解讀能力。隨著時間的推移，生成式人工智能模型生成的內容越多，且這些內容并非人類作者創造，而是短時間內模型自動生成，其可能因信息輸出或生成的高度擬人化而更具說服力。例如，通過用戶連續不斷輸入指令，要求生成式人工智能生成需要的內容，深度學習模型也在不停地更新它們從海量的訓練數據中學習出來的知識。因此，生成式模型能按照人類設置的參數進行自動化工作，并不斷更新知識體系以創建源源不斷的新內容。然而，這些自動生成內容是模仿訓練數據而來，而不是模型自身的理解，這就難以避免出現“一本正經地胡說八道”6]，為虛假有害信息之產生埋下了伏筆，如自動生成的謠言、深度偽造的信息。這些信息在抖音等平臺廣泛傳播，打破了傳統信息發布方式，人人為媒介使得虛假有害信息從四面八方涌入各種平臺。這種兼具高效率與欺騙性的虛假有害信息，增加了平臺識別困難，也突破了現有平臺治理體系，大大提高了虛假有害信息的治理難度。

2.高度似真性——增加信息信任風險。“生成式\"和“人工智能\"相結合，使生成式人工智能技術\"遠比普通人更具有知識對話與內容生產能力\"7]，如生成式人工智能能以類似聊天的方式快速提供合乎邏輯的答案，其便捷高效與智能性使其成為人們獲取知識的重要途徑之一。但是，生成式人工智能卻存在著高度似真性的弊端，這也在一定程度上導致虛假有害信息的大量生成。比如生成式人工智能系統通過自主學習能在文字、視頻、音頻等方面生成使人真假難辨且符合人類認知的虛假新聞、誤導性評論、欺詐性廣告以及其他虛假有害信息。有些不法分子只需一張靜態照片，便可自動生成一幅足以以假亂真的名畫，如曾榮獲2023年度索尼世界攝影大賽創意類大獎作品《虛假記憶：電工》便為人工智能自動生成。8]生成式人工智能系統甚至可以自動生成某些國家領導者視頻，誤導用戶、影響公眾輿論，甚至引發社會恐慌和混亂，增加了信息信任風險。據美國全國消費法律中心在2022年發布的一項報告顯示，在2020年6月至2021年間，通過人工智能克隆聲音的欺詐機器人每個月向美國境內撥打了超過10億個詐騙電話，造成了近300億美元損失。[9]同時，這種欺詐行為的語言腳本大多數由諸如ChatGPT這樣的文字產生器產生的，造成對信息的信任風險。

3.快速傳播性——放大信息風險隱患。生成式人工智能的自動化特性可以大規模生成內容，且無需人工干預，從而加速虛假有害信息的擴散速度和范圍。其一，生成式人工智能技術可以極快的速度創建大量虛假有害內容，包括圖像、視頻、音頻和文本，這些內容可以模仿真實情境，降低造謠成本和增加謠言“真實性”，猶如披著華麗的外衣而誤導受眾，并操縱其觀點。同時，社交媒體和在線平臺作為信息傳播的主要渠道，使生成的虛假信息迅速廣泛傳播，加速其影響力。有研究發現在國外網絡平臺上有 16.5% 涉華議題由社交機器人操縱，而這些議題往往是虛假有害信息，對我國國際形象造成重大影響。10]其二，生成式人工智能虛假有害信息可針對特定受眾進行定制，利用個人數據和算法來精準定位目標人群，增加其傳播效果。例如，英國反對派領導人凱爾·斯塔默于2023年遭到一段由生成式人工智能制造的虛假音瀕攻擊，其中有他辱罵員工的錄音，短短數天內，這段錄像在X(前身為Twitter)上的點擊率高達150000次。[]

(三)生成式人工智能虛假有害信息的類型

1.違背事實編撰的虛假有害信息。生成式人工智能模型雖然進步迅速，但其所依據的技術內核仍存在一定局限性。生成式人工智能并非依據事實自動生成內容，而是需要借助海量的訓練數據集，這也被視為該技術的“養料”。由于技術的更新速度加快，一個模型所需要的訓練數據集也隨之飆升，為彌補這些數據缺口，就可能使用沒有篩選的虛假有害數據以次充好。在訓練中模型就有可能學習并生成類似的內容，其生成的內容便會扭曲信息真實性以及增加誤導性，進而成為虛假有害信息。例如，假設一個生成式人工智能模型被訓練用于自動生成新聞文章，如果該模型所用的訓練數據集包含大量來自不可靠來源的虛假新聞、誤導性信息或扭曲事實的內容，模型就可能學習到這些錯誤信息的模式和特征。隨后，當用戶向該模型提供輸入或請求生成新聞時，模型可能會基于其訓練數據中的模式，產生類似的虛假內容。生成式人工智能有時候會自動地產生錯誤、虛構或帶有誤導性的內容，這甚至已經成為眾所周知的事實，連ChatGPT自已都有所承認。[12]

2.深度偽造的虛假有害信息。區別于上述違背事實編撰虛假信息，生成式人工智能也可以被用于制作所謂的深度偽造圖像或視頻，這是一種技術自身積極生成式風險。深度偽造是指利用人工智能技術，將人物圖像、聲音和視頻等信息融合在一起，讓它們的內容變得更真實。這些信息從表面上看起來非常似真，無論人亦或是機器，都極難發覺它們是被偽造的圖像或視頻。例如，人們能夠利用生成式人工智能創造虛假圖片或者視頻，然后利用這些圖片來博眼球。在荷蘭YouTube頻道\"DiepNep\"上，已故影星Morgan Freeman出現在了一段經過深度偽造的視頻中，隨著該視頻在社會網絡上曝光，有關其真實性的爭論也隨之爆發。13]

3.人為操縱的虛假有害信息。人為操縱是指某些別有用心之人，出于非法目的，利用生成式人工智能技術，編造的虛假有害信息，如以假亂真、無中生有、藏匿摻雜等。不法分子還能利用這項技術創造出更真實、更復雜的網絡釣魚騙局來進行詐騙。借助像ChatGPT這樣的生成式人工智能工具，能夠在線索很少的情況下，編輯出符合特定文化背景的、敘事邏輯完整的假文本，從而使犯罪分子能夠在情感、投資等多個場景中實施詐騙行為。如果將被泄露的個人信息與為其量身定制的音頻、視頻、圖像相結合起來，就能實現有針對性的網絡詐騙。據香港文匯報報道，2024年2月4日某跨國公司香港分公司被詐騙集團利用人工智能“深度偽造\"技術，騙取兩億港幣，成為香港有史以來損失最大“換臉\"案。14]

三、生成式人工智能產生虛假有害信息的成因

(一)內在原因

1.訓練數據隱藏虛假有害信息。高質量的訓練數據是生成式人工智能模型的核心，獲取適當的訓練數據對于開發實用的生成式人工智能模型至關重要。生成式人工智能的訓練數據主要通過多種渠道產生，包括公共數據集、專有數據、眾包數據和合成數據。公共數據集通常由學術機構或開源社區發布，如Wikipedia、Common Crawl等，為模型提供大量基礎訓練素材。專有數據則是企業或研究機構根據特定需求收集的高質量數據，能夠提升模型的針對性和性能。眾包數據平臺通過吸引大量用戶參與數據標注和收集工作，如圖像標記和語音識別數據。GPT-4是建立在高達570GB數據訓練的GPT-3基礎上的，并加入了大量人類標注。15]此外，生成式人工智能模型還可以利用已有模型生成合成數據，擴充訓練集以應對罕見或極端情況。這些多樣化的數據來源共同構建了生成式人工智能模型的強大訓練基礎，使其能夠在生成文本、圖像、音頻等方面表現出色。但如果訓練數據存在偏差或不平衡，以及含有虛假有害的信息，將可能導致生成結果存在歧視或偏見，模型甚至無意間傳播這些錯誤和有害的內容。16]Open AI雖然宣布在訓練數據上進行了內容過濾，并對人工智能系統提出了“禁止編造不實內容，禁止生成含有有害、歧視或偏見的內容\"的要求，但仍然不能從根本上解決數據質量存在的一系列問題。[17]

2.算法黑箱懸而未決。算法是生成式人工智能通過學習大量現有數據的模式和特征來運作，繼而生成新的內容的基本架構，也是人工智能的靈魂所在。然而，當前生成式人工智能仍存在著一些算法技術缺陷，這是導致生成式人工智能虛假有害信息生成的關鍵技術因素。首先，算法設計不當可能導致模型在生成內容時存在偏差，從而產生虛假有害信息。在學界存在著算法是否中立的討論，主張算法中立的觀點認為，算法只是人類眾多技術中的一類，其本身不具有價值取向。而持相反意見的學者認為，算法雖是技術，但并非價值中立，因為其是被人創造，技術開發者容易將自我價值融入算法開發中，自然算法就不能保持中立。從此角度來看，一旦在設計時被植入了消極價值觀，算法就存在著漏洞，機器可能因假設誤導而作出錯誤的道德決策。18其次，算法的技術限制也可能導致生成的內容出現錯誤或虛假有害信息。即使是最普通的算法，也是由多個隱藏的人工神經元層組成，涉及數以百萬計權重，再借助超高算力將海量數據的輸入和輸出聯系起來，背后卻暗藏著層層疊加的神經元層。19]由于算法無法理解語境或判斷信息的真實性，可能會生成與事實不符的內容，進而誤導用戶或造成不良影響。[20]最后，算法可能受到模型的限制，無法有效過濾或糾正錯誤。例如，一些生成式人工智能可能過度擬合訓練數據，導致在新情境下產生不準確或有害信息的輸出。[21]

3.技術應用的平民化和低成本。由于生成式人工智能建立在基于人類反饋的強化學習模式之上，其輸出必須依賴輸入數據的循環反饋，而這使用人類語言的形式極大降低了用戶訓練模型的技術門檻和成本。22目前來看，絕大部分生成式人工智能技術工具通常可在網上免費或以較低的成本獲取，使大量用戶可以訪問和使用它們，進而生成逼真的虛假圖像、視頻和文本。例如，Mid Jourmey允許用戶通過輸入簡單的文本描述來生成似真的圖像。該工具不僅功能強大，而且只需支付較低的訂閱費用即可使用，這樣的低成本和易獲取性使任何人都可以輕松使用這類工具來生成似真的虛假圖像。

(二)外在原因

1.現有政府監管舉措滯后。一方面，監管舉措的滯后或闕如。生成式人工智能工具在生成內容時并不需要經過嚴格的審核和驗證，這就導致了虛假有害信息的迅速傳播。這種情況下，虛假有害信息可以不受限制地被生成和傳播，尤其是在社交媒體和其他網絡平臺上，其傳播速度極快，影響范圍廣泛，甚至可能在短時間內達到成千上萬的點擊和瀏覽量，從而對公眾的認知和輿論產生巨大影響。此外，檢測和識別這些虛假有害信息的技術手段也相對滯后，進一步加劇了信息的真實性和安全性的危機。另一方面，現有的法律框架對人工智能生成內容的監管處于初步階段，缺乏具體有效的法律條文約束和規范這類行為。全球范圍內尚未形成統一的標準，各國在立法進程和監管力度上存在顯著差異。這種局面導致了生成式人工智能生成內容的監管存在真空，可能引發虛假有害信息等問題。此外，當前我國現有法律中對虛假和有害信息的界定較為模糊，如我國現行刑法法律文本中對虛假有害信息尚未有明確界定，而是用“謠言\"“虛假信息\"“不良信息\"等多種表述，但對生成式人工智能產生的深度偽造信息、虛擬圖像和聲音等，尚未涵蓋其中。同時，生成式人工智能虛假有害信息范圍更為寬泛，尤其是對信息生成主體的歸責以現有法律標準難以實現。

2.技術市場化為虛假有害信息生成提供“便利”。生成式人工智能技術的進步，特別是在自然語言處理和圖像生成方面，使其應用變得更加簡單和普及。這樣的進步意味著技術門檻降低，不再需要專業的技術背景或昂貴的設備，任何人都可以輕松使用這些工具。這一便利性也為不法分子提供了新的手段，他們可以利用生成式人工智能技術制作高度似真的偽造內容，例如深度偽造視頻和圖片，使虛假信息看起來真實可信，從而迷惑公眾。不法分子利用生成式人工智能生成虛假有害信息進行詐騙的原因在于這種技術提供了前所未有的便捷性和高效性，使詐騙手段更加隱蔽和難以識別。例如，通過人工智能換臉技術和擬聲技術，不法分子可以冒充他人進行視頻通話或語音聊天，增加詐騙的成功率。此外，由于生成式人工智能能夠快速生成大量含有虛假有害信息的內容，不法分子可以在短時間內進行大規模的詐騙活動，在一定程度上也增加了被害者人數和被詐騙金額。[23]

四、生成式人工智能虛假有害信息風險的包容審慎規制

(一)包容審慎規制的適用性

作為區別于傳統新型規制手段，包容審慎規制適應了顛覆性技術快速發展的需要。2020年，中共中央、國務院在《關于新時代加快完善社會主義市場經濟體制的意見》中提出“健全對新業態的包容審慎監管制度”隨后，這一概念迅速發展為具有中國特色的本土化政策用語，用以防止過度包容或者泛濫采取運動式治理手段這兩種極端形態，是對業態風險與監管實效的及時回應。24]在應對生成式人工智能虛假有害信息方面，包容審慎規制具有以下適用性：其一，包容審慎規制更多強調柔性，以包容之心給予必要的發展時間與試錯空間，并依據公共風險的大小適時適度干預。[25]如設置“包容期\"“觀察期\"等，《吉林省優化營商環境條例實施細則》第三十一條規定：“對新技術、新產業、新業態、新模式的‘四新經濟'實體，只要不碰觸安全環境底線，科學設置觀察期、給予過渡期、實行保護期，通過包容審慎監管執法方式，引導規范和督促其依法經營。\"《廣東省人民政府辦公廳關于推進包容審慎監管的意見》（粵府辦[2022]7號)規定：“對符合國家和省政策導向、有發展前景的新業態新模式企業，可給予合理的執法‘觀察期’。觀察期'內優先采取教育提醒、勸導示范、警示告誡、行政提示、行政指導、行政約談等柔性執法方式，完善執法‘觀察期'制度指引，謹慎使用行政處罰等嚴厲執法措施。\"設置\"包容期\"\"觀察期\"旨在解決技術進步與監管執法步調不一致難題，這一點區別于傳統行政規制。生成式人工智能的發展速度使虛假有害信息越來越似真，難以被普通用戶、甚至是專業人員及時識別，這遠超行政規制手段的更新速度。如深度學習和神經網絡正以指數級速度發展，加之核心算法框架的不斷改進，使生成式人工智能自動生成內容愈發真假難辨。從某種程度上來說，這種技術進步大大縮短了從概念到實際應用的時間。然而，為了適應市場的需求，越來越多新種類的生成式人工智能工具迅速涌現，而法律和監管卻難以及時跟上這一發展步伐。如命令控制型手段存在路徑依賴，往往因繁瑣的程序而陷入規則滯后或僵化，容易忽視技術變化的實效性，難以應對快速發展的技術，且生成式人工智能的運用作為市場行為，倘若對其介入過多的公權力，則可能干擾其正常發展，從而導致規制效果失衡。26]另外，生成式人工智能的“黑箱\"特性，即其決策過程的高度不透明性和復雜性，也使監管變得異常復雜。可見，包容審慎規制能有效克服傳統剛性規制弊端，適應新業態發展所需。

其二，包容審慎規制注重協同合作，強調行政機關與企業、行業協會以及法人等不同主體的互動，以構建網絡化的合作規制體系，規避因信息不對稱造成的規制難題。過往對網絡謠言、網絡虛假信息等治理，強調以政府、用戶以及媒體等主體為核心。但生成式人工智能作為當前最具顛覆性特征的技術，其復雜的生成原理表明單獨依靠某一主體規制虛假有害信息不再有效。一方面，生成式人工智能具有較高的專業技術知識密度，易造成巨大的信息不對稱，比如市場主體擁有其他主體不具備的信息資源優勢，政府主體則具備獨有的法理優勢，但二者均不具備單獨規制優勢，加之信息跨層流動造成規制失靈，亟需合作規制下的互動交流，合理利用不同主體的優勢，調動更多的人才資源及時調整治理結構，以回應虛假有害信息的不可控性、隱蔽性等特點。另一方面，虛假有害信息生成背后并非簡單的技術因素，而與市場主體的利益有關，尤其是利益密切者，在私利催使下往往以利益為主，而不顧及公共利益。在此情形下，政府規制與市場監管將出現雙失靈。27]另外，傳播風險眾多帶來責任劃分困境。生成式人工智能虛假有害信息的生成涉及開發者、服務提供者以及用戶等利益主體，對于開發者而言，其在創建和訓練技術時就處在責任鏈的起點，盡管開發者通常遵循技術中立原則，即技術本身不應為其用途負責，但這一立場在法律和道德上受到越來越多的質疑。在某些情況下，服務提供者可能需要對其平臺上發生的濫用行為承擔責任。例如，社交媒體平臺在處理虛假信息傳播時，往往需要根據法律要求采取行動，刪除虛假內容并限制有害用戶的活動。雖然《中華人民共和國民法典》第一千一百九十五條規定了“網絡服務提供者侵權補救措施與責任承擔”，但不能將內容生產者的責任完全歸于服務提供者。用戶作為最終使用生成式人工智能技術的使用者，可以出于各種動機使用生成式人工智能，例如制造謠言、傳播誤導性信息或進行惡意攻擊。盡管用戶對其行為應負主要責任，但其與平臺的復雜關系，容易將自身責任推給平臺，使得追蹤信息傳播與責任人變得復雜。可見，在規制生成式人工智能虛假有害信息時，必須從信息生成視角，構建以政府公權力為主導的多元主體合作互動的包容審慎規制框架。

其三，包容審慎規制適應情景化治理。回應性是包容審慎規制的重要維度，其強調量體裁衣式的規制舉措，規避了傳統遵從式行政執法弊端，使行政與法律二者在特定情形中合理運用。第一，生成式人工智能快速生成大量虛假有害內容，這些內容在外觀上高度似真，難以通過傳統手段進行識別和過濾。而現有法律體系主要針對傳統媒介和手動生成的虛假信息，在定義和鑒別這些虛假有害信息方面仍然存在漏洞，應對起來則捉襟見肘。但法律的制定和修訂過程通常相對緩慢，無法追上人工智能的迭代速度，這種時間差進一步加劇了法律規制的滯后性，導致在實際執行過程中難以全面覆蓋和有效約束。此時，可依據不同情境，在合理合法框架下增強行政監管執法的嚴苛性。第二，生成式人工智能虛假有害信息在不同階段有不同特點，并且其遵循的以基礎模型為前提，發展專業模型為方法，提供多場景服務應用為目的，而這無法用傳統單一場景的“技術支持者—服務提供者—內容生產者\"框架規制。28]這種框架以事后調查、分散推進為特征，無法應對虛假有害信息快速生成、多場景應用的形態。包容審慎規制則從訓練數據、算法模型以及服務應用等不同層面，關注關鍵場景與重點領域，適配不同的規制手段。第三，在跨國界協作和執法方面現行規則也面臨巨大挑戰。虛假有害信息的傳播往往不受國界限制，但各國法律體系和執法力度存在差異，使得跨國界的法律合作和信息共享變得復雜且低效。這就需要對虛假有害信息的治理加強國際合作，遵循包容審慎的原則。

(二)生成式人工智能虛假有害信息風險的包容審慎規制路徑

1.堅持包容審慎的立法邏輯。如果說2024年早春的文生視頻大模型Sora和文本超長大模型Gemini1.5Pro標志著現象學意義上的“天人合一\"奇點，那么特斯拉斯堡議員的壓倒性表決結果和北京科技產業界國際共識就共同標志著“人工智能治理的立法時刻”[29]健全完善我國關于生成式人工智能虛假有害信息方面的法律法規和建設國際統一法律標準，應遵循包容審慎原則。包容審慎原則的核心在于平衡創新發展與風險防控，其不僅有利于推動技術創新和產業發展，還能有效防控虛假有害信息對社會造成的負面影響。這一原則的落實，需要科學立法和國際社會的合作協調，如此才能在保障社會安全和秩序的前提下，最大限度地發揮生成式人工智能技術的積極作用。

在國內相關立法方面，包容審慎原則應滲入針對生成式人工智能虛假有害信息立法的全過程。生成式人工智能能夠在自然語言處理、計算機視覺、語音處理等多個領域產生突破性成果，其應用包括但不限于自動文本生成、圖像合成、虛擬助手和智能客服等，這些技術的進步不僅推動了相關產業的發展，還大大提升了生產效率和用戶體驗。但是，如果立法過于嚴格和僵化，可能會限制技術的創新和應用。過度的監管和苛刻的法律要求可能導致研發成本的上升，延緩技術迭代和市場推廣的速度，從而使企業和研究機構無法充分發揮其創新能力。因此，立法者應當在保障社會安全和公共利益的前提下，充分考慮生成式人工智能的創新潛力和應用前景，以一種包容審慎的態度對待這項技術，避免“一刀切\"的規定。同時，應當鼓勵多方參與，聽取來自企業、學術界和公眾的意見和建議，以確保立法既能規范技術應用，又能為創新提供足夠的空間和支持。

在國際社會的合作協調方面，推動包容審慎式合作。首先，可以通過建立一個新的國際組織來共同應對生成式人工智能虛假有害信息問題。聯合國秘書長安東尼奧·古特雷斯在2023年7月18日的安理會辯論會上支持建立國際合作機制來應對新時代下生成式人工智能帶來的一系列風險，尤其是關于虛假有害信息。30]研發功能強大的人工智能系統可以在一定程度上促進全人類的新跨越，但是在這個過程中產生的一系列法律問題面前，人類命運共同體應抱團努力，為生成式人工智能發展彌合數字鴻溝，世界各國的政府也應該攜手合作。31其次，在全球化和技術迅速發展的背景下，制定統一法律標準必須貫徹包容審慎原則，尊重各成員國的法律傳統和文化差異。不同國家由于歷史、文化、經濟、政治等方面的不同，形成了各自獨特的法律體系和社會規范，在制定全球或區域統一的法律標準時，若不加以考慮這些差異，可能導致某些國家的法律體系與國際標準發生沖突，因此，應充分聽取和尊重各(成員)國的意見和需求，采取協商一致的方式推進法律統一標準的制定與實施。再者，各國還可以在聯合國等多邊機制框架下，推動生成式人工智能虛假有害信息法律的協調統一，通過制定國際公約或協定，明確各國在技術創新和信息安全方面的基本義務和責任，建立起有效的國際合作機制，從而共同應對生成式人工智能帶來的挑戰和機遇，促進生成式人工智能技術的健康發展，也能為全球的科技創新和經濟增長注入新的動力。

2.強調統籌兼顧的過程規制。一是建立生成式人工智能技術上線的評估、備案前置程序。政府應設立專門的監管機構，負責制定詳細的技術標準和評估準則。這些標準應涵蓋算法透明度、數據來源合法性、安全性，以及潛在的社會影響等方面。我國《互聯網信息服務算法推薦管理規定》第二十七條、《互聯網信息服務深度合成管理規定》第二十條以及《暫行辦法》第十七條，都提出了“具有社會動員能力的技術服務必須進行安全評估\"的要求。因此，在技術上線前，可以要求所有生成式人工智能技術必須通過獨立的第三方進行安全評估和認證。具體而言，政府需明確獨立第三方評估機構的資格和認證標準，確保其具備專業能力和公正性;評估內容應包括算法設計、訓練數據合法性、隱私保護措施及潛在風險評估等。在評估生成式人工智能技術時，采取分類分級管理策略是至關重要的，分類分級管理的核心目的在于根據生成式人工智能在各行業的具體應用情況，及其可能帶來的風險進行精細化監管。澳大利亞、加拿大等國也相繼出臺了相關配套文件，目的是將人工智能技術分類分級管理，并針對存在重大社會風險的人工智能系統，設立更加嚴厲的監管制度。32]分類分級管理將技術分為高風險、中等風險和低風險，其中高風險類別包括涉及金融、醫療、司法等關鍵領域的人工智能技術。這類技術由于其應用環境的敏感性和復雜性，可能帶來重大的社會影響和法律責任，因此需要最為嚴格的評估和監管。中等風險類別則包括教育、娛樂、商業營銷等領域的生成式人工智能技術，這些技術雖然不涉及生命安全和重大財產損失，但仍可能引發隱私泄露、信息誤導等問題。對于中等風險技術，監管機構可以采取相對靈活且包容的評估機制，例如通過行業自律組織進行初步審核，并要求技術提供者建立完善的內部審查和風險管理制度，以降低潛在風險。低風險類別主要涉及普通信息處理和輔助決策的生成式人工智能技術，如內容生成工具、翻譯軟件等。盡管這些技術的應用場景廣泛，但其風險相對較低，可以通過簡化的備案程序和常規的安全檢查來確保其合規性。低風險技術的監管應以鼓勵創新為主，避免過度干預，同時應確保其基本的安全和隱私保護措施到位。

在評估通過后，技術提供者必須將評估報告提交相關國家監管部門進行嚴格備案。《暫行辦法》作為全球首個專門針對生成式大模型的立法文件，強調了對生成內容的管理和責任分配，此法規要求生成式人工智能服務必須進行備案，并公開已備案信息，以確保技術使用符合法律規定。在算法備案方面，特別要指出的是，在對“生成合成類(深度合成)算法\"的算法類型進行備案時，必須區別備案主體，即\"深度綜合服務技術支持者\"或“深度綜合服務提供者”，也就是人工智能產品的服務提供者與技術支持者必須以兩個不同的備案主體對同一算法進行備案，因為他們在算法備案項下的義務是相互獨立且不能相互替代的。同時，在備案過程中，監管部門應對評估結果進行審查，確保技術符合國家安全標準和倫理要求。只有完成上述程序，生成式人工智能

技術才能合法投入市場應用。

二是踐行多元主體協同合作式規制的核心步驟。《暫行辦法》第五條第二款和第十六條第一款就行政機關、多方相關主體等應團結協作、依法履行職責等作出了規定。針對生成式人工智能產生的虛假有害信息，政府機關、企業、行業協會和用戶等多主體應協同合作共同對生成式人工智能虛假問題進行監控，構建一個多層次、多方位的監控體系，不僅可以有效應對生成式人工智能帶來的虛假有害信息問題，還能在一定程度上確保技術的安全應用和健康發展。同時，在這一過程中，各方需堅持包容審慎規制的原則，這不僅意味著在監管過程中要考慮到生成式人工智能技術的發展潛力和創新價值，避免過度監管對技術創新的抑制，還要在具體實施中兼顧安全和發展的平衡。

政府有權機關應當發揮領導和協調作用，明確生成式人工智能的使用規范和技術標準，為生成式人工智能虛假有害信息的規制指明方向。例如，主管部門可以根據生成式人工智能技術的特點，制定具體詳細的分類分級監管規則，確保高風險技術的嚴格監管和低風險技術的適度監管。政府需加強對企業的監督和指導，提供政策支持和技術幫助，促進企業合法合規地開展生成式人工智能業務。政府還需要從法律層面明確技術開發者、技術運營者和用戶的責任。在美國，根據《CommunicationsDecency Act》第二百三十條，存在政治虛假信息(包括深度偽造)的社交媒體網站在法律上免于承擔責任，包括打擊關于選舉類虛假有害信息在很大程度上卻取決于平臺自行設定的條款，這一規定引發了社會批評和指控。[33]有人呼呼讓人工智能平臺對虛假有害信息承擔法律責任，這種方法其實可以成為一道減少虛假有害信息產生的內部屏障。

企業作為生成式人工智能技術的主要研發和應用者，應嚴格遵守國家的法律法規，承擔起社會責任，積極配合政府的監管要求，建立健全內部審查機制和風險管理制度。具體而言，企業可以建立多層次的審查機制，對生成的內容進行審核和過濾，防止虛假有害信息的傳播。還可以部署先進的監控技術，以實時監測和攔截虛假有害信息。例如，美國聯邦通信委員會已經禁止人工智能生成的聲音用于自動語音電話，這類直接的干預措施在一定程度上有效阻止了虛假有害信息的擴散。[34]同時，企業應定期向監管機構提交監控報告，詳細記錄監測到的虛假信息數量、處理措施及效果。此外，企業還應投入資源研發先進的算法和技術手段，提升生成式人工智能的透明度和可控性，確保技術的安全性和可靠性。行業協會作為連接政府和企業的重要橋梁，應積極推動行業自律和標準化建設。行業協會可以制定行業標準和自律規范，監控企業合規經營，并定期組織培訓和研討會，提高企業對虛假有害信息的防范意識和技術能力。同時，行業協會還可以搭建信息共享和交流平臺，促進企業間的經驗交流和技術合作。用戶在生成式人工智能的使用過程中，也應發揮積極的參與作用。用戶應提高自身的信息素養和辨別能力，增強對虛假信息的識別和防范意識。同時，為了促進用戶的積極參與，政府和企業可以共同開發便捷的舉報和反饋機制，鼓勵用戶提供有價值的信息和線索，共同維護網絡環境的健康和安全。

3.遵循包容審慎式的彈性懲罰方略。首先，在包容審慎式的監管過程中，政府應始終堅持包容、嚴謹、開放的原則，與各方保持密切溝通和合作。在制定政策和實施懲罰時，應充分聽取企業和用戶的意見，綜合考慮各方利益和需求，確保履職的合理性和可操作性。政府還應定期組織專家評審和公眾咨詢，及時調整和完善監管措施，以適應生成式人工智能技術的快速發展和變化。其次，根據《互聯網信息服務管理辦法》第二十條的規定，關于造謠類虛假有害信息的行政處罰主要由公安機關和國家安全機關負責。2014年，《國務院關于授權國家互聯網信息辦公室負責互聯網信息內容管理工作的通知》中明確指出，網絡信息內容的監管、管理和執法是由國家網信辦負責。《互聯網信息服務算法推薦管理規定》第三條規定，對于生成式算法推薦服務，應由國家網信部門牽頭，電信、公安、市場監管等相關部門參加。相關政府機關在實施懲罰措施時，應根據違規行為的嚴重程度和性質，采取靈活多樣的懲罰手段。對于初次違規或情節較輕的行為，可以采取警告、限期整改、罰款等柔性懲罰措施，以督促企業改正并提升合規意識。對于情節嚴重或屢次違規的行為，可以采取更為嚴厲的懲罰措施，如暫停相關業務、吊銷營業執照等，以震懾潛在違規者。最后，相關政府機關應注重監管技術的創新和應用，利用大數據、人工智能等先進技術提升監管效率和精準度。例如，可以開發智能監測系統，對生成式人工智能產生的內容進行實時監控和分析，快速識別和處理虛假有害信息。此外，還可以建立公開的黑名單制度，將屢次違規的企業列入黑名單，公開曝光其違法行為，增加其違規成本。

結語

生成式人工智能時代的到來，正深刻改變著人類社會的信息生成方式，不可否認的是其能給人類帶來前所未有的便捷與愉悅。然而，隨著人工智能技術的快速發展，技術規制滯后、生成成本降低、技術“黑箱\"等導致虛假有害信息風險樣態發生重大轉變，危害國家安全以及社會公眾權益，這正成為技術進步時代全社會必須重點關注并解決的新型問題。當前，應對生成式人工智能虛假有害信息風險的規制手段難以滿足現實需要，必須結合生成式人工智能技術特點，以及借用全社會力量，通過構建包容審慎規制的基礎框架，并在全過程中貫徹包容審慎的思想理念，確保生成式人工智能技術的安全性和可靠性

【參考文獻】

[1]Cade Metz.The Godfather ofAI’ Quits Googleand Warnsof Danger Ahead，TheNew York Times，May 2， 2023，htps://www.nytimes.com/2023/05/O1/technology/ai-google-chatbot-engineer-quits-hinton.html.

[2][27]何宇華，李霞.生成式人工智能虛假信息治理的新挑戰及應對策略——基于敏捷治理的視角[J].治理研 究，2024(4):142-156+160.

[3]張凌寒，賈斯瑤.人工智能生成內容標識制度的邏輯更新與制度優化[J].求是學刊，2024(1):112-122.

[4]Luciano Floridi.The Philosophy of Information，New York:Oxford University Press，2O11，p.260.

[5]張新寶，林鐘千.互聯網有害信息的依法綜合治理[J].現代法學，2015(2)：53-66.

[6]陳天佑.生成式人工智能虛假信息的風險治理——以ChatGPT為例[J].文化學刊，2024(4):100-103.

[7]杜駿飛.ChatGPT:跨生命交往何以可能?[J].新聞與寫作，2023(4):1.

[8]Glynn P.，“Sony World Photography Award 2O23:Winner Refuses Award after Revealing AI Creation，\"2023- 04-18，https://www.bbc.com/news/entertainment-arts-65296763，2024-07-28.

[9]National Consumer Law Center EPIC，Scam Robocalls:Telecom Providers Profit(2022)，htps://epic.org/ documents/scam-robocalls-telecom-providers-profit/.

[10]韓娜，孫穎.國家安全視域下社交機器人涉華議題操縱行為探析[J].現代傳播(中國傳媒大學學報)，2022 (8):40-49.

[11]Alexander Martin.UK Opposition Leader Targeted byAI-generatedFake Audio Smear[EB/OL].https:// therecord.media/keir-starmer-labour-party-leader-audio-smear-social-media-deepfake.

[12]Scott Hickman.The Riseof ChatGPTand the Legal Implications That Will Ensue，The Corporate Law Journal，Feb.20，2O23，https://www.Thecorporatelawjoumal.com/technology/the-rise-of-chatgpt-and-the-legal-mplications-that-will-ensue.

[13]Deana Ritchie.Deepfake AI-generated Images that Went Viral in 2O23[EB/OL].htps://readwritec om/deepfake deepfake-AI-generated-images-that-went-viral-in-2023/.

[14]驚動美國白宮、有公司被騙2億港元，人工智能“深度偽造\"的罪與罰[EB/OL].新浪網，ttps://finance.sina. cn/usstock/mggd/2024-02-18/detail-inaininf3520045.d.html.

[15]Daochen Zha etal.，Data-centric Artificial Intelligence:A Survey，ArXiv Preprint，arXiv:2303.10158，2(203).

[16]PhilippHacker.ALegalFrameworkforAITrainingData——FromFirstPrinciplestotheArtificial Intelligence Act，13 Law，Innovation and Technology 257，261(2021).

[17]Billy Perigo.Exclusive:OpenAI Used Kenyan Workers on Less Than ￥2 Per Hour toMake ChatGPT Less Toxic[EB/OL].[2024-8-23].https://time.com/6247678/openAI-chatgpt-kenya-workers/.

[18]譚九生，楊建武.人工智能技術的倫理風險及其協同治理[J].中國行政管理，2019(10):44-50.

[19]楊建武.人工智能嵌入政府治理的責任困境及其政策紓解[J].西南民族大學學報(人文社會科學版)，2022 (4):192-200.

[20]喬喆.人工智能生成內容技術在內容安全治理領域的風險和對策[J].電信科學，2023(10):136-146. [21]Philipp Hackeretal.，Regulating ChatGPTand Other Large Generative AI Models，Feb.10，2023，Working Paper，htps://doi.org/10.48550/arXiv.2302.02337.

[22]朱嘉培.生成式人工智能虛假有害信息規制的挑戰與應對——以ChatGPT的應用為引[J].比較法研究，2023 (5):34-54.

[23]當人工智能詐騙顛覆“眼見為實”，我們應該如何應對?[EB/OL].證券時報網，htps://www.stcn.com/article/ detail/873911.html.

[24]盧超.包容審慎監管的行政法理與中國實踐[J].中外法學，2024(1):143-160.

[25]劉權.數字經濟視域下包容審慎監管的法治邏輯[J].法學研究，2022(4):37-51.

[26]Vealem，Borgesius F Z.Demystifying theDraftEUArtificial IntellgenceAct—analysing theGood，theBad， and the Unclear Elementsof the Proposed Approach[J].Computer Law Review International，2O21，2(4):97-112. [28]張凌寒.生成式人工智能的法律定位與分層治理[J].現代法學，2023(4)：126-141.

[29]季衛東.何時真正邁入“人工智能治理立法時刻\"[EB/OL].上海交通大學網站，http://www.socio-legal.sjtu.edu.cn/wxzy/info.aspx?itemid=4596lcid=13.

[30]United Nations.Meetings Coverage and Press Releases [EB/OL].htps://pressun.org/en/2023/sc15359.doc. htm.

[31]陸小華.包容監管與規則博弈：與人工智能如何共生[EB/OL].中國社會科學網，https://www.cssn.cn/xwcbx/ wlyxmt/202308/t20230822_5680460.shtml.

Risk Challenges and Inclusive Prudent Regulation of False and Harmful Information in Generative Artificial Intelligence

Yang Jianwu， Luo Feiyan

Abstract:Byvirtueof itshighlyplausible and personalized content generation capabilities，generativeartificial intelligencemakes thedisseminationof1andharmful informationextremelycovert，furtherexacerbating the crisisof informationmanipulationandsocial trust.False and harmfulinformation ismainly characterized by automaticgeneration，high likelihoodoftruth andrapid dissemination，whichoftenappearsthrough the compilationof facts，in-depth forgeryorhumanmanipulation，thusaffecting thesocialorderand public perception.The reasons for their emergence can be summarizedasintrinsic，including 1and harmful informationimplicitintraining data，the opacityofthealgorithmicdecision-makingprocess，andthe popularization and low-costapplication of the technology，aswell asextrinsic factors，such as the laging nature of the existing govemment regulatory measures and the marketizationof the technology.Inorder to meet thischallenge，the inclusiveandprudential regulation modelhasemergedasanew modeldiffrent from the traditional regulatorymeans，adapting to the needs of the rapid development of disruptive technologies，and the coreconceptistoprovide thenecessary timeand trial-and-eror space forthedevelopment of technologies throughflexible andmoderate interventions，andat thesametime，builda flexibleandcontextualized governance framework through multi-party colaboration，soas to fectivelyrespond tochanging public In particular，inclusive and prudent regulation shouldbeused asa means toaddress theever-changing public risksandcomplex socialchallnges.Specifically，themodel of inclusiveandprudentregulation includes three keypaths:first，adhere to the logicof inclusiveandprudent legislation，andbuildabasic legal framework; second，emphasize the processof regulation，and take into account the four links of“assessment，filing， monitoring，and punishment”；and third，folow the inclusive and prudent flexible punishment mechanism.

Key words:generative AI；1 and harmful information；deep forgery；inclusiveand prudent regulation

（責任編輯：王正橋）