論生成式人工智能的數據安全風險及回應型治理

鈄曉東

關鍵詞：生成式人工智能 ChatGPT? 數據安全 風險管控 數據治理 國家安全

一、問題的提出

近期，作為人工智能重大發展成果的ChatGPT橫空出世，再一次引發了學界對數據安全乃至國家安全的憂慮。ChatGPT是美國人工智能研究實驗室OpenAI推出的一種全新生成式人工智能模型，本質上是一種“生成型預訓練語言轉換器”。它基于大量數據訓練，可以學習和理解人類的語言，并進行交流對話，甚至能完成撰寫郵件、制作視頻腳本、創作文案、翻譯、編寫代碼等任務，具有極強的“內容創作”和“思考”能力，并呈現出由日常生活向專業領域過渡的趨勢。ChatGPT已在智能辦公、智慧科研、智慧教育、智慧醫療及游戲、新聞等多個領域投入應用，域外亦有法官借助ChatGPT作出法庭裁決。總之，這一技術引發了未來科技發展和社會生產生活的本質性變革，但也蘊涵著極大的安全風險。目前，ChatGPT不支持我國用戶注冊賬號，據報道，其原因可能涉及OpenAI和微軟的法務人員對于美國外貿管制法規或“國家安全”事務的解釋。換言之，OpenAI可通過限制ChatGPT應用范圍的方式對其本國的語言模型類技術和國家秘密加以保護。但ChatGPT研發及應用中其他主權國家的安全利益何以得到保障？ 從ChatGPT運行原理來看，其通過連接大量的語料庫來訓練模型，這一過程中語料庫數據的獲取、語言模型訓練、語料庫數據存儲等各個環節都涉及體量龐大的數據處理，ChatGPT的設計者可以惡意操控上述任意一個環節，損害其他主權國家的數據安全利益。可以預見的是，生成式人工智能應用將迎來大規模普及。這也意味著，其帶來的潛在數據安全風險可能伴隨著大數據技術的發展而持續發酵，給國家安全帶來巨大的威脅和隱患。因此，作為新一輪技術革命成果的生成式人工智能，值得我們認真對待，在考慮擴充其使用范圍以便利生產生活的同時，也應認真審視其背后的國家安全問題，并對其中的數據安全風險及時進行治理。

為此，學界針對生成式人工智能中的數據安全問題進行了一定的研究，并提出了構建生成式人工智能數據安全風險治理的元規則，從回應型治理轉向數據安全的敏捷型應對，從制度和技術層面協同推進AIGC領域數據可信治理等一系列應對措施。然而，目前大部分學者只是在討論生成式人工智能技術風險時附帶提及數據安全問題，尚未有詳盡、專門的研究來深入闡述生成式人工智能數據安全問題的特殊性以及可能引致的其他國家安全層面的嚴重后果。這導致對該問題的研究顯得過于籠統，甚至脫離了生成式人工智能這一應用場景。還有一部分學者針對生成式人工智能的信息內容風險及治理展開了大量研究，但從其治理措施來看卻忽視了信息內容風險始終源于數據安全這一本質性問題。鑒于此，本文擬在生成式人工智能應用各個環節中，對其數據安全風險進行詳細剖析，同時結合當下數字時代背景和生成式人工智能技術本身的特點，探討生成式人工智能數據安全風險治理的范式轉型，最后提出生成式人工智能應用中數據安全風險的回應型治理路徑，以期對該領域的數據安全問題作出更為深入的研究與分析。

二、生成式人工智能應用中的數據安全風險

生成式人工智能強大的學習能力離不開海量數據匯聚形成的語料庫，語料庫數據的輸入、運算、存儲與輸出均可能引致不同程度的數據安全風險，這些數據安全風險貫穿應用的全過程，兼具瞬時性和破壞性，直接或間接地挑戰著我國數據主權，成為影響國家安全的新型隱患。厘清生成式人工智能應用中的數據安全風險，是明確風險治理需求的基本前提。

（一）數據輸入端：語料庫非法獲取風險

生成式人工智能需要利用大量數據輸入訓練自然語言模型，這有助于模型獲取知識并構建語料庫，從而能夠準確理解自然語言并生成標準答案文本。顯然，生成式人工智能的存在基于海量數據信息形成的語料庫。在構建和更新語料庫的形式方面，可以將其分為被動和主動兩種類型。被動構建與更新的語料庫是大量用戶通過對話框自行輸入信息、系統自動將該類信息保存并納入的語料庫。主動的語料庫構建與更新則以數據爬蟲技術為典型，數據爬蟲技術可以通過程序自動收集互聯網上的大量數據，這種數據收集方式的優點在于其能夠快速、高效地獲取大量的數據，使得模型的訓練和表現更加準確和可靠。

無論是被動的數據“輸入—收錄”還是主動的數據爬取，均可能引致語料庫的非法獲取。對于用戶自行輸入的數據信息，根據OpenAI用戶協議，盡管用戶在賬號注冊時作出了同意數據收集的意思表示， 但有關用戶個人身份信息的這部分內容，OpenAI不得收集， 其仍負有從記錄中予以刪除的義務。問題在于，OpenAI用戶協議并未明確刪除方法及其具體行使，此類信息在實踐中仍可能被保留并用于模型訓練，會構成對個人知情同意權和刪除權等個人信息權益的侵害。對于數據爬蟲而言，鑒于數據自由流通在數字社會具有重要價值，國際規則和各國法律對正當的數據爬取予以認可。但數據爬取并非不受限制，數據爬取亦存在正當性邊界。根據我國數據安全法第32條規定，ChatGPT等生成式人工智能系統爬取我國境內數據應嚴格遵守我國數據保護相關規定， 若爬取我國未公開數據、出于非法目的爬取我國數據或采取其他惡意手段爬取我國數據，則明顯超出正當性邊界，構成語料庫的非法獲取。意大利個人數據保護局（DPA）就曾因為OpenAI涉嫌非法爬取大量意大利用戶信息數據，宣布從2023年3月31日起禁止使用ChatGPT，同時對其隱私安全問題立案調查。可見，生成式人工智能中的數據爬蟲問題應當引起高度重視。同時，從其結果來看，由于非法爬取獲得的數據常常具有機密性、高密度性和保護性等特征，非法行為不僅侵害了個人的信息權益，而且也涉及國家的數據安全和數據主權問題。當生成式人工智能開發機構利用非法數據爬取技術成功爬取我國境內數據并將其傳輸出境時，我國已失去對該部分數據出境的管理利益和對境外數據的自主控制利益，這意味著我國數據主權受到了挑戰。當前，生成式人工智能需要不斷擴充數據庫來提高回復文本的準確性，非法數據爬取作為數據獲取的霸權行為之一，日益成為威脅國家安全的重要隱患。

（二）數據運算端：訓練數據偏見風險

生成式人工智能文本生成由其自然語言模型所決定，而自然語言模型在本質上取決于算法選擇以及用于模型訓練的龐大數據庫，這使得模型開發者能夠通過裁剪數據庫或操控算法的方式，將自己的偏好植入訓練數據，從而使輸出的文本呈現某種價值觀。

與其他語言模型一樣，ChatGPT并不是一個沒有偏見的工具。它對世界的“認識”取決于算法，或者說設計者所作的決定。例如，使用哪類數據進行文本訓練或使用何種生成方式進行內容回復。這也可從ChatGPT運行原理中得到印證。為了確保ChatGPT9輸出信息的高度準確性，OpenAI9實施了一種“人類反饋強化學習”訓練方法：開發主體從GPT中選取樣本，對其進行人工標注，并利用評分結果來訓練反饋模型。通過對反饋模型和原模型進行對抗強化訓練，可以持續優化原模型的輸出結果，最終得到一個符合人類語言習慣、偏好和價值觀的語言生成模型。此類模型生成機制可能造成以下隱患：生成式人工智能開發機構可能出于特定的政治目標或其他利益考量，使用帶有偏見的數據樣本進行語言模型訓練，使生成的回復文本完全符合其意識形態標準，從而“潛移默化”地影響用戶，使用戶思想或行為偏好向著有利于自身方向發展。因此，生成式人工智能中的數據偏見風險將可能帶來極為嚴重的安全后果。

在當今全球各種思潮、文化和價值觀念相互碰撞的背景下，人工智能技術面臨著被政治操縱、用作意識形態宣傳的風險，應當對此始終持謹慎態度。西方發達國家掌握大數據和人工智能核心技術，按照其自身價值觀制定全球政治秩序和規則，裁剪符合自身意識形態標準的數據庫，加劇了全球信息體系和政治秩序中的不平等和壟斷現象。在這種背景下，生成式人工智能的開發者可以通過操縱算法或裁剪數據庫的方式，在模型中植入某些價值觀。如果開發者持有歷史錯解、文化偏見或種族歧視的價值觀，這些觀念可能會通過模型與用戶的互動產生潛在的不利意識形態影響。在當今高度互聯的社會中，意識形態安全已經不再是單純的意識形態問題，而是關系國家安全和穩定的核心議題。近年來針對意識形態的滲透和干擾事件不斷發生，再一次給我們敲響了警鐘。

（三）數據存儲端：數據泄露風險

生成式人工智能需要從大量數據中學習和生成模型， 海量數據的處理無疑將擴大其攻擊面，相應地，數據泄露風險的發生概率和影響范圍也隨之增大。ChatGPT開發者OpenAI的首席技術官米拉·穆拉蒂率先表示，必須謹慎使用ChatGPT，切勿在其上上傳敏感信息或核心數據，以免信息泄露，導致損失。為此，微軟基于預防商業機密泄露的考慮，已宣布禁止公司員工向ChatGPT分享公司敏感數據。同樣地，亞馬遜的公司也警告員工“不要與ChatGPT分享任何亞馬遜的機密信息，因為他們有可能將其用于訓練未來的模型”。事實證明，這種擔心并非多余。就在GPT-4最新發布之際，ChatGPT出現了嚴重技術漏洞， 用戶在社交媒體上表示看到了其他人的歷史搜索記錄標題。OpenAI隨即立刻關閉了ChatGPT，當用戶再次打開該系統時，歷史聊天記錄側邊欄已被替換為“歷史記錄暫不可用，我們正在努力盡快恢復這一功能”。針對這一事件，OpenAI首席執行官Sam#Altman在社交媒體發文，宣布修復程序已驗證完成，并對此“感覺十分糟糕”。

ChatGPT使用大規模的語言數據集進行訓練， 這些數據集都被處理成了標準的文本格式并存儲在高效的數據存儲系統中，泄露可能存在以下三方面原因：其一，主動泄漏，即ChatGPT開發機構直接向外界透露語料庫存儲系統中的數據。但根據ChatGPT自身的說法，作為一個語言模型，ChatGPT使用的是無人工干預的自動化訓練過程，主要依賴于大量公開的數據集進行學習，因此很難存在直接的數據泄露問題。此外，OpenAI表示將根據用戶隱私協議極力保障用戶數據安全，并采用了多層保護措施嚴格控制數據存儲系統的訪問。如此看來，語料庫數據直接泄露的可能性似乎較小。其二，隱含泄露，即將用作ChatGPT進一步迭代的訓練數據，在未來的版本作為輸出內容。例如，在ChatGPT中輸入的文本可能包含用戶的個人信息、信用卡信息、密碼等敏感信息，而模型推斷輸出的結果可能會間接泄露這些信息。另外，如果模型訓練數據中包含了具有隱私敏感性的文本數據，例如醫療記錄、司法文書、個人通信記錄等，那么模型可能會學習這些信息并在未來版本中將其泄露出來。相較于直接泄露，語料庫數據間接泄露風險具有高頻性、漸進性的特點。其三，系統漏洞泄露，這也是語料庫數據泄露最大的風險源。生成式人工智能模型本身可能存在未知的安全漏洞，攻擊者可能通過這些漏洞進行攻擊，例如修改模型的輸出、篡改模型的訓練數據、竊取模型的參數等，這些攻擊可能會導致模型輸出的泄露。

在生成式人工智能中，由于訓練數據的規模直接影響模型的表現和性能，生成式人工智能通常具有相對較大的的數據體量。以ChatGPT為例，其擁有超過1750億的參數，龐大的數據體量決定了一旦發生數據泄露事件，將造成難以挽回的損害后果。具體而言，在生成式人工智能語料庫中，個人數據泄露可能導致大范圍的隱私和著作權侵權，企業數據泄露可能導致不正當競爭或商業秘密泄露，政府數據泄露則將帶來更為嚴重的損害后果，包括侵害“重要數據”安全和“國家秘密”安全等特別利益。

（四）數據輸出端：惡意內容生成風險

生成式人工智能具有極高的泛化和生成能力，但從技術本質看，其生成的內容是基于對語料庫的學習和預測，是一種經驗的再現，并非從語義和邏輯角度進行推理和判斷的產物。換言之，生成式人工智能為用戶提供的最終信息只是在海量信息篩選后給出的單一化且標準化的內容。因此，對于生成內容本身的真實性和準確性，生成式人工智能無法進行判斷。這一特點可能導致生成式人工智能產生大量虛假信息，甚至被利用生成惡意內容，從而對人們的思維和行為產生誤導和負面影響。美國新聞可信度評估與研究機構NewsGurd對ChatGPT進行測試發現，ChatGPT能在幾秒鐘內改變信息并產生大量令人信服卻無信源的內容。這些內容將對自身判斷能力不足的用戶產生極大的誤導性。如果惡意行為者或團體獲得了ChatGPT的訪問權限，他們可能會利用該技術生成虛假、不端或仇視性的信息，甚至從事創造暗網市場腳本，生成釣魚電子郵件，編寫惡意軟件等非法活動。這些活動將嚴重影響國家安全。當前，已經出現了利用生成式人工智能實施犯罪的案例。2021年，一個黑客團伙使用了生成式人工智能技術，創建了一個名為“Deepfake：Wire”（深度偽造電線）的詐騙平臺。他們使用ChatGPT技術制作了一個虛假的客服機器人，并將其封裝為“虛擬角色”，利用該機器人進行詐騙活動。可以預料的是，隨著生成式人工智能技術的日益成熟，這種類型的犯罪案例將越來越普遍。生成式人工智能技術可能被惡意利用來制造虛假的政治信息，破壞選舉、操縱政治輿論，以此干擾國家的政治穩定。還可能被用于攻擊重要基礎設施，如金融、能源和交通系統，會對國家經濟和社會發展造成巨大損失。最為危險的是，生成式人工智能可能被用于進行間諜活動或竊取關鍵機密信息，從而給國家安全帶來巨大的威脅。

三、生成式人工智能數據安全治理的范式轉型

從社會發展的歷程來看，生成式人工智能帶來的數據安全風險經歷了從無到有、由輕及重的過程。與此同時，安全觀念也在不斷演變和發展，從最初關注傳統安全、網絡主權以及強調絕對安全，逐漸發展到關注總體安全、數據主權，并提倡相對安全。這種安全觀念演變直接影響了生成式人工智能數據安全風險治理模式的轉變。

（一）從單一安全轉向總體安全

大數據時代悄然而至，伴隨著數字技術帶來的各種機遇和挑戰，數據安全問題逐漸走進大眾視野，并日漸彰顯出對國家安全和社會公共利益的重大影響。2021年，全國人大常委會正式頒布數據安全法，明確提出“維護數據安全，應當堅持總體國家安全觀”，對數據安全進行了全方位、系統化的規定。

正是在數據安全備受矚目的時代背景下，生成式人工智能的出現進一步促進了大規模的數據交換和存儲，再一次將數據安全問題推向風口浪尖。生成式人工智能應用中的數據安全風險，尤其危及國家數據主權、國家意識形態安全、國家信息安全及網絡空間安全等問題。若說非傳統安全的興起促進了我國關于“國家安全”的思維轉變，則生成式人工智能的出現將對“國家安全”帶來更深一層的變革與重構，迫使“國家安全”理念基于現代科技的發展變得更為全面綜合。

（二）從網絡主權轉向數據主權

生成式人工智能數據安全治理的根本指針在于堅持數據主權，而要理解數據主權，則須從更為廣闊的范疇———“網絡主權”著手。 自美國棱鏡計劃曝光，各個主權國家的網絡主權意識被喚醒，開始就網絡主權斗爭達成共識。對中國而言，網絡主權更被提到空前高度。2015年我國國家安全法第25條首次以法律形式明確“網絡空間主權”。2016年網絡安全法第1條開宗明義申明了“維護網絡空間主權”的立法主旨。2017年我國發布《網絡空間國際合作戰略》，全面闡述網絡空間主權原則的基本涵義，同時呼吁國際社會共同維護和平、安全、開放、合作的網絡空間，共同推進網絡空間治理國際規則的制定。

根據網絡空間主權架構，網絡空間主權涉及網絡空間物理層、網絡空間邏輯層和網絡空間內容層三個層次。區別于物理層（光纜、衛星通信、能源、交通等基礎設施）和邏輯層（互聯網尋址、域名系統、路由協議等技術規則和標準）更多涉及技術問題，內容層主要涉及信息管理和數據流動規制，是各國論戰的主要領域。隨著互聯網迅速發展和普及，信息技術在政治、經濟和文化等領域應用逐漸成為國際安全格局發生重大變化的關鍵因素之一。在這一時期，信息攻擊、操縱和破壞以軟暴力的形式不斷威脅著社會穩定和安全，成為全球面臨的共同挑戰之一。為此，各國政府開始采取行動，將信息安全作為一項緊急任務，與計算機和網絡緊密結合在一起，作為法律治理重點。

直到網絡發展進入大數據時代，數據作為基礎性戰略資源之一，逐漸被賦予更高的價值。信息安全問題也由此轉化為數據安全問題，并在國家層面引起越來越多關注。隨著各國開始爭奪數據主權，數據主權作為一種新興概念應運而生，其核心思想是國家對境內數據擁有控制權和管理權，并且必須加強對數據的監管和保護。在這種背景下，生成式人工智能作為一種新型的數據生成和分析技術，面臨著打破國家控制權和管理權的風險，似乎成為爭奪數據主權的一個關鍵武器。因此，生成式人工智能治理的重點不再是信息內容，而是數據這一信息載體。唯有充分認識數據的價值和作用，才能精準把控生成式人工智能的風險要害，從而有針對性地進行治理。

（三）從絕對安全轉向相對安全

傳統的絕對安全觀念源于對安全問題的一種理想化思考，即安全風險可以通過完全預測、計算和控制，達到確定的安全狀態。這種思想在面對傳統安全風險如自然災害、恐怖襲擊等具有一定效果。但是，隨著社會的快速發展和安全環境的變化，風險呈現出越來越復雜、多樣化和不確定的趨勢，同時治理措施的成本也隨之增高。在這種情況下，絕對安全觀已不再合適。根據社會學家烏爾里希·貝克的觀點，現代化進程中科技和經濟全球化的發展所帶來的各種風險難以預測和計算。這些風險不受時間、空間和社會界限的限制，無法完全消除，其絕對性不可避免。此外，現代社會的復雜性決定了風險之間必將相互滲透、相互影響，這是現代社會不可避免的趨勢。一旦人們對此形成了正確認識，“相對安全”便取代“絕對安全”，成為生成式人工智能風險治理的理性目標。作為一種新興的人工智能技術，生成式人工智能的出現雖然帶來了巨大的變革和創新，但也催生了多形態的社會風險。除網絡攻擊、黑客攻擊、數據泄露等典型的信息安全風險外，深度偽造、人類主體化等倫理和社會風險，以及傳統工作崗位消失帶來的社會和經濟不平等、不穩定問題也成為生成式人工智能應用的重大隱憂。這些風險本質上是由技術本身的特點和應用環境等多方面因素綜合造成的，雖然可以通過加強技術開發以及制定相應的法規和政策來降低風險，但卻不能完全消除。

此外，總體國家安全觀辯證地認識了安全與發展的關系，強調“發展是安全的基礎，安全是發展的條件”，從而放棄追求絕對安全，保障相對安全。在數字化浪潮中，數據成為經濟和社會發展的重要基石和創新驅動力。數據創新融合了人工智能、物聯網、區塊鏈等前沿技術，正在重構人類社會和產業形態。我國的網絡安全法和數據安全法均明確規定了數據開放和利用的政策支持，特別強調了匿名化數據的自由利用。這為企業拓展數字化業務和推動技術創新提供了重要機遇。生成式人工智能以數據為燃料，為人類提供了前所未有的創造力和生產力。因此，我們需要辯證看待其中的數據安全與發展問題，采取相應的安全措施，保障數據的隱私和安全，并利用好數據這一寶貴資源，推動社會和經濟的可持續發展。

四、生成式人工智能數據安全風險的回應型治理

面對生成式人工智能正逐步呈現的彌散性擴張數據安全風險，構建全方面、多層次、重實效的生成式人工智能數據安全法治體系已刻不容緩。而這無疑也是當前國家高水平安全時勢訴求的內在應有之義。

（一）輸入端：以風險管控為核心，強化數據安全風險應對機制

數據安全范式的核心要素是“可控性”，強調將數據的大規模流動、聚合和分析納入風險管控過程中的必要性。根據國際標準化組織（ISO）頒布的風險管理標準，一般認為存在以下四種風險管控策略：避免風險、接受風險、轉移風險、控制風險。鑒于絕對安全不可能存在，對待生成式人工智能帶來的數據安全風險，無需做到完全消除。適當接受殘留風險的存在，同時最大限度地進行風險控制，既能實現成本最小化，也有利于維持安全與發展的平衡，應當是最優策略。

從風險產生的角度看，只有通過對高度敏感的“重要數據”進行關聯和分析，才可能挖掘出危害安全的重要情報。因此，實現對重要數據流動和聚合的有效控制，避免生成式人工智能對這些數據進行惡意整合和分析，可以大大減少數據惡意利用帶來的危害。從實現風險源頭的有效控制角度看，有以下兩點思路：一是在數據分類分級基礎上，加強數據的被動出境治理，避免重要數據被非法納入生成式人工智能語料庫，進而被不當披露和聚合分析；二是完善生成式人工智能的市場準入制度，從源頭降低該類應用的安全風險。

1.加強數據被動出境治理

針對以非法數據爬取為主的攻擊風險，我們需要采取主動防御措施，以預測、發現和防范潛在的安全威脅，實現數據被動出境的主動管理，從而有效降低生成式人工智能技術給我國帶來的安全威脅。具體來看，需要采取以下措施：

建立境外網絡攻擊監控和調度平臺是實現主動防御的關鍵一步。平臺的建設可發揮以下三點作用：一是將不同領域的重要數據進行統一管理和監測，從而最大限度地發揮大數據的優勢，實現數據協同合作和安全防范的統一；二是可以結合信息技術實現數據動態的實時在線監控，從而準確快速判斷網絡爬蟲、撞庫等網絡攻擊風險，為數據安全預警和應急處置提供信息；三是及時發布預警信息并輔助數據安全主管部門作出更為科學、準確的防御決策。總的來說，通過建立境外網絡攻擊監控和調度平臺，可以在非法數據爬取等攻擊行為造成嚴重后果前，提前預警，以避免或降低生成式人工智能語料庫非法獲取帶來的不利影響。此外，由于私營部門作為數據業務直接參與者更能夠及時察覺和發現實踐層面的數據安全風險，為加強數據被動出境治理，還應建立政府和私營機構的共同防御體系。具體來說，可以從以下兩方面落實：一是適當借鑒美國“受控非密信息”的數據標識制度，采用電子標記的方式來實現數據泄露后的可追溯性。通過責任可溯，可以確保私營部門在對接境外生成式人工智能開發機構的過程中，不會對國家安全造成威脅。二是需要鼓勵私營部門參與數據安全威脅信息的共享。目前我國的數據安全監測仍然處于單一主體監控的階段，這限制了我們及時發現和應對數據安全威脅的能力。為此， 我們可以借鑒美國網絡安全信息共享法案的相關規定，對那些自愿共享網絡安全威脅信息的企業給予法律豁免，以激勵其積極參與數據出境安全的共建共享。

2.強化生成式人工智能市場準入規則

除了作好數據被動出境的預防，對待ChatGPT等國外開發的生成式人工智能主動進入我國市場，也應當持謹慎態度，可從安全評估、數據獲取、合規審查等方面進行制度強化，將可能存在的非法數據獲取行為阻擋在市場準入這一步。首先，生成式人工智能安全評估規則是關鍵之一。在歐盟最新通過的人工智能法案中，人工智能被劃分為最低風險、低風險、高風險、不可接受的風險四個等級。根據該法案，對于被劃入高風險等級的生成式人工智能系統，開發機構必須提交符合規定的評估報告，并需要在系統投放市場前接受相關機構的審查和批準。這一基于風險程度的人工智能系統準入機制，強調不同等級的風險監管要求，突出了風險管理的重要性，對未來我國完善生成式人工智能應用準入規范應有啟發。其次，生成式人工智能語料庫數據獲取規則應當明確。ChatGPT既未公開其數據獲取方式，也未標明語料庫數據獲取來源，致使中文數據庫來源的合法性和數據爬取的合理性無從判別。為確保個人隱私和國家安全得到保障，生成式人工智能應用準入的另一關鍵是披露其語料庫數據獲取方式和數據來源。再次，生成式人工智能開發機構應當主動采取數據清洗和數據去標識化等技術。通過對采集的數據進行篩選、去噪、去重、標注等處理，保障數據的完整性和真實性，防止數據被篡改、刪除或者損毀，確保模型訓練的數據準確可靠。最后，生成式人工智能開發機構應當定期對其產品進行合規審查，幫助開發主體識別和解決潛在的法律和道德風險，以保障數據來源的合法性和避免潛在的風險。

此外， 用戶提高生成式人工智能數據安全風險防范意識亦有助于從數據輸入源頭降低風險，促進安全風險得到有效管控。首先，用戶應充分關注生成式人工智能《用戶使用協議》，對生成式人工智能應用中其個人數據的處理目的、處理方式、保存期限、可能面臨的風險、享有的權力等形成充分認識。例如，根據OpenAI0的《用戶使用協議》，用戶享有拒絕OpenAI將其自行輸入和輸出數據用于模型的訓練和改進的權利，并且可以在ChatGPT使用的任何時間段更改此選項；其次，用戶應避免在生成式人工智能上上傳敏感個人信息。對于民族、政治、宗教信仰、健康狀況等敏感個人信息，一經泄露可能造成重大財產或精神損害，用戶應避免在生成式人工智能上上傳此類信息，以防被用于后續模型訓練或遭致數據泄露。

（二）運算端：以算法解釋為關鍵，完善算法運算透明原則

算法難以理解和非直覺性的特點為生成式人工智能輸出文本背后的價值判斷蒙上一層面紗，帶來了意識形態安全風險，而算法透明原則正是要揭下這層面紗，使算法露出真實面貌。算法透明原則是指通過公開和披露算法的設計原理、數據輸入輸出等要素，增強算法的可解釋性和可問責性，以達到保障算法公正性和可信性的目的。我國相關立法規定不同程度地強調了算法透明的重要性，但原則性規定終究較為抽象，其具體落實仍需具體規則的構建。

算法解釋權是算法透明原則最為關鍵的內容。算法解釋權賦予相對人獲取算法解釋的權利，使其了解算法決策的依據和過程，并在必要時采取救濟措施，以消除算法開發者或使用者與相對人之間的地位差異，進而使形式化的用戶協議轉化為實質上的平等。在《生成式人工智能服務管理暫行辦法》生效之前，我國并未規定算法解釋權或者類似規定，僅在人工智能相關規范和標準中提到“算法應當具有可解釋性”。直到《生成式人工智能服務管理暫行辦法》第19條首次作出了規定：“有關主管部門依據職責對生成式人工智能服務開展監督檢查，提供者應當依法予以配合，按要求對訓練數據來源、規模、類型、標注規則、算法機制機理等予以說明，并提供必要的技術、數據等支持和協助。”該項規定在人工智能算法安全風險應對方面無疑是巨大進步，但其中的局限性也十分明顯。首先，有權要求人工智能服務提供者就算法進行解釋說明的主體僅涉及監管機構， 而未明確涵蓋其他相關方，這可能導致在實際執行過程中，其他重要利益相關者，尤其是個人信息主體的權益無法得到保障。其次，該項規定在描述算法機制機理時過于籠統，缺乏明確指向，可能導致執行上的困難，甚至使該規定難以實際落實。

歐盟地區和美國已經較早踐行了算法透明原則并將算法解釋權法定化。其啟示意義在于生成式人工智能中算法透明原則的落實不能完全依賴于可解釋權，還應輔之以算法影響性評估等事后規制措施。此外，除了以算法透明原則的落實來回應惡意內容生成風險，還應當作好事后應對與懲處，尤其是要求平臺建立辟謠和舉報機制，并對違法傳播虛假有害信息者采取停止傳輸等限制措施。

（三）存儲端：以重要數據安全為中心，夯實數據管理保障機制

針對生成式人工智能數據存儲端的重要數據泄露風險，可從事前的數據保護與事后的應急處理兩方面入手，對生成式人工智能系統開發機構科以數據處理環境安全保障義務和數據安全突發事件應急義務，夯實生成式人工智能數據管理保障機制。

1.數據處理環境安全保護義務

生成式人工智能開發機構應構建起全面的數據處理環境安全防護體系，使其語料庫數據始終存儲于安全的環境中。由此展開的數據處理環境安全保護義務的構成包括以下三個方面：其一，數據分級保護義務。數據分類分級是生成式人工智能語料庫數據安全管理的前提，我國數據安全法已明確將數據分類為國家核心數據、重要數據、一般數據，進行輕重有別的差異化保護。《網絡數據安全管理條例（征求意見稿）》第9條亦規定“處理重要數據的系統原則上應當滿足三級以上網絡安全等級保護和關鍵信息基礎設施安全保護要求，處理核心數據的系統依照有關規定從嚴保護”。為此，生成式人工智能開發機構應依據數據的來源、價值、敏感程度和影響程度等對語料庫數據進行分類分級，制定等級化的數據保護規范制度，對語料庫中重要數據、核心數據采取更高等級的保護措施。同時，還應細化內部規則對語料庫數據的分類、標記、評估等諸多方面進行規制；其二，數據風險監測和評估義務。根據數據安全法第29、30條規定，生成式人工智能開發機構在我國境內開展數據處理活動應當加強風險監測，發現數據安全漏洞等風險時，應當立即采取補救措施；生成式人工智能開發機構還應當對其數據處理活動定期開展風險評估，并向有關主管部門報送風險評估報告；其三，設置數據安全負責人和管理機構的義務。歐盟通用數據保護條例第37條規定所有數據處理者都應當設立“數據保護官員”，負責數據保護相關工作。我國數據安全法也有類似規定，根據數據安全法第27條第2款，生成式人工智能開發機構處理重要數據應當明確數據安全負責人和管理機構， 落實數據安全保護責任。至于數據安全負責人和管理機構的具體職責，《網絡數據安全管理條例（征求意見稿）》第28條作出的具體規定可予以參照，其中包括數據安全重大決策提議、開展數據安全風險監測、開展數據安全宣傳教育培訓等內容。

2.數據安全突發事件應急義務

確立生成式人工智能開發機構數據處理環境安全保護義務可以提高其數據安全保護能力，并有助于建立全方位、多層次的語料庫數據管理體系。然而，即使如此，仍然不能完全避免數據泄露等安全事件的風險。因此，生成式人工智能開發機構需要建立健全應急預案，以及時響應、處置和報告數據安全突發事件，最大程度保障用戶數據的安全。應急預案的制定應當遵循數據安全法等法律法規要求，包括但不限于以下內容：

其一， 生成式人工智能開發機構應當明確數據安全責任人和應急響應團隊成員的職責和任務。數據安全責任人應當具備足夠的技術和管理能力，負責組織制定、實施和維護應急預案，負責協調各部門的應急響應工作。應急響應團隊成員應當根據預案的要求履行職責，及時采取措施防止和應對數據安全事件。其二，應急預案還應當包括數據安全事件的分類和等級劃分標準。生成式人工智能開發機構應當將數據安全事件分為不同的等級，以便進行及時、準確的處理。例如，一級數據安全事件可能是由于黑客攻擊或自然災害造成的系統故障，而二級數據安全事件則可能是由于員工失誤或技術問題導致的數據泄露事件。生成式人工智能開發機構應當針對不同等級的數據安全事件制定相應的應急預案，并根據情況采取相應的措施。其三，生成式人工智能開發機構應當明確應急響應措施和流程。應急響應措施包括但不限于采取緊急措施、停止對外服務、隔離受影響的系統或網絡等。應急響應流程應當包括但不限于事件的報告、確認、處理、跟蹤、總結等環節。生成式人工智能開發機構應當在應急響應流程中規定各個環節的時限和責任人，以確保應急響應工作的及時性和有效性。其四，生成式人工智能開發機構應當定期組織應急演練，檢驗和完善應急預案。應急演練可以幫助生成式人工智能開發機構發現預案中存在的問題和不足，進一步完善和優化應急預案。在應急演練中，生成式人工智能開發機構應當充分考慮不同類型的數據安全事件，針對性地進行演練。其五，應急預案的制定應當以實際情況為基礎，對不同類型的數據安全突發事件進行分類，制定不同的預案。例如，在面對數據泄露事件時，應急預案應當包括對受影響的數據進行封鎖、追溯、還原等應對措施；而在面對數據丟失事件時，應急預案則應當包括及時恢復備份數據、提升系統容錯能力等應對措施。其六，應急預案還應當明確責任人的職責和權限，以及應急處置流程和應急資源的調配方案。其七，在應急預案的制定和執行中，生成式人工智能開發機構還應當遵守相關的法律法規要求，如網絡安全法、數據安全法等，確保應急處置的合法性和合規性。此外，還需要將應急預案不斷完善和優化，通過定期演練和測試，提高應急響應的效率和能力，以應對不斷變化的數據安全威脅。

（四）輸出端：從技術、標準、法律三元層面，優化生成內容治理體系

惡意內容生成風險廣泛存在于生成式人工智能數據輸出端，如同一種漸進式的毒瘤，對人工智能技術發展和社會穩定、國家安全造成威脅。為此，需要從技術、標準和法律三元層面，優化生成內容治理體系。

其一，在技術層面，應當加強對生成式人工智能算法的研究，改進其生成機制，以確保其生成的數據符合道德和法律標準。生成式人工智能開發機構可以通過訓練和調整生成式人工智能模型，提高其識別和過濾惡意內容的能力，從而降低惡意內容生成的風險。具體而言，可以利用自然語言處理和機器學習等技術手段，通過對惡意內容的檢測和屏蔽來防止其出現在生成的數據中。此外，建立黑名單機制，對已知的惡意內容進行記錄和管理，從而可以更加有效地屏蔽其出現在生成的數據中。

其二，在標準層面，制定規范化的技術標準可以規范生成式人工智能的研究、開發、應用等環節，提高生成式人工智能技術的安全性和可靠性，從而確保輸出內容符合公序良俗、法律法規的要求。目前，國際上已經開始制定一些標準來規范人工智能技術的倫理和道德問題，其中部分內容涉及惡意內容的生成和傳播。如電氣和電子工程師協會（IEEE）制定的關于預防算法偏差的標準IEEE#P7003，該標準提供了惡意內容生成的風險評估框架和流程，以及相應的預防和應對策略。然而，由于人工智能技術的快速發展和廣泛應用，標準制定一定程度上滯后于技術發展和應用，無法及時跟上技術和需求的變化，也影響了標準的實施和應用效果，標準完善的問題仍然需要進一步關注。一方面，由于惡意內容生成風險是一個全球性的問題，因此需要制定統一的標準和規范，以便不同國家和地區之間進行協調和合作。國際標準化組織可以在這方面發揮重要作用，制定全球性的標準和規范，以確保生成式人工智能技術的安全和合法性；另一方面，標準和規范應當具有可操作性和可實施性，能夠為研究人員和從業者提供具體的指導和幫助。

其三，除了在技術和標準層面進行治理外，應針對惡意內容生成風險加強相應的立法和監管。例如，歐盟在2021年發布了《歐洲人工智能法規框架》，其中就對人工智能技術內容生成進行了規范。該法規要求開發者和提供者對其技術的應用進行評估和風險管理， 確保其生成的內容不包含任何具有欺騙性、誤導性、令人厭惡、令人不安等信息。我國《互聯網信息服務深度合成管理規定》也為加強對惡意內容生成風險的管理和治理提供了詳細和具體的法律依據。《生成式人工智能服務管理暫行辦法》更是通過多條規則對生成內容的準確性、合法性、正當性以及違反規定應承擔的責任進行規定。這些規范將使開發者和提供者更加負責任地使用人工智能技術，避免生成有害或欺騙性內容。未來，我們需要進一步加強對上述規定的執行和監督，推進以“‘風險預防規則和協同治理模式為核心的”“全過程治理”，以便促進生成式人工智能技術的健康發展。

雖然我國已經出臺了一系列法律法規對人工智能技術進行規范， 但是對于生成式人工智能惡意內容生成風險的規范還存在不足。一方面，由于人工智能技術的復雜性和隱蔽性，監管部門和執法機構在檢測和防范惡意內容生成風險方面存在一定的難度，也存在一定的滯后性，很難實現對生成式人工智能技術的全面監管和有效打擊；另一方面，對于人工智能技術惡意內容生成風險的處罰措施較為單一，主要集中在罰款和停業整頓等行政處罰上，對于一些嚴重違法行為，如惡意傳播虛假信息、侵犯他人隱私等，缺乏更具震懾力的刑事處罰。針對上述問題，建議我國進一步完善相關法律法規，加強對生成式人工智能技術的監管和執法，同時加強對相關違法行為的懲罰力度，確保對惡意內容生成風險的及時發現和有效打擊。此外，還需要加強與國際社會的合作，借鑒國際先進經驗，共同推進生成式人工智能技術的安全發展和管理。