個人信息保護視域下ChatGPT的法律風險及其治理

孟凡騫 王仲羊

摘要：在ChatGPT深刻改變人類生產生活的背景下，需要正視其引發的個人信息保護風險，促進技術與法律的融合。ChatGPT的廣泛應用可能沖擊個人信息保護原則，侵犯個人信息權益，引發個人信息的泄露風險。對此，通過檢視、反思既有的法律規范與規制手段，需要在理念與制度兩方面展開治理。在理念層面，不應盲目禁止ChatGPT，而應積極應對個中風險，促進個人信息保護與處理的平衡，實現個人信息的場景化保護；在制度層面，應實現ChatGPT的綜合治理，打造基礎性立法與專門性立法相結合的規范治理體系，形成覆蓋研發者、運營者、使用者的全流程產業治理體系，以及政府監督與行業監督聯通的監管治理體系。

關鍵詞：ChatGPT 個人信息保護 人工智能 法律治理

由美國人工智能研究實驗室研發的ChatGPT一經上線，便引發多方熱議，甚至被譽為繼計算機、互聯網之后的變革性技術。ChatGPT依托海量的訓練數據，借助生成式預訓練模型，運用Transformer等深度神經網絡算法，顛覆了先前機械性的人機交互體驗，甚至推動了弱人工智能向強人工智能的歷史性轉化。ChatGPT在具有廣闊應用前景與發展未來的同時，更是對既有的個人信息保護法治體系形成了巨大的沖擊與威脅。當前在《中華人民共和國個人信息保護法》（以下簡稱《個人信息保護法》）、《中華人民共和國數據安全法》（以下簡稱《數據安全法》）頒布實施的背景之下，如何應對ChatGPT引發的法律風險，不僅關乎ChatGPT的具體適用，也深刻影響著技術與法律之間的互動格局，甚至左右國家宏觀布局的走向與趨勢。鑒于此，正視ChatGPT應用中個人信息保護的法律風險，據此提出具有針對性的規范治理對策，具有重要的學術意義與社會價值。

《個人信息保護法》第4條規定：“個人信息的處理包括個人信息的收集、存儲、使用、加工、傳輸、提供、公開、刪除等?！盋hatGPT在運行過程中，幾乎覆蓋了個人信息處理的全流程，必然構成個人信息處理活動。并且，ChatGPT推崇“大數據”“強算法”“高算力”，以最大化實現個人信息處理效果為目的。這種對數據價值的片面追求，可能會沖擊個人信息保護原則，侵犯公民個人信息權益，甚至產生數據泄露的后果。

1.ChatGPT沖擊個人信息保護原則。《個人信息保護法》規定了信息最小化、公開透明、信息質量等個人信息處理的基本原則，與ChatGPT的運行模式之間存在齟齬之處。其一，海量數據是“喂養”ChatGPT的原料，也是該模型迭代升級的關鍵。例如，Open AI在GPT-3模型的預訓練中使用了45TB的數據集。ChatGPT的數據需求是永無止境的，甚至呈現出“數據越多越好”的數據主義傾向，這明顯有違個人信息最小化原則的意旨。并且，截至目前，ChatGPT并未明確刪除個人信息的機制與時限，致使相關個人信息面臨無限期存儲的風險。其二，ChatGPT面臨“算法黑箱”的質疑，欠缺算法可解釋性與可審計性。即便通過逆向工程，技術人員可以觀測神經網絡的底層邏輯，但受限于商業秘密等因素，也難以向用戶解釋其中原理。并且，ChatGPT中的深度學習技術不可避免地會出現“涌現效應”，即生成預期之外的信息，這更加劇了算法模型的解釋難度。其三，ChatGPT與虛假個人信息之間存在“內在互軛關系”，不法分子可能利用ChatGPT開展深度偽造、網絡詐騙等違法犯罪活動，產生大量虛假個人信息。這不僅違反個人信息準確性原則，也會產生網絡安全、數據安全、國家安全等方面的制度隱憂。

2.ChatGPT侵犯公民個人信息權益。ChatGPT的運行機制在一定程度上消解了個人信息權益提供的保護屏障。其一，ChatGPT架空了個人信息知情權與決定權。ChatGPT龐大的預訓練數據集里包含大量個人信息，卻并未就該事實告知用戶，更未取得授權同意。并且，由于個人信息的內容與范圍，并不僅由網絡服務提供者決定，而是還取決于用戶在輸入端的行為，故而ChatGPT難以就個人信息處理的范圍、目的、方式等進行事前的實質性告知。因此，有學者指出，ChatGPT的運行邏輯，在本質上跟以當事人知情同意控制權為核心的數據保護思路并不一致。其二，ChatGPT過度處理敏感個人信息，加劇了個人信息的侵權風險。無論是ChatGPT在網絡上的爬取行為，還是用戶自主輸入的內容，均有可能處理生物識別、宗教信仰、行蹤軌跡等敏感個人信息。根據《個人信息保護法》第28條、第29條的規定，處理敏感個人信息應具有特定目的和充分的必要性，并且需要采取嚴格保護措施，取得個人的單獨同意。然而，ChatGPT并未形成處理敏感個人信息的響應機制。其三，ChatGPT沒有對未成年人設置特別保護機制，降低了未成年人個人信息的權利保護強度。由于未成年人身心發育不成熟，各國法律均秉承“最有利于未成年人原則”，要求個人信息處理者履行更嚴格的個人信息保護義務。然而，根據OpenAI條款，ChatGPT缺乏合理的年齡驗證機制，未成年人可能接收到不適合他們年齡的回復。這也成為意大利個人數據保護局暫停境內訪問ChatGPT的主要理由之一。

3.ChatGPT致使個人信息泄露。《個人信息保護法》第9條指出：“個人信息處理者應當對其個人信息處理活動負責，并采取必要措施保障所處理的個人信息的安全?！比欢?，ChatGPT在運行過程中有違個人信息安全保護原則的要求，并未積極履行數據安全保護義務，反而產生了嚴重的個人信息泄露風險。ChatGPT不僅會面臨命令注入攻擊、訪問控制漏洞攻擊等傳統軟件系統的安全問題，還可能遭受對抗樣本攻擊、模型解釋攻擊等針對人工智能系統的安全威脅。早在GPT-2時期，就發生過嚴重的隱私信息泄露事件。2023年3月20日，ChatGPT出現系統漏洞，部分用戶可以看到其他在線用戶的姓名、郵箱、付款地址以及信用卡后四位等個人信息，致使1.2%的ChatGPT Plus用戶數據被泄露。此外，2023年4月10日我國支付清算協會發布《關于支付行業從業人員謹慎使用ChatGPT等工具的倡議》，其中明確指出ChatGPT存在跨境數據泄露的風險。ChatGPT引發的個人信息泄露風險，在微觀層面可能侵犯個人的生活安寧、財產安全甚至是人身安全，在宏觀層面對網絡安全、數據安全甚至國家安全均會產生負面影響。

面對ChatGPT 引發的個人信息保護風險，應秉持理念先行的立場，通過糾偏治理理念的誤區，形成科學合理的思維導向。目前，在針對ChatGPT 的治理過程中，存在絕對禁止、信息處理至上、概括性治理等理念誤區。對此，應變革治理理念，完成由禁止到規范，由處理至上到保護處理平衡，由概括性治理到場景化治理的轉型，為后續的規則制定、體系完善提供智識指引。

1.規范而非禁止的治理理念。新技術問世之初，往往會引發相關立法態度的動搖與反復。例如，近年來世界各國均面臨禁止抑或規范人臉識別技術的立法糾結。部分立法者面對更具顛覆性的ChatGPT，秉持保守謹慎的態度，暫?；蚪瓜嚓P技術的開發使用。例如，2023年3月31日，意大利個人數據保護局宣布，由于個人信息泄露、缺乏告知機制與未成年人保護機制等原因，將暫時封鎖意大利境內訪問ChatGPT的途徑，并對OpenAI發出限期整改的命令。德國、愛爾蘭、法國的個人信息監管機構也存在跟進禁止ChatGPT的動向。

目前持禁止態度的政府，忽視了個人信息處理是一個連貫延續的過程。ChatGPT中的個人信息處理活動包括前端的收集，事中的加工、存儲、傳輸，以及后續的刪除等環節。其中，個人信息處理風險最為嚴峻的環節并非起始的收集階段。因此，從起始階段就禁止ChatGPT的使用，不僅無法充分發揮前沿科技的紅利，也失去了在后續環節規制風險、實現制度自我完善的可能性。

因此，我國應奉行過程治理的理念，對于ChatGPT的治理應當回歸如何促進規范使用的方向上來，而不是一刀切式地盲目禁止。并且，我國《中華人民共和國網絡安全法》（以下簡稱《網絡安全法》）及《個人信息保護法》《數據安全法》等立法規范，與算法備案、平臺監管、網絡內容治理等行之有效的體制機制，業已形成規制ChatGPT的框架雛形。因此，并無必要因噎廢食，坐失科技進步與制度革新的契機，而應秉持規范、限制的總體治理理念，積極建構綜合治理體系，應對ChatGPT可能帶來的法律風險。

2.個人信息保護與處理并重的治理理念。實現個人信息保護與處理的動態平衡，是個人信息保護法治體系的制度愿景。例如，《個人信息保護法》第1條將“保護個人信息權益，規范個人信息處理活動，促進個人信息合理利用”作為立法目標。因此，在ChatGPT的治理過程中，需要意識到個人信息保護與處理并非非此即彼的對立關系，而應當秉承二者并重的理念，打造個人信息有序共享的法治格局。

一方面，應當保證ChatGPT充分釋放個人信息處理的技術紅利。與隱私保護的禁止傾向不同，個人信息保護制度以“允許”使用作為底層邏輯，推行“凡不禁止皆允許”的法則。申言之，盡管ChatGPT面臨制度風險，但是允許個人信息處理行為仍然屬于需要堅持的原則，而限制使用甚至是禁止使用應當屬于例外情形?！皬挠蛲饬⒎ㄔ戳鱽砜?，個人信息保護制度本質上是個人信息正當利用的一套規則?！币虼耍嚓P立法應為ChatGPT處理個人信息提供良性的制度生態與規范空間，深度挖掘該技術的數據潛力。例如，應當盡快完善ChatGPT的個人信息處理規則，為該技術在算法訓練、數據獲取、跨境傳輸等場景中的功能發揮提供規范支撐。

另一方面，應當運用個人信息保護制度規范ChatGPT的個人信息處理活動。為避免ChatGPT出現個人信息的侵權泄露風險，有必要充分發揮個人信息保護制度的制衡功能，將肆意的個人信息處理行為拉回有序可控、合法適度的軌道。具而言之，個人信息保護中目的限制原則、最小化原則、信息安全原則等基本原則為ChatGPT的規范運用提供了底線思維；敏感個人信息保護規則、跨境傳輸規則等具體制度為ChatGPT的規范運用提供了制度邊界；個人信息權益能夠有效緩釋ChatGPT中數據主義、技術壟斷、物化人性等傾向；個人信息處理者的義務則敦促平臺方積極實現ChatGPT的合規運作。

3.個人信息場景化的治理理念。美國學者海倫·尼森鮑姆提出“場景一致性”理論，主張個人信息處理并無放之四海而皆準的通用規則，而應根據具體場景因素的不同動態變化。該理論為我國學界所吸納，實現個人信息的場景化保護業已成為學界共識。ChatGPT在語言理解、文本創造、信息檢索等領域的強大功能可以應用于各種不同場景，應結合具體場景的特點，進行動態化、差異化治理。例如，如果ChatGPT應用于私人商業場景，則其處理個人信息的主要合法性基礎應是知情同意，保障知情同意的自愿性與實質性屬于治理重點。此外，ChatGPT還可以應用于公共場景。例如，美國哥倫比亞的法官Juan Manuel Padilla Garcia在審判過程中運用ChatGPT生成部分裁判文書。在公共場景中，ChatGPT的運用是否合法，關鍵在于判斷其使用是否為履行法定職責或法定義務所必需。并且，如果是公共部門使用ChatGPT，還應當滿足《個人信息保護法》第二章第三節國家機關處理個人信息的特別規定。此外，不同場景中信息主體、信息敏感程度、信息處理必要性的差異，也會影響 ChatGPT的具體處理規則。例如，如果ChatGPT的使用主體為未成年人，則需要建構符合未成年人身心特點的個人信息保護制度。對此，我國《個人信息保護法》第31條規定：“個人信息處理者處理不滿十四周歲未成年人個人信息的，應當取得未成年人的父母或者其他監護人的同意?！币虼?，ChatGPT的個人信息處理者應當針對未成年人設置區別于成年人的知情同意規則。

規范使用、保護處理并重、場景化三大理念需要相關制度配套實施。這要求ChatGPT中個人信息保護風險的制度治理體系是一種綜合治理體系，而不能是割裂的、單維度的治理模式。具而言之，可以從規范、產業與監管三大維度展開。在規范層面，綜合治理需要實現專門性立法與基礎性立法相結合；在產業層面，綜合治理需要實現研發者、網絡服務提供者、使用者的互動；在監管層面，綜合治理需要打造政府監督與行業監督連通的格局。

1.ChatGPT的規范治理體系。當前我國對ChatGPT的立法主要采取間接治理的方式，以《民法典》《刑法》《網絡安全法》《個人信息保護法》《數據安全法》為代表的部門法與專業法，實現了對ChatGPT的初步規制。然而，隨著ChatGPT的深入應用，規范治理體系應完成從間接治理向直接治理的轉變。對此，應實現專門性立法與基礎性立法相結合。一方面，為保障ChatGPT的急用先行，我國應及時出臺相關規范性文件，具體解決ChatGPT中的個人信息保護問題。例如，2023年4月11日，國家網信辦發布了《生成式人工智能服務管理辦法（征求意見稿）》，不僅明確了生成式人工智能的概念與要求，還在第7條明確指出：數據包含個人信息的，應當征得個人信息主體同意或者符合法律、行政法規規定的其他情形。此外，2022年出臺的《互聯網信息服務深度合成管理規定》也對ChatGPT的具體適用有一定的指導作用。另一方面，應以規制ChatGPT為契機，加強人工智能領域的基礎性立法。為避免應景式立法的局限性，在時機成熟時，應對包括ChatGPT在內的所有人工智能產品進行法律規制。例如，歐盟一直醞釀的《人工智能法案》就建構了覆蓋人工智能全領域的法律框架，不僅能解決ChatGPT中的具體問題，也能為其他人工智能應用提供通用規則。此外，由于ChatGPT具有廣泛的應用場景，針對其中的個人信息保護問題，不能拘泥于傳統的部門法思維，而應順應個人信息保護“領域法學”的趨勢，破除公法與私法之間、實體法與程序法之間的隔閡，建立“以公法為依托，私法為主干，社會法為補充”的規范治理體系。

2.ChatGPT的產業治理體系。在既有的個人信息保護與算法治理的框架中，網絡服務提供者成為治理的關鍵環節。例如，《網絡安全法》《個人信息保護法》《數據安全法》《反電信網絡詐騙法》等立法規范科以網絡服務提供者信息留存義務、安全審查義務、調取配合義務、報告反饋義務等。這種模式雖然形成了對樞紐環節的有效治理，但也不可避免地弱化了對其他主體的治理力度，不利于形成完整的治理鏈條。面對ChatGPT引發的個人信息保護風險，應形成覆蓋前端技術研發者、中端網絡服務提供者與后端使用者的綜合產業治理體系。首先，應加強對大型企業等技術研發者的監管，借助算法備案機制審查研究階段的個人信息保護風險。研發企業應落實“隱私設計保護”理念，在ChatGPT等生成性人工智能產品研發過程中植入個人信息保護的具體機制。其次，網絡服務提供者應充分發揮個人信息影響評估的制度功能，對ChatGPT中的敏感個人信息處理活動、自動化決策活動進行風險評估與過程記錄。相關平臺應主動開展安全風險審查活動，避免帶有偏見、歧視、暴力等不良因素的人工智能產品流入市場。此外，網絡服務提供者應積極履行個人信息處理者的義務，開展員工培訓，實現產品、技術、服務的合規運作。最后，在使用端應充分發揮《刑法》等立法規范的治理作用。目前在司法實踐中已經出現利用ChatGPT實施刑事犯罪的案例。例如，犯罪嫌疑人洪某利用ChatGPT修改、編輯新聞要素后，使用“海豹科技”軟件上傳相關信息并非法獲利。因此，立法和執法部門應警惕、并嚴厲打擊撰寫“釣魚”軟件、生成詐騙腳本等非法使用ChatGPT處理個人信息的行為。

3.ChatGPT的監管治理體系。《個人信息保護法》第60條將國家網信部門設置為負責統籌協調個人信息保護工作和相關監督管理工作的機構。然而，國家網信部門不僅缺乏獨立性，并且在調查手段方面也面臨制度供給不足的局面，難以實現理想的治理效果。對此，應當打造政府監督與行業監督互動聯通的監管治理格局。在政府監督方面，檢察機關能夠因應ChatGPT中個人信息處理的民事場景、行政場景與刑事場景。因此，應當發揮檢察機關法律監督的作用，融合“四大檢察”業務中個人信息保護的既成經驗，促進ChatGPT研發運營企業實現數據合規。在時機成熟之時，應當成立獨立的個人信息監管機構，將監管ChatGPT等生成性人工智能產品中的個人信息處理活動作為機構的重點內容之一。在行業監督層面，應當設置算法審計委員會、人工智能技術評估委員會等第三方機構。專門監督不能依附于行政機構，需要具有一定的獨立性。算法審計委員會、人工智能技術評估委員會的監管內容主要包括審查算法備案、建構生成式人工智能的行業標準、提供人工智能產品的實施細則、對ChatGPT等產品進行質量檢測、提供評估報告等。國家機關的政府監督應當與第三方的行業監督有機結合，形成完整的ChatGPT監管治理體系。

ChatGPT的到來，不僅是人工智能技術發展的奇點，也必將引發人類生產生活各個領域的巨大變革。ChatGPT的技術應用與個人信息保護法治體系之間的沖突，只是技術與法律交織碰撞的一個縮影。其背后更為根本性的問題是，如何保證法律規范因應技術沿革，避免技術發展偏離法治軌道，進而實現法律與技術的融合與共振。對此，我國應摒棄“技術中立”的空洞立場，積極應對ChatGPT等新興技術帶來的制度風險，將新技術革命視作法律規范自我完善的時代契機。并且，應當樹立綜合治理的理念，在內部打通部門法之間的規范隔閡，貫徹“領域法學”的觀念，打造公法私法并行、實體法程序法共治的法治格局。在外部需要將視野從規范治理躍升至更為宏觀的社會綜合治理，實現多路徑、多手段、多主體的聯合共治。

作者單位 孟凡騫 中國刑事警察學院

王仲羊 西南政法大學刑事偵查學院

本文系重慶市教育委員會人文社會科學研究項目 “智慧司法時代刑事訴訟中個人信息保護的體系研究”（項目編號：23SKGH026）、遼寧省社會科學規劃基金重點項目“習近平法治思想指引下的政法類期刊創新內涵發展研究”（項目編號：L21AXW008）、中國刑事警察學院2022年度校級科研項目“政法期刊培育中國式現代化法治人才路徑研究” （項目編號：D2022070）的研究成果。

參考文獻

[1]KOSTA MITROFANSKIY.GPT-3 Chatbot from Open AI： A Game Changer for Businesses[EB/OL].（2023-02-14）[2023-11-10]. https：//intellisoft.io/gpt-3-chatbot-from-openai-a-game-changerfor-businesses/.

[2]舒洪水，彭鵬.ChatGPT場景下虛假信息的法律風險與對策[J].新疆師范大學學報（哲學社會科學版），2023（05）.

[3]Kristi Hines. Exploring Italy’s ChatGPT Ban And Its Potential Impact[EB/OL].（2023-04-06） [2023-11-10].https：//www. searchenginejournal.com/chatgpt-ban-italy/484157/#close.

[4]趙精武，王鑫，李大偉，等.ChatGPT：挑戰、發展與治理[J].北京航空航天大學學報（社會科學版），2023（02）.

[5]高富平，王苑.論個人數據保護制度的源流——域外立法的歷史分析和啟示[J].河南社會科學，2019（11）.

[6]Nissenbaum H.Privacy in Context[M].Stanford：Stanford Law Books，2009.

[7]程關松.個人信息保護的中國權利話語[J].法學家，2019（05）.

【編輯：朱垚穎】