類ChatGPT系統的刑事風險與治理路徑

Doi：10.11835/j.issn.1008-5831.fx.2023.11.001

歡迎按以下格式引用：房慧穎.類ChatGPT系統刑事風險與治理策略［J］.重慶大學學報（社會科學版），2024（6）：263-272.Doi：10.11835/j.issn.1008-5831.fx.2023.11.001.

Citation Format： FANG Huiying. Criminal risk and governance path of ChatGPT-like system［J］.Journal of Chongqing University （Social Science Edition），2024（6）：263-272.Doi：10.11835/j.issn.1008-5831.fx.2023.11.001.

摘要：“類ChatGPT系統”，是指以ChatGPT為代表的生成式預訓練和算法語言轉換相結合的內容生成式人工智能（AIGC）。類ChatGPT系統在推動人類社會發展的同時，也帶來相應刑事風險。類ChatGPT系統為了完成生成某一內容的指令而獲取相應信息時，容易脫離人類控制與干預，有可能會不當侵犯其他數據庫的保護措施，從而侵犯其他數據的保密性。同時，類ChatGPT系統生成違法犯罪信息，或使用者不當利用類ChatGPT系統所生成的信息，也可能會涉及相應的刑事風險。但是，根據類ChatGPT技術的發展現狀，其尚不具有獨立自主的意識和意志，不可能作為犯罪主體，其本質屬性仍是人類的工具。刑法規制類ChatGPT系統犯罪，也并非規制類ChatGPT系統所實施的犯罪行為，而是規制類ChatGPT系統背后的人類過錯。在類ChatGPT系統的研發和使用過程中，為有效治理技術風險，使技術“向善”，研發者應當履行保證人義務，盡最大可能預測、識別類ChatGPT系統可能引發的刑事風險，并及時采取有效策略化解危機。使用者在使用類ChatGPT系統的過程中，不能故意誘導其違反道德倫理或法律法規輸出違法犯罪內容。如果研發者未盡最大可能預見并阻止類ChatGPT系統輸出違法犯罪信息，或者使用者故意誘導類ChatGPT系統輸出違法犯罪信息，可能需要承擔相應的刑事責任。從宏觀層面而言，刑法在治理類ChatGPT系統涉及的刑事風險時，始終應當堅持自身的謙抑性，如果前置法律法規能夠有效治理類ChatGPT系統所引發的風險，刑法的“觸角”就應適度后移，避免因刑法規制手段的泛化使用而對技術創新發展形成阻礙。從微觀層面而言，針對類ChatGPT系統刑事風險的內容與特征，需構建治理類ChatGPT系統刑事風險的分級治理機制：通過類ChatGPT系統研發企業制定與執行自治計劃，探索能夠有效預防類ChatGPT系統刑事風險的治理策略；提高行政監管力度，將科技監管手段融入行政監管體系，利用行政手段降低刑事風險實際發生的幾率；刑事治理手段的使用必須嚴格遵循前置法律法規失效的前提條件，對行為刑事違法性的判斷要在罪刑法定原則框架內進行，不能以行政違法性判斷代替刑事違法性判斷。

關鍵詞：ChatGPT；數據犯罪；科技監管；分級治理

中圖分類號：D9247""文獻標志碼：A""文章編號：1008-5831（2024）06-0263-10

2022年11月，美國的OpenAI公司發布的人工智能新產品——ChatGPT（Chat Generative Pre-trained Transformer），因其在自然語言處理領域的超智能性，在社會各界引發廣泛討論。本文所稱“類ChatGPT系統”，指的是以ChatGPT為代表的生成式預訓練和算法語言轉換相結合的內容生成式人工智能（AIGC）［1］。以ChatGPT、Bing Chat與Bard為代表的生成式人工智能，可以在短時間內完成高質量代碼、論文等的創作和翻譯，在人工智能創作領域取得了突飛猛進的進展。

類ChatGPT系統的運作模式為，在接收到使用者的創作指令時，首先搜羅與要創作內容相關的數據文本，將這些數據文本收納到自己的數據庫中，然后通過Transformer模型，生成和人類的思考方式以及表達習慣高度重合、類似的內容。ChatGPT這一現象級產品的問世，將引發對人類產生重大影響的“思維革命”［2］，同時不可否認的是，類ChatGPT系統在促進人類科技進步的同時，也蘊含著諸多刑事風險。2023年8月15日，《生成式人工智能服務管理暫行辦法》正式施行。作為中國首份生成式人工智能監管文件，上述管理辦法體現了現階段監管機構的態度，即“既要重視發展，也要重視風險”。本文將從人工智能刑法與刑法教義學的視角出發，檢視類ChatGPT系統所涉刑事風險，并從宏觀層面和微觀層面進行分析與探討，提出有針對性的治理策略，以達到使技術“向善”的目的。

一、類ChatGPT系統的三重刑事風險

類ChatGPT系統為了生成符合使用者要求的內容，需要獲取大量的數據資料，而這一過程目前仍處于“黑箱”狀態，也即并非是在人類的監督之下進行的；同時，在人類設置好程序之后，類ChatGPT系統基于Transformer模型生成相關內容的過程也無人類直接介入。這就導致類ChatGPT系統在一定程度上可能引發刑事風險。

第一重刑事風險：數據來源不當{主要涉及《中華人民共和國刑法》第180條、第219條、第253條之一、第282條、第285條第二款、第431條等規定的罪名。}。類ChatGPT系統作為基于神經網絡開發的大語言模型，建立在海量文本數據預訓練的基礎上［2］。其里程碑式的發展和優越性，離不開互聯網海量數據的支持，數據就是類ChatGPT系統的生命，相關研發企業則是典型的數據驅動型企業。類ChatGPT系統為了生成符合使用者要求的內容而在獲取相關數據資料的過程中缺乏人類監督，也即類ChatGPT系統為了完成生成某一內容的指令而獲取相應信息時，容易脫離人類控制與干預。根據現有技術，類ChatGPT仍是一個算法“黑箱”，其數據來源從未被公開，其生成內容所依托的數據庫中的數據來源是否經過數據權利人合法授權，目前仍然存疑。可見，在類ChatGPT系統預先學習既有的文本語料的過程中，有可能會不當侵犯其他數據庫的保護措施，從而侵犯其他數據的保密性。換言之，刑法為了保護某些特定數據信息的保密性，而設置了相關條文，類ChatGPT系統在獲取數據資料的過程中具有觸犯這些刑法條文的刑事風險。例如，類ChatGPT系統在生成內容前獲取數據的準備階段，利用“爬蟲”等工具獲取了其他企業的商業秘密，則可能因觸犯《中華人民共和國刑法》（以下簡稱《刑法》）第219條而構成侵犯商業秘密罪；再如，對于ChatGPT這類大語言模型而言，其需要的數據極其龐雜，不加限制地使用技術手段繞過他人技術防護獲取數據，則可能因觸犯《刑法》第285條第二款而構成非法獲取計算機信息系統數據罪。

第二重刑事風險：生成內容不當{主要涉及《中華人民共和國刑法》第103條、第105條、第120條之三、第181條、第221條、第249條、第278條、第291條之一、第295條、第299條、第299條之一、第353條、第359條、第364條、第373條、第378條、第422條、第433條。}。如前所述，類ChatGPT系統要在無人類介入的情況下獲取和學習相關數據資料，這就容易導致類ChatGPT系統在生成內容前的獲取信息過程中脫離人類干預和控制。因此，類ChatGPT系統獲取數據時，并沒有經過人為的正確性過濾，從而導致類ChatGPT系統所使用的數據存在源頭上的錯誤、虛假、不合規，乃至不合法風險。既然類ChatGPT系統所使用的數據在源頭上存在不可靠性，則其生成內容的真實性、合法性就無法得到保障。類ChatGPT系統生成虛假或違法犯罪信息，容易給國家安全、社會穩定、個人權益保障造成巨大威脅。

第三重刑事風險：利用內容不當。一方面，將類ChatGPT系統所生成的違法犯罪內容，作為犯罪行為的“靈感”來源或者作為犯罪行為的幫助手段，會涉及相應刑事風險。例如，行為人利用類ChatGPT系統，根據受害者的特征制定個性化的詐騙計劃，會大大增加受害者上當受騙的幾率；再如，行為人通過類ChatGPT系統偽造與案件有關的信息，影響正常的司法秩序和司法判決。應當看到，根據類ChatGPT技術的發展現狀，其尚不具有獨立自主的意識和意志，不可能作為犯罪主體，其本質屬性仍是人類的工具。刑法規制類ChatGPT系統犯罪，也并非規制類ChatGPT系統所實施的犯罪行為，而是規制類ChatGPT系統背后的人類過錯。形式上看，犯罪行為是由類ChatGPT系統直接實施的，實質上類ChatGPT系統只是在完成使用者下達的指令，對犯罪行為和犯罪結果起直接支配作用的是使用者而非類ChatGPT系統［3］。輔助工具的使用不會使犯罪性質和犯罪形態發生根本變化。例如，使用棍子非法剝奪被害人的生命和使用殺人機器人非法剝奪被害人的生命，不會改變行為的故意殺人罪的根本性質。換言之，對犯罪的認定仍是以客觀實際上發生的犯罪行為為標準，而非以幫助行為的來源為標準。

另一方面，未經有效許可而擅自利用類ChatGPT系統生成內容，可能會因侵犯相關著作權而涉嫌著作權犯罪。類ChatGPT技術的創新和發展，重塑著著作權領域中成果性質認定與保護的底層邏輯，并為當前法律制度帶來了一系列顛覆性的挑戰。關于人工智能生成的內容是否可以作為著作權法所保護的“作品”，一直以來存在巨大爭議。實踐中曾出現過將人工智能生成內容認定為作品的案例{2019年，在“騰訊訴上海盈訊公司著作權侵權案”中，騰訊公司主張其開發的 Dreamwriter 軟件生成的文章屬于“作品”，享有相關權利，該主張得到深圳市南山區人民法院的支持。法院認為：“從涉案文章的外在表現形式與生成過程分析，該文章的特定表現形式源于創作者個性化的選擇與安排，并由Dreamwriter軟件在技術上‘生成’的創作過程均滿足著作權法對文字作品的保護條件，本院認定涉案文章屬于我國著作權法所保護的文字作品。”參見廣東省深圳市南山區人民法院（2019）粵0305民初14010號判決書。}。而類ChatGPT系統的出現和發展，導致這一爭論重新進入人們的視野。在類ChatGPT系統出現之前，人工智能生成的內容往往是程序機械性運作所得出的結果，不具有獨特性［4］，一般不會被認定為著作權法所保護的作品。而類ChatGPT系統所生成的內容和人類相比，在表達上幾乎無異，且其具有了一定程度的“涌現能力”{“涌現能力”指的是當人工智能模型參數達到一定量級之后，會突然擁有包括常識推理、問答、翻譯等一系列類似人類的“智慧能力”。}，意味著其向通用型（Artificial General Intelligence）人工智能邁出了重要一步，也就意味著其生成的內容在形式上具有獨創性。如類ChatGPT系統能夠對某位知名作家的創作文風進行模仿，從而生成文風相同但內容卻完全不同的新內容，從這個意義上而言，文學創作中的獨立思考和計算機程序算法之間的界限被進一步縮小［5］。從實然層面而言，鑒于類ChatGPT系統生成的內容是人工智能基于算法和數據進行建模后自動生成的，并非人類的個性化表達，人類在此過程中的參與度極低，將其作為“作品”保護與傳統著作權法理論相背離，存在制度障礙。然而，從應然層面而言，類ChatGPT系統生成的內容具有一定商業價值，通過著作權相關制度對其進行產權化保護［6］，是在人工智能時代解決類ChatGPT系統生成內容所涉法律糾紛的有效路徑。在此意義上而言，未經有效許可而擅自利用類ChatGPT系統生成內容，可能會因侵犯相關著作權而涉嫌著作權犯罪。

二、類ChatGPT系統刑事風險的宏觀治理原則

刑法的規制手段與其他法律的規制手段相比，明顯更具嚴厲性。治理類ChatGPT系統的刑事風險時，刑法應有所為有所不為，在保證算法安全可控的同時，也應堅持自身的謙抑性，從而避免因對社會治理的過度介入而形成對技術發展創新的阻礙。為此，刑法在規制類ChatGPT系統的刑事風險時，應堅持算法可控原則，堅守刑法謙抑性原則。

（一）堅持算法可控原則

算法作為類ChatGPT系統運作的底層支撐邏輯，具有極強的專業性，很容易在專業人士與非專業人士之間形成技術壁壘。類ChatGPT系統的正常運行離不開算法，但非專業人士難以真正掌握算法運作原理，更談不上改變和影響算法運作過程。所以，有能力影響類ChatGPT系統算法編制和運作程序的只能是專業人士。盡管技術具有中立性已成為共識，但是類ChatGPT系統所依托的技術中立，不等于其輸出內容的中立。事實上，類ChatGPT系統也可能體現人類的價值判斷。盡管類ChatGPT系統的運作過程具有形式上的自主性，但其運作的原動力也即算法在被設計和編寫的過程中，通常會不可避免地受到設計者價值取向、倫理道德等的影響。因此，在類ChatGPT技術發展過程中，堅守科技倫理，保證類ChatGPT技術發展的安全性、可靠性，便顯得至關重要。在類ChatGPT系統研發與使用的過程中，為了最大限度地防范技術所引發的風險，確保技術“向善”，研發者應盡力排除安全隱患。以OpenAI公司為例，其在ChatGPT的研發階段，應最大限度履行相應注意義務，從而避免ChatGPT生成含違法、犯罪信息的內容。具體而言，類ChatGPT技術發展所應堅持的算法可控原則以算法透明原則與算法安全原則的形式存在。

其一，算法透明原則。基于類ChatGPT系統的專業性，只有盡最大可能確保風險源頭透明度，才有利于盡早識別類ChatGPT系統運行過程中可能引發的風險，有利于受害者（包括個人、社會乃至國家）明晰權益受損狀況，進而明確造成權益受損方的刑事責任。因此，在類ChatGPT技術發展過程中，保證算法一定程度上的透明度，對于防控類ChatGPT系統風險具有關鍵性的作用。

其二，算法安全原則。所謂“算法安全”，并非是指類ChatGPT技術發展的零風險，而是指在類ChatGPT技術發展的同時，也應注重對個體權利的保障和對技術風險的有效預防，也即類ChatGPT技術的發展不應對個人與社會造成威脅或實質性侵害。應從以下三個層面理解算法安全原則：一是個人利益保障，即類ChatGPT的研發和應用不能造成個人權利與自由的減損，不能侵害個體尊嚴；二是技術安全，即類ChatGPT系統運行所依賴的算法與技術應符合相關法律、法規與行業規范，且具備及時修復系統安全漏洞的能力；三是算力資源安全，即類ChatGPT技術發展與創新過程中，不得以不恰當方式對他人合理使用算力資源的行為予以限制，應合理分配和使用算力資源。

（二）堅守刑法謙抑性原則

ChatGPT的出現是人工智能技術發展的重要里程碑［7］。然而，技術創新在帶來社會進步的同時也會產生相應的副作用。正如前述，類ChatGPT系統不僅可能淪為犯罪分子實施傳統犯罪時的“幫兇”，還可能引發新型的犯罪，從而危害社會穩定與國家安全。當兩種利益發生沖突時，為了重新構建法律和平狀態，只有兩種途徑：一是一種利益向另一種利益讓步；二是兩種利益都作出一定程度的讓步［8］。為最大限度地實現科技發展和社會治理二者的平衡，最大限度地發揮類ChatGPT系統的社會功用，進而最大限度地實現社會福祉，刑法需嚴格把握治理類ChatGPT系統刑事風險的尺度，既要實現有力治理類ChatGPT系統引發的風險，又不能扼殺類ChatGPT系統技術創新［9］。立法活動作為國家的上層建筑，不能先于經濟變革的步伐而沖鋒在前，而只能緊隨經濟發展與技術變革的腳步，及時作出調整，否則便有激進與輕率之嫌。激進的、過度活躍的刑事立法注重社會保護而忽視人權保障，積極證立國家刑罰權的擴張，隱含著國家權力過度膨脹的重大風險，與刑法謙抑性原則相抵牾。可見，刑事立法如不能順應時代潮流作出與時俱進的調整，則會在規制技術發展所引發的風險方面顯得力所不逮；如為滿足時代和技術發展需求而作出過于頻繁、活躍的修改，則會因抵牾刑法謙抑性原則而顯得過猶不及。因此，刑事立法的調整需要把握合理尺度，尺度合理與否的檢驗標準便是是否符合刑法謙抑性原則。

如果刑法之外的其他部門法有能力從根本上治理或者遏制某個具有社會危害性的行為，實現對合法利益的保護，則刑法就沒有將該行為認定為犯罪的必要性。這是由刑法嚴厲性特征及其在法律體系中的作用和地位所決定的。在法律體系中，刑法的地位是保障法，當其他法律無法抑止違法行為時，才能動用刑法。同時，刑罰的適用，既有積極作用，也有消極作用，應適當控制刑法的適用范圍。也即當其他治理手段均宣告無效時，刑法將該行為認定為犯罪才具有必要性［10］。刑法目的的實現具有優先性序列，個人法益應優先得以保護，刑法不應為了維護社會秩序的良好運轉而過度侵占公民個人自由的空間［11］。治理某一危害行為，應當遵循道德教化、行政規制、刑事懲戒的位階，只有當前面的手段失效時，才可嘗試使用后一手段［12］。在當今社會大變革時代，傳統犯罪行為在新技術的影響下，會發生一定程度的“量變”或“質變”［13］。在這一過程中，刑法不能盲目擴大犯罪圈，一味強調介入社會治理，而應當始終保持審慎的態度，以理性姿態控制好規制不良行為的限度，防止觸角的過分前伸。對刑法審慎介入社會治理的提倡，并不意味著對犯罪行為的放縱，而是倡導盡量優先適用其他法律規制手段［14］。只有其他法律手段無法實現對類ChatGPT系統所涉風險的有效治理之時，刑法的介入才具有正當性與必要性。

刑法與其他部門法的違法懲治手段的明顯不同在于觸犯刑法的法律后果是刑罰，刑罰實質上是對個人財產、自由乃至生命的剝奪，且刑罰確認之前的程序，諸如對犯罪嫌疑人實施的逮捕、拘留以及對被害人進行的審判等程序，都是重大的不利益，而其他部門法的法律后果，諸如恢復原狀、賠償損失，并非對行為人的重大不利益。因此，必須將刑事處罰限縮在“必要的最小限度之內” ［15］。“即使行為侵害或威脅了他人的生活利益，也不是必須直接動用刑法。可能的話，采取其他社會統治手段才是理想的。可以說，只有在其他社會統治手段不充分時，或者其他社會統治手段（如私刑）過于強烈、有代之以刑罰的必要時，才可以動用刑法”［16］。正因如此，對于類ChatGPT系統所引發的風險，刑法固然不能視而不見、坐視不理，但同時也應隨時以最后手段性標準進行自我檢視。刑法在治理類ChatGPT系統涉及的刑事風險時，始終應當堅持自身的謙抑性，不能因為刑法規制手段的泛化使用而對技術創新發展形成阻礙。如果前置法律法規能夠有效治理類ChatGPT系統涉及的刑事風險，刑法的“觸角”就應適度后移，避免越位。

三、類ChatGPT系統刑事風險的微觀治理策略

正如前述，刑法治理類ChatGPT系統涉及的刑事風險時，始終應當堅持算法可控原則和謙抑性原則。為此，應貫徹分級治理的策略。其一，通過類ChatGPT系統研發企業自治計劃的執行，探索能夠有效預防類ChatGPT系統刑事風險的策略［17］；其二，提高行政監管力度，將科技監管手段融入行政監管體系，利用行政手段降低刑事風險實際發生的幾率；其三，使用刑事手段治理已經觸犯刑事違法性這條“底線”的犯罪行為，刑事治理手段的使用必須嚴格遵循前置法律法規失效的前提條件［18］。同時，應引導、督促研發企業建立并實施數據合規計劃，從“源頭”消減刑事風險，促使技術“向善”。

（一）企業自治：研發企業保證人義務的履行

具備開發類ChatGPT系統等技術的企業，通常是機制龐大的超大型互聯網企業（下文將其簡稱為“研發企業”）。研發企業的研發行為位于風險鏈條的前端，且具有明顯技術優勢，更有能力在風險現實化演進的進程前期化解風險。因此，研發企業作為類ChatGPT系統技術風險的“源頭”，理應更好地履行保證人義務，保證其所研發和生產的類ChatGPT系統無安全風險［19］，確保技術“向善”。研發企業自治計劃即是消減類ChatGPT技術風險、確保類ChatGPT技術有序發展的重要途徑。

首先，研發企業自治計劃實施的關鍵在于建立健全企業管理體系，確保企業的研發行為在法律法規的框架內進行，從而履行好保證人義務。對類ChatGPT系統研發企業而言，其自治計劃主要應由兩方面組成：一是有效履行保證人義務；二是配合執法與應對危機。研發企業自治計劃的實施，有利于阻斷類ChatGPT系統研發企業犯罪，實現企業治理的積極效果，更為徹底地化解類ChatGPT系統的風險與危機。

其次，研發企業自治計劃實施的方式在于保證人義務的履行。算法可控性及算法可解釋性是實現類ChatGPT系統研發企業保證人義務的基礎，也是治理和防范類ChatGPT系統刑事風險的關鍵［20］。有學者提出，“技術黑箱”始終都是存在的［21］，但是技術人員已經通過逆向工程等方法觸摸到了神經網絡底層邏輯，并以可視化形式展示這一技術成果，從而打開了神經網絡黑箱［22］。社會中的每個主體都承擔不同的社會角色，承載不同的社會意義，但不同主體之間的角色和意義不能割裂，而要把每個主體的角色和意義放在整體的社會生態中進行把握和理解［23］。研發企業位于風險鏈條前端，具有防控類ChatGPT系統風險的技術優勢，其保證人義務的履行可以最大程度降低危害結果發生的現實可能性。

最后，研發企業自治計劃實施的重點在于對數據的依法依規利用。類ChatGPT系統研發企業在運營的過程中，往往會伴隨數據的傳輸、存儲、利用及交易等，這容易導致對數據安全的多層次、多節點的威脅。在制定類ChatGPT系統研發企業自治計劃時，應把數據依法依規利用視作重點內容，明確研發企業經營過程中所要承擔的具體作為義務，也即將刑法賦予的數據安全保障義務以具體化方式呈現為企業的運營規則，該運營規則中包括履行數據安全保障義務的具體方式和手段，從而真正實現將外在的法定義務內化成企業自身的運行方式和管理制度。具體而言，數據獲取階段，研發企業應根據相關法律法規，制定具體規章制度，建立數據獲取的風險評估機制；在數據利用階段，研發企業應提高違法犯罪預判能力和識別水平，在源頭上實現對數據泄露與濫用數據風險的有效防控。

（二）政府監管：科技監管融入行政監管的具體方式

類ChatGPT系統的專業性強，通過傳統的監管手段與依靠人為監管的力量無法有效突破技術壁壘，因此，在預防和治理類ChatGPT系統刑事風險時，科技手段可以在行政監管中扮演重要角色。科技手段能有效提升行政監管效能，降低類ChatGPT系統風險向現實演進的概率。科技監管手段的實現方式具體如下。

第一，監管機構與研發企業二者之間建立數據信息共享與合作共治機制。在以往的監管模式中，被監管人被動提供運營數據以供監管機關檢查和監督。被監管人被動提供的數據是監管人判斷企業行為是否合法的重要依據。在這種監管模式下，監管者自上而下地對被監管者實施治理與監管，看似處于強勢地位，但在信息獲取層面看，被監管者所提供的信息可能是被篩選、隱藏甚至是偽造的，形式上處于優勢地位的監管者，實際上位于劣勢地位。數據信息共享機制和合作共治機制的建成，有利于改變監管者獲取信息被動性所導致的弱勢地位，使監管者可以主動地獲取數據，有效破解傳統監管模式中信息不對稱的困局。同時，正如前述，對類ChatGPT系統研發企業而言，監管者對被監管者進行監管的依據主要是監管者所獲取的運營數據。傳統監管模式下，被監管者在被動及被強制提供數據時，為了企業自身利益的最大化，可能會怠于履行提供數據的義務，甚至可能會提供被篩選、隱藏甚至是偽造的數據。在研發企業和監管機構之間，建立共享數據信息的有效合作機制，實現二者的合作共治，有利于監管者獲取第一手數據資料，從根本上杜絕被監管企業偽造數據資料的可能性。這將大大提升監管者對于風險的預測能力和識別能力，從而有利于更快速地化解風險、處理危機。

第二，監管機構建立實時、動態的智能化監管與審核機制。科技的快速發展催生出了類ChatGPT系統技術，與傳統技術相比，類ChatGPT技術具有一定程度的先進性和特殊之處，如果監管機構仍采用傳統監管方式，則無法實現對新技術所引發風險的有效監管。因此，監管機構應將科技監管的手段充分融入行政監管手段之中，進一步提升監管技術，根據類ChatGPT系統技術的特征與發展水平，有針對性地利用智能化的審核技術進行監管。監管者拓展監管方式，運用智能化技術充分提高和優化監管水平，有利于更加快速、精確地預判、識別和處理風險。具體來說，監管者可將監管規則通過編程，以代碼化的方式予以呈現，并將其內化于監管系統。監管者在監督研發企業運營過程時，可通過自動比對的形式，比對類ChatGPT系統研發過程和相關規則的匹配程度，如有非正常情況，則及時發出警告信息。此種方式可以幫助監管者準確、及時地識別類ChatGPT系統運作時所出現的風險或者異常情況，進而及時制止和處理風險，實現于無形中化解危機的初衷。退一步講，即便監管者未能有效化解危機，仍使類ChatGPT系統的風險現實化，監管者對類ChatGPT系統所作的實時監督所形成的數據資料，也可以成為危險現實化后進行事后治理的重要證據和有力依據［24］。

可見，技術的發展一方面為行政監管增加難度、帶來挑戰，另一方面也為監管模式創新和變革提供了難能可貴的機遇。將科技監管手段融入行政監管體系，具有顯而易見的優越性與重要意義。加強對類ChatGPT系統的科技監管，能夠在相當程度上彌合傳統監管模式的缺陷，有利于監管者準確、快速地預判、識別和預防風險，最終實現類ChatGPT系統技術的健康發展。

（三）司法認定：涉數據犯罪的認定方案

類ChatGPT系統并不能作為犯罪主體，換言之，類ChatGPT系統沒有承擔刑事責任的主體資格，其研發企業、使用者等相關自然人或單位主體才可能最終作為刑事責任主體，為類ChatGPT系統所涉及的刑事風險承擔刑事責任。對于類ChatGPT系統突破道德倫理和法律底線而輸出違法犯罪信息，在滿足犯罪構成要件的前提下，根據違法犯罪信息的內容追究研發企業或者使用者的刑事責任即可；未取得使用資格的自然人或者單位使用類ChatGPT系統生成的內容是否有可能構成著作權犯罪，取決于著作權法對于“作品”的認定標準。值得探討的是，在類ChatGPT系統生成相應內容前，其會進行獲取數據等相應的準備工作，在此過程中，如果其有不當行為且涉及刑事風險，如何進行追責值得探討。筆者認為，對于類ChatGPT系統研發企業涉嫌數據信息犯罪的追責，應嚴格遵循數據犯罪的雙重違法性特征，同時，不應以對獲取數據行為行政違法性的判斷替代對行為刑事違法性的判斷。

其一，對類ChatGPT系統研發企業涉嫌數據信息犯罪的認定，應嚴格遵循雙重違法性標準。數據犯罪是法定犯，其構成應同時滿足行政違法性和刑事違法性。換言之，類ChatGPT系統研發企業不當獲取數據的行為，只有在違反了相應的前置性法律法規，具備了行政違法性的前提下，我們才能進一步考慮該行為是否違反了刑法中有關數據犯罪的規定，是否構成犯罪。在類ChatGPT系統研發企業不當獲取數據行為的司法認定中，前置性法律法規始終應處于承上啟下的地位，即當研發企業自治計劃失靈時，監管機關應根據前置性法律法規的規定對研發企業進行處罰；當前置性法律法規失效時，刑法才能介入對研發企業不當獲取數據行為的規制。只有堅持企業自治計劃、前置性法律法規治理、刑法規制的三階治理策略，才能準確把握刑法介入類ChatGPT系統研發企業不當獲取數據行為的時機［25］，避免刑法過早介入而阻礙研發企業的積極性，甚至遏制技術進步的進程，同時也避免刑法過晚介入對數據安全造成無法挽回的不利影響。

其二，對類ChatGPT系統研發企業涉嫌數據信息犯罪的認定，不應以對獲取數據行為行政違法性的判斷替代對行為刑事違法性的判斷。應當看到，類ChatGPT系統研發企業不當獲取數據的行為具有行政違法性，只是其具有刑事違法性的必要條件而非充分條件。換言之，類ChatGPT系統研發企業不當獲取數據的行為構成犯罪，則其必然具有行政違法性；但反之，類ChatGPT系統研發企業不當獲取數據的行為具有行政違法性，并不必然證明其構成犯罪。認定某一行為構成犯罪，應從行為實質侵害法益的角度進行判斷，不能簡單地以行為具有行政違法性作為充分必要條件。詳言之，《網絡安全法》《數據安全法》《個人信息保護法》等前置性法律法規為數據犯罪的認定提供了細致、具體的標準，未違反上述前置性法律法規的行為必然不構成數據犯罪，但反之則不然，以防刑罰處罰范圍的不當擴張。

結語

類ChatGPT系統涉及的刑事風險包括數據來源不當、生成內容違法違規、使用不當手段對生成的內容加以利用等。刑法在治理類ChatGPT系統所涉及的相關刑事風險時應當堅持有所為和有所不為，即在保證算法安全可控的同時，也應當堅持刑法的謙抑性，以防止刑法觸角的過度延伸而阻礙技術發展。實施分級治理策略，構建“過濾”涉類ChatGPT系統犯罪的三道“濾網”是實踐上述原則的有效途徑：第一道“濾網”即通過類ChatGPT系統研發企業制定與執行自治計劃，探索能夠有效預防類ChatGPT系統刑事風險的策略；第二道“濾網”即提高行政監管力度，將科技監管手段融入行政監管體系，利用行政手段降低刑事風險實際發生的幾率［26］；第三道“濾網”即使用刑事手段治理已經觸犯刑事違法性這條“底線”的犯罪行為，刑事治理手段的使用必須嚴格遵循前置法律法規失效的前提條件，堅持企業自治計劃、前置性法律法規治理、刑法規制的三階治理策略，準確把握刑法介入類ChatGPT系統研發企業不當獲取數據行為的時機。

參考文獻：

［1］ 蒲清平，向往.生成式人工智能：ChatGPT的變革影響、風險挑戰及應對策略［J］.重慶大學學報（社會科學版），2023（3）：102-114.

［2］ 朱光輝，王喜文.ChatGPT的運行模式、關鍵技術及未來圖景［J］.新疆師范大學學報（哲學社會科學版），2023（4）：113-122.

［3］ 姚萬勤.對通過新增罪名應對人工智能風險的質疑［J］.當代法學，2019（3）：3-14.

［4］ 王遷.論人工智能生成的內容在著作權法中的定性［J］.法律科學，2017（5）：148-155.

［5］ 房慧穎.論人工智能生成內容的法律保護問題［J］.山東社會科學，2023（9）：179-184.

［6］ 劉憲權.人工智能生成物刑法保護的基礎和限度［J］.華東政法大學學報，2019（6）：60-67.

［7］ 趙廣立.ChatGPT敲開通用人工智能大門了嗎［N］.中國科學報，2023-02-22（03）.

［8］ 卡爾·拉倫茨. 法學方法論［M］.陳愛娥，譯.北京：商務印書館，2003：279.

［9］ 房慧穎.生成型人工智能的刑事風險與防治策略：以ChatGPT為例［J］.南昌大學學報（人文社會科學版），2023（4）：52-61.［10］ 〖ZK（#〗陳興良.刑法哲學［M］.北京：中國政法大學出版社，2004：7.

［11］ 平野龍一.刑法的基礎［M］.黎宏，譯.北京：中國政法大學出版社，2016：90.

［12］ 儲槐植.美國刑法［M］.北京：北京大學出版社，1987：85.

［13］ 馮亞東.理性主義與刑法模式［M］.北京：中國政法大學出版社，1998：10.

［14］ 房慧穎.侵犯數據產品權利行為的刑法認定［J］.理論與改革，2024（5）：150-160.

［15］ 陳興良.刑事政策視野中的刑罰結構調整［J］.法學研究，1998（6）：40-54.

［16］ 平野龍一.刑法總論Ⅰ［M］.有斐閣，1972：72.

［17］ 房慧穎.數字平臺治理的“兩面性”及刑法介入機制［J］.華東政法大學學報，2024（5）：68-77.

［18］ 房慧穎.數字資產屬性的界定及其證成 ［J］.學術月刊，2024（5）：113-122.

［19］ 姜濤.刑法如何應對人工智能帶來的風險挑戰［N］.檢察日報，2019-12-07（03）.

［20］ 江溯.自動化決策、刑事司法與算法規制：由盧米斯案引發的思考［J］.東方法學，2020（3）：76-88.

［21］ 沈偉偉.算法透明原則的迷思：算法規制理論的批判［J］.環球法律評論，2019（6）：20-39.

［22］ 楊慶峰.ChatGPT：特征分析與倫理考察［N］.中國社會科學報，2023-03-07（04）.

［23］ 劉濤.網絡幫助行為刑法不法歸責模式：以功能主義為視角［J］.政治與法律，2020（3）：113-124.

［24］ 楊東，潘曌東.區塊鏈帶來金融與法律優化［J］.中國金融，2016（8）：25-26.

［25］ 房慧穎.數據犯罪刑法規制模式的系統性研判與立體化構建［J］.理論與改革，2023（6）：78-88.

［26］ 房慧穎.數字經濟時代衍生數據財產權的刑法保護機制構建［J］.廣西大學學報（哲學社會科學版），2024（1）：194-202.

Criminal risk and governance path of ChatGPT-like system

FANG Huiying

（School of Criminal Law， East China University of Political Science and Law， Shanghai 200042， P. R. China）

Abstract：

ChatGPT-like system refers to the content-generating artificial intelligence （AIGC） represented by ChatGPT， which combines generative pre-training with algorithmic language conversion. ChatGPT-like system not only promotes the development of human society， but also brings criminal risks. When ChatGPT-like systems obtain corresponding information to generate certain content， it is easy to break away from human control and intervention and improperly infringe on the confidentiality of other data. At the same time， if the content generated by ChatGPT-like system contains illegal and criminal information， or users improperly use the information generated by ChatGPT-like system， it may also involve corresponding criminal risks. However， ChatGPT-like system does not have the qualification of the subject of criminal responsibility， that is， the subject that may ultimately bear criminal responsibility is not ChatGPT-like system， but the developer or user related to it. In the development and use of ChatGPT-like system， to prevent technical risks and make the technology “good”， the developers should fulfill the obligations as guarantors， foresee the possible harmful results caused by ChatGPT-like system as much as possible， and take corresponding countermeasures to prevent them. Users should not intentionally induce ChatGPT-like system to break through the ethical and legal bottom line and output illegal and criminal information. If the developer fails to foresee and prevent ChatGPT-like system from outputting illegal and criminal information to the greatest extent， or the user intentionally induces ChatGPT-like system to output illegal and criminal information， he shall bear corresponding criminal responsibility. From the macro level， when regulating criminal risks involved in ChatGPT-like system， the criminal law principle of modesty should be observed to avoid hindering technological innovation and development. From the micro level， in view of the content and characteristics of criminal risks in ChatGPT-like systems， it is necessary to construct a hierarchical governance mechanism： develop and implement compliance plans through ChatGPT-like system research and development enterprises， and explore preventive governance strategies for the criminal risks; strengthen administrative supervision， and integrate scientific and technological supervision means into administrative supervision system， to reduce the "possibility of criminal risks; the use of criminal governance measures must strictly adhere to the precondition that prior legal and regulatory provisions are ineffective， the assessment of criminal illegality must be conducted within the framework of the principle of legality in criminal law， and administrative illegality should not be used to replace criminal illegality.

Key words：

ChatGPT; data crime; technology regulation; hierarchical governance（責任編輯"胡志平）

基金項目：

上海市哲學社會科學規劃課題“預防性刑事立法及其限度研究”（2022EFX003）

作者簡介：

房慧穎，華東政法大學刑事法學院副教授， Email：fanghuiying1203@163.com。