新加坡人工智能犯罪生態治理的實踐與探索

An Ecological Approach to AI Crime in Singapore

技術天然具有兩面性特征，類ChatGPT生成式人工智能在給人們帶來便利和美好憧憬的同時，也蘊含著犯罪風險。帕加洛在《法律與人工智能高級導論》中指出，“人工智能可能具有特定形式的犯罪人格，考慮到人工智能的靈活性，可塑造機器人和人工智能系統，以從事輸入、輸出和邏輯操作的連接為特征的活動……人工智能犯罪新場景的唯一限制是人類的想象力”。智能時代呼吁治理觀念與治理技術革新，人工智能技術發展不可一味追求進步，同時要在背后注入倫理和責任要素，加強全生命周期安全治理，保障公共安全與個體權益。新加坡從構建安全可信的人工智能生態視角出發，統合眾治、德治、法治與技治綜合應對。

一、生成式人工智能犯罪風險評估

新加坡在《國家人工智能戰略》中提出，其目標是“站在可擴展、有影響力的人工智能解決方案開發和部署的前沿”，鞏固新加坡作為“開發、測試、部署和擴展人工智能解決方案的全球中心”的地位。調查顯示，目前近40%新加坡人已在日常工作中使用生成式人工智能。新加坡網絡安全局基于“準備－參與－持續－影響”網絡威脅框架，對以 ChatGPT為代表的生成式人工智能技術引致的犯罪風險進行分類分級。在評估框架中：①犯罪準備指向偵測、部署兩階段，如選擇潛在受害者、實施社會工程、感染或建立惡意網站等；②犯罪參與指向傳送、滲透兩階段，旨在接觸目標、進攻突防；③犯罪持續強調橫向移動與長期駐留；④犯罪影響涵蓋加密破解、數據修改、服務中斷、物理影響等多方面。

（一）犯罪學習輔助

ChatGPT是每個人絕佳的學習輔助工具——包括網絡犯罪新手和有抱負的黑客。雖然用戶無法直接指示ChatGPT發起攻擊或實施掃描，但只要用戶能夠清楚表達需求，ChatGPT就可為特定活動提供合適的工具建議，這意味著ChatGPT可協助實施大量惡意網絡活動。例如，即使沒有計算機專業背景的人員也可快速學習如何使用滲透工具進行端口掃描、漏洞篩選，ChatGPT還可幫助制定未經授權入侵系統的方案。此外，研究人員已證明ChatGPT可提供清晰簡潔的指令操作進行工業流設備操作與控制，通過黑客遠程“投毒”，造成生產線關閉甚至是斷網斷電。

（二）網絡釣魚輸出

ChatGPT是一位出色的“文學作家”，可用于編寫令人信服的網絡釣魚信息。由于模型在訓練時采用大量報告與文本，ChatGPT可輸出具有一定精準度、模仿特定組織和個人語言表達方式的內容。雖然ChatGPT安全防護機制可識別惡意請求，網絡犯罪分子無法直接命令其發送釣魚郵件，但仍可讓其協助準備社會工程計劃相關的郵件與方案。

“如此安全”（SoSafe）團隊研究發現，ChatGPT等生成式人工智能工具可將釣魚郵件制作效率提升40%，且精心定制編寫的郵件難以被技術監測過濾或被人為識破。在評估近1500次模擬網絡釣魚攻擊后，團隊發現78%調查對象點擊了人工智能編寫的郵件，20%點擊了郵件中的欺詐性鏈接等惡意元素。

（三）惡意代碼生成

ChatGPT可為不同類型惡意網絡活動編寫代碼。有網絡安全企業監測發現，ChatGPT制作的代碼程序在暗網上引發熱潮，可生成能將敏感數據復制到遠程位置的數據竊取程序、用于勒索攻擊的漏洞掃描腳本和加密程序等，甚至協助網絡犯罪分子在受感染系統中改變數字位置或身份，提升獲取系統訪問權限的持久性。此外，經研究驗證發現，ChatGPT可用于程序代碼變形，若被整合到惡意軟件中，可使傳統安全機制更難檢測到變形的惡意軟件。

（四）代碼審查提速

ChatGPT具備代碼審查能力，既能快速分析代碼中的潛在錯誤，又能提出關于如何優化或利用的建議。基于此，網絡犯罪分子在借助ChatGPT檢測被攻擊系統的特定弱點、明確下一步攻擊方向的同時，也可對惡意軟件進行審查優化、故障排除，不再需要冒著被舉報的風險在暗網論壇尋求幫助。

（五）總結

新加坡網絡安全局表示，盡管分析只是觸及ChatGPT真實能力的表面，但仍可得出結論——ChatGPT的主要優勢是為每個人提供了生產力工具和分析工具，包括網絡犯罪分子。ChatGPT不僅可用于教育提升，還可完成網絡威脅框架內一系列惡意活動，幫助犯罪新手克服技術門檻、為有經驗的黑客提供建議與幫助，換言之，ChatGPT是加速惡意網絡活動、縮短網絡攻擊窗口的重要工具。

《新加坡網絡全景報告》指出，ChatGPT等生成式人工智能技術因能增強網絡攻擊、詐騙等犯罪活動的“生產力”，正在成為對網絡犯罪分子有強吸引力的濫用目標。

生成式人工智能對網絡安全主要帶來三方面影響，即人類脆弱性增加、網絡基礎設施脆弱性提升以及數字應用擴張。在沙特舉行的國際網絡安全論壇上，全球最大石油公司沙特阿美公司負責人表示，生成式人工智能等新技術引入增大能源行業面臨的網絡攻擊威脅、導致能源供應大規模中斷，在全面引入生成式人工智能技術前，有必要對潛在威脅和安全漏洞進行深入分析。在2023年歐洲黑帽大會上，“虛擬綁架”攻擊新趨勢引發關注，被稱為迄今為止最可怕的人工智能惡意應用，網絡犯罪分子將網絡入侵、從社交媒體或暗網搜集的情報以及生成式人工智能語音克隆軟件結合起來，制造目標被綁架的偽造證據，迫使親屬支付贖金。

2023年11月，全球首份人工智能國際性聲明《布萊切利宣言》強調：“我們尤須關注前沿的人工智能系統所帶來的安全風險，即那些能夠執行各種任務的高能力通用人工智能模型，包括基礎模型，以及可能表現出與當今最先進模型相匹配或超過現有能力的相關特定狹窄定義的人工智能。重大風險可能來自潛在的故意濫用，或與按照人類意圖行事相關的控制問題。造成此類問題的部分原因是人類尚未完全理解人工智能的這些能力，因此難以預測。我們尤其關注網絡安全和生物技術等領域的此類風險，以及前沿人工智能系統可能放大虛假信息等風險的領域。無論是否有意，這些人工智能模型所具備最重要的能力可能導致嚴重甚至災難性后果。鑒于人工智能發展迅速且充滿未知數，技術投資不斷加速，我們申明，加深對這些潛在風險的理解，以及加深對應對這些風險的行動的理解，尤為緊迫。”

二、生成式人工智能犯罪應對的現實困境

一方面，在生成式人工智能犯罪語境下，如果治理只著眼于技術被濫用后的侵害結果而拋開技術濫用本身不談，那么，其既未實現《新加坡網絡安全戰略》中提出的保護企業和公民在線安全、提高數字生態系統韌性的目的，也違背了充分評價的執法司法原則。

從實踐走向技術哲學層面，涉及對“技術異化”與“技術中立”的反思。德國哲學家馬爾庫塞在1964年出版的專著《工業社會的單一維度》中提出“科技異化”理論，盡管科技發展為社會帶來巨大的生產力和效率提升，但在現代社會中，這些技術往往被反過來用于支配人類。換言之，科技不再是為滿足人的需求，而是成為一種“反我”力量，控制和束縛個體。在此理論框架下，犯罪分子利用類ChatGPT生成式人工智能等最新科技成果實施犯罪活動正是科技異化的生動體現——犯罪分子將ChatGPT作為一種強化對他人控制和侵犯的手段和力量，使犯罪活動更具隱匿性、破壞力，不僅不為人類謀福祉，還造成技術對人類的反噬。而美國哲學家蘭登·溫納在具有國際影響力的《技術有政治性嗎？》一文中提出“技術中立”理論，技術本身是中性的，技術的影響取決于社會的使用和設計選擇。基于此，生成式人工智能犯罪問題是“科技之發達與人性之復雜相結合的產物”。這不禁使人反思，如何恰當地進行生成式人工智能安全治理，更好地防范后續犯罪行為及危害結果發生。

另一方面，生成式人工智能犯罪在形態上的進化拓展了犯罪的危害性，在手段上的進化強化了犯罪的隱蔽性、掩藏源頭犯罪行為，這也決定了生成式人工智能犯罪治理需要采取有別于傳統犯罪治理的新思路、新方法，以免陷入犯罪越打越多、打而不絕的窠臼。

網絡犯罪的演化與社會信息化、數字化、智能化同步，各類網絡犯罪分子利用ChatGPT等生成式人工智能工具進行犯罪學習輔助、網絡釣魚、代碼生成與優化等活動，匯聚更多資源實現擴張，形成相互勾連、互生互利的網絡犯罪生態，建成以核心犯罪為中心的違法犯罪聚合體。在此意義上，生成式人工智能應用構成了犯罪的基礎設施，生成式人工智能犯罪行為多表現為預備或幫助性質行為，屬于“外圍”犯罪，具備微犯罪性、獨立性，與網絡攻擊、詐騙等黑灰產業交叉、融合、共生，構成犯罪“合流”（Crime Convergence）。新加坡社會及家庭發展部國務部長指出，打擊詐騙等網絡犯罪是一項集體努力，犯罪發生后，僅僅下游執法是永遠不夠的；生態系統中的所有主體，包括行業企業、網絡平臺、金融機構等利益相關者都要發揮各自作用防范上游犯罪；需要留意人工智能、深度偽造等技術，政府機構、研究機構、技術前沿市場參與者加強合作，持續監測相關犯罪風險并研究應對方案。

三、生成式人工智能犯罪治理的理念與路徑

生成式人工智能犯罪問題的復雜性決定了其防治手段的復合性。新加坡在網絡安全領域一向主張“預防常勝于治療”的理念，《新加坡人工智能治理方法》則從生態視角（An Ecosystem Approach）出發，明確目標是構建一個安全可信的人工智能生態。在生態學中，生態系統是由要素及其要素間能量流動、物質循環、信息傳遞所構成的一個相對穩定的、自維持的整體，并不是各要素的簡單疊加，而是在各要素相互聯系與相互作用的基礎上形成的具有整體功能和穩定性的復雜系統。生態治理則涵蓋多元主體共同行使治理權力、共同承擔相應責任的過程，注重通過協調多元主體的行動，平衡社會、環境和經濟利益，實現可持續發展的目標。新加坡要求政府、業界、公眾等多元主體同向而行、共同發力，統合眾治、德治、法治與技治綜合應對，以生態治理應對人工智能犯罪生態化。

（一）“眾治”為人工智能安全生態提供多元力量

構建生成式人工智能安全生態需要多元主體加入，不同主體地位、作用各不相同。根據《新加坡網絡安全戰略》指引，政府提升對私營部門的監管激勵，提升技術安全與韌性，確保公民和企業得到有效保護；在硬性監管之外，政府還與私營部門中可信任的合作伙伴共同探索新的協作模式，利用其專業知識和技能，高效開發針對性安全解決方案或開展專項安全項目，確保新加坡政府走在生成式人工智能等技術的最前沿，不斷適應新的行業發展情況，并及早識別潛在安全風險。值得關注的是，新加坡警察自2017年起成立公私部門網絡犯罪利益相關者聯盟（APPACT），涵蓋社交媒體公司、金融機構、互聯網服務提供商、電信運營商、網絡安全公司和加密貨幣企業等各行各業的合作伙伴。新加坡警察定期與聯盟合作伙伴進行溝通和討論，獲取網絡違法犯罪線索和最新發展趨勢咨詢，共同研究制定新型網絡犯罪治理對策。

認識到生成式人工智能技術帶來的諸多安全風險是國際性的，新加坡積極參與人工智能安全治理國際合作，與美國國家標準與技術研究院共同推進人工智能安全標準制定，與以色列、韓國和英國等簽署關于人工智能技術發展與安全合作的諒解備忘錄。在首屆全球人工智能安全峰會上，新加坡作為與會國簽署《布萊切利宣言》，總理李顯龍介紹了新加坡基于風險的人工智能治理理念，強調多方利益相關者參與人工智能安全對話和合作的重要性。

根據《新加坡網絡安全戰略》指引，行業企業在公平合理范圍內承擔促進技術、產品和服務安全韌性發展的責任，一是優化開發方法，遵循安全設計原則，力求在獲取業務利潤與確保消費者和數字生態系統的安全性之間取得平衡；二是提升企業基礎設施網絡安全水平，有效應對網絡攻擊，防止用戶數據被盜和丟失；三是加強上游管控，強化信息內容治理、禁止虛假廣告，保護用戶免受虛假、詐騙信息侵害等。聚焦于生成式人工智能技術領域，前沿技術開發者如何定義風險閾值、進行有效的模型風險評估、對具體風險緩解措施提出預先承諾、健全治理和問責機制等均是國際社會關注的熱點問題。

個人可通過選擇安全可信的生成式人工智能產品和服務、學習保護自己和社區免受數字威脅的安全技能等舉措，為降低人工智能生態風險發揮作用。新加坡將人工智能、網絡安全納入社會安全教育體系，進一步推動新型網絡犯罪治理融入社會治理體系。2017年以來，新加坡持續推進“人工智能新加坡”（AI Singapore）項目，重點提升全民人工智能素養，將新加坡發展定位為“智慧國”（Smart Nation）。2021年，新加坡網絡安全局啟動“寧愿多一點網絡安全，也勿后悔”（Better Cyber Safe than Sorry）活動，鼓勵公眾形成良好的網絡安全習慣。

（二）“德治”為人工智能安全生態提供向善指引

德治是適用范圍最廣泛的社會行為調節機制，新加坡對人工智能安全治理與監管采取“溫和干預”的思路，尤其是關注人工智能系統設計和建造背后人的主體的價值取向、倫理抉擇、行為規范，倡導“智能向善”。自2018年以來，新加坡政府一直致力于人工智能倫理治理探索，采用“框架+指南+案例”的一整套方案，系統、深入地指導各類企業、組織開展人工智能安全治理，以負責任的方式開發部署人工智能。

2018年，新加坡成立人工智能和數據道德使用咨詢委員會，旨在就企業、組織使用生成式人工智能等數據驅動技術所引發的倫理、政策和治理問題向政府提供意見，并支持政府向企業提供通用指引，以盡量減少相關倫理、治理和可持續發展風險。

2019年，新加坡推出亞洲首部《人工智能治理模型框架》，并于2020年實時更新。框架將人工智能定義為“模擬人類特征的技術叢”，如理解、推理、解決問題，進行感知、學習和計劃，根據模型輸出內容或決策。本質上，框架以兩個基本原則為指導，促進對人工智能的信任和理解，一是確保人工智能決策過程是可解釋、透明、公平的，二是人工智能解決方案應當“以人為本”，保護人類福祉和安全是設計、開發和使用人工智能的首要考量。從原則到實踐，框架建議企業、組織采取以下措施：①將人工智能安全治理融入內部治理體系，明確安全責任人，健全風險管控機制，強化安全意識培訓；②明確人類參與人工智能增強決策的程度，努力將人工智能自動化決策可能導致的風險降至最低；③獲取更加多樣化、更具代表性的數據集，優化算法減少模型中的偏差，采取基于風險的管控思路，強化算法可解釋性、穩定性并定期動態調整；④強化與用戶等利益相關者的互動溝通。

同期，新加坡發布與框架配套的《組織實施和自我評估指南》，指導各類企業、組織開發部署符合倫理的人工智能，要點包括：①有明確的開發、部署目的，例如，提高運營效率、降低成本；②以負責任的方式進行成本收益評估，人工智能使用應符合社會期望與核心價值觀；③建立健全內部治理體系，構建人工智能系統使用監督機制，將高層管理人員納入監督機制，監督人員應當具備相應的專業知識與技能，明確監督人員職責權限，形成科學有效的職責分工和制衡機制；④構建人工智能決策人工監督機制，在使用人工智能進行決策前應當完成人工智能決策影響評估，根據評估結果部署安排適當的人工監督，定期審查并及時降低人工智能系統的決策風險；⑤負責任使用人工智能系統，確保訓練數據與處理數據的準確性、非歧視性以及可追溯性，準確描述并公開人工智能系統的使用方式及過程；⑥建立良性溝通反饋機制，明確人工智能決策將涉及、影響的內部和外部受眾，明確告知受眾關于人工智能系統的使用方式、決策影響以及決策是否可逆轉等信息，也要定期評估人工智能系統治理結構以及決策結果，并就評估結果與相關受眾及時溝通。此外，新加坡發布《人工智能治理案例匯編》，展示不同行業、不同規模組織根據框架開展治理實踐的優秀典型。

新加坡尤其關注人工智能背景下的數據安全治理，《新加坡人工智能治理方法》強調通過穩定的數據架構，實現快速、安全的數據訪問。2023年5月，為應對類ChatGPT生成式人工智能帶來的數據安全風險，新加坡通信和信息部宣布將根據《個人數據保護法》發布《在人工智能系統中使用個人數據的咨詢指南》，支持生成式人工智能技術負責任地開發和部署。

在國際層面，新加坡積極參與并推動《東盟人工智能治理與倫理指南》（ASEAN Guide on AI Governance and Ethics）的制定，重點關注人工智能負責任使用、虛假信息等人工智能犯罪風險防范化解等議題，指南預計將于2024年新加坡擔任東盟數字協調主席國期間通過。

法律、倫理在本質上都是作用于具有可能性的行為，但法律多是事后救濟，倫理更注重在事前對行為進行價值引導和規范，指導人們在面臨復雜情境時作出正確抉擇。對新加坡而言，人工智能“倫理先行”的意義在于人工智能技術、行業發展具有不可預知性，而倫理治理更具敏捷性、靈活性和創新性，不論框架還是指南，都可隨著技術和社會發展及時更新。

（三）“法治”為人工智能安全生態提供制度保障

新加坡律政部長尚穆根強調，人工智能等技術發展對網絡安全帶來深遠影響，應探討強化法律機制，保護受害者利益。近年來，新加坡網絡犯罪立法積極回應現實需求，對智能化犯罪形勢主動作出調整，呈現出回應性擴張、預防性前置等趨勢，契合智能社會發展方向。

針對生成式人工智能引致的信息安全風險，2019年10月起施行的《防止網絡虛假信息和網絡操縱法》即可適用于生成式人工智能深度偽造的音視頻，規定政府有權要求個人或平臺更正、撤下對公共利益造成負面影響的虛假信息，不遵守指示的平臺面臨100萬新元以下罰款，惡意傳播虛假信息的個人面臨10年以下監禁。此外，該法第8條規定了針對“制作或改造用于傳播虛假信息的機器人”的罰則，無論是在新加坡境內還是境外，個人都不得出于在新加坡傳播虛假信息、使他人能通過機器人在新加坡傳播虛假信息目的而制造、改造機器人，任何人違反即屬犯罪，一經定罪，對個人處3萬新元以下罰款或3年以下監禁，或兩罰并施；對單位處50萬新元以下罰款；若虛假信息傳播可能影響總統和議員選舉、公民投票結果，削弱公眾對政府、國家機關信任，煽動不同群體之間敵意、仇恨，損害新加坡或新加坡任何地區安全的，對個人處6萬新元以下罰款或6年以下監禁，或兩罰并施；對單位處100萬新元以下罰款。

一個核心問題是，有效治理生成式人工智能被用于犯罪的關鍵并不是從法律上否定生成式人工智能技術的合法性，而是順應生成式人工智能被用于犯罪的進化趨勢，轉變犯罪治理邏輯，在規制流程上，從下游犯罪穿透至源頭規制。

2023年2月起施行的《在線安全（雜項修正案）法》可適用于生成式人工智能生成的有害內容，規定社交媒體服務平臺應遵循《在線安全行為準則》，建立專門系統和程序，減少新加坡用戶接觸鼓吹自殺、恐怖主義、兒童性剝削等有害內容的風險。2023年7月，新加坡議會三讀通過《網絡刑事危害法案》，規定若主管當局確信網絡服務是或極有可能是用于實施、協助網絡犯罪活動，且新加坡人可使用該服務進行網絡活動，則主管當局可將該服務認定為“與網絡犯罪相關的網絡服務”；同時，主管當局可對該網絡服務提供者發布行為守則，提供者必須采取所有合理可行措施遵守守則；若主管當局審查后認為提供者沒有遵守守則要求，則可向提供者發出通知，要求其在規定時間內整改。《網絡刑事危害法案》并不是新加坡立法者對新型網絡犯罪活動簡單的應激性反應，而是進行了體系性和統一性的整體頂層設計，以阻斷網絡犯罪生態為目標，充分發揮網絡服務提供者在網絡生態治理中的主觀能動作用，引導網絡服務提供者參與預防、共治新型網絡犯罪；若正式通過，未來有望適用于生成式人工智能服務。在更深層面，新加坡已然意識到網絡服務提供者在提供網絡服務過程中匯聚資源、掌控渠道所帶來的超強影響力，按照權責一致原則，理應成為犯罪防治的一員。

（四）“技治”為人工智能安全生態提供工具支撐

生成式人工智能技術的不斷進步為網絡犯罪活動提供了新的媒介和工具，政府也加強前瞻布局，發展人工智能安全治理技術、應用，并探索利用人工智能技術防范人工智能犯罪風險，夯實人工智能安全生態的技術根基。

在合規評估層面，新加坡通信和信息部發布全球首個人工智能治理軟件工具包“人工智能驗證”（AI Verify），可根據透明度、可解釋性、可重復性、安全性、穩健性、公平性、問責制、包容性增長、社會和環境福祉等原則，通過標準化測試對人工智能模型進行技術性能測試并記錄相關流程以備檢查。人工智能驗證于2022年5月發布國際試點，吸引了戴爾、IBM等50多家本地和跨國公司的興趣。當前，人工智能驗證并非強制適用，而是自愿性質，旨在提高公眾對人工智能產品的信任度、接受度，有助于安全可信的人工智能技術推廣。

在防范反制層面，新加坡網絡安全局建議企業、組織采用加密、防火墻等技術，定期進行安全評估，實施人工智能驅動的安全解決方案，如基于人工智能技術的網絡安全威脅監測和響應系統，防范生成式人工智能帶來的網絡安全威脅。新加坡警察局副警察總監（調查及情報）兼刑事偵查局局長侯光輝表示，ChatGPT是一個相對較新的發展，警方正在監控相關發展情況并進行技術研究，加強人工智能詐騙監測、阻斷與提醒能力。

從實踐到理論，布朗斯沃德提出“法律3.0”理論，代碼、人工智能等技術不再只是法律規制的對象，而是成為支持、補充法律規則的治理工具，在此層面，人工智能監測阻斷系統等應用本質上是“以算法來規制算法”，通過“限制行為的可能性去解決問題”；同時，要以法治標尺衡量治理技術，將代碼、人工智能等構建的非規范性秩序納入法治約束的范疇。

四、結語

深刻認識、分析生成式人工智能可能引致的犯罪風險，并在此基礎上研究治理理念和路徑，是在當前深刻復雜時代背景下的回應與擔當，更是探索與擁抱未來世界的勇氣與信心。新加坡旨在構建一個安全可信的人工智能生態，在創新和最小化社會風險之間取得平衡，體現了系統觀念、體系構建——在治理主體方面，人工智能生態系統中的所有主體，包括政府、行業企業、公民等利益相關者均要發揮各自作用參與安全治理；在治理手段方面，營造立體化的規制環境，規制環境中不僅要包括法律、倫理等規范性工具，也要包括一系列作為非規范性工具的安全技術措施，剛柔并濟、軟法與硬法相結合，事前、事中、事后相互銜接；在治理評價方面，除考量規則是否得到執行以外，更要考量安全治理的社會和經濟效益。