AI治理要畫“禁區”，更要鋪“軌道”

隨著人工智能技術的快速發展，人工智能的治理問題也越來越受到社會各界的廣泛關注。人們逐漸意識到，人工智能不僅是一項前沿科技，更是一種深刻影響社會結構、經濟體系和全球治理格局的系統性力量。因此，如何在推動人工智能技術創新的同時建立起科學有效的治理機制，已成為當前技術政策研究與實踐的核心議題。

人工智能的三種潛在風險

現有的人工智能技術系統由于其復雜性和不可解釋性，帶來一些潛在的技術失靈風險。一旦被濫用或用于惡意目的，其危害可能超出技術范疇，在關鍵領域引發局部性損害，甚至演變為系統性風險。因此，理解人工智能風險治理的必要性與緊迫性，需對其潛在風險進行系統分類、剖析成因，并找到相應的解決辦法。

人工智能風險的分類有很多種，圖靈獎得主約書亞·本吉奧于2025年牽頭發布的《國際人工智能安全報告》，將人工智能帶來的各種風險劃分為三大類：

1. 惡意使用風險，指人為使用人工智能系統進行傷害、操控、欺詐等非法或不道德行為；

2. 技術失靈風險，即人工智能系統在正常使用情況下由于故障或技術失靈帶來的不良后果；

3. 系統性風險，指人工智能大規模應用后可能引發的廣泛性負面社會影響。

人工智能惡意使用的風險目前已經比較常見。2023年，英國某知名公司遭遇一起令人震驚的深度偽造詐騙案件。該公司一位員工應公司“上級”的邀請參加視頻會議，并根據對方指令將約2億港元匯入多個賬戶。事后調查發現，除該員工本人外，所有“參會者”皆為由生成式人工智能所合成的虛擬影像，通過深度偽造（Deepfake）技術逼真模擬真實的聲音與面貌。這一事件凸顯了生成式人工智能被濫用于欺詐的巨大風險，傳統的語音、視頻驗證機制在此類情況下幾乎失效。從治理角度看，如何在制度層面防范生成式人工智能被惡意利用，亟須得到更高優先級的回應。

人工智能技術失靈比較典型的情況就是所謂“幻覺”（hallucination）的產生，即模型生成與客觀事實不符，甚至完全虛構的信息內容。這在很多對準確性要求很高的應用場景中容易產生風險。

例如，近年來不少律師事務所嘗試將人工智能用于法律案件梳理與檢索，但結果并不理想。最著名的案例之一是2023年美國某律師在提交訴狀中引用了數個根本不存在的“判例”，經查這些判例均由人工智能編造，導致法院當庭指責該律所嚴重失職。目前，包括美國律師協會在內的多個行業協會已發出預警，要求在法律實踐中使用人工智能輔助時必須設立嚴格的驗證機制。

人工智能帶來的系統性風險包括對就業、知識產權、社會認知等方面的影響。當前最受關注的風險之一，是生成式人工智能與現有版權保護機制之間日益凸顯的沖突。

2023年底，《紐約時報》起訴Open AI和微軟，指控其在未經授權的情況下將大量新聞內容用于大模型訓練。這一案件觸及人工智能治理中極為復雜的議題，包括訓練數據的知識產權歸屬問題，“合理使用”邊界如何在訓練場景中界定，以及模型生成結果是否構成“衍生作品”等。盡管該案件尚未審結，但已經促使多國監管機構重新審視人工智能與版權之間的關系。

在上述三類風險中，人類社會面臨的最大潛在風險就是技術失靈引發的失控情況，亦即當人工智能發展到通用人工智能（AGI）或超級人工智能（ASI）的階段，人類喪失對其控制權。

早在1950年，人工智能奠基人圖靈就在《Mind》期刊發表的經典論文中提出“child-machine”的構想，預見了人工智能可能具備自我學習與自主演化的能力。機器將通過實驗學習不斷優化自身，行為結果并不完全由人類預設。今天，圖靈這一預測似乎正一步步成為現實。隨著人工智能系統擁有代碼生成、自我優化甚至模擬人類行為的能力，其“不可預測性”日益顯現。

牛津大學教授Bostrom提出“價值鎖定（Value Lock-in）”風險，即早期設計的不完美目標函數可能在通用人工智能中被永久嵌入，帶來不可逆的災難性后果。因此，可控性問題已成為人工智能風險治理領域的最核心問題之一。

由此引發的一個根本性治理問題是：當人工智能技術發展到某一階段，是否應該有“暫停”的選項？在生命科學領域，倫理底線的設立已較為成熟。例如，人類胚胎編輯、克隆等研究方向已在國際上形成廣泛共識，不少國家設立了明確禁區。人工智能是否也應設定類似的“倫理紅線”？

近年來，該問題的緊迫性與爭議性顯著上升。2023年，超過1000位人工智能專家與科技領袖聯合簽署《暫停大型人工智能實驗公開信》，呼吁對超過GPT-4級別的人工智能系統實施“自愿性開發暫停”，以等待社會共識與治理機制的建立。這一行動雖頗具爭議性且在現實中難以實施，但也凸顯出科技界內部對于“不可控風險”的現實焦慮。

治理要鋪設“通道”和“軌道”

人工智能治理的目的，不僅是“應對風險”，更重要的是塑造人工智能的社會—技術系統、相應制度架構的協同演化，并最終形成一個兼具創新性、安全性與公平性的社會應用生態。

因此，人工智能治理的意義，絕不僅僅是畫出“禁區”，更在于鋪設“通道”和“軌道”。技術從來不是“拿來即用”的工具。任何人工智能系統的成功部署，必然依賴于其與社會制度、法律規制、基礎設施和文化環境的深度耦合。這就是“社會技術共構”的基本邏輯。

一個典型的例子是公路交通系統。從汽車技術誕生到廣泛普及，人類社會配套建設了道路網絡、交通信號及交規體系、駕照制度、保險機制、加油與維修網絡等一系列技術及社會運行機制，來保障讓汽車真正成為一種社會生產與生活系統的組成部分。長遠來看，人工智能的發展同樣需要經歷一場復雜的“社會適配”過程。

無論是醫療、教育，還是政務領域的人工智能應用，其有效落地都依賴于數據治理、倫理審查、接口標準、責任認定等制度要素的協同支撐。這些制度性安排本身，即構成了人工智能治理不可或缺的一部分。

以醫療場景為例，即使人工智能系統的診斷準確率優于醫生，其應用仍需滿足如下治理條件：（a）明確的數據隱私合規機制；（b）醫療責任歸屬的法律認定；（c）醫患之間的信息透明；（d）醫保報銷政策的對接。

雖然在底層算法與模型結構上，人工智能已取得顯著進展，但其“落地”往往滯后于技術本身。根本原因之一，就在于缺乏“場景級治理配套”。如果缺乏這些制度安排，人工智能再先進也難以獲得信任和合法性。因此，治理不僅是防范風險的“保護性屏障”，更構成了推動人工智能融入現實社會的“適應性基礎設施”。

人工智能治理如何深刻影響市場

除了風險防控和社會建構，治理還擔負著人工智能產業市場塑造的功能。

人工智能的治理深刻影響市場的形成與演化路徑，具備“產業塑造”與“競爭調控”的重要作用。首先，準入門檻的設定直接決定了哪些企業有機會參與人工智能產業的發展。例如，如果高風險人工智能系統必須滿足嚴格的測試認證要求，中小企業可能因合規成本過高被排除在市場之外；反之，則可能引發“劣幣驅逐良幣”式的無序競爭。同時，人工智能發展中也面臨典型的“路徑依賴”風險。一旦特定的模型架構、數據資源或工具鏈取得先發優勢，就可能在非最優技術路線上造成事實性的“平臺鎖定”。因此，有效的治理手段可以通過技術標準開放、公共算力共享、基礎模型開源等，來避免路徑鎖定的問題。

在當前人工智能治理實踐中，開源常被視為實現“普惠化人工智能”的重要途徑，然而其也伴隨潛在的安全風險與責任不清等問題。相較之下，閉源雖然有利于系統控制與風險管理，卻可能加劇能力壟斷與模型路徑依賴。

因此，一種可能的治理思路是在制度設計上區分不同風險等級與具體應用場景。對于一般性用途，可鼓勵開源共享；而對信息操縱、金融系統等高風險應用領域，則應設定更嚴格的開源門檻與責任機制。

實現人工智能治理的三重功能——風險防控、社會建構與市場塑造，離不開政府、企業與社會多元主體的協同共治。政府不僅是監管者，更是市場塑造者；企業不僅是人工智能技術創新的領先者，也是人工智能治理的前沿實踐者；而社會各界既是人工智能技術的使用者，也是推動其治理理念生根落地的重要力量。只有政府、企業和社會擺脫傳統的“貓鼠博弈思維”，轉向協同治理和敏捷治理的思路，方能在推動技術廣泛應用的同時不斷優化治理體系，在制度演進中實現技術創新與社會價值的協同共生。

（作者系清華大學蘇世民書院院長、人工智能國際治理研究院院長、中國科技政策研究中心主任）

責編：楊琳" yanglin@ceweekly.cn

美編：孫珍蘭