生成式人工智能的國家安全風險及其對策

張廣勝

【摘要】以ChatGPT為代表的生成式人工智能成為專用人工智能邁向通用人工智能的關鍵，拉開了強人工智能時代的序幕。生成式人工智能開創了“大模型”主導的內容生成時代，給政治安全、軍事安全、網絡安全、經濟安全、社會安全等國家安全領域帶來了諸多風險與挑戰。為防控風險，應遵循人本邏輯制定防控生成式人工智能風險的“一體化”頂層戰略，遵循法治邏輯健全防控風險的“全方位”制度體系，遵循共治邏輯構建防控風險的“同心圓”治理結構，遵循科技邏輯強化防控風險的“全周期”過程監管。

【關鍵詞】生成式人工智能? AIGC? ChatGPT? 國家安全? 防控風險

【中圖分類號】D815.5? ? ? ? ? ? ? ? ? ? ? ? ? ?【文獻標識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2023.14.007

生成式人工智能（Generative Artificial Intelligence，亦稱生成式AI）技術，是指具有文本、圖片、音頻、視頻等內容生成能力的模型及相關技術[1]。2022年生成式AI取得突破性進展，AI繪畫和ChatGPT的影響日益深遠。當前，互聯網巨頭紛紛布局生成式AI，推出的多款產品極大方便了人們的工作和生活，引領著數字內容領域的全新變革。2023年3月，OpenAI發布了一款強大的新圖像和文本理解AI模型GPT-4，新一代大模型GPT-4能接受圖像和文本輸入，生成帶有文本和照片的內容，在各種專業和學術基準測試中已達到或超過人類水平。總體來看，生成式AI既為時代發展帶來了機遇，也給國家安全帶來了諸多風險與挑戰。因此，需要科學評估生成式人工智能的風險，進行前瞻謀劃。

生成式人工智能對國家安全的威脅與挑戰

生成式AI給國家安全帶來不同類型的風險和挑戰，既包括有關傳統安全和非傳統安全的風險挑戰，也包括對自身安全和公共安全構成的多層次挑戰。

生成式人工智能給政治安全帶來挑戰。生成式AI技術惡意使用帶來的最大風險可能發生在政治領域，隨著AI技術作為政治武器的使用頻率逐漸增加，敵對勢力極有可能利用AI技術進行意識形態滲透，破壞政治穩定。

一是成為“新工具”，威脅意識形態安全。ChatGPT等生成式AI系統通過數據投喂和算法訓練進行自我學習與進化，數據操縱、篡改缺失、人為篩選、污染“投毒”及算法偏見，都可能影響結果的客觀性和正確性。目前，生成式AI的核心技術被美國掌控，學習訓練“底料”主要來源于美西方國家，易受到美西方國家行為體以及非國家行為體的操控，成為意識形態滲透的“新工具”。公開標注數據集測試表明，[2]ChatGPT在價值觀層面偏向西方，生成內容中存在大量對于中國的偏見言論，加之ChatGPT在中文知識和常識問答上很容易出現錯誤，而且會使用流暢的句子對編造的虛假事實進行闡述，對于信息來源受限的群體來說具有一定迷惑性，極易成為部分國家針對我國制造“認知陷阱”的工具。雖然生成式AI的背后設計者仍然是人，但其超越意識形態的科學特質和“技術”身份，反而比人更容易贏得受眾信任，在意識形態傳播和影響上往往能起到人所不及的作用。生成式AI系統生成的情報信息、傳遞的價值觀，對思維認知的影響更直接、更有效。例如，ChatGPT能“善解人意”，與人共情并產生心理聯結，更容易被人信任。利用生成式AI精心策劃的敘事來傳播意識形態，更能高效隱匿地影響作戰對手，成為意識形態滲透的“新工具”。

二是生成“假消息”，異化政治傳播生態。近年來，作為一種操縱輿論的新方式，計算宣傳正在全球盛行，形成了“人機共生”的政治傳播生態，也帶來了算法和數據操控政治等新風險。ChatGPT等生成式AI能夠進行“對話＋創作”，并通過經驗學習作出情感反應，對社交機器人進行“降維打擊”，而且還能借助數據和算法雙驅動的“暗網式大集市”傳播模式，極大改變現有的傳播規則、傳播秩序以及傳播倫理，給社會、政治和國際秩序等各個層面帶來重大變革與巨大沖擊。[3]值得警惕的是，由于生成式AI創作的內容更有邏輯性、生成的圖片更為逼真，看起來更有可信度，敵對勢力可利用其構筑新型隱性滲透渠道，大規模創造出虛擬網紅，“一對一”實現對政治目標的精準認知誘導、滲透和威懾，異化政治傳播的健康生態。在應對風險方面，借助生成式AI并運用“算法＋情感”技術，調動敵方情感以影響其認知決策已成為現實可行的認知對抗方法。2018年曝光的“劍橋分析”事件就是精準操縱用戶情感的典型案例，“個性化的數據可以讓你確切知道，以何種信息瞄準誰”，只要“在對的時候，把對的信息放在對的人眼前”，就能夠控制他們的思想和情感。[4]

三是衍生“新武器”，精準攻擊政治目標。美軍提出的“五環目標理論”，把戰爭體系的重心劃分為政治領導層、生產系統、基礎設施、民眾、軍隊等五個目標環，其中第一環就是敵方領導人，代表了美軍政治戰攻擊的重心。借助生成式AI、認知神經手段和社交媒體，針對敵方首腦進行的認知攻擊，是當前混合戰爭的大勢所趨。最典型的是，美陸軍開展信息行動的“影響力機器”，將算法推送的“精神彈藥”快速密集地“射向”目標群體，達到影響其心理、操控其認知的目的。2019年委內瑞拉政局動蕩，美西方國家就利用人工智能技術極力“妖魔化”馬杜羅的“獨裁統治”，致使委軍頻頻曝出叛變和倒戈事件，對馬杜羅政府控局穩局造成沖擊。

四是帶來“新變量”，影響國家政治秩序。生成式AI和“人機共生”革命對政治秩序造成了嚴重沖擊和挑戰。英國脫歐、美國大選等事件期間都彌漫著社會被割裂、輿論被操縱的社會氛圍。例如，英國脫歐公投期間，聊天機器人Brexit Bot被用來傳播關于脫歐益處和留歐風險的虛假信息。生成式AI能根據需求快速生成或偽造政治目標的外貌、語音、感情、表情等屬性，還可以根據政治目標的喜好生成個性化內容，甚至“無中生有”，通過設置議題、挑動情緒、政治動員來影響國家政治秩序和進程。美國國土安全部、國防部和美軍網絡司令部等成立專門行動小組來對抗干擾和破壞選舉的“巨魔部隊”，同時加緊研發結合算法生成內容、個性化目標鎖定和密集信息傳播的“影響力機器”，通過操縱國內國際輿論和設置議題，兵不血刃地達到從內部腐蝕、滲透、影響和顛覆，從外部抹黑、圍堵和封殺的政治目的。[5]

生成式人工智能給軍事安全帶來挑戰。近年來，生成式AI逐漸應用于軍事領域。美國國防信息系統局已將ChatGPT等生成式AI列入技術觀察清單，美軍聯合特種作戰司令部正計劃利用“深度偽造”等技術，開發新一代“軍事信息支持作戰”工具，進行互聯網信息操縱、傳播虛假信息和數字欺騙活動。[6]從目前看，生成式AI一旦應用于作戰，或將形成威脅新鏈路，催生“認知戰”等新作戰樣式。

一是視覺大模型讓智能機器“看清”戰場，顯著提升感知能力。智能化戰爭中感知即殺傷，要求以強大的態勢感知能力作為支撐，先敵發現并實施打擊。近年來基于Transformer衍生出視覺大模型架構，通過無監督預訓練和微調學習范式，在圖像分類、目標檢測、語義分割、姿態估計、圖像編輯以及遙感圖像解譯等多個感知任務上取得突破，顯著提升了戰場感知能力。嵌入視覺大模型的智能武器，可通過視覺系統精準辨識并區分目標的主次和真偽，從海量視頻數據中快速提取并生成高價值情報，減輕作戰人員的認知負荷，形成對態勢全面、及時、準確的分析與判斷。

二是語言大模型讓智能裝備“聽懂”指令，重塑指揮決策流程。當前戰爭形態“智能化＋類人化”特征明顯，整體聯動、快速反應、精確打擊都離不開指揮信息功能的智能化。語言大模型在圖片生成、書稿生成、對話生成等戰場信息系統可視化場景中表現出色。如果將其嵌入一體化聯合作戰平臺并推動其持續迭代進化，可用于想定編寫、作戰方案生成、演習結果講評等較為復雜的工作，這將重塑指揮決策流程。2023年2月，美國中央集團軍成功使用ChatGPT撰寫了“關于成立新的反無人機特遣部隊”的咨詢報告。因此部署了ChatGPT等生成式AI的指揮信息系統有望深度參與“OODA”循環（即博伊德循環或決策周期環，由Observation-觀察、Orientaition-判斷、Decision-決策、Action-行動四個單詞首字母組合得名），指揮員通過與戰場信息系統進行人機對話，準確傳達作戰需求，戰場信息系統則提供新生成的戰場信息，實現想看圖形出圖形、想看圖像出圖像、想聽說明出聲音，并在此基礎上生成行動參考方案，為在未來戰爭中快速、合理配置作戰力量提供全新手段。

三是決策大模型助力人機混合決策，提升指揮決策優勢。基于決策大模型的生成式AI系統，實現了從智能預測到智能決策、從單智能體到多智能體的跨越，可全面支撐“蜂群”“魚群”“狼群”等作戰多智能體，能夠并發處理千個以上決策任務，適用于融合控制有／無人平臺、生成控制算法、優化群體行為，實現“群體作戰”。2016年美國研發的人工智能系統“ALPHA”，在模擬空戰中擊敗了經驗豐富的退役空軍上校。據稱，和人類飛行員相比，“ALPHA”在空中格斗中快速協調戰術計劃的速度快了250倍，從傳感器搜集信息、分析處理到自動生成應對方案，整個過程還不到1毫秒，能同時躲避來襲的數十枚導彈，并協調隊友觀察學習敵方戰術。未來戰場上，將決策大模型綜合集成到無人作戰平臺，可實施“訂單”式規劃作戰任務、“派單”式就近賦予任務、“接單”式精確打擊目標，形成對傳統作戰樣式的“降維打擊”。

四是多模態大模型成為認知對抗新型利器，放大軍事威懾效能。認知戰離不開“信息彈藥”，深度偽造等技術更是影響戰局的“特效彈藥”。戰時受各種條件限制，制作視頻等“信息彈藥”往往十分困難，而基于多模態大模型的生成式AI系統能夠高效快速生成擾亂敵心的“信息彈藥”，突破強敵封控的智能水軍，實現戰時快采、快編、快發，奪取認知敘事主導權，充分釋放軍事威懾效能。美國十分重視虛擬現實、全息投影、音視頻合成等技術在認知信息生成中的應用。早在伊拉克戰爭中，美軍就利用全息投影、數字孿生技術，在巴格達上空制造虛擬的伊拉克國旗，并將國旗“撕”得粉碎，對伊軍民心理造成強烈震懾。

實現軍事智能的關鍵是將“計算”與“算計”進行高效結合：計算是基于事實的功能，算計是基于價值的能力。生成式AI僅是解決問題的一種工具手段，若不與現代戰爭的價值道義、倫理道德、法律規則、政策體系等各方面結合，則其軍事應用可能會帶來諸多風險和挑戰。

生成式人工智能給網絡安全帶來挑戰。從網絡攻擊角度看，主要涉及4個方面：一是自動生成攻擊工具。黑客借助ChatGPT、Codex等生成式AI工具自動大批量生成惡意軟件，并根據攻擊反饋情況進行迅速迭代，大大降低了網絡攻擊的門檻。二是提高網絡攻擊頻度。向生成式AI系統大量“投喂”源代碼，能夠檢測出軟件的未知漏洞，大大縮短發現新漏洞的時間，大幅提高了網絡攻擊的頻度。三是升級網絡攻擊手法。生成式AI系統通過精確地引導攻擊請求、整合攻擊武器，讓過去能被檢測、阻止、過濾的病毒代碼獲得新生，實現組合化、立體化、自動化的智能攻擊。四是實施社會工程攻擊。過去利用魚叉式網絡釣魚，使用社會工程來創建定制誘餌存在成本高、效率低的缺點。生成式AI作為按需偽造文本的利器，可批量創建復雜的網絡釣魚郵件、非常逼真的虛假配置文件，輕松繞過郵件保護程序，提高網絡攻擊的有效性。

從個人信息保護角度看，主要涉及過度采、非法用、跨境傳、刪除難4個方面的風險隱患。一是過度采。生成式AI本質上是以海量數據為基礎的訓練大模型，訓練數據大多來自互聯網，含有大量個人信息和數據。在訓練大模型強大的推理能力下，生成式AI平臺過度采集未經用戶同意的數據，極大地增加了個人信息泄露風險，信息主體的人格權也面臨侵害風險。二是非法用。生成式AI系統輸出內容包含用戶提供的個人信息和重要數據，這也加大了數據合規風險。例如，在GPT-2訓練過程中，就出現了非法輸出用戶隱私信息的現象[7]。因此，生成式AI服務者或采集者可能泄露或非法濫用個人信息。三是跨境傳。在使用ChatGPT等生成式AI的過程中，存在著個人信息跨境流動安全風險。跨境傳輸的個人信息、商業秘密、地理位置等隱私數據，可能經由有關方面強大的數據分析能力，推導出關鍵設施位置、重大政策傾向等核心敏感信息，威脅國家安全。四是刪除難。ChatGPT雖然承諾會從其使用記錄中刪除所有個人身份信息，但是未說明如何刪除，數據持續用于深度學習使得ChatGPT很難保證完全擦除用戶個人的信息痕跡。[8]

生成式人工智能給經濟安全帶來挑戰。與歷次人工智能熱潮在經濟領域產生的風險問題類似，生成式AI熱潮給經濟安全帶來的風險既具有普遍性，也呈現出一些新特征。第一，由機器取代人引發的“技術性失業潮”危機。低技能的勞動者將是自動化的主要受害者這一觀點正面臨巨大挑戰，生成式AI正在逐漸取代“腦力勞動者”承擔其部分工作。在引入ChatGPT類生成式AI系統后，程序員、媒體從業者、設計師、作家、畫家、教師、律師等職業群體可能會面臨裁員、降薪、轉崗等風險。第二，生成式AI可能會加劇科技企業的寡頭壟斷。大模型是一場“AI＋云計算”的全方位競爭，其核心技術壁壘是數據、算法、算力等要素資源的精密組合創新。目前，生成式AI技術平臺和應用系統大部分都是由谷歌、微軟等巨頭及其參股或控股公司研發而成，先發優勢企業通過快速積累“數據雪球”、建立“數據壁壘”，形成巨大的隱形智能成本從而領先后發競爭者。第三，生成式AI加劇內容版權歸屬爭議。生成式AI引發的版權侵權風險已成為行業發展面臨的緊迫問題。一是挖掘與分析數據的過程存在版權風險。生成式AI在挖掘數據的過程中可能存在無法辨認被挖掘對象的權利狀態的現象，權利人因此也無從知曉作品是否已被挖掘使用，進而引發數據挖掘分析的版權風險。二是關于人工智能生成內容是否屬于“作品”的分歧較大。我國業界關于人工智能生成內容是否屬于《中華人民共和國著作權法》中的“作品”以及“著作權人是誰”的爭論一直存在。三是生成式AI內容版權歸屬存在風險。生成式AI系統主要涉及三方利益主體：系統設計者和訓練者、享有系統所有權的所有者、利用生成式AI創作的作品者，生成式AI內容版權應歸屬于哪一主體在學界尚未達成共識。從商業角度看，如果完全不給予生成式AI以知識產權保護，對研發企業而言是不公平的。

生成式人工智能給社會安全帶來挑戰。一是滋生新型違法犯罪。從目前情況看，可能滋生四類問題：1、詐騙敲詐類。生成式AI能夠精準分析目標對象特征，定制個性化詐騙話術，自動合成并發送相關視頻、語音、圖片、文字，利用擬人化的聊天對話能力欺騙目標對象感情、騙取錢財。2、侮辱誹謗類。生成式AI模型能夠偽造信息，合成虛假的私人視頻或色情視頻傳播至網絡，存在侵害個人肖像權、隱私權和名譽權的風險。例如，2023年3月，Midjourney等生成式AI軟件生成了多張特朗普“被捕”的圖片，在網絡上瘋狂流傳，加速了輿情發酵。3、危安信息類。生成式AI可能生成煽動性言論、宣揚暴力恐怖及宗教極端思想等音視頻內容，侵犯國家法益和社會法益。4、網絡暴力類。生成式AI可以通過“造粉”“刷單”來販賣焦慮、制造沖突、激發爭議、操縱輿論甚至造謠污蔑，制造和推動網絡暴力犯罪的蔓延。

二是引發倫理道德風險。除了當下熱議的ChatGPT違反學術倫理道德和學生學業誠信遭受質疑等問題外，算法歧視和認知操縱方面的倫理道德風險尤其值得關注。一方面，算法歧視風險更為隱蔽。生成式AI大模型客觀上存在算法歧視、信息繭房等問題，算法中嵌入的種族歧視、性別歧視等內容的隱藏代碼，在人工智能“客觀、公正、科學”的高科技包裝和算法黑箱的遮掩下，可能會帶來更為隱蔽的算法歧視風險。如DALL-E2（OpenAI文本生成圖像系統）具有顯著的種族和性別刻板印象，當被要求生成“律師”“CEO”等高薪白領職業時，輸出的圖片人物幾乎都是白人形象。[9]另一方面，認知操縱風險。人們通常對智能系統自動生成的知識信任有加，尤其是生成式AI這種側重數據挖掘、不作結論性判斷、看似客觀中立的概率性歸納，往往更能降低用戶的警覺性，不動聲色地影響和左右人的思維認知。值得警惕的是，借助生成式AI技術開展“影響力”行動看似科學、客觀、理性，實則是人為操縱信息，誘導、影響和左右目標對象思維認知，這已成為社會認知戰的重要方式。此外，生成式AI越來越多地被用來制作數字人、生成逝者的音容相貌、數字化復活已故演員、創造與逝者交談的可能，等等，進一步引發了學界業界對相關倫理問題的討論。[10]

三是誘發公共安全風險。首先，生成式AI存在人工智能技術不完備的局限性。由于生成式AI模型復雜度更高、應用領域更新、訓練參數巨大，算法透明性、魯棒性、不可解釋性等問題更為突出，帶來的風險也更大。比如，在生成式AI輔助工業設計的訓練數據量不足的情況下，在特定數據集上測試性能良好的算法很可能被少量隨機噪聲的輕微擾動所影響，從而導致模型給出錯誤結論。算法上線應用后，隨著采集數據內容更新，算法也會因產生性能偏差進而引發系統失靈，而算法出現錯誤、透明度不足也將阻礙外部觀察者的糾偏除誤。其次，生成式AI或成為破壞公共安全的新渠道。如ChatGPT等生成式AI與智能手機、智能汽車、人形機器人等智能設備融合互聯，可實現遠程操控，策動威脅公共安全的活動。最后，生成式AI雖然功能強大但可控性差。先進人工智能難以控制的原因很多，其中之一便是創建者對其內部運行機制缺乏了解。包括OpenAI的首席執行官等人認為，由于監管不足且運行類人AI系統的經驗不足，生成式AI有可能變得不可控，給人類社會帶來風險，對人類生存構成威脅。

四是造成社會信任危機。信任是維持整個人類社會活動良性運作的根基，而人工智能生成的假消息，深度合成的假視頻、假音頻在社交媒體上的泛濫，可能導致全社會陷入真假不清、真假難辨的困境之中，造成“真相的終結”，使人類社會深陷“后真相時代”，[11]“數字信任”下降到一定程度還可能引發全社會的信任危機。同時，生成式AI技術讓分辨真假音視頻變得極其困難，實際上動搖了音頻和視頻等法定證據種類存在的信任基礎，[12]給訴訟法和證據法的相關規則帶來了嚴峻挑戰。

信任是人機交互的重要前提。Google聊天機器人Bard首秀犯下事實性錯誤，引發了網友對ChatGPT模式進入搜索引擎實用性的討論，加深了人們對于生成式AI的不信任感。[13]生成式AI是生成元宇宙數字人的重要工具，數字人數字身份的抽象性、專業性及難以感知等特點使得個體對其有一種天然的不信任感，因此，實現“算法信任”到“人機信任”是推動元宇宙數字人發展亟待解決的難題。

防控生成式人工智能重大風險的對策思考

區別于AI1.0技術，生成式AI的治理對象（數據、算法、平臺、內容）的涌現、AI1.0傳統倫理與AI2.0“新道德”的張力、數字社會應對風險的科層結構“失靈”，使得人們在平衡生成式AI的發展與安全上艱難抉擇，并在防控風險的探索中呈現出“實踐理性”與“道德理性”的風險防控理念之爭、“算法權力”與“安全邊界”的風險防控焦點之論、“結果主義”與“未來主義”的風險防控范式之較、“風險可接受性”與“價值可接受性”的風險防控標準之辯。因此，防控生成式AI誘發的國家安全風險需著眼構建一體化國家戰略體系，打造一體化風險防控框架，有效平衡AI發展與安全。

梳理總結當前人工智能風險防控的研究圖譜，主要集中在5個方面：一是從總體邏輯看，側重于從傳統理論視角、“主體-對象-價值-規制-效果”的要素結構視角、“風險-利益-倫理-權力-權利”的社會影響視角來構建人工智能治理的框架；二是從綜合分層框架看，構建了“共性價值-結構要素-行業場景-微觀操作”的包容性人工智能治理綜合分層框架；[14]三是從數據算法看，側重于探討數據、算法及人工智能本身所具有的風險及其治理路徑；四是從場景生態看，側重于從微觀的“公眾-個人”、中觀的“組織-行業”、宏觀的“國家-社會”3個層次的應用場景來探討人工智能風險影響及應對策略；五是從應用案例看，主要是從“區域案例”和“場景案例”視角，總結典型性人工智能風險防控模式。本研究以總體國家安全觀為指導，著眼于建立防控生成式AI風險的綜合治理體系，提出了防控生成式人工智能國家安全風險的一體化框架（見圖1）。該框架體現了從宏觀到微觀的維度衍變、從抽象到具體的內容銜接的一體化設計邏輯。

在風險防控維度上，該框架將防控生成式AI風險劃分為層次銜接的四個子框架：人本邏輯、法治邏輯、共治邏輯、科技邏輯。其中，人本邏輯是一體化防控框架的“根基”，發揮著“統領性”的作用；法治邏輯是對人本邏輯的“具象化”執行，是整個風險防控體系的“樹干”，發揮著“提綱性”的作用；共治邏輯是對法治邏輯的結構要素“分類式”“精細化”表達，是整個風險防控體系的“枝干”，代表了整個風險防控體系著力的“邊界范圍”；科技邏輯是共治邏輯的“工具化”運用，是整個風險防控體系的“枝葉”和“最接地氣”的部分。在風險防控內容上，該框架從價值導向、防治對象、參與主體、工具手段4個方面，全面解構不同維度下生成式AI風險防控的理念、客體、主體和工具的“全貌”。

遵循人本邏輯，制定防控生成式AI風險的“一體化”頂層戰略。生成式AI技術正推動人機共生的元宇宙發展，將人的世界從物理世界延伸至數字世界，在其推動下未來人類將進入通用人工智能時代、強人工智能時代。在此背景下，必須更深刻系統地認識到智能社會本質是“人的”社會而不是“物的”社會，人民至上、生命至上，人的發展是社會發展的最終目的。具體而言，制定應對生成式AI重大風險頂層戰略，就是要以“道德理性”為導向，以人民安全為宗旨，把權利保護和人權保障作為防控生成式AI重大風險的核心要義。要以“公權力-平臺權力-私權利”相平衡的權力制約思路為指引，全面規劃和統籌協調智能社會風險防控工作；要統籌整合軍事、情報、安全、外交、公安、社會等各方資源，強化國家安全戰略情報在政治風險應對上的支撐作用，利用人工智能技術開展風險評估，全面分析對手利用生成式AI對我國進行滲透破壞的現狀和態勢、溯源風險源頭和威脅，加強應對生成式AI風險的頂層認知；要聚焦個人信息保護、人工智能安全等領域的突出問題和人民群眾的重大關切，將廣大人民群眾的網絡空間合法權益維護好、保障好、發展好，匯聚人民力量抵御各種安全風險，不斷筑牢維護國家安全的“銅墻鐵壁”。

遵循法治邏輯，健全防控生成式AI風險的“全方位”制度體系。以算法、數據、內容、資本為載體，將人本邏輯所蘊含的倫理、道德和觀念等抽象性價值，轉化為以權力、權利和利益等結果形式為防治對象的結構要素框架，以“法治理性”為導向，建構一套安全有序的智能社會法治秩序。《生成式人工智能服務管理暫行辦法》對生成式人工智能服務實行包容審慎和分類分級監管，明確了訓練數據處理活動和數據標注等要求，規定了安全評估、算法備案、投訴舉報等制度[15]，但生成式AI帶來的有害內容生產、傳播與滲透的責任仍有待清晰界定。在生成式AI風險不斷泛化并與其他領域安全風險疊加擴大的背景下，應當在法治框架內拓展治理思路，逐步健全生成式AI重大風險治理的“全方位”制度體系。第一，從參與主體角度完善“縱橫交錯”的防控生成式AI風險責任體系。新技術風險治理必須進行法律制度創新，只有合理劃分不同主體、不同層次、不同階段的法律責任，構建起有效的風險治理責任體系，才能充分發揮風險治理體系的作用與優勢，落實風險治理責任[16]。在橫向上，要盡快完善“政-企-社”三大主體的責任分配體系，明確政府主體在生成式AI監管中的“元治理”責任，明確社會主體的“協治理”責任，明確企業主體的“能治理”責任，從而構建“整體性”風險治理責任體系；在縱向上，盡快厘清“上-中-下”三個層次的生成式AI監管責任，通過“高層”承擔“頂層設計”責任、“中層”履行“專業管理”責任、“基層”壓實“貫徹執行”責任，從而實現“分層式”的生成式AI風險監管責任安排。第二，從防治對象角度建立“包容審慎”的生成式AI法治體系。一方面，通過完善法規制度實現“硬法”控制，推動生成式AI風險防控從以“應急管理”為中心向以“風險治理”為中心轉變，構建價值包容、普遍有效的風險治理制度體系。另一方面，堅持控制算法模型的核心邏輯，將社會公認的價值判斷“賦魂”至算法模型中，通過選擇語料庫和建構訓練模型的價值邏輯，使智能算法始終能夠被人類掌控，并沿著以人為本的方向發展與迭代，實現治理的“軟法”控制。

遵循共治邏輯，構建防控生成式AI風險的“同心圓”治理結構。共治是善治的核心要義。生成式AI的風險防控比其他任何技術形態的社會治理都更加復雜，既有針對最新科技的極強專業性，又具有面向公眾的廣泛社會性，還有境內境外的緊密聯動性。因此，實行以多元共治為核心的“同心圓”治理結構是構建智能社會政治秩序的必然選擇。

一是實現應用“倫理嵌入設計”。生成式AI遵循一定的倫理規則。“如果我們在教給強大的智能機器基本倫理標準之前，在某些標準上達成了共識，那一切就會變得更好。”[17]近年來，許多國家和國際組織都在探索生成式人工智能倫理治理路徑。2023年3月以來，意大利、加拿大先后以數據安全為由，宣布對ChatGPT所屬公司OpenAI展開調查。2023年6月，歐洲議會批準《人工智能法案》，對ChatGPT等生成式AI工具提出了新的透明度要求，并要求披露生成式AI訓練數據版權。[18]對于我國而言，必須要妥善處理好生成式AI技術發展與倫理價值約束之間的關系，建立高風險生成式AI系統自開發、使用直至整個存續期間的法律約束與懲戒機制，有效防控人工智能風險。此外，針對生成式AI領域的創新主體、行業組織、公司企業也要制定相應的生成式AI倫理指南，推進落實AI風險管理、倫理審查評估等，深入推進人工智能倫理治理，打造安全可信的生成式AI應用，并確保在應用中實現“倫理嵌入設計”。二是形成多元主體共治格局。生成式AI治理是一項復雜的系統工程，需要國家、行業、組織、公民等主體的共同參與、協同共治。因此，要走好網上群眾路線，充分發揮群眾自我教育、自我管理、自我約束的自治作用，與群眾共同應對智能社會的復雜問題，[19]還要激勵和支持社會自治、政府和企業合作共治，強化對頭部企業與產品服務的安全監管。同時，有關部門應加強執法監管，提升對危害政治安全的新技術的監測處置能力，對構成違法犯罪的案件依法嚴肅查處。三是推動國際人工智能治理。2021年以來我國先后發布《中國關于規范人工智能軍事應用的立場文件》《中國關于加強人工智能倫理治理的立場文件》，在聯合國平臺就人工智能治理提出方案，推動形成具有廣泛共識的國際人工智能治理框架和標準規范，不斷加強人工智能領域全球治理，積極倡導多方參與國際人工智能治理以應對共同挑戰。

遵循科技邏輯，強化防控生成式AI風險的“全周期”過程監管。現實中人工智能應用所引發的“技術利維坦”、數字鴻溝、信息繭房、馬太效應、倫理困境等問題，使得人工智能治理成為一項復雜工程。遵循科技邏輯是指將“科學性”注入風險識別、風險預警、風險處置等環節，以“工具理性”為導向，以生成式AI具體技術、產品、服務和內容為載體，對行業場景所要求的行為規范進行技術化、標準化的“全周期”過程監管，通過建立研究設計標準、技術安全標準、運行程序標準、管理流程標準、應急手段標準等工具，降低風險概率和后果嚴重性。

一是在風險預警階段，以“監測力＋循證決策”為突破點，提升風險識別能力。風險識別在新技術風險治理中具有基礎性作用。隨著新技術風險治理中大數據、人工智能、認知科學等技術運用不斷深入，科技革命與新技術風險治理的雙向互動持續推進，新技術風險治理運用“監測力＋循證決策”進行風險識別的能力越來越強。如OpenAI研制出AI檢測器，以“AI檢測AI”避免技術濫用，顯著改善了GPT-4的安全性能。因此，預警階段需要強化科技認知，建立和完善國家級人工智能安全防御預警監測體系，及時發現并排除各種風險點和設計缺陷，實行威脅預警分級機制，規范并細化配套應對措施。二是在應急處置階段，以“靈敏度＋科學處置”為關鍵點，提升風險應對能力。要提升對生成式AI技術的敏感度，利用生成式AI提升網絡政治安全防御自動化水平，對風險“節點”進行科學處置；利用審核智能化優勢賦能互聯網內容監管技術，有效阻斷危險信息和虛假內容傳播，快速提升風險應對中的“信息流”處理能力。三是在風險防控階段，以“一盤棋＋系統決策”為著力點，提升風險治理能力。人工智能帶來的風險類型多樣，處置流程也不盡相同，必須發揮“一盤棋”的制度優勢，進行系統決策，形成數據安全、算法安全、模型安全、內容安全相互銜接、有機融合的一整套辦法措施，及時有效應對風險隱患和技術漏洞。在加強外部防范的同時，也要加強內控方面的安全技術防線建設，有步驟地提高生成式人工智能國家安全風險一體化綜合防控能力。

（國防大學政治學院軍隊保衛工作系主任、副教授段偉對本文亦有貢獻）

注釋

[1]國家互聯網信息辦公室：《生成式人工智能服務管理辦法（征求意見稿）》，2023年4月11日，http：//www.cac.gov.cn/2023-04/11/c_1682854275475410.htm？eqid=cfb0848e00035b16000000066434f17c。

[2]張華平、李林翰、李春錦：《ChatGPT中文性能測評與風險應對》，《數據分析與知識發現》，2023年第3期。

[3]鐘祥銘、方興東、顧燁燁：《ChatGPT的治理挑戰與對策研究——智能傳播的“科林格里奇困境”與突破路徑》，《傳媒觀察》，2023年第3期。

[4]孫寶云、李艷、齊巍：《網絡安全影響政治安全的微觀分析——以“劍橋分析”事件為例》，《保密科學技術》，2020年第4期。

[5]唐嵐：《數字化轉型下的發展與安全——觀察國際秩序變化的新視角》，《人民論壇·學術前沿》，2023年第4期。

[6]《美國“截擊”網站披露 美軍計劃用“深度偽造”等技術操縱信息》，2023年3月8日，http：//tv.cctv.cn/2023/03/08/VIDET3SH6nZsvI73ffATPqlE230308.shtml。

[7]N. Carlini， "Privacy Considerations in Large Language Models，" 15 December 2020， https：//ai.googleblog.com/2020/12/privacy-considerationsin-large.html.

[8]《爆紅的“ChatGPT”潛在的數據安全隱患》，2023年2月7日，https：//new.qq.com/rain/a/20230207A08JRW00。

[9]H. Rosner， "The Ethics of a Deepfake Anthony Bourdain Voice，" 17 July 2021， https：//www. newyorker.com/culture/annals-ofgastronomy/the-ethics-of-a-deepfake-anthony-bourdain-voice.

[10]騰訊研究院：《AIGC發展趨勢報告2023：迎接人工智能的下一個時代》，2023年1月31日，第55頁。

[11]張華：《后真相時代的中國新聞業》，《新聞大學》，2017年第2期。

[12]張遠婷：《人工智能時代“深度偽造”濫用行為的法律規制》，《理論月刊》，2022年第9期。

[13]《聊天機器人首秀答錯一題 谷歌市值縮水逾7000億》，2023年2月10日，https：//new.qq.com/rain/a/20230210A018O300。

[14]龐禎敬、薛瀾、梁正：《人工智能治理：認知邏輯與范式超越》，《科學學與科學技術管理》，2022年第9期。

[15]國家互聯網信息辦公室：《生成式人工智能服務管理暫行辦法》，2023年7月10日，http：//www.cac.gov.cn/2023-07/13/c_1690898327029107.htm。

[16]范逢春：《基層重大風險治理應當遵循的幾個重要邏輯》，《國家治理》，2020年第3期。

[17]邁克斯·泰格馬克：《生命3.0——人工智能時代人類的進化與重生》，汪婕舒譯，杭州：浙江教育出版社，2018年，第444頁。

[18]方曉：《歐洲議會批準〈人工智能法案〉，要求披露生成式AI訓練數據版權》，2023年6月15日，https：//www.thepaper.cn/newsDetail_forward_23490174。

[19]張文顯：《構建智能社會的法律秩序》，《東方法學》，2020年第5期。

責 編∕楊 柳（見習）