生成式人工智能的意識形態功能、風險及預前治理

［摘 要］生成式人工智能以其技術的底層性和通用性重塑意識形態實踐的要素和結構，其專業化和小規模化后將成為廣泛銷售并使用的智能代理，將造就意識形態生產、傳播、教育和動員新形態。由于專業權威弱化、算法復現數據性質譜系以及私有化的產權和應用造成了權威性與民主性、政治性與技術性、公共性與私有性矛盾，智能代理將在實踐主體、模型構建和社會應用方面引起多重影響國家安全的意識形態風險。為治理風險，應立足未來提出預前策略，拋開為技術引發問題打補丁的思路。必須確立黨管智能代理原則，強化主流意識形態權威性；構建可內嵌意識形態知識圖譜，提升意識形態數據規范性；導入意識形態管理智能代理，實現社會應用全程風險處置。

［關鍵詞］生成式人工智能；意識形態實踐技術；智能代理；風險治理

［作者簡介］孫夕龍：北京交通大學馬克思主義學院教授、博士生導師，主要研究方向為馬克思主義基本原理。

［DOI］10.19377/j.cnki.43-1531/g0.2024.02.007

生成式人工智能是新一代人工智能在深度學習方向取得的標志性技術，是人工智能第三次浪潮的重大進展。它在功能模擬意義上解決了程序自行學習和自動生成數據的問題，是信息技術體系中的底層技術和通用技術。生成式人工智能技術與大數據、超級計算和物聯網等技術融成一體，將使真正的智能世界和全息世界變為現實，并從信息層面實質性重構各行各業的要素和結構，給生產實踐、社會生活以及社會運營管理帶來歷史性變革。目前，生成式人工智能語言大模型已在交通、金融、醫療、教育等產業賦能方面初具規模，多模態大模型正在快速推進，例如2024年初美國OpenAI公司發布了Sora。可以預見，作為新質生產力的重要方面，生成式人工智能技術在思想文化領域的應用不久將迎來爆發。一方面，對于文化和意識形態領域，它不會只是一般性賦能或介入，而是第一生產力，必將重塑文化實踐模式，在意識形態生產、傳播、教育和動員能力方面造成顛覆性影響。另一方面，它也將是未來意識形態斗爭的最前沿，成為負面意識形態活動加以利用的主要工具，會在文化安全、意識形態安全乃至政治安全方面引發前所未遇的潛在風險和挑戰。因此，關于生成式人工智能在思想文化領域應用的研究不能局限于初步賦能以及一般倫理問題，而是必須基于其技術的底層性和通用性，預測和刻畫它未來的實踐路徑和產業情景，深入把握其引發的意識形態新風險，并提出治理對策。

一 生成式人工智能作為支撐意識形態的技術及其功能

馬克思指出，技術作為“工藝學”，“揭示出人對自然的能動關系，人的生活的直接生產過程，從而人的社會生活關系和由此產生的精神觀念的直接生產過程。”（馬克思，Nwa74M8aHBVmLKSJNguXyQ==恩格斯.馬克思恩格斯文集：第5卷［M］.北京：人民出版社，2009：429.）例如，“預告資產階級社會到來的三大發明”，火藥炸碎了騎士階層，成為服務于階級斗爭的技術；指南針被運用于開拓世界市場和殖民地，成為服務于資本的技術；“而印刷術則變成新教的工具，總的來說變成科學復興的手段，變成對精神發展創造必要前提的最強大的杠桿”（馬克思，恩格斯.馬克思恩格斯文集：第8卷［M］.北京：人民出版社，2009：338.），所以是支撐意識形態和精神生產的技術。精神領域幾千年發展史表明，新舊意識形態斗爭既是有關新舊思想觀念的斗爭，也是有關意識形態活動技術的斗爭。這些技術之爭或多或少地改變了既有思想文化格局，在革命時期，甚至引發了新舊文化生死之戰。

（一）生成式人工智能作為支撐意識形態的技術及其形成

意識形態不僅是作為上層建筑的思想體系，還是反作用于經濟基礎、同政治和社會生活相互作用的實踐活動，顯然需要借助一定的技術才能進行，包括搭建物質載體、創設媒介符號、傳遞思想觀念、動員行動主體、提供行動手段等。這些技術實際是特定的信息技術和傳播技術。因此，可以將意識形態實踐所使用的信息技術和傳播技術稱為支撐意識形態實踐的技術，簡稱意識形態實踐技術，將意識形態的思想內容簡稱為意識形態信息或數據。

在哲學層面上，所有技術從功能來看都是直接或間接對人體器官體系一定程度的模擬和擴展，都是延長了的人的“自然的肢體”（馬克思，恩格斯.馬克思恩格斯文集：第5卷［M］.北京：人民出版社，2009：209.），支撐意識形態的技術也不例外。人在實踐中必須使用自身信息器官獲取和利用有關外部世界的信息來操控各種工具，這些信息器官體系包括感知和獲取信息的感覺器官、傳遞和分配信息的傳導神經、存儲和生成信息的思維器官（大腦）以及使用和反饋信息的效應器官（手足口）等。意識形態實踐技術作為信息工具，本質上就是對人體信息器官體系的延伸，就是人們利用信息和傳播工具感知和收集、解析和傳遞、存儲和加工以及使用和調節文化與意識形態信息和數據的技術。意識形態實踐在技術層面就是階級或利益集團及其意識形態家利用多層疊加的信息媒介來生產、傳播和灌輸意識形態信息，動員階級隊伍和凝聚政治成員，以支持其建立或開展政治統治的活動。另一方面，人體信息器官體系和所有信息技術都存在信息生產和表達的效率以及信息傳播和交流如何實現時空同一性這兩個基本問題，信息技術發展史就是解決這兩個問題的歷史，最終目標是指向一種能夠同時實現大批量信息生產和傳播的、多主體和多終端之間的、遠距離的和實時交流的自動化信息生產和處理系統。意識形態實踐技術的進步史自然也是一部追求自動化的歷史，而生成式人工智能技術恰恰就是其所追求的目標，是意識形態實踐史和技術史的必然歸宿。

從文字替代瞬間消失的口語及其器官工具開始，中間歷經造紙術、機械印刷、電報電話、錄音錄像以及廣播電視等，信息的載體、媒介及傳播方式一直在突破時間、空間和容量限制。一旦人類將信息和數據搬運到載體和媒介上后，其存儲和傳遞就脫離了人而獨立進行，可以說實現了部分自動化。20世紀40年代計算機發明后，人類首次開始制造非肉體的器具來模擬人腦結構以及處理信息和操控肌體的機制，試圖拓展和替代人腦的部分機能，并克服其不足。在結合通信等技術后，計算機初步解決了遠距離傳遞信息與主體間信息互動不能同步的矛盾。20世紀90年代以后，人們逐步將各種電子設備鏈接在一起，構建了互聯網。21世紀以來，移動設備和移動互聯網大幅提升了自動感知、生產、收集和傳遞信息的能力，具備了多主體間遠距離同時互動功能，并成為意識形態斗爭的主戰場、主陣地和最前沿。

2018年以來，以ChatGPT和文心一言等為代表的生成式人工智能取得技術突破，目前主要通過理解用戶輸入的自然語言及其相應語境和場景來推斷其需求，生成用戶期望的新文本數據。同時，研究人員正在快速推進它實現跨模態任務，即生成文本、圖像、音頻和視頻等不同模態信息的混合數據。其核心部分是神經網絡轉換器（Transformer）模型，它可以將輸入序列數據通過編碼器轉換為一組向量，然后通過解碼器使用這些向量來生成輸出序列數據。生成式人工智能在功能意義上初步實現了對人腦信息處理的模仿和擴展，與現有網絡技術深度結合后，最終將完成信息技術對人體信息器官體系的完整擴展：內置生成式人工智能程序的電子設備從網外世界和網內空間感知和獲取信息并存儲；網絡傳遞、交換和分配信息；生成式人工智能收集、存儲和計算信息并自動生成新信息；生成式人工智能發出指令信息，通過電子或機械等媒介操控聯網物體、人員及組織系統，指揮工具體系生產物質資料。在給出第一推動后，生成式人工智能可以獨立實現自然人需要的各種信息任務，幾乎無須自然人來監督執行。至此，信息技術的兩個基本問題基本得到解決，真正實現了信息生產、收集、計算和傳遞全過程的自動化。在思想文化領域，生成式人工智能能夠代替人類獨立完成意識形態數據和信息的生產、存儲和傳播等事務，是新一代具有顛覆意義的支撐意識形態實踐的技術。

（二）生成式人工智能的文化和意識形態功能

生成式人工智能將造就思想文化領域新結構、新產業和新業態，成為文化發展的新引擎。第一，重塑思想文化實踐主體結構。生成式人工智能作為程序在功能模擬層面可以稱得上是類人智能工具，被稱為agent，即“智能代理”（或譯作“智能體”）。agent最早由馬文·明斯基（Marvin Minsky）引入，討論心智（Mind）如何由許多更小的程序組成并聚合在一起實現“真正的智能”。（參見：Marvin Minsky.The Society of Mind［M］.New York：Simon & Schuster，Inc.，1985：17.）1995年，比爾·蓋茨提出，agent“是一個具有人格并且似乎具有主動性的過濾器”，與之對話就像“同一個行為有些像人的程序對話”。（根據原文對譯文進行了改動，參見：比爾·蓋茨，等.未來之路［M］.辜正坤，譯.北京：北京大學出版社，1996：110-111.）智能代理將向思想文化領域引入大量前所未有的主體新變量。首先，雖然生成式人工智能構建需要龐大的資源和投資，普通用戶目前只能通過應用程序購買其服務，但從技術發展和商業驅動來看，它必將朝著小型化和輕量化方向快速演進，迭代出低資源需求的深度學習算法。在突破成本障礙、實現消費級商業化后，除現有研發團體和供應商外，大量企業和個人理論上也可以依據條件和需要購買使用。其次，智能代理未來將以高度仿真的、能與自然人進行知情意互動的人形機器人的形象廣泛切入生產生活中。無數智能代理將會聯結成網，成為相對獨立的類人主體世界，成為意識形態和文化實踐主導平臺，實踐主體將跨入自然人主體和類人主體共存時代。再次，非專業人員可以指令智能代理代替他們完成諸如編寫代碼、生產高水平文化產品等技術性工作，雖然專業人員不使用智能代理也能從事專業工作，但智能代理確實代替了大量至少是中高端的專業工作。這是一個歷史性轉折，在絕大多數文化產品生產的意義上，文化和意識形態領域專業與非專業主體的差別將趨于模糊。

第二，制造全模態型文化和意識形態產品生產工具。首先，生成式人工智能正在構建通用模型和針對各專業領域的垂直模型，兩類模型都會涉及文化和意識形態數據，構建文化和意識形態專業模型將成為必然，理論著述、新聞歷史、小說影視、游戲動漫、音樂美術以及更復雜的虛擬現實等都有海量原始數據可供使用。因此，生成式人工智能是全模態型文化和意識形態產品生產工具，未來市場必是專業模型或垂直模型占據絕大多數。其次，除了法人實體外，普通個人也將擁有自己專屬的文化產品自動化生產程序，相比其他專業性極強、成本極高的例如從事自然科學研究的大模型，文化行業專業模型的數量將會更多。再次，普通用戶在成本可控的情況下都可以無限制地使用智能代理進行生產和傳播活動，甚至也可以將智能代理設計成它自身的用戶，實現自己與自己的開放式對話，并進行生產。因此，未來文化和意識形態產品的數量將比現在多得多。最后，智能代理生產的文化和意識形態產品的水準多數情況下高于自然人主體，自然人獨立生產的積極性將受到抑制，多數人會選擇輔助智能代理來生產，并成為常態。

第三，創造文化和意識形態實踐新模式。首先，基于帶寬、數據和算力等基礎設施的強大能力，未來生產制造和社會生活運行管理所有需要鏈接運行的設備、物品、工具和人員理論上都可以置入或聯結生成式人工智能。生成式人工智能則利用通訊和網絡技術重組全部信息傳遞系統，生成信息并輸送到各個物質節點和終端，操控系統運動全過程，從而實現真正自動化意義上的智能物聯網。習近平指出：“科技創新速度顯著加快，以信息技術、人工智能為代表的新興科技快速發展，大大拓展了時間、空間和人們認知范圍，人類正在進入一個‘人機物’三元融合的萬物智能互聯時代。”（習近平.習近平談治國理政：第4卷［M］.北京：外文出版社，2022：197.）生成式人工智能將是萬物智能互聯的大腦。其次，物質生產全自動化帶來的生產關系變革將會引起處理各種利益關系的社會政治實踐的重大變革，也將再造科學文化實踐的結構和面貌。從21世紀初開始，網絡和數字新媒體與舊媒體逐步融合成全息、全員、全程和全效的全媒體，但內容基本上還由人工制作。智能代理將使全媒體從半自動化蛻變為全自動化。在智能物聯網中，通用和專用模型、大小規模的模型鏈成一體，無數智能代理部署于各種可能空間中，構成了一個全方位的實時信息生產和傳播網絡，真正的智能全媒體產生了。同時，未來市場將是大規模通用模型和小規模專業模型共存狀態，相比目前所謂網絡自媒體，產權歸屬更徹底，絕大部分將是純粹個人工具，可以脫網獨立使用，因此也是完整意義上的自媒體。再次，意識形態實踐未來將在智能物聯網、智能全媒體和自媒體所構成的全息世界的結構體系、信息環境和社會情境中進行規劃和實施。在意識形態傳播和教育中，智能代理可以根據任何對象的切實需求、思維能力和心理特征等，選擇最適當的環境、情境以及方式實時開展活動，可以調用更多更適當的資料進行傳播，可以選取最精準的內容因材施教，可以同對象進行最有針對性的擬情性互動，從而顯著增強傳播和教育效果。在意識形態動員中，信息和傳播媒介是主要物質手段，隨著意識形態實踐技術的逐步發展，社會動員主體呈現為從政黨和政府逐漸擴大到普通民眾的過程。進入網絡時代，在執政黨主導的動員之外，普通民眾借助自媒體往往也能推動輿情活動和意識形態行動。而智能代理作為平臺將是未來社會動員的最便捷工具，它可以將意識形態動員深入到每個人，動員活動將不存在技術障礙。

二 生成式人工智能意識形態實踐的風險

尼爾·波斯曼（Neil Postman）認為，“每一種技術都既是包袱又是恩賜，不是非此即彼的結果，而是利弊同在的產物。技術既是朋友，也是敵人。”（尼爾·波斯曼.技術壟斷：文化向技術投降［M］.何道寬，譯.北京：中信出版社，2019：xxx-xii.）生成式人工智能的意識形態實踐自然有其潛在風險，并有其特殊性。一方面，智能代理一旦被植入負面意識形態數據，風險就將充斥于全息世界每個節點和終端中，難以根除。因此，智能代理平臺將是激烈爭奪的對象，將成為意識形態斗爭新的主戰場、主陣地和最前沿。另一方面，生成式人工智能的特殊實踐方式決定了它必將深入整個意識形態數據系統，因而后者的特性就同生成式人工智能利用和生成數據的活動直接相關，成為風險源頭。首先，意識形態思想內容表現為一個從顯性到隱性的意義譜系。政治法律思想是意識形態的核心和“本體”，可以作為思想體系直接表達，而哲學社會科學、道德、藝術和宗教這些“近枝”和“遠蔓”（馬克思，恩格斯.馬克思恩格斯文集：第3卷［M］.北京：人民出版社，2009：521.）則可能借助概念體系、語言符號和人物故事等或直接或間接表達政治法律思想，所以往往是隱性的。因此，意識形態各形式含有意識形態的“濃度”各有不同。其次，意識形態數據意義譜系由政治性質譜系決定。以主張和反對馬克思主義和社會主義為兩極，意識形態體系呈現出很大幅度的性質譜系，兩極之間則是眾多不同偏向的過渡形態和模糊數據。這就是“紅色地帶”“灰色地帶”和“黑色地帶”共同構成的意識形態空間（參見：習近平關于網絡強國論述摘編［G］.北京：中央文獻出版社，2021：52.），表現出“政治意圖隱匿、作用方式隱晦、思想邊界模糊、難以預測的偶發性等特點”（侯惠勤.論意識形態風險及其防控［J］.閱江學刊，2022（5）：26.）。在數據量方面，兩極占少數，中間占多數，且無法被清晰分割為不同陣營。再次，意識形態數據意義和性質譜系背后對應著相同的主體譜系，兩極少中間多，并因為各種社會歷史根源，三類主體各自都會有數量增減以及相互轉化等變化，從而引發意識形態譜系的演化。如果不加干預，生成式人工智能無論技術構建還是社會應用都將復現并強化上述意識形態數據系統的特征，造成反主流數據大量生產和傳播的風險。

（一）權威性與民主性矛盾：實踐主體的意識形態風險

在前網絡時代，意識形態實踐的經濟成本和知識成本較高，意識形態實踐主體主要是專業機構和專業人員。進入工業化時代，生產能力的大幅提高、成本的降低及教育規模的不斷擴大，使得非專業民眾也可以擁有少量先前難以獲得的意識形態實踐技術和資料，意識形態實踐主體逐漸呈現下沉趨勢。互聯網和個人信息終端興起后，文化和意識形態實踐工具開始擴展到普通個人，那種僅有意識形態專家掌握工具，單一性主導意識形態實踐的情況已基本改變，幾乎人人都是主體，表現出空前的民主性。從結果來看，這種人人自媒體的局面相當程度上就與意識形態和政治領域需要的統一性和權威性相矛盾。但另一方面，網絡意識形態主體絕大部分只能生產一般性輿論和非系統的觀念，遠非高層次的文化和意識形態產品，所以對主流意識形態權威影響相對較小。但是，生成式人工智能技術產生后，因為無數普通大眾可以使用智能代理這個全能型生產工具，意識形態實踐技術的民主性從量的擴張突然涌現為質的驟變，意識形態主體結構層級大為改變，風險等級也超過從前。

首先，就各領域和行業本身來說，不會像目前這樣只是少數幾家企業擁有智能代理產權，而是相反。單就文化和意識形態領域來看，個人廣泛使用作為私人工具的智能代理，無疑大量擴充了意識形態主體譜系中間的和負面的部分，給負面意識形態主體制造了大量行動機會，甚至提高了他們意識形態話語和行動的水平。其次，智能代理操作的傻瓜化使得意識形態實踐專業性所引起的事實性壟斷被打破，雖然普通用戶還是難以親自生產較高水準的各種意識形態產品，但是他能向智能代理提出生成要求并得到滿足，所以專家優勢將越來越集中在少量高精尖產品方面。因此，人們將高技術和專業性同文化和意識形態專家的身份和權威關聯在一起的想象越來越弱，專家和權威的威信、形象和地位將遭到嚴重沖擊。結果是，以往意識形態的權威性與民主性矛盾及其風險將從外圍的日常輿論和思想觀念擴展到意識形態領域的核心區域。再次，智能代理以其外觀上的高水平輸出，成為人們更加信任的隨時可以請教的專家，當產生思想觀念和理論問題時，人們寧愿選擇它的輸出作為標準解答。當人們需要精神生活時，也會選擇它的文化產品作為消費對象，智能代理本身成了權威。對于高水平主體來說，他們能夠鑒別智能代理輸出的意識形態數據，不被其所困。但是，顯然會有大量認識水平不高的主體只是被動接收它的數據，完全暴露于負面意識形態譜系之中，這大大降低了他們對主流意識形態的權威認同。最后，更重要的是，主流意識形態是執政黨的指導思想，主流意識形態權威的本質是執政黨權威。對于建設和鞏固主流意識形態來說，黨的權威是決定性的條件。生產方面的權威來自其專業性和技術復雜性，黨作為最高政治領導力量，其權威性維系著國家的前途命運和全國各族人民的根本利益，必須堅決維護。因此，生成式人工智能在意識形態主體方面引發的權威性與民主性的矛盾，其潛在政治風險相比傳統網絡意識形態風險要更加深入和嚴重。

（二）政治性與技術性矛盾：技術構建的意識形態風險

生成式人工智能技術開發需要經過預訓練、有監督微調和構建獎勵模型進行強化學習三個階段。第一，預訓練使用的原始語料來自網絡和各種電子數據，除了過濾低質量數據外，開發者不使用人工對其進行道德、價值和政治傾向的標注。為了增強泛化能力，還會盡可能多地選取不同領域的數據。從其選擇方式可見，完全無法避免這些數據中的意識形態部分，如果有意避開，那么預訓練得到的基礎模型所生成的文化信息的有用性將急劇衰減。第二，有監督微調是向預訓練得到的基礎模型輸入自然語言對話，基礎模型則輸出自己預測概率最大的答案，然后依據有標記的作為標準答案的指令數據對其進行調整，使輸出數據與標準答案相同，并形成有監督微調模型。有監督微調需要使用事先準備的有標注的指令數據，包括標注人員收集并加以編輯的問答數據，或者自行編寫的文本提示與答案集，或者大模型自動生成的問答數據，通過微調使模型能夠準確地根據輸入來預測期望的輸出。第三，有監督微調使得模型初步具備了服從人類指令來完成各類任務的能力，但“不能從整體上對模型輸出質量進行判斷”，因此還需要引入下一個策略，即運用獎勵模型來強化學習。（參見：張奇，桂韜，鄭銳，等.大規模語言模型：從理論到實踐［M］.北京：電子工業出版社，2024：158.）但在構建獎勵模型過程中，還會使用由人類反饋標注的偏好數據以及專家知識來訓練和優化獎勵函數。一般認為有監督微調存在標注錯誤、數據偏見和標注者依賴等問題，獎勵建模則存在標注者偏見和人類反饋質量等問題。

就具體風險來說，目前人們普遍擔心的是其中算法的可解釋性和歧視性，即“透明性”和“公平性”問題。（參見：張欣.生成式人工智能的算法治理挑戰與治理型監管［J］.現代法學，2023（3）：108.）其實算法無非是基于概率和統計、最優化理論、線性代數等數學理論構造的，所謂算法意識形態風險還是來自構建階段涉及的意識形態數據系統本身，主要圍繞意識形態數據的政治方向性展開。意識形態實踐技術需要在滿足技術開放性原則的同時，體現意識形態本身具有的政治性原則，這就內在地要求在分析、加工和處理意識形態數據過程中始終貫穿并遵循主流意識形態的政治立場。現階段，有關部門發布的《生成式人工智能服務管理暫行辦法》以及公開的《生成式人工智能服務安全基本要求》（征求意見稿）列舉了語料來源和語料內容方面必須過濾的風險信息，但這些規定只能將明顯形諸文字的破壞主流意識形態的資料排除在外，難以剔除大量服務于負面目標的模糊數據，各種通過暗示和隱晦手段實現的隱性滲透仍然很難通過純粹技術手段完全甄別出來。與此同時，參與意識形態數據研發的人員，無論如何強調數據標注質量、數據選取的無偏見、多樣性和無害性，都有潛在的意識形態問題，無法非意識形態化。首先是數據標注規則。給予相關意識形態數據何種性質標注，取決于標注所遵循的價值標準，以及具體內容在意識形態意義和性質譜系中定性和定量的判斷。其次是技術人員和標注人員的業務素質，包括有關意識形態的知識儲備、思維水平和價值標準。標注者不一定有能力判斷數據是否符合標準、屬于意識形態數據譜系的哪個頻段，甚至其判斷的政治標準本身都不合格。再次是具體標注內容是否準確和符合主流價值觀的問題，這依賴前述兩個因素并由標準人員如何篩選和標注數據決定。因此，生成式人工智能構建中遭遇了模型的技術性同數據的意識形態性和政治性之間的矛盾，而解決問題的正確路徑是通過技術來實現主流意識形態。從現實情況來看，至少在一些涉及意識形態本質性問題方面，目前還存在較大缺陷。例如，向國內某語言大模型輸入“詳細論述‘普世價值論’的主要觀點”后，它輸出的是“普世價值觀是普遍適用的價值觀，它超越了民族、種族、國界和信仰，是全人類共同擁有的價值觀。”“普世價值觀旨在促進全球社會的和平、公正、尊重和包容。”可見其獎勵模型標準數據集在意識形態理論方面是不合格的。

（三）公共性與私有性矛盾：社會應用的意識形態風險

哈貝馬斯認為：“一個科學化的社會，作為成熟的社會，似乎只有隨著科學和技術通過人的頭腦而與生活實踐相溝通時才能建成。”（尤爾根·哈貝馬斯.作為“意識形態”的技術與科學［M］.李黎，郭官義，譯.上海：學林出版社，1999：115.）生成式人工智能技術在思想文化領域的應用需要求助于公共性的實現，生產意識形態數據需要以多元主體的精神文化活動及其互動交往為基礎，而這種公共性的介入就可能導致私有性的僭越。在隱蔽的、專業的、排他的“算法黑箱”面前，公眾難以獲得并知曉意識形態數據的最終意圖，“數據來源的廣泛性和依托數據研發應用場景的開放性與平臺數據處理的隱蔽性及行為商業性存在張力”（陳榮昌.網絡平臺數據治理的正當性、困境及路徑［J］.寧夏社會科學，2021（1）：72.），從而產生公共治理與應用私有性的沖突。

智能代理應用中的風險相比模型構建更加復雜。《新一代人工智能倫理規范》要求“充分尊重個人信息知情、同意等權利”，依照合法和正當等原則處理個人信息，“保障個人隱私與數據安全”，同時提出“禁止使用不符合法律法規、倫理道德和標準規范的人工智能產品與服務”，禁止從事不法活動和危害國家安全，還要求使用者“及時主動反饋”，（參見：《新一代人工智能倫理規范》發布［EB/OL］.（2021-09-26）［2024-04-25］.https：//www.most.gov.cn/kjbgz/202109/t20210926_177063.html.）肯定了個人可以向管理部門透露私人產品違規現象。個人隱私權保護邊界設置的范圍，應當遵循合法和正當原則，不能非法收集利用個人信息，同時也不能使用不合規范的產品與服務從事不法活動，危害國家安全。保護個人隱私與維護公共安全的矛盾在智能代理產業中造成了兩難困境。未來可能的典型負面場景是個人使用自己的智能代理私下生產反主流價值觀的思想文化產品，即私人擁有數據的產權，但數據又不符合法律規范，這主要是因為公權與私權難以劃界。

一方面，產權私有的智能代理的生產是個體化、隱私化和定制化的，產品大多由私人控制，私人生產者可能以尊重隱私為由，決定產品是否公開，這為負面意識形態產品生產設置了隱私保護，為脫離和躲避公共治理的監督管制提供了機會，可能引發意識形態數據生產安全方面的挑戰。相比互聯網和分析式人工智能，自動生成技術更有能力挖掘和暴露原始數據中本來難以見光的負面信息，可以大量生產具有否定性目的的模糊數據，也可以向生成式人工智能自行投喂私人準備的數據，進行有負面意識形態偏向的對話，迫使模型朝著否定主流價值觀的方向演化。例如，令人普遍擔心的深度合成技術，必定會制造出大量真假難辨的信息，“使得真相與虛假雜糅同構”（王延川，趙靖.生成式人工智能誘發意識形態風險的邏輯機理及其應對策略［J］.河南師范大學學報（哲學社會科學版），2023（4）：1.）。雖然手法低級，但是對混淆視聽、激發輿情十分有效。另外，境外生成式人工智能大模型在國內銷售應用，自然也存在輸出反面數據的可能甚至必然。另一方面，智能代理所有者可以在產權私有前提下進行社會活動，從而導致難以預料的意識形態傳播、教育和動員風險。在傳播方面，或是直接反對通過智能代理傳播，理由是既然智能代理是自己的，不做什么由自己做主。或是增加私密性傳播，例如主體間可能私下出售或交換智能代理生成的思想文化數據，拒絕公共治理介入。或是將智能代理用于認知戰，將其發掘或虛構的反主流的、真假難辨的甚至最無恥的數據公之于眾，引發大眾認知和情感的強烈震撼，沖擊主流意識形態。在意識形態教育方面，未來智能代理將是獲取知識和理論的主要渠道之一，從可能的風險來說，或者直接抵制主流意識形態的灌輸，或者認定智能代理真理提供者角色，都將直接削弱國民教育體系尤其是教育內容及教育人員的權威。再就是加劇負面意識形態動員的破壞性。意識形態動員有積極性的和破壞性的兩種基本類型，積極性動員是為了維護國家利益和公民的合法權益，依據法定政治程序來進行的；而“由境內外敵對勢力和國內別有用心的分子”發動的破壞性動員則相反。（參見：張雷，劉力銳.網民的力量：網絡社會政治動員論析［M］.沈陽：東北大學出版社，2014：48-49.）負面意識形態主體及境外負面勢力從事負面動員活動當然不會放棄智能代理這個極其易用的工具，各種速度超快、爆發突然、主謀隱匿、后果難料的活動將造成公共治理的巨大困難。

三 生成式人工智能意識形態風險的治理

針對新一代人工智能的風險治理問題，國家層面陸續出臺了一系列標準和規范。2017年《新一代人工智能發展規劃》指出：“加強人工智能對國家安全和保密領域影響的研究與評估，完善人、技、物、管配套的安全防護體系，構建人工智能安全監測預警機制。”（國務院關于印發新一代人工智能發展規劃的通知［EB/OL］.（2017-07-20）［2024-04-25］.https：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.）《新一代人工智能倫理規范》就人工智能產業的管理、研發、供應和使用的完整過程提出了6項基本倫理要求和18項具體倫理要求。但目前的標準和規范體系仍需從支撐意識形態實踐這個特征出發進一步完善。其一，總是在倫理范疇之內表述實踐規范和風險治理要求，意識形態屬性強調不夠。其二，缺少立足未來的規劃，不是預前治理，可能難以應對未知風險。其三，存在把現有開發規程教條化傾向，導致治理不是引領技術進步，而是為技術引發的問題打補丁。要化解生成式人工智能技術可能帶來的風險隱憂，應堅持問題導向，從確立黨管智能代理原則、嵌入意識形態知識圖譜、導入意識形態管理智能代理三個方面予以統籌應對。

（一）確立黨管智能代理原則，強化主流意識形態權威性

習近平指出：“黨性原則是黨的新聞輿論工作的根本原則。黨管宣傳、黨管意識形態、黨管媒體是堅持黨的領導的重要方面。”（習近平.論黨的宣傳思想工作［M］.北京：中央文獻出版社，2020：181.）既然生成式人工智能進入文化和意識形態領域，成為意識形態陣地和媒介，那么理應堅持馬克思主義在意識形態領域指導地位的根本制度，落實黨管媒體原則，要在“堅持政治家辦報、辦刊、辦臺、辦新聞網站”（習近平關于社會主義文化建設論述摘編［G］.北京：中央文獻出版社，2017：25.）之外，把政治家管理思想文化領域的智能代理明確為管理原則。確立黨管智能代理原則，第一是為了保證生成式人工智能在文化和意識形態領域服務人民、服務社會主義以及服務黨和國家事業發展的根本方向。第二是為了在黨的領導下，積極應對智能代理技術可能引發的更深層次沖突，以及給人民利益和黨的權威可能帶來的損害。

黨的權威性是確保生成式人工智能服務主流意識形態建設和鞏固的決定性條件，是方向性、原則性和根本性的問題，智能代理的發展目標之一就是強化主流意識形態權威性和領導權。那種為了規避技術風險就限制技術發展，或是罔顧意識形態和國家安全盲目技術崇拜的路徑均不可行，唯一的正確道路是通過體制機制和技術方法保證作為私有工具的智能代理能夠貫徹黨性原則。首先，必須針對智能代理用戶開展經常性的意識形態教育，只要他們認同了主流意識形態的科學性和黨的意識形態權威，成為自覺的主流文化的擁護者，那么，權威性和民主性以及公共性和私有性的矛盾就會自然化解。其次，要不斷提升廣大群眾關于生成式人工智能的認識和理解，強化他們對于生成式人工智能的意識形態陣地意識，引導他們自覺運用黨的政治權威和主流意識形態的思想邏輯開展意識形態斗爭。再次，應堅持“以技術對技術，以技術管技術”（習近平關于網絡強國論述摘編［G］.北京：中央文獻出版社，2021：95.），在技術層面強化主流意識形態及正面輿論在智能代理中的內容供給和價值內嵌，確保意識形態數據生產及社會應用全鏈條處在黨的統一領導之下。

（二）內嵌意識形態知識圖譜，提升意識形態數據規范性

關于設計開發中的風險治理，各種標準和規范都提出了安全可控原則，要求“主動將人工智能倫理道德融入技術研發各環節”（《新一代人工智能倫理規范》發布［EB/OL］.（2021-09-26）［2024-04-25］.https：//www.most.gov.cn/kjbgz/202109/t20210926_177063.html.），在《生成式人工智能服務安全基本要求》（征求意見稿）中明確規定語料來源方面要建立黑名單制度，語料內容需“充分過濾全部語料中違法不良信息”，標注數據方面要確保標注人員、標注規則和標注內容的安全，要對多種安全風險均有對應的標注規則。（參見：《生成式人工智能服務安全基本要求》（征求意見稿）［EB/OL］.（2023-10-11）［2024-04-25］.https：//www.tc260.org.cn/front/postDetail.html？id=20231011143225.）總體來看，這些規范的目標都是要在技術開發中貫穿主流意識形態，使之成為算法和模型的內嵌，從而削弱所謂算法偏見和倫理失序，提升意識形態數據的規范性及合法性。具體執行這些規范就是組織具有合格素質的技術人員根據知識標準來判斷意識形態數據是否屬于禁止性風險數據，本質上是要解決意識形態性、政治性同技術性的矛盾，即通過技術性來實現意識形態性和政治性。生成式人工智能的算法本身不涉及價值偏向，但在用算法處理數據時，則由技術人員決定如何篩選、選擇和標注數據。“征求意見稿”安全性標注規則要求對其附錄的31種安全風險均有對應的標注規則。在這些安全風險中，屬于意識形態和文化安全的有8種，都是直接的禁止性規范。在具體執行這些規則時，需要標注人員根據一套知識標準來判斷哪些數據是風險數據。因此，生成式人工智能意識形態風險治理面向兩個目標，一是知識標準，二是技術和標注人員的綜合素質，包括認同主流價值觀以及在意識形態和政治理論方面的素質。所以，打造一套符合馬克思主義意識形態理論的知識標準作為技術人員加以標注、審查、復核的執行規范，既是提升生成式人工智能服務意識形態的合法性的前提，也是防范意識形態潛在風險的有效路徑。

目前，人工智能領域廣泛使用各種專業知識圖譜作為外部工具供大模型學習使用，以便擴展模型的能力邊界，適應動態變化的環境以及增強可解釋性和可信度。“知識圖譜就是將人類知識結構化形成的知識系統，其中包括基本事實、通用規則和其他有關的結構化信息，可用于信息檢索、推理決策等智能任務。”（劉知遠，韓旭，孫茂松.知識圖譜與深度學習［M］.北京：清華大學出版社，2020：2.）為了治理風險，也可以從馬克思主義意識形態理論以及各種意識形態形式的知識中開發出一個標準化的意識形態知識圖譜，將其貫穿于大模型整個設計開發過程，以便通過標準化和規范化的意識形態知識庫，強化生成式人工智能在語義理解、檢索處理及學習方面的科學性、相關性及政治性。具體來說，一是應在預訓練階段打破無監督學習的慣例，將意識形態知識圖譜植入原始數據中，幫助模型更好地理解原始數據中復雜的和隱含的語義關系，識別意識形態信息，判斷意識形態數據意義譜系和價值傾向，最終輸出更符合主流意識形態邏輯和常識的數據。二是圍繞意識形態知識圖譜打造一套包含標準答案和標注數據的意識形態詞典，作為模型監督微調和強化學習的外部工具。它可以使模型更好地理解設計者和使用者的意識形態意圖和需求，形成最高權重對齊數據，從而優化其排序和選擇機制，選出最合適的答案和推薦內容。三是在意識形態知識圖譜基礎上制作簡略價值規范的規定，并將其嵌入市場化的智能代理模型中，配合使用規范，一方面，引導模型隨時自我監督；另一方面，為使用者自行檢查產品及行動提供對照，杜絕風險行動的隱私權借口。

（三）導入意識形態管理智能代理，實現社會應用全程風險處置

盡管有知識圖譜的內在約束，負面主體依然可以指令智能代理生產大量負面數據，尤其是事實性負面數據，并用來從事負面意識形態傳播、教育和動員活動，同時還可以逃避規范約束。例如，意識形態數據中的資產階級理論、黨史中的挫折和錯誤等，本身即作為事實性研究資料存在于無數紙質和電子文本中，智能代理則可以搜集整理再加工，且沒有任何直接違規表述，但是生成的很可能是反馬克思主義和歷史虛無主義的數據。即使知識圖譜在其中置入了批判性指引，負面主體依然可以只選擇其中的負面部分。這是負面意識形態行動的主要特征之一，即集聚大量避開完整性論述的灰色數據和黑色數據，進行局部性攻擊，加總后達到整體性否定的目的。從實踐全程來看，如同現有網絡意識形態領域治理一樣，難點在于負面信息的收集、識別和評估。因此，必須在智能代理應用中建設全過程意識形態風險防范機制，強化意識形態數據生產及傳播事前、事中、事后的監管力度，從而弱化乃至消弭公共性與私有性之間的直接沖突，努力在私有平臺中實現公共性。

國家現有規范已經提出了風險研判、風險監測和評估以及風險預警機制的系統管控和處置要求，但具體手段可能達不到生成式人工智能風險治理所需要的水平。鑒于即將到來的巨大風險，恰恰可以發揮智能大模型的信息處理能力，構建一套由國家直接管控的文化和意識形態領域行業管理智能代理大模型，以之為信息中樞系統，展開風險預警和處置。其主要部分包括：內接輿情監測信息系統的風險治理智能代理模型，用于跟蹤風險生成、演化、危害和處置全過程；基于風險治理智能代理模型的智能代理管理信息系統，也即治理智能代理的智能代理系統，用于采集所有智能代理研發者、供應者和使用者基本信息、自愿登記的所有生成數據基本信息以及意識形態主體活動信息，特別是文化產品和活動歷史的分級、賦值和風險標記；意識形態知識圖譜；意識形態專家和管理人員體系。基于這套管理大模型，實現治理行動的制度化和體制化，包括風險的識別、評估、防范和應對，即信息系統實時收集和跟蹤智能代理的主體、產品、議題和活動；模型自動評估是否風險、風險事故發生可能性及危害大小；專家比對和判斷活動性質，評估風險危害和損失；跨部門跨行業統一部署行政管理，進行干預、引導和處罰；以及進行教訓總結及反饋。最后，除了使用技術手段外，當然還要在智能代理領域加快推進黨委領導的，政府、企業、社會和用戶等多主體參與的，經濟、技術和法律等多種手段相結合的綜合治理格局，以形成最廣泛的治理合力。

The Ideological Functions，Risks，and Advance Governance of Generative Artificial Intelligence

SUN Xilong

Abstract：Generative AI reshapes the elements and structure of ideological practice with its technological underpinnings and versatility，and in the future，after specialized and small-scaled，it will become an intelligent agent purchased and widely used by individuals，creating a new form of ideological production，dissemination，education and mobilisation. Due to the contradiction between authority and democracy，politics and technology，publicity and privacy caused by the weakening of professional authority，the spectrum of algorithmic reproduction of data nature，and privatised property rights and applications，intelligent agents will give rise to multiple ideological risks affecting national security in terms of the subject of practice，the construction of models，and social applications. In order to manage the risks，it is necessary to put forward preemptive strategies based on the future，leaving behind the idea of patching up the problems caused by technology. It is necessary to establish the principle of party-controlled intelligent agents to consolidate the authority of mainstream ideology；to introduce ideological knowledge mapping as a model development tool and social application specification；and to introduce ideological management intelligent agents as a central system of governance.

Key words：generative artificial intelligence；ideological practice technology；intelligent agents；risk governance

About the author：SUN Xilong，professor and doctoral supervisor of Marxist School，Beijing Jiaotong University，specialist in fundamental principles of Marxism.

［基金項目］本文系教育部人文社會科學研究項目“基于意識形態主體行為方式的網絡意識形態治理和建設研究”（20YJA710031）的研究成果。）