人工智能大模型發展帶來的風險挑戰和對策

【摘要】近年來，以預訓練大模型為代表的人工智能技術能力快速提升，也加速推動人工智能技術與科技、經濟、社會發展深度融合，成為新一輪科技革命和產業變革的重要驅動力量。作為一項新興技術，人工智能的“雙刃劍”效應使得技術在快速進步和應用的同時，也引發了全球對其可能帶來各類風險挑戰的擔憂。特別是隨著大模型技術的突破，人工智能可能帶來的風險挑戰發生了一些新的變化。因此，需要在充分把握人工智能技術發展規律的基礎上，從政策法規、技術能力、標準規范等多個方面采取針對性的治理之策，深化全球協作，共同應對風險挑戰。

【關鍵詞】人工智能 預訓練大模型 風險挑戰 治理對策

【中圖分類號】TP18 【文獻標識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2024.13.007

經過近70年的發展，人工智能技術發展經歷了三次起伏，2022年以來，以ChatGPT、Sora等為代表的預訓練大模型持續取得突破，推動著人工智能技術從感知向認識，從分析判斷式向生成式，從專用向通用進入快速發展的新階段。在技術取得突破的同時，大模型正以顛覆性、擴散性、滲透性方式引發經濟、社會、文化、軍事、安全等各領域體系化變革，在促進產業升級、引領社會發展中發揮著日益重要的賦能作用。與此同時，技術能力的躍升、技術應用的擴展以及技術治理的介入等多種因素疊加，使得大模型技術在研發和應用過程中帶來的各類風險挑戰日益受到關注。

當前大模型技術的發展態勢

當前，以ChatGPT為代表的預訓練大模型技術取得突破，推動人工智能技術進入新的發展階段，也引發了人們對通用人工智能可見未來的樂觀預期。[1]作為當前人工智能主流技術路線，人工智能大模型研究、應用與產業化發展正處于引發各領域體系化變革的關鍵時期，成為國際人工智能領域研究的焦點。從人工智能發展的長周期上看，大模型技術仍有不斷進步的空間，將在相當長時間內持續引領全球新一輪人工智能技術革命向縱深發展。

大模型展現出來的智能水平持續提升。近年來，隨著OpenAI、Google、Meta等科技巨頭持續加大算力投入、提升大模型研發力度，大模型智能水平不斷提升。[2]2022年以來，OpenAI相繼發布ChatGPT、Sora和升級的GPT-4o，推動大模型技術能力邊界持續拓展，實現了知識理解、邏輯推理、生成速度、多模態實時交互等方面智能水平的代際提升，并初步具備適用于多任務、多場景、多功能需求的通用化能力。從趨勢上看，大模型的規模效應（scaling law）仍有望持續，大模型能力的進一步突破還有較大空間，未來3年～5年規模化的人工智能基礎大模型仍處于高速發展期。而且，大模型技術能力的不斷提升也將推動人工智能多技術路線的融合發展，進一步形成能夠自主學習并與真實世界實時交互的具身智能、大規模多智能體協作的群體智能、腦機雙向交互增強的人機混合增強智能等新智能形態，推動人工智能的智能水平持續提升。[3]

大模型算法框架等底層技術持續創新。大模型技術的快速發展，離不開以基礎語言架構Transformer為代表的基礎算法技術的支撐，目前以GPT-4為代表的主流基礎大模型大多基于Transformer架構。[4]然而，在持續提升大模型訓練規模的同時，Transformer架構模型支撐大模型訓練也面9h0gGyzADaGOtJ0tQHZMMg==臨著算力消耗和訓練成本過高等瓶頸。為此，國內外許多機構和學者都在積極推動模型架構和計算架構等方面的底層技術創新。例如，美國推出的Hyena、Mamba等新型網絡架構破解了Transformer架構平方級的算力損耗瓶頸。[5]這些新網絡架構和底層顛覆性創新等大模型發展“新賽道”，將為延續智能時代的“新摩爾定律”提供源頭支撐。

大模型引領行業智能化浪潮加速推進。伴隨著大模型在大數據處理和通用化任務方面能力的提升，針對特定應用、特定領域、特定問題的專用模型也在蓬勃發展，展現出技術突破與應用拓展相互疊加、大模型和專用模型相互促進的發展態勢。ChatGPT等大模型一經推出，便快速被嵌入到辦公軟件、搜索引擎等產品中，短期內就讓我們看到了新數字內容生產方式帶來的“顛覆性創新”。與此同時，大模型技術正在作為新的工具被實際運用到制造、金融、交通等生產端，乃至國防軍事領域。特別值得關注的是，從醫藥研發、系統模擬仿真等應用研究領域到數學、物理等基礎理論研究領域，從生命的基本組成到世界工業的基本要素，基于大模型的人工智能技術與科學研究的融合程度不斷加深，不僅為解決各個科學技術領域具體問題提供了工具，更是重新定義了科學研究方式的系統性思路，形成了新的科研范式。

大模型技術進步與應用帶來的風險挑戰

當前，在全球持續加快推動大模型發展的同時，其技術快速發展與應用對社會倫理體系和法律監管制度的沖擊，以及對經濟社會發展帶來的各種風險挑戰也日益受到國際社會關注。已有很多機構和學者從隱私偏見、數據安全、誤用濫用等方面對人工智能技術與應用的各類風險挑戰進行了研究，這些研究也為當前人工智能治理提供了指向。[6]隨著大模型技術取得突破，智能水平顯著提升，應用領域加速拓展，其帶來的潛在風險挑戰也發生了一些新的變化。

技術能力持續提升引發的新擔憂。關于人工智能超出人類控制的擔憂，長期以來都是人們關注的熱點。隨著大模型技術的迅猛發展，其在處理復雜任務和生成高質量內容方面的能力顯著提升，再次引發了社會對人工智能技術發展失控的廣泛擔憂。其中，機器人的高度自主性、通用人工智能的顛覆性以及人機融合可能帶來的大規模、前沿性風險尤為引人關注。例如，ChatGPT大模型問世不久，美國特斯拉公司首席執行官馬斯克等組織全球3000多名專家以其對社會和人類的潛在風險為由，敦促暫停大模型的訓練。人工智能潛在風險導致部分人擔心大模型技術可能會超越人類智慧，最終“反噬”人類。此外，大模型技術本身就因算法“黑箱”、模型“幻覺”等因素存在不可解釋、不可預測的難題，隨著大模型變得越來越復雜和強大，這種不可解釋性與固有的算法偏見、數據偏差相結合，使得出現事故后的追溯和歸因更加困難，可能進一步加劇公眾的信任危機。

技術應用持續拓展面臨的新風險。大模型技術在越來越多的應用類型和服務領域得到廣泛使用，風險挑戰也隨之增加。一是因技術應用門檻降低而加劇技術誤用濫用問題。大模型相關產品具有易操作和開源開放等特點，使得其應用門檻不斷降低，利用相關技術手段生成虛假文字、音頻和視頻等事件時有發生。二是因技術能力持續提升放大偏見歧視等問題。大模型算法主要基于歷史數據進行學習和預測，如果訓練數據中包含偏見或歧視內容，算法就會在學習過程中對其不斷強化，導致輸出帶有性別歧視、年齡歧視、種族歧視等問題的內容。三是因大模型多元化內容生成能力而帶來的社會倫理問題。內容生成是目前主流大模型的重要技術能力，在加速應用的過程中，可能會突破人類傳統內容和知識生產邊界，對知識生成秩序形成重大沖擊，從而引發學術誠信等倫理風險。

能源資源消耗增長帶來的新挑戰。大模型技術的快速發展和廣泛應用可能造成模型訓練、芯片制造、數據中心運營等環節在未來3年～5年內需求的能源呈指數級增長，這一問題越來越受到社會各界的廣泛關注。斯坦福大學《2023年人工智能指數報告》研究顯示，OpenAI的1750億參數GPT-3大模型訓練耗電量約為129萬度，擁有更大參數量的GPT-4大模型訓練用電達5177萬度～6232萬度，能耗為GPT-3的40倍以上。人工智能芯片制造過程也十分耗能，Gartner預測，到2026年絕大部分人工智能芯片的功耗將達到1000瓦，是目前平均水平的1.5倍。數據中心是人工智能運行和承載服務的重要基礎設施，在運行過程中會產生大量熱量，為使系統散熱冷卻，需要消耗大量能源。根據國際能源署的研究數據，2021年全球數據中心用電量為2200億度～3200億度，約占全球電力需求的0.9%～1.3%，其中冷卻系統用電占比達40%。此外，大模型的發展或將進一步加深全球智能鴻溝，影響全球可持續發展進程。不同國家地區、行業以及人群之間，對大模型等人工智能技術的掌握、應用和治理存在差距，由此產生了資源占有不均、發展機遇不同等問題，且差距很可能逐漸拉大。在缺乏技術、應用以及監管的情況下，大模型技術的負面效應對發展中國家的影響可能更為嚴重。

大模型快速發展下的全球治理新動向

面對以大模型為代表的人工智能技術快速發展與應用帶來的風險挑戰，各國政府、國際組織、學術和產業界等紛紛開展風險治理的研究與實踐。[7]據不完全統計，目前全球已發布100多部人工智能倫理治理相關文件，從政策法規、原則規范、技術標準、行業自律等多個維度持續加強對以大模型為代表的人工智能技術的治理。

通過立法等方式推動完善治理制度體系。近年來，美國、歐盟、德國、加拿大、巴西等國家或地區不斷完善人工智能治理頂層設計，相繼制定和發布人工智能相關法律法規或法案，希望通過立法等方式，針對大模型等新技術引發的新問題持續完善早期的治理框架體系。雖然美國發布了《人工智能權利法案藍圖》，近兩屆國會也引入了100余項關于人工智能的法案，但目前仍未出臺統一的聯邦立法，主要通過總統行政令、指南倡議、部門執法和企業自愿承諾等方式開展較為寬松的治理實踐。2023年拜登簽發的《關于安全、可靠、可信地開發和使用人工智能的行政令》中，最嚴格的監管措施不過是要求部分提供大模型的企業承擔信息共享義務。歐盟于2024年5月通過了《人工智能法案》，建立了基于風險的分級分類監管機制，尤其重視對高風險的治理。這一立法思路為加拿大、巴西等國效仿，但能否發揮預期作用仍有待觀察。該法案自起草至通過3年來，不斷引起社會各界的爭議，歐盟立法者認為該法案將促進創新并維護公民基本權利，但科技行業卻認為該法案將給企業帶來高昂的合規成本，[8]公民組織也質疑該法案能否有效落實。2023年英國政府發布《支持創新的人工智能監管規則》白皮書，提出了一個原則性的監管框架，主要由現有部門針對特定行業開展人工智能分類監管，待實施一段時間后再評估是否啟動立法程序。此外，國際社會十分關注重點細分領域立法，如美國、德國通過《自動駕駛法》，加拿大頒布《自動化決策指令》等。

基于風險分級分類治理加強監管。2023年以來，隨著大模100a61ce3ae57d7ea408a4798b6f6c83型技術的快速發展，美國、英國和新加坡等紛紛開展了大范圍的前沿人工智能風險主題聽證會、公眾意見咨詢和國際論壇等，就以大模型為代表的前沿人工智能應用面臨的問題和風險類別、評估與解決方案、負責任的技術開發等議題進行研討。對人工智能風險進行等級劃分，對高等級風險重點監管，是當前人工智能治理的主要模式，歐盟《人工智能法案》、加拿大《自動化決策指令》、新西蘭《算法憲章》等，均設計了不同類型的分級分類治理模式。目前，歐盟、美國和中國等已針對大模型進行專門立法或制定相應的監管規則。歐盟和美國均以基礎模型能力作為監管標準，以浮點運算數（flops）作為具體指標。中國發布的《生成式人工智能服務管理暫行辦法》著重關注大模型可能帶來的內容安全風險，設定了安全評估和算法備案制度，在全球范圍內具有創新性。值得注意的是，大模型監管引發了各界爭議，有觀點認為不應對大模型進行嚴格規定，以免阻礙技術發展進步。例如，德國、法國和意大利曾聯合發表聲明，要求對大模型進行“自律型監管”，而非由政府部門監管。但出于對先進人工智能系統性風險的考慮，該觀點沒有被歐盟《人工智能法案》吸收。當然，各國對生成式人工智能的具體治理措施隨著對該技術的認識水平提升也在不斷變化。例如，德國、意大利等從早期的禁用ChatGPT變為解禁并對模型開發商提出要求。

通過“以技制技”方式應對安全和倫理風險。人工智能的安全性是攻與防的博弈，通過“以技制技”的方式，強化對技術自身不斷修正完善以及體系化的安全防護技術研發，也是應對以大模型為代表的人工智能安全新態勢的重要路徑。一方面，需要通過加強安全性理論和技術研究來應對技術本身帶來的風險。2024年5月，包括三位圖靈獎獲得者在內的多位人工智能專家在美國《科學》雜志聯合發表文章，呼吁主要科技公司和政府機構至少將1／3的人工智能研發預算用于確保人工智能安全和合乎倫理的使用。[9]對于大模型而言，突破模型和算法的可解釋性、魯棒性、安全性及價值對齊等關鍵問題，是人工智能治理的重要路徑。另一方面，需要開發新的安全技術應對大模型可能帶來的安全風險。美國、英國和日本等相繼成立人工智能安全研究所，對人工智能模型評估測試相關標準和工具開展研究。2024年2月，美國商務部牽頭包括OpenAI、谷歌、Meta等人工智能領軍企業在內的200多個組織，組建人工智能安全研究所聯盟，共同制定新的人工智能規則，包括紅隊測試、能力評估、風險管理、人工智能生成內容添加水印等指南。微軟推出集成GPT-4大模型的網絡安全平臺Security Copilot，通過關聯內容發現潛在攻擊信號，以加強安全檢測能力等。

以公私合作方式協同推動政府監管與行業企業自律。當前，以谷歌、微軟等為代表的科技企業引領著大模型技術快速發展與應用，因此在推動大模型治理過程中，引導行業企業開展自律自治十分重要。美國政府把積極推動人工智能企業自律自治作為大模型治理的重要方式。2023年，面對大模型技術的快速發展，美國白宮召集亞馬遜、谷歌、微軟和OpenAI等7家人工智能頭部企業，共同對負責任的創新作出自愿承諾，強調堅持“安全、保障和信任”基本原則，并開展安全測試。此后，又有英偉達、Adobe、IBM等8家科技企業簽署此承諾。這一自愿承諾不僅是企業行為，在美國政府推動下也具有了國際影響力。美國政府已就該承諾與澳大利亞、加拿大、印度、日本、韓國等20個國家進行了磋商，希望共同推動建立人工智能開發應用的國際治理框架。除了政府的大力倡導和支持外，美國的人工智能企業之所以積極開展倫理治理實踐，也源于市場和技術發展需求、對人工智能的未來判斷以及社會責任等因素。特別值得關注的是，當前大模型技術存在不確定性風險，監管尺度難以衡量，企業的承諾和實踐反映了人工智能技術研發應用一線的呼聲，達成的共識可能上升為國家政策和法律法規等，從而具備執行力和約束力，轉化為國家人工智能發展的保障措施。

逐步加強全球治理合作應對人類共同挑戰。人工智能安全和倫理風險具有全球性特征，加強合作是應對此類風險的有效措施，國際社會已就此達成了一系列共識，初步建立了相關機制，并取得了一定成果。由大模型引發的新一輪人工智能監管熱潮，使得各國在原有人工智能國際合作基礎上，紛紛加強治理領域的合作，國際組織也對治理問題表現出極高的關注度，聯合國安理會、國際電信聯盟等均開展了行動。大模型等新一代人工智能技術治理合作的重心聚焦監管、風險、安全、可信和負責任的人工智能等議題。2023年英國發起舉辦全球人工智能安全峰會，會上發布的《布萊切利宣言》指出，要加強對通用人工智能模型風險的理解和行動。2024年《人工智能首爾宣言》同樣強調人工智能安全、創新和包容性，體現了未來人工智能治理合作的導向。然而也要看到，目前大模型治理國際合作仍面臨著諸多挑戰。一方面，尚未有國際組織承擔起全球人工智能核心監管機構的角色，各國際組織呈現高度分散的狀態。另一方面，政府間合作多具有地緣政治特征和大國競爭導向。以G7國家為代表的發達國家的治理原則、標準正在落實中，而以金磚國家為代表的新興市場和發展中國家在人工智能治理國際合作中的潛力尚待挖掘。值得關注的是，在全球科技競爭的背景下，可能存在一些國家主動削弱監管以獲得經濟競爭優勢的情形。因此，打造一個全方位、多層次、匯聚廣泛共識，具有真正的包容性、平等性、多元性的全球人工智能治理框架仍然面臨諸多挑戰。

對大模型發展帶來風險挑戰的再認識和應對策略

由于大模型技術迅速應用，特別是ChatGPT為代表的標志性產品以空前的速度和廣度進入人們的日常工作生活，使得大模型技術帶來的風險挑戰逐漸進入了大眾的視野。大模型本質是一種新興技術，需要從人工智能技術發展與治理實踐的視角客觀地分析和認識其可能帶來的風險挑戰，從而在積極推動技術治理回應社會關切的同時，持續推進以大模型為代表的人工智能技術的健康發展。

從新興技術發展的“雙刃劍”效應看待大模型技術進步。任何新技術的發展都具有“雙刃劍”效應，每一次重大技術突破，在帶來巨大的社會和經濟效益的同時，通常都會對社會運行、產業體系、政策法規等帶來一定的沖擊和挑戰。從歷史經驗上看，蒸汽機革命、電力和電氣化及互聯網都在一定程度上提高了生產效率并推動了社會發展，但同時也產生過包括危害工人權益、安全危機和網絡犯罪等問題。大模型作為一項典型的新興技術，其發展也符合這一規律。一方面，隨著技術本身的不斷進步，包括模型偏見、可靠性和透明性等問題都有可能被逐步解決。另一方面，隨著治理手段的不斷豐富完善，一些潛在的風險挑戰也將會得到有效應對。即便是目前備受關注大模型技術的發展和應用帶來能源消耗大幅增長的問題，大模型技術本身也在向高效低耗方向不斷優化，如通過采用剪枝、量化、蒸餾等技術提升大模型算法效能，使大模型運算更快、能耗更低。而且，從社會整體效能看，大模型等人工智能的應用可大幅提高人類社會的勞動生產率，提升能源使用效率，促進節能減排，有力推動綠色、低碳、可持續發展。

從人工智能技術發展規律理解大模型帶來的風險挑戰。目前人工智能技術正處于一個快速發展的新的階段，雖然大模型技術的突破讓我們看到了通用人工智能發展的可能性，但從人工智能發展的長周期上看，人工智能技術仍處于從專用人工智能向通用人工智能探索的初級階段。一方面我們需要對包括出現超越人類的高度自主智能等未來可能發生的風險保持關注，另一方面也不應將未來的風險視為現實的直接威脅。要及時研判未來技術發展趨勢和可能出現的風險，制定階段應對策略。同時，不過度限制技術創新。要鼓勵大模型技術在更廣泛的領域發揮潛力，持續推動社會進步。

從人工智能治理實踐認識大模型風險問題帶來的新變化。隨著人工智能風險治理領域的研究與發展持續推進，人們的認識也不斷發生變化。一方面，治理實踐的推動使得人工智能原有的部分風險問題得到了一定程度的解決。例如，提高數據源透明度，提升模型的可靠性，明確大模型服務提供者的權利義務，等等。這些問題的逐步解決，使得大模型的風險水平和形態均發生了新的變化。此外治理措施的實施有助于降低風險的實際危害程度，這也會反映在公眾的風險感知中。當治理舉措有效遏制了風險源或降低了風險事件發生的概率，公眾會感受到風險的降低。另一方面，當治理機構或媒體大量報道某一風險事件時，可以顯著提升公眾對此類事件的關注度。這可能導致人們對該風險的嚴重性和迫切性的認識加深，甚至可能產生風險放大效應。這些變化將會影響未來對大模型等人工智能治理的理念和策略，值得我們密切關注。

從平衡發展與安全的綜合視角推進大模型技術治理。面對快速發展的大模型技術，以及日益復雜的各類風險挑戰，應充分兼顧發展與安全的平衡，在繼續推動大模型技術創新和拓展應用的基礎上，多維度發力開展大模型治理，確保技術的安全、有效和可持續發展。一是加強對大模型技術發展可能帶來風險挑戰的前瞻研判。建立針對未來技術趨勢的研究體系，圍繞大模型可能帶來的社會影響、倫理挑戰和法律問題開展前瞻性研究，為政策制定提供科學依據。推動計算機科學、倫理學、法律、社會學等學科的交叉研究，共同探討大模型在實際應用中面臨的復雜問題，尋找綜合解決方案。二是加強大模型安全技術研發與評測體系建設。加強大模型安全可信理論方法和大模型價值對齊技術等的研究，推動打造安全可信的通用人工智能新模型。針對大模型等人工智能自身安全和外來攻擊風險，加快推動安全防護技術研發，提高人工智能系統安全防御能力。建立全面的大模型安全評測體系，從算法安全性、數據隱私和輸出可靠性等多維度進行評估，確保大模型在應用中的安全性。制定并推廣大模型技術標準，規范研發和應用過程中的安全防護措施，為行業提供統一的技術指南。三是完善包容敏捷的監管機制。建立健全適應人工智能發展特點、多主體廣泛參與的敏捷治理體系，開展分類分級治理，將倫理和安全風險防控理念貫穿人工智能全生命周期。明確人工智能監管的基礎性原則規則，為企業設定容錯試錯機制以鼓勵創新。四是深入推動大模型的全球治理合作。基于近些年來全球國際組織、主要國家、研究機構和企業等在人工智能治理目標和原則上達成的共識，進一步推動建立全球性、區域性、多層次人工智能治理合作平臺和合作機制，依托人工智能相關國際組織，共同商討全球治理規則，共同推動以大模型為代表的人工智能更好地賦能人類社會。

（本文系科技創新2030——“新一代人工智能”重大項目研究成果之一，課題編號：2023ZD0121701；中國科學技術信息研究所博士后賽秋玥，助理研究員劉鑫怡、劉乾對本文亦有貢獻）

注釋

[1]張凌寒：《生成式人工智能的法律定位與分層治理》，《現代法學》，2023年第4期。

[2]K. Wach et al.， "The Dark Side of Generative Artificial Intelligence： A Critical Analysis of Controversies and Risks of ChatGPT，" Entrepreneurial Business and Economics Review， 2023， 11（2）.

[3]陰和俊：《以科技創新引領人工智能快速健康發展》，《中國網信》，2024年第3期。

[4]劉學博等：《大模型關鍵技術與未來發展方向——從ChatGPT談起》，《中國科學基金》，2023年第5期。

[5]T. Dao and A. Gu， "Transformers are SSMs： Generalized Models and Efficient Algorithms Through Structured State Space Duality，" 2024， https：//github.com/state-spaces/mamba.

[6]郭銳：《人工智能的倫理風險及其治理》，《北京航空航天大學學報（社會科學版）》，2020年第6期；趙精武等：《ChatGPT：挑戰、發展與治理》，《北京航空航天大學學報（社會科學版）》，2023年第2期。

[7]薛瀾、賈開、趙靜：《人工智能敏捷治理實踐：分類監管思路與政策工具箱構建》，《中國行政管理》，2024年第3期；張欣、宋雨鑫：《全球人工智能治理的格局、特征與趨勢洞察》，《數字法治》，2024年第1期；張濤：《人工智能治理中“基于風險的方法”：理論、實踐與反思》，《華中科技大學學報（社會科學版）》，2024年第2期。

[8]B. Mueller， How Much Will the Artificial Intelligence Act Cost Europe？ 2021， https：//www2.datainnovation.org/2021-aia-costs.pdf.

[9]Y. Bengio et al.， “Managing Extreme AI Risks Amid Rapid Progress，“ Science， 2024， 384（6698）.

責 編∕李思琪 美 編∕周群英