鄭小林：新一代人工智能趨勢與挑戰

人工智能發展在未來的發展過程中，預計將算法創新與算力需求逐步均衡，可信數據與可信模型相互促進，人機智能協作深入發展，融入社會生活與千行百業，并邁向高級人工智能

人工智能發展現狀

人工智能（AI）的發展歷程可劃分為三個主要階段，依次為計算智能、感知智能和認知智能。計算智能階段主要解決存儲與計算能力的問題，感知智能階段則致力于提升聽覺與語言表達能力，而認知智能階段則旨在實現理解與思考的能力。生成式人工智能（GAI）是實現認知智能的重要途徑。

在GAI的初級階段，以Transformers為代表的深度學習框架顯著推動了人工智能在理解和處理文本方面的進步，例如ChatGPT，DeepSeek-V3。進入GAI的第二階段后，以OpenAI-O1、DeepSeek-R1等為代表的大模型將引領人工智能進入更為強大的推理能力階段。在此變革過程中，諸如Geoff Hinton、Yann LeCun等深度機器學習領域的科學家發揮了極其重要的推動作用，于2018年榮獲圖靈獎；同時，Anorew Barto與Richard Sutton兩位科學家因其在強化學習領域的杰出貢獻，于2024年榮獲圖靈獎，顯著提升了人工智能的推理能力。

DeepSeek-R1在今年年初取得了顯著的成就，其在解決復雜數學問題的推理與解答、大規模多任務語言理解、軟件工程等方面相較于其他模型展現出了壓倒性的優勢。

人工智能最初旨在使機器能夠具備與人類相似的認知、思考和學習能力。依據哈佛大學教育研究院教授霍華德·加德納于1983年提出的“多元智能理論”（Theory of Multiple Intelligences，簡稱MI），人類的智能主要涵蓋空間、音樂、肢體動覺、人際關系、語言、邏輯數學、自然觀察以及內省等方面。目前，AI已在某些智能領域的多個方面取得顯著進展，但在自我反省和人際交互等方面仍存在不足。盡管如此，AI在模仿人類智能方面已取得重大進展，但其發展潛力依然巨大。

人工智能面臨挑戰

在人工智能的發展歷程中，眾多技術路徑各具特色。然而，人工智能在可解釋性、幻覺問題、多模態交互、價值一致性、隱私保護、攻防對抗以及合規倫理等方面，依然面臨諸多挑戰，特別是以下三個挑戰。

挑戰一：創造力與幻覺率是否構成悖論？

在最近的DeepSeek R1測試中，推理能力得到了顯著提升，然而與此同時，幻覺率亦有所上升。根據OpenAI之前的觀點，推理能力的增強理應導致幻覺率的降低。分析DeepSeek R1幻覺率增高現象，可能的原因有兩個：其一，為了強化推理機制，推理過程被過度擴展，特別強調了推理的重要性；其二，選擇過程中的數據通過強化學習進行訓練時，存在獎勵偏差的問題。目前，科研界和政府正在推動高質量數據集的建設，這被視為解決該問題的一個有效途徑。另外在強化學習的框架內，如何將幻覺作為反饋重新輸入系統？如何向模型提供更豐富、更準確的知識？在提示詞學習過程中，如何設定合理的約束條件？這些都是旨在解決創造力與幻覺率悖論的策略。

挑戰二：大模型安全與隱私保護。

一是隱私泄露問題。例如，大模型在訓練過程中可能泄露隱私信息，且在對外提供服務時也可能導致隱私信息泄露。在此過程中，多個環節均可能引發安全與隱私方面的風險。二是數據投毒問題，即在模型訓練階段被投入含有污染的數據樣本，導致原始數據污染進而影響模型的純凈度。不僅限于模型訓練的源頭，數據投毒還可能發生在模型交互過程中。三是對抗攻擊問題，包括在文本輸入階段故意插入特定關鍵詞以誘導模型產生錯誤解讀，還有基于語義的對抗性攻擊等方法。四是模型竊取問題，即第三方在模型發布后通過與模型的交互嘗試竊取模型參數，或對模型進行篡改。

挑戰三：價值對齊問題。

如何確保大型人工智能模型的能力和行為與人類的價值觀、真實意圖以及倫理原則保持一致，從而保障人類與人工智能合作過程中的安全性和信任度。這一問題亦被稱為“價值對齊”或“人機對齊”（Value alignment or AI alignment）。為應對價值對齊的挑戰，可采取的措施有：基于人類反饋的強化學習（Reinforcement Learning from Human Feedback，RLHF）；可擴展監督（scalable oversight）（即如何監督一個在特定領域表現超出人類的系統）；第三個解決思路是增強模型可解釋性，即人類可理解的方式解釋或呈現模型行為的能力，這是保證模型安全的重要途徑之一；最后一個解決思路是加強政策治理，因為AI價值對齊問題最終還是關系于人類社會，所以需要探討人工智能治理對社會產生的影響。

2023年7月，國家互聯網信息辦公室等七部門聯合發布了《生成式人工智能服務管理暫行辦法》，其中第八條明確要求對合成數據進行標注，并制定相應的標注規則。此外，美國和歐盟也頒布了相關法案，如2023年10月30日美國白宮發布的《關于安全、可靠、可信地開發和使用人工智能的行政命令》，以及2023年12月9日歐盟委員會、歐洲議會和歐盟理事會就《人工智能法案》達成的臨時協議等。

人工智能發展趨勢與展望

趨勢一：AI算法創新與算力需求逐步均衡

在以DeepSeek為代表的產品下，實現了算法不會再去單純追求非常龐大的參數，在算力需求上也通過算法和工程優化實現了平衡。DeepSeek給予我們非常好的啟示：通過算法創新，比如多專家系統的優化以及合理算力布局，可以突破AI“卡脖子”的限制。

趨勢二：可信數據與可信模型相互促進

在人工智能領域，安全與隱私問題始終是一個重大挑戰。因此，構建一個可信的數據空間，實現對人工智能訓練的數據可信和訓練環境可信，以及對AI生成的合成內容進行可信標識，是可信AI的重要支撐。可信數據與可信模型如何相互促進，將成為未來發展的又一關鍵方向。目前，國家正在推動可信數據空間的建設，以實現數據的合規與可信流動，并進一步發展用于訓練隱私保護、公平性、可解釋性、魯棒性以及抗攻擊的人工智能模型。

趨勢三：人機智能協作的深入發展

人機協同的智能，即人機智能協作正逐步深化。從Embedding模式開始，最初人工智能僅作為輔助工具，扮演小助理角色，隨后發展至副駕駛模式，其功能日益增多。隨著AI推理能力增強，接下來將進入Agent模式。在此模式下，人工智能將承擔人類大部分工作，人類僅需設定目標、提供必要資源，并最終對結果進行監督。這也是近期Agent模式日益受到關注的原因。

趨勢四：人工智能融入社會生活與千行百業

人工智能正逐漸融入我們的社會生活和各行各業。全球范圍內，個人計算機、手機、物聯網設備以及中央處理器的數量龐大。目前，DeepSeek所引領的技術趨勢使得許多大型模型無需依賴圖形處理單元（GPU），甚至中央處理器（CPU）也能運行較小的模型。未來，智能設備將成為承載大型或小型模型的載體。這些模型將深入各行各業，無論是在第一、第二還是第三產業，都將擁有廣泛的應用前景。

趨勢五：邁向高級人工智能

在OpenAI開發者日上，Altoman所提出的“邁向高級人工智能”觀點得到了全球范圍的廣泛認同。邁向高級人工智能，意味著從智能語言對話到邏輯推理，再到當前備受關注的Agent技術，將能夠進入一個新階段，在這一階段中，人工智能將扮演創新者的角色，甚至成為社會工作的組織者。

（本文根據浙江大學人工智能研究所副所長、杭州金智塔首席科學家鄭小林在“AI進化論——如何推動DeepSeek賦能千行百業”圓桌會上現場發言整理摘編。）