淺談超級認知智能

唐杰

超大規模預訓練模型（也稱“基礎模型”，英文為Foundation Model、Big Model 等）快速發展，成為國際人工智能前沿研究和應用的熱點。尤其是最近ChatGPT 的推出引發社會公眾的廣泛關注，并引起了該技術是否會引發新一輪行業變革的討論。基礎模型則是ChatGPT等生成式人工智能技術產品的核心技術基座，推進ChatGPT 等產品影響產業格局，甚至成為全新的用戶交互方式，造成輿論引導、社會治理、信息服務等方面的不對稱優勢。人工智能基礎模型已成為國際科技競爭“必爭之地”，美國目前在占據主導權的同時不斷加緊對我國進行戰略性遏制，實現國產人工智能基礎模型自主可控迫在眉睫。我國人工智能基礎模型研究、應用與產業化發展正處于從模仿追趕邁向創新引領的關鍵時期。

從技術層面而言，ChatGPT 的優異表現主要依托超大規模預訓練語言模型GPT-3/4、有監督指令微調以及基于人類反饋的強化學習。從大模型技術本身演進進程來看，大致可分為三個階段。

2020 大模型元年。自2017 年谷歌提出Transformer 機器學習模型架構，其應用迅速席卷了整個人工智能研究領域，成為自然語言處理等相關研究的主要方法，2018 年先后出現了BERT、GPT-1，尤其是BERT 在十多個自然語言理解任務上精度大大超過傳統算法；2019 年GPT-2 實現了自然流暢的文本內容生成；2020年谷歌的T5 將自然語言的翻譯、分類、回歸、摘要生成等任務都統一轉成Text-to-Text 任務，同年更具里程碑式的模型是OpenAI 發布的1 750 億參數GPT-3，大大提高了模型的內容生成和邏輯推理能力，具備較強通用能力，可完成多場景任務，顯著降低學習成本、提高學習效率，同時也開啟了大模型元年。

GPT-3 開啟了基礎模型發展的新時代，其在語言生成、上下文學習和知識（常識）理解等方面展現出驚人能力。隨后全球范圍內掀起了一股基礎模型研究的熱潮，國外如Meta、微軟、谷歌等，國內如清華大學、北京智源人工智能研究院、百度、華為、阿里、智譜等，都競相追趕，提出包括Gopher、PaLM、OPT-175B、GLM-130B、BLOOM-176B 等多個千億級模型，積累了一定的技術實力。

2020-2023 大模型成熟期。在初代 GPT-3 的基礎上，OpenAI 引入代碼訓練和指令微調等環節，在過去三年里持續學習形成了InstructGPT、GPT-3.5、GPT-4 等系列模型。基于這些模型，OpenAI 進一步引入人類反饋強化學習建立了對話模型ChatGPT，具有更強的自然交互與邏輯推理能力，在面臨常識性問題、推理性問題、尚未理解和敏感話題時的處理呈現出高度智能化特征。除了GPT-4 一枝獨秀外，很多工業界和學術界的機構也推出了類ChatGPT 模型。僅2023 年3 月14 日這天就有OpenAI 的GPT-4、Anthropic 的Claude、谷歌的PaLM API 服務、智譜AI 的ChatGLM、斯坦福的Alpaca、Midjourney 的V5。這些都是最早一批可用的大模型，3 月14 日這一天也被稱為大模型里程碑日。

隨后2023 年7 月18 日，Meta 發布Llama2，性能逼近GPT-3.5，并且免費商業開源。類似開源模型大大促進了全球以及國內的大模型產業發展。

2024 超級認知智能元年。OpenAI 極有可能在2024 年推出下一代模型，其認知能力將帶來通用人工智能的再一次變革。其下一代模型不僅在技術上可能解決目前ChatGPT 中存在的事實性以及推理能力的缺陷，實現更精細的語義理解、多模態（本文、圖像、語音、視頻等）輸入和輸出的支持，具備更強的個性化能力。此外人工智能的發展會更加瞄向通用人工智能，實現超過人類水平的超級認知智能（Super Cognitive Intelligence），實現AI 的自我解釋、自我評測（Self-instruct）、自我監督，并且確保模型的表現符合人類的價值觀和安全標準。2023 年7 月OpenAI 公布了由首席科學家Ilya Sutskever 和首席強化學習專家Jan Leike 發起的超級對齊計劃（Superalignment），目標就是實現機器自動對齊人類智能和人類價值觀，實現模型自我反思和自我監控。相信在2024 年會有更多研究者加入到通用人工智能和超級認知智能的研究中。