大模型的過去與未來

黃鐵軍

人工智能這個概念自1956年提出以后，經歷了將近70年的發展歷程，也衍生出符號主義、連接主義和行為主義三大流派，最終走向類腦的目標。

經過六七十年的發展，人工智能發展出三條技術路線。

第一條是符號主義，也就是把智能形式化、符號化、算法化和軟件化。這也是人工智能最早也是最主要的技術路線，雖然有一定效果，但并沒有真正成功。

第二條路線是連接主義，或者叫神經網絡學派，它的理念是人的智能不可能用一種形式化的方法表達出來，于是就構造了一個神經系統，并且訓練它，這樣智能就被做出來了。

第三條是行為主義。這個學派認為智能來源于主體與環境的互動，地球上本來沒有智能，后來產生了有機物，有機物跟環境互動產生了細胞，才產生了后來的神經元，才有了智能。

人工智能的發展進入到20世紀80年代之后，就進入了所謂的學習期，這個學習期包含了神經網絡和現在流行的深度學習。其中比較重要的是1985年提出的BP神經網絡模型，到了2006年，Geoffrey?Hinton在《Science》發表了關于深度神經網絡的論文，包含神經網絡和機器學習的深度學習開始登場。

深度學習與數據和算力結合，開始產生信息模型。在2012年至2018年之間，模型成為了AI研究和產業的中心。這之后，隨著被用于訓練參數（數據）的提升，具備規模大、涌現性和通用性特點的大模型，正式出現了。

通向AGI

到了現在，業界普遍認同人工智能接下來的發展，將會從通用人工智能（GAI）走向人工通用智能（AGI），或者說超人智能、強人工智能。

真正引起業界關注的大模型是OpenAI的ChatGPT。OpenAI一直定位于以人工通用智能（AGI）為最終目標，并保持開放合作，并且提出了廣泛造福社會、關注長遠安全問題、引領技術研究、保持合作意愿等四大原則。在2015年至2018年之間，OpenAI通過布局視覺/多模態、語言、語音、強化學習、多智體技術、機械控制、安全與可解釋性等領域，一直在探索可能的AGI路徑。到了2019年，OpenAI開始聚焦大模型。

OpenAI的ChatGPT的基本原理，是依托海量訓練數據，大規模算力，及強大基礎語言模型。發展到GPT3.5時，形成領先優勢。此時被用于訓練的參數已經達到了1750億，“涌現”出強大的智能表現，具備人類“無中生有”的原創能力。2022年11月，生成式AI顛覆世界的時代正式開始，而此時，GPT-5也已在研發之中。

大模型時代

大模型已成為全球競爭熱點，一個大模型時代已經到來。

1994年網景（NetscapeNavigator）瀏覽器的出現，使大眾上網變成了可能，互聯網時代才真正到來。到2007年蘋果推出iPhone手機，大量智能手機應用程序出現，移動互聯網時代才真正到來。而2022年11月30日，OpenAI面向公眾開放ChatGPT服務，人工智能從技術圈走向全民討論，迎來了人工智能的網景/iPhone時刻。

大模型具備三個特點：規模大，需達到百億參數級別；涌現性，能夠產生預料之外的新能力；通用性，不限于專門問題或者領域。由于這三個特點的存在，以ChatGPT為例，ChatGPT采用“人類反饋的強化學習（RLHF）”方法，這使得ChatGPT能夠理解和遵循人類指令，輸出符合人類偏好的內容，這種特點使它適用于廣大的應用領域。

GPT知識空間里，參數達到數百億規模的復雜系統涌現現象“融會貫通”，雖然尚不可解釋，但是確實存在。ChatGPT在多項考試中表現超過人類水平，具備能夠根據純文字說明，具備生成圖像或草圖的整合能力，也擁有高等數學/復雜數學問題求解的數學能力。GPT-4則大幅降低幻覺率，而據估算，當幻覺率達到5%以內，接近人類水平（保守），就可作為大模型規模商用落地的基準幻覺率。

人工智能生態包括基礎軟硬件、基礎模型和創新應用三個層次。人工智能基礎模型能夠支撐賦智經濟與社會各類應用，也將帶動基礎軟硬件智算體系的發展。

從當前的產業現狀來看，超大規模智能模型生態在全球屈指可數，其原因是受制于應用、數據量、算力、算法等因素。谷歌由于掌握核心專利、搜索引擎積累的海量數據、通過Android能夠更好地服務移動用戶等原因，而走在了前列。當成為大模型標志，接受了微軟投資之后，OpenAI也脫穎而出。誰會是世界上大模型第三強呢？恐怕接下來比拼的就是生態，因此，人工智能之爭最終是生態之爭。

對于CIO們來說，2000年以前是信息（Information）時代，2020年以前是網絡（Internet）時代，而2020年以后就屬于智能（Intelligence）時代了。因此，CIO們接下來需要關注兩個人工智能的重大轉變，首先是從信息智能到實體智能，其次是從“靜態融通”到“動態涌現”，未來有望通過類腦智能實現真正的AGI。

今天，ChatGPT有強大的智能，影響深遠。未來3年，除了語言，大模型正在迅速擴展視覺、聽覺、具身、行動等通用智能，影響將更大。未來10年，智力革命已經打響，就像工業革命解放體力，就像電力革命解決能源流通，智力革命將是全新生態的構建，開源開放生態終將勝利。未來20年，ChatGPT是數據驅動的靜態智能，未來是時空環境驅動的具體智能，智能載體不是今天的人工神經網絡，而是類腦的脈沖神經網絡。到2045年，還會出現結構仿腦、功能類腦、性能超腦的超人“電子大腦”。