超大規模智能模型“悟道2.0”發布

2021年6月1日，在“2021北京智源大會”開幕式上，北京智源人工智能研究院發布了“悟道2.0”模型。這是全球迄今最大的超大規模智能模型。

目前，“大模型+大算力”是邁向通用人工智能的一條可行路徑。大模型對于人工智能發展具有重大意義，未來將基于大模型形成類似電網的變革性AI產業基礎設施。AI大模型將數據轉換為智能能力，驅動各種AI應用。如果將大模型和所有的AI應用相連接，為用戶提供統一的智能能力，全社會將形成一個智能能力生產和使用的網絡，即“智網”。大模型就是下一個AI的基礎平臺，是未來AI發展的戰略基礎設施。

“悟道2.0”模型的參數規模達到1.75萬億，是GPT-3的10倍，打破了之前由國外預訓練模型創造的1.6萬億參數記錄，是目前中國首個、全球最大的萬億級模型。

“悟道2.0”模型在中英雙語共4.9 T的高質量大規模清洗數據上進行的訓練。訓練數據包含WuDaoCorpora中的1.2 TB中文文本數據、2.5 TB中文圖文數據，以及Pile數據集的1.2 TB英文文本數據。“悟道2.0”模型一統文本與視覺兩大陣地，支撐更多任務，更加通用化。

本次大會上，智源研究院與新華社、美團、小米、快手、搜狗、360、寒武紀、第四范式、好未來、智譜華章等22家“悟道”大模型產業生態戰略合作單位進行了簽約，并發出組建“悟道”大模型技術創新生態聯盟的倡議，吸引更多企業加入，將以聯盟為樞紐，以企業需求為導向，推動模型研發，共同開發基于“悟道”大模型的智能應用，以模型研發和應用促進產業集聚。