2021年6月1日,在“2021北京智源大會”開幕式上,北京智源人工智能研究院發布了“悟道2.0”模型。這是全球迄今最大的超大規模智能模型。
目前,“大模型+大算力”是邁向通用人工智能的一條可行路徑。大模型對于人工智能發展具有重大意義,未來將基于大模型形成類似電網的變革性AI產業基礎設施。AI大模型將數據轉換為智能能力,驅動各種AI應用。如果將大模型和所有的AI應用相連接,為用戶提供統一的智能能力,全社會將形成一個智能能力生產和使用的網絡,即“智網”。大模型就是下一個AI的基礎平臺,是未來AI發展的戰略基礎設施。
“悟道2.0”模型的參數規模達到1.75萬億,是GPT-3的10倍,打破了之前由國外預訓練模型創造的1.6萬億參數記錄,是目前中國首個、全球最大的萬億級模型。
“悟道2.0”模型在中英雙語共4.9 T的高質量大規模清洗數據上進行的訓練。訓練數據包含WuDaoCorpora中的1.2 TB中文文本數據、2.5 TB中文圖文數據,以及Pile數據集的1.2 TB英文文本數據。“悟道2.0”模型一統文本與視覺兩大陣地,支撐更多任務,更加通用化。
本次大會上,智源研究院與新華社、美團、小米、快手、搜狗、360、寒武紀、第四范式、好未來、智譜華章等22家“悟道”大模型產業生態戰略合作單位進行了簽約,并發出組建“悟道”大模型技術創新生態聯盟的倡議,吸引更多企業加入,將以聯盟為樞紐,以企業需求為導向,推動模型研發,共同開發基于“悟道”大模型的智能應用,以模型研發和應用促進產業集聚。
