ChatGPT：“現(xiàn)象級(jí)”產(chǎn)品背后的AI技術(shù)發(fā)展與展望

今天，你和ChatGPT聊天了嗎？它僅僅開(kāi)發(fā)13天就匆匆上線，卻在2個(gè)月內(nèi)就獲得過(guò)億用戶(hù)。這一基于AI的產(chǎn)品持續(xù)火熱出圈，在社會(huì)各界引發(fā)越來(lái)越多的關(guān)注。以此為契機(jī)，業(yè)界對(duì)于人工智能技術(shù)的革新與應(yīng)用展開(kāi)新一輪討論，其中大模型的創(chuàng)建和學(xué)習(xí)能力成為關(guān)注焦點(diǎn)。

一、AI技術(shù)變革：算法、算力、數(shù)據(jù)

目前，預(yù)訓(xùn)練技術(shù)（Pre-Trained Model）是人工智能研究的重要突破口。傳統(tǒng)的研究方法中，標(biāo)注成本一直是阻礙AI算法推向更大數(shù)據(jù)集合的障礙；而預(yù)訓(xùn)練技術(shù)不依賴(lài)數(shù)據(jù)標(biāo)注，就可以訓(xùn)練出一個(gè)大規(guī)模深度學(xué)習(xí)模型。全球AI團(tuán)隊(duì)選擇兒童電視節(jié)目《芝麻街》中的木偶人物來(lái)命名各種新預(yù)訓(xùn)練算法，比如Elmo、Bert、Ernie等。

在對(duì)預(yù)訓(xùn)練模型各種不同的技術(shù)評(píng)測(cè)中，算法性能展示了一個(gè)規(guī)律：數(shù)據(jù)規(guī)模越大、預(yù)訓(xùn)練模型參數(shù)越多，算法輸出精度往往也越高。隨著技術(shù)的突破，模型規(guī)模的不斷增長(zhǎng)，其展現(xiàn)出的能力、潛力和豐富的應(yīng)用場(chǎng)景激發(fā)了更多的企業(yè)和研究機(jī)構(gòu)投身其中。超級(jí)模型除了可以消化更大規(guī)模的數(shù)據(jù)，也需要消耗更高的算力。

OpenAI公司對(duì)人工智能算法訓(xùn)練所消耗的算力進(jìn)行統(tǒng)計(jì)，結(jié)果發(fā)現(xiàn)，從2012年到2020年，人工智能模型訓(xùn)練消耗的算力增長(zhǎng)了30萬(wàn)倍，平均每3.4個(gè)月翻一番，這超過(guò)了摩爾定律的每18個(gè)月翻番的增長(zhǎng)速率。人工智能技術(shù)已成為推動(dòng)IT技術(shù)發(fā)展的新動(dòng)力引擎。

二、全球AI技術(shù)發(fā)展格局：中美領(lǐng)跑

從2014年到2018年，AI模型的參數(shù)規(guī)模還在1億的數(shù)量級(jí)上下浮動(dòng)。從2019年開(kāi)始，AI大模型突然爆發(fā)，參數(shù)規(guī)模也以指數(shù)級(jí)增長(zhǎng)。2019年2月，OpenAI的GPT2達(dá)到了15億參數(shù)規(guī)模。2020年6月，GPT3達(dá)到1750億參數(shù)規(guī)模。2021年1月，谷歌大腦推出1.6萬(wàn)億參數(shù)規(guī)模超級(jí)模型，再次刷新規(guī)模記錄。

中國(guó)本土技術(shù)團(tuán)隊(duì)同樣加入到了這一場(chǎng)人工智能技術(shù)競(jìng)賽中。阿里巴巴達(dá)摩院在2020年初便啟動(dòng)了中文多模態(tài)預(yù)訓(xùn)練模型M6項(xiàng)目，同年6月即推出3億參數(shù)的基礎(chǔ)模型。2021年1月，模型參數(shù)規(guī)模到達(dá)百億，成為世界上最大的中文多模態(tài)模型；同年5月，具有萬(wàn)億參數(shù)規(guī)模的模型正式投入使用，追上谷歌的發(fā)展腳步；同年11月，M6參數(shù)規(guī)模擴(kuò)展到10萬(wàn)億，成為當(dāng)時(shí)全球最大的AI預(yù)訓(xùn)練模型①。

不少中國(guó)企業(yè)和研究機(jī)構(gòu)正積極投入到中文預(yù)訓(xùn)練大模型項(xiàng)目中。在人工智能超級(jí)大模型這條“數(shù)據(jù)、算法、算力”三輪同時(shí)驅(qū)動(dòng)的技術(shù)賽道上，中美兩國(guó)技術(shù)團(tuán)隊(duì)已經(jīng)形成“兩架馬車(chē)”的發(fā)展模式，不斷刷新人工智能能力規(guī)模的邊界線。

基于AMiner科技情報(bào)系統(tǒng)的數(shù)據(jù)②，根據(jù)AIGC領(lǐng)域知識(shí)圖譜進(jìn)行檢索（如圖1所示），利用文獻(xiàn)計(jì)量方法，筆者梳理出2012年到2021年間，全球發(fā)表的AIGC高質(zhì)量論文（論文引用量排名前1%）共計(jì)1，646篇。統(tǒng)計(jì)發(fā)現(xiàn)，在AIGC高質(zhì)量論文領(lǐng)域，中美兩國(guó)在發(fā)表數(shù)量上幾乎持平，且大幅度領(lǐng)先其他國(guó)家。在發(fā)展趨勢(shì)上，中國(guó)更有后來(lái)者居上的勢(shì)頭（如表1和圖2所示）。

然而，在更大的數(shù)字技術(shù)領(lǐng)域，中國(guó)在高價(jià)值論文部分，同發(fā)達(dá)國(guó)家仍有不小差距③。未來(lái)，需要產(chǎn)、學(xué)、研協(xié)同發(fā)力，共同推動(dòng)中國(guó)數(shù)字技術(shù)向價(jià)值鏈高端躍升。

三、AI產(chǎn)業(yè)發(fā)展：資本與人才

深藍(lán)打敗了卡什帕羅夫、AlphaGo戰(zhàn)勝了李世石……對(duì)于業(yè)內(nèi)人士來(lái)說(shuō)，這些曾經(jīng)轟動(dòng)一時(shí)的現(xiàn)象級(jí)技術(shù)進(jìn)步，僅僅是完成了固定任務(wù)的“弱人工智能”。開(kāi)發(fā)具有跨領(lǐng)域?qū)W習(xí)能力的“強(qiáng)人工智能”技術(shù)，才是人類(lèi)努力的終極目標(biāo)。常識(shí)學(xué)習(xí)、跨領(lǐng)域模型遷移、小樣本和零樣本學(xué)習(xí)……一個(gè)個(gè)技術(shù)的攔路虎擋在通往強(qiáng)人工智能的技術(shù)道路上，而人工智能超級(jí)模型的出現(xiàn)，照亮了這條道路的前進(jìn)方向。

OpenAI為訓(xùn)練GPT3超級(jí)模型，投入了1200萬(wàn)美元的成本。在人工智能超級(jí)模型的賽道上，賽手需要掌握海量的數(shù)據(jù)、超大規(guī)模的人工智能計(jì)算平臺(tái)以及掌握核心技術(shù)能力的算法團(tuán)隊(duì)，三者缺一不可。這也許能夠從一個(gè)側(cè)面解釋在追求人工智能技術(shù)最前沿的賽道上，為何目前只出現(xiàn)了美國(guó)和中國(guó)技術(shù)團(tuán)隊(duì)的身影。中美兩國(guó)在人工智能技術(shù)領(lǐng)域已形成激烈競(jìng)爭(zhēng)的格局。數(shù)據(jù)、算法和算力是這一人工智能技術(shù)浪潮的三輪驅(qū)動(dòng)引擎。中國(guó)擁有全世界最大的互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)用戶(hù)規(guī)模，這使我國(guó)在數(shù)據(jù)領(lǐng)域具有毋庸置疑的領(lǐng)先地位；與此同時(shí)，我國(guó)的互聯(lián)網(wǎng)平臺(tái)企業(yè)也正積極構(gòu)建著極具競(jìng)爭(zhēng)力的算力平臺(tái)和算法團(tuán)隊(duì)。

斯坦福大學(xué)HAI研究所發(fā)布的2021全球AI指數(shù)報(bào)告①顯示，2020年全球盡管受到新冠疫情拖累，各方面的經(jīng)濟(jì)發(fā)展均受到極其負(fù)面的影響，但人工智能領(lǐng)域發(fā)展卻一枝獨(dú)秀，相關(guān)投資仍然在大幅增加，當(dāng)年私人資本在人工智能領(lǐng)域的投資比前一年增加9.3%，遠(yuǎn)高于疫情前2019年5.7%的增長(zhǎng)率；在資金方面，美國(guó)仍然是人工智能私人資本投資的首選目的地，當(dāng)年總投資超過(guò)230億美元，是中國(guó)相關(guān)投資金額99億美元的兩倍多。

近日發(fā)布的《2023全球數(shù)字科技發(fā)展研究——科技人才儲(chǔ)備實(shí)力研究報(bào)告》①，對(duì)包括AI行業(yè)在內(nèi)的各國(guó)數(shù)字科技人才儲(chǔ)備情況做了全面比較。結(jié)果顯示，與美國(guó)相比，中國(guó)數(shù)字科技人才基數(shù)大，但存在高層次人才少、凈流出數(shù)量多以及人才集中在高校而非企業(yè)等問(wèn)題。顯然，中國(guó)在鞏固數(shù)字科技人才方面的工作任重道遠(yuǎn)（如圖3所示）。

四、ChatGPT的未來(lái)：腦力的解放

OpenAI公司應(yīng)該也沒(méi)有想到ChatGPT會(huì)一夜爆紅，這款對(duì)話機(jī)器人（chatbot）產(chǎn)品不僅開(kāi)發(fā)時(shí)間短，模型也沒(méi)有構(gòu)建在OpenAI即將發(fā)布的最新一代GPT4模型之上，而是采用了上一代的GPT3的增強(qiáng)模型②。

不過(guò)，從生成式AI技術(shù)（Generative AI或AIGC）的發(fā)展趨勢(shì)來(lái)看，ChatGPT這一類(lèi)現(xiàn)象級(jí)應(yīng)用的橫空出世與迅速爆紅并非意外。隨著AI大模型技術(shù)的不斷成熟，AIGC技術(shù)已經(jīng)走出實(shí)驗(yàn)室，應(yīng)用場(chǎng)景也已從初始的文本生成發(fā)展到多模態(tài)領(lǐng)域。例如，谷歌旗下的Deepmind公司推出了自主編程應(yīng)用AlphaCode，在 Codeforces 舉辦的編程比賽中，超過(guò)了 45.7% 的人類(lèi)參賽者①。由OpenAI開(kāi)發(fā)的另一款圖片生成應(yīng)用DALL·E-2，已入選時(shí)代雜志評(píng)選的2022年度最佳發(fā)明②。英偉達(dá)開(kāi)發(fā)的一款3D模型生成工具M(jìn)agic3D，用戶(hù)輸入文本描述就可以自動(dòng)生成結(jié)構(gòu)極其復(fù)雜的3D模型③。此外，由阿里巴巴達(dá)摩院開(kāi)發(fā)的多模態(tài)大模型M6，利用文本輸入即可自動(dòng)驅(qū)動(dòng)人體3D模型的動(dòng)作合成④。

在圖文創(chuàng)作、代碼生成、3D模型設(shè)計(jì)、3D動(dòng)畫(huà)制作等領(lǐng)域，生成式AI技術(shù)展示出深厚的潛力，其應(yīng)用邊界也將隨著技術(shù)進(jìn)步與成本降低擴(kuò)展到更多領(lǐng)域。

高科技投資機(jī)構(gòu)方舟投資（ARK Invest）發(fā)布報(bào)告⑤預(yù)測(cè)，以AIGC為代表的新一代人工智能技術(shù)將輔助知識(shí)工作者（包括教師、律師、醫(yī)生、財(cái)務(wù)、程序員等白領(lǐng)職業(yè)）提高工作效率。報(bào)告還預(yù)測(cè)，到2030年，AI將使知識(shí)工作者的平均工作效率增加140%，并將可能大幅度降低腦力勞動(dòng)者的工作強(qiáng)度。如果上述這一切成為現(xiàn)實(shí)，或?qū)⑹抢^人類(lèi)歷史上由于動(dòng)力革命而使人擺脫了繁重的體力勞動(dòng)之后，人類(lèi)社會(huì)發(fā)生的又一次偉大的技術(shù)革命。

（作者單位：阿里研究院）

① ARK Invest’s Big Ideas 2022， https：//www.zdnet.com/article/ark-invest-big-ideas-2022/

② J. Tang， J. Zhang， L. Yao， J. Li， L. Zhang， and Z. Su. Arnetminer： Extraction and mining of academic social networks. In Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining （SIGKDD’08）， pages 990-998， 2008.

③ 《2023全球數(shù)字科技發(fā)展研究報(bào)告——全球科研實(shí)力對(duì)比》，http：//www.aliresearch.com/ch/information/informationdetails articleCode=4059 42197876297728type=%E6%96%B0%E9%97%BB

① https：//arxiv.org/abs/2108.07258

① 《2023全球數(shù)字科技發(fā)展研究——科技人才儲(chǔ)備實(shí)力研究報(bào)告》，http：//www.aliresearch.com/ch/information/informationdetails articleCode= 423423416457105408type=%E6%96%B0%E9%97%BB

② https：//www.nytimes.com/2023/02/03/technology/chatgpt-openai-artificial-intelligence.html

① Competition-Level Code Generation with AlphaCode， https：//arxiv.org/abs/2203.07814

② ARK Invest’s Big Ideas 2022， https：//www.zdnet.com/article/ark-invest-big-ideas-2022/

③ https：//research.nvidia.com/labs/dir/magic3d/

④ Pretrained Diffusion Models for Unified Human Motion Synthesis， https：//ofa-sys.github.io/MoFusion/

⑤ ARK Invest’s Big Ideas 2022， https：//www.zdnet.com/article/ark-invest-big-ideas-2022/