聊聊ChatGPT

河北師范大學(xué)附屬民族學(xué)院 王際川

一款名為ChatGPT 的智能聊天程序自2022 年11 月30 日發(fā)布至今年2 月，就在全球狂攬1 億名用戶！它不僅可以讓用戶享受到“秒回式”的聊天體驗(yàn)，而且面對(duì)任何問(wèn)題都能對(duì)答如流，就像和一名知識(shí)淵博的朋友在面對(duì)面交流。

ChatGPT 是美國(guó)人工智能研究公司OpenAI 研發(fā)。它能夠?qū)W習(xí)和理解人類的語(yǔ)言，還能根據(jù)聊天的上下文內(nèi)容像人類一樣進(jìn)行對(duì)話互動(dòng)，甚至能撰寫(xiě)郵件、視頻腳本和文案，還能翻譯、寫(xiě)代碼、寫(xiě)論文等。如此強(qiáng)大的功能很快引起了大眾的高度關(guān)注，其中不乏想不勞而獲走捷徑的“聰明人”。很快，歐洲和美洲的各大高校明確提出禁止學(xué)生使用ChatGPT 做作業(yè)。Chat?GPT 具有足夠高的智能化，但學(xué)習(xí)沒(méi)有捷徑，青少年朋友千萬(wàn)不要效仿那些“聰明人”的不良行為。

我們一起來(lái)實(shí)際體驗(yàn)ChatGPT 的奇妙吧！我使用的是Visual Studio Code 程序中的擴(kuò)展程序“CHAT-GPT 中文版”體驗(yàn)智能聊天。

◎體驗(yàn)一：首先和它聊聊互聯(lián)網(wǎng)知識(shí)儲(chǔ)備。提出問(wèn)題“請(qǐng)列舉人工智能最新成果”。

ChatGPT 從四個(gè)方面給出了精準(zhǔn)答案，非常不錯(cuò)！

◎體驗(yàn)二：在發(fā)布時(shí)，團(tuán)隊(duì)稱ChatGPT是編程神器，可寫(xiě)程序代碼，甚至可以修改程序的bug（程序錯(cuò)誤、缺陷），我們就考考它的編程能力。問(wèn)題是“一道編程題，請(qǐng)通過(guò)C 語(yǔ)言實(shí)現(xiàn)。題目是：給出三個(gè)數(shù)，返回這三個(gè)數(shù)中最大的那個(gè)數(shù)。”這個(gè)題目首先需要明確是編程題，還要指定用C 語(yǔ)言實(shí)現(xiàn)，然后才是程序的要求。沒(méi)有足夠高的理解能力，不精通計(jì)算機(jī)編程C 語(yǔ)言，是萬(wàn)萬(wàn)做不到的。

當(dāng)它經(jīng)過(guò)簡(jiǎn)短“思考”后，給出的答案從語(yǔ)法結(jié)構(gòu)、程序語(yǔ)句都無(wú)可挑剔。Chat?GPT 顯示出的這種能力給人感覺(jué)今后編程將會(huì)變得非常簡(jiǎn)單，在它的輔助下，甚至人人都可以成為優(yōu)秀的程序員。

◎體驗(yàn)三：我們考考ChatGPT 對(duì)博大精深的中華文化掌握得怎么樣。

前一問(wèn)回答得完全正確。對(duì)有點(diǎn)兒難度的“林沖是誰(shuí)？為何上梁山？”回答雖不太嚴(yán)謹(jǐn)，也能給出簡(jiǎn)要的答案。

◎體驗(yàn)四：提升難度，看看它的數(shù)學(xué)推理能力。經(jīng)典數(shù)學(xué)問(wèn)題：雞兔同籠。第一題“雞兔同籠。有20 個(gè)頭，54 只腳，雞、兔各有多少只？”

面對(duì)一再的“逼問(wèn)”，不知是故意的還是沒(méi)訓(xùn)練好，它開(kāi)始一本正經(jīng)地“胡說(shuō)”，面對(duì)提醒仍然“不知悔改”。于是我再換一道同類型的題“有雞、兔共36 只，它們共有100 只腳，雞、兔各有多少只？”。

看著它“自信”的秒回答案，看來(lái)Chat?GPT 的奧數(shù)水平還有待提高，放過(guò)它這一馬吧！

◎體驗(yàn)五：最后我們來(lái)向它“尋計(jì)問(wèn)策”。問(wèn)“有些中學(xué)生不熱衷公益活動(dòng)是什么心態(tài)？”“怎樣去改變他們的心態(tài)？”

這兩個(gè)問(wèn)題的回答中規(guī)中矩，基本滿意。

通過(guò)上述案例及參考網(wǎng)上其他案例，我們能夠體會(huì)到，面對(duì)常識(shí)類問(wèn)答，Chat?GPT 顯得比較輕松，但對(duì)邏輯推理類等問(wèn)題還有待進(jìn)一步學(xué)習(xí)提升。對(duì)于ChatGPT的智能性，復(fù)旦大學(xué)人工智能創(chuàng)新與產(chǎn)業(yè)研究院院長(zhǎng)漆遠(yuǎn)的感覺(jué)是“驚訝”。他說(shuō)，雞兔同籠、相遇問(wèn)題等小學(xué)數(shù)學(xué)題，Chat?GPT 全都順利作答（與我們體驗(yàn)不太相符，難道是英文表述的雞兔同籠的問(wèn)題？也有可能是沒(méi)有選擇對(duì)程序，筆者沒(méi)有親測(cè)），而此前這對(duì)AI（人工智能）來(lái)說(shuō)是不可能實(shí)現(xiàn)的。這表明，隨著算法迭代，實(shí)現(xiàn)了從量變到質(zhì)變，ChatGPT 不僅具備了語(yǔ)言方面的能力，更具備了數(shù)學(xué)推理能力。

ChatGPT 是如何實(shí)現(xiàn)具有“前所未有”的智能呢？ChatGPT 是基于NLP（自然語(yǔ)言處理）的產(chǎn)物。馬薩諸塞大學(xué)洛厄爾分校計(jì)算機(jī)科學(xué)教授Jie Wang 認(rèn)為，ChatGPT 最主要的突破在于其背后架構(gòu)GPT-3.5 中使用的few-shots（小樣本）和用戶反饋的技術(shù)。而且，ChatGPT 擁有其他語(yǔ)言模型所不具備的千億級(jí)別參數(shù)規(guī)模，也使它能夠捕獲更復(fù)雜的語(yǔ)言模式和關(guān)系。

下面通過(guò)解讀幾個(gè)關(guān)鍵詞讓大家理解上述表述，了解ChatGPT。

1.NLP（自然語(yǔ)言處理）。

ChatGPT 之所以能夠成為一個(gè)現(xiàn)象級(jí)的火爆應(yīng)用，在于它能夠自動(dòng)生成類似于人類撰寫(xiě)的文本。支持ChatGPT 能夠如此出色地生成有意義的文本是NLP（自然語(yǔ)言處理），它能夠讓計(jì)算機(jī)理解、解釋和生成人類語(yǔ)言。

2.few-shots（小樣本）和反饋的技術(shù)。

小樣本技術(shù)又名few shots learning（小樣本學(xué)習(xí)），在機(jī)器學(xué)習(xí)領(lǐng)域中泛指從少量標(biāo)注數(shù)據(jù)中學(xué)習(xí)的方法和場(chǎng)景。要理解小樣本，涉及到另一個(gè)概念——提示（prompt?ing），因?yàn)椤疤崾尽笔荂hatGPT 接受用戶反饋的形式。

舉一個(gè)非常簡(jiǎn)單的例子幫助大家理解。假設(shè)作為校園小記者的小明使用ChatGPT 輔助編寫(xiě)新聞稿時(shí)，需要ChatGPT對(duì)一段較長(zhǎng)的新聞進(jìn)行歸納總結(jié)或生成一個(gè)標(biāo)題，這時(shí)可以給ChatGPT 一點(diǎn)小提示——例如，小明是《農(nóng)村青少年科學(xué)探究》雜志“創(chuàng)客校園”版塊的小記者，他需要幾個(gè)“吸睛”的標(biāo)題。相比簡(jiǎn)單要求“請(qǐng)生成一個(gè)標(biāo)題”，有了關(guān)鍵詞的提示，會(huì)讓ChatGPT 有更明確目標(biāo)和顯著效果。

3.千億級(jí)別參數(shù)。

據(jù)稱，基于8 000 億個(gè)單詞的語(yǔ)料庫(kù)（或45TB 的文本數(shù)據(jù)），ChatGPT 包含了1 750 億個(gè)參數(shù)。8 000 億 是ChatGPT 的 訓(xùn)練數(shù)據(jù)，1 750 億個(gè)參數(shù)則是它從這些訓(xùn)練數(shù)據(jù)中學(xué)習(xí)、沉淀下來(lái)的內(nèi)容。如此巨大的參數(shù)規(guī)模使得ChatGPT 能夠捕獲更復(fù)雜的語(yǔ)言模式和關(guān)系，從而提高復(fù)雜自然語(yǔ)言處理任務(wù)的準(zhǔn)確性。

我們可以將1 750 億個(gè)參數(shù)理解為ChatGPT 具有1 750 億神經(jīng)元，而人的大腦僅有120 億～140 億個(gè)神經(jīng)元。讓人瞠目結(jié)舌的是，自2018 年始，巨型神經(jīng)網(wǎng)絡(luò)模型參數(shù)每年都會(huì)增大一個(gè)數(shù)量級(jí)。權(quán)威專家預(yù)言，OpenAI 的下一代GPT-4 將會(huì)突破萬(wàn)億參數(shù)，甚至將達(dá)到100 萬(wàn)億參數(shù)。也就是說(shuō)，未來(lái)的Chat?GPT 有可能會(huì)比人腦聰明一萬(wàn)倍。

具有了這種超大模型千萬(wàn)億級(jí)參數(shù)，也僅僅是它的“物質(zhì)基礎(chǔ)”——“大腦”，還需要通過(guò)“訓(xùn)練”“學(xué)習(xí)”才能讓這個(gè)“大腦”“善解人意”。這種訓(xùn)練又需要高性能網(wǎng)絡(luò)支撐、鏈路負(fù)載均衡與故障快速恢復(fù)技術(shù)做支撐。

首先，ChatGPT 整體技術(shù)方案是基于GPT-3.5 大規(guī)模語(yǔ)言模型通過(guò)人工反饋強(qiáng)化學(xué)習(xí)來(lái)微調(diào)模型，讓模型一方面學(xué)習(xí)人的指令，另一方面學(xué)習(xí)回答得好不好。ChatGPT 具有及時(shí)互動(dòng)的價(jià)值，因此面對(duì)來(lái)自不同國(guó)家地區(qū)、不同語(yǔ)言、不同文化背景、不同需求的人群，“反饋”也是來(lái)自網(wǎng)絡(luò)世界的不同角落，是一種分布式訓(xùn)練，自然需要高性能網(wǎng)絡(luò)的支持。

其次，ChatGPT 是一個(gè)巨大人工智能模型，以現(xiàn)行的具有1 750 億參數(shù)的大規(guī)模集群來(lái)說(shuō)，進(jìn)行大模型訓(xùn)練一般會(huì)將數(shù)據(jù)并行、流水線并行、張量并行等多種并行模式混合使用，以充分利用集群的算力。無(wú)論是哪種并行模式，多機(jī)之間都會(huì)涉及一種叫AllReduce（全規(guī)約，簡(jiǎn)單可以理解為分布式訓(xùn)練中的服務(wù)器數(shù)據(jù)同步）的集合通信。一個(gè)AllReduce 任務(wù)包含多個(gè)點(diǎn)對(duì)點(diǎn)的通信，而AllReduce 的完成需要所有點(diǎn)對(duì)點(diǎn)通信都成功完成。因此，集合通信存在“木桶效應(yīng)”，即AllReduce 的完成時(shí)間，由其中最慢的點(diǎn)對(duì)點(diǎn)通信時(shí)間決定。因此，除了高性能的網(wǎng)絡(luò)互聯(lián)“高鐵”外，還需要鏈路負(fù)載均衡與故障快速恢復(fù)。

目前，在技術(shù)應(yīng)用層面ChatGPT 還存在一些弱點(diǎn)。這主要是因?yàn)镃hatGPT 本質(zhì)是語(yǔ)言模型，當(dāng)前的訓(xùn)練技術(shù)模型還不具備推理能力，或者說(shuō)推理能力很弱，因此給出的回答不是完全正確可信。其次，目前的ChatGPT 底層技術(shù)方案不支持獲取社會(huì)熱點(diǎn)新聞，不能夠回答2021 年之后的問(wèn)題，存在一定的信息滯后。最后就是成本問(wèn)題。

在對(duì)未來(lái)世界的幻想或展望中，在我們的學(xué)習(xí)工作生活中會(huì)出現(xiàn)具備與人類同等智慧、或超越人類的人工智能（AI）。它能表現(xiàn)正常人類所具有的所有智能行為，能思考、能判斷、有思想、有倫理——這就是通用AI。2001 年6 月26 日上映的科幻電影《人工智能》給出了人類對(duì)人工智能的期望。那么ChatGPT 的出現(xiàn)似乎讓人類看到了通用AI 的曙光，具有里程碑式的意義，距離實(shí)現(xiàn)人類對(duì)人工智能期望的目標(biāo)又前進(jìn)了一大步。

回顧人類社會(huì)的發(fā)展歷史，已經(jīng)出現(xiàn)了計(jì)算機(jī)、互聯(lián)網(wǎng)、智能手機(jī)等數(shù)次超級(jí)工具，極大地改變了人們的思維和生活方式。可以設(shè)想如果用ChatGPT 來(lái)代表基于大型通用語(yǔ)言模型的應(yīng)用，那么ChatGPT 很有可能成為下一個(gè)改變世界的超級(jí)工具，也許會(huì)改變?nèi)祟悓W(xué)習(xí)、工作和生活的方式。不過(guò)，以目前的實(shí)際情況來(lái)看，ChatGPT 離通用AI 仍然還有一段很長(zhǎng)的路要走。希望青少年朋友好好學(xué)習(xí)，能夠在未來(lái)人工智能領(lǐng)域作出自己的貢獻(xiàn)，早日實(shí)現(xiàn)人類對(duì)人工智能的期盼！