從ChatGPT爆火的必然性，揭開背后的AI技術發(fā)展現(xiàn)狀

摘要：【目的】近期ChatGPT成為人工智能領域的一個熱門話題，因其出色的語言生成技術而受到廣泛關注，能夠通過學習和理解人類的語言來進行對話。ChatGPT的橫空出世，對谷歌、百度等科技巨頭而言很焦慮，但ChatGPT的沖擊力不僅止于此。文章旨在探討它帶來了新一輪的AI技術范式革新。【方法】文章從聊天機器人的發(fā)展說起，詳述其背后的各項AI技術發(fā)展情況。【結果】總結ChatGPT在未來存在的機會與挑戰(zhàn)。【結論】ChatGPT的熱潮帶來的是人們對通用人工智能發(fā)展的期望。誰的適應能力更強，能快速擁抱這個趨勢，就能抓住下一個時代的機會。

關鍵詞：ChatGPT；人工智能；對話機器人；AI 技術" " " " 中圖分類號：G234.2" " " " " " 文獻標識碼：A

文章編號：1671-0134（2023）02-025-05" " " " "DOI：10.19483/j.cnki.11-4653/n.2023.02.004

本文著錄格式：徐楨虎.從ChatGPT爆火的必然性，揭開背后的AI技術發(fā)展現(xiàn)狀[J].中國傳媒科技，2023（02）：25-29.

1.對話機器人的前世今生

1.1" "對話機器人的起源

談到對話機器人的發(fā)展歷史，必須提及著名的圖靈測試。1950年，被稱為“人工智能之父”的數(shù)學家圖靈發(fā)表了論文《計算機器與智能》，首次提出了對人工智能的評價準則，即圖靈測試。測試者和被測試者通常是一個人和一臺機器，通過一些裝置進行交流。如果有超過30%的測試者不能區(qū)分哪些問題是由人還是機器回答的，那么機器通過測試，證明機器具有了一定的人類智慧。盡管目前用圖靈測試評測對話系統(tǒng)存在爭議，但圖靈測試的思路引領了幾十年間人工智能對話系統(tǒng)的發(fā)展。對話機器人是人工智能領域的一個重要分支，隨著人工智能技術的不斷進步，對話機器人也經(jīng)歷了多個發(fā)展階段。

第一階段是早期的規(guī)則和模板對話機器人。在人工智能領域的早期，對話機器人主要是基于規(guī)則和模板進行設計和實現(xiàn)的。這種機器人需要開發(fā)人員手動編寫規(guī)則和模板，然后根據(jù)用戶的輸入進行匹配和回答。由于規(guī)則和模板缺乏靈活性，這種機器人往往只能應對特定場景的對話，無法處理更廣泛的對話場景。

第二階段是基于統(tǒng)計機器學習的對話機器人。隨著機器學習技術的發(fā)展，基于統(tǒng)計機器學習的對話機器人逐漸興起。這種機器人利用自然語言處理、機器學習等技術對用戶輸入進行分析和處理，然后根據(jù)歷史數(shù)據(jù)和模型預測生成回答。由于可以利用歷史數(shù)據(jù)和模型進行學習和預測，這種機器人的應對能力比基于規(guī)則和模板的機器人更強大。

第三階段是基于深度學習的對話機器人。近年來，隨著深度學習技術的發(fā)展，基于深度學習的對話機器人逐漸崛起。這種機器人通過對大規(guī)模語料庫進行學習，自動學習生成回答的模式和規(guī)律，可以處理更復雜的對話場景和用戶輸入情況。其中，基于Transformer架構的預訓練語言模型，如BERT、GPT等被廣泛應用于對話機器人的設計和實現(xiàn)，可以呈現(xiàn)更自然、流暢和準確的對話回答。

對話機器人經(jīng)歷了從基于規(guī)則和模板到基于統(tǒng)計機器學習，再到基于深度學習的演進過程。此時期，基于機器學習來進行自然語言理解的方法百花齊放。但隨著后來的發(fā)展，傳統(tǒng)的機器學習遇到了瓶頸，特別是在語音識別和圖像分類方面準確率無法提高。因此，在第三代的研究中，這些系統(tǒng)基本上轉向了基于大數(shù)據(jù)和深度學習的技術，如Amazon Alexa、天貓精靈和Siri等助手類機器人。它們主要采用深度學習方法，即意圖識別和語言理解的方式。基于深度學習技術，使得端到端的對話系統(tǒng)變得可行。

1.2" "ChatGPT與傳統(tǒng)對話機器人的區(qū)別

傳統(tǒng)對話機器人通常是基于規(guī)則或模板進行設計和實現(xiàn)的，后期加入了語義分析和理解等自然語言處理的技術。傳統(tǒng)對話機器人在與用戶進行交互時，首先通過預設的規(guī)則或模板匹配用戶的輸入，然后根據(jù)匹配結果返回相應的回答。本質上說還算按照搜索的思路在做，因此生成的回答給用戶感覺會是拼湊感多。這種方法的優(yōu)點是實現(xiàn)簡單、速度快，但缺點是需要大量的手動工作來編寫規(guī)則和模板，并且很難覆蓋所有的對話場景和用戶輸入。封面新聞算是國內(nèi)媒體做對話機器人最早的幾家，那時候基本也是基于這個思路。業(yè)界技術沒有突破。在應用上也很難更進一步。[1]

ChatGPT則是基于深度學習技術的對話生成模型。與傳統(tǒng)對話機器人不同的是，ChatGPT不需要預先編寫規(guī)則或模板，而是通過對大規(guī)模語料庫的學習，自動學習生成回答的模式和規(guī)律。因此，這類模型可以在更廣泛的對話場景和用戶輸入情況下提供更自然、流暢和準確的回答。此外，它還可以進行上下文理解，能根據(jù)之前的對話歷史生成更連貫的回答，因此用戶的體驗更加良好。

因此，傳統(tǒng)對話機器人與ChatGPT的主要區(qū)別在于實現(xiàn)方式和能力范圍。傳統(tǒng)對話機器人是基于規(guī)則或模板，需要手動編寫，適用于少量場景和固定對話流程；而ChatGPT是基于深度學習技術，自動學習回答的模式和規(guī)律，適用于更廣泛的對話場景和用戶輸入情況。

1.3" "ChatGPT全球爆火的核心原因

為什么ChatGPT能夠在全世界引起如此廣泛的關注，對普通人來說最主要的原因是，ChatGPT在一定程度上滿足了很多人對影視中出現(xiàn)的AI想象。它能夠通過學習和理解人類的語言來進行對話，還能根據(jù)聊天內(nèi)容的上下文進行互動，像人一樣來溝通交流。

可能源于人們對人工智能技術的期望往往高于實際能力，以往出現(xiàn)的那些人機交互類型的AI產(chǎn)品，比如聊天機器人、自動駕駛系統(tǒng)、智能家居設備，由于表現(xiàn)不佳、結果不準確或不可靠，常常被用戶稱為“人工智障”。而ChatGPT看起來像是真的有了自己的思想，就像是流浪地球2中的MOSS系統(tǒng)。用戶問什么它都可以給出相對滿意的答案。

2.從技術層面如何解讀ChatGPT

2.1" "對AI研究發(fā)展的意義

作為一個大型的自然語言處理（NLP）模型，ChatGPT可以在許多方面對人工智能研究的發(fā)展產(chǎn)生影響。主要有以下三個方面。

2.1.1" "推動自然語言處理的發(fā)展

ChatGPT是自然語言處理領域的一項重要技術，可以幫助處理自然語言文本中的語義、上下文等方面的問題。在未來，這些技術有望進一步發(fā)展，使得機器能夠更好地理解自然語言，并能夠進行更加復雜的任務，如自然語言推理、文本生成等。

2.1.2" "推動大模型在深度學習的應用

ChatGPT的背后是基于Transformer的模型結構，它是深度學習領域的一個重要技術。ChatGPT的成功證明了大模型在自然語言處理領域的有效性，也為研究者提供了其他人工智能領域新的思路，從而推動了機器學習和深度學習的發(fā)展。

2.1.3" "提高人機交互的效率

ChatGPT可以用于開發(fā)更高效的對話系統(tǒng)，從而改善人機交互的體驗。例如，ChatGPT可以幫助機器人或虛擬助手更好地理解和回應人類的語言，從而更準確地滿足用戶需求。

所以，當ChatGPT出現(xiàn)時，內(nèi)行的震驚程度比外行更高，因為知道這樣的提升是非常困難的。AI算法科研領域正經(jīng)歷算法、開源代碼、工程、算力的增長飛輪，ChatGPT所代表的大模型的創(chuàng)建和學習能力會成為新的流行方向。而且可以預見，更多這類大模型會雨后春筍一般快速出現(xiàn)。總的來說，ChatGPT代表了人工智能領域中的重要突破，通過不斷地改進和應用，ChatGPT將有望為人工智能研究的發(fā)展帶來更多的貢獻。

2.2" "技術層面的革新

ChatGPT帶來了新一輪的AI技術范式革新，意味著業(yè)內(nèi)期望已久的通用人工智能應用開始出現(xiàn)。ChatGPT的橫空出世，使谷歌、百度等科技巨頭非常焦慮，但它的沖擊力不僅止于此。它真正讓所有人都感到吃驚的是背后大語言模型（LLM）的創(chuàng)建和學習能力。

很多人對ChatGPT的了解還僅僅限于它是一個更智能的聊天機器人。但實際上其對技術層面的革新重點在于“GPT”而不是“Chat”。目前最流行的Transformer核心架構大語言模型包括GPT和BERT兩種，在說大模型之前先了解一下Transformer架構。它與RNN（Recurrent Neural Network）架構是在自然語言處理領域中經(jīng)常用于處理序列數(shù)據(jù)的兩種架構。但是Transformer支持千億級參數(shù)的超大規(guī)模數(shù)據(jù)量，RNN則承載不了這么大的數(shù)據(jù)量。RNN中的每個時間步都需要等待前一個時間步的計算結果，因此模型的并行性較差。Transformer可以并行計算，通過自注意力機制來處理序列數(shù)據(jù)，可以同時處理整個序列。

BERT和GPT都是非常強大的大語言模型，在不同的任務和場景中都有對應很好的表現(xiàn)。BERT是基于轉移學習的思想開發(fā)的，主要用于解決語言理解相關的任務，如問答、語義關系抽取等。GPT則是基于生成式預訓練的思想開發(fā)的，主要用于解決語言生成相關的任務，如文本生成、機器翻譯等。在使用場景上，BERT更適用于在已有標注數(shù)據(jù)上微調(diào)的場景，GPT更適用于在大量未標注數(shù)據(jù)上預訓練的場景。簡言之，GPT是做下文預測，BERT是做整句預測。

然而OpenAI的GPT系列模型并沒有開源。基于文本預訓練的GPT前三代模型都是采用的以Transformer為核心結構的模型，不同的是模型的層數(shù)和詞向量長度等超參。GPT-3被提出時，除了它遠超GPT-2的效果，引起更多討論的是它1750億的參數(shù)量。GPT-3的訓練使用了情境學習，它是元學習的一種，其核心思想在于通過少量的數(shù)據(jù)尋找一個合適的初始化范圍，使得模型能夠在有限的數(shù)據(jù)集上快速擬合，并獲得不錯的效果。人類喜歡的不僅包括生成內(nèi)容的流暢性和語法的正確性，還包括生成內(nèi)容的有用性、真實性。強化學習的思路是通過對獎勵的大量采樣來擬合損失函數(shù)，從而實現(xiàn)模型的訓練。同樣人類反饋也是不可導的，那么我們也可以將人工反饋作為強化學習的獎勵，基于人工反饋的強化學習便應運而生。[2]如果把對話機器人的優(yōu)化比喻成一個人在進行知識學習的話，傳統(tǒng)對話機器人以前是在幼兒園階段就學習某類專科知識就進行訓練，而ChatGPT是先學習完所有大學知識，再進行訓練。

在ChatGPT推出之前，國內(nèi)外已有不少大模型。但相比其他大模型，ChatGPT在AI的技術路線和訓練方式上的變革，帶來了業(yè)界意料之外的突破。包括有一個非常強大的技術底座，即InstructGPT模型，同時在引入的強化學習機制上取得了突破，并且在數(shù)據(jù)質量和多樣性上也非常講究。光是基礎模型本身的差距，雖然國內(nèi)外也訓練了很多萬億模型或者是幾千億的模型，但訓練的充分程度是遠遠不夠的。有人用同樣的問題向某大型AI廠商的大模型和ChatGPT發(fā)問，ChatGPT從回答的邏輯性和完整度上都遠超對手。

2.3" "數(shù)據(jù)集的構成

除了大模型的加持，ChatGPT的對話表現(xiàn)很大程度上取決于它所使用的數(shù)據(jù)集。數(shù)據(jù)集提供了模型訓練和評估所需的輸入和輸出數(shù)據(jù)。在訓練ChatGPT模型時，需要大量的文本數(shù)據(jù)來訓練模型，使其能夠學習語言模式和規(guī)律，從而具有語義理解和生成能力。訓練數(shù)據(jù)集的質量和數(shù)量對模型的性能和表現(xiàn)至關重要。通常，訓練數(shù)據(jù)集越大、多樣化和質量越高，模型的性能和泛化能力就越好。

因此，數(shù)據(jù)集對ChatGPT模型的性能和表現(xiàn)具有非常重要的影響。一個好的數(shù)據(jù)集應該具有充分的數(shù)據(jù)量、多樣化的文本類型和質量高的數(shù)據(jù)標注。截至2023年2月，絕大部分用戶能接觸到的ChatGPT是采用的GPT-3.5模型，但目前公開資料能找到關于其模型數(shù)據(jù)集構成的信息主要來自OpenAI于2020年發(fā)布的GPT-3模型論文。其論文闡明了所用訓練數(shù)據(jù)集的token數(shù)量，但訓練數(shù)據(jù)集的內(nèi)容和大小尚不清楚。該數(shù)據(jù)集包含了多種來源的文本數(shù)據(jù)，如維基百科、新聞、書籍、社交媒體等。[3]這些數(shù)據(jù)集經(jīng)過處理和清洗，以便用于預訓練模型。數(shù)據(jù)集針對不同的應用場景和目的而設計，主要包括：

維基百科（Wikipedia）：是一個免費的多語言協(xié)作在線百科全書。維基百科中的文本很有價值，因為它被嚴格引用，以說明性文字形式寫成，并且跨越多種語言和領域。一般來說，重點研究實驗室會首先選取它的純英文過濾版作為數(shù)據(jù)集。

書籍（Books）：由小說和非小說兩大類組成，主要用于訓練模型的故事講述能力和反應能力，數(shù)據(jù)集包括Project Gutenberg和Smashwords等。

雜志期刊（Journals）：預印本和已發(fā)表期刊中的論文為數(shù)據(jù)集提供了堅實而嚴謹?shù)幕A，因為學術寫作通常來說更有條理更細致。

Reddit鏈接：WebText是一個大型數(shù)據(jù)集，它的數(shù)據(jù)是從社交媒體平臺Reddit所有出站鏈接網(wǎng)絡中爬取的，每個鏈接至少有3個贊，代表了流行內(nèi)容的風向標，對輸出優(yōu)質鏈接和后續(xù)文本數(shù)據(jù)具有指導作用。

Common Crawl（CC）：是2008年至今的一個網(wǎng)站抓取的大型數(shù)據(jù)集，數(shù)據(jù)包含原始網(wǎng)頁、元數(shù)據(jù)和文本提取，它的文本來自不同語言、不同領域。重點研究實驗室一般會首先選取它的純英文過濾版（C4）作為數(shù)據(jù)集。

其他數(shù)據(jù)集（Other）：不同于上述類別，這類數(shù)據(jù)集由GitHub等代碼數(shù)據(jù)集、StackExchange 等對話論壇和視頻字幕數(shù)據(jù)集組成。

圖1" " GPT-3數(shù)據(jù)集總結[3]

國內(nèi)大型互聯(lián)網(wǎng)公司沒有率先做出類似ChatGPT的應用，除了OpenAI相關技術領先的原因，國內(nèi)做AI應用拿不到足夠多領域的數(shù)據(jù)，這也是另外一個重要原因。國外的絕大部分應用都有網(wǎng)頁版數(shù)據(jù)可以采集。國內(nèi)互聯(lián)網(wǎng)內(nèi)卷嚴重的環(huán)境導致了大型App應用的數(shù)據(jù)孤島。

但ChatGPT在中文的識別效果也很不錯，這是因為在訓練ChatGPT的大型語言數(shù)據(jù)集中，也包含了大量的中文文本。這些文本包括新聞、社交媒體、百科全書、小說等，經(jīng)過處理和清洗后，被用于訓練ChatGPT模型。因此，ChatGPT在處理中文文本時，可以利用這些訓練數(shù)據(jù)中的中文語言模式和規(guī)律，從而獲得對中文的語義理解和生成能力。

此外，ChatGPT采用了預訓練—微調(diào)的方法，即在大規(guī)模數(shù)據(jù)集上預先訓練語言模型，然后通過微調(diào)來適應特定的任務和領域。在微調(diào)過程中，ChatGPT可以通過訓練樣本來進一步調(diào)整模型參數(shù)，以適應特定的語言和任務，包括中文語言和任務。這使得ChatGPT能夠更好地適應中文語言和語境，從而獲得更好的中文語義理解和生成能力，這得益于在訓練數(shù)據(jù)和模型設計上的綜合考慮和優(yōu)化。

2.4" "ChatGPT能否理解邏輯本身

ChatGPT可以識別并使用邏輯語言的結構和形式，但其理解能力基于訓練數(shù)據(jù)和算法，而不是真正的“理解”或類似于人類的推理。可以根據(jù)給定的邏輯語句或問題進行計算和推理，但推理可能受到限制或出現(xiàn)偏差。此外，邏輯的解釋和使用也可能因特定的上下文和語境而發(fā)生變化，這對ChatGPT說來可能會帶來一定的挑戰(zhàn)和限制。因此，雖然可以使用邏輯語言和形式，但能力和表現(xiàn)仍然受到許多因素的影響，并不能與人類的邏輯思維能力完全媲美。另外，有時候用戶會在主觀上覺得答案結果不夠準確，可能更主要的原因在于問題描述不夠準確，對它來說只能是當前語境下的最優(yōu)答案。

2.5" "目前存在的問題

得益于ChatGPT背后最先進的GPT3.5大模型，它的絕大部分回答在數(shù)據(jù)集時間范圍內(nèi)都是準確的，因此普通用戶并不知道它的運作機制，會傾向于認為它無所不知。ChatGPT可能會以一種非常自信的口吻來編造事實，這是一個大問題。

目前主要有三類問題：

（1）結果不穩(wěn)定。這會導致對結果準確性要求高的業(yè)務無法直接應用，需要人工審核，更多是作為輔助應用或應用于娛樂性強的場景。

（2）推理能力有限。例如詢問現(xiàn)在的美國總統(tǒng)是誰，會回答奧巴馬或特朗普，但又能回答出拜登是第46任總統(tǒng)。可以發(fā)現(xiàn)模型中事實存在，但它無法推理出正確答案。

（3）知識更新實時性不夠。一方面是因為目前整個模型的二次訓練成本很高，另一方面知識更新也會帶來知識遺忘。

但對這些問題不必過于擔憂，ChatGPT背后有著海量的資料庫和龐大的算力做支撐，隨著它與搜索引擎的結合越來越高，對知識更新的實時性問題肯定可以得到解決。以后人們甚至可以把ChatGPT當成一個交互式的搜索引擎來用。

總而言之，ChatGPT內(nèi)容信源的可靠性依然是一個大問題。除此之外，目前最核心的問題還是，它會以一種非常自信的口吻來編造事實。因此，需要引入不同的行業(yè)專家。比如哲學、社會科學、藝術和人文學科的人士來參與管理ChatGPT的使用。所以，AI公司有責任讓公眾意識到這些問題，同時，監(jiān)管機構和政府也需要對這個系統(tǒng)進行更多的重視。

3.ChatGPT的機會與挑戰(zhàn)

3.1" "對傳媒領域帶來的影響

現(xiàn)在的ChatGPT能力非常全面，能完成創(chuàng)意生成、視頻腳本、活動文案、文章寫作、代碼編寫等各種類型的任務。但其實它還是更適合應用在小說寫作、劇本創(chuàng)作、活動策劃、數(shù)據(jù)分析等需要解放生產(chǎn)力和提升效率的行業(yè)。但對某些領域來說ChatGPT的應用會引起巨大爭議，甚至會遭到業(yè)界的“封殺令”。比如說學術領域，ChatGPT即使不需要理解專業(yè)的知識，它也能生成一篇專業(yè)性更高的內(nèi)容，并獲得專家認可。學術倫理的問題需要得到更多的監(jiān)管。

就在兩三年以前，AI在傳媒行業(yè)的作用更多是輔助內(nèi)容生產(chǎn)，媒體的內(nèi)容要有自己的價值觀。但現(xiàn)在AI技術的發(fā)展太快，數(shù)字人+ChatGPT+多模態(tài)內(nèi)容生成，已經(jīng)能夠替代主持人、記者、編輯的很多工作。從文章寫作、新聞獲取、方案制定、人機互動，ChatGPT都能在數(shù)秒內(nèi)完成，未來傳媒行業(yè)的人機高效協(xié)作將會成為更加常見的場景。

從積極的方向來說，ChatGPT也可以促進媒體產(chǎn)業(yè)的創(chuàng)新和進步，提高媒體內(nèi)容的產(chǎn)量和質量，并為用戶提供更好的體驗和服務。包括為媒體公司提供新的技術和工具，改進內(nèi)容的質量和生產(chǎn)效率，為用戶提供更好的體驗。

3.2" "應該如何與它共存

對普通用戶來說，ChatGPT目前還有很多問題。但只要用過的ChatGPT的人，即使一小部分人還不認可它是真正的AI，但沒人認為它和之前那些“人工智障”的聊天機器人是一樣的。直觀來說，人們會認為是AI的智力提升了，但實際上ChatGPT背后的GPT3.5大模型，更多的提升在于“用人類所喜歡的方式回答”。

人類應該積極地與ChatGPT共存合作，發(fā)揮人工智能技術的優(yōu)勢，同時也需要關注其潛在的風險和挑戰(zhàn)，加強人工智能技術的監(jiān)管和管理，以及加強對人工智能技術的教育和培訓。

人類和ChatGPT應該進行合作和互補，相互協(xié)作，共同解決一些現(xiàn)實問題和挑戰(zhàn)。ChatGPT可以為人類提供一些基礎的服務和支持，例如自動化生產(chǎn)、數(shù)據(jù)分析、預測和推薦等。人類可以利用ChatGPT的技術和工具，進行一些更高級別的創(chuàng)新和創(chuàng)造。

3.3" "未來展望

ChatGPT的熱潮帶來的是人們對通用人工智能發(fā)展的期望。大企業(yè)不一定能夠獲得最大的紅利，但這是創(chuàng)新型小企業(yè)一個千載難逢的機遇。如果大企業(yè)不進行二次創(chuàng)業(yè)，那么就會失去自己的優(yōu)勢走下坡路。總體來說，小企業(yè)的機會可能更多在應用層。大企業(yè)更多是要在基礎層和中間層開始創(chuàng)新，不然肯定會受到巨大的挑戰(zhàn)。

對商業(yè)圈來說，有可能帶來新一輪技術革新和商業(yè)模式革新，最近開始流行一句話：“所有行業(yè)都值得用AI重新再做一遍”。不斷挖掘新的商業(yè)應用場景，讓近幾年陷入應用瓶頸的AI領域重新煥發(fā)活力，相信未來幾年我們會看到一大批人機交互類型的AI應用百花齊放。例如，微軟已經(jīng)開始在嘗試用ChatGPT取代財報分析師，也許一年以后就不再需要財報分析人員，AI可以直接分析海量的公司財報數(shù)據(jù)，形成關鍵信息與用戶進行多輪互動。可能每個人都無法完全置身事外。誰的適應能力更強，能快速擁抱這個趨勢，就能抓住下一個時代的機會。

[1]徐楨虎. 媒體智能機器人IP的打造路徑及應用探究[J]. 中國傳媒科技，2022（12）：17-20.

[2] ChatGPT/Instruct GPT詳解[EB/OL]. https ：//zhuanlan ." " " " "zhihu.com/p/590311003.2022-12-08/2023-02-25.

[3]ChatGPT數(shù)據(jù)集之謎[EB/OL]. https：//mp.weixin.qq.com/s/LLAs45yJFbvfZRYIbcgU6A.2023-02-17/2023-02-25.

作者簡介：徐楨虎 （1986-），男，四川達州，封面?zhèn)髅娇萍几笨偨?jīng)理兼首席數(shù)據(jù)官，研究方向為媒體人工智能與大數(shù)據(jù)應用。

（責任編輯：陳旭管）