ChatGPT與AIGC產(chǎn)業(yè)鏈

史占中 鄭世民 蔣越

摘 要： ???ChatGPT是一種生成式預(yù)訓(xùn)練模型，結(jié)合了人工反饋的強化學(xué)習(xí)技術(shù)，運用大量計算資源和海量數(shù)據(jù)，實現(xiàn)了對人類語言的理解和學(xué)習(xí)，存儲了海量的知識。對語言的深入理解和廣泛的知識存儲，以及強大的內(nèi)容生成能力，將會給搜索引擎等領(lǐng)域帶來巨大的沖擊，并且為AIGC特別是商業(yè)化的發(fā)展帶來了新的機會。盡管ChatGPT有相對較高的技術(shù)壁壘，但依托國內(nèi)人工智能領(lǐng)域完備的基礎(chǔ)設(shè)施和充分的人才儲備，我們認為在AIGC產(chǎn)業(yè)鏈方面仍然可以把握更多的發(fā)展機會。

關(guān)鍵詞： ?ChatGPT；自然語言處理；強化學(xué)習(xí)；AIGC

中圖分類號： ?TP 391

文獻標志碼： ??A

ChatGPT and AIGC Industry Chain

SHI Zhanzhong ZHENG Shimin JIANG Yue

（Antai College of Economics & Management， Shanghai Jiao Tong University， Shanghai 200030， China）

Abstract： ?ChatGPT is a pre-trained chat model using a simple network architecture， the Transformer， combined with reinforcement learning from human feedback， using large computational resources and massive data to achieve understanding and learning of human language and store massive knowledge. The deep understanding and extensive knowledge of language， as well as the powerful content generation capability， will bring a big impact to fields such as search engines， and bring new opportunities for the development， especially commercialization， of AIGC. Although ChatGPT has considerable technical barriers， China has a complete infrastructure and sufficient talent pool in AI， so domestic academia and industry are still full of opportunities in AIGC. We show that the ChatGPT generalizes well to other tasks by applying it successfully to industries both with large and limited training data.

Key words： ?ChatGPT; NLP; Q-Learning; AIGC

1 ChatGPT的技術(shù)實現(xiàn)與行業(yè)痛點

NLP自然語言處理是人工智能領(lǐng)域近些年火熱的研究方向，聊天機器人、人工智能翻譯軟件等都是NLP技術(shù)的具體應(yīng)用。ChatGPT是這一領(lǐng)域最新突破性成果，與以往的NLP技術(shù)相比，ChatGPT引入了強化學(xué)習(xí)技術(shù)來優(yōu)化其生成的結(jié)果，并且在訓(xùn)練規(guī)模上也遠遠大于以往聊天機器人所用的語料庫規(guī)模。

1.1 自然語言處理與強化學(xué)習(xí)

具體來講，ChatGPT融合了Transformer技術(shù)和強化學(xué)習(xí)技術(shù)，這兩項技術(shù)已經(jīng)經(jīng)過了多年的發(fā)展。Transformer架構(gòu)是一種基于注意力機制的神經(jīng)網(wǎng)絡(luò)架構(gòu)，被廣泛應(yīng)用于自然語言處理領(lǐng)域。Transformer架構(gòu)使得ChatGPT能夠通過分析輸入的語料來理解人類語言的語法、語義，并且按照語法生成流暢且擁有較強理解力的應(yīng)答。

在此基礎(chǔ)上，ChatGPT還使用了人工反饋的強化學(xué)習(xí)技術(shù)。普通的強化學(xué)習(xí)通過外界設(shè)定獎懲規(guī)則，模型自主學(xué)習(xí)，最終在某項具體任務(wù)中達到甚至超越人類的表現(xiàn)。強化學(xué)習(xí)最廣為人知的應(yīng)用就是DeepMind團隊推出的圍棋機器人AlphaGo，它在2017年打敗了人類最頂尖棋手柯潔。不僅如此，DeepMind后續(xù)還推出了同樣使用強化學(xué)習(xí)技術(shù)的AlphaFold，在蛋白質(zhì)結(jié)構(gòu)預(yù)測上也遠遠超越了人類，并在2022年宣布預(yù)測出地球上幾乎所有蛋白質(zhì)結(jié)構(gòu)。與傳統(tǒng)強化學(xué)習(xí)中固定的獎懲設(shè)定不同，ChatGPT通過人工標注訓(xùn)練了獎懲模型，使得ChatGPT按照人類的喜好進行回答。

兩項技術(shù)結(jié)合，具有學(xué)習(xí)能力的聊天機器人ChatGPT遠遠超越了過去的聊天機器人。相對傳統(tǒng)對話機器人，ChatGPT的突破性在于其強大的自然語言處理能力和廣泛的知識儲備。ChatGPT通過對大量文本數(shù)據(jù)的訓(xùn)練，可以自動學(xué)習(xí)語言的規(guī)則、結(jié)構(gòu)和語義，并能夠理解人類語言表達的復(fù)雜性和多樣性，同時在強化學(xué)習(xí)的加持下，ChatGPT用戶體驗相較于傳統(tǒng)人機交互有了極大改善。不僅如此，之前分析型AI人機交互形式拘泥于具體的場景和對話，ChatGPT屬于生成式AI，不局限于已有的內(nèi)容，底層強大的泛化能力讓它可以對各種主題進行理解和處理，不僅能文生文，還能文生圖，生成代碼并具有最重要的推理能力，比如從簡單的求長寬高的數(shù)學(xué)題到基本的財務(wù)分析都能勝任，并且已在藝術(shù)創(chuàng)作、代碼處理和數(shù)字營銷等多個創(chuàng)造性場景得到廣泛應(yīng)用。并且，因為激增的用戶數(shù)量和源源不斷的訓(xùn)練數(shù)據(jù)輸入，ChatGPT的迭代速度將會更加樂觀可期。

1.2 ChatGPT技術(shù)難點

ChatGPT 是一個基于大規(guī)模預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練過程需要耗費大量的計算資源和時間，這需要企業(yè)具備強大的計算能力和相應(yīng)的設(shè)備。除了計算資源，ChatGPT作為大數(shù)據(jù)模型，還需要大規(guī)模的語料庫和數(shù)據(jù)集訓(xùn)練模型作為基礎(chǔ)。在這一系列設(shè)施完備的基礎(chǔ)上，理論的構(gòu)建和模型訓(xùn)練需要成熟的人工智能技術(shù)團隊和相關(guān)領(lǐng)域的專業(yè)積累。即使做好了萬全的準備，長期的投入仍然必不可少，因為大數(shù)據(jù)模型訓(xùn)練本身就是一項耗時的工作，對模型的調(diào)優(yōu)改進更是貫穿整個項目推進的過程，所以這是一項需要極大算力資源、人力資源以及時間成本投入的工程。

2 ChatGPT與AIGC

AIGC（Artificial Intelligence Generated Content）是通過人工智能技術(shù)生成繪畫、文本、音樂等內(nèi)容的技術(shù)，ChatGPT是文本型生成，相比傳統(tǒng)聊天機器人，其功能要豐富得多，不但能生成文字，還能生成代碼、數(shù)學(xué)公式。在ChatGPT之前，人工智能領(lǐng)域的落地場景比較有限，AIGC的商業(yè)化程度相對較低，但是ChatGPT的表現(xiàn)給AIGC領(lǐng)域的發(fā)展帶來了新的機會。

2.1 ChatGPT與AIGC商業(yè)化

其實在ChatGPT之前，同樣是OpenAI在2022年推出的新模型DALL·E2，已經(jīng)能從文本生成效果良好的圖像，從成圖來看已經(jīng)可以和人類畫師相媲美了。AIGC領(lǐng)域的迅速發(fā)展，使得許多相關(guān)從業(yè)者開始擔心是否會有更多工作崗位被機器人所取代。雖然有這樣的擔心，但是AIGC領(lǐng)域的商業(yè)化程度似乎很難和它的商業(yè)化程度相匹配，關(guān)于AI繪畫的熱烈討論仍然沒有帶來商業(yè)上的巨大成功。ChatGPT的出現(xiàn)似乎改變了這一現(xiàn)狀，它不僅激發(fā)了大量的關(guān)于人工智能、AIGC的討論，世界各大知名的科技企業(yè)紛紛下場，將其視為突破性的技術(shù)成就，并且被認為可能帶來搜索引擎領(lǐng)域的顛覆，過去點擊式的搜索模式可能會變成對話聊天式的搜索，由此搜索行業(yè)在頁面中植入廣告營利的邏輯可能成為“過去式”。所以，各個搜索巨頭紛紛行動，微軟宣布了對OpenAI百億美元的投資，并且迅速將ChatGPT接入旗下Azure、必應(yīng)搜索等眾多產(chǎn)品中。Google推出Bard來應(yīng)對ChatGPT對搜索引擎這個Google主營業(yè)務(wù)的沖擊。主流科技廠商的反應(yīng)從側(cè)面反映了這項技術(shù)突破的重大意義和未來巨大的發(fā)展?jié)摿Γ鋵嵲诳萍季揞^開始重視之前，ChatGPT 已經(jīng)在商業(yè)化方面彰顯出強于以往 AI 應(yīng)用的潛力，向公眾開放2個月用戶增長已經(jīng)突破1億；同時ChatGPT 的出現(xiàn)進一步打開了 AIGC 商業(yè)空間，產(chǎn)業(yè)鏈有望推動“價值重塑”。與傳統(tǒng) AI 技術(shù)的變現(xiàn)不同，ChatGPT 采用 SaaS 訂閱的創(chuàng)新收費模式，打破了人們對于 AI 技術(shù)大多應(yīng)用于嵌入式項目的固有印象，拓寬了 AI 企業(yè)的商業(yè)模式，不僅 B 端用戶對 AIGC 技術(shù)存在高需求，未來 C 端用戶對 AIGC 技術(shù)的付費有望成為常態(tài)化。

AIGC技術(shù)是一項潛力無限的技術(shù)，但是并不簡單。以ChatGPT為例，根據(jù)國盛證券的股價， ?ChatGPT芯片需求為3萬多片英偉達A100GPU，對應(yīng)初始投入成本約為8億美元，每日電費在5萬美元左右；GPT-3訓(xùn)練一次的成本約為140萬美元；對于一些更大的LLM模型采用同樣的計算公式，訓(xùn)練成本介于200萬美元至1200萬美元之間。潛藏在巨大成本之下，還有眾多人工智能科學(xué)家和工程師在提出理論模型、模型驗證和訓(xùn)練迭代等步驟中的人類智慧投入，只有頂級的智力資源和巨大的資金投入相結(jié)合才能在高科技應(yīng)用領(lǐng)域摘得桂冠。

2.2 國內(nèi)發(fā)展現(xiàn)狀

國內(nèi)的數(shù)字化進程一直處于世界領(lǐng)先水平，從基礎(chǔ)設(shè)施到上層應(yīng)用都相當完備， 這些基礎(chǔ)是人工智能技術(shù)發(fā)展的必要條件。同時，從人才儲備上來講，由于重視人工智能技術(shù)的發(fā)展，國內(nèi)人工智能領(lǐng)域無論是學(xué)術(shù)界還是工業(yè)界都培養(yǎng)了大量的人才。任何高技術(shù)的發(fā)展都離不開大量的資本投入，一方面，國家政策的大力扶植，為學(xué)術(shù)研究和產(chǎn)業(yè)發(fā)展提供了重要的資金支持，另一方面，隨著國內(nèi)的資本市場進一步發(fā)展，一級二級市場為初創(chuàng)或成熟企業(yè)提供了融資發(fā)展的機會，國內(nèi)培養(yǎng)了眾多人工智能領(lǐng)域的獨角獸，如商湯科技、依圖科技、云從科技。從企業(yè)角度來講，百度是國內(nèi)科技行業(yè)在此次新的革命中一馬當先的巨頭。百度深耕人工智能領(lǐng)域多年， 1月10日，百度宣布將升級百度搜索的“生成式搜索”能力，智能解答用戶的搜索提問；2月7日，百度宣布將在3月完成其ChatGPT產(chǎn)品的內(nèi)測，面向公眾開放類ChatGPT產(chǎn)品——文心一言（ERNIE Bot）。而騰訊也在2月3日公布一項人機對話專利，為實現(xiàn)機器與用戶之間自然且順暢的溝通而加緊市場腳步。

由于人工智能產(chǎn)業(yè)投入巨大，需要龐大的用戶數(shù)據(jù)基礎(chǔ)，且短期內(nèi)無法實現(xiàn)商業(yè)回報，如今在ChatGPT這樣重量級的殺手級底層應(yīng)用兼大語言模型發(fā)布后，國內(nèi)AI廠商未來將迎來真正考驗：不斷投入的國內(nèi)AI大模型的產(chǎn)品力是否能追趕上像OpenAI這樣的開源巨頭？

2.3 以ChatGPT為例的AIGC產(chǎn)業(yè)鏈探究

由于以ChatGPT為代表的帶封裝的自然語言處理大模型的成熟，其背后的AIGC產(chǎn)業(yè)后續(xù)將迎來應(yīng)用上的爆發(fā)式增長。對于非專業(yè)的泛用場景來說，大模型在大量數(shù)據(jù)集下生成了極強悍的閱讀理解能力、文章生成能力、代碼生成能力和語義翻譯能力。自然語言處理大模型的訓(xùn)練過程中包含了更多主題，不同于小模型只能在一般垂直行業(yè)的特定場景回應(yīng)特定問題，取而代之的是，大模型能夠抓取更多小眾主題信息并給予有框架邏輯的回應(yīng)，能力范圍覆蓋回答問題、撰寫文章、文本摘要、語言翻譯和生成計算機代碼等任務(wù)。

但大模型背后的工作量是巨大的，GPT模型從2018年GPT-1的1.17億參數(shù)到2020年GPT-3的1750億參數(shù)，數(shù)據(jù)集規(guī)模呈指數(shù)式增長，這也對前端的數(shù)據(jù)采集和標定提出了更高的要求。

縱觀AI行業(yè)的產(chǎn)業(yè)鏈和價值鏈，對于模型的監(jiān)督與訓(xùn)練來說，數(shù)據(jù)量級和跨度越大意味著標定和訓(xùn)練時間越長，以及監(jiān)督過程需要引入更多的“懲罰”和“激勵”機制，相應(yīng)的數(shù)據(jù)采集、數(shù)據(jù)標定和訓(xùn)練等細分行業(yè)將迎來長期的業(yè)務(wù)增長。對于后端的垂直行業(yè)的領(lǐng)域，大模型的基礎(chǔ)設(shè)施成熟則能提供更便宜、更快的智慧解決方案，其中一項已被發(fā)掘的是圖像生成器，即AI創(chuàng)作。原本僅在幾年前被認為不可替代的創(chuàng)造性工作正在被替代，當人們在這個行業(yè)中可以以更低的成本快速制造商品時，行業(yè)就已經(jīng)完成了質(zhì)的轉(zhuǎn)變，普通的創(chuàng)意設(shè)計類就是可預(yù)見的行業(yè)顛覆之一。如同網(wǎng)約車平臺和3G/4G的誕生，起初被認為是沒有必要的發(fā)明，如今人們已經(jīng)在很大程度上享受到效率提升的便捷。

由于嵌入了人類反饋強化學(xué)習(xí)以及人工監(jiān)督微調(diào)，因而GPT模型具備了理解上下文、連貫性等諸多先進特征，解鎖了海量2B和2C應(yīng)用場景，比如文案寫作和針對垂直行業(yè)更專業(yè)的知識庫調(diào)用。未來應(yīng)用層發(fā)展的一個可能邏輯是，在具有專業(yè)性質(zhì)、知識封閉的垂直行業(yè)中，GPT模型在應(yīng)用端將成為基礎(chǔ)設(shè)施，為“二次開發(fā)”提供重要支撐。

當前， 由于OpenAI目前對外開放的GPT-3版本所利用的數(shù)據(jù)集只截止到2021年，實際使用過程中仍然會出現(xiàn)專業(yè)性回答不嚴謹和存在道德盲區(qū)的特點，但對于這樣一個聊天軟件式的封裝產(chǎn)品，ChatGPT本身已經(jīng)展現(xiàn)出了非凡的潛力。在應(yīng)答環(huán)節(jié)中，ChatGPT會主動記憶先前的對話內(nèi)容信息（上下文理解），用來輔助假設(shè)性問題的回復(fù)，因而實現(xiàn)連續(xù)對話，這些都極大提升了交互模式下的用戶體驗。所以不難想象，在源源不斷的數(shù)據(jù)訓(xùn)練滾雪球式的發(fā)展中，GPT模型將會吸取更多用戶數(shù)據(jù)進一步優(yōu)化用戶體驗。而未來AIGC產(chǎn)業(yè)鏈崛起的前端和后端行業(yè)，在減少工作量的同時，也將面臨加劇的競爭。

3 總結(jié)與展望

人工智能技術(shù)在近年來的發(fā)展中已經(jīng)取得了舉世矚目的進展，技術(shù)既影響了普羅大眾的生活，也給前沿的科學(xué)探索拓展了新的空間。不同于人臉識別、自動駕駛、蛋白質(zhì)結(jié)構(gòu)預(yù)測等AI應(yīng)用，ChatGPT帶來的改變不僅僅是知識儲備豐富、語言流暢的聊天機器人，更是向世人再次證明了大數(shù)據(jù)模型在垂直賽道外的無限可能和人工智能互動體驗的巨大潛力，同時新的盈利模式也為AIGC商業(yè)化提供了更多的機會和發(fā)展思路。國內(nèi)AI產(chǎn)業(yè)依托較為充沛的人才儲備、技術(shù)積累以及豐富的應(yīng)用場景，有望在新一輪人工智能浪潮中迎來爆發(fā)式增長。

參考文獻：

［1］ ?OUYANG L， WU J， JIANG X， et al. Training language models to follow instructions with human feedback［J］. arXiv preprint arXiv：2203.02155， 2022.

［2］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］. Advances in Neural Information Processing Systems， 2017， 30.

［3］ KNOX W B， STONE P. Augmenting reinforcement learning with human feedback［C］//ICML 2011 Workshop on New Developments in Imitation Learning （July 2011）. 2011： 3.