基于ChatGPT的通用人工智能發展情況及對廣東的啟示

摘要：2022年11月底，美國OpenAI公司推出的ChatGPT被認為將定義全球人工智能發展新范式。該文梳理了ChatGPT及國內外通用人工智能技術生態發展的情況，討論了ChatGPT對行業產生的影響，探討了廣東省發展通用人工智能所面臨的問題，并給出了相應的建議。

關鍵詞：ChatGPT；大模型；人工智能；技術生態

中圖分類號：F49文獻標志碼：A 文章編號：1674-2605（2023）06-0002-07

DOI：10.3969/j.issn.1674-2605.2023.06.002

The Development of General Artificial Intelligence Based on ChatGPT""""" and Its Inspiration for Guangdong

WANG Huan¹WANG Taoye¹ SHANG Huimin¹FU Xiaohui²

（1.Guangdong Institute of Scientific and Technical Information，Guangzhou 510033，China

2.Tsinghua High School Greater Bay Area，Guangzhou 510630，China）

Abstract： At the end of November 2022， the ChatGPT launched by OpenAI in the United States is believed to define a new paradigm for global artificial intelligence development. This article reviews the ecological development of ChatGPT and general artificial intelligence technology at home and abroad， discusses the impact of ChatGPT on the industry， explores the problems faced by Guangdong Province in developing general artificial intelligence， and provides corresponding suggestions.

Keywords： ChatGPT; large model; artificial intelligence; technology ecology

0" 引言

2022年11月30日，美國OpenAI公司發布對話式通用型人工智能工具——生成型預訓練變換（chat generative pre-trained transformer， ChatGPT），其超高的人機交互水平、強大的通用性及邏輯推理能力引發全球高度關注，行業認為以ChatGPT為代表的大模型將定義全球人工智能發展新范式^[1]。本文以ChatGPT為研究對象，梳理ChatGPT的研發背景、發展歷程和技術特點，調研國內外及廣東省在ChatGPT等大模型相關技術生態發展的情況，同時針對ChatGPT對行業

發展產生的影響進行分析研判，并總結廣東省現階段在發展ChatGPT上面臨的問題，同時提出相應的建議，以供參考和借鑒。

1" ChatGPT基本情況

ChatGPT模型^[2-3]是一種由人工智能技術驅動的自然語言處理工具，采用了“大數據+高算力+強算法”的技術路線，以“基礎大模型+參數微調”的模式，通過學習和理解人類的語言來進行對話，能根據聊天的上下文進行互動，甚至能完成撰寫郵件、視頻腳本、文案、代碼、論文等任務^[4]。

1.1" 背景

ChatGPT由OpenAI公司設計研發。該公司成立于2015年，主要從事語言大模型、強化學習、機器人、生物信息學、生成對抗網絡等領域的研究^[5]。在人才方面，OpenAI公司目前由87位核心成員組成，絕大多數來自MIT、微軟等全球頂尖高校或知名企業，是其在機器學習、數據庫、機器人等人工智能相關領域處于全球領先地位的重要保障；在算力支撐方面，OpenAI公司與微軟Azure云平臺合作，發布了具有28.5萬個CPU核心、1萬個GPU和400 GB/s GPU傳輸帶寬的超級計算機（Azure Supercomputer），為ChatGPT的訓練、日常運營和參數調優提供算力基礎；在數據規模方面，OpenAI訓練數據集囊括了全球大量書籍、維基百科、論壇、博客、聊天群等高質量文本庫和網絡語料庫，數據總量接近8 000億個分詞。

1.2" 發展歷程

ChatGPT是由自然語言處理（natural language processing， NLP）技術發展而來，運用了統計學、概率論、傳統機器學習等知識，以及神經網絡模型Transformer（谷歌公司開發）、人類反饋強化學習（reinforcement learning from human feedback，RLHF）、零樣本學習、提示學習等技術^[6]，歷經了GPT-1、GPT-2、GPT-3和GPT-3.5（InstructGPT）等多個版本的演進^[7]。ChatGPT相關大模型發展歷程如圖1所示。

GPT-1和GPT-2基于Transformer架構，分別發布于2018、2019年。GPT-1的參數量為1.17億個、預訓練數據量為5GB；GPT-2的參數量為15億個、預訓練數據量為40GB，與谷歌公司同期開發的神經網絡模型BERT差距不大。在此階段，OpenAI通過開源社區的方式吸引大量開發者參與，不斷優化升級。

GPT-3的參數量為1750億個，預訓練數據量為45TB，不僅使用了同期最大參數量和訓練數據量，還采用上下文學習技術，具有元學習的能力。其使用極少數據量的下游樣例作為提示詞，就能生成對應任務要求的答案，在性能方面大幅領先BERT等競爭對手。此后，OpenAI開始采取閉源的方式隱藏技術細節，并一直保持領先地位。

GPT-3.5（InstructGPT）參數量比GPT-3減小了100多倍，僅有13億個，但性能大幅優于GPT-3。GPT-3.5最大的特點是引入了RLHF方法對預訓練模型進行微調，生成內容更接近人類的特征和偏好。ChatGPT采用GPT-3.5的訓練方法，但并未披露具體的模型架構、參數量、訓練數據量等信息。

1.3" 技術特點

一是ChatGPT使用大規模高質量數據、高性能算力，性能和泛化能力更強。一方面，ChatGPT在數據規模和質量上領先其他競爭對手。其使用了經過基礎過濾的全網頁爬蟲數據集，及維基百科等訓練數據集，數據量達百TB^[8]。為保證數據安全合規，OpenAI公司委托其合作伙伴Sama公司，雇傭肯尼亞、烏干達、印度等國家的外包員工，對龐大的數據集進行手動標注，大幅提升了有害信息的鑒別能力。另一方面，ChatGPT的訓練和運營需要海量算力資源來支持。在訓練階段，ChatGPT算力消耗約為3640PF（1015次浮點運算）/天，需要7～8個投資規模5億美元、算力500PF的數據中心才能支撐，訓練成本約為500萬美元/次；在運營階段，僅GPU的年投入就高達7000萬美元。

二是ChatGPT基于Transformer架構、預訓練范式等技術，生成內容更加準確。一方面，ChatGPT可處理大篇幅的輸入文本，且通過上下文學習，可以從多輪對話中捕捉連續信息。如ChatGPT以B級成績通過沃頓商學院MBA期末考試、通過美國執業醫師資格考試等^[9]。另一方面，ChatGPT以提示詞作為模型文本生成過程的起點，改進傳統預訓練范式，設置了問答的前置條件、假設或額外要求，可提供具體的任務或目標，使ChatGPT能夠更準確地理解用戶的意圖，如完成句子、生成標題、回答問題等。

三是ChatGPT利用人類反饋的強化學習，迭代升級更加高效，模型即服務時代或將來臨。一方面，ChatGPT收集用戶的反饋數據用于循環更新模型，通過微調參數實現在線學習或細分領域的定向升級。在圖靈測試中，已無法準確區分ChatGPT和人類撰寫的新聞、故事等內容；在編寫代碼、論文、研究報告等細分領域，ChatGPT在面對具有復雜冗長語言結構的文本時，表現出的知識儲備和邏輯思維能力達到人類專家水平。另一方面，ChatGPT推動大模型服務趨向終端用戶。基于語言大模型，面向終端用戶需求的應用場景和商業模式，如訂閱制收費、嵌入其他產品形成引流收入等，將改變用戶的信息獲取習慣。人工智能的落地應用或將進入模型即服務的時代。

2" 國內外通用人工智能技術生態發展情況

美國在人工智能技術研究和產業化應用方面均領先于全球其他國家和地區，其人工智能創新發展代表著國外的先進水平，因此本文主要對美國通用人工智能發展情況進行梳理。

2.1" 國外發展情況

一是在底層技術方面，美國依靠先發優勢，通過開源加快迭代，占據全球領先地位。2014年，美國人工智能領域專家Ian J. Goodfellow提出了第一代生成式模型——生成式對抗網絡GAN^[10]，生成式人工智能的發展歷程如圖2所示。

2017年，谷歌大腦研究出當前大模型領域關鍵基礎架構Transformer，基于此架構，谷歌、OpenAI、Meta等頭部企業在分布式計算、訓練方法、模型參數微調等關鍵技術上不斷加大研發投入，發布了備受行業關注的BERT、GPT（GPT-1、GPT-2）、ROBERTA等預訓練大模型，并通過開源共享等方式，吸引大量開發者快速迭代，形成技術生態。

二是在技術應用方面，國外頭部企業注重將大模型技術與文本、圖像、音頻等結合，在多種應用場景實現了技術突破。在文本領域，大模型技術主要應用于機器翻譯、文學創作、機器問答等場景，如Meta發布的機器翻譯模型M2M-100，可實現一百種語言之間的直接翻譯；在圖像領域，NeRF、GODIVA、Stable Diffusion等圖像生成模型，可根據文字自主生成圖像，具有一定的理解、組合和創造能力；在音頻領域，谷歌、微軟、亞馬遜等將傳統方法與大規模預訓練模型結合，開發的Magenta等大模型提升了合成語音的音質和流暢度。

三是在產品落地方面，美國科技巨頭將類ChatGPT產品作為重點方向進行產業化布局。微軟、谷歌、Meta等科技企業高度重視相關技術引發的科技浪潮，不斷加大對大規模預訓練模型產業應用的投入和布局。微軟計劃于近期將ChatGPT整合進Bing搜索引擎、Office辦公軟件、Azure云服務、Teams團隊協作程序等全產品線中。谷歌內部積極開發基于對話應用語言模型LaMDA的AI聊天系統軟件Apprentice Bard，并把該產品作為研發團隊的首要任務。Meta近日公布了一款全新大型語言模型LLaMA，參數量從70億個到650億個不等，該公司宣稱LLaMA是“目前水平最高的”大型語言模型，具有解決數學定理或預測蛋白質結構等更復雜任務的能力。

四是在配套保障方面，美國通過資金、人才、政策全面布局，不斷鞏固優勢地位。2016年，美國發布《美國國家人工智能研究與發展戰略計劃》等文件，提前規劃人工智能發展路線。2017、2018年，美國通過聯邦法案和《支持聯邦研究計劃》分別投入50億美元和20億美元，用于發展人工智能機器學習、自然語言處理等技術。2019年美國國家科學基金會投入6億美元用于支持國內各大學和研究機構開展人工智能數據應用和研究工作。2021年，美國推動地方政府制定并落實促進AI技術發展的政策條例，通過放寬移民政策吸引全球優秀人才到美國發展。2022年，美國發布《芯片與科學法案》，從底層算力上遏制潛在競爭對手的技術發展，進一步提升了在高性能計算領域的國際話語權。

2.2國內發展情況

一是我國大模型技術不斷發展，參數規模和模型能力顯著提升。在模型規模方面，華為“盤古-NPL”大模型參數量達到2200億個。北京智源“悟道2.0”模型參數量達到1.75萬億個，是GPT-3的十倍。阿里“M6”圖像大模型參數量超過10萬億個。在模型能力方面，“盤古”“悟道”“文心”（百度）等大模型在處理部分單項任務上處于世界領先水平。如華為“盤古-NPL”大模型在中文語言理解評測基準CLUE榜單中，總排行榜及分類、閱讀理解單項均排名第一^[11-12]。

二是我國大模型市場潛力巨大，研發能力和創新產品持續增強。百度、阿里等頭部企業開展大模型技術應用，在文本、圖像、音樂生成和游戲競技等領域積極部署。百度依托其搜索引擎、百度文庫、百度知道等高質量數據庫，在國內最早開展生成式AI技術研發；2023年3月，推出“文心一言”語言大模型，并將搜索、智能云、自動駕駛Apollo、小度智能設備等多項業務與“文心一言”整合，進而提升產品智能化水平。阿里開發了“DT稿王”新聞寫作系統、“鹿班”智能設計軟件，目前在研發對話式機器人，計劃將大模型技術與“釘釘”等工具深度結合。

三是我國大模型應用初現成效，場景“寬度”和內容“深度”不斷拓展。百度將“百度深燃文心”大模型與燃氣行業相結合，針對燃氣行業中槽車作業、園區生產等場景存在的安全隱患痛點，開展工業巡檢和環境巡檢，確保安全作業，消除安全隱患，助力燃氣行業智能化升級。華為將“盤古-科學計算”大模型與藥物研發領域結合，提高發現新藥的可能性。

四是廣東省在大模型相關領域技術上已有布局，但尚未形成具有全球影響力的產品。2018年以來，廣東省陸續發布了《廣東省新一代人工智能發展規劃》《廣東省新一代人工智能創新發展行動計劃（2018～2020年）》《廣東省新一代人工智能創新發展行動計劃（2022～2025年）》等文件，統籌推進廣東省人工智能的發展。2022年，廣東省人工智能企業數量約1500家，人工智能核心產業規模達1 500億元，處于國內第一梯隊，但在基礎大模型、生成式AI等人工智能前沿基礎領域較為薄弱。目前廣東省內僅騰訊、華為、網易、云從、鵬城實驗室、人工智能與數字經濟廣東省實驗室（深圳）等機構在ChatGPT相關技術上有所布局，主要側重在游戲生成、文本生成、代碼生成等方面。騰訊基于“混元”大模型開發了策略協作模型“絕悟AI”，應用于電子競技對抗。華為聯合鵬城實驗室于2021年發布了業界首個千億級參數的“盤古”大模型，包括自然語言處理（natural language processing，NLP）大模型、計算機視覺（computer vision， CV）大模型、多模態大模型、科學計算大模型，在工業缺陷檢測、內容審核、金融風控等多個領域均有應用。網易伏羲中文預訓練大模型“玉言”登頂中文語言理解測評基準CLUE分類任務榜單，在多項任務上超過人類水平，其具備的自然語言處理能力，可應用于語言助手文本創作、新聞傳媒、智能客服等領域。云從陸續在自然語言處理、機器視覺、人機協同等多個領域開展預訓練大模型的研究，致力于整合打通視覺、語音、NLP等多個領域，研發出人機協同操作系統CWOS。2023年，人工智能與數字經濟廣東省實驗室（深圳）聯合騰訊重點聚焦代碼自動生成領域，對標微軟GitHub Copilot、亞馬遜CodeWhisperer、DeepMind AlphaCode等業內成熟產品開展技術攻關。

3 對行業產生影響

ChatGPT等大模型的出現，將實現單一領域人工智能向通用領域人工智能的突破，加速推動人工智能與實體經濟的融合，同時也將對社會安全帶來新挑戰。

3.1大模型將成為人工智能賦能千行百業的底座，助力人工智能與實體經濟融合

一是ChatGPT在醫療、教育、零售、媒體等行業可能引發生產方式的變革。從目前看，ChatGPT對基礎性的文字編譯、軟件編寫、客服、數據整合等工作內容具有替代性，可提供大量低成本、高質量的服務，將對醫療、教育、零售等行業形成巨大沖擊。在醫療行業方面，ChatGPT可以替代傳統電話在線咨詢，甚至部分門診服務，給身體不便或者沒有足夠時間就醫的患者提供更加便捷和有效的服務；同時在醫療端引入標準化和模塊化的醫療衛生服務，可減少醫療工作者的時間投入，提高醫療服務效率。在媒體行業方面，ChatGPT可以對信息的有效性進行篩選和分析，提高信息獲取效率，不僅能夠進行信息查找與整合，還可以根據客戶需求創造文本，有可能在未來取代現有的搜索引擎，并將顛覆整個搜索領域的商業模式。在教育和零售行業方面，ChatGPT可以根據客戶需求規劃學習計劃、學習路徑、銷售策略等，提供更加個性化的服務，同時可以提供不同商品營銷策略的對比分析，讓客戶可以在不同學科間協同學習，不同對象間交流探討，打破原有教學一對多、單線程和銷售模式固化的缺陷，節約成本，提高效率。

二是大模型加速人工智能技術產業化的進程，降低人工智能應用門檻。大模型通過從海量的、多類型的場景數據中訓練知識結構，總結不同場景、不同業務的通用知識，得到數據的特征和規則，有效地解決應用場景需求碎片化、應用落地難、投入重復等痛點問題。當進行應用開發或面對新的業務場景時，通過對大模型進行參數微調、二次訓練，即可實現多個應用場景的任務，降低AI應用模型的開發門檻以及訓練成本。

三是大模型技術將朝著多模態發展，賦能千行百業。現階段，類ChatGPT大模型主要應用于自然語言理解處理領域，未來AI大模型將從單一模態下的單一任務逐步發展成為支持圖像、文本、語音、視頻多模態下的多種任務，多模態AI大模型在能力泛化與技術融合方面更具優勢，在跨域支撐、解決復雜任務方面具有先進性，可實現規模和范圍的普及，賦能千行百業具備“基礎設施”式的功能。大模型在未來將成為一種公共基礎資源。

3.2 ChatGPT對社會安全和技術發展帶來挑戰

一是技術的局限性導致真假信息混淆。ChatGPT作為一類生成技術，會輸出與事實邏輯不一致的錯誤內容，在其“一本正經地胡說八道”時，非專業人員無法識別。

二是模型濫用危害社會安全。不法分子利用模型的生成能力進行黑公關、刷流量等危害社會穩定的行為，致使網絡黑色產業鏈快速發展，危害社會安全。

三是對我國技術發展造成隱患。谷歌于2017年在全球至少81個國家/地區同步申請Transformer專利保護，將對我國基于Transformer的技術和應用生態帶來一定的專利風險和知識產權隱患。

4廣東啟示與建議

目前，業界紛紛預言，以ChatGPT為代表的大模型可能會引發人工智能領域的新一輪技術革命，未來人工智能的發展對數據、算力、算法、生態等提出更高的要求，通過對比分析廣東省與國外在人工智能領域技術支撐、生態建設等方面的差距，促進廣東省積極把握人工智能發展機遇，加快構建“基礎研究+技術攻關+成果轉化+科技金融+人才支撐”全過程創新生態鏈，推動人工智能與制造業等重點行業深度融合，支撐相關產業高質量發展。

4.1 加強關鍵核心技術攻關，提升人工智能原始創新能力

人工智能技術始于上世紀50年代，由美國發起，目前大部分人工智能底層技術都由美國企業首先研發和提出，經過幾十年的發展，逐漸形成了技術生態。廣東企業關注應用層面技術研發遠大于底層技術研究，尤其對成效慢、投入大的“根技術”缺乏戰略縱深的系統性布局，缺少長期持續的資金投入。

下一步，應加大對“根技術”的關注和投入力度，提升廣東原始創新能力。一是圍繞通用基礎模型、算法遷移、人工智能自主學習、智能標注、多模態數據理解等領域開展關鍵核心技術攻關，加大對“根技術”“元技術”的支持力度。二是鼓勵高校、科研院所加大基礎理論研究，形成一批原創性理論成果。三是引導、支持企業在基礎計算框架方面加強研發，長期投入，擺脫國外技術框架的捆綁。

4.2加強基礎設施建設，為AI發展提供產業底座

廣東在芯片制造、框架適配及軟件棧搭建等方面尚未形成自主可控、統一技術路線和產業合力。目前國產高端芯片仍處于起步階段，性能與國際先進水平差距3倍以上，支撐能力較弱。近年，美國通過“AI高端芯片禁售+《芯片與科學法案》實施”的“組合拳”，全面阻礙我國AI芯片發展的步伐，限制我國高性能算力的全面布局。

下一步，一是持續夯實全國一體化算力網絡粵港澳大灣區國家樞紐節點韶關數據中心集群、國家超級計算廣州中心、國家超級計算深圳中心、廣州人工智能公共算力中心、橫琴先進智能計算平臺、“鵬城云腦”等智能算力基礎設施，為國家戰略布局提供支撐。二是推動AI芯片、并行計算架構、系統軟件架構的國產化應用，搭建形成智能算力網，構筑AI算力底座。三是建設高質量數據庫和數據服務平臺，面向工業、自動駕駛、科學計算等領域，通過匯聚高質量、權威的行業訓練數據資源，形成行業標準數據集；搭建多模態、精度轉換、智能標注、預處理等功能的數據標注平臺，為人工智能賦能實體經濟提供必備的數據支撐。

4.3加強部門協同，構建完善的人工智能產業生態體系

目前，國際先進企業將技術成果開放API給予用戶調用，并鼓勵二次開發，借助用戶反饋數據進行優化，通過開源社區促進版本更新，形成雙向迭代的良好生態。廣東省在開放開源社區建設上與谷歌開發者社區、軟件項目托管平臺Github等相比仍有較大差距，且省內企業更傾向于將代碼、算法等作為企業內部核心資源，對外少有提供核心服務，尚未形成上下游協同的良好產業生態。

下一步，一是在政策引導、技術攻關、產業培育、融合應用、人才培養等方面，加強與廣東省工業和信息化廳、廣東省發展和改革委員會、廣東省教育廳等相關部門的協作聯動，形成體系化支撐，構建完善AI產業生態。二是建設開源開放共享的人工智能公共服務平臺，支撐中小企業智能技術的開發和應用，推動制造、交通、農業、醫療、教育、物流等領域形成典型場景示范應用。三是支持龍頭企業加大創新投入，組建創新聯合體，開展核心技術攻關和成果轉化，培育一批科技領軍企業。四是充分發揮公共財政引導作用，鼓勵各類產業基金、資金池等融資工具來支持人工智能產業發展。

參考文獻

[1] 朱光輝，王喜文.ChatGPT的運行模式、關鍵技術及未來圖景[J].新疆師范大學學報（哲學社會科學版），2023，44（4）：113- 122.

[2] 陳永偉.超越ChatGPT：生成式AI的機遇、風險與挑戰[J].山東大學學報（哲學社會科學版），2023（3）：127-143.

[3] 郭洪飛，韋雨佳，任亞平，等.AI驅動智能優化與控制文獻計量分析[J].機電工程技術，2023，52（4）：1-5.

[4] 王建磊，曹卉萌.ChatGPT的傳播特質、邏輯、范式[J].深圳大學學報（人文社會科學版），2023，40（2）：144-152.

[5] 王樹義，張慶薇.ChatGPT給科研工作者帶來的機遇與挑戰[J].圖書館論壇，2023，43（3）：109-118.

[6] 張凌寒.深度合成治理的邏輯更新與體系迭代——ChatGPT等生成型人工智能治理的中國路徑[J].法律科學（西北政法大學學報），2023，41（3）：38-51.

[7] 張夏恒.ChatGPT的邏輯解構、影響研判及政策建議[J].新疆師范大學學報（哲學社會科學版），2023，44（5）：113-123.

[8] 何哲，曾潤喜，秦維，等.ChatGPT等新一代人工智能技術的社會影響及其治理[J].電子政務，2023（4）：2-24.

[9] 李冬雪，朱冀濤，劉巖，等.新一代基建工地安全智能管控平臺設計與規劃[J].中國測試，2022，48（S2）：133-138.

[10] 錢力，劉熠，張智雄，等.ChatGPT的技術基礎分析[J].數據分析與知識發現，2023，7（3）：6-15.

[11] 趙朝陽，朱貴波，王金橋.ChatGPT給語言大模型帶來的啟示和多模態大模型新的發展思路[J].數據分析與知識發現， 2023，7（3）：26-35.

[12] 國金證券研究所.華為盤古大模型研究：盤古開天，AI落地[EB/OL].https：//baijiahao.baidu.com/s？id=1762938971407815759amp;wfr=spideramp;for=pc，2023-04-12.

作者簡介：

王歡，男，1988年生，博士，助理研究員，主要研究方向：科技戰略與規劃、科技情報、人工智能等領域產業與技術。E-mail： 306434662@qq.com

王陶冶，女，1991年生，碩士，助理研究員，主要研究方向：科技情報、科技戰略、網絡信息安全等。

商惠敏，女，1981年生，碩士，研究員，主要研究方向：科技戰略與規劃、科技情報、人工智能等領域產業與技術。

符小惠，女，1993年生，碩士，一級教師，主要研究方向：數學、信息與計算科學。