ChatGPT技術原理及未來影響研究

陳國凱

摘要：ChatGPT的發布引起了全球范圍的廣泛熱議，被認為是人工智能領域的一次重大變革，將對人類社會發展產生深刻影響。文章回顧了ChatGPT的發展歷程，闡釋了ChatGPT的底層技術原理，指出了ChatGPT在數據、資源、模型方面存在的技術局限性，探討了ChatGPT給常規工作、商業發展、教育模式等方面帶來的機遇，并對ChatGPT在學業作弊、學術剽竊、網絡信息安全、社會監管等方面帶來的挑戰給出警示，從而幫助人們正確認識利用ChatGPT這一工具，應對即將到來的變革。

關鍵詞：ChatGPT；生成式人工智能；大語言模型

中圖分類號：TP18中圖分類號? 文獻標志碼：文獻標志碼A

0 引言

美國OpenAI公司發布的聊天機器人模型ChatGPT（Chat Generative Pre-trained Transformer），引發社會的廣泛關注與討論。該模型是一種基于自然語言處理技術的生成型預訓練深度學習模型，其能夠理解和學習人類的語言，以“對話式”的直接互動方式以及“人性化”的語言文本形式，為人們提供連續多輪問答等交流服務。不同于“分析式”人工智能工具，ChatGPT屬于“生成式”人工智能工具［1］，通過在海量的文本數據上進行預訓練，其不僅能根據聊天的上下文真正做到像人類一樣互動交流，幫助用戶撰寫產品文案、課程作業和商業計劃書，還能完成代碼編寫、文章生成以及歌曲創作等任務，極大地提高了用戶工作效率，改變了人們對人工智能的傳統看法，使人們看到了AI（Artificial Intelligence）大規模落地的曙光［2］。

1 ChatGPT的發展歷程

ChatGPT是基于GPT架構開發的對話AI模型，其可以從大量的現成文本和對話集合中學習知識，以生成內容的方式回答各種各樣的實際問題。2018年6月，OpenAI發布了GPT-1。該版本采用半監督學習方法，通過在無標簽的數據上學習一個生成式的語言模型，再根據自然語言推理、問答與常識推理、語義相似度、文本分類等對模型進行微調，其預訓練數據量約5 GB，參數量是1.17億。2019年2月，OpenAI發布了GPT-2。該版本實質上是一個簡單的統計語言模型，主要目的是為給定句子生成下一個文本序列，其預訓練數據量約40 GB，是第一代的8倍，最大模型的參數量是15億，是第一代的13倍。2020年5月，OpenAI發布了GPT-3。其預訓練數據量達到了45 TB，是第二代的1 125倍，最大模型的參數量是1 750億個，是第二代的116倍。該版本已經和前兩代不在一個量級上，稱為超大語言模型［3］，幾乎可以完成面向問題搜索、閱讀理解、語義推斷、機器翻譯、文章生成、自動問答等自然語言處理領域中的絕大部分任務。

2022年11月30日，OpenAI發布了最新的大型語言預訓練模型ChatGPT，是在GPT-3.5的基礎上進一步迭代訓練后開發出來的對話機器人。ChatGPT使用人類偏好作為獎勵信號來微調模型，能夠輕松學會各種詞語搭配和語法規則，能明白同一個意思的不同表達以及不同語言之間的關系，不僅可以給出高質量的外語翻譯，還能把口語轉換成代碼，生成更自然、更流暢的文本。2023年3月15日，隨著GPT-4的發布，ChatGPT不再是只能通過文字聊天對話，而是進化到能看懂圖片，支持文字與圖像混合輸入，展現了驚人的自然語言理解和溝通能力。

2 ChatGPT的技術邏輯

語言模型的核心就是要根據上下文背景預測接下來一連串文字出現的可能性，ChatGPT底層模型是Transformer架構，采用自注意機制，讓模型自己學習應該把重點放在長文字的哪個詞上，并且這個機制主要靠一系列的矩陣運算實現，而矩陣運算很容易在GPU中并行計算，所以能讓模型更高效地利用海量數據，這也是ChatGPT比此前的語言模型更強大的地方之一。

例如，當給它“計”這個上文時，它可能會生成“算”；當給它“計算”這個上文時，它大概率要補上“機”。ChatGPT本身能做的就只有生成下一個字，其實質功能非常簡單，4個字就能概括：文字接龍。具體來說就是：給它任意長的上文，它會用自己的模型去生成下一個字。對于長文字的回答，ChatGPT把它自己生成的下一個字和之前的上文組合成新的上文，再讓它以此生成下一個字。不斷重復，就可以生成任意長的下文，該過程也叫“自回歸生成”。例如，當它根據“計算”生成“機”之后，把新生成的“機”和之前的“計算”組合成新的上文，再讓它計算“計算機”后面接什么字。假設這次它生成的是“科”，那再把“科”和“計算機”組合起來，讓它計算“計算機科”后面接什么字。不斷重復，就能生成“計算機科學與技術”。

除了上文，影響ChatGPT生成結果的另一個因素是它的模型本身。模型就相當于ChatGPT的大腦，即使把同一個上文，送給不同的模型，也會生成不同的結果。例如，有兩個人，同樣是聽到“計”這個上文，一人會接“算”，而另一人會接“息”，因為這兩人有著不同行業背景的，一人工作在IT行業，學習到的是“計算機科學與技術”，另一人工作在金融行業，學習到的是“計息周期”。為了讓ChatGPT生成設計者想要的結果，而非胡亂生成，在搭好Transformer架構之后，GPT就可以用文字接龍的方式提前訓練自己的模型，就是在已知上下文的基礎上，讓模型預測下一個詞可能是什么。

ChatGPT在官方文檔中分3步說明其訓練方式。第一步是給它提供人類想要的答案作為示范，也就是讓標注者自己根據數據庫中的問題寫下標準答案，然后把問題和標準答案作為數據交給模型來訓練。第二步，讓微調好的模型根據問題產生一些答案，模型輸出的是一系列文字的概率分布，所以每次產生的答案都不太一樣。人工標注者會給這些答案按照質量排序，信息量大的答案會排在前面。根據這些數據，設計者就可以訓練出一個回報模型，讓其根據問題給答案打分。有了回報模型就能進入第三階段，也就是不斷重復提問、生成答案、打分的過程，并不斷優化模型的參數，讓生成的答案越來越接近用戶想要的答案。

3 ChatGPT的技術局限性

盡管ChatGPT表現出出色的上下文對話能力，滿足大眾對人機對話機器人（ChatBot）從“人工智障”到“有趣”的印象改觀，但ChatGPT仍然存在以下一些局限性，需要不斷的進化發展。

3.1 ChatGPT高度依賴數據

ChatGPT在未經大量語料訓練的領域中缺乏“人類常識”和引申能力，甚至會一本正經的“胡說八道”。在很多領域里ChatGPT都在“創造答案”，因而當用戶尋求正確答案時，ChatGPT也有很可能給出有誤導的回答。例如，讓ChatGPT做一道小學應用題，盡管它可以給出詳細的分析過程，但最后的答案卻是錯誤的。因此，針對可能存在的胡編亂造，ChatGPT就需要用大量優質的語料來進行修正。

3.2 ChatGPT需要巨大的算力（資源）來支持其訓練和部署

除了需要大量語料數據訓練模型外，目前，ChatGPT在應用時所需的大算力服務器成本以及電力資源消耗是普通企業無法承受的，即便數十億個參數的模型也需要驚人數量的資源才能運行和訓練。如果面向數以億計的真實搜索用戶請求，依然采用免費服務的策略，任何企業都難以承受這一成本。因此對于普通用戶來說，還需等待更輕量型的模型或更高性價比的算力平臺。

3.3 ChatGPT內容無法被直接增刪改查

不論是ChatGPT所記住的信息，還是所學到的規律，都是以同一個模型的形式來表達的，因此無法像操作數據庫那樣，對這些內容直接進行增刪改查。這會產生兩個具體問題：一是由于設計者很難理解它所建構的規律，也無法直接查看它記住了什么、學到了什么，只能通過多次提問來評估和猜測它的所記所學，其決策缺乏可解釋性，這難免會在使用時帶來安全風險。二是由于只能通過再次調整模型來增加、刪除或修改它的所記所學，所以無論是訓練時間或訓練成本，都是普通訓練者難以接受的，這難免在更新時會降低效率。如果對于新知識采取在線訓練的模式，看上去可行且語料成本相對較低，但由于新數據的引入很容易導致其對原有知識產生災難性遺忘的問題。

4 ChatGPT帶來的機遇

ChatGPT作為互聯網現象級、殺手級的應用，不僅向全世界展現了人工智能領域取得的突破性進展，也引爆了對該產業尤其是生成式AI產業的空前關注，為社會發展帶來了新的發展機遇和治理挑戰。

4.1 提高工作效率和質量

ChatGPT的成功為自然語言處理技術的發展帶來重要的推動作用。借助語音識別、自然語言處理等技術，ChatGPT可以幫助人們更快地處理信息、更準確地理解語言，并輔助人們做出更明智的決策。如在客服領域，ChatGPT可以真正智能的自動回答用戶問題，幫助企業降低客服人員的成本，提高客戶滿意度和工作效率；在醫療領域，ChatGPT可以通過數據分析和智能診斷等方式，提高醫療服務的滿意度和工作精度。

4.2 創造商業模式和價值

ChatGPT作為一個有趣且實用的人工智能應用，吸引很多普通用戶的關注，讓人們認識到它在日常生活和工作中的潛在價值，提高人工智能技術普及度，增強人工智能產業發展信心。通過機器翻譯、語音合成等技術，ChatGPT可以幫助企業拓展國內外市場和服務范圍，幫助企業在客戶服務、市場調研等方面進行革新，從而創造新的商業機會和價值。

4.3 賦能教育融合和革新

ChatGPT可以對學生提出的個性化問題予以針對性回答，不僅可以讓學生學習更加高效，極大地促進個性化學習，使學生享受到自主學習的樂趣；還可以幫助教師獲取豐富的教學資源，輔助教師課前備課、課堂教學反饋獲取、課后作業布置，從而提高教師教學效率。融合ChatGPT的未來教育使得對學生進行個性化診斷成為可能，能夠幫助學生明晰自身不足之處和薄弱所在，從而進一步彌補差距，提高學習質量。此外，ChatGPT還能夠成為診斷教學的專業工具，幫助教師優化教學，推動教育評價革新，提高教學質量。

5 ChatGPT帶來的挑戰

5.1 助推學業作弊和學術剽竊

學生可能會利用ChatGPT代寫家庭作業、完成論文寫作、應付學業考試，其生成的文本結果逼真度和滿意度都很高，使得作弊泛濫又難以被發現，不利于培養學生批判思考與解決問題的能力。同時，ChatGPT的訓練數據來自互聯網上公開數據，其生成內容的所有權至今尚無定論。而使用ChatGPT在未經授權的具有知識產權的圖片或文字上進行二次創作產生的內容，也會給使用者帶來侵權糾紛，不利于知識產權的保護。

5.2 威脅網絡和信息安全

ChatGPT并不提供驗真或者驗偽，其可以直接生產針對性、多樣化的劇本，用于詐騙、釣魚等網絡場景，從而達到攻擊或者偷竊數據的目的。此外，OpenAI的使用條款規定OpenAI對用戶輸入和輸出內容擁有廣泛使用權以納入訓練數據庫、用于改善ChatGPT，這可能導致個人信息等數據泄露風險大大增加。若用戶在輸入請求時，輸入個人相關信息、業務數據或涉及商業秘密等的內容，將會增加相關數據泄露的風險。

5.3 增大道德和社會管治難度

互聯網內容中不免存在帶有偏見、歧視、文化和意識形態侵襲等危害性言論。ChatGPT有機會學到這些危險性言論的模式，使得其在處理一些敏感的話題時，可能會出現不恰當的回答或語言。此外，也會有人刻意提問“如何編造殺豬盤”等類似問題，誘導ChatGPT輸出幫助進行違法犯罪的知識，從而使防范該類行為變得更加困難。故如何加強對ChatGPT的監管和治理已成為社會管理者需要思考的問題。

6 結語

ChatGPT作為一種里程碑式的AI應用，在短時間內已經形成了龐大的用戶群體，正在改變人類思考和處理問題的方式方法，有望重塑各行業生態乃至整個世界。使用者不僅需要充分利用ChatGPT的優勢和潛力，還需要警惕其可能帶來的負面影響，采取適當的措施來保障人們的利益和權益，推動AI技術的健康發展和應用。

參考文獻

［1］陳永偉.超越ChatGPT：生成式AI的機遇、風險與挑戰［J］.山東大學學報（哲學社會科學版），2023（3）：127-143.

［2］張夏恒.新一代人工智能技術（ChatGPT）及其對人類社會的影響與變革［J］.產業經濟評論，2023（3）：22-30.

［3］朱光輝，王喜文.ChatGPT的運行模式、關鍵技術及未來圖景［J］.新疆師范大學學報（哲學社會科學版），2023（4）：113-122.

（編輯 姚 鑫）

Research on the principle and future impact of ChatGPT technology

Chen? Guokai

（School of Computer Science， Huainan Normal University， Huainan 232001， China）

Abstract：? The release of ChatGPT has aroused wide discussion around the world， which is regarded as a major revolution in the field of artificial intelligence and will have a profound impact on the development of human society.This paper reviews the development history of ChatGPT， explains the underlying technical principles of ChatGPT， and analyzes the technical limitations of ChatGPT in terms of data， resources and models. It discusses the opportunities brought by ChatGPT to routine work， business development， education mode and other aspects， and warns the challenges brought by ChatGPT in academic cheating， academic plagiarism， network information security， social supervision and other aspects.This article can help people understand how to use ChatGPT as a tool to cope with the coming changes.

Key words： ChatGPT; generative artificial intelligence; large language model