語言學視角下ChatGPT帶來的機遇與挑戰

何偉

摘 要：對話生成預訓練模型ChatGPT（Chat Generative Pre-trained Transformer）因其高超的對話能力，一經發布便吸引了工業界和學術界的廣泛關注，成為歷史上增長最快的消費者應用程序，在發布后兩個月內就吸引了1億注冊用戶，帶動了數據、算法、算力、應用等人工智能板塊的產業研發熱潮。本文立足語言學的視角，圍繞ChatGPT是否已經具備語言理解和推理能力，可否提高大語言模型的可解釋性，以及能否預示著知識工程的新方向三個核心問題，探討ChatGPT帶來的機遇和挑戰。

關鍵詞：ChatGPT；大語言模型；知識工程；人工智能

中圖分類號：G209/H09? 文獻標識碼：A? 文章編號：1672-335X（2023）06-0094-10

DOI：10.16497/j.cnki.1672-335X.202306009

對話生成預訓練模型ChatGPT（Chat Generative Pre-trained Transformer）因其高超的對話能力，一經發布便吸引了工業界和學術界的廣泛關注。它可以回答后續提問，拒絕不當請求，挑戰錯誤前提，并承認自己錯誤。[1]它獲得許多涌現能力，如高質量對話、復雜推理、思維鏈、零/少樣本學習（語境學習）、跨任務泛化、代碼理解/生成等。[2]這是首次在大型語言模型（large language model，LLM）內很好地解決如此多樣的開放任務。[3]ChatGPT成為歷史上增長最快的消費者應用程序，在發布后兩個月內就吸引了1億注冊用戶。[4]

與此同時，很多學者圍繞著ChatGPT及其影響發表了不同觀點和看法。著名語言學家、哲學家諾姆·喬姆斯基與伊恩·羅伯茨、杰弗里·瓦圖穆爾共同在《紐約時報》發表了題為《ChatGPT的虛假承諾》的文章。[5]喬姆斯基強調，人工智能和人類在思考方式、學習語言與生成解釋的能力，以及道德思考方面有著極大的差異，并提醒讀者如果ChatGPT式機器學習程序繼續主導人工智能領域，那么人類的科學水平和道德標準都可能因此降低。對此，斯坦福大學教授、自然語言處理領域著名學者克里斯托弗·曼寧表示，喬姆斯基的批評不是在針對ChatGPT的某種算法錯誤，而是針對所有機器學習算法，且說法有些夸張。認知語言學家阿黛爾·戈德堡則認為喬姆斯基的文章并未提出令人信服的論據。[6]我國計算語言學家馮志偉教授也撰文指出，人工智能借由人機對話深入地介入了語言生活，這一發展過程中，語言學和語言學家在不同時期有所介入，但總體而言并不多。隨著人機對話性能的飛速提升，語言學和語言學家需要正視沖擊，并進行反思。[7]

本文將在語言學的視角下，圍繞ChatGPT是否已經具備語言理解和推理能力，可否提高大語言模型的可解釋性，以及能否預示著知識工程的新方向三個核心問題，探討ChatGPT帶來的機遇和挑戰。

一、ChatGPT是否已經具備語言理解和推理能力？

喬姆斯基認為“ChatGPT在推理和語言使用上和人類有巨大差別”。[5]但是，很多ChatGPT的使用者都被ChatGPT的像人程度驚艷過，甚至開始擔憂自己作為人會被ChatGPT所代替。香港中文大學語言處理實驗室團隊以ChatGPT作為“被試”，讓其完成12個經典的心理語言學實驗，然后再和人類的實驗結果做對比。這12個實驗囊括了從語音、詞匯、句法、語義再到語篇、對話等與語言能力相關的多個方面。其中10項實驗結果表明，ChatGPT的語言使用能力很大程度上和人類接近，這有可能為研究人類的語言使用和習得提供借鑒。[8]

在語音方面，ChatGPT和人類一樣，能夠根據單詞的發音來判斷單詞所指物體的形狀，比如“takete”或“kiki”可能表示尖的物體（因為聽起來比較尖銳），而“maluma”或“bouba”則表示圓的物體;也能夠根據名字的發音來判斷性別，比如，英語中的女性名字多以元音結尾，而男性名字則多以輔音結尾。

在詞匯和句法方面，ChatGPT像人類一樣傾向于使用前面出現過的多義詞詞義和句法結構。例如，多義詞“post”主要意思是“郵件”，次要意思是“工作”，當上文出現句子“The man accepted the post in the accountancy firm（那個人接受了會計師事務所的職位）”之后，ChatGPT會像人類一樣把其后出現的“post”也理解為“工作”。同樣，如果前面出現了介賓結構“The racing driver gave the torn overall to his mechanic（賽車手把撕裂體交給了他的機械師）”，后面再看到“The patient showed…（病人顯示……）”時會更多續寫成介賓結構，而非雙賓結構。這說明，ChatGPT像人一樣，能夠根據最近的輸入來更新形式—意義間的映射。

在語義方面，ChatGPT可以像人類一樣將不合理的句子合理化，例如對一個不合理的句子“The mother gave the candle the daughter（媽媽把女孩給了蠟燭）”，通過增加“to”的方式將其理解成“The mother gave the candle to the daughter（媽媽把蠟燭給了女孩）”。 ChatGPT也會像人類一樣產生語義錯覺從而注意不到句子中的明顯錯誤，例如，這個帶有錯誤的句子“During the biblical flood，how many animals of each kind Moses take on the ark（在圣經大洪水中，每個動物摩西帶了幾只上方舟）”，人們通常難以察覺到不是摩西而是諾亞將動物們帶上方舟的，這種現象被稱為語義錯覺。

在語篇層面，ChatGPT能像人類一樣判斷出動詞中隱含的因果關系，例如，對于句子“A scared B”，是A的某些特質讓B害怕，因此A是刺激，B是經歷者；相反地，對于句子“A feared B”，則認為是B的某些特質讓A害怕，因此A是經歷者，B是刺激。ChatGPT也能夠像人類一樣連接兩個句子的信息從而進行推理，如句子“While swimming in the shallow water near the rocks，Sharon stepped on a piece of glass.She called desperately for help，but no one around to hear her（Sharon在礁石附近游泳的時候踩到了一塊玻璃。她絕望地呼救，但是周圍沒有人聽到她）”，人們更容易通過連接“Sharon stepped on a piece of glass（Sharon踩到了一塊玻璃）”和“She called desperately for help（她絕望地呼救）”這兩個信息推理出“She cut her foot（她割破了腳）”這個可能性。

在對話層面，ChatGPT能夠像人一樣根據對話者的身份來理解相應的單詞意思，即在對話者為美國人的情況下更多理解為美式英語中的意思，例如，“bonnet”這個詞，在英式英語中表示“汽車的閥蓋”，而在美式英語中則是“帽子”的意思。ChatGPT也能夠像人一樣根據對話者的身份來使用相應的單詞，即在對話者為美國人時更多使用美式英語回答。

在尚未達到人類水平的2項實驗結果中，一個是在高預測性語境下，ChatGPT還不能像人類一樣選擇使用更短的單詞。例如，同樣是表示“數學”意思的詞“maths”和“mathematics”，在預測性較高的語境下“Susan was very bad at algebra，so she hated…（Susan代數很不好，所以她恨……）”， 人類傾向于選擇短的“maths”，而在預測性較低的語境下“Susan introduced herself to me as someone who loved…（Susan將自己介紹為是一個喜歡……）”，人們則傾向于選擇長的“mathematics”。

另一個是ChatGPT還不能利用前面的語境消解句法歧義，例如，在只有一個“偷獵者”的語境中，人們通常將句子“The hunter killed the poacher with a rifle”理解為“獵人用一把來復槍殺死了偷獵者”，即介詞短語“with a rifle”用來修飾動詞短語“killed the poacher”，而在有兩個“偷獵者”的語境中，人們會將句子“The hunter killed the poacher with a rifle”理解為“獵人殺死了帶著一把來復槍的偷獵者”，即介詞短語“with a rifle”用來修飾名詞短語“the poacher”。

東南大學知識科學與工程實驗室團隊測試了ChatGPT在回答復雜問題時的推理能力，并和其他大型語言模型（LLM）以及知識庫問答系統（KBQA）進行了對比。[9]論文歸納出了8個“推理類型”標簽，包括集合操作、條件過濾、計數、極值/排序、單跳推理、多跳推理和星型事實推理。論文采用了與維基百科相關的6個英語數據集和2個多語數據集作為測試數據集。論文得出的結論主要有：1、在WQSP和GraphQuestions數據集上超越了傳統模型的當前最佳水平，在其他數據集上ChatGPT的表現仍然顯著劣于傳統模型。2、ChatGPT的大多數表現優于其他大型語言模型，但在回答數字或基于時間的問題時表現并不是最佳的。此外，在涉及多跳或星型事實推理的問題時，其表現也不如GPT3.5 V3。3、大型語言模型無法準確回答各種基于事實的問題。這在需要數值、因果和時間答案的測試集中尤為明顯，所有大型語言模型都表現不佳。4、在多語言測試中，ChatGPT對于回答低資源語言問題表現更為優秀，然而中文測試得分較低，無法確定是由于“中文資源不足”還是“資源質量不佳”造成的。5、ChatGPT在知識庫問答方面存在一些限制。最小功能測試結果顯示，ChatGPT不擅長回答只涉及一種類型推理的問題。不變性測試結果表明，與傳統模型相比，ChatGPT在處理相似或幾乎相同的輸入時不夠穩定。定向期望測試顯示，ChatGPT并不總是對正確提示提供積極反饋。當面對修改后的測試樣本時，其輸出的變化并不總是符合我們的預期。6、使用CoT（思維鏈）提示來引導ChatGPT逐步回答問題是有用的，特別是針對需要使用計數推理來獲取答案的問題。

基于上述論文的實驗結果可知，增強大型語言模型的語境理解能力是一項挑戰，可以考慮如何通過構造恰當的提示學習來告訴ChatGPT當前的語境信息。大型語言模型在事實類問題上的表現不佳，很大原因是受限于自身的訓練語料。因此，與搜索引擎或者知識圖譜的結合可以擴展大型語言模型的知識來源。使用CoT（思維鏈）提示，將問題分解成多個步驟，能有效提升大型語言模型表現不佳的計數推理能力。這其中蘊含的語言邏輯值得進一步研究。

二、可否提高大語言模型的可解釋性？

大型語言模型 （LLMs） 是具有大量參數的深度學習模型，以無監督方式對大量文本進行訓練。大型語言模型的可解釋性是構建安全、可靠、可信的大型語言模型發展道路上亟待解決的重要問題。四位人工智能倫理和政策專家撰文指出，大型語言模型和生成式人工智能工具的構建和部署及其在科學探索中的應用必須被視為解釋性成就，這些成就應該嵌入科學哲學家所稱的“發現背景”中。[10]

在理想情況下，嚴謹的數學符號—邏輯規則是最好的解釋。然而，人工神經網絡的“黑箱”特性極大地阻礙了大型語言模型的可解釋性。ChatGPT對應的GPT3底座約有1750億個神經元連接權重參數，不到人腦的萬分之四，但也大到無法采用嚴謹的數學符號—邏輯規則進行解釋。神經網絡的可解釋性工作按照解釋力從高到低大致有決策樹解釋、神經元解釋、特征權重解釋和樣例解釋，[11]決策樹等透明模型難以解釋復雜的神經網絡，因此大語言模型的可解釋性工作主要集中在神經元解釋上。

推出ChatGPT的OpenAI公司采用大型語言模型GPT-4來解釋架構更簡單的語言模型GPT-2上神經元的行為。[12]其過程分為三步。第一步：使用GPT-4生成解釋，首先找一個GPT-2的神經元，并向GPT-4展示相關的形符（token）和對應的神經元激活度（activation）。然后，讓GPT-4根據這些行為，生成一個可能的解釋。例如，在圖1的例子中GPT-4就認為，這個神經元與電影、人物和娛樂有關。

第二步：使用GPT-4進行模擬，讓GPT-4根據自己生成的解釋，模擬以此激活的神經元會做什么。第三步：對比打分，最后將模擬神經元（GPT-4）的行為與實際神經元（GPT-2）的行為進行比較，看看GPT-4究竟猜得有多準。在圖2的例子中，左邊是GPT-2神經元的實際行為，右邊是GPT-4模擬的神經元行為，下方給出的評分為0.337。

目前，絕大多數解釋評分都很低，但可以通過迭代解釋、使用更大的模型、更改所解釋模型的體系結構等方法，來提高分數。研究也發現，神經元層級越高，GPT-4的解釋就越抽象。如圖3中的例子，形符“dollars”在第1層神經元中被解釋為“貨幣相關的單詞”，在第2層神經元中被解釋為“美元詞語的實例”，在第29層神經元中被解釋為“美國的關聯物”。

研究中還發現了一些有趣的神經元，比如一個模式破壞神經元，它會對正在進行的列表中打破既定模式的形符（token）進行激活，如圖4所示，每一行最后一個形符（token）都與之前的形符模式不同，此時模式破壞神經元就會被激活。目前，這些神經元的行為依然缺乏足夠的解釋，但有可能許多神經元編碼了以特定輸入為條件的輸出分布的特定微妙變化。

Anthropic公司發布了“Transformer通路項目”， [13]通過逆向工程的方式對大型語言模型采用的Transformer架構進行機械可解釋性研究，并為研究項目創造了網站，以可視化、可交互的形式來顯示其研究成果。機械可解釋性研究認為，神經網絡并不是不可解釋的黑匣子，而是學習了一些人類可解釋的算法，并通過對神經網絡逆向工程反編譯為可理解的算法。目前，該項目的研究表明了對于任何規模的Transformer模型，“歸納頭”現象都是模型一般情境學習的來源，負責模型中大部分的上下文學習。此外，該項目也證實了神經元的疊加是一種真實、可觀察到的現象，讓模型可以表示額外的特征，并且額外特征的數量隨著稀疏度的增加而增加。“神經元疊加假設”是指人們認為網絡通過神經元的疊加賦予了模型識別比維度更多特征的能力，它們利用高維空間的特性來模擬具有更多神經元的模型， 在無法采用嚴謹的數學符號—邏輯規則進行解釋的情況下，對神經元的語義解釋成為大語言模型可解釋性的突破點，語言學應該在這方面發揮作用，特別是將人工神經網絡理解語言的過程和人腦理解語言的過程進行類比研究非常重要。大型語言模型的上下文學習能力讓人印象深刻， 以“歸納頭”現象為代表的注意力機制在其中的作用值得進一步探究，人類理解語言時的歸納能力也應該加強研究。“疊加假設”是不是與大型語言模型的“涌現能力”相關？神經元的疊加機制以及對更多特征的表示能力也需要更深入的研究。

三、能否預示著知識工程的新方向？

知識工程涉及設計和構建基于知識的系統的過程。當前以知識圖譜為代表的知識工程范式受到極大沖擊。傳統的知識圖譜從構建到上層的應用都需要將文本任務切分成各個子任務場景來解決，例如知識發現、知識挖掘、知識表示、知識推理、知識應用等任務，涉及非結構化數據清洗和抽取、分詞、語義角色標注、實體抽取、關系分類、實體消歧、語義匹配、圖譜查詢和圖譜推理等任務，與人類完全從端到端的知識網絡構建流程有所出入，需要耗費大量人力、物力和時間，其場景化的落地應用也離不開精細的微調，阻礙了知識圖譜的大規模泛化應用。

ChatGPT本身就是知識工程的一個具體的結果呈現。ChatGPT是一種大規模預訓練語言模型LLM（Large Language Model），需要學習大量的知識。這些知識通常來自互聯網上公開可用的數據、文本、源代碼等語料，如GPT-3.5的語料庫由8000億單詞、45TB文本數據規模的語料構成。ChatGPT類的大語言模型依靠大規模參數量，及高質量人類反饋學習機制能夠很好地模擬人類，讓模型初顯通用人工智能的能力。大型語言模型可以憑借其涌現能力以及強大的常識、推理和交互能力，基于統一范式處理大部分的自然語言處理下游應用，且生成效果逐步接近真實世界，非領域專業人士甚至很難辨明內容真偽。

基于大型語言模型的知識工程圍繞著常識蒸餾和外部知識獲取兩個方向。常識是一種隱性知識，大型語言模型本身內含較多常識，可以通過生成常識數據集蒸餾出大語言模型中的常識。哥倫比亞大學的研究團隊提出一種通過提示大型語言模型來生成包含常識的對話數據集方法。[14]論文使用一小組專家編寫的對話作為上下文示例，通過提示生成社交對話數據集，如圖5所示，左邊是用于提示大語言模型的示例，包括對話的話題（藍色文字）、背景（紅色文字）和話輪，右邊是大語言模型根據提示生成的契合主題和背景的對話數據。論文證明了這種提示方法可從兩方對話推廣到多方對話，并且與人工收集的多方對話相比，利用大語言模型生成的多方對話在所有測量維度上的評分都更高。大語言模型生成的常識對話數據集可以被各種定制。例如，首爾國立大學團隊通過人機協作框架創建了一個增強道德感的數據集，并利用該數據集生成了常識性社會規范準則。[15]

也可以通過讓大型語言模型顯式地輸出隱含在言語句中的常識來蒸餾出大型語言模型中的常識。南加州大學的研究團隊提出了一種先思考后說話的方法，首先將隱含的常識知識外化（思考），然后使用這些知識生成響應（說話）。[16]如圖6所示，根據用戶輸入，從概念圖譜ConceptNet中找出最符合這段話的概念，將這個概念和與其相關的關系顯式地表達出來，這樣就將句子中隱含的常識顯性地表達出來，即花和妻子都能隱含愛情，而其中的代表則為玫瑰，并將顯性化的常識知識通過提示學習來訓練響應生成器。實證結果表明，論文所提出的模型在大多數自動指標上優于端到端和知識增強的神經響應生成器基線模型，能夠生成具有更多信息、更具體和符合常識的響應，大型語言模型可以通過搜索互聯網或者知識庫獲取外部知識。亞馬遜研究團隊提出了一種端到端面向文檔的外部知識獲取方法。[17]假設對話以主題文檔為中心，并且需要外部知識來產生響應，如圖7所示，跟蹤當前以主題文檔DT為中心的對話并實時生成對話的嵌入表示，然后到外部知識庫里面找具有相似嵌入表示的文檔，召回以后當作外部文檔來輔助對話響應的生成。

語言模型可以通過結合使用模塊化和檢索來生成更多的事實響應。Facebook研究團隊將互聯網搜索作為一個模塊獲取實時的外部知識，提出了一種基于模塊化搜索和生成的大語言模型外部知識獲取方法，[18]將單個語言模型連續應用于三個模塊化任務：搜索、生成知識和生成最終響應，如圖8所示，系統根據用戶輸入生成顯式的查詢語句并在互聯網上找到相應知識，依據該知識生成響應。實驗表明，論文所提出的方法在真實性和話題性方面優于大語言模型 GPT2和 GPT3，適用于主題提示補全應用。

大型語言模型將促使知識工程范式發生極大改變，甚至有學者將以ChatGPT為代表的生成智能（Generative AI）理解為人類最新的知識新媒介，[19]它不僅生成新的知識，更重要的是，人類的獲知與求知模式（mode of knowing）本身因其發生重大改變。論文提出的主要觀點包括：1、知識生產：從前臺的“發現”或然率到后臺的“生產”或然率，互聯網“或然率資料庫”主要表現為前臺“發現”的或然率，例如通過搜索引擎或推薦算法獲得知識發現的不同概率；以ChatGPT為代表的生成智能則將“發現”的或然率隱藏于后臺，其“生產”的或然率更為隱蔽，也更容易被忽略；2、知識調用：首次嵌入日常生活的大規模自然語言交互，ChatGPT與以往的“本質性資料庫”和互聯網“或然率資料庫”均不同，它首次以嵌入日常生活的大規模自然語言交互，創造了人類知識調用和提取的新模式；3、知識流通：從個體知識到公共知識，首先ChatGPT通過“或然率資料庫”的生產重構知識流通與擴散邏輯，其次ChatGPT已經展現出從個人知識向公共知識傳播演化的過程。

提問與指令對于知識調用至關重要，成為“生成智能時代”人類需要的新能力。ChatGPT高度依賴用戶準確、深入、持續、交互地提出具體需求，這恰是源于ChatGPT作為新型“或然率資料庫”的統計語言模型特征，微妙的提問與指令變化就會帶來迥異的回答。因此，在ChatGPT的知識調用過程中，“Prompt”（提示指令）的寫作成為一種新的核心能力，如何提問、如何提出任務本身成為一種新的重要知識。“提示工程師”也可能成為新的職業。從這個意義上說，ChatGPT既是人類知識調用的一次簡化回歸，又帶來新的挑戰和要求，因此可能造成新的“知識溝”——“知識調用溝”。

ChatGPT對以知識圖譜為代表的知識工程范式的沖擊，實質是數據驅動范式對專家主導范式的沖擊。當下，大型語言模型與知識圖譜的結合，通用知識與行業知識的結合是備受關注的研究熱點。按照ChatGPT的預測，約25年后就會產生統一的知識標示框架，語言是知識的載體，在構建人類知識框架這一遠大目標上語言研究可以大有作為。

四、結語

以ChatGPT為代表的大型語言模型已經到來并不可避免地帶來巨大的機遇與挑戰，語言學研究理應抓住機遇，對挑戰做出回應。在提高大型語言模型的語言理解和推理能力方面，可以通過構造恰當的提示學習和思維鏈技術來增強大型語言模型的語境理解能力和邏輯推理能力。通過對人工神經網絡理解語言的過程和人腦理解語言的過程進行類比研究，可以對神經元的行為進行語義解釋，從而增強大型語言模型的可解釋性。尤其重要的是大型語言模型預示著新的知識工程范式，在知識融合和知識框架構建上，語言學理應做出自己的貢獻。

參考文獻：

[1] Schulman J，Zoph B，Kim C，et al.ChatGPT：Optimizing Language Models for Dialogue[EB].https：//openai.com/blog/chatgpt.

[2] Wei J，Tay Y，Bommasani R，et al.Emergent Abilities of Large Language Models[EB].Published in Transactions on Machine Learning Research，08/2022，https：//arxiv.org/abs/2206.07682.

[3] Zhou J，Ke P，Qiu X，et al.ChatGPT：Potential，Prospects，and Limitations[EB].Front Inform Technol Electron Eng.https：//doi.org/10.1631/FITEE.2300089.

[4] Hu K，（2023）.ChatGPT Sets Record for Fastest-growing User Base-analyst Note[EB].https：//www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note，2023-02-01.

[5] Chomsky N，Roberts I & Watumull J.The False Promise of ChatGPT[EB].https：//www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html，March 8，2023.

[6] 機器之心.終于喬姆斯基出手了：追捧ChatGPT是浪費資源[EB].https：//baijiahao.baidu.com/s？id=1759963 403251109370&wfr=spider&for=pc，2023-03-11.

[7] 馮志偉，張燈柯，饒高琦.從圖靈測試到ChatGPT——人機對話的里程碑及啟示[J].語言戰略研究，2023，（2）.

[8] Cai Z G，Haslett D A，Duan X，Shuqi W & Pickering M J.Does ChatGPT Resemble Humans in Language Use？ PsyArXive [Preprint] [EB].https：//psyarxiv.com/s49qv/.

[9] Tan Y，Min D，Li Y，Li W，Hu N，Chen Y & Qi G.Evaluation of ChatGPT as aquestion answering system for answering complex questions[J].ArXiv，abs/2303.07992.

[10] Birhane A，Kasirzadeh A，Leslie D，et al.Science in the Age of Large Language Models[EB].Nat Rev Phys 5，277-280.https：//doi.org/10.1038/s42254-023-00581-4.

[11] Zhang Yu， et al. Asurvey on Neural Network Interpretability[EB].IEEE Transactions on Emerging Topics in Computational Intelligence 5 （2020）：726-742.

[12] Bills et al.Language Models can Explain Neurons in Language Models[EB].https：//openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html.

[13] Anthropic.Transformer通路項目[EB].https：//transformer-circuits.pub/，2023.

[14] Chen M，Papangelis A，Tao C，Kim S，Rosenbaum A，Liu Y，Yu Z & Hakkani-Tür D Z.PLACES：Prompting language models for social conversation synthesis[EB].ArXiv，abs/2302.03269.

[15] Kim H，Yu Y，Jiang L，Lu X，Khashabi D，Kim G，Choi Y & Sap M.Prosocial Dialog：A Prosocial Backbone for Conversational Agents[EB].Conference on Empirical Methods in Natural Language Processing.

[16] Zhou P，Gopalakrishnan K，Hedayatnia B，et al.Think before you speak：Using self-talk to generate implicit commonsense knowledge for response generation[J].2021.DOI：10.48550/arXiv.2110.08501.

[17] Tuan M.Lai，GiuseppeCastellucci，Saar Kuzi，Heng Ji and Oleg Rokhlenko.External Knowledge Acquisition for End-to-end Document-oriented Dialogue Systems，Proc[EB].The 17th Conference of the European Chapter of the Association for Computational Linguistics （EACL2023）.

[18] Shuster K，Komeili M，Adolphs L，et al.Language models that seek for knowledge：Modular search & generation for dialogue and prompt completion[J].2022.DOI：10.48550/arXiv.2203.13224.

[19] 周葆華.或然率資料庫：作為知識新媒介的生成智能ChatGPT[J].現代出版，2023，（2）：21-32.DOI：10.3969/j.issn.2095-0330.2023.02.003.

Opportunities and Challenges Brought by ChatGPT from the Linguistic Perspective

Abstract：The Chat Generative Pre-trained Transformer （ChatGPT） model has attracted widespread attention from both industry and academia due to its excellent dialogue ability. It has become the fastest-growing consumer application in history， attracting 100 million registered users within two months of its release， driving a wave of industrial investment in artificial intelligence sectors such as data， algorithms， computing power， and applications. Based on the linguistic perspective， this article explores the opportunities and challenges that ChatGPT brings， focusing on three core issues： whether ChatGPT already possesses language comprehension and reasoning abilities， whether it can improve the interpretability of large language models， and whether it can predict new directions in knowledge engineering.

Key words：?ChatGPT; large language model; knowledge engineering; artificial intelligence