ChatGPT的工作原理、關鍵技術及未來發展趨勢

秦濤,杜尚恒,常元元,王晨旭

(西安交通大學智能網絡與網絡安全教育部重點實驗室,710049,西安)

自然語言處理作為人工智能領域的關鍵技術之一,具有重要的應用價值,在信息提取與知識管理領域,商業機構可利用該技術布局線上系統,開發智能客服系統自動理解客戶問題并及時響應客戶需求,從而協助辦理業務,提升服務效率;也能通過對海量多源數據的處理分析,構建多層次多維度用戶畫像,制定精細化、個性化服務方案來優化服務質量。監管人員[1]可以結合分詞、實體識別、熱詞發現和情感傾向分析等技術,對社交媒體數據進行情感分析[1-2],盡早發現負面消極的言論和煽動性的話題,采用信息抽取與文本聚類技術從信息流中檢測并聚合突發事件,并利用網絡分析和深度學習技術分析事件在社交網絡中的傳播途徑,理解信息的擴散模式從而進行事件演化與趨勢預測,為輿情管控和引導提供決策支持,推動社會管理的智能化和精細化。但是,自然語言處理技術的發展仍受到可用標注數據稀缺、數據多源時變、語義信息多樣復雜等問題的困擾。

正是在這樣的需求推動下,領域內的技術框架不斷更新進步,自然語言處理技術的演進階段可以分為小規模專家知識、淺層機器學習[3]、深度學習[4]、預訓練語言模型[5]等,每個技術階段的演進周期大致為前一階段的一半,迭代速度越發迅速。ChatGPT作為大規模預訓練模型的一種典型代表,極大地推動了自然語言處理技術的發展,引發了自然語言處理研究范式的轉變,其通過大規模的預訓練和上下文理解,具備了生成自然語言文本的能力,可以進行對話、回答問題和提供信息等任務,與人類交互的能力更加自然和靈活。

為進一步理解ChatGPT,本文首先介紹ChatGPT的模型架構和技術演進過程,然后回顧了其所用的核心技術,包括提示學習、思維鏈和基于人類反饋的強化學習,這些技術共同構成了ChatGPT的基礎框架,使其能夠在各種情景下生成連貫且自然的文本回應。然后,結合ChatGPT運行原理,本文分析了其面臨的缺陷與挑戰,包括生成不準確或具有誤導性的信息、潛在的惡意應用風險以及對話中的道德和隱私問題等。最后,針對ChatGPT在特定領域的缺陷與不足,結合實際應用,探討了ChatGPT未來可能的發展方向,包括對訓練語料進行道德篩選、采用遷移學習[6]和領域適應技術、引入外部專家知識[7]、增強多模態處理能力[8]等途徑來優化改進。

1 GPT架構及演變過程

GPT(generative pre-trained transformer)[9]是由OpenAI提出的采用Transformer解碼器的預訓練模型,采用預訓練加微調的范式。為深入理解ChatGPT,本節簡要分析ChatGPT的模型架構和其演進進程。

1.1 ChatGPT整體架構

ChatGPT的主體架構遵從“基礎語料+預訓練+微調”的基本范式,如圖1所示。“預訓練+微調”是指首先在大數據集上訓練得到一個具有強泛化能力的模型(預訓練模型),然后在下游任務上進行微調的過程,是基于模型的遷移方法。

海量高質量的基礎語料是ChatGPT技術突破的關鍵因素。其語料體系包括預訓練語料與微調語料,后者包括代碼和對話微調語料。預訓練語料包括從書籍、雜志、百科等渠道收集的海量文本數據,具體分布見表1[10],提供了豐富的語義語境和詞匯,幫助模型深入學習理解自然語言中的基礎詞匯與邏輯關系表達規則;微調語料包括從開源代碼庫爬取、專家標注、用戶對話等方式加工而成的高質量標注文本數據,進一步增強其對話能力。

圖1 ChatGPT架構示意圖Fig.1 Diagram of ChatGPT architecture

表1 GPT系列預訓練語料數據大小[10]

預訓練是構建大規模語言模型的基礎,指先在大規模訓練數據上進行大量通用的訓練,采用無監督學習方法以得到通用且強泛化能力的語言模型。在大規模數據的基礎上,通過預訓練,模型初步具備了人類語言理解和上下文學習的能力,能夠捕捉文本片段和代碼片段的語義相似性特征,從而生成更準確的文本和代碼向量,為后續微調任務提供支持。

微調是實現模型實際應用的保障,是指在特定任務的數據集上對預訓練模型進行進一步的訓練,通常包括凍結預訓練模型的底層層級(如詞向量)與調整上層層級(如分類器)的權重。對預訓練模型微調將大大縮短訓練時間,節省計算資源并加快訓練收斂速度。ChatGPT在具有強泛化能力的預訓練模型基礎上,通過整合基于代碼數據的訓練和基于指令的微調,利用特定的數據集進行微調,使之具有更強的問答式對話文本生成能力。其“預訓練+微調”的流程如圖2所示。

圖2 “預訓練+微調”流程Fig.2 Pre-training and fine-tuning flow chart

1.2 GPT-1:奠定自回歸式建模思路

GPT-1[9]是比BERT[11]提出更早的預訓練模型,但與BERT相比效果較差。GPT-1奠定了關鍵的技術路徑,后續的系列模型采用類似的架構(例如BART[12]和GPT-2[13])以及預訓練策略[14-16]。GPT系列是一種基于自回歸解碼的、僅包含解碼器的Transformer架構開發的生成式預訓練模型,這種架構具有自回歸(AR)特性,它利用多層堆疊的Transformer解碼器架構進行解碼。

自回歸是統計學中處理時間序列的方法,用同一變量之前各時刻的觀測值預測該變量當前時刻的觀測值。類似地,自回歸生成模型的基本思想是在序列生成的過程中,每個位置的元素都依賴于前面已經生成的元素。自回歸模型適用于各種序列到序列的任務,它又分為線性自回歸和神經自回歸兩種,基于Transformer解碼器的自回歸模型屬于后者,其生成過程如圖3所示。

圖3 自回歸生成模型生成過程Fig.3 Autoregressive model generation process

圖4 GPT-1生成過程Fig.4 GPT-1 generation process

1.3 GPT2:引入提示學習

GPT-2[13]通過模型結構的改進,在下游任務的微調上取得了更好的結果。GPT-2在以下兩個方面進行了優化。

(1)擴大參數規模。使用更多高質量的網頁數據,將模型參數規模擴大到1.5×109。

(2)更自然的任務模型融合方式。GPT-2將下游任務通過prompt方式加入到預訓練模型中,從而讓模型獲得零樣本學習的能力,即引入了一種多任務求解的概率形式,通過給定輸入與任務條件對結果進行預測。

雖然GPT-2在下游任務的微調中并沒有BERT模型表現優越,但其更自然的任務融合方式為后續ChatGPT的指令理解能力奠定了基礎,即對輸入文本信息按照特定模板進行處理,將任務重構成一個更能充分利用語言模型處理的形式。

通過上述方式,每個自然語言處理的任務都可以被視作基于世界文本子集的單詞預測問題[18]。這種思想表明,只要模型足夠大、學到的知識足夠豐富,任何有監督任務都可以通過無監督的方式來完成,GPT-2下游任務中的對話任務[19-20]更是進行了全面的微調,為后續的ChatGPT對話奠定了基礎。

1.4 GPT-3:量變引起質變

在GPT-2的基礎上,GPT-3[21]通過擴展生成預訓練架構,實現了容量飛躍。GPT-3的顯著特點就是規模大。由于GPT-2的實驗中發現隨著參數規模的增大其效果的增長依舊顯著[22-23],因此選擇繼續擴大參數規模,用更多優質的數據,一方面是模型本身規模大,參數量眾多,具有96層Transformer解碼器,每一層有96個128維的注意力頭,單詞嵌入的維度也達到了12 288維;另一方面是訓練過程中使用到的數據集規模大,達到了45 TB,參數規模達到1.75×1011。

此外,GPT-3在模型能力上轉變思路,采用情景學習的思想,使模型能夠在少樣本學習上取得較好的效果。大量實驗證明GPT-3在少樣本情況下具有良好的表現,如圖6所示。

由于規模巨大,GPT-3在各領域均有廣泛的應用,衍生了多種應用生態,被視為從預訓練模型發展到大模型過程中的一個里程碑。

1.5 ChatGPT:實現人機混合增強

盡管GPT-3擁有大量知識,但生成文本質量不一且語言表達冗余,ChatGPT通過人工標注的微調,引導模型輸出更有價值的文本結果,即實施了人類反饋的強化學習機制。

OpenAI對于混合人類反饋增強機器智能的研究可以追溯到2017年[24],并且在當年發布了近端策略優化(PPO)[25]算法作為強化學習的基礎算法,該算法通過多個訓練步驟實現小批量更新,以克服傳統策略梯度算法中步長難確定、可能導致學習性能下降的問題,引入保守的策略更新機制有效緩解了策略更新過快導致的不穩定性,提高了訓練的魯棒性和穩定性。PPO算法根據當前策略與環境互動產生軌跡,并記錄各狀態、動作與獎勵,使用軌跡信息更新策略限制策略步長,使得目標散度既足以顯著改變策略,又足以使更新穩定,防止新舊策略過遠,并在每次更新后重新計算優勢函數。

具體來說,近端策略優化算法的流程如下。

(1)初始化。初始化網絡參數θ和值函數參數φ。強化學習中,值函數通常用于估計一個給定狀態s在當前策略πθ下的期望累積折扣獎勵。這個函數通常用神經網絡或其他函數逼近器來表示,逼近器的參數記作φ。

(2)數據收集。在環境中用當前策略πθ進行多步操作,收集狀態st、動作at和獎勵rt。狀態st用于描述環境在某一時刻的觀察結果。動作at是智能體在某一狀態下決定執行的操作。獎勵rt是環境給予智能體的反饋,用于量化智能體執行某個動作的效果或價值。

(3)優勢函數估計。對每一個狀態s,使用累計折扣獎勵和值函數Vφ(st)來估計優勢函數A,用于量化一個動作相對于平均情況下的預期效果或好處。

(4)策略更新。將當前策略備份為πold。通過目標函數JPPO(θ)來更新策略。目標函數JPPO(θ)為組合了優勢函數和舊策略的有界目標函數,包括KL散度項用于確保新舊策略不會相差太遠,是一個綜合考慮策略改進和穩定性的目標函數。

(5)值函數更新。使用損失函數LBL(φ)來更新值函數Vφ(st)。損失函數LBL(φ)量化了實際累計獎勵和值函數預測之間的誤差,通常定義為均方差誤差,更新次數由參數B控制。

(6)適應性調整正則化系數λ。如果新舊策略之間的KL散度超過了一個高閾值,增大λ以減少策略更新幅度。反之,如果KL散度低于一個低閾值,減小λ以允許更大幅度的策略更新。

(7)循環。以上步驟會被重復N次,以不斷優化策略和值函數。

OpenAI在GPT-2時便開始使用上述強化學習算法[24-25]來進行微調,同年以類似方法訓練了文本摘要模型[26]。

ChatGPT的前身,InstructGPT[27]模型正式使用了基于人類反饋強化學習(RLHF)算法,通過結合智能體自主學習與人類專家反饋兩種策略,選擇基于策略梯度的算法搭建強化學習模型從而訓練智能體,并在每個時間步上記錄智能體行為并且由人類專家對其進行評估反饋,以進行參數更新優化行為策略。該算法的第一階段[27]是指令調優。除了提高指令理解能力外,RLHF算法還有助于緩解大模型產生危害或不當內容的問題,這也是大模型在安全實踐部署的關鍵。OpenAI在技術文章[27]中描述了他們的對齊研究方法,該文章總結了3個有希望的方向,即“使用人類反饋訓練AI系統,幫助人類評估和進行對齊研究”。

1.6 GPT4:多模態升級

GPT-4是對ChatGPT的多模態升級,可對圖文輸入產生應答文字,并可引用于視覺分類分析、隱含語義等領域。多模態輸入能力對語言模型至關重要,使其可以獲得除文本描述外的常識性知識,并為多模態感知與語義理解的結合提供了可能性。

新范式可歸納為“預訓練+提示+預測”。各種下游任務被調整為類似預訓練任務的形式,尤其GPT-4的多模態提示工程針對多模態數據集,涉及合適的模型架構參數、精心設計的提示格式結構和選定的數據微調模型,來使得模型生成高質量文本。

2 ChatGPT的核心技術

2.1 提示學習與指令精調

傳統的監督學習使用包含輸入x與標簽y的數據集來訓練一個模型P(y|x;θ),從而學習模型參數θ預測條件概率。提示學習[28]試圖學習模擬概率P(x;θ)的x本身來預測y,從而減少或消除對大型監督數據集的需求。

(1)

通過編輯任務的輸入,提示學習在形式上模擬模型訓練中的數據與任務。以情感分類任務為例,相比于監督學習中輸入一句話,模型輸出情感分類判斷,提示學習是設計一種模板,將原有語句嵌入其中,為模型留出判斷類別的位置,讓模型做類似完形填空的工作生成情感類別。提示學習旨在激發語言模型的補全能力,指令精調(instruction tuning)[29]則是提示學習的加強版,激發模型的理解能力。通過指令調優,模型能夠在不使用顯式示例的情況下遵循新任務的任務指令,從而提高了泛化能力[29-30],即便在多語言環境下也有卓越能力[31]。這種學習人類交互模式的分布讓模型可以更好地理解人類意圖[32]、與人類行為對齊[27]。從解釋性上來說,這類似于打開大門的鑰匙,從大模型在預訓練中學習到的龐大知識中激活特定的部分完成指定任務。ChatGPT能響應人類指令的能力就是指令微調的直接產物,對沒有見過的指令做出反饋的泛化能力是在指令數超過一定程度之后自動出現的,T0 模型[15]、Flan模型[29]等工作都進一步證明了這一點。

對于模型未訓練的新任務,只需設計任務的語言描述,并給出任務實例作為模型輸入,即可讓模型從給定的情景中學習新任務并給出恰當的回答結果。這種訓練方式能夠有效提升模型小樣本學習[33]的能力。

2.2 思維鏈

谷歌研究人員Wei等提出了思維鏈(chain of thought, COT)[34]的概念,即在小樣本提示學習中插入一系列中間推理的步驟示范,從而有效提高語言模型的推理能力。與一般的提示詞不同,思維鏈提示由多個分別解釋子問題的中間步驟組成,提示詞模式從之前的問題、答案變成輸入問題、思維鏈、輸出問題。如圖7所示,以數學計算解答為例,一般的提示詞模板通過輸入內嵌入樣例,使得模型學習任務答案,而思維鏈提示詞增加推理步驟,參考人類解決問題方法,嵌入自然語言形式的推理步驟直至答案生成。在思維鏈的加持下,通過將問題分解為一系列的分步推理,根據前一步驟結果與當前問題要求共同推斷下一步驟。通過這種逐步推理的方式,模型可以逐漸獲得更多信息,并在整個推理過程中累積正確的推斷,從而大幅度提升模型在復雜推理時的準確率,表現在數學計算結果的正確與否,同時也為模型的推理行為提供了一個可解釋的窗口[27,35-36]。

圖7 思維鏈示意圖Fig.7 Diagram of chain of thought

2.3 人類反饋強化學習

人類反饋強化學習[24,37]是ChatGPT實現理解人類指令、對齊人類行為[38-39]的重要技術。圖8所示為模型訓練過程。此算法[40]在強化學習[41]的框架下大體可以分為3個階段。

(1)深度模型訓練,對應圖8中的第一步。利用大規模的文本數據,對每一個給定的提示,深度模型會生成一個初始的回復,然后返還給標注人員。標注人員檢查并評價這個回復,這種方法允許從人類反饋中獲得有價值的修正建議和方向,從而提高模型的準確性和可靠性。收集到這些經過人類評估和修正的數據后,使用監督學習(supervised fine-tuning)方法來在GPT-3模型上進行微調。

(2)獎勵模型訓練[42],對應圖8中第2步。該階段旨在獲取擬合人類偏好的獎勵模型。獎勵模型以提示和回復作為輸入,計算標量獎勵值作為輸出。獎勵模型的訓練過程通過擬合人類對于不同回復的傾向性實現。具體而言,首先基于在人類撰寫數據上精調的模型,針對同一提示采樣多條不同回復。然后,將回復兩兩組合構成一條獎勵模型訓練樣本,由人類給出傾向性標簽。最終,獎勵模型通過每條樣本中兩個回復的獎勵值之差計算傾向性概率擬合人類標簽,完成獎勵模型的訓練。

(3)生成策略優化與迭代,對應圖8中第3步。給定訓練的獎勵模型,GPT模型的參數將被視為一種策略,在強化學習的框架下進行訓練。首先,當前策略根據輸入的查詢采樣回復。然后,獎勵模型針對回復的質量計算獎勵、反饋回當前策略用以更新。

圖8 ChatGPT訓練過程示意圖Fig.8 Diagram of ChatGPT training process

為防止上述過程的過度優化,損失函數引入了詞級別的KL懲罰項。此外,為了避免在公開NLP數據集上的性能退化,策略更新過程兼顧了預訓練損失。

3 ChatGPT面臨的問題

雖然ChatGPT在多個任務中都表現出不錯的性能,其現有運行原理決定了其有很多局限性。

(1)對某個領域的深入程度不夠[35,43],因此生成的內容可能不夠合理。此外,ChatGPT也存在潛在的偏見問題,因為它是基于大量數據訓練的,訓練數據中的固有偏差會滲透到神經網絡中,導致模型會受到數據中存在的偏見的影響[27,44]。

(2)對抗魯棒性[45]。對抗魯棒性在自然語言處理與強化學習中是決定系統適用性的關鍵要素[46],對于干擾示例x′=x+δ,其中,x指原始輸入,δ指擾動,高魯棒性系統會產生原始輸出y,而低魯棒性系統會產生不一樣的輸出y′。ChatGPT容易受到對抗性攻擊,例如數據集中攻擊[47]、后門攻擊[48]和快速特定攻擊[49]等,從而誘導模型產生有害輸出。

(3)安全保障。由于ChatGPT是一種強大的人工智能技術,它可能被惡意利用,造成嚴重的安全隱患及產生法律風險[50]。同時,它的答復尚不明確是否具有知識產權,從而可能產生不利的社會影響[51]。因此,開發者在設計和使用ChatGPT時,需要采取相應措施,例如去偏方法和校準技術[52]來保障安全性問題。

(4)推理可信度。與其他神經網絡類似,ChatGPT很難精確地表達其預測的確定性[53],即所謂的校準問題,導致代理輸出與人類意圖不一致[54]。它有時會回答荒謬的內容,這也是目前發現的最為普遍的問題,即對于不知道或不確定的事實,它會強行根據用戶的輸入毫無根據地展開論述[55],產生偏離事實的文本。

(5)可解釋性差。黑盒特性使得ChatGPT的回答看似合理但卻無跡可尋,同時由于它沒有辦法通過充足的理由去解釋它的回答是否正確,導致在一些需要精確、嚴謹的領域沒有辦法很好的應用[56]。此外,它也可能在表述的時候存在語法錯誤或不合理的表述。

(6)無法在線更新近期知識。目前的范式增加新知識的方式只能通過重新訓練大模型。現有研究探索了利用外部知識源來補充大模型[57],利用檢索插件來訪問最新的信息源[58],然而,這種做法似乎仍然停留在表面上。研究結果表明,很難直接修正內在知識或將特定知識注入大模型,這仍然是一個懸而未決的研究問題[59]。

4 ChatGPT的進化展望

ChatGPT在自然語言處理技術的發展中有里程碑式的意義,在語言和意圖理解、推理、記憶以及情感遷移方面具有強大的能力,在決策和計劃方面表現出色,只需一個任務描述或演示,就可以有效地處理以前未見過的任務。此外,ChatGPT可以適應不同的語言、文化和領域,具有通用性,減少了復雜的培訓過程和數據收集的需要[60],在各領域得到了廣泛應用。

在學術界積極探索能力背后的技術原因的同時,工業界已將ChatGPT優異的對話生成能力融入各種場景中,根據對話對象的不同,將應用分為以下幾種層次。

(1)數據生成加工。利用ChatGPT強大的信息搜索與整合能力,用戶根據自身需求直接返回特定數據,主要應用場景包括文案生成、代碼生成和對話生成等。同時,其可以充當知識挖掘工具對數據進行再加工,一些在線應用可幫助翻譯、潤色等,例如文檔分析工具ChatPDF。

(2)模型調度。ChatGPT可以調用其他機器學習模型共同完成用戶需求并輸出結果,例如微軟近期發布的HuggingGPT。作為人類與其他模型的智能中臺,其有望解決AI賦能長期面臨的痛點問題,實現模塊化模型管理、簡化技術集成部署,提高賦能效率。

(3)人機混合交互。ChatGPT一定程度上統一了人類語言與計算機語言,使得人機交互界面從鍵盤鼠標圖形進化到自然語言接口。微軟的365 Copilot將其嵌入到Office,極大地提高了人機自然交互體驗;OpenAI近期發布的Plugins插件集嘗試了大語言模型應用的開發框架。在未來其有望成為智能時代的操作系統,調用更廣泛的應用程序解決實際問題。

結合實際應用中可能存在的問題和實際應用需求,對ChatGPT在具體領域存在問題的可能解決方案進行了分析討論。

(1)商業服務優化領域。提升商品服務質量[61]需要對用戶評論進行細粒度情感分析,通常需要對特定商品領域的知識有深入的理解。然而,ChatGPT作為通用語言模型,可能缺乏不同商品領域中的專業知識,這可能導致模型無法準確識別和分析特定領域的優缺點。可以考慮利用遷移學習的方法,將ChatGPT在通用領域中的知識遷移到特定領域中,使ChatGPT更加適應特定領域的問題和需求。

(2)智慧醫療領域。ChatGPT在醫療領域可以做為輔助工具用作醫療診斷與腫瘤圖像分割[62],有助于精準醫療、靶向治療等方案的落實。然而,目前ChatGPT主要針對文本進行處理,對于其他模態的信息理解相對較弱,這使得模型應用僅限制在輔助診斷和醫療數據挖掘等方面,無法融合其他模態的信息來增強模型通用性與泛化性。因此為了實現更加有效表達的通用人工智能模型,需要進行多模態聯合學習,關注內容關聯特性與跨模態轉換問題。此外,風險責任問題、溝通限制狀況以及模型引發的算法偏見與個人隱私安全問題同樣不容忽視。

(3)輿情監管引導領域。輿情引導和特定內容生成[63]需要在構建訓練數據階段進行意圖對齊和質量篩選。由于GPT系列的訓練語料來自于西方的語言價值框架,受到模型訓練數據的偏見和傾向性影響,ChatGPT生成內容中存在對于中國的大量偏見言論,不一定符合中國的價值觀,這可能引發輿情操縱和認知戰[64]的風險。因此訓練國產大模型時需要對訓練數據進行篩選,構建合適公正的中文語料,并不斷維護更新基礎詞庫。

很多研究者認為ChatGPT開啟了第四次技術革命,其作為催化劑整合人工智能學科,并激發學術界與工業界深入探討和實踐交叉學科與跨學科應用[65]的可能性,科技部近期啟動的“AI for Science”專項部署工作也從一定程度上反映了國家導向。未來其從應用拓展上將呈現垂直化、個性化與工程化,如何增強其人機交互協同性,如考慮生物學特性、身體感知等因素;以及如何增強模型可信性,構建新的可信測試基準,都是未來可能的發展趨勢。

5 總 結

本文探討了ChatGPT在自然語言處理領域發展中的地位以及未來可能的發展方向,著重分析了GPT系列模型的演進以及核心技術,包括語料體系、提示學習、思維鏈和基于人類反饋的強化學習等。隨后,分析了其存在的顯著缺陷,如理解與推理能力的局限性、專業知識的不深入、事實的不一致性以及信息安全泄露等風險;最后,結合實際應用,ChatGPT有著很大的改進和發展空間,包括采用遷移學習和領域適應技術、引入外部專家知識、增強多模態處理能力、篩選訓練語料等都是可能的解決方案與發展趨勢。通過上述分析,本文對深入理解ChatGPT和在相關領域展開進一步研究提供參考。