國內外大語言模型生成中文論文摘要對比研究

摘要：[目的/意義]通過對國內外典型的大語言模型所生成的中文論文摘要進行對比分析，總結歸納兩者間的異同點，為大語言模型后續的深度開發和發展研究提供參考。[方法/過程]選取2023年國家社會科學基金年度項目中“圖書館、情報與文獻學”學科的121個課題作為題目，通過ChatGPT4.0與文心大模型4.0分別生成中文摘要，經過數據預處理及文本分析，從高頻詞特征、詞性分布、句子數量以及摘要內容長度等角度探討國內外大語言模型生成內容的異同。然后，與中文期刊《圖書情報工作》中的摘要寫作做對比，判斷大語言模型生成摘要是否貼合中文論文寫作規范。[結果/結論]文心一言生成摘要篇幅較短，字數較少，更貼合中文論文寫作標準，GPT生成摘要的平均字數及句子數量較多，通過對比兩個典型大語言模型生成內容的差距及特點，為大語言模型的完善與進一步深度開發提供一定的參考。

關鍵詞：ChatGPT4.0；文心大模型4.0；中文論文摘要

分類號：G25

引用格式：邢淼， 田麗. 國內外大語言模型生成中文論文摘要對比研究——以圖書情報領域為例[J/OL]. 知識管理論壇， 2024， 9（5）： 437-447 [引用日期]. http：//www.kmf.ac.cn/p/404/. （Citation： Xing Miao， Tian Li. Comparative Research on the Abstracts of Chinese Papers Generating Large Language Models at Home and Abroad： Taking the Field of Library and Information as an Example[J/OL]. Knowledge Management Forum， 2024， 9（5）： 437-447 [cite date]. http：//www.kmf.ac.cn/p/404/.）

1nbsp; 引言/Introduction

大語言模型通過大規模的數據集訓練來學習、識別、總結、翻譯、預測和生成文本以及其他內容，其快速發展也為編程、自然語言處理、搜索引擎、機器人等領域帶來了新的機遇。目前大語言模型的應用十分廣泛，包括服務商運用咨詢服務機器人等AI對話的形式，了解用戶多元化的需求及問題反饋；輔助搜索引擎使其搜索結果更匹配用戶的需求與提問；使應用與程序的開發實現技術上的突破；智能語音機器人為用戶提供多樣的便捷服務等[1]。

國外的大語言模型主要包括：OpenAI公司開發的ChatGPT，是目前最受全世界矚目的大語言模型，也是目前國外應用最廣泛的大語言模型；谷歌研發的Meena聊天機器人，擁有海量的數據，是一款多輪開放域對話機器人；Facebook發布的最新大語言模型LLaMA-2，是一款開源模型，能夠通過多種渠道獲取；微軟和英偉達（Nvidia）合作開發的Transformer語言模型MT-NLG能夠完成多種自然語言任務，并具有極高的準確性。

國內也開發了多種大語言模型，應用于各行業、各領域。清華大學與智譜AI聯合開發的ChatGLM-6B[2]是支持中英雙語問答的開源對話語言模型，同時針對中文進行了優化，具有62億個參數，是世界范圍內大熱的開源大語言模型之一。科大訊飛推出的星火認知大模型、字節跳動旗下的AI對話類產品Grace、復旦大學自然語言處理實驗室發布的MOSS、阿里云推出的通義千問語言模型等眾多國內大語言模型均陸續獲批上線，是國內人工智能生成技術不斷發展的產物，為企業、高校、專業機構提供了技術支撐，大語言模型的出現與廣泛應用也為人工智能生成內容（artificial intelligence generated content， AIGC）帶來了新的變革。百度開發的全新一代知識增強大語言模型文心一言在國內應用十分廣泛。公開數據顯示[3]，文心一言面向全社會開放一個多月，用戶規模達到4 500萬，開發者5.4萬，場景4 300個，應用825個，插件超過500個，凝聚800萬開發者，服務22萬家企事業單位，基于飛槳深度學習平臺創建了80萬個模型。2023年10月，文心大模型4.0宣布上線，是國內與ChatGPT在功能應用上相似的同類型大語言模型。因此，筆者將比較ChatGPT4.0（以下簡稱GPT）與基于文心大模型4.0研發的文心一言在摘要生成方面的異同。

2" 相關研究/Related research

2.1" 大語言模型在不同領域的應用研究

對于大語言模型應用領域的研究十分廣泛，涉及教育、管理決策、醫療健康等。D. Jungwirth等[4]著重研究ChatGPT對實現可持續發展目標的看法與影響，得出ChatGPT具備在教育、健康和通信等領域為可持續發展目標做出貢獻的能力，同時指出ChatGPT通過模仿人類較弱的寫作能力來提高自然語言處理能力的潛力；W. Choi等[5]則研究了用戶應用ChatGPT的體驗與感受，為制定正確運用人工智能等新興技術的相關政策提供了參考；D. Estau等[6]從處方審查、不良藥物反應識別、不良藥物反應因果關系評估以及藥物咨詢等方面，收集并評價ChatGPT給出的方案，從而總結ChatGPT在臨床藥學中的實踐能力與作用；J. H. Kim等[7]探討了ChatGPT對旅行者作出相關決策的影響，以及旅行者使用ChatGPT的場景及意圖，認為ChatGPT能夠輔助旅行者作出決策；翟其玲等[8]通過LDA（Latent Dirichlet Allocation）模型方法探析了AIGC應用的熱點，包括人工智能概念股、智能數字內容創作、數字經濟下的科技股投資趨勢、自然語言技術的突破等，總結了AIGC的輿情熱點，為AIGC的未來發展研究提供參考；張新新等[9]指出生成式智能出版內容未來會在出版大數據、高維度智能知識服務、出版+智能機器人、生成式智能出版物以及元宇宙出版等新產品、新業態等方面取得實質性突破；馬永強等[10]指出，以ChatGPT為代表的人工智能大模型等數智技術為科研創新提供較為準確的信息以及常規的知識聚合服務，為科研人員提供個性化、細粒度的知識和場景化的解決方案，輔助科研人員更好地進行科研創新服務。

2.2" 大語言模型輔助學術研究

國內外學者重點對包括ChatGPT在內的大語言模型在學科領域范圍內的實踐與影響進行研究。陸偉等[11]基于對ChatGPT本質及其系列模型的核心技術特征演進路徑進行分析，從支撐算法與技術、信息資源建設、信息組織與信息檢索、信息治理、內容安全與評價、人機智能交互與協同6個角度探析大模型對信息資源管理學科研究與實踐帶來的影響，指出在大語言模型發展的時代下信息資源管理學科機遇與挑戰并存；曹樹金等[12]表示生成式AI在綜合性知識服務、社會信息服務、學術信息服務和決策情報服務4個方面對情報領域的實踐有深刻的影響，情報學科能夠與AI技術交叉融合以實現學科創新發展；趙浜等[13]在Gpt-3.5-Turbo與ChatGLM-6B大語言模型上進行測試，詳細分析了國內外大語言模型在情報領域多方面典型工作中的運用能力水平；張宏玲等[14]指出，大語言模型的應用為圖書館數字人文工作帶來新的范式變革，未來數字人文工作的后臺支持將向大語言模型進行轉型，前臺的應用也會廣泛采用自然語言交互等形式，從而實現圖書館數字人文工作的智慧化轉型；張強等[15]表示，ChatGPT可助力圖書館的信息資源管理建設、智慧空間場景建設、智能咨詢服務建設和館員服務能力建設，從而介入智慧圖書館建設，并為其提供新思路新方向。在醫學研究領域，M. Zuckerman等[16]通過ChatGPT生成醫學教育評估項目，將ChatGPT生成的內容與專家編寫的項目統計數據進行比較，進一步確定ChatGPT最適合的問題類型，并納入最終的項目，從而提高了內容的創作效率；H. Alkaissi等[17]通過要求ChatGPT根據提供的病例特征撰寫對應疾病的發病機制，來探討ChatGPT在醫學科學寫作方面的作用以及影響。

2.3" 大語言模型生成內容研究

對大語言模型生成內容的研究主要集中在其特征、價值與創新性方面。王一博等[18]從實證角度分析AI生成與學者撰寫的中文論文摘要內容之間的檢測與差異性，歸納總結了AI生成的優缺點和寫作特征，并對ChatGPT和人類產出論文的引言內容進行分析對比；郭鑫等[19]通過查重測試檢驗人工生成內容的重復性，總結大語言模型生成內容與模式的特點；王雅琪等[20]探討了ChatGPT用于論文創新性評價的效果與可行性，在生命科學、細胞免疫等6個學術研究領域進行生成內容創新性測驗，認為GPT生成內容的創新性、準確性稍顯不足，可以成為學術寫作的輔助工具；M. Salvagno等[21]探討了ChatGPT在科學寫作中的應用，認為其生成內容有助于協助研究人員組織資料、生成或校對文章，但在運用生成內容過程中可能會出現剽竊、不準確等道德問題，并且不同國家之間的訪問性也存在不平衡等問題。此外，大語言模型生成內容在專利技術應用、醫患溝通等場景中都有重要作用。白如江等[22]提到ChatGPT在專利技術生成方面的應用，ChatGPT與技術功效矩陣任務相結合，拓展了ChatGPT與AIGC的應用場景，為AI技術輔助文本挖掘、信息抽取、專利分析提供了新的思路；J.W. Ayers等[23]對比評估公共社交媒體論壇中ChatGPT與醫生對于患者提出問題的回答內容，探究ChatGPT對患者問題提供優質和感同身受的回復的能力。

目前，對于大語言模型的研究大致分為人工智能生成與人類生成內容對比分析，AIGC的實際應用、發展與影響研究兩大方向，主要關注AIGC的理論與實踐應用研究，而針對國內外不同的代表性大語言模型工具各方面運行特征的對比分析較少。因此，筆者以相同主題和條件的指令為控制變量，對國外具有代表性的大語言模型GPT和國內應用廣泛、規模較大、功能完善的文心一言的生成內容進行多維度的分析比對，總結兩者的異同，探究大語言模型在中文內容生成方面的特點，為大語言模型后續的深度開發和發展研究提供參考。

3" 研究設計/Research design

選定特定的大語言模型作為研究對象，并確定要分析的數據源，作為大語言模型生成內容的主題條件。利用Python進行數據預處理，對預處理后的結果進行二次人工篩查，最后對處理后的文本數據進行文本分析，對比并總結分析后的結果。研究設計框架如圖1所示：

3.1" 數據準備

3.1.1" 大模型選擇

GPT作為國外大語言模型的代表之作，問世至今熱度仍舊不減，引發不同領域的研究與思考熱潮，最新發布的GPT4.0能力更強，應用范圍更加廣泛，影響力更廣，因此選取GPT4.0作為國外大語言模型的代表進行研究。

百度開發的文心一言是國內最早開發、最早啟動測試的類GPT大語言模型，是百度在文心大模型的技術基礎上研發的對話問答式語言模型。目前文心大模型已全面升級至文心大模型4.0。文心一言全面開放，人人皆可用，在對話功能實現方面與GPT異曲同工。因此，選取基于文心大模型4.0的文心一言作為國內大語言模型代表，對標GPT4.0進行進一步分析研究。

3.1.2" 數據源選擇

為探究大語言模型的創作能力以及生成內容的可靠性、準確性等要素特征，選取全國哲學社會科學辦公室公布的“2023年國家社科基金年度項目立項名單”中，所在學科為“圖書館、情報與文獻學”的課題名稱作為論文主題，共計121條。分別要求“GPT”和“文心一言”根據所提供的論文主題和指令要求，為每個主題撰寫中文論文摘要，再分別將二者生成的摘要內容匯總，作為后續數據處理與文本分析的數據源。以下為向大語言模型提供的指令：“我將提供一個中文學術主題，希望您根據此主題為我撰寫字數在250字到300字的中文論文摘要，主題是：……”。

3.2" 數據分析

3.2.1" 數據預處理

對大語言模型生成的摘要文本進行數據預處理，主要分為以下4個步驟：①創建自定義詞表。根據所選的121條主題條目，結合圖書情報領域專業術語，將特定詞匯、專有名詞、新興詞匯等寫入自定義詞表，避免后續分詞將專業詞匯拆分，影響數據分析結果。②設置停用詞表。為探究大語言模型對指令輸出的真實結果，選取哈工大停用詞表中標點符號及特殊符號部分，并添加少量無實際意義的字詞（如“的”“了”等），將其作為停用詞表，在分詞過程中清理不必要的詞語。③中文分詞及詞性標注。運用jieba分詞，結合自定義詞表與停用詞表對大語言模型生成的摘要文本分別進行分詞，并標注詞性。④數據統計。該過程的主要目的是為文本分析做準備。將分詞與詞性標注結果分別寫入文件，并分別統計高頻詞占比與詞性分布概率。統計大語言模型生成摘要的長度，以CSV文件的格式進行保存，方便后續處理分析。

3.2.2" 文本分析

采用文本分析、對比分析方法，包括高頻詞占比、詞性分布統計、句子數量對比、摘要長度分析等，揭示GPT與文心一言之間生成中文摘要的異同點。

分析文本中詞語的出現頻率，揭示詞語的重要性，統計分析大語言模型撰寫的摘要中各類詞匯的詞性，從中總結大語言模型內容生成的特點，發掘其寫作特征。在完成數據預處理后，將分詞與詞性標注結果分別寫入文件，并分別統計詞頻與詞性分布概率，分別按照從大到小的順序進行排列。對比兩者生成摘要中句子的數量，分析兩個大語言模型生成摘要的長度，對比兩者寫作的特征，以及是否符合所給指令的要求限制，進一步對比總結出兩者的異同。

3.3" 對比分析

對文本分析結果進行統計與對比分析，從詞、句、篇3個維度對比GPT生成摘要與文心一言生成摘要。此外，選擇圖書情報領域綜合性較強的中文核心期刊《圖書情報工作》作為對比對象，統計其2023年最新發布的121篇中文期刊論文摘要，主要從摘要平均字符數、摘要句子總數、摘要平均句子數、每句平均字數4個方面分別與GPT生成摘要與文心一言生成摘要進行對比，從而判斷大語言模型生成摘要是否符合中文摘要的形式特征。

4" 對比分析結果/Comparative analysis results

4.1" 高頻詞占比分析

高頻詞體現了文本中詞語的重要程度和運用情況，側面反映了撰寫方的側重點，從而凸顯寫作特點與用詞特征。由于文本篇幅不同，因此通過比較高頻詞在全部詞語中所占的比例，分析兩者生成摘要內容的用詞特征與習慣。再次對分詞結果進行人工篩查后，統計GPT生成和文心一言生成摘要內容的前20個高頻詞所占比進行對比分析，結果如表1所示：

數據顯示，在GPT生成摘要的高頻詞中，第一與第二位高頻詞所占比相差約為12個百分點，差距較大；文心一言生成摘要中第一與第二位高頻詞所占比相差約5個百分點，且“研究”一詞在兩個大語言模型生成摘要中，均位于高頻詞第一位。對比高頻詞在全部詞語中的占比可以發現，文心一言生成摘要的高頻詞占比均多于GPT生成摘要的高頻詞所占比，說明文心一言對于論文摘要寫作相關詞語的運用更為集中。對比前20個高頻詞語，發現GPT與文心一言生成摘要中有13個共同高頻詞（占比65%），包括“研究”“文化”“信息”“發展”等。除此之外，各有7個詞語（占比35%）非另一方的高頻詞，即表1中加粗詞語。

將大語言模型生成內容中的詞語詞性分為論文寫作中常見的4種類型，即名詞、動詞、動名詞與介詞，通過分詞詞性標注，分別統計GPT與文心一言生成的摘要文本中以上4類詞語的數量，如表2所示：

數據顯示，GPT與文心一言在中文摘要寫作詞語運用方面差距仍較大，GPT生成摘要中各詞性的詞語運用均多于文心一言生成摘要。結合表1可以發現，在GPT與文心一言生成摘要的前20個高頻詞中，名詞數量占比分別為40%、25%；動詞分別占比25%、35%；動名詞分別占比20%、15%；介詞分別占5%、10%。由此可見，GPT生成摘要中名詞與動名詞運用較多，文心一言生成摘要運用動詞與介詞較多，GPT與文心一言在中文摘要生成上的差異除詞語的含義和詞語的用法外，對于詞語詞性的運用也有明顯差別。

在詞頻對比方面，分析兩者生成摘要的高頻詞及詞性分布，可以看出GPT生成摘要中主要包含“通過”“提出”“包括”等與提出觀點與方法相關的表達，以及“數據”“用戶”“服務”等與提供的主題相關的名詞。文心一言生成摘要中主要包括“分析”“推動”“創新”“意義”等論文寫作表達常見的詞匯，更偏向于常規學術寫作的詞匯應用習慣。而GPT與文心一言生成摘要中均有“本文”“我們”“文章”等詞語字眼的出現，且詞頻較高，說明在這類詞語的運用上不貼合中文論文摘要寫作規范。針對生成摘要中學術寫作相關詞匯運用這一方面，應將中文論文寫作的常用詞及期刊中普遍列出的不應采用的詞語，寫入訓練集，并加強對大語言模型的訓練。

4.2" 摘要句子數量對比分析

以生成摘要中的句號為節點，每一句號處記為完整的一句話，據此統計GPT與文心一言生成摘要的句子數量。結果顯示，GPT生成摘要句子總數為1 209句，文心一言生成摘要句子總數為675句，因此推算121篇摘要的句子數量分別約為9句/篇和6句/篇，因此將期待平均值分別預設為9和6，生成GPT與文心一言生成摘要句子數量正態分布擬合直方圖，見圖2。

統計結果顯示，GPT生成摘要句子數量平均值為8.98句，句子數量在9—10句較多；文心一言生成摘要句子數量平均值為6.05句，句子一般分布在6句左右。GPT生成摘要句子數量數據分布均較為集中，說明GPT生成的每一篇摘要之間，句子數量差距較小。此外，句子數量過少的情況出現在文心一言生成的摘要中的頻率比GPT生成摘要的頻率要高；相反，GPT生成摘要中句子數量過多的頻率也大于文心一言生成摘要。

在句子數量對比方面，兩者生成摘要的句子總數相差354句，GPT生成摘要每篇句子數量都較多，普遍在9句左右，而文心一言生成摘要一般在6句左右，說明文心一言生成摘要的句子數量普遍不多，更加符合中文摘要簡明扼要的標準。

4.3" 摘要長度對比分析

摘要是論文寫作的第一部分，也是文章的濃縮精華，摘要長度在一定程度上衡量了摘要所包含的信息量以及摘要撰寫的詳細程度，過長的摘要也容易造成信息的冗余。探討大語言模型生成的摘要長度，以此分析大語言模型的寫作特征以及彼此之間的差異。分別統計GPT和文心一言生成的摘要長度，并據此繪制正態分布擬合直方圖（見圖3）。

結果顯示，GPT生成摘要長度的平均值為441.24個字符，均方差值為47.59個字符，文心一言生成摘要長度的平均值與均方差值分別為247.11個字符和18.40個字符。兩者生成的摘要長度平均值相差近200個字符，說明文心一言生成摘要的長度遠小于GPT生成摘要長度。文心一言生成摘要的正態分布曲線更高更窄，表示文心一言生成的摘要之間的長度差異性較小，分布比較集中，而GPT生成的摘要之間長度存在一定的差距，波動較大，數據分布較分散。

通過繪制兩者生成摘要長度的箱線圖（見圖4），進一步直觀地對比分析摘要長度之間的差異。結果顯示，GPT生成摘要長度的最大值為565個字符，最小值為335個字符，極差為230個字符；而文心一言生成摘要長度最大值為300個字符，最小值為201個字符，極差為99個字符，GPT與文心一言生成摘要的長度平均字數相差200字符左右。說明在主題與指令相同的情況下，GPT生成的摘要彼此之間的寫作長度差異較大，文心一言生成摘要長度整體較短，且差異較小。與所給指令中“字數在250字到300字”的要求相比，GPT生成的121篇摘要均不在指令所給范圍內，文心一言生成摘要中有54篇的字數在250—300字之間，占比約為45%，說明文心一言生成摘要更加符合指令要求，大語言模型在指令辨別、讀取及執行方面的準確度還應繼續加強與改進。

4.4" 與中文期刊摘要對比分析

選取《圖書情報工作》期刊中2023年第10期至第20期的121篇學術期刊的摘要，將GPT與文心一言生成摘要分別與其進行對比，主要分析大語言模型生成的中文摘要形式是否符合常規中文摘要的寫作規范，如表3所示：

對比結果顯示，GPT與文心一言生成摘要的長度與句子數量均多于期刊中學者撰寫的摘要，而摘要中每一句的平均字符數卻少于學者撰寫的，說明大語言模型生成摘要句子數量雖多，但每句字數較少，而學者撰寫的摘要句子總數較少，每句字數較多。綜合摘要句子數及平均字符數來看，文心一言生成摘要整體上較為貼近中文摘要寫作規范，大語言模型也應以更多的期刊論文為訓練集訓練其寫作與創作能力。

5" 結語/Conclusions

筆者主要從詞、句、篇3個方面分析了GPT與文心一言生成中文摘要內容的特征及異同點，對比兩者生成內容的高頻詞、句子數量、摘要長度等特征，發現大語言模型之間原創能力存在一定差距。最后與《圖書情報工作》期刊中收錄的學者撰寫摘要進行簡要對比，判斷大語言模型生成摘要是否貼合中文論文摘要寫作規范，為日后大語言模型的深度開發提供有益的參考。

經過對GPT與文心一言兩個國內外代表性大語言模型生成中文摘要的內容特征進行分析，發現大語言模型雖然在智能問答及學術寫作方面有著廣泛的應用并在不斷更新完善，但其生成的內容仍舊并非完全符合指令的需求，且內容質量有待商榷，對于學術論文寫作而言，其生成中文摘要的寫作規范與實際學術表達大不相同。大語言模型在學術論文寫作中發揮了一定的輔助作用，正確準確地運用其參與學術寫作等研究活動，需要學者、大模型開發商共同協作。大語言模型開發商應該更加側重模型的訓練和調試，及時豐富更新訓練集，提高大語言模型運行的準確度。

本文基于多維度分析對比了國內外大語言模型生成圖情領域中文論文摘要的特點與異同，未來可以針對大語言模型在多領域、多學科、多場景的應用與發展開展更加深入的研究。本文也存在一定的不足，例如僅針對圖書情報領域內的中文摘要進行對比研究，僅選擇兩個具有代表性的國內和國外大語言模型作為研究對象進行分析探討，對于大語言模型的訓練還不充分，不同的提問方式可能會產生不同的研究結果，因此在模型選擇、模型訓練語句的數量和多領域融合等方面還有待進一步深入探索。

參考文獻/References：

[1] 麗臺科技. 大型語言模型有哪些用途？大型語言模型如何運作呢？[EB/OL]. [2024-06-15]. https：//www.elecfans.com/d/2024516.html. （LEADTEK. What are the uses of large-scale language models？ how do large-scale language models work？ [EB/OL]. [2024-06-15]. https：//www.elecfans.com/d/2024516.html.）

[2] 清華大學. 國產對話模型ChatGLM啟動內測[EB/OL]. [2024-06-15]. https：//www.tsinghua.edu.cn/info/1182/102133.htm. （TSINGHUA UNIVERSITY. A domestic dialogue model， ChatGLM has started internal testing[EB/OL]. [2024-06-15]. https：//www.tsinghua.edu.cn/info/1182/102133.htm.）

[3] 百度. 最新成果！中國計算機大會現場王海峰揭秘文心大模型4.0[EB/OL]. [2024-06-15]. https：//mp.weixin.qq.com/s/K5WRrfIoDtxPkZIlgXo9xQ. （BAIDU. Latest achievement！ Wang Haifeng reveals ERNIE Bot4.0 at China computer conference [EB/OL]. [2024-06-15]. https：//mp.weixin.qq.com/s/K5WRrfIoDtxPkZIlgXo9xQ.）

[4] JUNGWIRTH D， HALUZA D. Artificial intelligence and the sustainable development goals： an exploratory study in the context of the society domain[J]. Journal of software engineering and applications， 2023， 16（4）： 91-112.

[5] CHOI W， ZHANG Y， STVILIA B. Exploring applications and user experience with generative AI tools： a content analysis of reddit posts on ChatGPT[J]. Proceedings of the Association for Information Science and Technology， 2023， 60（1）： 543-546.

[6] HUANG X R， ESTAU D， LIU X N， et al. Evaluating the performance of ChatGPT in clinical pharmacy： a comparative study of ChatGPT and clinical pharmacists[J]. British journal of clinical pharmacology， 2024， 90（1）： 232-238.

[7] KIM J H， KIM J， KIM S， et al. Effects of AI ChatGPT on travelers’ travel decision-making[J]. Tourism review， 2024， 79（5）： 1038-1057.

[8] 翟其玲， 張佳怡， 劉寶瑞， 等.基于LDA主題模型對AIGC的影響力分析[J]. 數據挖掘， 2023， 13（4）： 366-375. （ZHAI Q L， ZHANG J Y， LIU B R， et al. Influence analysis of AIGC based on LDA topic model[J]. Hans journal of data mining， 2023， 13（4）： 366-375.）

[9] 張新新， 黃如花.生成式智能出版的應用場景、風險挑戰與調治路徑[J]. 圖書情報知識， 2023， 40（5）： 77-86， 27. （ZHANG X X， HUANG R H. Application scenarios， risk challenges and regulatory pathways of generative intelligent publishing[J]. Documentation， information amp; knowledge， 2023， 40（5）： 77-86， 27.）

[10] 陸偉， 馬永強， 劉家偉， 等. 數智賦能的科研創新——基于數智技術的創新輔助框架探析[J]. 情報學報， 2023， 42（9）： 1009-1017. （LU W， MA Y Q， LIU J W， et al. Data intelligence empowered innovation： an exploration of the innovation assistance framework based on data intelligence technology[J]. Journal of the China Society for Scientific and Technical Information， 2023， 42（9）： 1009-1017.）

[11] 陸偉， 劉家偉， 馬永強， 等. ChatGPT為代表的大模型對信息資源管理的影響[J]. 圖書情報知識， 2023， 40（2）： 6-9， 70. （LU W， LIU J W， MA Y Q， et al. The influence of language models represented by ChatGPT on information resources management[J]. Documentation， information amp; knowledge， 2023， 40（2）： 6-9， 70.）

[12] 曹樹金， 曹茹燁. 從ChatGPT看生成式AI對情報學研究與實踐的影響[J]. 現代情報， 2023， 43（4）： 3-10. （CAO S J， CAO R Y. Influence of generative AI on the research and practice of information science from the perspective of ChatGPT[J]. Journal of modern information， 2023， 43（4）： 3-10.）

[13] 趙浜， 曹樹金. 國內外生成式AI大模型執行情報領域典型任務的測試分析[J]. 情報資料工作， 2023， 44（5）： 6-17. （ZHAO B， CAO S J. Test analysis of typical tasks in the information field performed by generative AI large models at home and abroad[J]. Information and documentation services， 2023， 44（5）： 6-17.）

[14] 張宏玲， 沈立力， 韓春磊， 等.大語言模型對圖書館數字人文工作的挑戰及應對思考[J]. 圖書館雜志， 2023， 42（11）： 31-39， 61. （ZHANG H L， SHEN L L， HAN C L， et al. Challenges and reflections on the practical application of large language model in digital humanities work at libraries[J]. Library journal， 2023， 42（11）： 31-39， 61.）

[15] 張強， 高穎， 趙逸淳， 等.ChatGPT在智慧圖書館建設中的機遇與挑戰[J]. 圖書館理論與實踐， 2023（6）： 116-122. （ZHANG Q， GAO Y， ZHAO Y C， et al. The opportunity and challenge of ChatGPT in the construction of intelligent library[J]. Library theory and practice， 2023（6）： 116-122.）

[16] ZUCKERMAN M， FLOOD R， TAN R J B， et al. ChatGPT for assessment writing[J]. Medical teacher， 2023， 45（11）： 1224-1227.

[17] ALKAISSI H， MCFARLANE S I. Artificial hallucinations in ChatGPT： implications in scientific writing[J]. Cureus journal of medical science， 2023， 15（2）： e35179.

[18] 王一博， 郭鑫， 劉智鋒， 等. AI生成與學者撰寫中文論文摘要的檢測與差異性比較研究[J]. 情報雜志， 2023， 42（9）： 127-134. （WANG Y B， GUO X， LIU Z F， et al. Detection and comparative study of differences between AI-generated and scholar-written Chinese abstracts[J]. Journal of intelligence， 2023， 42（9）： 127-134.）

[19] 郭鑫， 王一博， 王繼民.ChatGPT生成中文學術內容分析——以情報學領域為例[J]. 圖書館論壇， 2024， 44（3）： 134-143. （GUO X， WANG Y B， WANG J M. Feature analysis of Chinese academic content generated by ChatGPT： an example in the field of intelligence[J]. Library tribune， 2024， 44（3）： 134-143.）

[20] 王雅琪， 曹樹金.ChatGPT用于論文創新性評價的效果及可行性分析[J]. 情報資料工作， 2023， 44（5）： 28-38. （WANG Y Q， CAO S J. The effect and feasibility analysis of ChatGPT used in paper innovativeness evaluation[J]. Information and documentation services， 2023， 44（5）： 28-38.）

[21] SALVAGNO M， TACCONE F S， GERLI A G. Can artificial intelligence help for scientific writing？[J]. Critical care， 2023， 27（1）： 75-79.

[22] 白如江， 陳啟明， 張玉潔， 等. 基于ChatGPT+Prompt的專利技術功效實體自動生成研究[J]. 數據分析與知識發現， 2024， 8 （4）： 14-25. （BAI R J， CHEN Q M， ZHANG Y J， et al. Research on automatic entities generation of patent technology function matrix based on ChatGPT+Prompt[J]. Data analysis and knowledge discovery， 2024， 8（4）： 14-25.）

[23] AYERS J W， POLIAK A， DREDZE M， et al. Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum[J]. JAMA internal medicine， 2023， 183（6）： 589-596.

作者貢獻說明/Author contributions：

邢" 淼：文本分析，論文初稿撰寫；

田" 麗：研究設計，論文定稿。

Comparative Research on the Abstracts of Chinese Papers Generating Large Language Models at Home and Abroad： Taking the Field of Library and Information as an Example

Xing Miao1" Tian Li1，2

1Department of Management， Liaoning Normal University， Dalian 116082

2Dalian Public Culture and Social Development Research Center， Dalian 116399

Abstract： [Purpose/Significance] By comparing and analyzing the abstracts of Chinese papers generated by typical Large Language Models at home and abroad， we summarize the similarities and differences between the two， and provide references for the subsequent in-depth development of the Large Language Models and the development of research. [Method/Process] 121 topics in the discipline of “Library， Intelligence and Documentation “in the annual project of the National Social Science Foundation of China in 2023 were selected as the topics. The Chinese abstracts were generated by ChatGPT4.0 and ERNIE 4.0 respectively， and were analyzed in terms of the characteristics of high-frequency words， the distribution of words， the number of sentences， and the length of the abstract content to explore the similarities and differences of the content generated by the Large Language Models at home and abroad through the data preprocessing and the text analysis. Then， the comparison was also made with the abstracts written in the Chinese journal “Library and Intelligence Service” to determine whether the abstracts generated by the large language model are in line with the norms of Chinese thesis writing. [Result/Conclusion] The abstracts generated by ERNIE Bot are shorter， with fewer words， and more suitable for Chinese paper writing standards， while GPT generates abstracts with more words and sentences on average. By comparing the gaps and characteristics of the contents generated by the two typical Large Language Models， we can provide certain references for the improvement and further in-depth development of the Large Language Models.

Keywords： ChatGPT4.0" " ERNIE 4.0" " Chinese abstracts

Fund project（s）： Xing Miao， master candidate; Tian Li， professor， master supervisor， corresponding author， E-mail： 358879854@qq.com.

Received： 2024-05-23" " Published： 2024-09-18