基于大模型的輕量級智能出版知識服務：理論基礎與實現路徑

許潔　袁小群　朱瑞　孟繁永

摘 要 以ChatGPT為代表的大型預訓練模型（簡稱大模型）廣泛應用于信息抽取、自動摘要、問答、糾錯、續寫等，為出版行業帶來新機遇。然而，由于大模型訓練門檻高，出版行業利用大模型存在困難。武漢大學牽頭的語義出版與知識服務實驗室研發了基于大模型的輕量級智能出版知識服務平臺，為出版業低成本、高效率地利用大模型開展知識服務提供了解決方案。該平臺采用“大模型+知識檢索”和“預訓練+微調”兩條路徑來運用大模型開展智能出版知識服務。實現了真正意義上的低代碼、輕量化運行，減少了出版單位的負擔，為降本增效、高質量發展提供有效支撐。

關鍵詞 大模型；預訓練；智能出版；知識服務；出版大模型

大型預訓練模型最先出現在自然語言處理（NLP）領域，指計算機在大規模文本數據集上進行預訓練，學習語言的統計規律和語義關系。它通過學習數據中的模式和特征來獲取通用的知識表示，以便在各種具體任務中進行遷移學習滿足應用需求[1]。當前進行大型訓練的大規模數據集已經具有了多模態（multi-modal）特征，不僅包括文本，還包括視覺圖像、音頻、事件流、深度圖像、熱圖像等。正是由于大模型在多模態領域具有的超強遷移學習能力，人們普遍認為以ChatGPT為代表的通用大模型的誕生，意味著強人工智能的時代即將到來[2]。

大模型在生成內容方面表現出的卓越優勢使其廣泛應用于文本摘要、文字編輯、相似度檢測、作品評價、問答系統、續寫、糾錯等場景，以縮短出版選題、編輯、加工、審核、校對、銷售、服務等周期，提升效率，為出版業帶來前所未有的機遇。同時，大模型也帶來了知識產權爭議、出版倫理危機、擴大了多元群體信息鴻溝、加劇形成“信息繭房”，給出版業帶來了新挑戰。在此背景下，如何更好地利用大模型開展出版知識服務，促進出版業深度融合發展，成為迫切需要解決的問題。

1 大模型應用于出版行業的現狀

2018年6月，OpenAI開發的全球第一個引入Transformer架構的大規模預訓練模型GPT（Generative Pre-trained Transformer）發布。對這一架構的引入標志著預訓練技術成功激活了深度神經網絡對大規模無標注數據的自監督學習能力[3]。在GPU多機多卡算力和海量無標注文本數據的雙重支持下，預訓練模型打開了深度學習模型規模與性能齊飛的局面[4]。2020年，OpenAI將GPT升級為GPT-3，參數量從GPT-2的15億躍升至1 750億，能夠通過序列文本預測實現詩歌創作和聊天等功能[5]。2022年，OpenAI基于GPT-3.5推出了ChatGPT這一典型的生成式人工智能聊天機器人。ChatGPT采用“基于強化學習的人類反饋學習技術”，能夠進行零樣本學習和多語言處理，具有較強的邏輯推理能力和一定的遷移學習能力[6]。2023年12月，谷歌公司推出迄今為止能力最強的通用人工智能模型Gemini。據稱，該模型具備跨文本、圖像、音頻、視頻和代碼進行推理的能力，可以比以前的版本快近三倍地訓練大型人工智能模型[7]。

各種大模型層出不窮，人工智能生產力工具大發展，“百模大戰”之勢已然出現，圍繞超大規模預訓練模型展開的競爭日益白熱化，成為對海量數據、并行計算、模型學習能力的全方位考驗。

大模型在出版領域的應用最早可以追溯到智能投審稿系統和語言翻譯工具。全球三大學術與科技出版投審稿系統ScholarOne Manuscripts、Editorial Manager、Open Journal Systems都具備自動識別稿件結構、自動分配編輯和審稿人、智能比對查重等功能。其技術是基于WOS、Scopus、SciHub、Arxiv、Pubmed、GitHub等多種數據底座模型上的訓練調優，結合自指令學習、知識蒸餾、基于AI反饋的強化學習、價值對齊等技術，實現大模型能力的構建。

1.1 國際情況

最早使用大模型優化出版流程的出版企業代表之一是國際科技出版巨頭施普林格·自然（Springer Nature）集團。早在2019年4月1日，法蘭克福大學和該集團合作出版了世界上第一本完全由人工智能技術編寫的研究綜述Lithium-Ion Batteries。該書基于已撰寫完成的科研成果，借由人工智能技術，對語句或思想進行重新組織、凝練，創造性地生成新的語句[8]。2023年的法蘭克福書展上，施普林格·自然集團展示了授權作者使用GPT創作的德文圖書《GPT在財務、合規和審計中的應用》（Einsatzm?glichkeiten von GPT in Finance，Compliance und Audit）[9]。該書由作者團隊定義命令和提示語，然后由GPT逐章執行，以創建第一版手稿。每個階段，作者都會審閱大模型生成的內容，然后要求機器修改文本。隨后，該書作者和編輯對文本做進一步檢查、修正和補充，連接相關的數據來源，以確保出處正確。不久之后，施普林格·自然集團又推出一款AI寫作助手程序Curie。與通用的AI寫作應用程序不同，用于訓練Curie的大規模數據集為專業的學術文獻，涵蓋超過2 000多個特定細分研究領域的各種類型學術文獻，甚至包括已發表論文中的100多萬次編輯數據[10]。Curie專注于研究人員在專業寫作中的痛點，如譯為英文和英語語言潤色，以應對語法錯誤并改善文本質量。

當前國際出版巨頭對大模型的使用大多采用自主研發和與第三方或者開源大模型合作的方式兩條腿走路，一是可以降低大模型使用的成本，二是可以以優質資源置換技術。新聞出版巨頭施普林格出版集團（Axel Springer，并非Springer Nature）與ChatGPT開發機構OpenAI簽署協議。根據協議，OpenAI將付費使用施普林格旗下出版物的內容，以填充ChatGPT的答案并訓練其人工智能工具，施普林格除了可以獲取巨額收益，還將能夠使用OpenAI的技術來改進自己的產品[11]。

據調查，截至2023年12月中旬，全球出版企業50強中有8家外國企業已經將大模型運用于出版知識服務業務（見表1），另有9家出版企業明確表示雖然還未應用，但已經關注大模型和AI技術。

1.2 國內情況

國內眾多知名企業集團與高校研究院順應全球大模型發展的潮流，紛紛投入了對大模型的研究，同時各自取得了豐碩的成果，如騰訊的“混元”、華為的“盤古”、阿里巴巴達摩院的“通義”、百度的“文心一言”、北京智源人工智能研究院的“悟道”等。

大模型已經出現在國內教育出版、專業與學術出版、大眾出版等各個細分領域（見表2）。在學術出版領域，大模型主要用于整合研究文獻摘要與知識圖譜，發現潛在的研究主題與合作機會，對寫好的論文進行翻譯、潤色與查重，有利于學者做出科研決策。如知網的智能寫作平臺可以自動生成文檔和摘要，CNKI AI學術研究助手的全庫問答功能可以提升用戶體驗。在教育出版領域，大模型主要用于記錄學生的學習過程，對學生進行智能出題和智能評審，為學生提供個性化的學習建議。如人教社AI·漢語學習平臺和外研社的外研AIGC平臺都具有上述功能。在大眾出版領域，大模型主要用于根據作者輸入的關鍵詞、主題或特定要求，快速高效地生成有吸引力的內容。中文在線推出的“中文逍遙大模型”聲稱可以“一鍵生成萬字小說，一張圖片寫一部小說，一次讀懂一百萬字小說”，這無疑能極大激發網絡文學作者的創作靈感[12]。此外，大模型還在生成大量的策劃運營方案協助企業管理、提高出版審校工作的效率、簡化法律合同流程與規避法律風險方面發揮著巨大作用。

1.3 出版業運用大模型的困難與挑戰

盡管國內外一些大型出版企業和知識服務提供商已經將大模型運用到業務流改造升級中，但出版企業應用大模型還存在相當的困難，其中最突出的就是訓練大模型成本極高。

增加神經網絡的大小通常會提高準確性，但也會增加訓練模型的內存和計算要求[13]。大模型的一個主要趨勢是參數的數量越來越大，算法模型變得越來越復雜，需要超級計算能力來支持越來越大的模型訓練。目前，計算資源已經成為提高計算機智能研究水平的障礙。據Lambda Labs首席科學官Chuan Li介紹，擁有1 750億個參數的GPT-3因其巨大的每秒浮點計算量，單次訓練成本達到460萬美元。目前最主流的英偉達A100芯片，單次訓練的使用量應達到數百片，成本在3 000萬元人民幣左右[14]。此外，服務器擴容和硬件升級的成本也將占據相當大的比例。以上還僅僅是大語言模型訓練的非人工成本，更大的成本集中在人力上，招募人才、改善算法的投資會持續上升。具有高度結構復雜性和大量參數的大模型可以提高深度學習的性能，數字化浪潮帶來了應用、連接、終端、用戶以及數據量前所未有的增長，所有這些都需要巨大的計算能力。滿足如此快速增長的計算能力需求變得越來越具有挑戰性。因此，一般出版社不可能訓練自己的大模型。

對出版這樣一個重視社會價值的特殊行業來說，大模型的運用還存在版權、倫理與意識形態風險。一方面，利用大模型進行知識推理和內容生成的原理是根據已有內容生成新內容，從法律上看，誰是這些新內容的作者難以判斷，當前世界各國的法律條文和實際判例還沒有對人工智能創作物的作者身份歸屬予以明確和權威的判定。另一方面，大模型訓練集的數據映射著社會群體的思維偏見，算法通過對訓練集的歧視模仿而“學會”自動輸出具有價值傾向性的內容。曾有人用1.35億條仇恨言論信息訓練GPT-4chan語言模型，隨后該模型在不到24小時內發布并傳播了超過15 000條充滿暴力內容的帖子，且沒有人識別出這些內容來自AI[15]。此外，對人工智能的過度依賴會擾亂文化產品的意識形態功能，甚至會危害國家的意識形態安全。利用大模型生成的內容以“溫水煮青蛙”式的意識形態滲入使我國民眾在不知不覺中接受了多元文化的沖擊，對已有的文化價值理念產生動搖。同時，對人工智能的惡意使用和濫用易產生大量低俗化、粗淺化、媚俗化等不良內容資源，為錯誤文化價值觀的滋生提供了溫床[16]。

2 大模型賦能出版知識服務的理論基礎

廣義上，出版是對已有內容進行編輯加工，同時使之以某種方式大量復制并廣泛傳播的過程[17]。狹義上，出版是一項包括編輯、復制和發行三個基本要素的社會傳播活動[18]。我們認為，出版的本質是知識的生產和傳播[19]。分領域來看，如果說大眾出版的知識生產特征淹沒于信息提供、娛樂消遣、社會交往等大眾傳播的具體實用功能之中，那么專業與學術出版和教育出版則從誕生之日起就具備知識服務的典型特征，即通過創立“一系列技術和規范，使人類可以用一種令人生畏的新效率來利用世界上能夠記錄下來的知識儲備。”[20]只不過在不同的技術條件和社會環境下，出版向社會提供的服務以不同的形態和載體呈現出來。從以書籍、報刊、宣傳冊等印刷文化為代表的文獻服務時期；到以圖書數據庫、論文數據庫、專利數據庫和其他商業數據庫等產品為代表的情報服務時期；再到跨越產品形態和媒介形式，以用戶需求為核心的知識服務時期，“知識服務作為一種服務行為過程，早就被應用于出版業的服務實踐中?！盵21]

近年來，隨著大數據、語義網、知識圖譜、自然語言處理等技術的廣泛應用，出版行業的知識服務特征愈發凸顯，愛思唯爾、科睿唯安等國際科技出版巨頭率先完成從出版商到知識服務提供商的轉型，中國知網、知乎、豆瓣等平臺也宣稱自己以提供知識服務打造新型互聯網內容生態系統。當前環境下，出版知識服務以內容資源為依托，以解決問題引發的用戶需求為目標，基于知識拆分和知識庫構建，實現知識之間關系揭示、知識塊打碎與重新排列組合、知識動態更新、對用戶知識內化的引導以及對用戶知識共享的支持等功能，最終目標是向用戶提供以知識為核心的配套擴展服務，方便用戶在不同情境下獲取并利用這些知識，確保知識共享的最高水平。

大模型驅動的出版知識服務以智能計算為基礎，通過知識工程的方法實現知識推理，同時最終服務出版知識服務的各種不同場景，滿足不同用戶在不同場景下的個性化需求。從圖1中不難看出，大模型驅動的出版知識服務以知識庫構建為核心，向下以智能計算為基礎，向上通過知識推理實現各種不同場景下的出版知識服務應用。與傳統出版以文獻和篇章為生產對象不同，大模型驅動的出版知識服務客觀上要求出版內容資源以合適的粒度碎片化并進行知識組織，具體來說就是要將以篇章呈現的出版物內容資源碎片化為一個個知識單元。一般情況下，知識單元粒度越小，計算難度越大，對出版單位而言成本自然越高。但細粒度的知識單元更有利于知識挖掘和二次加工，更容易實現知識的結構化表達和重組，有利于出版企業提供更符合用戶需求的知識服務。

3 大模型賦能出版知識服務的實現路徑

從實現的角度來看，出版業利用大模型有兩種可行的路徑，一是“大模型+知識檢索”模式，二是“預訓練+微調”模式。

3.1 大模型+知識檢索

大模型+知識檢索（Knowledge Retrieval）模式的基本思路是把知識文檔進行切片，然后向量化，后續通過向量檢索進行召回，再作為上下文輸入到大模型進行歸納總結。和普通的文檔索引或日志索引不同，知識的向量化需要借助深度模型的語義化能力，存在文檔切分、向量模型部署和推理等步驟。但在知識向量化建庫過程中，部分領域如金融、醫藥、法律領域等的既有文檔量很高，新增量也很大。同時，為了召回效果的追求，對文檔的切分常常會采用按句或者按段進行多粒度的冗余存貯，導致被向量數據庫索引的知識條數可能達到一個非常大的量級，對知識向量數據庫的寫入和查詢性能帶來一定的挑戰。為此，可通過觸發式知識文件入庫機制，同時對文檔解析拆分并以特定方式向量化。

目前，大多數解決方案采用大模型集成框架Langchain中的遞歸字符文本拆分方法來將內容拆分成片段，部分解決方案采用有監督或半監督的方法實現內容的片段拆分。由于拆分的片段后續需要通過向量化模型進行推理，所以必須考慮向量化模型的最大序列長度的限制，以避免截斷現象而導致的語義不完整。主流的向量化模型分為兩類，對稱和非對稱。若應用系統不進行微調，可采用對稱召回，即查詢到問題的召回。但若應用于文檔片段知識，則建議使用非對稱召回模型，即查詢到文檔片段（Answer）的召回。

事實上，真實業務場景中文檔的規模在百到百萬這個數量級之間，按照冗余的多級召回方式，其對應的知識條目最高可能達到億的規模，導致計算規模巨大，必須并發進行，否則無法滿足知識新增和向量檢索效果迭代的要求。此外，由于切分的段落和句子相對于文檔數量也膨脹了很多倍，降低了向量模型的推理吞吐能力，進而拉低了整個流程的吞吐能力，因此有必要優化向量化模型，提高模型的吞吐能力。常見的優化方式有GPU實例推理，多節點彈性伸縮能力或者服務器側/客戶端側推理能力等措施。

3.2 預訓練+微調

大模型微調是指在已經訓練好的大型模型（如BERT、GPT等）的基礎上，通過在特定任務的數據集上進行進一步的訓練，以使模型更好地適應該任務。通過在增量預訓練模型的基礎上進行微調，可以節省訓練時間和計算資源，是一種可行的方案。具體來說，就是在“預訓練”大模型的基礎上做“增量”的“預訓練”，然后再微調。比如增加某個領域的英文語料預訓練，再微調，以到達該領域中英文內容自動生成的目的。

出版業利用預訓練大模型再微調的方式實現內生生產的機制機理是通過預訓練語言模型的兩步訓練流程來實現的。首先，在大規模無標注數據（如結構化的出版物文本和社交媒體用戶數據）上進行模型的預訓練，目的是學習通用的語言模式和語義理解能力。這一步驟使得模型能夠對語言的結構和含義有一定的理解，掌握數據的特征，同時能夠生成連貫的文本。接下來，在給定自然語言處理任務的小規模有標注數據上進行模型的微調。這些任務可以包括文本分類、命名實體識別、情感分析等。通過在這些任務上進行微調，模型可以快速提升在特定任務上的性能和準確度。微調的過程中，模型會根據任務的標注數據進行有監督學習，調整模型的參數和權重，使其更好地適應特定任務的要求。

最終，經過預訓練和微調，模型可以被部署為應用程序，用于解決出版業中的各種自然語言處理任務，比如自動生成摘要、撰寫審稿意見、針對不同社交媒體用戶生成不同推廣文案等。這種方法的優勢在于，通過預訓練大規模無標注數據，模型可以學習到豐富的語言知識和模式，從而在微調階段能夠更好地適應特定任務的需求，提高模型的性能和泛化能力。同時，這種方法還能夠減少對大規模標注數據的依賴，從而節省了數據標注的成本和時間。

與傳統的機器學習流程相比，預訓練語言模型具有以下三個優勢：①模型參數規模大。在預訓練階段充分利用大規模無標注數據，可以支持模型規模的增大，使系統更好地掌握通用語言能力。與此同時，模型只需要對少量特定任務的有標注數據進行微調即可完成下游任務學習，因此有標注數據的利用率很高。②模型具有強大的通用能力。在通用無標注語料上預訓練得到的同一個語言模型，只需要對不同特定任務的有標注數據進行微調即可應用于不同任務中，無需為每個任務專門設計模型。③模型綜合性能優秀。由于預訓練模型具備強大的通用語言能力，在每個特定任務上都能表現出超越僅使用該任務標注數據訓練模型所得到的性能。因此，大規模預訓練模型成為自然語言處理甚至整個人工智能領域的重要技術突破，有望將數據驅動的深度學習技術推向新的發展階段。

4 基于大模型的輕量級知識服務平臺實踐

綜上所述，出版行業可以通過“大模型+知識檢索”和“預訓練+微調”兩條路徑來運用大模型提供知識服務。武漢大學牽頭的國家新聞出版署科技與標準重點實驗室“語義出版與知識服務實驗室”綜合運用這兩種方法進行大模型開發并運用于出版實踐。

4.1 基于大模型的輕量級知識服務平臺技術架構

語義出版與知識服務實驗室從2019年開始就依托武漢大學信息管理學院開展了自然語言處理、文本挖掘和圖像解析方面的研究，2021年底開始自主大模型的訓練，積累了較大規模的基礎數據，在學術與專業出版、教育出版等細分方向上具備開發大模型應用的基礎。2022年起，語義出版與知識服務實驗室開始開發基于大模型的輕量級智能出版知識服務平臺，目標是集成已有的研究成果，開發出能夠針對不同應用場景開發出版智能應用的通用型平臺。如圖2所示，我們在充分利用武漢大學信息管理學院和語義出版與知識服務實驗室存量數據資源的基礎上，整合數據庫級別多模塊多模態數據的綜合應用方案，面向智能問答、自然語言生成/代碼生成、智能推薦、機器翻譯、語音識別和合成、圖片識別和生成等不同應用場景和不同領域知識（如農業知識、科技情報知識、大學生心理知識、出版專業基礎理論知識等）設計不同的任務、開發對應的應用系統，以一種應用場景和領域知識為主組合某幾種應用場景和領域知識。

從落地應用來看，該平臺一方面基于武漢大學信息管理學院在科技文獻處理方面積累的優勢和資源，結合自指令學習、知識蒸餾、基于AI反饋的強化學習、價值對齊等技術，實現模型能力的構建，已實現2.5B和7B兩個數量級的底座構建，輕量級模型完全自建、中量級模型指令微調和蒸餾實現。另一方面基于前期落地的輕量級應用，在多種數據在底座模型上進行訓練調優，最終選擇了在支持多模態信息處理能力、魯棒分析能力、多樣化輸出能力、場景適配的幾個方面相對比較均衡的ChatGLM進行實踐，降低了起步成本，保持了較穩定的更新能力。同時，在領域知識向量化建庫過程中，為了處理垂直領域知識文檔（如農業知識、科技論文文檔等）切分后產生的多粒度冗余存貯增加計算負擔、影響知識向量數據庫的寫入和查詢性能等問題，我們采用了大語言模型（LLM）+知識檢索（Knowledge Retrieval）的方式，通過觸發式知識文件入庫機制，對文檔解析拆分并以特殊方式進行向量化。

4.2 基于大模型的輕量級知識服務平臺應用案例

基于大模型的輕量級知識服務平臺構建了符合不同領域圖書特點的數據結構，可以保存和管理各種多模態數據的資源模塊，支持引入AI對基礎資源進行語義標注、加工處理、二次生成和人工數據審核，同時按照模型訓練的數據格式進行數據導出。知識服務應用需要結合數據資源的評估和用戶場景來設計，平臺構建了一體化的資源存儲架構、數據加工機制和標準化的輸出接口，以及基于智能模板池的應用發布模式，為知識服務應用提供了輕量級實施的可能，既滿足單書應用的快速發布，也支持資源整合型應用的發布，且所有資源可追溯。

圖3展示了使用該平臺開發的《出版學基礎》考研輔導機器人，用戶不必從頭到尾線性地閱讀73萬字的《出版學基礎》教材全文，直接通過用戶界面輸入問題，就可以得到基于教材內容的準確回答，這樣的方式極大地提升了教材使用的便利性。依托平臺的大模型基礎，通過“大模型+知識檢索”和“預訓練+微調”完成從書本文字到知識服務問答的產品開發，縮短了開發周期、降低了開發成本，實現了真正意義上的低代碼、輕量化運行，減少了出版社的負擔，為降本增效、高質量發展提供有效支撐。

綜上，基于大模型的輕量級知識服務平臺具備以下三個優點：①基于通用技術開發和“低代碼”設計的“輕量級”應用開發，用戶不需要專門搭建基礎設施和技術團隊，就可以利用平臺提供的底層框架和算法“低成本”“高速度”地開發出符合出版企業自身需求的出版知識服務應用。②提供豐富的智能服務和功能模塊，開發者可以根據應用需求選擇和集成所需的服務，如文本分類、實體識別、關系抽取等。這些智能服務能夠幫助開發者快速構建出版領域的智能功能，提高應用的效率和準確性。這些大模型經過訓練和優化，能夠在出版領域的特定任務中提供高效準確的智能支持。③高效部署和擴展：平臺提供了高效的應用部署和擴展機制，出版企業技術人員可以輕松將應用部署到云端或本地環境，同時根據需要進行橫向或縱向的擴展。這使得應用能夠適應不斷變化的需求和流量，保持高可用性和可擴展性。出版企業還可以根據自己的需求對領域模型進行調優、定制化訓練，以獲得更好的性能和適應性。

5 結語

從印刷機的發明到互聯網的普及，新技術的每一次應用都會給出版業帶來巨大的變革。依托大模型的人工智能作為一種新興顛覆性技術，正在釋放科技革命和產業變革積蓄的巨大能量，深刻改變著人類生產生活方式和思維方式，對出版產業帶來巨大的影響。在可以預見的未來，大模型將與內容生產和知識服務緊密結合，為出版行業降本增效、實現高質量發展提供新動能。語義出版與知識服務實驗室將對大模型進一步微調訓練和持續迭代，與各類出版機構、研究機構廣泛開展合作，平衡效果與成本，繼續訓練具有自主知識產權的大模型，選擇合適的壓縮和量化部署方式，為出版業提供輕量級的實施可能，為我國融合出版高質量發展服務。

參考文獻

[1] WANG X，CHEN G，QIAN G，et al.Large-scale multi-modal pre-trained models：A comprehensive survey[J].Machine Intelligence Research，2023，20（4）：447-482. http：/doi.org/ 10.1007/s11633-02.

[2] ZHU S Q，YU T，XU T，et al.Intelligent Computing：The Latest Advances，Challenges，and Future[J].Intell Comput，2023（2）：0006.

[3] BRAVO-MARQUEZ F，KHANCHANDANI A，PFAHRINGER B.Incremental word vectors for time-evolving sentiment lexicon induction[J].Cogn Comput：2022，14（1）：425-441.

[4] 唐杰，文繼榮，劉知遠.大規模預訓練模型[J].中國計算機學會通訊，2021（5）：8-10.

[5] 中國人工智能學會.中國人工智能系列白皮書：大模型技術（2023版）[R/OL].[2023-12-20].https：//www.caai.cn/index.php？s=/home/file/download/id/716.html.

[6] SHI J，LIU Y，ZHOU P，et al.BadGPT：Exploring Security Vulnerabilities of ChatGPT via Backdoor Attacks to InstructGPT[J].arXiv preprint arXiv，2023：2304.12298.

[7] Build with Google Gemini[EB/OL].[2023-12-20].Geminihttps：//ai.google.dev/？utm_source=google&utm_medium=cpc&utm_campaign=BRAND_Core_Brand&gad_source=1.

[8] 尹琨.施普林格˙自然集團以人工智能驅動學術出版創新[N].中國新聞出版廣電報：2023-10-23（08）.

[9] Vorteile，Herausforderungen，Praxisbeispiele.Einsatzm?glichkeiten von GPT in Finance，Compliance und Audit[EB/OL].[2023-12-20].https：//link.springer.com/book/10.1007/978-3-658-41419-1.

[10] Springer Nature introduces Curie，its AI-powered scientific writing assistant[EB/OL].[2023-12-20].https：//group.springernature.com/gp/group/media/press-releases/ai-powered-scientific-writing-assitant-launched/26176230.

[11] 方曉.里程碑合作：OpenAI將付費使用出版巨頭施普林格的新聞內容[EB/OL].（2022-12-14）[2023-12-20].https：//www.thepaper.cn/newsDetail_forward_25652294.

[12] 新京報.中文在線發布全球首個萬字大模型，優質內容在AI時代如何突圍？[EB/OL].（2023-10-14）[2023-12-20].https：//new.qq.com/rain/a/ 20231014A07YFV00.

[13] BROHAN A，BROWN N，CARBAJAL J，et al.Rt-1：Robotics transformer for real-world control at scale[J].arXiv preprint arXiv：2212.06817，2022.

[14] 江月.昂貴的ChatGPT背后 國產GPU“掘金”路漫漫[N].21世紀經濟報道，2023-02-10（012）.

[15] 邵文.“最邪惡”AI？由一億多條仇恨言論喂養，很難與人類區分[EB/OL].（2022-06-09）[2023-12-20].https：//m.thepaper.cn/newsDetail_forward_18501825.

[16] 方卿，丁靖佳.人工智能生成內容（AIGC）的三個出版學議題[J].出版科學，2023，31（2）：5-10.

[17] 羅紫初.出版學基礎[M].太原：山西人民出版社，2005：12.

[18] 方卿，許潔等.出版學基礎[M].武漢：武漢大學出版社，2023：25.

[19] 方卿，王一鳴.論出版的知識服務屬性與出版轉型路徑[J].出版科學，2020，28（1）：22-29.

[20] 伊麗莎白·愛森斯坦.作為變革動因的印刷機[M].何道寬，譯.北京：北京大學出版社，2010：26.

[21] 袁小群.基于知識庫的出版知識服務實現[M].武漢：武漢大學出版社，2021：17.

Lightweight Intelligent Publishing Knowledge Services Based on Large Models： Theoretical Foundations and Implementation Paths

Jie Xu1，2Xiaoqun Yuan1，2Rui Zhu2Fanyong Meng1

1 Semantic Publishing and Knowledge Service Laboratory，Beijing 100005，China；2 Institute of Publishing，Wuhan University，Wuhan 430064，China

Abstract Large pre-trained models represented by ChatGPT have found extensive applications in information extraction，automatic summarization，question-answer，error correction，and content generation etc.，bringing new opportunities for the publishing industry. However，the high training threshold of large models has posed challenges for their adoption in the publishing industry. The Semantic Publishing and Knowledge Service Laboratory led by Wuhan University has developed a lightweight intelligent publishing knowledge service platform based on large models，providing a solution for the publishing industry to use large models in knowledge services at low cost and high efficiency. The model adopts two approaches，“large model+knowledge retrieval”and“pre-training+fine-tuning”to apply large models in intelligent publishing knowledge services. It realizes true low-code and lightweight operation，reducing the burden on publishing units，and providing effective support for cost reduction and efficiency enhancement，and high-quality development.

Keywords Large model；Pre-training；Intelligent publishing；Knowledge services