面向高校圖書館智慧服務的大語言模型探索性研究

關鍵詞： 高校圖書館； 智慧服務； 命名實體識別； 大語言模型

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．１２．０１０

〔中圖分類號〕ＴＰ３９１ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２４） １２－０１０２－２０

隨著大數(shù)據(jù)、人工智能技術的發(fā)展， 由數(shù)據(jù)和知識驅動的網(wǎng)絡信息服務已成為高校圖書館重要的服務新模式［１］ 。高校圖書館是知識傳播和交流的重要場所。智慧化服務已成為高校圖書館的發(fā)展趨勢， 有效地整合服務推廣平臺信息， 使服務模式的重要信息聯(lián)系起來， 是高校圖書館智慧化服務提高的關鍵［２］ 。命名實體識別（Ｎａｍｅｄ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ， ＮＥＲ）作為一種文本信息識別的關鍵技術， 不僅是正確理解文本內容的基礎， 同時也是智慧化服務的知識引擎。通過精準識別文本中的實體信息， 為信息檢索、知識圖譜構建和智能推薦等服務提供了強有力的支持［３］ 。采用命名實體識別技術獲取文本信息特征是模型深度學習和精確度提高的前提條件， 已成為利用信息資源的重要方法［４－５］ 。

高校圖書館對智慧服務的研究日益重視， 這是一種基于先進信息技術和圖書館資源的知識服務新模式， 通過主動搜索、嵌入式服務、高效信息分析和創(chuàng)新手段， 實現(xiàn)圖書館的智能化服務， 推動高校圖書館開展更多的知識服務和實踐活動。目前， 在圖情領域， 有關命名實體識別（ＮＥＲ）技術用于圖書館服務的拓展的文獻較為少見， 而在圖書館智慧服務的研究方面， 主要研究系統(tǒng)體系架構和模式的創(chuàng)新， 如拓展強調系統(tǒng)的架構， 創(chuàng)新推薦模式和重組知識資源［６］ ； 信息服務體系和能力提升的創(chuàng)新［７］ ；分析數(shù)字閱讀的數(shù)據(jù)細節(jié)和零數(shù)據(jù)， 論證管理和服務的價值［８］ 等方面的研究。基于算法研究的圖書館智慧服務方面， 僅局限于如通過爬蟲技術收集館藏的官網(wǎng)信息， 運用主題模型和聚類分析進行實體信息抽取和挖掘， 主要強調智慧資源和技術的應用，側重于資源的獲取與流通［９］ 。通過分析智慧圖書館文獻并使用ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型識別技術元素及其關系， 基于知識圖譜的技術結構關系和發(fā)展趨勢， 為圖書館智慧化轉型提供參考依據(jù)［１０］ 。另外，圖情領域語料數(shù)據(jù)在ＮＥＲ 任務中的缺乏， 影響了高校圖書館的智慧服務， 表現(xiàn)為模型訓練效果受限、信息檢索和資源推薦不精準、知識圖譜構建受阻及個性化服務水平拓展與應用缺少技術支撐等［１１－１２］ 。現(xiàn)今流行的大語言模型（ＬＬＭ）在自然語言處理領域的推廣已成為重要方向。ＬＬＭ 通過大規(guī)模無監(jiān)督預訓練學習語言模式， 再經(jīng)精調應用于各種ＮＬＰ 任務， 提升了文本理解和生成能力， 展示出邏輯思維和推理能力， 代表了當前技術前沿［１３］ 。大語言模型在數(shù)據(jù)標注質量方面表現(xiàn)較為一般， 還需在標注任務上制定細粒度標注規(guī)范， 設計文本標注提示模板和解析器， 并生成結構化標注數(shù)據(jù)， 為解決高質量標注語料缺乏及人工標注效率低下等問題提供有效的方法［１４］ 。大語言模型進行命名實體識別任務除了面臨可訓練數(shù)據(jù)集稀缺的問題之外， 還存在專業(yè)領域泛化能力差、多義詞和實體歧義、缺乏統(tǒng)一框架和可解釋性、錯誤傳播以及大語言模型計算資源需求高和訓練成本大的問題［１５］ 。圖書館界將大語言模型的ＮＥＲ 任務應用于圖書館智慧服務尚未見報道， 僅從大語言模型在智慧圖書館服務與應用拓展方面進行探討， 如采用大語言模型的提示詞用于圖書館的“ＣＩＦＥ” 框架， 包括建立多場景提示庫、制定設計標準、培養(yǎng)專業(yè)人才及測試性能規(guī)避風險［１６］ 。利用大語言模型驅動， 探討并分析智慧圖書館各階段特點和系統(tǒng)變化， 識別當前發(fā)展階段并向模型系統(tǒng)演進， 提出通過系統(tǒng)集成、業(yè)務優(yōu)化、數(shù)據(jù)安全及減少幻覺現(xiàn)象等策略應對挑戰(zhàn)［１７］ 。基于館藏的文獻資源分類生成任務， 利用微調后的大語言模型， 在中英文測試集上實現(xiàn)了較高的分類準確率［１８］ 。

綜上， 命名實體識別作為自然語言處理的一項基礎技術，專注于在文本中將實體類型預先定義，實現(xiàn)在大量的半結構化和非結構數(shù)據(jù)中識別出不同的實體， 為訓練模型提供結構化的實體信息。由于高校圖書館領域的研究具有一定的跨學科屬性， 面臨詞匯表達復雜多變、語料資源缺乏、人工標注效率低和成本高等挑戰(zhàn)［１１－１２，１９］ 。因此， 高校圖書館智慧服務利用ＮＥＲ 技術實現(xiàn)服務的拓展仍需進一步研究與探討， 特別是大語言模型在ＮＥＲ 任務下的應用與分析。如何優(yōu)化算法以適應圖情學領域的中文語言特點， 當前還存在一些挑戰(zhàn)， 如高質量的圖書館中文語料相對稀缺， 且標注工作復雜度高， 這些因素都限制了大語言模型在ＮＥＲ 上的性能發(fā)揮。因此， 基于語言模型在命名實體識別（ＮＥＲ）方面的應用， 為高校圖書館智慧服務開辟了新的路徑。特別是通過有效利用有限的標注數(shù)據(jù)和先進的語言模型， 如研究在有限的計算資源條件下如何實現(xiàn)高精度的實體識別和語言模型的部署， 為圖書館信息服務拓展提供有效支持， 探索這些技術的應用服務于高校圖書館智慧服務將是未來研究的重點方向。本文以命名實體識別任務為例， 探索針對高校圖書館場景的大語言模型構建方案， 將知識規(guī)則定義實體邊界和信息抽取技術ＵＩＥ［２０］ （Ｕｎｉｖｅｒｓａｌ ＩｎｆｏｒｍａｔｉｏｎＥｘｔｒａｃｔｉｏｎ）的快速自動標注法相結合， 構建了一種包含１６ 類領域實體的高校圖情領域命名實體識別語料庫ＵＬＩＣＮＥＲ（Ｕｎｉｖｅｒｓｉｔｙ Ｌｉｂｒａｒｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｈｉ?ｎｅｓｅ Ｎａｍｅｄ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ）。同時， 為降低因模型復雜度、參數(shù)過多而導致的訓練耗時長、成本高等問題， 本文采用改進輕量級結構的ＡＬＢＥＲＴ－ＢｉＬ?ＳＴＭ－ＣＲＦ 模型進行驗證試驗， 除分析案例在本文模型實體識別任務上的效果， 還運用知識圖譜技術對實體結構信息進行分析。此外， 還對比了通用大語言模型對案例的任務推理效果。最后， 探索構建高校圖書館智慧服務的大語言模型的研發(fā)和應用的可能性， 為推動高校圖書館智慧服務的創(chuàng)新和發(fā)展提供參考。

１相關工作概述

自２０１７ 年Ｇｏｏｇｌｅ 的論文“Ａｔｔｅｎｔｉｏｎ ｉｓ Ａｌｌ ＹｏｕＮｅｅｄ”［２１］ 提出基于注意力機制Ｔｒａｎｓｆｏｒｍｅｒ 模型以來，Ｔｒａｎｓｆｏｒｍｅｒ 模型通過增強捕捉長距離依賴關系的能力、加速訓練過程以及提升模型的表現(xiàn)力， 為ＮＥＲ任務提供了更高的準確性、更高效的訓練和更強的靈活性。２０１８ 年基于此架構的ＢＥＲＴ（ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）［２２］ 采用了增強預訓練詞向量模型的泛化能力， 可以更好地表征不同語境中的句法和語義信息。隨后的模型在Ｅｎｃｏｄｅｒ－ｏｎｌｙ、Ｄｅｃｏｄｅｒ－ｏｎｌｙ、ＥｎｃｏｄｅｒＤｅｃｏｄｅｒ 上又衍生出較多的流行模型， 如基于Ｔｒａｎｓｆｏｒｍｅｒ Ｄｅｃｏｄｅｒ結構的大規(guī)模參數(shù)訓練的ＧＰＴ 系列，ＧＰＴ 模型結合預訓練和微調完成自然語言處理任務， 通過無監(jiān)督學習預測下一個單詞， 再經(jīng)監(jiān)督微調適應特定任務［２３］ ； Ｍｅｔａ ＡＩ 公司發(fā)布基于同樣自注意力機制的ＬＬａＭＡ 模型， 其展示了強大的文本理解和泛化能力， 但需要大量計算資源和存儲空間， 導致部署成本高， 并且處理長文本時可能出現(xiàn)邏輯錯誤及可解釋性差的問題［２４］ 。國內也出現(xiàn)如百度飛漿框架的ＥＲＮＩＥ 系列， 通過將Ｔｒａｎｓｆｏｒｍｅｒ 的Ｅｎｃｏｄｅｒ 部分作為ＥＲＮＩＥ 模型的主干進行訓練， 主要通過改進掩碼語言模型捕捉完整語義信息， 融合外部知識提高實體識別準確率和魯棒性， 其在小數(shù)據(jù)集上表現(xiàn)不如ＢＥＲＴ 穩(wěn)定［２５］ ； 另外， ＸＬＮｅｔ 改進了Ｔｒａｎｓｆｏｒｍｅｒ的設計， 采用雙向訓練策略， 通過最大化所有可能的句子片段排列的概率來捕捉上下文信息， 避免了遮蔽沖突問題， 提升了模型在處理文本時的表現(xiàn)，包括但不限于命名實體識別、問答系統(tǒng)和文本分類等任務［２６］ 。因此，Ｔｒａｎｓｆｏｒｍｅｒ 技術被視為大語言模型和預訓練的重要技術框架。

隨著大語言模型參數(shù)規(guī)模的快速增長和算法的迭代更新， 目前基于算力、算法和數(shù)據(jù)方面的研究在實體識別方面提供了一些思路， 如ＧＰＴ模型研究用于實體識別方法的可用性方面， ＣｈａｔＧＰＴ 在小規(guī)模訓練數(shù)據(jù)情況下的表現(xiàn)優(yōu)于序列標注模型， 作為實體識別工具時性能表現(xiàn)較為穩(wěn)定， 適用于各學科少量標注數(shù)據(jù)場景， 其局限在于在測試英文摘要數(shù)據(jù)方面尚可， 且在未涵蓋中英文差異及全文噪聲問題上需要進一步過濾或構建新的方法， 以應對中文學術論文及全文實體標注數(shù)據(jù)集的下游任務中［２７］ 。在測評差異分析方面， 評估ＣｈａｔＧＰＴ 在中文信息抽取任務中的性能， 結果顯示， 在命名實體識別和關系抽取上不如專用模型， 且ＣｈａｔＧＰＴ 在中文場景應用還需更多地優(yōu)化Ｐｒｏｍｐｔ 設計［２８］ 。Ｋｅｌｏｔｈ ＶＫ 等［２９］ 將ＬＬａＭＡ－７Ｂ 模型應用于生物醫(yī)學領域，創(chuàng)建了ＢｉｏＮＥＲ－ＬＬａＭＡ 模型， 在公開數(shù)據(jù)集上測試顯示其Ｆ１ 值優(yōu)于ＧＰＴ－４ 的少量樣本學習能力，但該模型計算需求高且對特定領域術語適應性差，建議進一步通過ＬｏＲＡ 或ＰＥＦＴ 技術優(yōu)化， 并結合自指導方法及少量指令示例生成訓練數(shù)據(jù)。羅巒等［３０］提出融合ＥＲＮＩＥ 和改進Ｔｒａｎｓｆｏｒｍｅｒ 的中文ＮＥＲ 模型ＥＲＩＴ， 利用ＥＲＮＩＥ 詞向量減少分詞依賴， 避免錯誤傳播， 在《人民日報》數(shù)據(jù)集上獲得７９.４１％的Ｆ１ 值。Ｗａｎｇ Ｙ 等［３１］ 提出基于ＥＲＮＩＥ 的ＥＲＮＩＥＪｏｉｎｔ模型， 通過聯(lián)合訓練ＮＥＲ 和文本分類任務， 利用句子級和標記級特征， 在ＭＳＲＡ 和微博數(shù)據(jù)集上表現(xiàn)優(yōu)異， 但運行時間較長。陳明等［３２］ 針對農業(yè)領域文本特點， 提出ＸＬＮｅｔ－ＩＤＣＮＮ－ＣＲＦ 模型， 利用ＸＬＮｅｔ 增強語義表征和長距離依賴捕捉， 在自建農業(yè)數(shù)據(jù)集上達到９３.９１％的Ｆ１值。Ｙａｎ Ｒ 等［３３］ 提出ＸＬＮｅｔ－ＢｉＬＳＴＭ－ＣＲＦ 模型， 結合ＸＬＮｅｔ 的句子特征提取與ＢｉＬＳＴＭ－ＣＲＦ 的優(yōu)勢， 在ＣｏＮＬＬ－２００３ 和ＷＮＵＴ－２０１７ 數(shù)據(jù)集上顯著提升ＮＥＲ 性能， 未來可擴展至更多實體類別和其他ＮＬＰ 任務。

深度學習的命名實體識別技術， 在特征提取的效率和模型的精確度上已經(jīng)逐漸超過了傳統(tǒng)基于特征的方法［３４］ ， 如基于Ｔｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒ 框架的ＢＥＲＴ 預訓練語言模型， 經(jīng)過大量無監(jiān)督預訓練，能夠學習到豐富的語言知識， 并且ＢＥＲＴ 模型具有很好的可遷移性， 可以通過微調適應不同的下游任務從而提高訓練效果［３５］ 。由于參數(shù)量和成本的限制， ＢＥＲＴ模型對于長文本的處理能力有限， 因為它的輸入序列長度是固定的， 會影響模型的性能，這使得它在某些應用場景中難以發(fā)揮高效的作用［３６－３７］ 。可見， ＢＥＲＴ 模型因其強大的上下文理解能力， 能有效處理一詞多義現(xiàn)象， 生成符合語境的動態(tài)詞嵌入， 更準確地捕捉文本實體。然而， 在特定領域中， 它可能會誤識某些實體類型， 需結合語法規(guī)則和領域知識來提升準確性。此外， ＢＥＲＴ 的復雜性也意味著更高的計算資源需求， 而研究降低其訓練所需資源的同時， 保持其性能也較為關鍵。

為了應對ＢＥＲＴ 模型在計算資源消耗上的問題，Ｇｏｏｇｌｅ 又推出了ＡＬＢＥＲＴ［３６］（Ａ Ｌｉｔｅ ＢＥＲＴ）， 這是一種對ＢＥＲＴ 進行改進后的更輕量級的訓練模型。ＡＬ?ＢＥＲＴ 通過參數(shù)共享和減少層間連接數(shù)的方式， 在保持較高性能的同時， 大幅度降低了模型參數(shù)的數(shù)量， 從而減少了資源消耗并加速了推理速度。相應地， ＡＬＢＥＲＴ 模型在實體命名識別任務中， 能夠提供更為緊湊的語義表示， 從而在較少計算資源下也能達到甚至超過原有模型的性能。同時， 由于模型體積更小， ＡＬＢＥＲＴ可以在有限的計算資源條件下更容易進行微調和部署， 尤其是在資源受限的環(huán)境中擁有更好的可擴展性。另外， 盡管模型尺寸減小，ＡＬＢＥＲＴ 依然能在多項任務上保持甚至超越ＢＥＲＴ的性能水平， 這使得它成為實體命名識別任務的理想選擇之一［３８］ 。

因此，ＡＬＢＥＲＴ通過參數(shù)共享和減少嵌入維度，實現(xiàn)了輕量化設計， 即便在計算資源有限的情況下，也能高效完成命名實體識別任務。特別是在高校圖書館這樣的特定領域內， 當標注數(shù)據(jù)較少或需要一定知識規(guī)則拓展學習時， ＡＬＢＥＲＴ 這種輕量化且易于微調的特點， 使得ＡＬＢＥＲＴ 能快速適應新領域，它能夠利用預訓練階段學到豐富的語言知識， 更加適應實體識別任務， 特別是在保持在識別準確性和泛化能力方面。總之， 輕量級語言模型ＡＬＢＥＲＴ 的應用， 能夠在資源有限的環(huán)境下高效地完成實體識別任務， 精準地識別圖情學領域的特定實體， 對構建高校圖書館的智能服務適用信息發(fā)現(xiàn)、推廣應用服務發(fā)揮著關鍵作用。

２高校圖情領域測評語料采集方法與分析為分析

本文模型在自建語料庫上命名實體識別任務的性能表現(xiàn)， 本文根據(jù)圖情語料庫的特點構建一套基于預處理的自動標注方法， 實現(xiàn)高效的標注和數(shù)據(jù)采集， 其標注方法和流程如圖１ 所示。

２.１測評語料的特點分析

深刻認識數(shù)據(jù)賦能對高校圖書館智慧化服務的影響和價值， 有助于提升整體服務水平。不同領域文本的實體特點不同， 圖情領域與其他領域（如醫(yī)療、司法和輿情）的詞匯重疊相似度較低［１１－１２］ 。圖情領域的實體識別缺乏數(shù)據(jù)， 導致訓練數(shù)據(jù)不足，標注效率面臨挑戰(zhàn)。由于領域間知識遷移難度大，圖情領域的通用知識難以遷移到其他任務領域， 領域間的知識難以相互遷移且相關性不高， 需要高度定制化［３９］ 。因此， 構建垂直領域的命名實體識別模型， 詞分布不同的領域文本在實體識別效果會在模型中體現(xiàn)出不同的特征， 通過提出一套自動構建細粒度語料感知詞典的解決方案， 利用知識規(guī)則提升模型訓練精度， 需要設計不同的實體識別方法和分類。因此， 為了提升圖情領域內的實體識別精度，有必要專門采集并構建該領域的語料庫， 通過提出一套自動構建細粒度語料感知詞典的解決方案， 利用知識規(guī)則提升模型訓練精度， 進而設計出針對性的實體識別方法和分類策略。

２.２測評語料的采集與預處理

高校圖書館服務信息的文本不同于其他領域文本， 首先， 要在海量的非結構化文本中準確識別出相關實體， 關鍵在于有效利用信息資源， 特別是在詞匯更新和指代名詞等方面。其次， 語料的構建也需要特定詞義特征和領域知識規(guī)則進行匹配和整合， 降低成本和難度以實現(xiàn)領域或學科范圍內的應用價值。為保證數(shù)據(jù)的可靠性和準確性， 高校圖情領域的實體分類方法包含兩部分內容： 一是基于教育部《普通高等學校圖書館規(guī)程》［４０］ 的條例以及規(guī)程和圖書情報檢索領域內的《中國圖書館分類法》［４１］ 的語義特征。本文的命名實體類別的劃分需依據(jù)以上專業(yè)文獻和行業(yè)標準， 咨詢來自圖情學、信息科學及相關領域的專家意見， 還參考了現(xiàn)有數(shù)據(jù)庫參考目錄， 如圖書館目錄系統(tǒng)、主題詞表（ＵＤＣ、Ｄｅｗｅｙ 十進制分類法）， 它們都包含了大量已分類的實體實例。為適應信息推廣與應用的拓展對實體標簽的影響， 本文還考慮了圖書館的需求和服務對標簽的影響， 以訪談記錄、通過統(tǒng)計方法分析用戶關注服務的詞匯頻率和研究生、教授對于學術研究支持的需求反饋等為參考， 確保實體標簽的科學性和合理性。二是本文通過清博指數(shù)平臺［４２］ ，在微信榜單中刷選出高校圖書館微信服務信息的榜單， 涵蓋了全國開通微信服務的９４６所高校， 為了凸顯服務的特色和影響力， 抓取１ 年中（２０２１ 年６月—２０２２年６月）每日高校圖書館微信榜單前１００名的文本信息。在文本預處理之前， 本文使用Ｊｉｅ?ｂａ工具對參考書籍進行分詞提取， 并統(tǒng)計高校圖情內的相關實體， 獲得實體分詞處理后的結構特征和實體的層級結構， 即實體與類目之間存在的上下位詞關系。例如，“高校圖書館” 的上位詞是“文化結構”； “學科館員” 的上位詞是“圖書館學”。因此， 為篩選出可供使用的實體分類， 按照上下位的層級結構關系， 構建了基于知識規(guī)則的高校圖情領域實體， 使用Ｎｏｔｅｐａｄ＋＋對來源數(shù)據(jù)進行格式處理， 去除無效和特殊字符， 語料集涵蓋高校圖書館服務范圍、用戶需求、業(yè)務能力和文化推廣等方面的３６０００多條文本， 約６０萬字符。

２.３測評語料的標注方法

在高校圖情領域命名實體識別研究中， 由于缺乏對領域實體語料庫的研究， 提升實體識別效果存在較大難度。未處理的非結構化文本中包含大量實體， 詞匯和表達方式不同， 要實現(xiàn)有效識別需要處理詞匯量大、新詞更新快、指代復雜等問題。此外，構建高質量的圖書館情報領域語料庫較為困難， 需要收集表達特定圖書館業(yè)務與服務的文本， 進行人工標注確定實體類別， 并投入大量人力物力。要實現(xiàn)實體識別技術在圖書館情報領域的廣泛應用， 還需研發(fā)領域高效的實體識別模型， 整合領域知識約束模型的語義表示， 降低模型訓練和應用難度， 為后續(xù)大語言模型構建提供助力和有效支撐。

命名實體識別通過詞典的方法增強詞內語義和詞邊界信息是中文命名實體標注的有效方法［４３］ 。本文在領域專家的指導下， 通過對高校圖情訓練語料的剖析， 充分挖掘其隱含知識， 提出了一個基于詞典和規(guī)則的中文命名實體識別自動標注模型， 將詞信息和結構信息統(tǒng)一地結合起來，提高實體自動標注過程的匹配有效性。因此， 本文構建形成１６類細粒度的高校圖情領域的實體命名，分別是用戶類型、用戶姓名、用戶職務、節(jié)假日、活動時間、資源名稱、資源簡稱、服務名稱、服務簡稱、服務類別、文化名稱、文化簡稱、機構名稱、機構簡稱、地域名稱、地域簡稱。在實體命名領域，人工方法通常標注效率低， 誤差大， 不利于提升模型的訓練效果， 為保障實體標注的準確性和提高效率， 本文采用基于知識規(guī)則匹配與人工審核修正組合匹配的自動標注方式， 構建高校圖情領域的實體識別數(shù)據(jù)集， 標注過程如圖１所示。

在標注語料庫前， 基于知識規(guī)則設置實體名稱和實體標簽， 抽取部分樣本預先標注３０條高校圖情領域文本， 采用Ｄｏｃｃａｎｏ標注工具進行少量樣本標注， 并支持自動標注和多人協(xié)同標注。為確保標注質量和降低標注成本， 保證實體標注結果的一致性， 本文的標注人員由情報學方向的老師、學生和自然語言處理方向老師３ 名成員組成， 測評語料庫在標注期間保持每天７００多條文本句子速度， 持續(xù)時間為５０天。在此基礎上， 為提高標注效率， 標記人員需要經(jīng)過前期軟件操作培訓和熟悉標注規(guī)則。本文自動標注工具采用通用信息抽取技術ＵＩＥ框架， 來實現(xiàn)實體識別、關系抽取、事件抽取等任務的建模， 具有良好的遷移和泛化性能。目前， ＵＩＥ任務對于圖情領域的任務效果未達到文本實體識別的使用水平， 需要進行微調來提升實現(xiàn)自動識別的效果。為驗證ＵＩＥ 技術的有效性， 基于ＵＩＥ技術的訓練模型在不同領域的少量樣本自動標注準確率如表１所示。其中， 金融、醫(yī)療和互聯(lián)網(wǎng)領域的訓練樣本數(shù)均為５條， 實體類別數(shù)分別為４類、９類和４類。

在表２的不同領域數(shù)據(jù)集上進行試驗， 對無樣本的無訓練數(shù)據(jù)直接通過ＵＩＥ進行預測， 與少樣本的標注數(shù)據(jù)進行模型微調后的標注結果進行對比。實驗結果表明， ＵＩＥ在各類任務中可以通過少量標注數(shù)據(jù)訓練后進一步提升自動標注的準確率。本文構建的圖情語料在有無樣本條件下， 其準確率分別為３２.５６％和６８.３２％。同時， 為展現(xiàn)ＵＩＥ 技術在中文任務上自動標注的實體名稱和實體標簽的識別效果， 圖２和圖３ 分別展示了文本案例在是否采用樣本訓練的標注實際效果節(jié)選的對比。

由圖可知， 圖３的節(jié)選文本標注結果經(jīng)過少量樣本學習后， 其效果要優(yōu)于圖２ 無樣本學習的標注表現(xiàn)， 即基于少量樣本學習后的ＵＩＥ 技術的自動標注法避免了文本數(shù)據(jù)實體識別需要大量標注數(shù)據(jù)才能保證識別的效果， 可減少不必要的重復工作時間。通過采用自定義的實體規(guī)則、實體類型和標簽，并利用ＵＩＥ 技術的訓練模型實現(xiàn)自動標注法， 得到本文所構建領域內的標注文本比較可靠和便捷，在降低成本的同時， 標注效率有較大的提升。根據(jù)構建的知識規(guī)則和ＵＩＥ 技術對本文的訓練語料庫進行自動實體標記， 需對自動匹配結果中可能出現(xiàn)的錯誤標注、漏標注等問題以人工審核的方式進一步作修正， 且隨著文本被標注校驗正確后， 動態(tài)更新領域詞典與規(guī)則， 為后續(xù)的自動標注提供更高的效率。因此， 本文利用以上方法將高校圖情語料中的文本實體進行識別， 最終構建了ＵＬＩＣＮＥＲ 數(shù)據(jù)集， 包含１６ 類實體類型， 統(tǒng)計后得到７２２７２個實體， 實體數(shù)的統(tǒng)計及其標注符號情況如表２ 所示。

數(shù)據(jù)集基于ＢＩＯ規(guī)則對語言序列進行處理， 領域命名實體的數(shù)據(jù)集中每一行由兩列組成， 數(shù)據(jù)的兩列之間采用空格隔開， 其中第一列為文本內容，第二列是ＢＩＯ格式的標簽序列， 句子邊界用空行標識， 其中， Ｂ－代表實體的開頭， Ｉ－代表實體的中間或結尾， Ｏ－代表不屬于實體。例如， 用戶類型“新生”， 實體標簽為“ＰＥＲ＿ＬＸ”， 對應文本序列為［‘新’‘生’］，對應標簽序列為［‘Ｂ－ＰＥＲ＿ＬＸ’‘Ｉ－ＰＥＲ＿ＬＸ’］，其生成流程如圖４ 所示。

３ＡＬＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ模型結構

本文采用的ＡＬＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ模型包含５個部分， 輸入表示層、ＡＬＢＥＲＴ模型、ＢｉＬＳＴＭ 雙向長短期記憶網(wǎng)絡層、ＣＲＦ條件隨機場和預測輸出層。高校圖情領域訓練文本信息的命名實體識別依靠該模型完成。首先， 在訓練語料時， 輸入表示層使用基于ＢＩＯ 標注的文本提取字符級特征， 而后輸入到ＡＬＢＥＲＴ模型， 該模型對字符級特征之間的關系進行分析， 從而獲得字符級別的語義信息， 作為ＢＩＬ?ＳＴＭ 層的輸入； 其次，ＢＩＬＳＴＭ 層合并考慮對輸入文本特征的前后序列關系， 獲得的組合序列信息作為ＣＲＦ層的輸入；最后，基于ＣＲＦ的解碼層輸出預測的標簽序列， 獲取每個標識的優(yōu)化分類結果。模型整體結構如圖５ 所示。

３.１ ＡＬＢＥＲＴ 模型及其改進

為降低訓練成本， 本文采用ＡＬＢＥＲＴ模型。它是與ＢＥＲＴ模型類似的輕量級結構， 是將ＢＥＲＴ模型進行“瘦身”， 大幅減少參數(shù)量， 但不損失模型性能。其最大貢獻是使模型具備更強的成長性， 在模型變大時， 自然語言處理任務當中的推理能力能夠得到提高［３６］ 。ＡＬＢＥＲＴ 是通過Ｅｍｂｅｄｄｉｎｇ 層和Ｔｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒ 層構建的模型。其中， Ｅｍｂｅｄ?ｄｉｎｇ 輸入層包含３ 種Ｅｍｂｅｄｄｉｎｇ 編碼之和， 分別是輸入的靜態(tài)詞向量、位置編碼和語句分割編碼。Ｔｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒ 層包括兩個子層， 每個子層又包含１ 個自注意層（Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ）、兩個Ａｄｄ ＆ Ｎｏｒｍ層和１ 個前饋神經(jīng)網(wǎng)絡層（Ｆｅｅｄ Ｆｏｒｗａｒｄ）， 如圖６所示。另外， 在Ｅｎｃｏｄｅｒ 單元結構中， Ａｄｄ 操作（Ｘ＋Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ（Ｘ））表示殘差連接， 用于解決多層網(wǎng)絡訓練問題， 使網(wǎng)絡聚焦當前輸入的差異部分。Ｘ 作為Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ 或Ｆｅｅｄ Ｆｏｒｗａｒｄ 的輸入， 其輸出與輸入維度相同， 可以相加。Ｎｏｒｍ 指Ｌａｙｅｒ Ｎｏｒ?ｍａｌｉｚａｔｉｏｎ， 對每層神經(jīng)元的輸出進行標準化， 增強模型的泛化能力。Ｆｅｅｄ Ｆｏｒｗａｒｄ 層由兩層全連接層組成， 第一層使用激活函數(shù)（如ＲｅＬＵ）， 第二層不使用激活函數(shù)， 確保輸出與輸入維度一致。

ＡＬＢＥＲＴ 通過改進Ｔｒａｎｓｆｏｒｍｅｒ 技術， 進行參數(shù)精簡和性能優(yōu)化，具體調整策略是： ①嵌入矩陣分解： ＢＥＲＴ 模型的嵌入向量維度Ｅ 和隱藏層維度Ｈ相等， ＡＬＢＥＲＴ 將ＢＥＲＴ 中Ｖ×Ｅ 的嵌入矩陣分解為Ｖ×Ｅ＋Ｅ×Ｈ， 減少參數(shù)量； ②跨層參數(shù)共享： 即共享Ｔｒａｎｓｆｏｒｍｅｒ 中的全連接層和注意力層參數(shù)， 簡化模型。通過將ＢＥＲＴ 模型的隱藏層直接降低到一層， ＡＬＢＥＲＴ 模型極大地減少了模型參數(shù)量； ③句間連貫性損失： ＡＬＢＥＲＴ 用ＳＯＰ 替代ＮＳＰ， 專注于句子間的連貫性而非主題預測， 以改善語義理解。

３.２ＢｉＬＳＴＭ 與ＣＲＦ

ＡＬＢＥＲＴ 模型預訓練輸出缺乏順序的上下文關系， 導致文本抽取的相對位置信息不準確。為得到文本中序列特征， 本文構建了ＢｉＬＳＴＭ 模型用來提取文序列的上下文信息， 由兩個ＬＳＴＭ 模型組合，１ 個正向處理， １ 個反向處理， 兩個ＬＳＴＭ 輸出拼接形成詞向量作為詞的特征表達， 其結構如圖７ 所示。ＢｉＬＳＴＭ 中的兩個ＬＳＴＭ 參數(shù)相互獨立， 只共享ＢＥＲＴ 預訓練的Ｗｏｒｄ－ｅｍｂｅｄｄｉｎｇ。相比ＬＳＴＭ，ＢｉＬＳＴＭ 在文本特征提取效率和性能方面要優(yōu)于單個ＬＳＴＭ， 在梯度消失和爆炸問題上也取得良好效果［４４］ 。其中， ＬＳＴＭ 包含遺忘門、輸入門、輸出門，如圖８所示， 同時還包含１ 個隱藏狀態(tài)； 另外， 符號是按位做乘法； 是按位做加法。在每個時間步ｔ， 遺忘門ｆ（ｔ）決定保留多少前一狀態(tài)的信息，輸入門ｉ（ｔ）控制新信息的流入， 而輸出門ｏ（ｔ）決定當前狀態(tài)的輸出， 如式（１）～（６） 所示：

４實驗設置與結果分析

４.１實驗設置

本文實驗在Ｐｙｔｏｒｃｈ１.７ 版本框架下建立ＡＬ?ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型， 預訓練模型參考了Ｈｕｇ?ｇｉｎｇｆａｃｅ 模型中Ｖｏｉｄｆｕｌ 的ＡＬＢＥＲＴ＿Ｃｈｉｎｅｓｅ＿Ｂａｓｅ 模型［４７］ 的開源模型， 而該預訓練模型的參數(shù)量只有ＢＥＲＴ＿Ｃｈｉｎｅｓｅ＿Ｂａｓｅ 模型的１／１０ 左右， 極大地降低了資源消耗和時長， 并使用了維基百科數(shù)據(jù)進行訓練， 故它們對正式文本建模較好［４８］ 。實驗參數(shù)設置參考了文獻［３６］的方法， 其中預訓練模型含有１２ 個Ｔｒａｎｓｆｏｒｍｅｒ 層， ７６８ 維隱藏層和１２ 頭多頭注意力機制， 設置最大序列長度為１２８， ＢｉＬＳＴＭ 層包含２５６ 維隱藏層，Ｌｅａｒｎｉｎｇ ｒａｔｅ 為５ｅ－５， Ｂａｔｃｈ＿Ｓｉｚｅ 大小為３２，Ｄｒｏｐｏｕｔ 為０.５，優(yōu)化器選擇Ａｄａｍ，Ｅｐｏｃｈ 為１００ 輪。

另外，本文將構建的ＵＬＩＣＮＥＲ數(shù)據(jù)集按８∶１∶１的比例劃分為訓練集、驗證集和測試集。數(shù)據(jù)實體有１６ 個類目， 包含３６ ３０５個句子， ７７８ ８１２個字符，７２ ２７２個實體， 數(shù)據(jù)集組成情況如表３ 所示。

４.２實驗過程及分析

為驗證ＡＬＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ模型在高校圖情領域文本命名實體識別任務中的有效性， 本文設計了多個基準模型進行對比實驗， 具體結果如圖９所示。

由圖９可見， 本文采用的ＡＬＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ有效地提升了高校圖情領域文本命名實體識別的效果。ＢｉＬＳＴＭ－ＣＲＦ 模型在ＢｉＬＳＴＭ 模型的基礎上將樣本的高維空間復雜非線性變換， 而后將樣本的語義信息輸入到ＣＲＦ 預測最佳的標注序列， 準確率９４.１７％，高于后兩種模型９１.２６％和９３.１８％的準確率； ＢＥＲＴ－ＣＲＦ 模型通過ＢＥＲＴ 預訓練模型， 學習到狀態(tài)序列（輸出的標注）之間的關系效果好于ＢｉＬＳＴＭ 模型， 該模型與ＢｉＬＳＴＭ－ＣＲＦ 模型較為相似，只是采用ＢＥＲＴ 模型來訓練ＣＲＦ 模型中的發(fā)射矩陣能夠捕捉長距離依賴關系，但僅依靠ＣＲＦ 層可能無法充分利用序列標簽間的依賴關系， 其準確率為９７.８５％； ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型能夠并行獲取并優(yōu)化全局信息， 但該模型的訓練成本是所有對比模型中最高的， 因為加入ＢｉＬＳＴＭ層增強了序列建模能力， 但ＢＥＲＴ預訓練模型的參數(shù)量龐大，導致整體模型訓練時間和資源消耗較大， 其召回率、Ｆ１ 值和準確率分別為９８.５９％、９８.９１％和９８.７５％；ＡＬＢＥＲＴ－ＣＲＦ 模型通過改進ＢＥＲＴ 的輕量化模型，ＡＬＢＥＲＴ 通過參數(shù)共享減少模型大小， 但這可能會損失某些細微的語言結構信息， 影響ＮＥＲ 的精確度， 其準確率為９７.９８％， 召回率和Ｆ１ 值要低于ＢＥＲＴ－ＣＲＦ 的整體表現(xiàn)。ＡＬＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型在各項評價指標上優(yōu)于對比模型， 其召回率、Ｆ１值和準確率分別為９８.７６％、９８.９５％和９８.８６％，相比ＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型分別提升了０.１７％、０.０４％和０.１１％。這表明， 經(jīng)過參數(shù)精簡和優(yōu)化的ＡＬＢＥＲＴ 預訓練模型， 結合Ｔｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒ 與ＢｉＬＳＴＭ－ＣＲＦ， 不僅能準確識別實體， 還能實現(xiàn)更精準的實體命名。特別是在融合ＢｉＬＳＴＭ－ＣＲＦ 后，模型能夠更好地捕捉序列中的上下文依賴關系， 進一步增強了實體邊界的識別精度。ＢｉＬＳＴＭ 層的雙向信息傳遞與ＣＲＦ 層的全局最優(yōu)解選擇相結合，使模型在處理復雜文本結構時更為穩(wěn)健， 展現(xiàn)出在實體命名任務中的強大能力， 即ＡＬＢＥＲＴ 模型融合的泛化能力和魯棒性、領域適應的表現(xiàn)、增量學習以及從自定義嵌入方式增強模型對領域內特定實體類型的理解能力等方面表現(xiàn)良好。

另外， 本文在此次實驗環(huán)境下， 對ＡＬＢＥＲＴ 和ＢＥＲＴ模型對命名實體識別在成效方面的訓練時間和參數(shù)量進行了對比測試， 結果如表４所示。

由圖９ 和表４ 可知， 實體命名識別效率方面，ＡＬＢＥＲＴ 模型的參數(shù)僅為ＢＥＲＴ 模型訓練參數(shù)量的１１％， 并且性能得到提升的同時， 訓練效率比ＢＥＲＴＢｉＬＳＴＭ－ＣＲＦ 模型提升了近１.６ 倍， 說明ＡＬＢＥＲＴ模型比ＢＥＲＴ 模型能更好地克服在實際運用中面臨的ＧＰＵ／ＴＰＵ 和ＣＰＵ 限制， 為接下來的文本命名實體識別在空間調整模型規(guī)模的速度和效率提供了可能性， 也為領域內的下游任務調整提供更多操作空間。

為明確本文模型對不同類別實體的識別效果，基于ＡＬＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型的數(shù)據(jù)集ＵＬＩＣ?ＮＥＲ 的１６ 類命名實體的識別的準確率、召回率和Ｆ１ 值３ 個指標結果如表５ 所示。

由表５可知， 服務簡稱、文化名稱３ 個指標均為１００％， 該實體名稱屬于圖書館服務和文化推廣方面的內容， 專有名詞較多， 因此訓練效果理想；資源名稱和地域簡稱的召回率均為１００％， 這兩類實體均有明確的邊界特征。除了用戶職務的３ 個指標， 還有資源名稱、服務名稱、地域簡稱的準確率均小于９８％， 以及機構簡稱的召回率小于９８％； 其他１１類實體的準確率、召回率和Ｆ１ 值均高于９８％，說明ＡＬＢＥＲＴ－ＢｉＬＳＴＭ－ＣＲＦ 模型對高校圖情領域文本中的各類不同實體的識別效率效果良好。

５案例分析

近年來， 大語言模型已取得較大進展， 如國外代表性模型有ＯｐｅｎＡＩ 的ＧＰＴ 系列、Ｇｏｏｇｌｅ 的ＳｗｉｔｃｈＴｒａｎｓｆｏｒｍｅｒ 等， 以及Ｍｅｔａ 的相關研發(fā)。國內則以百度、阿里巴巴、華為等公司為主力， 推出了基于ＥＲＮＩＥ 模型的文小言，基于Ｍ６ 模型的通義千問、盤古等大模型。這些大語言模型參數(shù)規(guī)模在不斷發(fā)展， 并在多模態(tài)理解、對話交互等方面取得進步。同時， 在命名實體識別任務上， 大模型也展現(xiàn)出較強的能力， 可以快速準確地識別出文本中的人名、地名、組織機構等關鍵實體信息。為能夠反映高校圖書館領域實體之間的復雜關系， 也為更好地了解高校圖書館的信息服務特色和影響力， 本文從清博智能的本科高校圖書館微信榜單中隨機選出一篇ＷＣＩ 值較高的文章用于測試本文模型， 并與目前較為流行的國內外大語言訓練模型的實體識別效果進行對比。該篇推文是廣州大學圖書館發(fā)布的一篇原創(chuàng)性的公告， 題名為“廣州大學圖書館正門景觀設計方案征集”［４９］ ， 該篇推文擁有３０００＋的閱讀量， 在高校圖書館微信公眾號榜單中排名前列， 文章覆蓋的節(jié)選信息如表６ 所示。

５.１與國內外通用大語言模型識別效果對比

在自然語言處理研究中， 提示詞（Ｐｒｏｍｐｔ）作為引導大語言模型（ＬＬＭｓ）執(zhí)行特定任務的關鍵組成部分， 其設計與優(yōu)化對于提升模型性能至關重要［２８，５０，５２］ 。提示詞通常包含一系列指令或問題， 可以采用人工模式或與ＡＰＩ 方式結合測試完成命名實體識別的任務， 從而引導模型生成滿足特定需求的響應［５３－５４］ 。在實體命名識別任務中， 精心設計的提示詞能夠有效地激發(fā)模型對不同類型實體的識別能力。本文通過向大語言模型提供少量預先學習的實體標簽（Ｆｅｗ－ｓｈｏｔ 模式）， 以促進模型對實體標簽的學習， 并構建了一系列標準化提示詞的策略，旨在評估多種大語言模型在識別各類實體類型上的表現(xiàn)， 如表２ 所示。通過對不同模型在相同提示詞下產(chǎn)生的響應進行分析， 可以揭示這些模型在實體識別任務中的優(yōu)勢與局限性， 具體的流程如圖１０所示。

通過采用規(guī)范化的提示詞訓練大語言模型， 本文選取了國內外利用較多的大語言訓練模型進行案例文本信息識別， 得到實體標簽效果對比實驗， 分別選取了ＣｈａｔＧＰＴ ４.０、Ｃｌａｕｄｅ ２和國內的通義千問、文小言等模型。通過利用大語言訓練模型語言理解的能力， 學習預先進行小樣本的實體標注工作后， 輸出各個大語言模型學習案例為本文的實體標簽輸出結果， 其結果如表７所示。

為有效對比表７ 中大語言模型在提示詞訓練下得到的實體標簽結果， 結合本文標注方法（見第３章）， 對各個模型的正確和錯誤標簽進行分析， 如圖１１ 所示。

根據(jù)各個大語言模型對案例文本實體標簽的輸出結果， 可以總結出ＣｈａｔＧＰＴ、Ｃｌａｕｄｅ、通義千問和文小言４種模型在處理同一份中文文本時， 各自展示了不同的實體標簽識別能力。其中， ＣｈａｔＧＰＴ表現(xiàn)出較好的時間（如“２０２２年９ 月２１日至２０２２年１０月３１日”）和地點（如“圖書館大門、臺階、平臺”）標簽識別能力， 但是它錯誤地將“征集圖書館正門景觀設計方案” 標記為任務類型（Ｍｉｓｓｉｏｎ）。Ｃｌａｕｄｅ在識別機構名稱（如“廣州大學圖書館”）和時間（如“２０２２ 年”） 方面表現(xiàn)良好， 但錯誤地將“征集方” 歸類為組織名（ＯＲＧ＿ＭＣ）， 并且將“中軸線” 標記為地點（ＬＯＣ＿ＬＣ），而實際上文本中并未提及“中軸線”。通義千問能夠識別機構名稱和服務模式（如“藏、借、閱、詢一體化的服務模式”），但它在標簽化過程中出現(xiàn)了諸如將“全校師生”標記為參與者（ＰＡＲＴＩＣＩＰＡＮＴＳ）之類的錯誤。文小言在時間（如“２０２２ 年９ 月２１ 日”）和用戶（如“全體在校師生”）的識別上較為準確， 同時也能識別到人物（如“讀者”）， 但它錯誤地標記了地址類標簽（如“圖書館大門前” 標記ＬＯＣ＿ＳＦ）。

經(jīng)過各種模型的對比發(fā)現(xiàn)， 文小言和通義千問在中文命名實體識別中的表現(xiàn)要優(yōu)于ＣｈａｔＧＰＴ 和Ｃｌａｕｄｅ。表７ 中ＣｈａｔＧＰＴ 和Ｃｌａｕｄｅ 識別出的實體標簽皆少于文小言和通義千問模型， 二者都在描述該案例信息中指出了關鍵信息， 如設計圖書館正門平臺位置信息， 但ＣｈａｔＧＰＴ 識別的信息完整度要優(yōu)于Ｃｌａｕｄｅ， 這可能與模型學習能力有較大關系。文小言和通義千問識別實體的信息量要更豐富， 其中文小言在中文實體識別的信息量要多于通義千問，在該案例中描述具體的人物、服務需求和地點等更加詳細。當涉及特定專業(yè)性的文本時， 這些通用模型可能不如專門訓練過的模型那樣有效。例如， 在處理建筑設計領域的文本時， “自臺階至平臺景觀設計方案” 這一類專業(yè)術語可能會被通用模型錯誤地分類為“設計方案” （ＤＥＳＩＧＮ）， 而專用模型則可能更準確地將其分類為與主題服務（ＳＥＲ＿ＭＣ）或文化活動（ＣＵＬ＿ＭＣ）相關的特定類別。因此， 為了提升模型在專業(yè)領域內的識別準確性， 需要對其進行進一步的訓練或微調， 以學習更多領域內的專有名詞和概念。

綜上， 以上大語言模型基于少量樣本學習標注的方法， 可能會出現(xiàn)漏標或錯誤的情況。在圖情領域的實體標注和標簽方法方面， 現(xiàn)有的大語言模型由于訓練語料存在局限性， 標注識別的準確性和實用性不夠理想。這主要是由于大語言模型對圖情領域的預訓練語料不充分或者缺少包含專業(yè)的圖情語料文本。如果需要提高大語言模型在圖情領域實體識別任務上的效果， 模型結構的參數(shù)需要進一步訓練與優(yōu)化， 并采用包含豐富圖情文本的語料微調，以提升模型對圖情領域詞匯和語義的理解能力。同時， 還需要構建高質量的圖情領域標注數(shù)據(jù)集， 采用如知識蒸餾技術、半監(jiān)督學習等方法優(yōu)化與調整領域任務的準確性， 使模型在實體識別任務中提高實際應用的能力。為有效對比本文所構建的模型與這些大語言模型的實體識別效果， 給出了本案例的命名實體識別結果， 如圖１２和圖１３所示。

與上述４ 種模型相比， 本文模型在識別準確性和實體屬性方面有較大的優(yōu)勢， 能夠更有效地處理文本數(shù)據(jù)， 并生成更加準確的標簽。除識別的標簽較多外， 還可以識別專門服務于高校圖情領域的各類實體屬性標簽， 如包括ＳＥＲ＿?（服務類實體標簽）、ＯＲＧ＿?（組織類標簽）和ＰＥＲ＿?（用戶群體標簽）標簽較多， 凸顯該案例需要為圖書館提供專門的特殊服務， 有專門用戶群體需求。因此， 本文構建高效的圖情領域命名實體識別模型， 將為后續(xù)探索圖書館大語言的性能優(yōu)化提供有效的助力。如通過結構化知識源強化預訓練、提升標注后的訓練效果和優(yōu)化模型的框架等技術手段， 在知識服務領域產(chǎn)生協(xié)同效應， 也為相關領域的研究和實際應用提供可靠的參考和借鑒。

５.２基于本文模型的識別效果和知識圖譜分析

為了便于分析本文構建模型對輸入文本信息和識別出的實體與標簽效果， 本文構建此案例的知識圖譜內實體之間的數(shù)據(jù)結構關系， 將識別出的實體關系三元組存儲到Ｎｅｏ４ｊ 圖數(shù)據(jù)庫中， 結合高校圖情領域的實體、實體標簽、實體類型等信息， 構建高校圖情領域知識圖譜包含的實體節(jié)點和關系邊，以便高校圖書館在服務模式上更好地理解、探索實體之間的關系， 獲取高校圖書館的發(fā)展現(xiàn)狀、服務模式等方面的信息。本案例實體和標簽的知識圖譜如圖１４ 所示。

可見，本文案例知識圖譜圖形由文章標題信息和文章內容兩部分構成， 其中文章內容信息的圖譜所存儲內容是重要部分， 標題內容隱含的信息較少，二者以微信公眾號作為連接。另外， 還可以通過Ｎｅｏ４ｊ展示高校圖譜中各個實體之間的關系， 分析知識圖譜所存儲數(shù)據(jù)包括， 實體信息、實體標簽、實體類型， 如通過基于Ｎｅｏ４ｊ 數(shù)據(jù)庫的輸入Ｃｙｐｈｅｒ 查詢語句： “ＭＡＴＣＨ（ｓｔａｒｔＮｏｄｅ：‘文章內容’）＜－［：‘服務’］－（ｐｒｅＮｏｄｅ１：‘服務類型’）－［：ＳＥＲ＿ＬＸ］－（ｅｎｄ?Ｎｏｄｅ） ＲＥＴＵＲＮ ｓｔａｒｔＮｏｄｅ，ｐｒｅＮｏｄｅ１，ｅｎｄＮｏｄｅ”。即通過查詢的結果獲取服務類的內容文本和實體類型的實體信息， 如圖１５ 所示； 如換成查詢用戶類型同樣也可查到有關用戶識別實體具體信息， 如圖１６ 所示。因此， 構建知識圖譜分析高校圖情領域實體信息， 采用命名實體識別技術， 可以獲取領域內的發(fā)展現(xiàn)狀， 幫助獲取情報， 以結構化形式展示信息， 便于后續(xù)創(chuàng)新知識管理和推動知識共享等服務的開展。

６探索大語言模型技術，推動高校圖書館智慧服務領域的研發(fā)與應用

本文通過分析大語言模型在高校圖書館命名實體識別（ＮＥＲ）任務上的表現(xiàn)，并與本文構建的訓練模型進行對比分析， 發(fā)現(xiàn)當前高校圖書館在利用大語言模型技術方面仍需進一步研究與發(fā)展。鑒于ＮＥＲ技術在信息檢索和知識圖譜構建中的關鍵作用， 以大語言模型為基礎的ＮＥＲ技術對于提升高校圖書館的智能化服務水平具有重要意義。目前，大語言模型在高校圖書館領域的應用正處于持續(xù)探討階段，未來需在技術應用、服務框架探索和服務拓展等多個層面進一步開發(fā)與推廣，以有效推動高校圖書館智慧服務的創(chuàng)新發(fā)展。特別是結合大語言模型的優(yōu)勢， 以探索更高效、更精準的實體識別為基礎， 是助力實現(xiàn)智慧圖書館服務升級的重要途徑， 具體探討如下：

１） 探索基于圖書館領域的ＬｉｂｒａｒｙＧＰＴ 大語言模型

探索服務于圖書館領域的大語言模型ＬｉｂｒａｒｙＧ?ＰＴ 具有重要意義， 它將成為衡量高校圖書館服務質量提升和智慧服務轉型的重要指標。從圖書館的典型應用場景出發(fā)， 如讀者借閱服務、文獻知識問答、館藏推薦、微信公眾號服務等， 構建具備對應領域知識的高質量語料庫。同時， 還可借鑒利用最新神經(jīng)網(wǎng)絡的模型架構， 如ＡＬＢＥＲＴ、ＬａＭＤＡ、Ｑｗｅｎ、ＧＰＴ－４ Ｔｕｒｂｏ 等， 并使用超大規(guī)模的語料進行預訓練， 以提升對語義特征的理解能力。在此基礎上，獲取高校圖書館日常實際業(yè)務數(shù)據(jù)， 如讀者留言、查詢日志和館藏資源利用情況， 引入ＮＥＲ 技術等，以提高對圖書館專有名詞和實體的識別準確性， 從而優(yōu)化信息檢索和知識圖譜構建， 并且對預訓練模型進行微調、迭代優(yōu)化和驗證， 使其能夠準確理解圖書館領域的文本信息表達， 從而形成專業(yè)性強的ＬｉｂｒａｒｙＧＰＴ 模型。同時， ＬｉｂｒａｒｙＧＰＴ 的研發(fā)過程也需要以圖書館員的專業(yè)知識支持重要決策， 如訓練語料構建、業(yè)務場景設計、模型評測等方面。

構建面向圖書館服務的大語言模型， 可以借助大型企業(yè)開源的預訓練模型進行遷移學習， 從而快速實現(xiàn)圖書館領域的語言理解與生成。通過調用開源的大型語言模型， 使用圖書館領域的數(shù)據(jù)微調模型的參數(shù)， 使其適應特定的圖書館服務場景和任務，如生成書摘、用戶推薦、知識問答等。這種方式可以降低圖書館開展智慧化服務的技術門檻， 縮短研發(fā)周期。同時， 可以依托云服務企業(yè)的云計算平臺獲得算力支持， 解決圖書館部署大語言模型時在本地算力不足的難題， 加速在圖書館任務場景下的大語言模型部署和服務應用， 實現(xiàn)智慧服務能力的快速提升。總體來說， 充分利用企業(yè)開源的預訓練模型及其云服務， 可以給圖書館帶來技術與資源上的雙重支撐， 有力促進圖書館智慧服務的建設。

２） 遵循開放共享原則構建生態(tài)

基于圖書館智慧服務的定位和價值， 提倡圖書館建立聯(lián)盟實現(xiàn)共享數(shù)據(jù)、模型和技術。高校圖書館聯(lián)盟的建立可以實現(xiàn)數(shù)據(jù)補充、模型優(yōu)化、技術更新等方面的共享， 形成持續(xù)協(xié)作的技術共同體。例如， 不同圖書館可以共享自主開發(fā)或購買的用戶行為數(shù)據(jù)分析模型、文獻推薦系統(tǒng)、知識圖譜生成工具等， 降低重復建設和采購成本。此外， 圖書館聯(lián)盟內相關技術人員之間也可以進行密切合作， 共同針對圖書館領域的特點與軟硬件企業(yè)的外部機構合作和探索信息處理與知識服務的新技術。這種協(xié)作不僅可以節(jié)省研發(fā)投入， 也有利于形成統(tǒng)一的技術標準， 整合校內外資源， 形成開放聯(lián)合的服務生態(tài)。而這些共享的數(shù)字資源、智能化模型和新技術，都是高校圖書館實現(xiàn)從傳統(tǒng)服務向智慧化服務轉型的重要基礎。

３）推動高校圖書館＋ＡＩＧＣ 產(chǎn)業(yè)的研發(fā)與應用

推動面向圖書館領域的大語言模型的產(chǎn)業(yè)化應用， 不僅是當前圖書館智慧服務發(fā)展的必然趨勢，也是提升圖書館服務能力和服務質量的迫切需求。當前業(yè)界對基于生成式算法和大模型的ＡＩＧＣ 或ＡＩ智能體的創(chuàng)新模式對智慧圖書館模式構建與實現(xiàn)路徑研究主要集中于以信息生態(tài)理論為基礎［５５］ 、圖書館服務體系創(chuàng)新［５６］ 、智慧閱讀推廣模式［５７］ 以及學科知識服務［５８－５９］ 等方面， 如分析ＣｈａｔＧＰＴ 為智慧圖書館優(yōu)化基礎設施、創(chuàng)新服務模式和提升服務水平提供了技術支持， 但基于構建ＡＩＧＣ 的圖書館轉型框架的轉型升級路徑還存在風險與挑戰(zhàn)［６０－６１］ 。

可見， 圖書館的角色正在從傳統(tǒng)的知識存儲中心轉變?yōu)楝F(xiàn)代的智慧交流場所。由于當前尚未開發(fā)出圖書館專業(yè)性的大語言服務模型和技術應用， 因此， 未來高校圖書館需要開發(fā)基于以ＬｉｂｒａｒｙＧＰＴ 為基礎框架的人工智能生成內容技術， 加速知識服務領域的產(chǎn)業(yè)化進程， 促使信息處理方式從被動響應向主動服務轉變， 積極布局基于大語言模型ＡＩ 智能體對圖書館智慧服務的拓展和研究。具體而言， 這包括以下幾個方面的舉措： ①面向用戶的智能服務應用開發(fā)。開發(fā)智能的書籍推薦系統(tǒng)、個性化閱讀助手、語音導覽服務以及支持多語言交互的知識問答機器人， 形成高校圖書館ＡＩ 智能體的服務。這些應用將極大提升用戶的使用體驗， 使圖書館服務更加貼近用戶需求； ②為圖書管理提供智能化支持。實現(xiàn)圖書智能分類、借還書流程自動化以及基于數(shù)據(jù)分析的館藏規(guī)劃和運營決策支持， 提高圖書館內部運作效率， 減輕工作人員負擔， 確保資源分配更加合理； ③與合作企業(yè)共建生態(tài)系統(tǒng)。與出版商建立書籍信息互聯(lián)共享機制， 與硬件提供商合作開發(fā)各類自助服務產(chǎn)品（如翻譯工具、數(shù)字閱讀設備等）， 并通過設立創(chuàng)新創(chuàng)業(yè)平臺支持開發(fā)者創(chuàng)造更多有價值的圖書館應用； ④探索服務的商業(yè)化模式。對部分高級查詢服務實行收費制度， 推出訂閱服務或對特定增值服務進行計費， 以此獲得持續(xù)的資金支持， 保障圖書館服務的長期穩(wěn)定發(fā)展； ⑤多渠道推廣應用實踐案例。舉辦圖書館智能應用創(chuàng)意大賽， 鼓勵技術創(chuàng)新； 利用社交媒體平臺（如微信、抖音、微博等）進行圖書館智能服務的推廣宣傳， 吸引更多公眾參與其中， 形成良好的社會效應。

綜上， 本文通過探討圖書館領域的ＬｉｂｒａｒｙＧＰＴ大語言模型的構建， 從技術框架、合作共享、服務生態(tài)構建、ＡＩＧＣ 研發(fā)與應用等角度分析了對圖書館服務的拓展和優(yōu)化升級思路， 探討人工智能時代下的圖書館智慧服務的變革與發(fā)展， 對未來圖書館智慧服務的可持續(xù)發(fā)展具有至關重要的意義。