機器學習在圖書館特藏文獻信息資源建設中的應用探究

李 靚 解登峰

作為最能體現圖書館個性、亮點與特色的資源，特藏資源（或特色資源）是圖書館資源的重要組成部分，“被置于圖書館內涵建設與外延發展的交叉點上，既是圖書館內涵的個性化標記，也是代表文化的標志性高地。特色資源能夠彌補圖書館間館藏同質化嚴重這一根本性缺陷，使圖書館在精神取向上獲得較大提升”[1]。

一、特藏文獻建設的“智慧化”發展需要

1.特藏文獻建設的概念與價值。特藏指按照一定的主題，遵循一定的收藏原則，經長期積累而形成或者經購買等渠道收集的比較完整的或具有相當數量的藏書，這些藏書并在相關學科領域內造成一定的影響[2]。具體來說，特藏指只有本館擁有而別館卻不具備，或本館收藏豐富而別館卻相對貧乏的各種館藏資源。

它的含義應該包括兩個方面，一是指圖書館收藏的獨具特色的那部分信息資源；二是指圖書館建設起來的信息資源體系所具有的特色[3]。保存珍貴的館藏資源，彰顯圖書館獨特的歷史文化積淀，以及建設某一主題或具有專業特色的資源來支持本校的學科建設或本地區的相關研究，是特藏最具代表性的兩個功能[4]。簡言之，特藏資源體現了一個圖書館特有的品位與風格，是某個圖書館與其他圖書館資源差異的所在。比如，中國海洋大學圖書館的“海洋文庫”，就是中國海洋大學圖書館獨具特色的資源。

美國研究型圖書館協會（Association of Research Libraries，ARL）在《作為核心的特藏》報告中指出：由于特藏（special collections）的卓越特性，特藏建設可以為研究型圖書館的發展提供豐富的機會，以實現其教學和科研任務[5]。在館藏資源日益同質化的當下，特藏資源日益成為圖書館聲譽、地位及核心競爭力的根本保障，建設特色鮮明的館藏體系成為圖書館界的共識，加強特藏文獻建設也成為圖書館資源建設的發展趨勢。

2.傳統模式無法適應新需求。與圖書館一般資源建設模式相同，特藏文獻建設模式主要由館員采訪和專家采訪兩種模式構成。兩者中，館員采訪是目前圖書館特藏文獻建設的主要模式，主要依據書商、出版社提供的出版物目錄，由館員依托主觀的采訪經驗作出決策。

具體而言，目前圖書館特藏文獻建設主要采用人工逐條通讀并予以標記的方法，在這個過程中，重點關注的字段是題名、叢編、提要、使用對象、主題詞及分類法。由于特藏文獻建設的特藏關鍵詞普遍較為明顯，因此與一般資源采訪決策活動相比，特藏文獻建設決策依據往往更為客觀，采訪過程相對程式化，采訪決策的不確定因素也較小。

眾所周知，隨著圖書館的發展進入智慧化時代，圖書館文獻資源建設工作隨之日趨“大數據化”，現有的特藏文獻建設工作卻始終處于在海量文獻中人工識別、篩選、采集特藏資源的狀態，導致特藏文獻人工采訪耗時、耗力的弊端日益暴露，不僅使特藏文獻建設的完整性毫無保障，無法滿足工作要求，而且也耗費了本就緊張的人力資源。因此，圖書館特藏文獻建設走上“智慧化”進程已經迫在眉睫，亟需開發“智慧化”工具，以實現特藏文獻建設的“智慧化”發展。

二、基于機器學習理論的解決途徑

1.人工智能時代的來臨。1956年，在達特茅斯大學對非生物智能研究的夏季會議（Dartmouth會議）上，以約翰·麥卡錫和明斯基為代表的一批數學、心理學、神經學、信息論、計算機科學等學科的學者提議將人工智能確立為一門獨立的學科，第一次在公開場合使用“Artificial Intelligence”這一名詞，被認為是“人工智能（AI）”正式誕生的標志[6]。人工智能的定義隨時間推移而演變，《人工智能標準化白皮書》（2018版）將其定義為：“人工智能是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，是感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術與應用系統。”[7]

迄今，人工智能作為一門交叉前沿學科已有六十余年的發展歷史，在諸多應用領域取得了舉世矚目的成就。近年來，隨著大數據、機器學習、云計算、物聯網等的興起，人工智能應用領域愈來愈廣，且已滲透到生活中各個行業。圖書館作為信息技術應用的先行者，對信息技術的發展有著高度的敏感性，持續關注人工智能技術的應用。Smith在1976年對人工智能在圖書館信息檢索系統中扮演角色和潛在作用進行了調查[8]。《2017新媒體聯盟地平線報告：圖書館版》將人工智能技術列為4—5年內重點關注的技術之一[9]。人工智能在圖書館領域的應用為圖書館的發展帶來劃時代的改變，推動圖書館由“傳統”向“智慧”轉型。

2.機器學習的理論背景。1959年，IBM公司的計算機科學專家亞瑟·塞繆爾提出了“機器學習”這一術語，并將它定義為：可以提供計算機能力而無需顯示編程的研究領域。機器學習是人工智能研究領域中極其重要的研究方向，也是發展最快的分支，是一門多領域交叉學科，涉及概率論、統計學、優化理論、算法復雜度理論等多門學科，專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構并使之不斷改善自身的性能[10]。

機器學習的主要內容是研究如何從數據中構建模型的學習算法。有了學習算法之后，將訓練數據集提供給它，算法就能根據這些數據構建模型，從而使用模型進行預測，因此機器學習的一個核心內容就是研究學習算法[11]。在機器學習的過程中，系統不斷進行自我完善和自我改進，當再次進行同樣或相似工作的時候，就能更好地完成目標。

機器學習包括監督學習和無監督學習。監督學習通過對數據的學習和訓練，獲得對應數據隱含規律的模型，對事實真相進行描述，并能夠利用模型，進行有效預測[12]。監督學習是建立在人類已有的經驗基礎上，對事物進行一定的描述、概括、分類，讓監督學習算法對數據進行訓練和學習，獲得可靠的描述模型，圖書館現有的數據，絕大部分為有標記數據，因此人工智能圖書館當前主要采用監督學習技術[13]。

3.機器學習工具的功能和作用。隨著我國文化產業的發展，圖書出版量劇增，一方面，為開展特藏資源建設工作創造了條件，提供了豐富的選擇；但另一方面，出版信息數據劇增導致的信息過載使特藏文獻的完整性無法得到保障，特藏文獻信息資源建設工作的質量和效率由于圖書館人力資源的有限亦隨之下降。如何解決有限的人力資源與不斷加重的信息過載問題之間的矛盾，成為特藏資源建設工作的當務之急。

在圖書館特藏文獻信息資源建設工作中引入機器學習工具，可以充分利用機器學習的優勢，使其在由采訪館員工作經驗構建的現有特藏文獻資源數據中不斷進行監督學習，從復雜、多維的數據中掌握特藏文獻內在本質特征，構建特藏文獻的描述模型，并最終實現特藏文獻資源的自動識別。

將機器學習引入特藏文獻信息資源建設，使特藏文獻信息資源建設工作實現由人工篩選向機器自動識別的轉化，不僅可以解放圖書館人力資源，進一步提高館員的工作效率與工作質量；還將構建出更加符合讀者興趣需求和特藏文獻信息資源建設需要的模型，從而不斷提高機器識別的準確性與讀者滿意度；同時，還可有效促進圖書館特藏文獻信息資源建設工作更快發展，在特藏文獻信息資源建設領域真正實現“智慧化”，并為機器學習在圖書館資源建設工作中的全面應用探索全新的解決方案。

將機器學習引入特藏文獻信息資源建設工作，基于機器學習算法開發機器學習工具，在特藏文獻建設工作中發揮具體而實際的輔助作用，不僅可以提高特藏文獻建設工作的質量與效率，而且能切實解決圖書館人力資源有限與數據信息過載的現實矛盾，對于推動特藏文獻建設和資源建設工作的智慧化進程是一條行之有效的解決途徑。

三、引入機器學習的創新性與可行性

1.創新性分析。要了解將機器學習應用于特藏文獻建設的理論創新價值，需要研究截至目前該領域的文獻發表情況。2019年10月，以“Cnki中國知網”為數據來源，以“智慧圖書館”為主題搜索文獻發文量，從檢索結果可以看出，我國圖書館界對智慧圖書館的研究熱度和發展速度從2010年開始進入快速增長期，隨后呈現出“井噴式”的發展態勢，關于智慧圖書館的研究現已進入并將繼續維持熱點狀態，其研究和實踐都在快速發展過程中（圖1）。然而，同樣在“Cnki中國知網”搜索“智慧圖書館”研究關鍵詞矩陣圖，卻未見資源建設領域相關研究（圖2）。

以“智慧圖書館”和“資源建設”為關鍵詞檢索智慧圖書館在資源建設領域的研究現狀，顯示相關文獻數量為0；以“機器學習”和“圖書館”為關鍵詞檢索機器學習在圖書館方向應用的研究現狀，顯示相關文獻數量為7；以“機器學習”和“文獻”為關鍵詞檢索機器學習在館藏文獻方面應用的研究現狀，顯示相關文獻數量為2；以“機器學習”和“資源建設”及“機器學習”和“特藏”為關鍵詞檢索機器學習在圖書館資源建設領域及特藏文獻建設領域應用的研究現狀，顯示相關文獻數量均為0。可見，智慧圖書館研究和探討的領域雖有一定廣度，但仍集中在宏觀理念層面，截至目前，在資源建設領域進行機器學習的研究現狀尚屬空白。將機器學習應用于圖書館特藏文獻建設領域，開發機器學習工具用于特藏文獻建設工作，可使圖書館特藏文獻建設領域走向“智慧化”，亦可推動“智慧圖書館”的研究與實踐，在學術層面極具研究價值。

2.可行性分析。在當今不斷繁榮的文獻出版背景下，圖書館特藏文獻建設的采訪目標主要由新出版書目數據和尚未采訪的歷史書目數據組成，而采訪館員在圖書館文獻資源建設工作中處理的書目數據為MARC數據。MARC即機器可讀目錄（Machine Readable Catalog）的英文縮寫，簡稱機讀目錄，就是以代碼形式和特定結構記錄在計算機存儲介質（磁帶、磁盤、光盤）上的用計算機識別和閱讀的目錄，MARC是國際性的機讀目錄格式標準[14]。

MARC數據受控于MARC格式標準、分類法、敘詞表等，具有標準的結構，屬于格式化數據，利于特征信息的提取。因此，圖書館特藏資源識別所依賴的特征信息都有規范的格式化表達，所需學習及處理的書目數據有標準的結構，有利于實現特征信息的提取。

在圖書館特藏文獻建設工作中，傳統的人工識別方式，通過人工逐條通讀書目數據中的題名、作者、主題詞、關鍵詞、出版社、出版時間、ISBN號、叢編、分類號、提要、使用對象等基本字段，發現符合特藏特征的信息后，作為特藏文獻予以標記。而機器學習識別同樣是對特藏文獻特征信息的識別與篩選，與人工識別所依據的字段相同，字段的信息語義與自然語言語義亦相同。機器完全可以通過學習掌握特藏資源特征信息，并對數據項目進行自動識別判斷，通過機器來學習特藏文獻特征以輔助或代替人工處理海量書目數據具有技術與工作的邏輯可行性。在新書出版種類繁多，采訪館員無法完整、全面地收集，更無法處理幾十萬至百萬條數量級的數據時，機器學習識別凸顯出了更快、更全的顯著優勢。

四、基于機器學習特藏文獻推薦系統開發與實踐

機器學習可以深入數據內部和細節，模仿人類思維機制和決策過程[15]。筆者研究團隊通過以下四個步驟來實現基于機器學習特藏文獻推薦系統——中國海洋大學涉海文獻推薦系統的開發與實踐。

1.數據儲備。不同于通過編程告訴計算機如何計算來完成特定的任務，機器學習是一種數據驅動方法，這意味著方法的核心是數據。對機器學習來說，往往需要大量的數據，才能獲得準確的學習和預測結果。因此，開發基于機器學習特藏文獻推薦系統首先應通過國家圖書館、商業數據庫、新華書店等銷售商、網絡搜索引擎等多種渠道全面收集圖書出版信息，并全面收集館藏特藏文獻書目數據，用作開發特藏文獻推薦系統所需的訓練數據、測試數據和建模數據等儲備數據。

通過隨機采樣，筆者研究團隊提取2009—2020年每年約2萬條書目數據，合計248719條，其中涉海書目數據共8509條，占比3.42%。將數據集隨機等分為10份，其中6份作為訓練集，2份作為驗證集，2份作為測試集。隨后，將原始數據集通過數據清洗、數據變化等方式，統一數據結構，剔除“噪聲”數據，并在整理過程中檢查數據合法性與完整性，補全不完整數據。

2.特征工程。特征工程，即通過特征提取、特征變換等方法將數據轉換成全新的帶有衍生特征的樣本數據。以海洋文獻為例，海洋文獻特征工程是指整理近年新書書目數據、涉海古文獻書目數據、民國涉海圖書書目數據、海洋文庫書目數據，用以構建建模需要的測試數據，在識別涉海圖書和理解書目數據的基礎上，通過屬性選擇和數據抽樣方法，確定用來識別目標的數據特征。特征工程是機器學習后期進行分析、預測、識別的先決條件，直接影響最終學習結果準確性，是開發基于機器學習特藏文獻推薦系統的重要基礎。

為全面標記涉海圖書特征，研究團隊十余年來分別對涉海古文獻[16]、民國時期涉海圖書[17]、截至2020年中國海洋大學圖書館館藏涉海圖書等涉海圖書進行了分析。對由特藏文獻構成的訓練數據進行分批次的訓練和學習，如訓練數據中的題名、作者、主題詞、關鍵詞、出版社、出版時間、ISBN號、叢編、分類號、提要、使用對象等字段信息，重點學習MARC數據中的200字段（題名與責任者）、225字段（叢編項）、330字段（提要文摘附注）、606字段（學科名稱主題）和690字段（中圖分類號）。對于訓練數據中的題名、作者、關鍵詞、出版社、使用對象等字段信息的屬性內容，經過預處理后調用jieba庫進行分詞處理，得到中文分詞文本作為Word2vec工具（gensim庫）的輸入，使用Skip-gram模型進行訓練，構建中文詞向量。而對于中圖分類號、出版社等帶有類別信息的字段，則將其進行One-Hot編碼，模型的代碼實現基于Google開源的機器學習框架TensorFlow，離散化能提升模型的非線性能力。

此階段，筆者研究團隊共收集涉海圖書二級分類號386個，其中出現即可判定涉海圖書的二級分類號103個，需要組配主題詞、高頻詞才能識別涉海圖書的二級分類號283個；共收集涉海主題詞2594個，其中出現即可判定涉海圖書的主題詞1240個，需要組配高頻詞、分類號才能識別涉海圖書的主題詞1354個；共收集涉海高頻詞471個。在此基礎上形成語義網絡，為機器學習算法設計提供參考，如2020年涉海圖書題名語義網絡（局部）（圖3，見下頁）。

圖3 2020年涉海圖書題名語義網絡（局部）

3.模型的建立與訓練。為了對模型進行充分的實驗驗證，筆者研究團隊先進行了詞向量的預訓練，同時基于TensorFlow框架實現了模型，隨后利用pythonflask注冊到java spring-cound eureka，進行微服務調用的線上部署。涉海文本識別是一個明顯的二分類任務，將注意力機制引入模型中，更多地專注于提取文本序列中字與字之間的影響力，從而實現基于BiLSTM-Attention的文本二分類命名實體識別模型，該模型由Embedding模塊、BiLSTM模塊及Self-Attention-CRF模塊組成，其框架結構見下圖（圖4）。

圖4 基于BiLSTM-Attention的文本二分類命名實體識別模型框架圖

模型具體實現步驟為：對待分類文本進行預處理，通過Embedding模塊將經過分詞處理后的輸入文本表示成向量的形式，將Embedding模塊對應的向量輸入至BiLSTM模塊中進行上下文特征的提取，然后將BiLSTM模塊的輸出輸入至Attention模塊中，最后得到文本分類結果。其中，Embedding模塊主要負責將輸入的中文詞語轉換成向量的形式，每個詞語對應的向量由預訓練得到的詞向量構成，中文詞向量來源于詞向量工具在中文語料庫上的語言模型訓練結果；BiLSTM模塊的輸入為Embedding模塊的輸出，使用雙向LSTM結構提取輸入文本的上下文特征，該模塊由LSTM前向層、LSTM后向層和拼接層組成；Attention模塊主要完成文本分類任務，其輸入為BiLSTM模塊的輸出，輸出為該文本的分類結果。

LSTM即長短期記憶網絡（Long Short-Term Memory Neural Network），是循環神經網絡（Recurrent Neural Network,RNN）的一種變體。LSTM通過“門”向單元狀態中添加或從中移除信息，每個“門”由sigmoid函數和逐點乘法運算組成，sigmoid函數輸出0到1之間的數值，描述了信息可以通過門限的程度，0為不讓任何信息通過，1為讓所有信息通過。“門”通過權重參數和偏置參數對信息進行篩選，決定信息通過多少，這些參數在網絡訓練過程中得到。每個LSTM單元通過遺忘門、輸入門和輸出門三個“門”來控制信息對單元狀態的影響。

在此階段后期，需要依托搜集并整理的測試數據，對所建立的應用模型進行訓練，使用構建好的應用模型對測試數據進行預測和數據標記。采用人工抽查的方法，將應用模型數據標記與人工標記進行比對，計算出模型數據標記的誤差，得出應用模型的使用滿意度和性能評估指標，并在下一次輸出結果前自我校正。在這個過程中，需要不斷增加測試數據的數量，從而使應用模型從錯誤中不斷吸取經驗。在模仿人工識別的過程中，應用模型把每一條測試數據都看作獨立認知對象，通過持續的自我學習、自我訓練和自我修正，不斷調試模型參數，在這個過程中實現自我優化，逐漸提高預測的準確性，最終完成特藏文獻推薦系統的開發。

4.推薦系統的完善。基于機器學習特藏文獻推薦系統開發完成后，要繼續分階段導入測試書目數據集，由推薦系統獨立處理，計算出符合特藏要求列入采訪目錄的文獻信息，以測試推薦系統在限定條件下進行最優化特藏文獻建設決策的效率與準確率，在優化過程中不斷提高推薦系統算法的性能。

后期，根據特藏文獻建設日常接觸到的數據類型、文件格式，實現推薦系統對多種類型數據的規范、兼容及轉換，以滿足圖書館特藏文獻建設多元化的實際工作要求，同時實現推薦系統的統計分析、提取規范詞匯表等功能，最終達到甚至超過人工標準的特藏文獻建設效果。在實際工作中，推薦系統會及時根據自身的不足，不斷在特藏文獻建設的全過程實現系統的完善、優化與升級。特藏文獻自動識別完成后，采訪館員還需要對推薦系統的識別結果進行最終的審核。

五、特藏文獻推薦系統應用效果及評價

下圖為筆者研究團隊現已開發出的特藏文獻推薦系統——中國海洋大學涉海文獻推薦系統工作界面（圖5），該推薦系統支持ISO文件格式及Excel文件格式的數據包輸入，識別結果支持Excel文件輸出。

圖5 中國海洋大學涉海文獻推薦系統工作界面

為驗證所開發涉海文獻推薦系統的有效性，得到該推薦系統科學的應用效果及評價，筆者在圖書供應商的征訂目錄中選取了最新的7個征訂目錄，將7個書目數據包中的合計11044條書目記錄作為樣本數據。在機器識別前，先由特藏采訪館員按每天1000條書目數據的工作量進行人工識別，隨后通過涉海文獻推薦系統進行機器識別，二者的識別結果對比如下表所示（表1）。

表1 書目數據測試結果

通過分析表1中數據可以發現：在11044條書目記錄中，共有217條涉海圖書書目數據，占比為1.965%；人工識別出170條，共漏檢52條，漏檢率為0.471%，共錯檢5條，錯檢率為0.045%；機器識別出298種，共漏檢20條，漏檢率為0.181%，共錯檢101條，錯檢率為0.915%。隨后，對上述數據進行比對分析可以發現。

1.機器識別效率極高，成本極低。以樣本數據為例，在11044條書目記錄中，涉海書目數據僅有217條，占比僅為1.965%，這凸顯出特藏文獻數量少這一基本特征，目前我國每年出版50多萬種圖書，以人工識別的方式在這50多萬種圖書中發現比例極低的涉海及其他特藏文獻，需要占用大量人力與大量時間，這與圖書館日漸緊張的人力資源之間呈現出不可調和、日益加劇的矛盾。面對同樣的樣本數據檢測任務，人工識別需要大約10天的檢測時間才能完成，機器識別則僅需不到10分鐘即可。毫無疑問，機器識別的引入對于圖書館特藏文獻建設工作的效率提升而言，無疑是飛躍式的質變。因此，基于機器學習開發的特藏文獻推薦系統可以成為人工識別工作的有效補充，能夠幫助圖書館采訪館員在浩如煙海的海量文獻中高效、便捷地發現和補足所需用的特藏文獻。

2.機器識別的漏檢率較低，錯檢率較高。通過觀察表1中的數據可以看出，機器學習的漏檢率僅為人工識別漏檢率的38.462%，可以較好地解決人工識別由于數據量巨大、人力不足等原因造成的漏檢問題。與漏檢率較低相對應的是，機器學習的錯檢率較高，這主要源于機器學習工具建立在書目文本信息基礎之上，對自然語言的正確認知能力有限，尤其在面對帶有修辭性質的自然語言時，極易造成機器錯檢。比如，當文本信息出現“知識的海洋”“文字的海洋”等看似與“海洋”相關但本意并非涉海的字眼時，機器識別就會錯將其歸為涉海圖書。正是由于機器識別的這一局限性，在樣本數據中，機器識別的錯檢率高達0.915%，是人工識別錯檢率的20余倍。因此，后期尚需不斷加強數據訓練及調試，以更好地應對此類特殊情況，從而提高機器識別的正確率。

3.將人工識別與機器識別有機結合。在特藏文獻建設的實際工作中，需要將人工識別與機器識別有機結合，具體情況具體分析地加以利用。比如，在日常特藏文獻建設工作中，應以人工識別為主，在人工識別后輔以機器識別進行二次篩選，從而有效避免人工識別對特藏文獻的漏檢現象及機器識別錯檢率較高的問題；而在特藏文獻的缺藏分析與補藏工作中，當面對幾十萬條數量級的書目數據時，機器識別的效率優勢就得以充分凸顯，此時則需以機器識別為主，先使用機器識別進行初步篩選，隨后由采訪館員對機器識別的結果進行最終的審核與判斷。只有將二者有機結合、相輔相成、互相補充、協同發力，才能更有效地促進圖書館特藏文獻建設工作。

六、結語

從本研究來看，基于機器學習實現特藏文獻資源的自動識別，緩解了信息過載，提升了特藏文獻資源建設工作的質量和效率，證實了機器學習應用理論、技術與算法有效，機器識別是人工識別的有效補充。隨著圖書館發展進入智慧化時代，資源建設走向智慧化也成為必然，基于機器學習的特藏文獻建設改變了資源建設工作，智慧化理論研究與實踐落后于圖書館其他業務，但要真正實現資源建設的智慧化愿景，還需進一步實踐印證和理論研究。