圖書館多源大數據融合研究：問題與挑戰

摘 要 隨著大數據的關聯和交叉，圖書館的數據特征和實際應用需求都發生了變化，如何利用多源大數據的融合實現大數據價值最大化，是圖書館當下亟待解決的重要問題。論文分析了圖書館多源大數據的特征，討論了大數據融合可能帶來的挑戰和問題，并且構建了大數據環境下圖書館的多源大數據融合與服務決策框架模型，有助于實現圖書館的信息資源整合。

關鍵詞 圖書館 多源大數據 大數據融合

分類號 G255.76

DOI 10.16810/j.cnki.1672-514X.2017.01.007

Research on the Multi-source Big Data Fusion for Libraries：Issues and

Challenges

Ma Xiaoting

Abstract Data characteristics and practical application requirements have changed in libraries because of the link and crossover of big data. The immediate problem to be solved in library is how to use the multi-source big data fusion to achieve the maximum value of big data. This paper analyzes the features of multi-source big data in library， and discusses the challenges that may be caused by multi-source big data fusion. Also， a model of the multi-source big data fusion and service decisions for libraries under the big data environment is proposed， which will help the library to realize the information resource integration.

Keywords Library. Multi-source big data. Big data fusion.

0 前言

當前，世界已進入大數據時代。MGI（麥肯錫全球研究院）和麥肯錫商業技術辦公室的研究報告指出，“當今世界的信息量已呈現爆炸式增長態勢，分析大型數據集——即所謂的大數據，將成為競爭、引發新一輪生產力增長、創新及消費者剩余的關鍵基礎之一”[1]。近年來，隨著大數據技術的發展，大數據已成為圖書館發現讀者需求、預測服務模式變革、評估服務收益率和提升服務生產力的重要依據。但是，伴隨大數據技術在圖書館界應用的深入，圖書館的大數據環境呈現出“4V+1C”的特點，分別是數據體量巨大（Volume）、數據類型繁多（Variety）、價值密度低（Value）、處理速度快（Velocity）和具有較強的復雜性（Complexity），導致圖書館難以在海量、復雜和多類型的大數據環境中有效挖掘數據價值，大幅降低了大數據分析與決策的科學性、可靠性和可用性。因此，如何科學整合大數據資源，實現不同區域、行業和部門的大數據融合，是圖書館提升自身大數據應用水平和服務保障力應重點關注的問題。

我國從“八五”規劃開始，把數據融合技術列為發展計算機技術的關鍵技術之一，眾多科研機構和不同領域專家，開始了信息綜合處理和數據智能化融合的研究[2]。隨著云計算技術、傳感器網絡與數據存儲技術的發展，大數據的采集、傳輸和存儲等問題，已不再是制約圖書館大數據應用有效性的關鍵問題，如何科學構建數學模型，并對所采集的大數據進行自動化探測、互聯、相關、估計和融合處理，已經成為當前圖書館界的研究熱點。

1 圖書館多源大數據融合的問題與挑戰

1.1 圖書館多源大數據呈現新的特征屬性

伴隨圖書館服務模式的變革與讀者閱讀需求的提升，圖書館數據除保留原有的“4V+1C”大數據特點外，還呈現出新的特征屬性。首先，圖書館大數據除多源、多類型外，還具有在時間、空間、語義和底層屬性上的多維度特征，并且其蘊藏的知識范疇的“粒度”多樣，圖書館難以對數據進行識別和標準化處理。其次，圖書館在大數據的采集中，同一數據源產生的數據是隨著時間、空間、作用對象和解釋方法的變化而演變的，圖書館難以保證數據在多空間上的一致性，也不能有效控制數據知識的動態演化性[3]。第三，圖書館對所采集大數據的標準化處理和知識表達方式的多樣性，以及大數據關系的動態演化和不確定性，增加了數據融合的復雜度和不可控性。第四，伴隨大數據總量和數據關系復雜度的增長，大數據之間的隱性關聯更加緊密，如何通過數據融合有效挖掘大數據關聯中隱匿的知識，是圖書館大數據應用面臨的挑戰。

1.2 圖書館多源大數據融合面臨的挑戰

1.2.1 圖書館大數據具有多源異構的特性

大數據時代，讀者的閱讀活動呈現出移動性、高帶寬、多模式和多終端的特點[4]。因此，圖書館采集的大數據呈現出海量、多源和多類型的特點，信息資源在組織上表現為非線性化和異構的特性，大數據的價值難以被發現和利用。

多源異構數據呈現分散采集和分類管理的狀態，這些分別存儲于不同的系統、節點和數據庫的數據以數據孤島的形式存在，增加了圖書館統一數據標準、統一管理平臺、統一存儲系統和統一數據接口的難度。此外，非結構化數據占據圖書館大數據總量的85%以上，如何跨越圖書館不同的部門、系統和對象，實現圖片、視頻、音頻數據、文本數據等多結構數據的關聯，也是圖書館大數據整合應重點關注的問題。

1.2.2 實時大數據增加了大數據的融合復雜度

伴隨圖書館大數據采集終端數量和實時數據總量的激增，實時數據之間隱含的知識關系、特征將更加復雜，如何通過噪聲過濾、價值提取等方法有效控制大數據的融合規模，是確保圖書館大數據融合結果可控、可用應重點關注的問題。

此外，傳感器網絡和物聯網技術在有效感知讀者需求的同時，也對圖書館實時數據流的傳輸、處理、存儲和管理能力有了新的要求。如何在高效處理歷史大數據的同時，完成實時數據的動態檢測和實時分析，實現歷史大數據與實時大數據的查詢、融合和迭代分析，是圖書館提升大數據決策科學性和即時性的關鍵[5]。

實時大數據產生的速度和數據流量的快速增長，對圖書館數據庫的存儲、管理和維護能力提出了新的挑戰。大數據融合過程如何動態、透明地統一數據源，實現大數據庫對異構數據的索引和更新，并依據大數據類型和知識表示模式的變化而不斷更新策略，是圖書館完全、即時發現實時大數據中隱匿的知識和數據關系的重要保證。

1.2.3 大數據融合系統對傳感器系統的功能性需求

圖書館大數據融合系統是一個多源的信息重構框架，通過對多信息源、多媒體和多格式信息的挖掘與重構，生成完整、準確、及時和有效的綜合信息，其中多傳感器系統是圖書館數據融合的硬件基礎，而多源信息是數據融合的對象，協調優化和綜合處理是數據融合的核心。圖書館傳感器系統可全面感知與獲取讀者行為、特征、服務器參數、運行日志等數據，其數據感知與獲取的科學性與覆蓋面，關系到大數據融合系統運行的效率、經濟性與結果可用性。

圖書館大數據融合系統對傳感器系統有較高的功能性需求。大數據融合系統的構建，應重點加強融合系統在時間、空間、語義和底層屬性上對大數據多維度特征的覆蓋，保證系統完全、高效地發現大數據關系并融合數據價值[6]。其次，如何有效實現讀者特征數據、閱讀行為數據、服務數據和服務器參數的多傳感器采集，不斷提升傳感器所采集大數據的準確性和價值密度，是確保圖書館大數據融合系統運行高效、精確和容錯的前提。第三，傳感器系統應實現對所采集對象多個不同特征的綜合描述，通過對傳感器所采集數據多特征信息的互補，有效增強傳感器系統采集數據的正確性。此外，如何降低傳感器系統的建設和部署成本，也是圖書館有效提升大數據融合效率和降低數據融合成本應關注的問題。

1.2.4 大數據開放與安全之間的矛盾

為了提升大數據的價值總量和價值密度，圖書館通常會采用傳感器、視頻監控系統、服務器監控設備和讀者管理信息系統等，全方位、多角度、不間斷地采集服務數據和讀者特征數據。此外，圖書館還可通過與第三方大數據共享的方式，避免數據庫的重復建設和大數據資源的重復采集。這些大數據中，有部分數據是涉及國家機密、企業秘密和讀者隱私的敏感數據，如何快速識別敏感數據并劃分數據的安全級別，依據數據的安全級別制定和執行相應的大數據存儲、融合安全策略，關系著圖書館大數據融合的安全性和可靠性。

其次，圖書館內部不同部門、服務系統、第三方服務商之間，缺少統一的數據規劃、采集和存儲標準，導致許多大數據以“信息孤島”的形式存在，較低的數據開放程度嚴重影響了大數據融合的效率和可用性[7]。因此，圖書館通過數據類型標準化和數據庫共享全面開放大數據的同時，保證讀者對自身小數據的知情和控制，是圖書館個性化服務可信度和讀者閱讀滿意度的關鍵。

2 圖書館多源大數據融合管理架構圖與管理策略

2.1 圖書館多源大數據融合管理與服務決策系統的組織架構

根據圖書館大數據呈現出的“4V+1C”特點，本文設計的圖書館大數據融合管理與服務決策系統如圖1所示。

該系統主要由大數據存儲私有云、大數據融合系統、大數據處理與存儲管理系統、大數據決策服務接口4部分組成[8]。大數據存儲私有云按照大數據的結構特征和應用價值，分為非結構化大數據存儲庫、結構化大數據存儲庫和實時動態大數據庫3部分，可為結構化數據與非結構化數據、實時數據與歷史數據的融合提供數據存儲服務。大數據融合系統通過數據噪聲過濾、價值密度提升和數據標準化處理，在有效降低大數據融合的復雜度和成本后，經過大數據的估計與組合、數據時間序列處理和相關性分析等操作，實現大數據的融合和數據標準化處理。大數據處理與存儲系統主要通過大數據存儲管理、語義增強、關聯分析、大數據分析與轉換等，完成融合大數據價值的二次發現，為大數據決策提供可靠的數據支持[9]。大數據決策服務基于底層大數據處理與存儲系統的支持，為圖書館IT服務系統管理、讀者閱讀需求感知、服務策略制定、服務質量的評估與優化提供可靠的大數據決策依據。

2.2 圖書館多源大數據的融合管理策略

2.2.1 實現圖書館內外部大數據的統一融合

加強多傳感器數據、不同業務部門數據、第三方服務商數據的融合，是圖書館增強大數據融合和數據價值二次挖掘有效性的關鍵。

隨著傳感器制造成本的大幅下降，圖書館會在多個位置放置更多的傳感器，以此提升對讀者閱讀需求和服務有效性感知的敏感度與精確性。多傳感器數據在提升大數據總價值量和可用性的同時，也存在著數據價值密度下降和冗余的缺點，嚴重影響大數據融合與數據價值二次發現的效率。為了提升多傳感器大數據融合的可用性，圖書館應對多傳感器采集的數據進行標準化處理，有效統一大數據的類型和結構，并以數據采集對象為索引，實現大數據采集對象在特征向量和物理屬性上的集合與分類。當圖書館進行大數據決策時，可根據決策應用需求在大數據集中選取恰當的特征向量和物理屬性數據，通過數據的實時融合來提升數據決策的可用性和針對性。比如在讀者閱讀需求的預測上，可以將讀者歷史閱讀數據、閱讀終端實時數據、讀者閱讀需求數據等進行實時融合，而不需要將讀者位置信息、移動路徑數據、讀者閱讀關系等無關大數據融合[10]。

此外，應實現圖書館內部不同業務部門之間，以及圖書館和第三方服務商之間大數據的融合。數據孤島是嚴重影響圖書館大數據關系發現和數據價值二次挖掘的重要問題，圖書館應在確保數據安全和讀者隱私的前提下，實現內部不同業務部門、第三方服務商和政府相關部門間的數據公開與共享。社交網絡、移動互聯網、信息化企業、電信運營商等都是海量數據的制造者，圖書館將第三方大數據與自身大數據進行融合，可有效提升圖書館大數據的價值總量、決策科學性和大數據應用經濟性[11]。

2.2.2 增強無線傳感器數據融合的實時性

無線傳感器數據融合通過對多個無線傳感器數據進行處理，組合出具有更少數據總量、更高價值密度和可用性的數據。無線傳感器網絡具有安裝便捷、使用靈活、經濟節約和易于擴展的特點，已成為圖書館讀者行為數據和用戶服務數據采集的主要模式。為了保證大數據采集全面、準確，圖書館無線傳感器網絡通常由多個傳感器共同完成大數據的感知和采集，然后將采集的大數據經噪聲過濾和融合后，傳輸至圖書館大數據庫進行存儲。這種利用無線傳感器冗余配置，來提升移動大數據監測和采集可靠性的方式，在提升圖書館無線感知敏感性和準確性的同時，也產生大量的冗余數據[12]。因此，提升數據的價值密度和減少數據總量，是圖書館確保大數據決策實時性的關鍵。

首先，圖書館應通過數據噪聲過濾，增強所采集大數據的相關性，在確保大數據精確性的前提下，清除位于同一監測區域的多傳感器采集的相同或相似數據，有效降低擬融合的數據總量。其次，為防止無線傳感器在數據融合中丟失重要的細節信息或者降低數據質量，圖書館應對融合前后的大數據價值總量、數據融合與應用層數據語義的關系、數據融合操作的深度進行評估，不能因數據的過度融合而降低無線大數據的價值總量、相關性和可用性。

2.2.3 大數據融合應以讀者個性化服務需求為依據

提升圖書館對讀者需求的感知、保障和服務能力，是圖書館大數據融合的根本目標。

圖書館對讀者大數據個體的融合應堅持以讀者的身份ID為索引，實現圖書館內部多業務部門、多服務商數據、線上與線下數據的融合[13]。通過對這些相關融合大數據的分析，在保護讀者隱私的前提下，完成讀者在時間、地理位置、閱讀行為和語義特征上的四維度感知，激發讀者潛在的服務需求。其次，服務時效性是關系讀者個性化閱讀滿意度和圖書館服務效率的關鍵因素。圖書館應通過數據融合來提升對讀者需求的感知力，精確預測讀者閱讀需求的時間、內容和模式，并在恰當的時間完成圖書館個性化服務的精確推送，增強讀者閱讀的愉悅感和滿意度。此外，通過大數據的融合、分析來預測圖書館服務負載的變化趨勢，也是圖書館合理調配服務系統資源和預防服務擁塞的重要依據。

2.2.4 大數據融合應確保大數據安全和讀者隱私

圖書館通過將讀者個體數據與其它相關大數據的融合、分析，可以精確發現讀者的閱讀需求、模式、習慣和社會關系，但對讀者特征大數據的過度融合和數據關聯性的發掘，則可能會導致讀者的隱私泄露。因此，圖書館應通過對大數據敏感度的評估，以及大數據融合過程的監督與控制，來保證大數據融合的數據安全和讀者隱私。

圖書館大數據融合的根本目的是增強數據的關聯性，有效提升大數據的價值總量和價值密度。為了防范大數據融合過程可能發生的數據侵犯和隱私泄露問題，圖書館應構建大數據敏感度與大數據融合過程的風險評估機制，依據大數據敏感度執行動態的數據風險預警和安全防范策略。同時，在大數據融合過程中還應采用數據溯源技術，支持圖書館逆向發現大數據的融合風險及其產生的原因。此外，圖書館應根據大數據的安全管理和讀者隱私保護需要，判斷大數據的字段名稱、字段類型、字段長度和賦值的敏感性。對于涉及圖書館安全、管理、運營與讀者隱私重要數據，則可通過匿名、替換、加入隨機噪聲、順序、時滯和取消等方式，在保留大數據價值、準確性和易用性的前提下取出敏感信息[14]。

3 結語

當前，圖書館大數據的采集從傳感器網絡的感知層到讀者閱讀活動的應用層，涉及圖書館日常運作的所有環節，這些環節產生的大數據總量以指數級增長，傳統的提升IT設備數據處理能力的方式，已不能滿足圖書館大數據處理的需求。因此，科學、高效地融合、挖掘和智能處理海量大數據，已成為關系圖書館發現大數據價值和確保大數據決策科學性的重要因素[15]。

為了保證大數據融合過程安全、高效、經濟和可控，圖書館應遵循大數據的生命周期規律，重點加強大數據在采集、噪聲過濾、傳輸和存儲過程中的質量管理，確保大數據具有較高的數據價值密度和可用性。此外，還應不斷增強圖書館大數據融合系統在硬件平臺、應用軟件和數據融合策略上的相關性，處理好數據轉換、數據相關、態勢數據庫、融合推理和融合損失等關鍵問題，為圖書館管理和讀者服務提供可靠的大數據決策支持。

參考文獻：

[ 1 ] Nature. Big data[EB/OL].[2013-06-17].http：//www.nature.com/news/specials/bigdata/index.html.

[ 2 ] 郭春霞.大數據環境下高校圖書館非結構化數據融合分析[J].圖書館學研究，2015（5）：30-34.

[ 3 ] 鐘聲.大數據驅動的高校圖書館數據監護探究[J].情報資料工作，2014（3）：103-106.

[ 4 ] 李建中，劉顯敏.大數據的一個重要方面：數據可用性[J].計算機研究與發展，2016，53（2）：1-16.

[ 5 ] 唐曉波，朱娟，楊豐華.大數據環境下的知識融合框架模型研究[J].圖書館學研究，2016（1）：32-35，18.

[ 6 ] 孟小峰，杜治娟.大數據融合研究：問題與挑戰[J].計算機研究與發展，2016（2）：231-246.

[ 7 ] FISCH D，KALKOWSKI E，SICK B. Knowledge fusion for probabilistic generative classifiers with data mining applications[J].IEEE Transactions on Knowledge and Data Engineering，2014（3）：652-666.

[ 8 ] 沈旺，李亞峰，侯昊辰.數字參考咨詢知識融合框架研究[J].圖書情報工作，2013（19）：139-143.

[ 9 ] SMIRNOV A，LEVASHOVA T，SHILOV N. Patterns for context-based knowledge fusion in decision support systems[J].Information Fusion，2015（21）：114-129.

[10] 廖龍龍，葉強，路紅.面向移動感知服務的數據隱私保護技術研究[J].計算機工程與設計，2013，34（6）：1951-1955.

[11] PAPADAKIS G，KOUTRIKA G，PA-

LPANAS T，et al. Metablocking：taking entity resolution to the next level[J].IEEE Trans on Kno-

wledge and Data Engineering，2014，26（8）：1946-1960.

[12] 陳茜，史殿習，楊若松.多維數據特征融合的用戶情緒識別[J].計算機科學與探索，2015（10）：1-11.

[13] 維克托·邁爾·舍恩伯格，肯尼思·庫克耶.大數據時代：生活、工作與思維的大變革[M].盛楊燕，周濤，譯.杭州：浙江人民出版社，2012.

[14] 馬曉亭.開放環境下圖書館敏感大數據保護研究[J].高校圖書館工作，2015，35（5）：33-363.

[15] 唐曉波，魏巍.知識融合：大數據時代知識服務的增長點[J].圖書館學研究，2015（5）：8-14.