基于云計算的圖書館大數據服務研究*

陳　近　文庭孝（.湖南理工學院圖書館　湖南岳陽　44006；.中南大學醫藥信息系　長沙　4003）

?

基于云計算的圖書館大數據服務研究*

陳近1文庭孝2
（1.湖南理工學院圖書館湖南岳陽414006；2.中南大學醫藥信息系長沙410013）

〔摘要〕圖書館向來是追蹤和應用新信息技術較快的領域之一，云計算和大數據的出現為圖書館服務的發展提供了新機遇。文章在闡述云計算和圖書館大數據服務理論的基礎上，分析了云計算和大數據融合為圖書館服務帶來的機遇，提出了云架構下的圖書館大數據服務系統架構，探討了圖書館大數據服務模式的創新，并從觀念、技術、經濟、法律、人才五個方面提出了云架構下圖書館大數據服務的保障機制。

〔關鍵詞〕云計算圖書館大數據大數據服務

〔分類號〕G250.73

〔引用本文格式〕陳近，文庭孝.基于云計算的圖書館大數據服務研究[J].圖書館，2016（1）：52

*本文系湖南省社科基金項目“大數據時代的數字資源融合及其服務研究”（項目編號：13YBA347）和湖南省教育廳項目“以培養大學生職業核心能力為導向的高校圖書館實踐育人機制研究”（項目編號：15C0641）研究成果。

1　引言

云計算和大數據是近幾年業界和學術界關注的熱點。在主題為“面向云計算和大數據的創新與合作”的第十二屆中國信息港論壇專題峰會上，中國移動蘇州研發中心副總經理陳煒認為以大規模計算資源管理和調度能力、海量數據存儲能力為核心的云計算技術是實現大數據平臺的最佳基礎手段，結合大數據分析和挖掘算法，可以將數據轉化為知識和智能，并強調大數據的技術發展趨勢是基于云計算的大數據[1]。目前已有一些企業將云計算和大數據結合應用，并取得了喜人的成果。有研究者認為，大數據云才剛剛開始，未來五年，大數據將與云計算更加融合[2]。圖書館界向來是追蹤和應用新信息技術較快的領域之一，學者們迅速認識到云計算和大數據在圖書館發展中的重要性，紛紛開始探討云計算和大數據環境影響下的圖書館資源建設和服務創新，但目前還沒有出現將云計算和大數據融合并應用于圖書館服務的文獻，本文借此對基于云計算的圖書館大數據服務進行研究，以期為圖書館的大數據服務實踐和研究提供參考。

2　圖書館大數據服務概述

2.1圖書館界大數據服務研究現狀

“大數據”自2008年提出以來，受到了業界和學術界的廣泛關注，數據大量化（Volume）、類型多樣化（Variety）、處理快速化（Velocity）、應用價值大（Value）、數據獲取與發送方式自由靈活（Vender）、準確性（Veracity）和處理分析難度大（Complexity）是對大數據特征最全面的描述。隨著大數據時代的到來，大數據應用從IT領域、商業領域、公共領域拓展到各行各業，圖書館界也不例外，受到了大數據的巨大影響和沖擊，學者們迅速掀起大數據研究熱潮。圖書館界對大數據給予了高度關注，研究內容熱點主要集中于大數據的內涵與特征、大數據對圖書館資源建設的影響、大數據環境下圖書館服務方式的變革和圖書館積極應用大數據策略等方面[3]。眾多學者認為圖書館已具備大數據特征，館藏書目數據、數字資源數據、業務數據、用戶數據等構成圖書館大數據主要來源，通過對這些數據進行科學管理和挖掘分析，能發現其中潛藏的價值，可以為圖書館的資源建設、業務流程改造和服務創新提供支持。

2.2圖書館大數據服務實踐進展

大數據趨勢下，所有都成乙方，數據成唯一甲方，以數據價值為核心，集意識、技術、產品、服務和應用于一體的大服務時代來臨，開展大數據服務是圖書館順應時代發展的結果。國外最早將大數據服務引入圖書館并付諸實踐的是哈佛大學圖書館[4]，2012年哈佛大學圖書館將其73所分館的書目數據、音頻、視頻等資料對外開放，公眾可在美國數字公共圖書館免費下載，這一舉措有助于促進全球書目數據的開放與關聯，并在開發利用書目大數據的基礎上研發新型應用性產品。美國國會圖書館2000年開始歸檔整理政府網站數據[4]，并積極開展大數據處理工作。我國圖書館大數據服務實踐還處于起步階段，2013年清華大學圖書館從數據集成和挖掘數據價值兩方面進行了嘗試，在檢索平臺“水木搜索”上綜合運用多來源數據，已成功甄選出清華大學50位專家學者，并建立了以他們為中心的知識關聯網絡[5]。“數字化圖書”的先行者貴陽市圖書館也走在了前列，技術人員已經通過后臺分析得出貴陽讀者的年齡、學歷、愛好書籍種類、文獻等相關內容，館長郭春表示“大數據應用肯定不止讀者分析這一小塊，圖書館的大數據服務應該做到公共文化服務，實現資源共享”[6]。

2.3云計算與大數據的關系辨析

云計算和大數據是兩個不同的概念，但又緊密地聯系在一起，兩者既有區別，又有聯系。形象地來說，云計算相當于計算機和操作系統，將大量的硬件資源虛擬化之后再進行分配使用，而大數據相當于海量數據的“數據庫”。云計算側重于計算能力，關注IT架構和解決方案，節省IT部署成本，而大數據側重于數據的價值，關注實際業務，通過數據管理和分析挖掘數據潛藏的價值。但二者又具有相輔相成、密不可分的關系，在大數據過濾階段，云計算可以提供按需擴展的計算和存儲資源，在大數據分析階段，云計算可保證數據處理的速度和價值信息的安全，云計算助大數據轉化價值，大數據驅動云計算變革。云計算和大數據已有機融合在一起，成為大數據服務的基礎設施。

3　云計算和大數據融合為圖書館服務帶來機遇

云計算和大數據的有機融合，為圖書館服務帶來了巨大的發展機遇。

3.1有利于圖書館整合最豐富的數據資源提供服務

大數據環境下，圖書館除圖書、期刊、報紙、全文數據庫、媒體數據庫和自建數據庫等資源大數據及采訪、編目、借閱、文獻傳遞、參考咨詢等業務大數據和用戶大數據外，還包括行業數據、相關Web站點數據、社交網絡數據及其他外部數據來源，這些數據每天都在呈爆炸式增長，總量大，類型復雜多樣，以半結構化數據和非結構化異構數據為主。如何收集有價值的數據成為一大難題，云計算為這些數據的有效整合提供了基礎和便利。圖書館可將數據資源存儲到云服務器上，形成多個地區多個類型圖書館資源的聚合中心，圖書館員只需通過網絡獲取和管理云中資源，在使用過程中不斷豐富和完善，解決圖書館大數據帶來的數據雜、垃圾數據多、資源分散分布及存儲成本高等問題。

3.2有利于圖書館更加精準地把握用戶需求開展服務

不同用戶的信息行為在時間上和空間上都具有差異，圖書館要真正實現“以用戶為中心，提供按需服務”面臨著巨大挑戰。但在大數據環境下，用戶的信息行為會在信息系統或社交網絡上會留下痕跡，圖書館可以通過對用戶行為大數據進行整合和分析，從多個角度了解用戶群體，精準把握用戶需求，使不同用戶的信息行為可以預測，從而提供具有針對性和鮮明性的個性化服務。圖書館用戶行為數據主要包括用戶需求調研數據、用戶反饋信息數據、用戶檢索歷史記錄數據、用戶對服務內容的選擇與刪除數據等[7]。云計算具有極高的運算能力，能實現圖書館大數據的高效流通和實時分析，在數據分析完成后，可以使用私有云技術將分析結果導入圖書館內部，而不必保留用來分析的原始數據。

3.3有利于圖書館擴展服務功能、提高服務質量

圖書館服務直接關系著圖書館的生存和發展，是圖書館的重要價值所在。在網絡環境和知識經濟的影響下，圖書館服務經歷了從文獻服務、信息服務到知識服務的轉變，新技術和新環境持續推動著圖書館服務的變革。隨著大數據時代的到來，圖書館的資源更加豐富，用戶的需求也更加復雜和多樣化，圖書館服務內容正在從借閱服務、科技查新、定題服務、參考咨詢等傳統服務向大數據開放、大數據使用、大數據挖掘、大數據分析、大數據可視化呈現等方面拓展，云計算和大數據的有機融合能為圖書館服務的虛擬化、個性化、深層次化和智能化提供技術支撐。館藏大數據、用戶大數據、業務大數據和外部資源大數據是圖書館大數據服務的重要組成部分，在深入分析這些大數據的基礎上，可預測圖書館的用戶需求和業務趨勢，從而提高圖書館服務質量，改善用戶體驗。

4　基于云計算的圖書館大數據服務系統架構

大數據的處理方法很多，但目前得到認同的處理流程是：大數據采集-大數據導入和預處理-大數據存儲-大數據挖掘與分析-分析結果可視化呈現。結合云計算的優勢，以及最大限度地發揮云計算的效能，筆者將云計算環境下圖書館的大數據服務系統架構分為大數據存儲、大數據處理和大數據分析三個層次，如圖1所示。數據存儲層解決大數據的海量和異質異構問題，數據處理層滿足大數據的快速和時效性要求，數據分析層著重于對數據的挖掘和分析，三個層次相互配合，讓圖書館大數據分析和服務最終產生價值。

圖1　云計算環境下圖書館大數據服務系統架構

4.1圖書館大數據存儲

在云計算和大數據環境下，圖書館的數據資源來源廣、總量多、類型復雜多樣，傳統的圖書館存儲設備和技術已不能滿足數據增長和數據應用的需求，具有可靠安全、成本低、易于擴展、資源可控等優勢的云存儲，成為圖書館大數據分布式存儲的理想選擇。云存儲包括私有云和公有云兩種部署，公有云部署具備較好的靈活性和可擴展性，私有云部署更加安全和便于控制。圖書館的大數據可分為圖書館內部保密數據和可共享的數據，選擇混合式云存儲部署模式將更能與現有的基礎設施相結合，提高圖書館大數據的存儲效率。即在圖書館大數據的存儲過程中，對圖書館內部的保密數據選擇私有云存儲，部署在圖書館防火墻內，構建一個圖書館數據中心內的專用云，依托高速局域網大大提高數據訪問、上傳和下載的速度；而對圖書館可共享的數據選擇公有云存儲，將共享數據存儲在公有云服務器上，供用戶和使用者通過網絡訪問，不同圖書館的數據中心和公有云存儲服務器相連，如圖2所示。具體到圖書館的大數據來源，圖書館書目數據、免費開放獲取資源、備份數據、分布式訪問數據適合公有云部署，而業務數據、用戶數據、購買數據庫和自建數據庫資源適合私有云構建。

4.2圖書館大數據處理

圖書館大數據的分布式存儲帶來了數據處理上的復雜度，而海量存儲帶來了數據處理上的時效要求，這是圖書館大數據處理層需要解決的重要問題。傳統的圖書館自動化系統已無法滿足大數據處理的要求，云計算技術成為大數據處理的最佳選擇。如MapReduce將傳統的查詢、分解及數據分析進行分布式處理，把處理任務分配到不同的處理節點，具有很強的并行處理能力，并能夠在多個處理節點之間靈活地調度處理任務以及參與處理的數據，實現計算資源和存儲資源配置的全局最優化，能極大提高數據處理速度。其工作原理是先分后合的數據處理方式，Map即“分解”，把海量數據分成若干部分，分配給多臺處理器并行處理，Reduce即“合并”，把各臺處理器處理后的結果進行匯總操作以得到最終結果[8]，圖3展示了MapReduce的數據處理流程。圖書館大數據處理中的許多問題都可以通過MapReduce并行計算來解決，如資源使用分析、用戶日志分析、用戶行為數據分析和大規模索引分析等。對于選用商業云的圖書館而言，只需對虛擬機和運行的任務付費，不必考慮圖書館的硬件配置。

圖3　MapReduce的數據處理流程

4.3圖書館大數據分析

大數據環境下，數據成為重要資產，發現海量數據中潛藏的價值是大數據處理、分析和服務的最終目標。一切大數據處理工作都是為價值目標服務，在有效解決圖書館大數據存儲和處理問題之后，只有通過大數據分析才能獲取有價值的、深入的、智能的信息和知識。在小數據時代，調查統計、樣本分析、文獻計量、鏈接分析、引文分析、共現分析等是圖書館領域的主要分析方法，這些方法主要針對樣本數據和結構化數據。而在大數據時代，面對大規模的實時數據、關聯數據、動態數據和非結構化數據，關聯分析、聚類分析、數據挖掘、語義引擎、預測建模、情感分析、可視化分析等方法為圖書館大數據分析提供了發展空間。數據分析離不開技術支持，云計算的彈性擴展能力使它成為大數據分析的理想選擇。混合云技術可在大數據分析階段提供幫助，原始分析階段可在公有云基礎設施上執行，然后使用私有云組件把處理過的、可用的數據和信息保存到圖書館內部，這樣既保證了速度，也保證了數據安全。Hadoop是目前最流行的大數據處理分析平臺，主要用于分析Web瀏覽日志、IT系統日志等半結構化數據以及社交網絡、圖像、音頻文件等非結構化數據，借助Hadoop平臺可實現圖書館大規模的和非結構化的數據分析。

5　云計算環境下圖書館大數據服務模式創新

大數據時代的到來，對圖書館的服務理念、服務方式、服務手段、服務內容和服務重點等都產生了巨大影響，圖書館服務工作開始從數據采集、整合、管理向數據統計、挖掘、分析與展現等方向全方位延伸，云計算技術為圖書館大數據服務實現的時間、空間和方式提供多種可能。

5.1基于數據管理的科學數據服務

圖書館作為信息中心，特別是高校圖書館和科學專業圖書館，科研支持是其重要職責。傳統的圖書館科研支持服務重在關注研究者的最終科研產品，處于輔助科研的角色。大數據時代的到來，使產生于社交網絡、智能移動終端的半結構化數據和非結構化數據成為科研數據的重要組成部分，科研人員在數據搜集、數據管理、數據保存等方面面臨巨大挑戰。在此背景和需求下，圖書館理應拓展其科研支持服務范圍，從關注最終科研產品向參與整個研究過程轉變，在數據管理的基礎上為科研人員提供數據開放、數據推廣、數據搜集、數據資源導航、數據存儲、數據監護、數據分析等科學數據服務，為研究人員提供全程支持。目前已有一些圖書館開展了科學數據服務實踐項目，如哥倫比亞大學圖書館、康奈爾大學圖書館、加州大學歐文分校圖書館都取得了較為顯著的服務效果[9]，而我國還處于起步階段，可積極借鑒國外經驗，拓展圖書館開展科學數據服務的服務能力和服務內容，在科學研究中發揮重要作用。

5.2基于知識發現的學科服務

學科服務是圖書館面向不同專業、院系、讀者開展的一種多層次、全方位的服務，重在滿足學科發展過程中的資源需求[10]，在我國已有十多年的歷史。知識發現是指從大量數據中獲得有效的、新穎的、有潛在應用價值的和最終可理解的模式的高級處理過程，涉及的主要技術包括信息抽取、信息過濾、數據與文本挖掘、分類發現和聚類技術等[10]。大數據環境下，學科前沿數據增長迅速，用戶可以方便地通過搜索引擎獲取，但會存在數據不準確、不全面、深層次挖掘等問題。圖書館作為知識服務平臺，可以利用知識發現的技術和方法，從學科大數據中挖掘出有價值的信息和知識，為不同專業的用戶所用。如通過分析不同學科用戶的檢索記錄和下載記錄，歸納用戶感興趣的學科主題；通過聚類分析、社會網絡分析、相關性分析、數據挖掘等預測學科前沿和研究熱點；通過學科數據的引用分析、關聯分析、共現分析，發現學科領域的核心機構、核心作者、核心期刊及合作網絡分布情況。

5.3基于用戶研究的個性化定制服務

個性化定制服務已在數字圖書館領域取得一定研究成果，切實以用戶為中心的服務模式，大數據時代的到來，為個性化定制服務的發展提供新的契機。新環境下，圖書館擁有大量豐富的用戶數據，如用戶在注冊個人圖書館和移動圖書館時的個人信息數據、用戶在瀏覽圖書館網站或檢索下載數字資源時的利用數據、用戶進行參考咨詢或利用圖書館社交媒體時的網絡痕跡數據等，通過對這些數據進行挖掘和分析，能掌握用戶的年齡、性別、學歷分布情況及閱讀習慣、資源需求、信息行為等特征，進而能根據用戶需求提供具有針對性的、個性化的信息服務，并預測用戶需求的發展趨勢。在服務角色上，除被動的“用戶需要什么服務，就提供什么服務”模式外，圖書館更應積極主動地為用戶推薦服務，獲取反饋信息，以提高個性化服務和定制服務的匹配度、可靠度和準確度。

5.4基于數據應用的可視化服務

大數據環境下，面對大量的數據分析應用，用戶更傾向于用可視化的方法展示數據分析結果，以便于理解和接收。一方面，圖書館可利用可視化工具和軟件展示科研領域的研究成果，如與信息計量相結合，生成作者共現共引、機構共現共引、關鍵詞共現共引、引文共現等知識圖譜，使一個領域的發展現狀和知識結構以可視化的方式呈現出來，目前比較成熟的文獻可視化軟件有Citespace、Ucinet、Pajek、VOSviewer等。另一方面，圖書館可為用戶提供可視化方案咨詢和針對特定需求的可視化服務，如為企業提供專利地圖和專利信息可視化服務、為科研人員申請項目前的研究綜述提供可視化服務等。在人員、資金足夠的情況下，圖書館還可嘗試著開發可視化軟件，以滿足用戶的多方面需求。

6　基于云計算的圖書館大數據服務保障機制

圖書館基于云計算技術提供大數據服務不是一朝一夕的事情，需要長期的積累過程和求變的創新精神，同時還需要解決觀念、技術、經費、人才和法律等方面的諸多問題，創建大數據服務支撐條件，建立大數據服務保障機制。

6.1觀念方面

云架構下的圖書館大數據服務涉及兩方面的觀念問題：一是對用戶而言，數據開放與共享是大數據時代的主流，用戶數據也是圖書館大數據的重要組成部分，而用戶數據的泄露和濫用是用戶擔憂的問題，面對數據開放與數據安全的矛盾，圖書館應在用戶許可的情況下合理使用用戶數據，并加強對用戶的教育培訓，提高用戶的保護意識，鼓勵用戶開放共享各種數據資源，使用戶不僅僅是數據資源的利用者和接收者，也是數據資源的發布者和貢獻者。二是對圖書館館員而言，應努力培養大數據思維，在堅持以用戶為中心的服務理念基礎上，積極主動向用戶提供推薦式服務，拓展數據的使用范圍和服務的提供范圍，注重用戶參與，培養用戶的數據采集、數據分析和利用數據的能力。

6.2技術方面

云架構下的圖書館大數據服務涉及的技術問題主要包括協議和接口問題、數據標準問題、數據安全和保護問題等。圖書館服務器的配置和操作系統千差萬別，要較好地與云計算技術融合，就應該選擇適合本館的接口軟件和云服務提供商，或通過合作，開發接口插件。數據的規范化和標準化是圖書館開展大數據服務的基礎工作，圖書館應制定統一的數據標準，推進異地異構異質資源的整合和共享。根據Gartner機構《云計算安全風險評估》報告[11]，云計算技術存在數據位置、數據隔離、數據恢復等七個方面的風險，可通過控制數據訪問權限、優化數據加密技術和備份技術等保證數據安全。

6.3經濟方面

圖書館開展大數據服務是順應時代發展的結果，能更好地分析用戶偏好，發現用戶需求，開展有針對性的個性化服務，提高圖書館的服務水平和服務效率，充分發揮圖書館在大數據時代的價值和社會地位。但構建圖書館大數據服務平臺是一項耗資巨大的工程，需要強大的軟硬件作為支撐，給圖書館經費造成巨大壓力，圖書館可在數據采集、處理、整合人力、物力、設備等多個方面進行成本控制，并積極爭取財政支持。

6.4 法律方面

法律制度是云架構下的圖書館大數據服務順利開展的重要保證，目前與云計算、大數據相關的合同條款大多是服務提供商提出的，往往是站在服務提供商的立場，保護提供商的利益，而用戶對相關法規制度和政策并不了解。云架構下的圖書館大數據服務主要涉及個人隱私、知識產權、數據安全、各方的權利與義務等法律問題，需要從政府層面上制定相關法規法律，出臺具體措施，為圖書館開展大數據服務提供制度保障。

6.5人才方面

大數據環境下，大數據技術和大數據服務對服務人員提出更高的專業要求，圖書館可通過館員培訓，鼓勵館員深造，多學習其他領域的知識，改善自身的知識結構，或通過引進大數據和云計算領域的專業人才，培養一支具有大數據思維、掌握大數據技術、擅長大數據分析的專業人才隊伍，在圖書館大數據服務中發揮重要價值。

（來稿時間：2015年7月）

參考文獻：

1.網易新聞.“面向云計算和大數據的創新與合作”專題峰會[EB/OL]. [2015-04-16]. http://news.163.com/15/0416/09/ ANAIS 11C000 14AED.html

2.CIO時代網. 未來五年,大數據將與云計算更加融合[EB/OL]. [2015-04-20]. http://www.ciotimes.com/bi/sjwj/99134. html

3.陸靜.我國圖書館界大數據研究述評與展望[J].圖書館雜志，2014（1）：20-25

4.曾建勛,魏來.大數據時代的情報學變革[J].情報學報，2015, 34（1）：37-44

5.中國新聞出版網.大數據環境下清華大學圖書館的實踐 [EB/OL]. [ 2013-08-29]. http://www.chinaxwcb.com/2013-08/ 29/content_ 276028.htm

6.貴陽網.（大數據·數博會）貴陽新時尚,逛大數據圖書館[EB/OL]. [2015-04-21]. http://www.gywb.cn/content/2015-04/ 21/content_ 2906237.htm

7.陳臣.基于大數據的圖書館個性化服務用戶行為分析研究[J].圖書館工作與研究， 2015（2）：28-31

8.百度百科.MapReduce[EB/OL]. http://baike.baidu.com/view/ 2902.htm.

9.張春紅,廖三三,鞏梅.變革與走向：共同探索圖書館的未來[J].大學圖書館學報，2013（1）：5-13

10.于春麗.學科服務中的知識發現策略[J].圖書館學研究，2010（7）：92-94

11.宋戈,魏志鵬.基于云計算的圖書館建設與服務發展[J]. 圖書與情報， 2011（1）：79-81

A Study on Library Big Data Based on Cloud Computing

Chen Jin1Wen Tingxiao2
( 1.Library of Hunan University of Science and Technology; 2. Department of Medical Information of Central South University )

〔Abstract〕Library is one of the track and application of new technologies quickly.The emergence of cloud computing and big data provides new opportunities for library service development. This paper expounds the theory of cloud computing and big data services of library that bring opportunities for library services, puts forward the system architecture of library big data service under cloud architecture and discusses the innovation of service model of library big data and puts forward the guarantee mechanism of library big data services under cloud architecture from five aspects of the concept, technology, economy,law and talent.

〔Keywords〕Cloud computingLibraryBig dataBig data service

〔作者簡介〕陳近（1976-），女，碩士，湖南理工學院圖書館館員、副館長；文庭孝（1975-），男，博士，中南大學醫藥信息系教授，研究方向：知識管理與科學評價。