圖書館的大數據處理和應用策略

韓鳳勇

關鍵詞：圖書館；大數據；數據處理；應用策略

摘 要：文章介紹了圖書館大數據的來源、特點和大數據的處理技術，分析了圖書館應用大數據技術的實際意義，提出了圖書館運用大數據處理技術開展信息服務的策略與方法。

中圖分類號：G250文獻標識碼：A文章編號：1003-1588（2017）10-0125-03

1 背景

大數據一般需要新處理模式才能具有更強的決策力、洞察力和流程優化能力，以便取得海量、高增長率和多樣化的信息資產。其數據處理方式不同于傳統意義上的數據處理，而是由一定的統籌能力、敏銳的趨勢判斷能力、強大的決策能力和流程優化能力所構成的全新處理模式。近年來，隨著云技術、近距離無線通信技術、物聯網等技術的不斷成熟，各種信息資源大量出現，給人們的工作和生活帶來了極大的便利，值得一提的是圖書館數字技術的應用在給人們閱讀帶來便捷的同時，也影響著圖書館工作的方方面面。

2 圖書館的大數據

2.1 大數據的來源

圖書館大數據來源包括：（1）商業數字平臺。圖書館采購的數字資源和平臺，如超星手機圖書館、讀秀、百鏈系統、CNKI學術期刊以及各種圖片、音頻、視頻等資源庫。（2）自建資源庫。大量圖書、期刊、光盤的MRAC數據及這些圖書、期刊隨書的音、視頻數據及本館制作的各類特色資源庫等。（3）互聯網數據。讀者網絡瀏覽信息、圖書的評論信息、讀者的網上社交信息、讀者所處地理位置、讀者的閱讀傾向、讀者消費記錄等個人信息。（4）傳感器數據。館內安裝的溫度、客流、聲音、防火、安全等傳感器不停地對周圍進行檢測，并不斷生成具有分析價值的數據。（5）RFID（無線射頻技術）。目前，國內許多圖書館已經使用了RFID技術對文獻進行管理，人們對這些安裝有RFID芯片的文獻進行跟蹤、分析、研究、總結，能夠得出許多有價值的大數據信息。

以上所提到的圖書館大數據按結構歸納，可分為結構化數據和非結構化數據。存儲在SQL Server等關系數據庫中的圖書館數字資源庫和各平臺產生的數據，從結構上劃分屬于前者；而音頻、視頻、圖片等文獻屬于非結構化數據，此類數據比結構化數據容量大出許多。

2.2 圖書館大數據的特點

圖書館的大數據滿足“3V”定義，即規模大（Volume）、變化多樣（Variety）、價值密度低（Value）。其特點有：（1）數據量大。如：國家圖書館2005年開始信息化建設，2010年數字資源量就達到了480TB，2011年增長到了561TB，到2012年數字總資源已達到807.3TB，近年來更是呈爆發式增長態勢。（2）數據多樣性。圖書館的大數據有本館制作的特色資源、商業數字平臺及各應用系統的結構化數據，另外，還有非結構化的音、視頻文件及圖片等數據。（3）價值密度低。價值密度的高低與數據總量的大小成反比。以視頻為例，一部一小時的視頻，在連續不間斷的監控中，有用的數據可能僅有一二秒，也就是說雖然信息量很大，但必須將大量數據信息統籌分析研究，才能從中挖掘出有價值的數據，而這個挖掘的過程，是目前大數據背景下亟待解決的難題。

3 研究圖書館大數據的意義

3.1 節約成本

在共享、合作、開放的理念下，圖書館不需要添置大量的硬件設備，只需通過大數據技術即可進行信息管理，其可將電子文獻儲存在第三方供應商的大數據服務器上，通過網絡共享解決讀者使用的問題。

3.2 方便使用

圖書館以現有資源為依托，對讀者閱覽習慣、行為模式的大數據進行分析，這是一種對現有資源的分析與挖掘。圖書館運用其分析結果為不斷提升智能化管理水平，提高服務質量提供了決策依據，提高了讀者利用圖書館的效率，改善了讀者的閱讀習慣。

3.3 建立更加完善的信息服務機制

圖書館對大數據進行分析和研究，能夠指導讀者從眾多信息中準確找到自己所需的信息，使館員更為準確、智能地預測讀者需求，進而提高圖書館的服務效能。

4 大數據處理技術

4.1 并行數據庫

并行數據庫是處理數據的一種技術，出現在20世紀80年代，屬于關系型數據庫，是建立在并行計算和MPP環境基礎上的數據庫，主要存儲結構化數據，它通過縱向（Scale Up）和橫向（Scale Out）的擴展來實現。縱向擴展是增添高性能的CPU、增加RAM容量或更換更快的硬盤，以提升某節點的性能，但擴展是有限的；橫向擴展指在節點增加服務器形成集群，使并行數據庫的處理能力得到提升，如果某一節點性能較低，便會影響該集群的整體處理能力，這種處理方式對單個節點硬件的要求較為苛刻，成本較高。

4.2 云計算

云計算技術是以網格計算為基礎逐步發展成熟起來的一種新興技術，具有并行和分布式計算的特點。其本質是海量的數據存儲和數據的并行計算，技術比較成熟，可行性比較高。目前，云計算主要有以下幾種技術：（1）谷歌公司的不開源分布式文件可擴展系統，為巨量數據存儲、搜索而設計，用于大型分布式數據的訪問。它運行在普通的硬件上，有自己的容錯機制，能夠為眾多用戶提供總體性能較高的服務。（2）Hadoop分布式文件系統（HDFS），是能夠運行在通用硬件上的分布式文件系統，具有高度容錯機制以及開源性的分布式文件系統，適合部署在廉價的設備上，提供帶寬比較高的數據訪問。目前雅虎、淘寶等許多互聯網公司都采用該文件系統。（3）編程模型（Map Reduce）是處理大數據的基礎。編程模型用于并行運算大于1TB的數據集，其概念Reduce（歸約）、Map（映射）及模型內涵，是從函數式編程語言借鑒而來，這針對不熟悉分布式并行編程的人員來說，可以通過該模型方便地將程序運行在分布式系統上，其流程見圖1。

5 處理圖書館的大數據

5.1 大數據的存儲endprint

圖書館雖然可以利用HDFS來存儲圖書館大數據，但是無法滿足實時性的要求，因此需要對大數據分類并使用不同方式進行存儲。如實時性較高的數據應存儲到實時數據庫，實時性要求不高的數據或各業務系統產生的數據應存儲到并行數據倉庫，大量的歷史數據和非結構化數據應存儲到HDFS系統（見圖2）。

5.2 大數據的展現

圖書館的大數據經過分析會有許多結果呈現在用戶界面上，用戶界面要注重結構設計、交互設計、視覺設計，應做到易用性、規范性、合理性、排錯性、節能性，符合頁面布局合理、易操作、響應時間短等要求。

6 圖書館大數據的應用策略

6.1 建立圖書館內部數據資源集成庫

圖書館應通過科學的方法，運用大數據技術對本館現有的“小數據”進行收集、整理、挖掘和分析，逐步建立本館自己的信息數據資源集成庫，可優化服務流程，提高服務效率。

6.2 建立信息核心資源數據模塊

圖書館在掌握讀者信息需求的基礎上，要從“小數據”應用開始積累經驗，并通過整合優化內外部信息資源的數據構架，從源頭上為建立核心資源數據模塊夯實基礎，使之能盡快投入到信息服務平臺的運營中。

6.3 建立非結構化的信息庫

目前，以手機、PAD為代表的個人智能終端設備，已經成最主要的個人信息來源，所以圖書館很有必要建立社會化、非結構化的信息庫。提升圖書館信息數據資源的整體分析能力，有利于加快實現圖書館信息資源智能化服務步伐。

6.4 云技術和大數據技術融合

建立信息全面、內容豐富的數字圖書館，需要強大的數據發現能力、數據處理能力和數據存儲能力，這些都需要先進的數據分析技術作為保障。

目前，要解決上述問題，云計算技術是一種最好的技術方案。圖書館應用云技術處理大數據，應做到以下幾點：（1）充分利用云技術，創建大數據基礎架構，讓大數據在云平臺上運行，這是云技術的靈魂，也是推進圖書館轉型升級的必由之路。（2）利用云技術構建信息資源“數據集合”，這是目前嫁接分布式處理的最經濟、最有效的手段，充分顯示了云技術的優勢，圖書館可通過第三方供應商構建圖書館信息服務云，解決“數據集合”的問題。（3）圖書館運用云技術對大數據進行分析，圍繞讀者個性化需求，精心設計讀者的個性化服務方案，以釋放出更多的潛在價值。

6.5 選擇適合自身的大數據解決方案

存儲、處理和分析大數據就需要有相應的數據挖掘技術解決方案，目前國際上較為成熟的方案有Intel的Spark開源集群計算環境，華為的OceanStor9000大數據存儲系統，IBM的IBMPower分析應用平臺。它們擁有各自的特點和優勢，圖書館應根據自身情況選擇一款適合自己的軟件，作為知識管理的應用平臺。

7 結語

數字化信息的增長催生出了“大數據”的概念，并逐漸地滲入圖書館工作中，這必將影響或改變圖書館的服務。展望未來，大數據服務技術與熱點會不斷涌現，它將對圖書館知識服務的拓展和深化帶來重大影響。圖書館未來的工作將是“數據驅動”的圖書情報工作。圖書館的大數據技術及服務將是一項復雜的系統工程，涉及數據的管理水平、數據的處理技術及數據服務的創新等，需要廣大圖書館員共同努力。

參考文獻：

[1] 張德豐.云計算實戰[M].北京：清華大學出版社，2012：44-47.

[2] 劉剛.Hadoop應用開發技術詳解[M].北京：機械工業出版社，2014：10-20.

[3] 張興旺.圖書館大數據體系構建的學術環境和戰略思考[J].情報資料工作，2013（2）：12-17.

[4] 王天泥.知識咨詢：大數據時代圖書館的知識服務增長點[J].圖書與情報，2013（2）：74-77.

[5] 姜山，王剛.大數據對圖書館的啟示[J].圖書館工作與研究，2013（4）：52-54.

[6] 裴昱.大數據時代圖書館用戶行為信息的利用方式[J].圖書館學刊，2013（8）：44-46.endprint