基于大數據技術的圖書館創新發展研究

居鑫磊，顧 勇，芮文軍

（常州工學院 圖書館，江蘇 常州 213022）

基于大數據技術的圖書館創新發展研究

居鑫磊，顧 勇，芮文軍

（常州工學院 圖書館，江蘇 常州 213022）

隨著大數據技術的快速發展，圖書館不可避免的面臨大數據時代的沖擊.本文根據圖書館的實際情況，結合大數據技術特點和思維理念，研究大數據在圖書館實際應用中所面臨的問題，如何以分層架構的形式，分階段構建大數據在圖書館的實際應用，助力圖書館為讀者提供滿意的個性化服務.

圖書館；大數據；分層框架；個性化服務

1 引言

近年，大數據技術得到了飛速發展，已經參與到各行各業的發展，越來越多的企業依托大數據技術，對原有行業進行了深刻的變革.圖書館作為一個傳統上就是數據匯聚的重要場所，更是需要義無反顧的站在大數據技術前沿，來迎接這場革命與挑戰.

大數據（Big data或Megadata），指的是所涉及的數據量規模巨大到無法通過人工，在合理時間內達到截取、管理、處理、并整理成為人類所能解讀的信息.大數據技術則是指在很短的時間里從這些海量數據中，提取出對我們使用者有意義數據的技術[1].

而在經歷過之前數字圖書館的發展后，圖書館正面臨著館藏數據資源爆炸式增長，數據種類繁多和有價值信息顆粒濃度小等問題.怎么樣讓圖書館數據價值得到最大發揮，怎么樣為圖書館的建設發展尋找準確客觀依據，大數據技術可以給我們提供一種解決方案.

2 圖書館在大數據實際應用中面臨的問題

2.1 圖書館需要先具有大數據思維

著名中文搜索網站百度的創始人李彥宏，將百度企業文化和理念總結成29條法則，其中有一條就是“用數據說話”.以往我們通過流程，通過因果聯系來考慮事情該怎么做.而在大數據時代，在海量數據的支撐下，在Hadoop體系分布式計算框架下，圖書館工作流程將從簡單的量變進化到架構變化的質變，圖書館工作將變成通過數據要答案，從流程驅動轉變為數據驅動，如果獲取的數據越完整，就越能得到準確的答案[2].改變目前的工作思路，從以往的人找數據轉變成數據找人，形成大數據思維，這是大數據在圖書館實際應用的前提.

2.2 圖書館搜集和解析大數據的問題

圖書館通過內部圖像采集系統、安防門禁系統、網絡流量統計、服務器日志log文件、移動閱讀設備、文獻信息管理系統用戶信息和微信社交軟件等各種平臺搜集數據，多方面的搜集數據能增加數據的全面性，但是也增加數據處理分析的難度，這些數據除了數量龐大，還有很多非結構化、多維度數據，包含讀者個人數據、網絡數據、時間數據和空間位置數據等，而且各個第三方廠商數據甚至圖書館內各部門數據之間沒有建立數據鏈，還會產生了許多冗余數據和干擾數據[3].

面臨這么多不斷增長的復雜多樣異構數據，即使近年圖書館的軟硬件建設已經得到了很大的提升，但是仍然無法獨立處理解析這些數據.所以圖書館可以嘗試在某些領域與阿里巴巴和百度等國內一流企業合作，提高自己搜集、整理和解析數據的能力.

2.3 圖書館利用大數據進行資源優化配置的問題

圖書館通過各種途徑搜集數據，并通過大數據技術來整理解析，目的是進行資源的優化配置，來為讀者提供個性化的服務.

為每一個讀者提供有針對性的定制服務一直是圖書館服務工作的努力方向，但是長期以來，受制于各種現實條件，圖書館只能為廣大讀者提供通用普適的服務.隨著大數據技術的出現，在一個可接受成本范圍內，圖書館能夠提供滿足讀者需求的定制服務，正在逐漸變得有現實意義[4].

若要圖書館提供的個性化服務讓讀者滿意，必須具備時效性和針對性.時效性就是要圖書館在自身有限的數據分析處理能力上盡可能迅速的處理接收到海量數據；針對性則是要圖書館有效決策滿足讀者多樣化的需求.這兩點都需要圖書館對自身資源進行充分有效的優化配置后才能實現.

2.4 圖書館讀者數據安全問題

大數據技術記錄的大量圖書館讀者個人信息，行為數據和閱讀個性參數，是讀者個人社會信息的重要組成部分，在與第三方廠商進行數據交換和大量數據的交匯存儲中，會增加數據泄露風險，所以需要圖書館在使用過程中盡可能的提高防范意識，增加安全手段[5].另外大數據技術在對讀者的大量數據進行深入解析中，過程中無意出現的結果還可能會泄露讀者隱私，進而影響讀者個人信息安全，這也是要工作中極力避免的.

3 圖書館大數據實際應用工作構建

圖書館的大數據實際應用工作可以利用分層框架結構來實施，可以分成圖書館數據工程（Library data engineering）階段，圖書館數據科學（Library data science）階段和圖書館決策科學（Library decision science）階段.

3.1 圖書館數據工程階段

圖書館數據工程指的是關于數據的基礎性工程工作，比如圖書館搜集的數據如何存放，以什么形式存放.目前在大數據領域主流的有Hadoop、Spark和Storm這三大分布式計算系統[6]，這三大系統解決了如何可靠的存儲和管理大數據的問題.Hadoop采用MapReduce分布式計算框架，并根據GFS開發了 HDFS（Hadoop Distributed File System）分布式文件系統利用將數據塊分解并復制多份的方式解決服務器或硬盤硬件故障的問題，讓普通服務器組成的集群能提供高可靠性的存儲服務.Spark在Hadoop的基礎上進行了一些架構上的改良，與Hadoop最大的不同點在于，Hadoop使用硬盤來存儲數據，而Spark使用內存來存儲數據，因此Spark可以提供超過Hadoop100倍的運算速度，但是，由于內存斷電后會丟失數據，Spark不能用于處理需要長期保存的數據.Storm是在Hadoop的基礎上提供了實時運算的特性，可以實時的處理大數據流，但是它不存儲數據.在圖書館實際應用中，數據往往是離線的，并且來源復雜，對處理速度的要求不是特別高，Hadoop是目前最適合圖書館實際應用.

然后還要利用數據倉庫技術 ETL（Extract-Transform-Load），通過將數據從來源端經過抽取（extract）、轉換（transform）、加載（load）至目的端，對數據進行清理和驗證工作，將初步搜集來的各種原始異構數據歸一化，定義規范的數據格式，把數據過濾，統一了格式，ID和維度后在導入到分布式文件系統中.這是一個非常重要和耗時的步驟，但是只有通過數據工程形成數據的層次化機構和抽象數據概念，我們才能進入下一階段.

3.2 圖書館數據科學階段

這一層的作用是利用之前整理好的數據，然后建立具體針對某些問題的數學模型，通過深度學習，讓系統自動分析讀者借閱數據和行為數據，預測讀者使用習慣，將分析結果應用在圖書館工作服務的各個環節.例如通過讀者歷史瀏覽和訪問借閱記錄，自動給讀者推薦介紹相關的圖書館資源，可以有效的節約讀者時間，提高圖書館資源利用率.目前各種大數據開源社區蓬勃發展，圖書館正好可以借鑒其在商業領域的成熟算法模型，結合圖書館實際，就可以很快建立數據分析模型，進行驗證預測并應用到圖書館實際工作中.

3.3 圖書館決策科學階段

這個是大數據在圖書館應用中產生實際意義的一層，大數據應用通過之前的圖書館數據工程和圖書館數據科學方面的應用，產生各種可視化數據分析結果，目的就是為圖書館決策提供幫助.

首先，圖書館決策在基于讀者行為分析的前提下，需要一套設計合理的指標體系，當數據發生較大波動的時候，利用大數據技術合理的對數據進行拆解，從多個版本，多個維度分析數據來幫助圖書館做出決策[7].而且，大數據決策可以解決傳統決策中兩個問題：

3.3.1 決策依據不足問題

傳統圖書館決策中往往會遇到搜集的數據信息不夠全面，因而不具備足夠的代表性導致數據信息不可全信的問題.而在大數據應用中，有個觀點叫“樣本即總體”，以前搜集分析的數據，受到技術條件和成本所限，一般是隨機抽取部分樣本數據，針對樣本數據進行分析研究.但大數據不一樣，我們可以分析全面數據，甚至可以處理和某個特別讀者現象相關的所有數據，而不再依賴于隨機采樣信息.

3.3.2 數據信息不準確導致的風險問題

傳統手段獲取的讀者行為信息難免會有誤差，并且容易受主觀因素影響.大數據應用中獲得的數據規模非常龐大，以至于可以把數據誤差的影響減少到最低，有效的避免了圖書館決策中的隱藏風險問題.

但是圖書館大數據決策只能改進圖書館的服務，而無法創新服務；涉及到讀者個性的審美等主觀偏好也是無法數據化的，這是目前圖書館大數據決策中無法實現的.

4 結語

2016年5月25日，李克強總理在貴陽出席中國大數據產業峰會暨中國電子商務創新發展峰會時說：“大數據等新一代互聯網技術深刻改變了世界，也讓各國站在科技革命的同一起跑線上.中國曾屢次與世界科技革命失之交臂，今天要把握這一歷史機遇，搶占先機，贏得未來.”

圖書館掌握各種數據搜集手段，云計算和云存儲等大數據技術，逐漸開始擁有能夠為讀者提供個性化服務的能力.但是讀者個性化需求在大數據時代發生了快速變化，圖書館服務模式也隨之發生變革，這是圖書館無法回避的，圖書館只有把滿足讀者需求服務與大數據技術結合，建立在圖書館環境下的大數據解析決策體系，學習大數據思維，才能構建真正的圖書館大數據策略，為讀者提供滿意的個性化服務.

〔1〕維克托·邁爾-舍恩伯格,等.大數據時代生活、工作與思維的大變革[M].杭州：浙江人民出版社，2013.

〔2〕秦曉珠，李晨暉，麥范金.大數據知識服務的內涵、典型特征及概念模型[J].情報資料工作，2013（2）：18-22.

〔3〕譚磊.大數據挖掘[M].北京：電子工業出版社，2014.

〔4〕胡蓮香.走向大數據知識服務：大數據時代圖書館服務模式創新[J].農業圖書情報學刊，2014(2):173-175.

〔5〕馬曉亭.基于情景大數據的圖書館個性化服務推薦系統研究[J].現代情報，2016，36(4):90-94.

〔6〕程學旗，靳小龍，王元卓，等.大數據系統和分析技術綜述[J].圖書館學研究，2015(21):66-70.

〔7〕王萍，傅澤祿.數據驅動決策系統:大數據時代美國學習改進的有利工具[J].中國電化教育，2014,330(7):105-112.

G250.76

A

1673-260X（2017）09-0099-02

2017-07-12