大數據、云計算與圖書館

郝志剛

1 圖書館的大數據

1.1 大數據有哪些

雖然早在1998年美國硅圖公司（SGI）的首席科學家John R.Masey就提出了大數據一詞，但之后很多年人們依然沒有大數據的概念，只是簡單描述隨著科技發展出現的海量數據。直到2011年6月，美國麥肯錫咨詢公司發布了《大數據：下一個競爭、創新和生產力的前沿領域》的研究報告，才給世界一個大數據時代到來的準確定音。這份報告分析了大數據對健康醫療、政府管理、零售業及制造業等行業的重大的經濟影響，并預測大數據將給美國醫療事業帶來每年3000億美元的收入，給歐洲發達經濟體每年節省1000億歐元的支出。由此可見，跟上大數據時代的步伐會給社會各種團體組織帶來不可估量的效益。

大數據是海量的數據被整理納入大數據倉庫里，然后對其進行分析挖掘，再利用有價值的結論進行下一步行動的決策。比如消費者在網站上的搜索被記錄到亞馬遜的數據庫中，通過大數據分析用戶的購買行為，向用戶推薦合適的產品，實現精準營銷[1]。大數據從數據內容結構上分為結構化數據、半結構化數據和非結構化數據。結構化數據即行數據，存儲在數據庫里，可以用二維表結構來邏輯表達實現的數據，在形式上有諸如文字、數字、符號，能夠用統一的形式加以標識。非結構化數據包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等，這些內容無法用簡單的邏輯表達實現，分析起來也需要特別的硬軟件。而半結構化數據，就是介于結構化數據和非結構的數據之間的數據，它一般是自描述的，數據的結構和內容混在一起，沒有明顯的區分。

大數據之所以被稱為大數據首先因為它的數據是海量的，而且目前隨著科技發展，隨著人們對電子產品，對互聯網的依賴程度不斷提高，這個海量數據正在超速增長。根據國際數據公司IDC 2011年發布的Digital Universe Study，全球信息總量每過兩年，就會增長一倍。僅在2011年，全球被創建和被復制的數據總量為1.8ZB，到2020年這一數值將增長到35ZB[2]。去年百度每天處理數據量相當5000個國家圖書館，而今年中國電子商務代表阿里集團在其數據平臺事業部的服務器上，已經攢下了超過100PB已處理過的數據，等于104857600個GB，相當于4萬個西雅圖中央圖書館，大約580億本藏書的數據量[3]。如此規模的海量數據被數據公司處理，從中產生不可估量的社會價值、商業價值，這就是大數據的魅力。

1.2 圖書館的大數據

以一個省級公共圖書館為例，其業務包含了資源采訪、資源建設、資源保障、資源利用四個方面。具體包括采訪、編目、數據安全保障、Web網絡建設、信息咨詢，圖書期刊等資料借閱、數字化資料借閱、多媒體服務等方面。這樣的一個圖書館每天產生的數據是海量的。從圖書館采購圖書資料數據到數據利用，到用戶產生的數據反饋這些數據如果收集起來，送到云計算公司去分析挖掘，必定會給圖書館服務發展帶來質的改變。再以國家數字圖書館為例，他們在2011年的數字資源總量就已到561.3TB，而這個只是靜態的數據量[4]。目前圖書館的大數據雖然以結構化數據為主，但隨著圖書館新服務的開展，圖書館與讀者的互動信息，以及讀者的面對圖書館的各種信息行為都會被記錄，這些信息都將成為圖書館大數據中的非結構化數據。比如讀者在圖書館網站的書評，讀者在圖書館網站的瀏覽行為，甚至利用攝像頭或者讀者智能借閱卡跟蹤讀者在圖書館的行走和停留路線，從中產生的分析讀者使用圖書館的狀況數據。像這樣的非結構化數據，將比圖書館的結構化數據增長得更快，因為這種非結構化數據更多地包含實時數據流，包括音頻、視頻這種大級別量的數據。如果聯合起全國各個圖書館的數據，一起放入一個大數據庫，這也必定成為超級大數據，在目前技術環境下，只有利用云計算商和大數據服務提供的服務，有針對性地提出圖書館的需求，才能應對大數據時代帶來的挑戰。

1.3 可利用的大數據

圖書館大數據首先包括書目數據。這些數據一般屬于圖書館穩定的結構化數據，目前這些數據的使用多用SQL工具分析，對于結構化的數據，小規模的數據，目前的分析工具足可以用了。對這些數字化書目數據做分析可以反映出一個圖書館館藏的級別、服務的對象、服務的傾向和服務的質量。

圖書館的非結構化數據包含了動態的信息，這些信息可以來自圖書館業務內容、也可以來自讀者服務體驗。圖書館的業務包括了采訪、編目、數字化資源建設、信息咨詢、多媒體等第三空間活動。這些業務產生的數據首先是工作狀態數據，如每個館員的業務量、業務內容、業務質量。其次是相關業務口的交流產生的數據。另外是對外服務時產生的數據。比如圖書館各個業務中心的工作日志就是一項數據，這種數據可以是文本、音頻、視頻，這種數據的收集意義在于可分析圖書館自身建設，從而獲得改進內部業務的方法。與此相關的業務之間會有很多交流，比如信息咨詢部與資源建設部之間，信息咨詢會把讀者需求的資源反饋給資源建設部，而資源建設部則依據得到的讀者信息有針對性地采購資源。這種部門之間的交流同樣會產生大量的交流數據，這些數據的收集分析會優化部門間的工作質量，提高圖書館整體工作的效率。

特別是近些年，即時通信的高速發展，即時通信已經超越了搜索引擎成為使用最多的網絡應用，微博、微信、社交網站產生的數據也已經是大數據級別。圖書館利用這些網絡工具與服務對象互動產生的數據通過大數據分析技術可以得出讀者的興趣偏好，從而為圖書館服務提供參考。隨著網絡科技的發展與圖書館創新服務的提供，今后來自讀者的信息將越來越多，讀者使用圖書館服務過程中的地理信息、搜索信息、網絡瀏覽軌跡、互動資料記載，這些很多是非結構化和半結構化的數據，都將作為圖書館大數據的一部分為圖書館發展提供導向。

2 圖書館的云計算

2.1 針對大數據的云計算

據美國國家標準與技術研究院（NIST）定義，云計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問[5]。簡單地說，云計算就是互聯網中的軟硬件的便捷使用。云計算一般認為包括以下幾個層次的服務：基礎設施即服務（Infrastructure as a Service，IaaS），平臺即服務（Platform as a Service，PaaS）和軟件即服務（Software as a Service，SaaS）[6]。基礎設施即服務是消費者通過Internet從完善的計算機基礎設施獲得服務。平臺即服務實際上是指將軟件研發的平臺作為一種服務，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應用。但是，PaaS的出現可以加快SaaS的發展，尤其是加快SaaS應用的開發速度。軟件即服務，它是一種通過Internet提供軟件的模式，用戶無需購買軟件，而是向提供商租用基于Web的軟件來管理自身經營活動。云計算的這三個層次的服務都具有應對快速、數據海量、類型復雜和數據價值這四種大數據具有的特性。從發展上看,大數據與云計算似乎同時出現，他們的關系就像一枚硬幣的正反面一樣密不可分。大數據的海量數據的特殊性是以前的單個計算機、計算機集群無法處理的事物，特別是以前的數據庫分析軟件面對非結構化數據也是束手無策。目前針對大數據，技術商提供了一些行之有效的技術，比如 Hadoop、MapReduce、Hbase、NoSQL等。特別是Hadoop，它是由Apache基金會開發的分布式系統基礎架構，用戶可以在不了解分布式底層細節的情況下開發分布式程序。面對圖書館開發利用大數據的這項新任務，筆者認為可以從一個企業的角度考慮，圖書館完全可以外包這種數據分析，只要在云計算的環境利用其提供的服務即可。圖書館是一片網絡中的資源云，而且是不斷產生大數據的云，大數據必須采用分布式計算架構，對于數據進行挖掘使用，圖書館只有依托云計算的分布式處理、分布式數據庫、云存儲和虛擬化技術，并在這種計算中獲得大數據商提供的即時數據結果才是圖書館大數據利用的有效途徑。

2.2 圖書館使用云計算

圖書館使用云計算就是針對圖書館出現的海量大數據的數據分析與數據挖掘。目前國內已經有圖書館使用云計算的案例，而在國際上，早在2009年OCLC就宣布在Worldcat的基礎上，應用云計算技術實施數字圖書館。OCLC的服務方法為圖書館利用云計算提供了模板，OCLC通過建立云環境的方法，將所有成員圖書館的信息資源整合至一個大型的云圖書館系統，把所有成員圖書館的客戶端與合作的數據庫以虛擬方式連接。成員館為OCLC數據庫提供信息資源，這些信息資源被整合在OCLC的大數據庫中，OCLC再利用互聯網方式，利用云計算軟件或平臺為全世界用戶提供一個以開放式OPAC、搜索引擎、網頁、社交網絡等多種方式利用數字圖書館資源的云平臺。在云環境的統一與整合下，用戶不再拘于某一個圖書館OPAC去獲取信息，也不再局限于所在地理位置，他們可以瀏覽世界所有圖書館的資料，分享所有用戶對圖書的交流。2010年OCLC以Worldcat為核心推出基于云計算技術的網絡級管理服務，這個世界級的圖書目錄不但從一個大型聯機目錄轉變成全球網絡用戶通向全球圖書館的入口，而且利用云計算提供的服務突破了單一的目錄查詢，他可以為用戶提供多項的互動式服務。OCLC的云計算運行模式中包括成員館、用戶、信息資源供應商、圖書館的日常合作伙伴四大對象。它通過自有的或服務商提供的IaaS、PaaS、SaaS來為用戶提供服務。至于這種模式如何運作不應作為個體圖書館研究的對象，但分析大數據與云計算的關系有利于國內圖書館組織為其團體中的圖書館開展新服務。就像OCLC一樣，一個省的、地區的甚至一個國家的圖書館可以聯合全區域圖書館資源，通過自建云計算體系或者購買云計算服務商基于IaaS、PaaS、SaaS的服務來整合全區域圖書館資源，使其創新利用。我國的CALIS曾提出了與OCLC的云計算相似的觀點，CALIS的高校文獻信息運行模式其實也是云圖書館的一種，但CALIS擔憂的是面對全國2000所高校圖書館和60萬所中學圖書館,如何進行技術上的云鏈接，又如何保證各個省中心的負載均衡。筆者認為這樣的擔憂也是不恰當的。圖書館的核心價值在于平等公開地為用戶提供獲取信息、享受信息的新體驗，一個圖書館聯合組織應該以此為工作中心，在大數據時代，所有的科學技術都在高速發展，所以，圖書館組織應該專注于服務理念的分析，分析讀者不斷變化的需求，分析這種需求產生的途徑，分析如何分析的方法，把云計算，大數據分析交給技術服務商。通過這種轉變，各個圖書館的服務器，服務軟件等都可以實現共享，從經濟角度上也能為國家節省大筆的開支。有研究者提出全國圖書館建立一種“國家圖書館—省級中心”的模式為國家政府信息資源提供服務[7]，筆者這里也借鑒一下，在云計算的網絡技術下，全國圖書館的數據聯合成大數據，同樣建立這樣的層級結構，獲取大數據中有價值的數據為全國每一個館提供信息。

3 在大數據環境下利用云計算的圖書館服務

云圖書館自有豐富的信息源，所有的“云”聯合起來為所有的用戶提供服務這正是圖書館未來發展的模式。圖書館或者圖書館讀者都可以作為用戶通過云服務技術訪問大數據服務商提供的服務，用戶訪問圖書館的方式則各不相同，可以分Web服務、Web應用、外部服務和非Web應用等等[8]。用戶通過隱形的技術，使用設備終端，或者電腦，或者pad，或者手機來獲得使用圖書館的新體驗。

3.1 圖書館采購服務

關于圖書館聯合采購的服務，在這里我們討論如何利用大數據分析用戶需求，更為準確、高效地采購適合本地圖書館所需的信息資料。一個圖書館建設會依據本市、本校、本地區的用戶需求而訂制各類圖書、期刊和數據庫等信息資料，這個過程一般由圖書館采訪中心負責，而采訪中心的分析渠道一般又參考周邊各市縣圖書館，參考同類高校，參考讀者提供的需求反饋，參考大學系科提供的教學要求，另外就是參考書商、數據庫商提供的書目、數據庫名錄進行訂購。這種傳統采購方式一直是我國各級、各類圖書館資源建設中心沿用的方法，雖然圖書館以保障資料為其存在目的之一，但是傳統的采購方法難免會導致花費了大量人力、物力、財力采購到的資料，在一進館之后便沉寂起來。盡管理論界有一種長尾理論，想通過數據發掘把沉寂的資料提供給需要的用戶，但是面對浩瀚的資料，這幾乎是一種徒勞的做法。圖書館首先應從采購著手，從源頭上確定采購的資料是本館需求的，這也是符合效率與效益的。訂購優質而實用的資料不但會給當地讀者提供及時方便的服務，而且從各個方面，比如館舍面積、業務質量、經費支出等造就便利。

在大數據環境下，首先一個圖書館要融入“大圖書館”，可以是一個省或者是國家圖書館，由大圖書館牽頭負責各分館的聯絡組織。組織負責中心負責聯系外部大數據服務商，由大數據服務商提供數據收集與分析。在采購方面，則是由各分館提供數據匯集，交給服務商。服務商則把全負責區域數據納入大數據庫進行分析。這種采購信息數據至少可以反映出本地區讀者需求的地域特征、民族特征、產業狀況、發展趨勢特征。針對一個成員館，服務商應該給出采購圖書等資料的精確建議。舉一個例子，一個大學圖書館會依據學校教研情況訂購圖書或數據庫。大數據服務商則一方面收集世界或國家在各個學科領域最新發展情況，一方面針對學校發展目標，有目的地提供圖書等資料的采購建議。這樣的采購，可以避免人工采購的繁復勞動，失效作業，避免自狹于小數據的采購作業失誤，卻可以獲得學科領域最新的優質資料。

3.2 圖書館資源建設服務

圖書館資源建設除了采購方面，另一方面是本館的信息資源整理建設，具體工作包括信息資料編目和Web網建設。在信息編目方面，目前有國家圖書館和CALIS分別負責全國公共圖書館、全國中小學圖書館和全國高校圖書館的信息資源保障，在圖書編目業務上也已實現了聯合編目和館際互借。但國家圖書館和CALIS都是自有數據中心負責這方面業務，而且這兩個數據中心一個負責全國公關圖書館和中小學圖書館，另一個負責全國高校資源，本來就應該一體的東西，結果各自為政，在信息資源建設的各個方面都難以溝通，給國家造成重大的隱形損失。這種情況也反應到每個圖書館，就像目前的狀況，幾乎每個圖書館都有自己的數據服務器，都有自己的高技術人員，隨著計算機技術的發展，自有的服務器還需要不斷購買翻新，技術人員也需要不斷跟進學習，這一切在大數據和云計算出現的當下是巨大的浪費。圖書館的數據庫、服務器這一切應該交給服務商運作，在法律和安全協議的保證下，一個地區，一個國家的數據都可以更經濟、更高效地發揮作用。

圖書館的信息資源建設涉及多方面，從采訪到編目，到讀者信息反饋，到再分析再建設，圖書館員做的工作應多趨向分析這種建設模式，分析圖書館本身的特色，分析如何找到圖書館用戶的需求。這些分析方法要求從圖書館所有數據中獲得分析結果來，然后再利用分析結果去開展有效率的服務。圖書館使用大數據服務商提供的服務，大數據服務商則利用云環境獲得的數據，對整個數據進行分析，給出圖書館所需的數據結果。

4 結語

在大數據環境下使用云計算技術發展業務是圖書館的趨勢。在這樣的趨勢下，圖書館所做的業務可以更加集中于自身的分析和用戶的分析，把數據倉儲、數據分析交給大數據服務商。圖書館的角色在新環境下進行有效轉變，圖書館員的工作也從以前全面包攬轉變到有效集中。服務商無論使用哪種云計算技術，使用哪種大數據分析系統都由數據商決定，圖書館則選擇使用哪個服務商提供的服務。在大數據時代下，圖書館職責可以緊緊圍繞圖書館核心價值去做用戶需求關聯分析，分析圖書館給用戶所能提供服務的途徑，分析新業務的可行性，分析研究創新業務和創新服務。

[1]姜山，王剛.大數據對圖書館的啟示[J].圖書館工作與研究，2013（4）：52-54，79.

[2]裴昱.大數據時代圖書館用戶行為信息的利用方式[J].圖書館學刊，2013（8）：44-46.

[3]遲有雷.大數據如何賺錢[EB/OL].[2014-03-12].http：//www.forbeschina.com/review/201403/0031571.shtm l.

[4]國家數字圖書館資源建設概況 [EB/OL].[2014-03-12].http：//www.ndlib.cn/szzyjs2012/201201/t20120113_57990.htm.

[5]云計算 [EB/OL].[2014-03-12].http：//baike.baidu.com/view/1316082.htm.

[6]楊威，張昀.云計算背景下數字圖書館可信計算研究[J].軟件導刊，2014（1）：135-138.

[7]汪正坤，彭國莉，劉喜文，等.基于云計算的中國政府信息資源的圖書館開發利用[J].圖書館學研究，2012（7）：73-77.

[8]崔忠偉，左羽，韋萍萍，等.基于云計算的數字圖書館服務平臺架構設計[J].物聯網技術，2014（2）：80-81.