大數據背景下圖書館服務體系創新與重構

摘 要：大數據時代的到來影響著社會的各個層面，從物聯網、云計算到微博等影響著人們生活的方方面面，圖書館作為存儲、傳播知識的重要場所受大數據的影響最為深刻。大數據時代，圖書館的服務體系需要完善，服務質量需要提升，這就需要研究大數據，應用大數據。文章在分析了大數據內涵與特征，提出了圖書館面臨大數據的挑戰，從服務內容與服務模式兩個方面提出創新與重構圖書館的服務體系的思路。

關鍵詞：大數據；圖書館；服務體系；創新；重構

“大數據”概念最早是由咨詢公司McKensey提出，而后《紐約時報》及《華爾街日報》開辟專欄，對其展開激烈討論。之后，包括Oracle、Microsoft、IBM、Yahoo、VMWare、FaceBook等幾乎所有IT巨頭，紛紛加入到相關的軟硬件技術研究的陣營中。現在，大數據已深深地影響了我們的生活，近年來，信息技術的飛速發展推動社會各個層面快速發展，新事物不斷涌現。“大數據”是移動計算、物聯網、云計算等一系列新興技術之后的又一新興事物。大數據已成為2012年以來的研究熱點，2013年7月28日在中國期刊網上用“大數據”作為關鍵詞進行搜索，并以發表時間順序排列，1985年有1篇文獻，2000年有4篇，2011年有41篇，到了2012年有324篇，2013年的1-5月則達到了418篇，增長的速度如此驚人。由此說明，對大數據有研究已成為科學研究的一個重要內容。綜觀國內外大數據領域的研究和應用發展現狀可見：大數據相關的研究與應用目前仍然處于起步階段，學術研究大多局限于宏觀層面；基于互聯網和社會媒體的企業大數據研究與應用亟需進一步的深入開展；現有的大數據研究大多立足于信息科學，側重于大數據的獲取、存儲、處理、挖掘和信息安全等方面[1]。

圖書館的責任之一就知識存貯、利用、開發和傳播，在即將出現的大數據的各種問題面前，圖書館已經感受到其所帶來的轉變和創新知識服務的巨大壓力。要把壓力轉化為創新的動力，就要正確地認識大數據給帶來的環境和改變，利用大數據實現圖書館服務能力的提升，推動圖書館事業的發展。

1 大數據的內涵與特征

早在 20 世紀 80 年代初，美國有人提出了大數據的概念，但是并沒有引起人們足夠的重視。近年來，各個領域的數據量都在大量的增長，因此，大數據這一概念也變得越來越流行，也越來越重要[2]。以“云計算”為標志的“大數據”，已經成為一些國家和政府的發展戰略。對于大數據的概念，企業和學術界目前尚未形成公認的準確定義。維基百科將大數據定義為“無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合”[3]； 權威 IT研究與顧問咨詢公司 Gartner 將大數據定義為“在一個或多個維度上超出傳統信息技術的處理能力的極端信息管理和處理問題”[4]； 美國國家科學基金會（ NSF） 則將大數據定義為“由科學儀器、傳感設備、互聯網交易、電子郵件、音視頻軟件、網絡點擊流等多種數據源生成的大規模、多元化、復雜、長期的分布式數據集”[5]。盡管存在不同的表述，但一個普遍的觀點是，大數據與“海量數據”和“大規模數據”的概念一脈相承，但其在數據體量、數據復雜性和產生速度三個方面均大大超出了傳統的數據形態，也超出了現有技術手段的處理能力，并帶來了巨大的產業創新的機遇。大數據包含了互聯網、醫療設備、視頻監控、移動設備、智能設備、非傳統 IT 設備等渠道產生的海量結構化或非結構化數據，并且時時刻刻都在源源不斷地滲入現代企業日常管理和運作的方方面面[1]。

大數據的特點可以用“4V+1C”來概括，“4V+1C”分別代表了Variety（多樣化）、Volume（海量）、Velocity（快速）、Vitality（靈活）以及Complexity（復雜）。多樣化（Variety）指大數據一般包括以事務為代表的結構化數據、以網頁為代表的半結構化數據和以視頻和語音信息為代表的非結構化等多類數據，并且它們的處理和分析方式區別很大。海量（Volume）指通過各種智能設備產生了大量的數據。據 DCCI 互聯網數據中心在2012年7月26日舉辦的“Adworld2012 互動營銷世界”上給出的數據顯示：2010 年，全球數據量已達 1.2ZB（1ZB=1024EB，1EB 相當于10億GB），到2020年將暴增30倍達35ZB；2011年，全球被創建和復制數據總量為1.8ZB；2013年，我們生成這樣規模的信息量只需10分鐘[6]。快速（Velocity）指大數據要求快速處理，因為有些數據存在時效性。比如電商的數據，假如今天數據的分析結果要等到明天才能得到，那么將會使電商很難做類似補貨這樣的決策，從而導致這些數據失去了分析的意義。靈活（Vitality）指在互聯網時代，和以往相比，企業的業務需求更新的頻率加快了很多，那么相關大數據的分析和處理模型必須快速地適應新的業務需求。復雜（Complexity）指雖然傳統的已經很復雜了，但是由于前面4個V的存在，使得針對大數據的處理和分析更艱巨。

圖書館作為知識信息的重要來源之一，不可避免地受到社會應用技術潮流的影響，圖書館也應與時代相呼應。在當今，圖書館已具備了大數據的特征，至2008年底，CALIS文獻數據總量達到180TB，截止到2012年底，國家圖書館數字資源總量達807.3TB，內容豐富、種類齊全[7]。研究大數據對于圖書館來說具有重的現實意義。

2 大數據對圖書館發展的挑戰

2.1 大數據的復雜性挑戰

復雜性造成網絡大數據存儲、分析、挖掘等多個環節的困難。網絡大數據的復雜性主要表現在三個方面。

數據類型復雜。信息技術的發展使得數據產生的途徑不斷增加，數據類型持續增多。相應地，則需要開發新的數據采集、存儲與處理技術。例如社交網絡的興起，使相關當的信息表現為短文本數據信息。與傳統的長文本不同，短文本由于長度短，下文信息和統計信息很少，給傳統的文本挖掘（如檢索、主題發現、語義和情感分析等）帶來很大的困難。

是數據結構的復雜。傳統上處理的數據對象都是有結構的，能夠存儲到關系數據庫中。但隨著數據生成方式的多樣化，如社交網絡、移動計算和傳感器等技術，非結構化數據成為大數據的主流形式。非結構化數據具有許多格式，包括文本、文檔、圖形、視頻等等。非結構化數據當中蘊含著豐富的知識，但其異構和可變的性質也給數據分析與挖掘工作帶來了更大的挑戰。與結構化的數據相比，非結構化數據相對組織凌亂，包含更多的無用信息，給數據的存儲與分析帶來很大的困難。

數據模式的復雜。隨著數據規模的增大，描述和刻畫數據的特征必然隨之增大，而由其組成的數據內在模式將會以指數形式增長。首先，數據類型的多樣化決定了數據模式的多樣化。不僅需要熟悉各種類型的數據模式，同時也要善于把握它們之間的相互作用。這種面向多模式學習的研究需要綜合利用各個方面的知識（如文本挖掘、圖像處理、信息網絡、甚至社會學等等）。其次，非結構化的數據通常比結構化數據蘊含更多的無用信息和噪聲，網絡數據需要高效魯棒的方法來實現去粗存精，去冗存真。搜索引擎就是從無結構化數據中檢索出有用信息的一種工具。盡管搜索技術在工業上已經取得極大的成功，仍然存在很多不足，都有待進一步提高[8]。

2.2 應對大數據的不確定性挑戰

大數據具有不確定性，其不確定性使得網絡數據難以被建模和學習，從而難以有效利用其價值。大數據的不確定性表現為數據本身的不確定性、模型的不確定性和學習的不確定性。

數據本身的不確定性。原始數據的不準確以及數據采集處理力度、應用需求與數據集成和展示等因素帶來了數據在不同維度、不同尺度上都有不同程度的不確定性。傳統數據具有較為明顯的結構性，其處理方法難以應對海量、高維、多類型的不確定性數據。具體而言，在數據的采集、存儲、建模、查詢、檢索、挖掘等方面都需要有新的方法來應對不確定性的挑戰。近年來，概率統計的方法被逐步應用于不確定性數據的處理中。一方面，數據的不確定性要求我們使用不確定的方法加以應對；另一方面，計算機硬件的發展也為這類方法提供了效率、效能上的可能。目前，該領域研究尚淺，在學術界和產業界尚有大量問題亟待解決。

數據模型的不確定性。數據的不確定性要求對數據的處理方式有別于傳統的處理方法，能夠提出新的模型方法，并能夠把握模型的表達能力與復雜程度之間的平衡。在對不確定數據的建模和系統設計上，人們常用的是“可能世界模型”觀點。該觀點認為，在一定的結構規范下，應將數據的每一種狀態都加以刻畫，但該種模型過于復雜，難以用一種通用的模型結構來適應具體的應用需求。在實際應用中，我們往往采取簡化的模型刻畫不確定性數據的特性，如獨立性假設、同分布假設等等。概率圖模型由于具有很強的表達能力而且可對數據相關性進行建模，因此已被廣泛應用在不確定數據的建模領域。另外，在數據的管理和挖掘上面，不確定性模型的構建應當考慮到圖書館系統數據的查詢、檢索、傳輸、展示等方面的影響。

數據學習的不確定性。數據模型通常都需要對模型參數進行學習。然而，在很多情況下找到模型的最優解是很困難的。因此很多學習問題都采用近似的、不確定的方法來尋找一個相對不錯的解。但在大數據的背景下，傳統近似的、不確定的學習方法需要面對規模和時效的挑戰。如何將近似的、不確定的學習方法拓展到這種框架上成為當前研究的重點。近年來，不少高校和研究機構，在該領域做出了探索。如在矩陣分解運算中對數據進行分塊的計算方法能夠利用多臺機器并行計算，從而提高數據的處理速度。近年來，在統計學習領域，非參模型方法的提出為自動學習出模型復雜度和參數個數提供了一種思路。但該類模型計算上較為復雜，如何分布式地、并行地應用到網絡大數據的處理上，還是一個開放問題，圖書館應加強技術水平來應對大數據的學習不確定性。

2.3 大數據的涌現性挑戰

涌現性是指多個要素組成系統后，出現了系統組成前單個要素所不具有的性質，這個性質并不存在于任何單個要素當中，而是系統在低層次構成高層次時才表現出來，所以人們形象地稱其為“涌現”。系統功能之所以往往表現為“整體大于部分之和”，就是因為系統涌現了新質的緣故。涌現性是網絡數據有別于其它數據的關鍵特性。涌現性在度量、研判與預測上的困難使得網絡數據難以被駕馭。網絡數據的涌現性主要表現為模式的涌現性、行為的涌現性和智慧的涌現性。

大數據的模式涌現性是指在多尺度、異質關系的網絡數據中，由于不同的數據在屬性、功能等方面既存在差異又相互關聯，因此使網絡大數據在結構、功能等方面涌現出了局部結構所不具備的特定模式特征。在結構方面，數據之間不同的關聯程度使得數據構成的網絡涌現出模塊結構。在功能方面，網絡在演化過程中會自發地形成相互分離的連通小塊。

大數據的行為涌現性是指隨著數據采集技術的不斷發展，人們得到的很多數據都具有時序性，而社會網絡中個體行為的涌現性則是基于數據時序分布的統計結果。在社會網絡中有較大相似性的個體之間容易建立社會關系，當這些個體在產生網絡數據時每一個體的行為同時出現在一個系統中時，就表現為復雜的區別于個體的復雜性。

大數據的智慧涌現性是指網絡數據在沒有全局控制和預先定義的情況下，通過對來自大量自發個體的語義進行互相融合和連接而形成語義，整個過程隨著數據的變化而持續演進，從而形成網絡數據的涌現語義，也可以稱之為智慧涌現。作為一種特殊的智慧涌現形式，眾包正在通過互聯網和社會網絡快速發展，成為一種新的商業模式、新的數據產生模式和新的數據處理協作模式。總體而言，盡管與網絡大數據研究密切相關的數據庫、數據挖掘、機器學習和知識工程等領域近些年來都有很大的進展，甚至在許多不同的領域得到了深入的應用，但由于網絡大數據規模海量、關系復雜等根本特性，使得相關領域的研究成果難以被直接借鑒于網絡大數據的研究。到目前為止，大數據的精確定義還缺乏一個統一的標準，網絡大數據科學需要一個完備的新的理論體系來指導該學科的發展和研究。

3 大數據背景下圖書館服務體系創新與重構

3.1 大數據背景下的服務內容創新與重構

大數據背景下，圖書館的競爭不僅僅是擁有的數據資源的多少，而是在數據類型與結構上、數據的利用與開發上，即服務內容創新。在自媒體時代，每個是都一個數據產生源，圖書館的用戶信息是極具價值的信息，如用戶信息行為數據，這類目前還未完整收集的用戶行為等非結構化數據將極具價值，很多的圖書館服務只有對大量的用戶數據挖掘、分析才能得出圖書館所需的決策參考，因此圖書館要重視這些非結構化的大量的用戶數據與信息。對圖書館來說，在大數據時代的競爭就是避免邊緣化，開展必要的大數據分析服務。圖書館開展的大數據分析服務業務，主要可以有以下幾種： 首先是圖書館自身建設所需的大數據分析。這類分析一般以圖書館的現有數據位對象進行分析，如讀者的借閱方式、行為愛好等，是一種對現有資源的分析與挖掘； 其次是客戶即讀者所需的大數據分析。這類分析業務類似于當今圖書館為企業等客戶群體所做的信息情報參考、競爭情報分析，但也有著很大的區別，如對于分析對象數據的不同、分析手段的不同、分析目的的不同等，這類分析業務所依靠的大量數據可能并非圖書館所擁有，從而成為限制該項業務發展的瓶頸，如何解決此類服務的數據問題是突破該瓶頸的關鍵[9]。

大數據的價值在于其背后的使用規律和產生規律，對大數據的分析要利用先進的信息技術，創新原有的分析方法和分析技術，大量網絡社交等信息行為產生的大量非結構化數據、半結構化數據也讓許多學者開始思考去采集和利用這些信息。如果能夠采集到Web 日志的數據，就能很好地滿足發現關聯規則、內容分類和用戶聚類的需求，從而能提高個性化推薦的精度，進而對定制 Web 日志的數據模型、過程及方法進行探索。即對現有服務內容進行重構。

3.2 大數據背景下的服務模式創新與重構

在當今時代，傳統的物理圖書館已轉變為數字圖書館，圖書館的服務也發生了變化，從原來的點對點、線對點、面對點的傳統服務轉變為一體化服務。不管是服務的方式、途徑、模式等也都將發生改變。從服務的理念上轉變為基于數據的服務，以“大數據”為基礎，圍繞從數據匯聚到信息加工，知識服務，智慧服務的四個層次展開一體化服務。即服務模式的創新[10]。

大數據時代下，數據資源是海量的，理論上一個圖書館可以收集所有的數據資源，如各類文獻資源，科研成果，學術交流，甚至包括各種訪問，社交日志信息等各種網絡資源。提供資源之間的無縫鏈接，提供各種數據管理服務，包括存儲備份、元數據加工、數據發布，數據共享等。在數據的洪流中，異構、分布和海量的各種數據資源得以匯聚及融合，形成中心知識庫，通過預索引的方式，為用戶提供快速，簡單，易用的資源發現及獲取服務，建立一體化數據資源服務平臺[7]。但是，這些數據來源于不同的機構知識庫或讀者個人，圖書館可以充分利用機構優勢有組織地通過對各類數據源的定位和連接，實現數據的采集、傳輸和匯聚。鼓勵讀者開放存取各種數字資源，使用戶不僅是資源的接受者和學習者，而且是資源的的發布者和貢獻者。

在大數據環境下，圖書館應利用知識服務平臺重構服務模式，通過對匯集數據的加工整理，數據建模，提高數據的價值密度。探索以數據為基礎的知識發現分析，通過基于數據的增值服務，面向用戶、滿足用戶的學科知識需求，開展知識服務。如以學科為基礎，將不同學科用戶的檢索瀏覽下載的信息行為數據進行分類加工整理，將信息的可視化服務、數據挖掘的智慧服務進行重構，以便發揮大數據背景下圖書館的最大功能。

4 結束語

大數據已深入到我們生活的各個層面與各個角落，已無法抗拒，只有擁抱大數據。大數據伴隨著云計算、移動互聯網、物聯網等信息技術的成熟而迅速發展，并且越來越受到業界和學術界的關注，相較于過去幾十年數字圖書館的研究與發展，大數據技術在未來幾年給云圖書館將會帶來革命性、持續性和創造性的變化，會對我們所熟知的知識服務能力和知識服務機制產生重大的顛覆和創新，也對現有的技術和方法提出更高的要求，而這一切可能會超出我們正常期待的范圍。綜合分析過去兩年內對大數據技術的關注和研究，在未來幾年，新型的大數據獲取、存儲、組織、分析和決策過程中，體系架構、計算模型、數據模型、智能輔助決策模型、性能優化模型及知識服務模型等方面，將會出現更多的研究成果。大數據技術是圖書情報領域無法逃避的未來技術發展形態，必將重構圖書館的服務體系。

參考文獻

[1]劉瓊.大數據環境下圖書館面臨的影響與挑戰[J].理論觀察，2013，8：112-113.

[2]馮芷艷，郭迅華，等.大數據背景下商務管理研究若干前沿課題[J].管理科學學報，2013.

[3]孫琳.大數據時代圖書館服務體系創新研究[J].理論觀察，2013.

[4]http：//en.wikipedia.org/wiki/Big_data.

[5]http：//www.gartner.com/it-glossary/big-data/.

[6]http：//www.nsf.gov/funding/pgm_summ.jsp？pims_id=504767.

[7]韓翠峰.大數據時代圖書館的服務創新與發展[J].圖書館，2013.

[8]國家圖書館面向地方開放120TB數字資源[Z].2013-7-28.

http：//roll.sohu.com/20130304/n367700292.shtml.

[9]王元卓，靳小龍，等.網絡大數據：現狀與展望[J].計算機學報，2013.

[10]韓翠峰.大數據時代圖書館的服務創新與發展[J].圖書館，2013.

[11]朱靜薇，李紅艷.大數據時代下圖書館的挑戰及其應對策略[J].現代情報，2013.

作者簡介：劉瓊（1971-），女，淮陰工學院圖書館管理員，研究方向：計算機與圖書管理。