基于大數據處理流程的圖書館用戶關系數據管理及應用研究

（遼寧省圖書館）

基于大數據處理流程的圖書館用戶關系數據管理及應用研究

姚雪梅（遼寧省圖書館）

文章圍繞客戶關系管理服務“以用戶為中心”的理念，借助大數據的信息采集、存儲、分析挖掘技術流程，系統、全面地分析處理圖書館用戶關系數據，探討用戶的信息行為和信息需求特點，深入了解用戶的需求。在此基礎上，將大數據用戶關系數據管理的成果融入到創新圖書館用戶服務模式中，并提出了具體的服務策略和方法，包括：提出基于大數據用戶關系數據管理的閱讀推廣服務、個性化服務、圖書館用戶網絡輿情監控、開展用戶數據素養教育。

大數據；處理流程；用戶關系

隨著信息技術和網絡技術的不斷發展，用戶的信息需求向著多樣化、個性化轉變，促使圖書館的服務理念與服務模式進行革新。阮岡納贊的“圖書館學五定律”在新時期被更好的詮釋，“以用戶為中心”［1］的服務理念也被普遍遵循，即以用戶需求為中心，通過現代化技術整合圖書館資源與服務，重視用戶動態的信息需求和信息行為，挖掘其潛在的需求特征。而大數據對于海量信息的存儲和分析能力，必將會給圖書館用戶關系管理帶來新的機遇。

1 大數據與圖書館用戶關系管理

1.1 大數據概述

2011年，麥肯錫全球研究所的報告《大數據：創新、競爭和生產力的下一個前言》指出，“大數據”是指大小超出了傳統數據庫軟件工具的抓取、存儲、管理和分析能力的數據群。［2］不斷增多的數據量需要不斷更新的分析和存儲工具，故大數據通常與Hadoop、NoSQL、數據分析與挖掘、數據倉庫、商業智能以及開源計算機架構等諸多熱點話題聯系在一起。簡單來說，大數據由三項技術趨勢匯聚而成。一是海量的交易數據，由不斷增長的關系數據、半結構化和非結構化數據信息構成；二是海量的交互數據，由網絡社交平臺貢獻而來，如Facebook、Twitter等；三是海量的數據處理。大數據的涌現催生出了用于數據密集型處理的架構，如Hadoop，就是一種以可靠、高效、可伸縮的方式進行分布式處理的軟件構架。大數據的價值主要體現在兩個方面：分析使用和二次開發。但大數據分析也存在其局限性，大數據不等于全數據、真數據，選中的樣本和數據影響著研究結果，并且它只能揭示和解釋某些事情，并不能預測和解決所有問題。

1.2 圖書館用戶關系管理的核心理念

近些年，企業的客戶關系管理（CRM）理論逐漸被引入圖書館管理實踐，即圖書館用戶關系管理。客戶關系管理理論代表人物邁克爾·約翰遜指出：“每家公司都必須有能力使客戶感到滿意，并保持現有的客戶。”CRM的核心是：客戶是企業發展最重要的資源之一，對企業與客戶發生的各種關系進行全面管理，CRM的目標是以快速和周到的優質服務吸引和保持更多的客戶，提高客戶忠誠度，最終為企業帶來利潤的增長。［3］圖書館正是借鑒CRM形成了圖書館用戶關系管理理念，始終圍繞“以用戶為中心”，良好的圖書館用戶關系可以提高圖書館現有用戶的忠誠度，吸引潛在用戶，提升圖書館資源的利用率。

1.3 圖書館用戶關系數據管理的意義

隨著大數據、云計算等技術的發展，圖書館數據，特別是用戶關系數據所蘊含的價值越來越容易地被挖掘出來。基于大數據的用戶資源管理，可以實現對用戶信息的全面整合，發現用戶的需求特點和趨勢，為用戶提供更為快捷與周到的服務；可以創新服務形式，實現多層次、立體化的服務；還可以輔助圖書館領導層優化決策流程；此外，在用戶數據管理的基礎上，可以發現圖書館自身資源與服務的不足，幫助圖書館協同發展。

2 大數據處理流程

2.1 智能的數據采集

大數據的采集是指利用多種數據庫來接收發自客戶端（Web、App等）的數據。數據量大是大數據的基本特征之一，除了采集傳統的結構化數據，實際上采集到的數據更多的是半結構化和非結構化數據。結構化數據：即用統一長短的字段來記錄的數據，如事務性數據和聯機分析處理（OLAP）數據；半結構化數據：具有一定結構，可以解析的文本數據文件；非結構化數據：需要用不同長短的字段來表示，如文字、圖像、視頻等。智能化的數據采集技術大幅度提高了數據收集的效率，為數據處理提供原始資料。

2.2 數據的存儲與預處理

大數據存儲是進行分析的前提，所以這個存儲平臺應該能夠支持對海量數據的有效分析，而分布式數據庫（DDBS）很好地解決了這個問題。DDBS支持多臺計算機通過網絡在異地協同工作，但邏輯上仍是一個整體，并由一個分布式管理系統（DDBMS）統一管理。在采集端的數據導入到DDBS過程中，可以做一些簡單的預處理工作，如清洗等，因為在大數據背景下，存儲了大量冗余、錯誤的數據，需要利用ETL（Extraction-Transformation-Loading，數據抽取、轉換和加載）技術去除其中可識別的錯誤，提高數據質量，為數據挖掘做準備。

2.3 數據的分析與挖掘

數據分析與挖掘指基于一定的數據挖掘算法，從存放在數據倉庫、分布式數據庫或其他信息庫中的大量數據中分析、發現有用的信息的過程。常見的數據挖掘方法有：聚類分析、回歸分析、神經網絡、決策樹算法等。在大數據環境下，Hadoop作為分布式計算領域的典型代表，是傳統關系型數據庫（如，Oracle、MySQL等）的有力補充。Hadoop是一個用java語言實現并行處理海量數據的開源軟件框架，基于Hadoop的數據庫管理系統更適合處理文本、圖像這類非結構化數據，其核心部分為HDFS（分布式文件系統）和MapReduce。HDFS將大數據文件分塊，并以副本的方式存儲在集群的不同節點上，Madoop程序便可以在所有節點上處理這些數據（見圖1）。

圖1 大數據處理的主要流程

3 基于大數據處理流程的圖書館用戶關系數據管理

3.1 圖書館用戶數據資源采集階段

在圖書館中，用戶數據可能存在于用戶與圖書館直接或間接互動的各個環節中，主要來源于兩部分：①存在于圖書館自動化管理系統中，如，用戶基本信息數據、流通數據、檢索數據、圖書館門禁系統數據、監控數據等；②來源于圖書館互聯網平臺或圖書館手機APP中，如，網絡服務日志、論壇、電子郵件等。此外還有讀者面對面的參考咨詢數據、讀者電話數據等。這些復雜、龐大的結構化、非結構化數據散落在圖書館的各個業務部門，要想將所有數據集中起來，獲得全面、高效的用戶信息，實屬不易，而大數據采集技術為此提供了可能。

對數據抓取實際上是建立在對于問題的理解上，明晰需要采集的數據類型和特點，才能正確地選擇數據獲取工具。根據數據來源，圖書館用戶數據采集工具可分為：①系統日志的采集，如Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等，這些工具采用分布式架構，能滿足每秒數百兆的日志數據采集和傳輸需求；②網絡數據采集，主要指網絡爬蟲（Spider）從互聯網上抓取的網頁內容，并抽取所需的內容屬性，以及在用戶瀏覽網頁時由網頁后臺服務器搜集到的記錄，從而分析得到的數據信息。

3.2 圖書館用戶關系數據的存儲

隨著網絡和計算機的普及，人們習慣于在網上查詢、分享和交流信息，圖書館用戶每天產生的日志以及分享的資料使得用戶數據量高速增長，并且數據具有復雜化、多樣化的特點。大數據時代用于存儲的數據庫系統種類較多，大體可分為關系型數據庫、非關系型數據庫及數據庫緩存系統。關系型數據庫遵循“E-R”模型，主流產品有Oracle、SQL Server、DB2、MySQL等；非關系型數據庫主要指NoSQL數據庫，分為鍵值數據庫（Redis、Voldemort）、列存數據庫（Bigtable、Hypertable、Cassandra）、圖存數據庫（Neo4j、GraphDB、OrientDB）、文檔數據庫（CouchDB、MongoDB）。目前，傳統數據分析軟件（如，SAS、SPSS等）因處理能力有限，處理大數據時顯得力不從心，因此，Hadoop、MapReduce等大數據分析工具受到越來越多的關注和青睞。HDFS和MapReduce是其處理框架的核心，HDFS為用戶提供具有高容錯性和高伸縮性的海量數據的分布式存儲，并通過MapReduce在集群上實現海量數據的并行處理。圖書館用戶大數據信息存儲模型的主要類別見下表。

表圖書館用戶大數據信息存儲模型分類［4］

3.3 圖書館用戶關系數據的挖掘與分析

通過對圖書館用戶數據的挖掘可以發現用戶的行為和需求特點，［5］從而更好地將圖書館資源與服務推送給用戶，實現多維度、個性化服務。數據挖掘可以解決許多問題，并提供相應的分析算法，如分類與預測問題（決策樹、貝葉斯分類等）、聚類問題（K均值聚類、K中心點聚類等）、關聯問題（基于頻繁項集挖掘的Apriori算法等）等。大數據時代，分布式平臺逐漸成為主流，為使以上這些經典的數據挖掘算法符合分布式環境，開源的分布式架構被推上歷史舞臺。如，Apache Mahout是Hadoop的開源項目之一，其算法采用MapReduce編程模型開發而實現，有效解決了數據挖掘算法在分布式平臺上的并行問題，可以執行深度、高效的大數據挖掘任務（見圖2）。

用戶的數據挖掘大致有兩種路徑。第一種是比較傳統的“假設檢驗”方法，即在正式進行大數據挖掘前，先進行一個理論假設，我們需要做的是利用現有的數據來證明這個假設的真實性——“假設—數據—驗證”。第二種是數據庫知識發現（KDD）方法，通過人工設計一定的算法來“觀察”數據本身而進行挖掘。圖書館可以對用戶的瀏覽、評論、檢索、收藏等情況進行分析，來發現和預測用戶現實及潛在的閱讀行為、需求特點和規律，并推出相應服務，使服務更人性化、個性化。

圖2 基于Hadoop的圖書館用戶關系數據挖掘與分析模塊框架

4 基于大數據的圖書館用戶關系數據管理實踐應用

4.1 開展閱讀推廣服務

近年來，全國許多圖書館紛紛通過各種載體、形式、渠道向公眾傳播閱讀理念，開展講座、展覽、征文演講比賽、創客大賽等活動進行閱讀推廣。有的在區域內結成了圖書館聯盟（如安徽省公共圖書館閱讀推廣聯盟［6］）；有的進行了有針對性的閱讀推廣人培訓；有的實踐了以讀者為主導的資源建設模式（如內蒙古圖書館推出的“彩云服務計劃”［7］），共同為延伸圖書館服務，擴大閱讀隊伍而努力。閱讀推廣活動是相對群體性的活動，應根據區域特點、用戶自然情況等因素綜合考慮。大數據時代，“移動+互聯網”的發展為圖書館閱讀推廣活動地有效展開插上了翅膀。例如，圖書館可以通過大數據對用戶注冊、OPAC檢索和借閱、用戶流量等信息進行采集，利用數據挖掘技術對用戶進行細分。每個細分群的用戶都有相似的屬性，分析用戶群的組成情況，采取更有針對性的閱讀推廣策略，既能開發用戶資源，又能提高閱讀推廣質量。

4.2 個性化推送服務

判斷一個人將來的信息需求行為最好的指標是他過去的需求行為，這是利用大數據進行用戶分析的真正意義所在。［8］個性化的信息服務是建立在對讀者現實和潛在需求的理解之上，通過大數據技術（Hadoop平臺、SQL Server等）對每位用戶的信息行為進行分析，包括根據其使用圖書館自動化系統、移動終端設備（圖書館手機APP等）或互聯網進行的檢索、借閱、瀏覽、評論等情況，預測用戶的閱讀趨勢，作為圖書館開展個性化服務的依據。以信息推送服務為例，信息推送集合了自然語言處理、數據挖掘、互聯網等多門技術，圖書館可以將大數據與信息推送相結合，利用關系型數據庫和非關系型數據庫對用戶本地數據（系統瀏覽日志、OPAC檢索日志等）及互聯網數據進行采集、存儲和分析，并通過數據挖掘技術進行文本挖掘和Web挖掘，從而更加精準地了解用戶的興趣點，進行有針對性的服務和信息推送。事實證明，適時適度的推送服務能夠有效提升用戶活躍度，增強用戶體驗，提高圖書館資源利用率。此外，還應對用戶個性化信息進行動態戰略管理，及時了解其信息行為的變化因素，分析出用戶的忠誠度和閱讀趨勢，積極采取措施并做出相應的調整，留住老用戶，吸引新用戶。

4.3 圖書館用戶網絡輿情監控

基于大數據的網絡輿情分析可以幫助圖書館及相關部門及時發現、跟蹤、監測網絡上用戶關注的熱點問題和事件的發展趨勢，輔助科學決策。圖書館可以建立網絡輿情監測平臺，根據預設的關鍵詞和監測范圍，通過互聯網，自動采集網站、論壇、博客、微博等多媒體平臺的信息，自動篩選有用的數據，進行統計和識別，及時掌握輿情動態，為科學決策做準備。這一過程融合了多學科的研究方法與技術手段，借助內容分析法、語義分析法、文本挖掘、自動聚類、自動標引技術等，實現對海量信息的采集、存儲、統計和分析。其目的是從大量雜亂無章的數據中，挖掘出有價值的數據項之間的關系，發現用戶輿情熱點，對用戶的觀點、態度、喜好進行分析，及時調整圖書館相關的服務內容；還可以反映用戶對圖書館服務的整體評價，并及時做出正確的輿論引導，提高圖書館在社會大眾心目中的地位。

4.4 開展用戶數據素養教育

數據素養是對信息素養的延伸與擴展，是用戶根據自身要解決的問題，通過各種途徑，有意識地對數據進行收集、分析和處理的能力。數據素養能力對各學科人員的具體要求不盡相同，圖書館用戶基本的數據素養能力應包括：電子資源的檢索和利用方法（如，各類數據庫的使用）、OPAC檢索等。數據素養還與用戶的個人因素息息相關，如，受教育程度等。通過大數據分析圖書館用戶的資源利用情況，并據此進行有針對性的數據獲取和處理的教育與培訓。圖書館可以開展常用數據庫檢索技巧和方法的培訓，教會用戶如何有效地獲得所需信息，并有處理和分析數據的能力，讓用戶善于用大數據的思維方式來解決工作和學習中遇到的問題。

［1］王翠，鄭春厚．以用戶為中心的數字圖書館用戶界面設計研究［J］．圖書館學研究，2008（6）：11－14.

［2］郭曉科．大數據［M］．北京：清華大學出版社，2013：123.

［3］王廣宇．客戶關系管理［M］．北京：清華大學出版社，2010：374.

［4］李婧，等．地質大數據存儲技術［J］．地質通報，2015（8）：1589－1594.

［5］趙紅，王俊英．基于數據挖掘的讀者關系管理［J］．圖書館工作與研究，2012（1）：45－47，62.

［6］安徽省公共圖書館閱讀推廣聯盟［EB/OL］.［2016－06－25］．http：//lm.ahlib.com/ahlibs/index.

［7］內蒙古圖書館推彩云服務：你看書，我買單.［EB/OL］.［2016－06－25］．http://gongyi.qq.com/.

［8］Charles F.Hofacker，et al．Big data and consumer behavior：Imminentopportunities［J］．JournalofConsumerMarketing，2016，33（2）：89－97.

Research on Data Management and Application of Library User Relationship Based on Big Data Processing

Yao Xue-mei

This article focuses on the concept of customer relationship management services“user-centric”,application of large data information collection,storage and analysis of data mining process to make a systematic and comprehensive analysis on the library user relationship data,and to explore information behavior,in-depth understanding of user needs and establishes a good relationship with the user.On the basis of the user data management achievements,it puts forward the specific strategies and methods of service that includes data management of reading promotion service based on big data of the user relationship,personalized service,library user network public opinion monitoring to carry out user data literacy.

Big data;Process Flow;User relationship

G252.0

A

1005－8214（2016）12－0084－04

姚雪梅（1984－），女，北京師范大學圖書館學碩士，遼寧省圖書館館員，研究方向：閱讀推廣。

2016－07－14［責任編輯］劉丹