大數據挖掘視角下的圖書館智慧服務

柳益君+何勝+熊太純+馮新翎+武群輝

〔摘 要〕在當前“互聯網+”背景下，應用大數據挖掘技術提高知識服務的智能化、個性化、自動化水平，實現智慧性的知識服務是圖書館服務的發展趨勢。首先提出基于大數據挖掘的圖書館智慧服務模型，通過用戶群挖掘、用戶興趣挖掘、學科和領域知識挖掘、業務關聯挖掘來溝通大數據應用和智慧服務需求；然后提出基于Hadoop平臺的圖書館大數據挖掘技術支撐體系，為智慧服務應用落地提供技術方案；最后探討大數據挖掘支持下的場景化知識推薦服務和微知識自動問答服務。

〔關鍵詞〕圖書館；智慧服務；大數據挖掘；場景化知識推薦；微知識自動問答

DOI：10.3969/j.issn.1008-0821.2017.11.013

〔中圖分類號〕G250.76 〔文獻標識碼〕A 〔文章編號〕1008-0821（2017）11-0081-06

The Smart Service of Library from the Perspective of Big Data Mining

——Model，Technology and Service

Liu Yijun1，3 He Sheng1，3 Xiong Taichun2 Feng Xinling1，3 Wu Qunhui2

（1.School of Computer Engineering，Jiangsu University of Technology，Changzhou 213001，China；

2.Library，Jiangsu University of Technology，Changzhou 213001，China；

3.Key Laboratory of Cloud Computing & Intelligent Information Processing of Changzhou City，

Changzhou 213001，China）

〔Abstract〕Under the current background of "Internet+"，using the big data mining technology to promote the level of intellectualization，personalization and automation of knowledge service to realize the smart knowledge service is the development trend of library service.Firstly，the smart service model of library based on big data mining was proposed，and user group mining，user interest mining，subject and domain knowledge mining and business association mining were used to bridge the gap between the big data application and requirements of smart service.Then the technical support system of library big data mining based on Hadoop platform was suggested to provide technical solution for implementation of smart service applications.And finally，the scenario knowledge recommendation service and the automatic micro-knowledge Q&A service with the support of big data mining were discussed.

〔Key words〕library；smart service；big data mining；scenario knowledge recommendation；automatic micro-knowledge Q&A

1 大數據環境下圖書館智慧服務研究現狀梳理

1.1 “智慧性”知識服務是圖書館智慧服務的核心

隨著網絡和信息技術的發展，圖書館服務在歷經文獻服務、信息服務、知識服務3個階段后，正在智慧圖書館環境下邁入智慧服務階段。圖書館智慧服務內涵豐富，而“智慧性”知識服務是其核心。芬蘭學者Aittola M等[1]最早提出，智慧圖書館為用戶提供一種可被感知的打破空間限制的移動圖書館服務。北京郵電大學董曉霞等[2]認為，智慧圖書館通過對物聯網等感知數據的分析和處理，為用戶提供泛在的智能化服務。黃幼菲[3-4]認為，公共智慧服務是知識服務的高級階段，幫助用戶“易知”、“易用”和“易悟”知識。陳遠等[5]認為，智慧服務包含智慧的服務和為智慧而服務兩個層面的含義，前者闡釋了技術智慧和服務智慧，后者表達了智慧服務在“轉知為慧”方面的作用，即激發用戶的知識創新。李小濤等[6]指出，智慧服務具有個性化、智能化的特點，能讓用戶充分吸收、利用知識，實現知識創新與增值。武漢大學曾子明等[7]綜合各方觀點，提出智慧服務是提供“智慧性”的知識服務，具有泛在化、個性化、主動性需求，為用戶解決問題提供新的知識理念、創造新的知識服務模式。

在圖書館智慧服務的實踐方面也有諸多探索。陳臣[8]構建了基于讀者行為大數據分析的圖書館個性化智慧服務體系。曾子明等[9]設計了融合情境的智慧圖書館個性化服務模型和體系，根據用戶情境數據，如位置的實時變化，進行文獻圖書精準導航。Kiril Antevski等[10]提出了一種基于低功耗藍牙和WiFi的混合定位系統，用于在智慧圖書館中創建學習群，使圖書館中有相同興趣的用戶可以一起學習討論。endprint

1.2 大數據是圖書館智慧服務的重要資源

在當前“互聯網+”背景下，大數據成為圖書館智慧服務的重要資源。南京大學蘇新寧[11]認為圖書館建設應采用大數據思維，從大數據的角度考慮圖書館的各類問題及其解決方法，把數字圖書館作為“互聯網+”的重要分子。陳衛靜[12]探討了智慧圖書館大數據的構成及其智慧分析，認為其大數據主要由用戶行為數據、海量資源數據、自身業務流程數據三者構成。豆洪青等[13]探討了“互聯網+”給圖書館發展帶來的變革，指出互聯網+圖書館是以用戶數據為驅動源，強調圖書館用戶社區構建、線上線下服務的協同、用戶的互動與分享、用戶粘性與個性化場景服務。作為一種全新的互聯網應用，社交網絡具有強調分享和深度互動的特點，它被圖書館應用以拓展服務，吸引特定用戶群，創建多面的個性化服務[14-15]。微信、QQ等豐富多彩的社交工具的應用產生了大量半結構化、非結構化數據。運用大數據思維，加強大數據建設能為圖書館改善服務和制定決策提供精確的數據支撐[16]。

1.3 大數據挖掘是圖書館服務“轉知成智”、“轉識成慧”的關鍵 在處理和分析數據量巨大、數據類型豐富、增長迅速的大數據時，數據挖掘技術的重要性日益凸顯[17]。挖掘大數據蘊含的知識和價值成為圖書館實現智慧服務的關鍵。中國人民大學孫濤[18]提出，智慧化地提供知識服務，需要深入挖掘海量信息，進行知識發現與獲取、組織與整合、開發與利用。儲節旺等[19]討論了智慧科技在智慧圖書館建設中的運用，指出數據挖掘技術是關鍵支撐組件之一，它將海量知識資源和用戶大數據動態串聯起來，最大程度地開發其價值。田梅[20]認為，智慧服務是基于對信息資源進行深度知識挖掘以及具有用戶需求分析功能的專家系統服務。黃幼菲[3-4]認為，實現智慧服務需要注重知識挖掘工作，對文獻資料知識進行深度挖掘，以促使用戶對知識的應用、創新，“轉知成智”、“轉識成慧”。

2 基于大數據挖掘的圖書館智慧服務模型

綜合學界觀點，作者認為圖書館智慧服務的核心服務模式至少有4方面：1）智慧性的群體知識共享，促使知識隱性到顯性的轉化、知識轉移和傳播，使知識“易知”；2）智慧性的知識推薦和推送，根據用戶興趣和需求，為用戶提供泛在化、個性化、場景化的知識服務，使知識“易用”；3）智慧性的知識導航，為用戶提供知識主題、熱點、發展趨勢、知識關聯和拓展，使知識“易悟”。4）智慧性的圖書館業務優化，以用戶需求為導向，開展閱讀推廣、講座等活動。

互聯網技術使圖書館資源之間、用戶之間、用戶和資源之間的互聯和協同達到前所未有的廣度和深度。特別是隨著閱讀終端的多樣化和社交工具的廣泛使用，形成了全方位、立體化的圖書館大數據。圖書館可用于滿足智慧服務核心需求的重要大數據資源包括3大類：1）用戶數據：用戶行為數據，包括顯式行為數據和隱式行為數據，終端感知數據、社交數據等；2）知識資源數據；3）業務流程數據。其構成見表1。

大數據挖掘是使圖書館大數據發揮作用的關鍵技術之一。本文提出圖1所示的基于大數據挖掘的圖書館智慧服務模型，將大數據挖掘技術作為溝通圖書館大數據應用和智慧服務需求的橋梁。

1）用戶群挖掘

挖掘用戶群，實現群體知識共享。依據用戶個人工作經歷、科研方向等基礎數據，以及微信、微博、論壇等社

交數據，構建大規模社會網絡，應用分類、聚類、頻繁模式發現等挖掘方法挖掘用戶群社區或關鍵人物，研究隱性知識到顯性知識的轉化、知識的轉移和傳播，實現用戶群知識共享。

2）用戶興趣挖掘

挖掘用戶興趣，實現個性化、場景化、泛在化的知識推薦和推送。分析用戶顯式和隱式行為大數據，以及手機、平板等閱讀終端感知數據，挖掘用戶深層需求，根據用戶當前所處的特殊場景，分領域、分層次、分階段向用戶推薦各類資源，實現智慧性的知識推薦和推送。

3）學科和領域知識挖掘

挖掘學科和領域知識，實現自動知識導航。建立學科和領域知識語義網絡，結合共詞分析和聚類分析方法，依據關鍵詞和關鍵字挖掘知識主題及主題關聯，獲得學科知識熱點；加入時間緯度，可以表現學科研究動態變化、發展方向；挖掘學科知識圖譜，使基于問答語料的生成式知識問答成為可能。

4）業務關聯挖掘

挖掘業務關聯，實現業務優化。對咨詢數據、檢索查新數據、資源采購數據等管理數據進行關聯規則分析，發現用戶需求相關的各種關聯，如某時間段、某類用戶與某種業務需求的關聯等，優化圖書館業務流程；對流通數據與外部數據進行關聯規則分析，發現如進館人數與天氣的關聯、某時間節點或某事件與進館人數的關聯，為圖書館開展閱讀推廣、講座等服務活動提供支持。

3 面向智慧服務的大數據挖掘技術體系

3.1 基于Hadoop的技術支撐體系

“互聯網+”催生了圖書館大數據，海量數據的實時計算和挖掘成為圖書館大數據智慧服務應用真正落地的關鍵問題。江蘇大學劉桂鋒等[21]探討了圖書館大數據知識服務生態體系構建，提出以目前流行的Hadoop大數據處理平臺實現圖書館大數據管理系統。梁俊榮[22]設計了基于Hadoop的圖書館大數據存儲系統。柳益君等[23]針對高校圖書館個性化服務需求設計了基于Hadoop的大數據挖掘方案。何勝等[24]在Hadoop平臺上將用戶行為本體建模和大數據挖掘技術相結合為用戶提供個性化服務。智慧服務要求高實時性，面向智慧服務的圖書館大數據挖掘除了靜態大數據，還需要考慮大流量動態數據，進行實時數據分析和動態整合，發現有價值的知識[25]。Hadoop本身并不是一個產品，而是由多個軟件產品構成的一個生態系統，共同為大數據分析服務。本文構建了基于Hadoop的圖書館大數據挖掘技術支撐體系，以支持圖書館大數據的實時計算和挖掘，見圖2。

3.2 圖書館大數據收集、存儲和處理endprint

圖2最底層是圖書館大數據收集。外部行業動態、行業新聞等信息可通過Nutch、Heritrix等開源網絡爬蟲系統從互聯網上采集，而圖書館內部產生的數據則可以通過Cloudera提供的Flume系統進行采集。Flume是一個開源的分布式海量日志收集系統，安全可靠，可以將用戶的訪問日志定期傳送并保存到分布式存儲中，以供后續跟蹤和分析。

在圖2的圖書館大數據存儲層，Hadoop的HDFS提供了最基本的持久化分布式文件系統。HDFS適于存儲數據查詢和處理要求不高的信息，例如圖書情報學界近一年的重大新聞集合。對于高級應用開發，HBase和MongoDB則提供了類似關系型數據庫的功能。HBase的列式存儲便于數據定義的隨時更改，且適于大規模本體數據、知識庫和知識圖譜的存儲、查詢。MongoDB的嵌入式文檔則支持復雜的層級結構，為存儲欠缺規范的社交文本大數據提供了更高的靈活性。應用開發者不必一開始就嚴格定義用戶訪問日志格式，而是可以隨著應用需求的不斷更新而變化。Redis、Berkeley DB和Memcached等支持非持久化的數據庫則為HBase和MongoDB數據庫提供了緩存機制，從而大幅度提升系統響應速度，降低持久化存儲的壓力。

在圖2的圖書館大數據處理層，Hadoop的MapReduce和Spark Core核心組件皆是為批量處理而設計，使用映射和規約的思想可以進行海量數據的分析和操作。比如，可以統計最近行業新聞里發生的重大事件，近期用戶檢索文獻產生的熱門關鍵詞。Spark SQL融合多數據源的不同格式結構化數據，為熟悉關系型SQL語言的使用者提供了捷徑，他們可以對Spark數據執行類SQL查詢。但是，為了提供泛在性、實時性的圖書館智慧服務，還需要進行大數據實時處理，例如，新聞和用戶行為往往都是實時發生的，若批量處理則延遲太高。利用Kafka消息機制，可以將數據的變化及時推送到各個數據處理系統進行增量更新。Spark Streaming則在映射和規約的思想基礎上提供流式計算框架，進一步提升處理的實時性。

3.3 大數據挖掘算法及其應用

大數據挖掘可以使圖書館大數據產生更大價值，展現出數據智慧。與大數據收集、存儲和處理的3個基礎設施相比，數據挖掘在過去的二三十年間已經得到了充分的發展。然而，在大數據時代，數據挖掘面臨著新的挑戰，傳統的理論模型遇到海量數據后，單機無法應付，基于Hadoop的大數據計算框架為其分布實現提供了解決方案。在圖2的圖書館大數據挖掘層，MLlib、Mahout、R皆是可以運行在Hadoop平臺上的數據統計、挖掘和分析軟件。其中，MLlib是Spark中可擴展的數據挖掘和機器學習庫，不僅包括分類、回歸、聚類、協同過濾等各類傳統算法，還融入了新興的深度學習算法。表2列出了MLlib庫中主要大數據挖掘算法，以及它們在圖書館智慧服務大數據分析中的應用。

在圖2所示的智慧服務應用層中，Lucene是Apache提出的一個開源全文搜索引擎工具包，Solr和Elasticsearch則是兩個基于Lucene實現的搜索服務器，可以為檢索、推薦、推送、知識導航、知識問答等應用提供實現基礎。將大數據挖掘獲得的數據智慧融入各種服務應用，為用戶提供高質量的智慧性知識服務。

4 大數據挖掘支持的智慧服務探討

應用大數據挖掘技術，使大數據展現數據智慧，進而為用戶提供智慧服務是圖書館服務的發展趨勢。本文對大數據挖掘支持下的場景化知識推薦和微知識自動問答兩種智慧服務作簡單探討。

4.1 場景化知識推薦服務

圖書館場景化的知識推薦服務根據用戶當前所處的特殊場景向其推薦知識資源。而區分標定當前特殊場景，需要利用所有與人機交互相關的情境信息[26]。在互聯網+圖書館，圖書館隨時隨地接入的“3W”（Whoever，Whenever，Wherever）目標成為現實。智能手機、平板電腦等智能移動終端的應用不僅為用戶提供便利，也為場景化知識推薦提供了豐富的情境信息。實時感知并挖掘移動情境數據，可以為用戶提供實時動態的個性化推薦，使知識資源推薦與用戶所處場景高度契合，更好地滿足用戶的需求，使知識易用。時間和位置是兩種重要的移動情境信息，可以利用多種傳感器收集，如全球定位系統GPS、WiFi、藍牙等。移動情境的個性化推薦關鍵在于用戶行為模式挖掘，通過分類與回歸等挖掘算法，揭示用戶個人偏好和生活規律，進而提升推薦效率。例如，通過分析用戶的移動情境日志，發現某位學生在周六日上午10∶00左右，習慣于在自習教室內用平板電腦瀏覽計算機專業電子書籍，便可以根據該學生的行為規律，在該時間段向他集中推送最新計算機專業書籍、多媒體資源等，從而有效地提升用戶體驗，使用戶更易接受推薦結果。

4.2 微知識自動問答服務

自動問答系統是一種新型智能檢索系統，用戶以自然語言查詢作為輸入，系統查找并返回答案。其特點是直接給出用戶所需要的答案，而不是傳統的排序文檔。目前，一些高校圖書館，如清華大學、南京大學、哈爾濱工業大學的圖書館，已經引入自動問答系統為用戶提供咨詢服務[27-29]，但是，這些問答系統主要提供信息咨詢服務，比如向圖書館推薦購買新書、借閱書籍的超期費用、研修間預約等，在提供知識服務方面還有待深入。

作為一種語義網絡，知識圖譜表達了各類實體、概念及其之間的語義關系。可以通過對知識圖譜的深度學習，挖掘其中的知識，最后以自然語言的形式將知識提供給用戶。近年來，有學者將深度學習技術用于自動問答系統，取得了良好的效果[30-33]。Jun Yin等[30]應用卷積神經網絡對知識圖譜進行深度學習，構建了簡單知識的問答系統。侯志江[34]提出了“微知識”的概念，微知識可以直接被用戶使用，具有現成化、碎片化、通俗易懂化等特點，侯志江認為圖書館可以借鑒百度知道、新浪愛問、知乎等問答式網站的經驗，打造開放、共建的微知識庫，為用戶提供微知識服務。作者認為，知識圖譜和深度學習技術相融合的智能問答系統為圖書館自動微知識服務提供了可能性和可行性，可以使圖書館自動問答系統從信息服務上升到知識服務層次，以比問答式網站更主動、更智能的方式，為諸多高學歷高水平用戶提供專業性、權威性、本地性的微知識。隨著知識圖譜和深度學習技術的發展，微知識自動問答服務或將成為圖書館智慧服務新模式。endprint

5 結束語

在“互聯網+”背景下，資源和數據的共享使數據量激增。應用大數據挖掘技術實施智能化、個性化、主動性的智慧服務，進而推進知識創新是圖書館服務發展的必然趨勢。利用大數據挖掘方法發現圖書館大數據蘊含的知識和智慧，滿足智慧性的群體知識共享、知識推薦、知識導航等智慧服務需求；基于Hadoop平臺的圖書館大數據挖掘技術支撐體系可以完成大數據收集、存儲和處理，實現圖書館大數據實時挖掘；在大數據挖掘的支持下，場景化知識推薦、微知識自動問答等智慧服務成為圖書館服務的新模式。本文的研究對圖書館應用大數據挖掘方法和技術實現智慧性知識服務有一定的借鑒意義。

參考文獻

[1]Aittola M，Ryhanen T，Ojala T.Smart Library：Location-Aware Mobile Library Service[C].5th International Symposium on Human Computer Interaction with Mobile Devices and Services，2003：411-415.

[2]董曉霞，龔向陽，張若林，等.智慧圖書館的定義、設計以及實現[J].現代圖書情報技術，2011，27（2）：76-80.

[3]黃幼菲.公共智慧服務——圖書館知識服務的高級階段[J].情報資料工作，2012，33（5）：83-88.

[4]黃幼菲.圖書館知識服務的揚棄和“飛躍”：公共智慧服務[J].情報理論與實踐，2013，36（2）：26-30.

[5]陳遠，許亮.面向用戶泛在智慧服務的智慧圖書館構建[J].圖書館雜志，2015，34（8）：4-9.

[6]李小濤，邱均平，余厚強，等.論智慧圖書館與知識可視化[J].情報資料工作，2014，35（1）：6-11.

[7]曾子明，金鵬.智慧圖書館個性化推薦服務體系及模式研究[J].圖書館雜志，2015，34（12）：16-22.

[8]陳臣.圖書館個性化智慧服務體系的構建[J].圖書館建設，2014，（11）：37-45.

[9]曾子明，陳貝貝.公共智慧服務融合情境的智慧圖書館個性化服務研究[J].圖書館論壇，2016，（2）：57-63.

[10]Kiril Antevski，Alessandro E.C.Redondi，Razvan Pitic.A Hybrid BLE and Wi-Fi Localization System for the Creation of Study Groups in Smart Libraries[C].9th IFIP Wireless and Mobile Networking Conference，2016：41-48.

[11]蘇新寧.大數據時代數字圖書館面臨的機遇和挑戰[J].中國圖書館學報，2015，41 （6）：4-12.

[12]陳衛靜.智慧圖書館在大數據環境下的智慧分析[J].圖書情報工作，2015，（S2）：49-52.

[13]豆洪青，劉柏嵩.互聯網+圖書館：要素、模型與服務[J].情報資料工作，2017，38（3）：91-95.

[14]Doralyn Rossmann，Scott W.H.Young.Social Media Optimization：Making Library Content Shareable and Engaging[J].Library Hi Tech，2015，33（4）：526-544.

[15]劉璇.圖書館領域社交網絡應用研究述評與展望[J].中國圖書館學報，2016，42（6）：102-116.

[16]陳遠，蔡金奎，許亮.互聯網思維環境下智慧圖書館發展的思考[J].現代情報，2015，35（11）：38-42.

[17]洪亮，李雪思，周莉娜.領域跨越：數據挖掘的應用和發展趨勢[J].圖書情報知識，2017，（4）：22-32.

[18]圖書館報.圖書館未來的樣子——“智慧圖書館”（上）[EB/OL].圖書館報，https：//748548.kuaizhan.com/14/37/p43627380073 aba，2017-06-05.

[19]儲節旺，李安.智慧圖書館的建設及其對技術和館員的要求[J].圖書情報工作，2015，59（15）：27-34.

[20]田梅.基于關聯主義學習理論的智慧圖書館服務模式構建[J].圖書館學研究，2014，（19）：64-67.

[21]劉桂鋒，盧章平，化慧.圖書館大數據知識服務生態體系及其動力機制研究[J].國家圖書館學刊，2016，25（3）：52-60.

[22]梁俊榮.基于Hadoop的圖書館復合大數據存儲系統研究[J].現代情報，2017，37（2）：63-67.

[23]柳益君，何勝，馮新翎，等.大數據挖掘在高校圖書館個性化服務中應用研究[J].圖書館工作與研究，2017，（5）：23-29.

[24]何勝，馮新翎，武群輝，等.基于用戶行為建模和大數據挖掘的圖書館個性化服務研究[J].圖書情報工作，2017，61（1）：40-46.

[25]Jian Ruan，Shengbin Wang.Study on Innovation of Smart Library Service Model in the Era of Big Data[C].4th International Conference on Electrical & Electronics Engineering and Computer Science，2016：1077-1081.endprint

[26]陳恩紅，徐童，田繼雷，等.移動情境感知的個性化推薦技術[J].中國計算機學會通訊，2013，9（3）：18-24.

[27]Yao Fei，Chengyu Zhang，Wu Chen.Smart Talking Robot Xiaotu：Participatory Library Service based on Artificial Intelligence[J].Library Hi Tech，2015，33（2）：245-260.

[28]沈奎林，邵波.智慧圖書館的研究與實踐——以南京大學圖書館為例[J].新世紀圖書館，2015，（7）：24-28.

[29]李雪婷，李莘.圖書館微信平臺自動問答機器人語言體系研究[J].現代情報，2016，36（10）：99-101.

[30]Jun Yin，Xin Jiang，Zhengdong Lu，Lifeng Shang，Hang Li，Xiaoming Li.Neural Generative Question Answering[C].Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence，2016：2972-2978.

[31]Minwei Feng，Bing Xiang，Michael R.Glass，Lidan Wang，Bowen Zhou.Applying Deep Learning to Answer Selection：A Study and an Open Task[C].IEEE Workshop on Automatic Speech Recognition and Understanding，2015：813-820.

[32]Liqiang Nie，Meng Wang，Luming Zhang，Shuicheng Yan，Bo Zhang，Tat-Seng Chua.Disease Inference from Health-Related Questions via Sparse Deep Learning[J].IEEE Transactions on Knowledge and Data Engineering，2015，27（8）：2107-2119.

[33]Zhenzhen Li，Jiuming Huang，Zhongcheng Zhou，Haoyu Zhang，Shoufeng Chang，Zhijie Huang.LSTM-based Deep Learning Models for Answer Ranking[C].IEEE First International Conference on Data Science in Cyberspace，2016：90-97.

[34]侯志江.微知識服務——問答式網站的啟示[J].圖書館建設，2015，（3）：77-79.endprint