基于云平臺與一卡通大數(shù)據(jù)的圖書推薦的研究與應用

陳虹君 趙力衡 羅福強 李瑤

摘 要：高校圖書館圖書推薦是學生自主化學習的必然趨勢。本研究充分利用高校一卡通大數(shù)據(jù)、圖書系統(tǒng)、成績管理系統(tǒng)數(shù)的海量數(shù)據(jù)，結(jié)合OpenStack云平臺技術、大數(shù)據(jù)Spark MLlib的數(shù)據(jù)挖掘的技術進行圖書推薦。本文從技術架構(gòu)思路、OpenStack構(gòu)建云平臺、Spark集群配置、基于不同策略的圖書推薦、組合圖書推薦等方面進行了描述和分析，從用戶行為相關性、基于圖書行為的推薦、新書、提高專業(yè)成績等多個維度進行了推薦為，學生提供個性化、多樣化的圖書推薦，對學生的學習效率和效果有很大的幫助。

關鍵詞：云平臺；大數(shù)據(jù)；圖書推薦；關聯(lián)規(guī)則

中圖分類號：G715.5 文獻標識碼：A 文章編號：1671-2064（2018）14-0058-02

高校圖書館是學生系統(tǒng)化自主學習的主要陣地，盡管互聯(lián)上的海量碎片化的信息可以快速方便地提供大量的信息量，但也大量地分散了學生的精力。高校的圖書管理系統(tǒng)有大量有價值的數(shù)據(jù)，本文充分利用云平臺分布式存儲技術、與大數(shù)據(jù)spark的快速挖掘的技術，將高校一卡通數(shù)據(jù)及學生成績系統(tǒng)數(shù)據(jù)，并結(jié)合云平臺與大數(shù)據(jù)挖掘技術，為學生提供個性化的精準推薦。目前也有較多基于圖書推薦的算法，其數(shù)據(jù)源信息相對比較單一，僅僅是用戶的借閱信息，因此推薦的角度相對較窄，容易使得學生被限定在一個局部范圍內(nèi)。本研究數(shù)據(jù)源來源于一卡通信息、學生成績系統(tǒng)、圖書管理系統(tǒng)等，信息是多維度的，推薦信息更符合學生的實際需要。

1 建設主要內(nèi)容

1.1 技術架構(gòu)思路

數(shù)據(jù)的采集來自一卡通信息、學生成績系統(tǒng)、圖書管理系統(tǒng)，數(shù)據(jù)量十分巨大，采用Pandas進行了數(shù)據(jù)的清洗和分析，比如缺失值的處理；聚合、索引、選取和數(shù)據(jù)過濾等。清洗的數(shù)據(jù)以HDFS存于Hadoop集群中，推薦算法借助于了Spark MLlib的機器學習能力，進行了推薦模型的訓練；由Spark MLlib推薦的結(jié)果以標準數(shù)據(jù)格式JSON保存；推薦結(jié)果送入web端，進行頁面呈現(xiàn)。

面向REST服務的系統(tǒng)集成機制。WEB端有新的借閱行為并結(jié)合定時觸發(fā)以REST服務HTTP請求的方式觸發(fā)Python Pandas做數(shù)據(jù)清洗。清洗結(jié)束后，采用REST服務的方式發(fā)送HTTP請求，把數(shù)據(jù)推送給Spark Mllib。推薦結(jié)果存放在HDFS中，供登陸用戶使用。為了提高用戶使用感受，當用戶登陸后，會在以其學號命名的HDFS文件中讀取推薦結(jié)果顯示。如圖1所示。

1.2 構(gòu)建云平臺

OpenStack是搭建云平臺的主流技術。OpenStack基于物理集群搭載多個虛擬機。虛擬機采用自管理，用戶可以通過圖形化界面的方式進行：虛擬機創(chuàng)建、開機、關機；掛起、暫停、調(diào)整；遷移、重啟、銷毀等操作。同時通過OpenStack，也可以默認或者用戶自定義管理配置CPU、內(nèi)存、網(wǎng)絡等；同時對日志、鏡像的管理也十分方便[1]。

Spark集群由六臺虛擬機構(gòu)成。四臺作為工作節(jié)點slave，一臺主節(jié)點master，一臺主備份節(jié)點master backup。本研究在OpenStack云平臺的基礎上搭建了Hadoop分布式的環(huán)境，并搭建了Spark的大數(shù)據(jù)框架，運行模式采用Spark on yarn。Spark推薦結(jié)果的數(shù)據(jù)將通過JSON數(shù)據(jù)格式與PHP web端進行交互。

2 基于不同策略的圖書推薦

2.1 推薦算法比較

推薦技術已經(jīng)有很多的應用，有基于內(nèi)容的個性化推薦算法、基于協(xié)同過濾的推薦算法、基于關聯(lián)規(guī)則的推薦算法等。下面對經(jīng)典的圖書推薦算法進行比較，以選擇合適的推薦算法。

2.1.1 基于內(nèi)容的個性化推薦算法

基于內(nèi)容的推薦算法在圖書推薦中一般從用戶以往的歷史評價記錄中推斷出用戶對各個圖書的特征[2]。

2.1.2 基于協(xié)同過濾的推薦算法

該算法在推薦系統(tǒng)中被廣泛應用，該算法又分為兩種具體的算法實現(xiàn)。

（1）基于User的協(xié)同過濾算法。該算法需要搜尋興趣相似的“鄰居”用戶。在用戶對項目（Item）有評分的基礎上進行，首先分析不同評分之間的相似性，搜索與目標用戶興趣最相似的“鄰居”用戶，然后根據(jù)最相似的“鄰居”評分給目標用戶進行相關推薦。評分與計算用戶相似性是該算法的重點。（2）基于Item的協(xié)同過濾算法。該算法需要搜尋相似度大的項目，用戶對該項目興趣大，那么有很大的可能性會對相似的項目感興趣。該算法仍然是在用戶對項目有評分的基礎上進行，首先分析項目與項目的相似性，然后為目標用戶推薦可能感興趣的項目。評分與計算項目相似性是該算法的重點。

2.1.3 基于關聯(lián)規(guī)則的推薦算法

基于關聯(lián)規(guī)則的推薦算法是以關聯(lián)規(guī)則為基礎的，把曾經(jīng)記錄下來的行為作為推薦基礎，從中挖掘出行為規(guī)律，發(fā)現(xiàn)不同用戶或者項目之間的關聯(lián)性，該算法無需重新為圖書提取特征信息，無需考慮評分，也不需要計算相似度。具體有Apriori算法和FP-growth（Frequent Pattern growth）算法。Apriori算法需要對數(shù)據(jù)庫進行多次掃描，同時產(chǎn)生大量的候選頻繁集，之后產(chǎn)生頻繁項式，這就使算法時間和空間復雜度較大。FP-growth算法只需要掃描兩次數(shù)據(jù)集，對大規(guī)模數(shù)據(jù)釆用分治的辦法以減少搜索空間，在時間效率、空間效率上都有一個量級的提高。

2.2 高校圖書館的圖書推薦

本文對圖書的推薦，基于關聯(lián)規(guī)則的推薦算法選擇了FP-Growth算法。組合了不同的策略。為用戶呈現(xiàn)8本推薦的書目，其中3條基于用戶行為相關性；2條基于圖書行為相關性；2條新書推薦，按專業(yè)推薦；1條基于學生成績的推薦，按課程推薦，是推薦算法與統(tǒng)計方法的結(jié)合。

FP-Growth算法中，支持度（Support）和置信度（Confidence）是關聯(lián)規(guī)則的兩個度量依據(jù)。支持度（Support）的公式是：Support（X=>Y）=P（X U Y），X的支持度是指事務集中同時包含X和Y的事務數(shù)與所有事務數(shù)的概率，概率小則說明X與Y的相關不大；反之則說明X與Y總是相關的。

Support（X=>Y）=P（XUY）=N（XUY）/N（T） 推導（1）

設M={M1，M2，…，Mm}是個元素的集合，其中的元素則是項（Item），設T是事務的集合，是由M中的元素構(gòu)成的非空集合，且每一個事務TID有且僅有一個標識符。X包含于M，Y包含于M，并且X和Y沒有交集。N（XUY）是X和Y并的數(shù)量，N（T）是T中所有事務的數(shù)量[3]。

置信度（Confidence）的公式是：Confidence（X=>Y）=P（Y|X）。置信度揭示了X出現(xiàn)時，Y是否也會出現(xiàn)或有多大概率出現(xiàn)，概率越大，說明A的出現(xiàn)B有很大可能出現(xiàn)。見公式（2），其中support_N（XUY）是同時包含和的事務的支持度計數(shù)，support_N（X）只包含X的事務的支持度計數(shù)。

confidence（X=>Y）=P（Y|X）=support（X=>Y）/support（X）

=support_N（XUY）/support_N（X） 推導（2）

給定了最小支持度和最小置信度，接在就在給定的最小支持度度和最小置信度的基礎上確立了關聯(lián)規(guī)則，就可以進行頻繁項的挖掘了，指定全部圖書編號同時為關聯(lián)規(guī)則的前項（Antecedents）和后項（Consequents）來尋找頻繁相關借閱的書籍[4]。

FP-Growth的推薦方法能解決基于用戶行為相關性，基于圖書行為的推薦，但是對于新書的推薦和幫助專業(yè)成績提高為目的的推薦則沒有辦法，因此，本文結(jié)合了統(tǒng)計方法：對于新書，按專業(yè)和新書的上架時間推薦；對應專業(yè)成績提高則結(jié)合了課程與成績多種信息。

3 結(jié)果分析

推薦運行結(jié)果的一部分截取出來，如表1所示，這些規(guī)則展示了用戶借閱一本書后，很有可能會借閱另一本書。比如借閱了34號書的用戶有73.456%的可能借閱125號書，因此，就將為借閱34號書的用戶推薦125號書。

4 結(jié)語

基于云平臺與一卡通大數(shù)據(jù)的圖書推薦采用了OpenStack構(gòu)建云平臺，搭建Spark集群，采用多種圖書推薦策略，結(jié)合FP-Growth算法與統(tǒng)計方法，為用戶推薦書目該過程考慮了用戶行為相關性和圖書行為相關性，同時也考慮了新書的推薦，基于學生成績的推薦，并考慮了推薦的準確率及推薦的多樣化。本研究還存在一些不足，比如采用HDFS文件存儲方式，雖然降低了耦合，但從Spark的架構(gòu)方式來看，并不是最優(yōu)，應減少寫入HDFS的次數(shù)，充分Spark實時快速的優(yōu)勢。

參考文獻

[1]陳虹君，謝彩云.基于Spark的大數(shù)據(jù)實驗室建設的研究與實施[J].教育現(xiàn)代化，2016，（8）：218-219+233.

[2]李瑞敏，林鴻飛，閆俊.基于用戶標簽項目語義挖掘的個性化音樂推薦[J].計算機研究與發(fā)展，2014，51（10）：2270-2276.

[3]劉亞林.基于FP_growth算法的音樂推薦應用研究，北京交通大學[D]，2015.

[4]趙力衡，陳虹君.基于Apriori算法的圖書推薦應用研[J].電腦知識與技術，2018，（4）：211-212.