基于數(shù)據(jù)挖掘的在線學(xué)習(xí)個(gè)性化服務(wù)方案設(shè)計(jì)

郭飛雁

摘要：基于數(shù)據(jù)挖掘技術(shù)，在分析在線學(xué)習(xí)個(gè)性化服務(wù)的基礎(chǔ)上，以 Hadoop 為大數(shù)據(jù)分析平臺(tái)、MapReduce/Spark為計(jì)算框架設(shè)計(jì)了面向個(gè)性化服務(wù)的在線學(xué)習(xí)大數(shù)據(jù)挖掘解決方案。

關(guān)鍵詞：數(shù)據(jù)挖掘；在線學(xué)習(xí)；個(gè)性化服務(wù)；數(shù)據(jù)采集；數(shù)據(jù)建模

中圖分類號(hào)：G434文獻(xiàn)標(biāo)識(shí)碼：A

1 概述

伴隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，教育及知識(shí)傳播方式也發(fā)生了根本變化。在線學(xué)習(xí)逐步興起，由于其不受時(shí)間、空間限制等特征，逐步被大家所接受。大數(shù)據(jù)時(shí)代的在線學(xué)習(xí)，也為個(gè)性化教學(xué)提供了機(jī)遇。在線學(xué)習(xí)者在學(xué)習(xí)的過程中會(huì)產(chǎn)生相應(yīng)的學(xué)習(xí)軌跡，例如，觀看學(xué)習(xí)視頻時(shí)間的長(zhǎng)短、訪問的學(xué)習(xí)資源類型、對(duì)所學(xué)內(nèi)容的評(píng)價(jià)等一系列的相關(guān)數(shù)據(jù)。通過在線學(xué)習(xí)平臺(tái)或系統(tǒng)對(duì)這些數(shù)據(jù)進(jìn)行收集并采用合適算法對(duì)相關(guān)數(shù)據(jù)進(jìn)行降維處理，提取在線學(xué)習(xí)者相關(guān)特征，在大數(shù)據(jù)技術(shù)的基礎(chǔ)上對(duì)在線學(xué)習(xí)者進(jìn)行評(píng)價(jià)及預(yù)測(cè)，從而對(duì)在線學(xué)習(xí)者進(jìn)行個(gè)性化服務(wù)，進(jìn)一步提高在線學(xué)習(xí)質(zhì)量，進(jìn)而優(yōu)化學(xué)習(xí)過程、提高教學(xué)效果。[1]

2 基于數(shù)據(jù)挖掘的在線學(xué)習(xí)個(gè)性化服務(wù)

2.1 數(shù)據(jù)收集

用戶行為數(shù)據(jù)是用作許多個(gè)性化服務(wù)算法的數(shù)據(jù)源，因此必須收集在線學(xué)習(xí)者的學(xué)習(xí)日志數(shù)據(jù)。此外，還記錄用戶用來檢索和推薦引擎本身的數(shù)據(jù)，并進(jìn)一步優(yōu)化后續(xù)算法。[2]

2.2 角色建模

角色建模包括用戶建模和學(xué)習(xí)資源建模。用戶建模和文檔建模具有本體建模方法和非本體建模方法，這兩種方法都可以在MAPRECECE / SPARK計(jì)算框架下高效實(shí)現(xiàn)。[3]模型可以由HBASE數(shù)據(jù)庫(kù)分發(fā)和檢索。推薦，檢索和推送算法基于建立的用戶模型和文檔模型以不同方式執(zhí)行計(jì)算，最終找到與用戶或輸入匹配的文檔。[4]

2.3 數(shù)據(jù)特征選取

考慮到當(dāng)前在線學(xué)習(xí)平臺(tái)之間通常不形成社交網(wǎng)絡(luò)，可以選擇基于內(nèi)容和基于行為的特征。內(nèi)容功能涵蓋在線學(xué)習(xí)內(nèi)容的標(biāo)題和類別，用戶的背景和興趣等。用戶行為則涵蓋了他們?yōu)g覽了哪些學(xué)習(xí)資源。基于內(nèi)容和用戶行為的特征可以相互補(bǔ)充。

2.4 算法選取

從準(zhǔn)確性，效率和穩(wěn)定性的角度簡(jiǎn)要分析基于產(chǎn)品和基于用戶的協(xié)同過濾推薦算法這兩種方法在在線學(xué)習(xí)個(gè)性化服務(wù)中的適用性。[5]

（1）準(zhǔn)確性：推薦系統(tǒng)的準(zhǔn)確性在很大程度上取決于用戶數(shù)量與系統(tǒng)中項(xiàng)目數(shù)量之間的比率。在線學(xué)習(xí)用戶包括學(xué)生，教師，社會(huì)人員等。每種類型的用戶都可以細(xì)分。基于用戶的協(xié)同過濾可以使在線學(xué)習(xí)個(gè)性化建議更加準(zhǔn)確。（2）高效性：盡可能提高挖掘效率。當(dāng)用戶數(shù)遠(yuǎn)遠(yuǎn)大于項(xiàng)目數(shù)時(shí)，項(xiàng)目的相似度計(jì)算消耗的資源遠(yuǎn)遠(yuǎn)少于用戶的相似度計(jì)算，因此基于項(xiàng)目的協(xié)同過濾更有效。（3）穩(wěn)定性：在線學(xué)習(xí)資源和在線學(xué)習(xí)用戶不斷變化。對(duì)于在線學(xué)習(xí)，一方面，新生每天進(jìn)入在線學(xué)習(xí)平臺(tái)，在線學(xué)習(xí)者每天都會(huì)有結(jié)業(yè)學(xué)生。學(xué)生用戶很不穩(wěn)定；另一方面，在線學(xué)習(xí)平臺(tái)每天都會(huì)有新的學(xué)習(xí)資源建立，學(xué)習(xí)資源內(nèi)容的更新和升級(jí)。從穩(wěn)定性的角度來看，基于用戶和基于項(xiàng)目的方法難以區(qū)分。

3 基于數(shù)據(jù)挖掘的在線學(xué)習(xí)個(gè)性化服務(wù)方案設(shè)計(jì)

3.1 在線學(xué)習(xí)大數(shù)據(jù)支撐環(huán)境

在目前常使用的云計(jì)算設(shè)施中，HADOOP由于其快速及可靠性為在線學(xué)習(xí)用戶提供了一個(gè)大數(shù)據(jù)分析及處理平臺(tái)。

3.2 基于數(shù)據(jù)挖掘的在線學(xué)習(xí)個(gè)性化服務(wù)方案

基于以上分析，本文將HADOOP設(shè)計(jì)為大數(shù)據(jù)分析平臺(tái)，將MAPREDUCE / SPARK設(shè)計(jì)為計(jì)算框架，為個(gè)性化服務(wù)設(shè)計(jì)在線學(xué)習(xí)大數(shù)據(jù)挖掘解決方案。如下圖所示：

4 結(jié)語(yǔ)

本文在數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)上，結(jié)合在線學(xué)習(xí)特點(diǎn)，對(duì)在線學(xué)習(xí)個(gè)性化服務(wù)進(jìn)行分析研究，從數(shù)據(jù)收集、數(shù)據(jù)建模、數(shù)據(jù)特征選擇、算法選擇四方面對(duì)在線學(xué)習(xí)個(gè)性化服務(wù)進(jìn)行方案設(shè)計(jì)，從而進(jìn)一步提高在線學(xué)習(xí)的學(xué)習(xí)質(zhì)量，為個(gè)性化教學(xué)提供一種新的方法。

參考文獻(xiàn)：

[1]趙慧瓊，姜強(qiáng)，趙蔚，李勇帆，趙艷.基于大數(shù)據(jù)學(xué)習(xí)分析的在線學(xué)習(xí)績(jī)效預(yù)警因素及干預(yù)對(duì)策的實(shí)證研究[J].電化教育研究，2017，38（01）：6269.

[2]宋遠(yuǎn)方，馮紹雯，宋立豐.互聯(lián)網(wǎng)平臺(tái)大數(shù)據(jù)收集的瓶頸與區(qū)塊鏈理念下的新發(fā)展路徑探索[J].管理現(xiàn)代化，2018，38（03）：2730.

[3]高學(xué)偉，付忠廣，孫力，張剛.基于HADOOP分布式支持向量機(jī)球磨機(jī)大數(shù)據(jù)建模[J].河北大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，37（03）：309315.

[4]柳益君，何勝，馮新翎，等.大數(shù)據(jù)挖掘在高校圖書館個(gè)性化服務(wù)中應(yīng)用研究[J].圖書館工作與研究，2017，（5）：2329.

[5]王茜，鄧偉偉，喻繼軍.一種考慮群成員接受度及相似度的群體推薦算法[J].計(jì)算機(jī)應(yīng)用研究，2017，34（11）：32853290+3298.