基于學(xué)習(xí)過(guò)程大數(shù)據(jù)的智能評(píng)價(jià)推送系統(tǒng)設(shè)計(jì)研究

李利杰 徐濟(jì)惠 何頌頌

（1.寧波城市職業(yè)技術(shù)學(xué)院 浙江省寧波市 315100 2.寧波職業(yè)技術(shù)學(xué)院 浙江省寧波市 315100）

大數(shù)據(jù)和人工智能技術(shù)正強(qiáng)烈沖擊著社會(huì)的各個(gè)領(lǐng)域，教育系統(tǒng)亦不例外。伴隨著大數(shù)據(jù)技術(shù)的成熟，教育教學(xué)的學(xué)習(xí)方式和生態(tài)正經(jīng)歷著巨大的變革。教學(xué)大數(shù)據(jù)聚焦學(xué)生學(xué)習(xí)的微觀層面表征，持續(xù)記錄學(xué)生在學(xué)習(xí)過(guò)程中所產(chǎn)生的海量數(shù)據(jù)。精準(zhǔn)教學(xué)、因材施教將在大數(shù)據(jù)技術(shù)支撐下取得實(shí)質(zhì)性發(fā)展，從教育學(xué)、認(rèn)知心理學(xué)、信息學(xué)科的交叉視角，不但從宏觀層面解析大數(shù)據(jù)技術(shù)切入日常常規(guī)教學(xué)所帶來(lái)的多種宏觀效應(yīng)，還能從微觀層面挖掘?qū)W習(xí)者認(rèn)知水平、學(xué)習(xí)情感與行為對(duì)學(xué)習(xí)績(jī)效預(yù)測(cè)，提出學(xué)習(xí)資源個(gè)性化自適應(yīng)推送、學(xué)習(xí)分析儀表盤、知識(shí)圖譜等智能化干預(yù)策略，實(shí)現(xiàn)人為干預(yù)與自動(dòng)干預(yù)的有機(jī)結(jié)合，并根據(jù)學(xué)習(xí)文化水平、知識(shí)水平、學(xué)習(xí)風(fēng)格等個(gè)性特征，提供持續(xù)的精準(zhǔn)個(gè)性化干預(yù)。大數(shù)據(jù)技術(shù)支撐下的新型教與學(xué)已成為課堂教學(xué)的主角，成為技能和學(xué)科知識(shí)傳授的主要教學(xué)形式。

目前，已有很多教學(xué)平臺(tái)提供了學(xué)習(xí)資源管理、學(xué)習(xí)行為記錄、學(xué)習(xí)測(cè)驗(yàn)管理等功能以支持大數(shù)據(jù)背景下的精準(zhǔn)教學(xué)，但對(duì)數(shù)據(jù)的利用和分析，尤其是沒(méi)有深度挖掘、利用學(xué)生學(xué)習(xí)過(guò)程和結(jié)果學(xué)習(xí)數(shù)據(jù)以實(shí)現(xiàn)智能推送和自動(dòng)化精準(zhǔn)干預(yù)。因此，開(kāi)展基于學(xué)習(xí)過(guò)程大數(shù)據(jù)的智能評(píng)價(jià)推送系統(tǒng)研究，實(shí)現(xiàn)智能評(píng)價(jià)和精準(zhǔn)推送，將對(duì)當(dāng)下的新形態(tài)教與學(xué)具有重要的促進(jìn)作用和現(xiàn)實(shí)意義。

1 研究現(xiàn)狀

教學(xué)大數(shù)據(jù)已經(jīng)引起國(guó)內(nèi)外眾多學(xué)者的關(guān)注。楊藝等學(xué)者開(kāi)展了大數(shù)據(jù)思維下教學(xué)過(guò)程數(shù)據(jù)分析及應(yīng)用研究，從教學(xué)活動(dòng)流維度提出了教學(xué)大數(shù)據(jù)分析模式，對(duì)學(xué)習(xí)相關(guān)性行為因素關(guān)聯(lián)性進(jìn)行了實(shí)證研究[1]。魏順平等學(xué)者對(duì)Moddle平臺(tái)在線課程教學(xué)數(shù)據(jù)應(yīng)用學(xué)習(xí)分析技術(shù)開(kāi)展教學(xué)反思，結(jié)果分析表明基于數(shù)據(jù)分析的教學(xué)反思可實(shí)現(xiàn)比線下教學(xué)活動(dòng)更為精準(zhǔn)的教學(xué)反思[2]。孫潔等學(xué)者利用學(xué)習(xí)分析技術(shù)開(kāi)展了適應(yīng)“互聯(lián)網(wǎng)+教育”的自適應(yīng)學(xué)習(xí)框架探索和研究，從利益相關(guān)者、目的和方法等五個(gè)視角開(kāi)展了自適應(yīng)學(xué)習(xí)框架中關(guān)聯(lián)因素價(jià)值挖掘探索，為智能化、差異化的教育生態(tài)提供了參考意義[3]。曹盼等學(xué)者擇取兩個(gè)不同的網(wǎng)絡(luò)學(xué)習(xí)平臺(tái)應(yīng)用社會(huì)網(wǎng)絡(luò)分析工具開(kāi)展了學(xué)習(xí)過(guò)程分析和應(yīng)用的實(shí)證研究，給學(xué)習(xí)分析實(shí)證研究提供了借鑒意義[4]。仇煥青、孫昊等學(xué)者功能設(shè)計(jì)角度開(kāi)展了學(xué)習(xí)行為大數(shù)據(jù)挖掘與分析系統(tǒng)的設(shè)計(jì)研究[5][6]。

綜上所述，較多學(xué)者聚焦關(guān)注基于學(xué)習(xí)過(guò)程大數(shù)據(jù)的學(xué)習(xí)行為分析研究，缺乏對(duì)分析結(jié)果的充分利用，沒(méi)有充分利用分析結(jié)果，實(shí)現(xiàn)自動(dòng)化、智能的個(gè)性化學(xué)習(xí)服務(wù)和精準(zhǔn)干預(yù)。根據(jù)知網(wǎng)最新文獻(xiàn)調(diào)查研究，智能評(píng)價(jià)推送系統(tǒng)設(shè)計(jì)與研發(fā)相關(guān)的研究較少。本文構(gòu)建基于學(xué)習(xí)過(guò)程大數(shù)據(jù)的智能評(píng)價(jià)推送系統(tǒng)將充分提高學(xué)習(xí)過(guò)程大數(shù)據(jù)利用程度，充分發(fā)揮學(xué)習(xí)過(guò)程大數(shù)據(jù)數(shù)據(jù)價(jià)值，為開(kāi)展精準(zhǔn)教學(xué)提供便捷、有效的自動(dòng)智能化干預(yù)技術(shù)支持。

2 系統(tǒng)架構(gòu)

智能評(píng)價(jià)推送系統(tǒng)設(shè)計(jì)綜合考慮經(jīng)濟(jì)性、可行性、安全性等因素，采用分層設(shè)計(jì)思想基于Hadoop 分布式存儲(chǔ)系統(tǒng)、Spark 計(jì)算框架進(jìn)行方案設(shè)計(jì)。基于學(xué)習(xí)過(guò)程大數(shù)據(jù)的智能評(píng)價(jià)推送系統(tǒng)分為數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)分析層、數(shù)據(jù)應(yīng)用層。數(shù)據(jù)采集層負(fù)責(zé)采集與清洗來(lái)自云班課教學(xué)平臺(tái)學(xué)習(xí)行為數(shù)據(jù)和測(cè)評(píng)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)層采用基于Hadoop的HBASE 存儲(chǔ)方案，數(shù)據(jù)分析層使用Spark 技術(shù)對(duì)存儲(chǔ)于Hadoop 集群的學(xué)習(xí)過(guò)程大數(shù)據(jù)開(kāi)展關(guān)聯(lián)分析和數(shù)據(jù)挖掘。數(shù)據(jù)應(yīng)用層在數(shù)據(jù)分析層基礎(chǔ)上使用ASP.NET 技術(shù)構(gòu)建Web 服務(wù)實(shí)現(xiàn)學(xué)習(xí)任務(wù)單、學(xué)習(xí)報(bào)告單推送，差異化學(xué)習(xí)資源推送，實(shí)踐過(guò)程監(jiān)控以及學(xué)情分析等功能模塊。系統(tǒng)架構(gòu)如圖1 所示。

圖1：系統(tǒng)架構(gòu)

2.1 數(shù)據(jù)采集層

智能評(píng)價(jià)推送系統(tǒng)數(shù)據(jù)采集層基于redis-scrapy 技術(shù)實(shí)現(xiàn)教學(xué)平臺(tái)學(xué)習(xí)行為和學(xué)業(yè)數(shù)據(jù)采集，使用scrapy-redis 中得Duplication Filter 組件來(lái)實(shí)現(xiàn)爬取數(shù)據(jù)的去重。scrapyredis 調(diào)度器從引擎接收請(qǐng)求，將請(qǐng)求的指紋存入redis 中的集合中檢查是否重復(fù)，并將不重復(fù)的請(qǐng)求壓入redis 的請(qǐng)求隊(duì)列。引擎請(qǐng)求時(shí)，調(diào)度器從redis 的請(qǐng)求隊(duì)列里根據(jù)優(yōu)先級(jí)彈出一個(gè)請(qǐng)求返回給引擎，引擎將此請(qǐng)求發(fā)給爬蟲進(jìn)行處理。

2.2 數(shù)據(jù)存儲(chǔ)層

數(shù)據(jù)存儲(chǔ)層使用HBase 分布式存儲(chǔ)技術(shù)，以支撐學(xué)習(xí)過(guò)程和學(xué)業(yè)結(jié)果大數(shù)據(jù)的海量數(shù)據(jù)快速存取。架構(gòu)上HBase能根據(jù)鍵值的大小，把數(shù)據(jù)分布到不同的存儲(chǔ)節(jié)點(diǎn)上，HBase 根據(jù)Zookeeper 主節(jié)點(diǎn)中所存儲(chǔ)的ROOT 表的地址訪問(wèn)META 表信息，進(jìn)而定位到實(shí)際數(shù)據(jù)存儲(chǔ)的region 位置。Hbase 中的表會(huì)被劃分為n 個(gè)Region，然后存放在多個(gè)RegionServer 中， 每個(gè)Region 有StartKey 和EndKey，表示這個(gè)Region 維護(hù)的RowKey 范圍，而第一個(gè)Region 沒(méi)有StartKey，最后一個(gè)Region 沒(méi)有EndKey。需要讀寫數(shù)據(jù)時(shí)，RowKey 會(huì)落在某個(gè)范圍內(nèi)，就會(huì)定位到目標(biāo)的Region以及所在的RegionServer。默認(rèn)情況下，創(chuàng)建表的時(shí)候只有一個(gè)Region，當(dāng)表的數(shù)據(jù)增長(zhǎng)，數(shù)據(jù)大小大于一定的閾值，HBase 就會(huì)找到一個(gè)MidKey 將Region 一分為二，這個(gè)過(guò)程被稱為Region-Split，而Split 是有時(shí)間和資源開(kāi)銷的。為節(jié)省Split 時(shí)間和開(kāi)銷和拆分過(guò)程中出現(xiàn)的數(shù)據(jù)熱點(diǎn)問(wèn)題，本文首先根據(jù)數(shù)據(jù)特征對(duì)Region 進(jìn)行預(yù)分區(qū)。預(yù)分區(qū)策略過(guò)程如下：

（1）通過(guò)隨機(jī)取樣隨機(jī)生成一定數(shù)量的RowKey，將取樣數(shù)據(jù)按升序排序放到一個(gè)集合里。

（2）根據(jù)預(yù)分區(qū)的Region 個(gè)數(shù)，對(duì)集合進(jìn)行平均切割。

（3）使用HBaseAdmin.createTable 指定預(yù)分區(qū)的splitKey，即指定region 間的rowkey 臨界值。

HBase 數(shù)據(jù)結(jié)構(gòu)是一種基于列存儲(chǔ)的高階有序稀疏MAP，它的數(shù)據(jù)主要存儲(chǔ)在HDFS 上，利用Hadoop MapReduce 來(lái)處理HBase 中的海量數(shù)據(jù)，利用Zookeeper 進(jìn)行分布式協(xié)同服務(wù)，主要用來(lái)存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，其讀取過(guò)程較為復(fù)雜，原因有二。一是因?yàn)镠Base 一次范圍查詢可能會(huì)涉及多個(gè)Region、多塊緩存甚至多個(gè)數(shù)據(jù)存儲(chǔ)文件（HFile）；二是因?yàn)镠Base 中更新操作以及刪除操作的實(shí)現(xiàn)都很簡(jiǎn)單。插入與刪除，沒(méi)有更新原始數(shù)據(jù)，而是通過(guò)時(shí)間戳屬性新增版本。讀取過(guò)程需要根據(jù)版本進(jìn)行過(guò)濾，對(duì)已經(jīng)標(biāo)記刪除的數(shù)據(jù)進(jìn)行過(guò)濾。

Hbase 采用一致性哈希算法進(jìn)行數(shù)據(jù)映射。普通的哈希算法采用簡(jiǎn)單取模的方式，將機(jī)器進(jìn)行散列，這在cache 環(huán)境不變的情況下能取得讓人滿意的結(jié)果，但是當(dāng)cache 環(huán)境動(dòng)態(tài)變化時(shí)，這種靜態(tài)取模的方式顯然就不滿足單調(diào)性的要求。一致性哈希算法的基本實(shí)現(xiàn)原理是將機(jī)器節(jié)點(diǎn)和key 值都按照一樣的哈希算法映射到一個(gè)0 到2^32 的圓環(huán)上。當(dāng)有一個(gè)寫入緩存的請(qǐng)求到來(lái)時(shí)，計(jì)算Key 值k 對(duì)應(yīng)的哈希值Hash(k)，如果該值正好對(duì)應(yīng)之前某個(gè)機(jī)器節(jié)點(diǎn)的Hash 值，則直接寫入該機(jī)器節(jié)點(diǎn)，如果沒(méi)有對(duì)應(yīng)的機(jī)器節(jié)點(diǎn)，則順時(shí)針查找下一個(gè)節(jié)點(diǎn)，進(jìn)行寫入，如果超過(guò)2^32 還沒(méi)找到對(duì)應(yīng)節(jié)點(diǎn)，則從0 開(kāi)始查找。但是在實(shí)際使用過(guò)程中會(huì)因?yàn)閯h除其中一個(gè)節(jié)點(diǎn)導(dǎo)致鄰接節(jié)點(diǎn)負(fù)載突然增大而宕機(jī)，進(jìn)行導(dǎo)致整個(gè)集群的崩潰。

HBase 采用緩存分層設(shè)計(jì)，將整個(gè)BlockCache 分為三個(gè)部分：single-access、multi-access 和in-memory，分別占到整個(gè)BlockCache 大小的25%、50%、25%。在一次隨機(jī)讀中，一個(gè)Block 從HDFS 中加載出來(lái)之后首先放入singleaccess 區(qū)，后續(xù)如果有多次請(qǐng)求訪問(wèn)到這個(gè)Block，就會(huì)將這個(gè)Block 移到multi-access 區(qū)。而in-memory 區(qū)表示數(shù)據(jù)常駐內(nèi)存，一般用來(lái)存放訪問(wèn)頻繁、量小的數(shù)據(jù)，比如元數(shù)據(jù)，用戶可以在建表的時(shí)候設(shè)置列簇屬性IN_MEMORY=true，設(shè)置之后該列簇的Block 在從磁盤中加載出來(lái)之后會(huì)直接放入in-memory 區(qū)。但是設(shè)置IN_MEMORY=true 并不意味著數(shù)據(jù)在寫入時(shí)就會(huì)被放到in-memory 區(qū)，而是和其他BlockCache 區(qū)一樣，只有從磁盤中加載出Block 之后才會(huì)放入該區(qū)。另外，進(jìn)入in-memory 區(qū)的Block 并不意味著會(huì)一直存在于該區(qū)，仍會(huì)基于LRU 淘汰算法在空間不足的情況下淘汰最近最不活躍的一些Block。因?yàn)镠Base 系統(tǒng)元數(shù)據(jù)都存放在in-memory 區(qū)，對(duì)于業(yè)務(wù)來(lái)說(shuō)，設(shè)置數(shù)據(jù)屬性IN_MEMORY=true 時(shí)導(dǎo)致將hbase:meta 等元數(shù)據(jù)擠出內(nèi)存時(shí)有發(fā)生，嚴(yán)重影響所有業(yè)務(wù)性能。

為解決這一問(wèn)題優(yōu)化HBASE 數(shù)據(jù)存儲(chǔ)與查詢優(yōu)化，本文在散列技術(shù)基礎(chǔ)上針對(duì)一致性哈希算法進(jìn)行改進(jìn)，降低運(yùn)行過(guò)程中節(jié)點(diǎn)變更所導(dǎo)致的數(shù)據(jù)丟失率。并且針對(duì)高可用的分布式集群服務(wù)器和本地磁盤特點(diǎn)，設(shè)計(jì)存替換策略提高查詢性能，具體策略過(guò)程如下。

（1）將所有緩沖數(shù)據(jù)存入到single-access 層，當(dāng)singleaccess 層存儲(chǔ)量達(dá)到指定閾值，計(jì)算single-access 層熱度和晉升值；當(dāng)晉升值為0 時(shí)，將single-access 的1/3 遷移到multi-access 層；當(dāng)晉升值不為0 是，將single-access 層中超過(guò)閾值的數(shù)據(jù)遷移到multi-access 層；

（2）若數(shù)據(jù)遷移后的single-access 的數(shù)據(jù)存儲(chǔ)量依舊超過(guò)超過(guò)閾值，將熱度最小的數(shù)據(jù)淘汰，直到小于閾值為止。

2.3 數(shù)據(jù)分析層

根據(jù)計(jì)算環(huán)境的不同，推薦系統(tǒng)的預(yù)測(cè)大體上可以分為在線、離線兩種。在線計(jì)算，指的是在線上的推薦服務(wù)中，對(duì)接受到的請(qǐng)求，進(jìn)行實(shí)時(shí)計(jì)算，生成推薦結(jié)果并直接返回給請(qǐng)求方。離線計(jì)算，是指以一定時(shí)間周期運(yùn)行的，對(duì)數(shù)據(jù)庫(kù)中的大批量數(shù)據(jù)進(jìn)行的計(jì)算。離線計(jì)算的結(jié)果通常會(huì)寫入數(shù)據(jù)庫(kù)中，供后續(xù)任務(wù)讀取。Spark MLlib 提供了 Pipeline的接口，將模型訓(xùn)練，連同訓(xùn)練前的特征預(yù)處理、特征工程、特征交叉等階段，按照一定次序組合成為一個(gè)流水線，并支持將訓(xùn)練好的整個(gè)流水線持久化到磁盤上。在預(yù)測(cè)階段，只需將訓(xùn)練時(shí)存下的流水線模型整個(gè)加載到集群上，然后將原始特征直接輸入進(jìn)流水線，即可得到模型預(yù)測(cè)的結(jié)果。

智能評(píng)價(jià)推送系統(tǒng)應(yīng)用層主要任務(wù)是構(gòu)建基于Spark 的學(xué)習(xí)資源推薦引擎。通過(guò)對(duì)存儲(chǔ)在HDFS 中的學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)、學(xué)習(xí)結(jié)果數(shù)據(jù)進(jìn)行特征提取，采用主成分分析降維，多模協(xié)同支配的差異化學(xué)習(xí)資源推薦模型,根據(jù)互信息特征利用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建學(xué)習(xí)者與學(xué)習(xí)資源之間關(guān)聯(lián)關(guān)系，并利用支持向量機(jī)等機(jī)器學(xué)習(xí)算法完成推薦模型的構(gòu)建。更進(jìn)一步，考慮到學(xué)習(xí)者對(duì)某一資源的訪問(wèn)頻率，融入學(xué)習(xí)者特征優(yōu)化以此構(gòu)建差異化學(xué)習(xí)資源推送模型。分析層的離線計(jì)算使用 Spark MLlib 以分布式的方式在集群上，在線計(jì)算則是在用 Java 寫的線上服務(wù)加以實(shí)現(xiàn)，如圖2 所示。

圖2：學(xué)習(xí)資源推薦引擎

本文采用無(wú)量綱化中的歸一化技術(shù)對(duì)資源、學(xué)習(xí)者以及場(chǎng)景數(shù)據(jù)進(jìn)行預(yù)處理，接著采用遞歸式特征消除法分別上述數(shù)據(jù)進(jìn)行特征選擇。遞歸式特征消除法根據(jù)給定一個(gè)外部的估計(jì)器，該估計(jì)起對(duì)特征賦予一定的權(quán)重，通過(guò)處理越來(lái)越少的特征集合來(lái)遞歸的選擇特征。首先，評(píng)估器在初始的特征集合上面進(jìn)行訓(xùn)練并且每一個(gè)特征的重要程度是通過(guò)一個(gè)系數(shù)屬性或者權(quán)重屬性來(lái)獲得。然后，從當(dāng)前的特征集合中移除最不重要的特征。在特征集合上不斷的重復(fù)遞歸這個(gè)步驟，直到最終達(dá)到所需要的特征數(shù)量為止。

特征提取與處理里面，涉及高維特征向量的問(wèn)題往往容易陷入維度災(zāi)難。隨著數(shù)據(jù)集維度的增加，算法學(xué)習(xí)需要的樣本數(shù)量呈指數(shù)級(jí)增加，從大數(shù)據(jù)集中學(xué)習(xí)需要更多的內(nèi)存和處理能力。另外，隨著維度的增加，數(shù)據(jù)的稀疏性會(huì)越來(lái)越高。在高維向量空間中探索同樣的數(shù)據(jù)集比在同樣稀疏的數(shù)據(jù)集中探索更加困難。為提高推薦模型的效率和精準(zhǔn)度，本文采用主成分分析對(duì)所選擇的特征進(jìn)行降維。主成分分析將數(shù)據(jù)投射到一個(gè)低維子空間實(shí)現(xiàn)降維。例如，二維數(shù)據(jù)集降維就是把點(diǎn)投射成一條線，數(shù)據(jù)集的每個(gè)樣本都可以用一個(gè)值表示，不需要兩個(gè)值。三維數(shù)據(jù)集可以降成二維，就是把變量映射成一個(gè)平面。一般情況下，n 維數(shù)據(jù)集通過(guò)映射降成k 維子空間，其中k 是選取的主成分?jǐn)?shù)目。PCA 算法流程如下：

（1）將原始數(shù)據(jù)按列組成n 行m 列矩陣X；

（2）將X 的每一行（代表一個(gè)屬性字段）進(jìn)行零均值化，即減去這一行的均值；

（3）求出協(xié)方差矩陣；

（4）求出協(xié)方差矩陣的特征值及對(duì)應(yīng)的特征向量r；

（5）將特征向量按對(duì)應(yīng)特征值大小從上到下按行排列成矩陣，取前k 行組成矩陣P，即為降維到k 維后的數(shù)據(jù)。

傳統(tǒng)的協(xié)同過(guò)濾推薦機(jī)制根據(jù)學(xué)習(xí)者自身偏好以及對(duì)相關(guān)資源的學(xué)習(xí)與否來(lái)開(kāi)展推薦，忽略了學(xué)習(xí)者對(duì)學(xué)習(xí)資源的訪問(wèn)頻率這個(gè)重要因素。本文構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)模型構(gòu)建學(xué)習(xí)資源個(gè)性化推薦。隱藏層 ReLU 激活函數(shù)減少梯度爆炸，代價(jià)函數(shù)采用交叉熵代價(jià)函數(shù)，輸出層采用回歸模型。如圖3 所示。

圖3：深度神經(jīng)網(wǎng)絡(luò)模型

2.4 系統(tǒng)應(yīng)用層

智能評(píng)價(jià)推送系統(tǒng)應(yīng)用層采用ASP.NET Core 技術(shù)構(gòu)建RESTful Web 服務(wù)，并以此構(gòu)建Web 程序向?qū)W生教師提供直觀明了的用戶界面。RESTful 從資源的定義、獲取、表述、關(guān)聯(lián)、狀態(tài)變遷等角度，解釋資源與URI、統(tǒng)一資源接口、資源的表述、資源的鏈接、狀態(tài)的轉(zhuǎn)移。RESTful 使用標(biāo)準(zhǔn)的HTTP 方法與資源進(jìn)行交互，包括GET 來(lái)檢索資源，POST 來(lái)創(chuàng)建資源，PUT 來(lái)更新資源，DELETE 鍵刪除資源。基于RESTful 的Web 服務(wù)編程模型直觀明了，大大降低了本機(jī)進(jìn)行序列與反序列操作的復(fù)雜性，并且根據(jù)模塊化原則將系統(tǒng)功能進(jìn)行服務(wù)化，便于實(shí)現(xiàn)智能評(píng)價(jià)推送系統(tǒng)與現(xiàn)已存在的系統(tǒng)之間的集成。

3 結(jié)束語(yǔ)

本文主要開(kāi)展了基于Hadoop 和Spark 框架的智能評(píng)價(jià)推送系統(tǒng)設(shè)計(jì)研究，包括基于redis-scrapy 的分布式數(shù)據(jù)采集、HBase 數(shù)據(jù)庫(kù)性能優(yōu)化以及基于Spark 的學(xué)習(xí)資源推薦引擎等關(guān)鍵模塊的設(shè)計(jì)研究，后續(xù)將進(jìn)一步根據(jù)設(shè)計(jì)開(kāi)展相應(yīng)的工程實(shí)踐和性能測(cè)試。