基于深度學(xué)習(xí)的個(gè)性化學(xué)習(xí)資源推薦算法研究

邵文倩

關(guān)鍵詞：學(xué)習(xí)資源；深度學(xué)習(xí)；推薦算法；卷積神經(jīng)網(wǎng)絡(luò)；個(gè)性化推薦

0引言

隨著互聯(lián)網(wǎng)技術(shù)在教育領(lǐng)域的深入應(yīng)用，學(xué)習(xí)者可足不出戶通過(guò)學(xué)習(xí)在線平臺(tái)獲得感興趣的學(xué)習(xí)資源。圖1顯示了我國(guó)在線教育行業(yè)市場(chǎng)規(guī)模及增速，可見在線學(xué)習(xí)教育發(fā)展迅速。然而，在線學(xué)習(xí)資源的不斷增加既給個(gè)性化學(xué)習(xí)帶來(lái)了機(jī)遇，也帶來(lái)了挑戰(zhàn)。面對(duì)豐富的學(xué)習(xí)資源，學(xué)習(xí)者很容易陷入選擇困難，難以迅速找到最符合自身特質(zhì)的學(xué)習(xí)資料。這種情況使得為學(xué)習(xí)者從眾多數(shù)據(jù)中篩選有意義的信息成為在線學(xué)習(xí)領(lǐng)域亟須解決的難題。因此，為學(xué)習(xí)者提供個(gè)性化的學(xué)習(xí)資源推薦服務(wù)，也成為各大在線學(xué)習(xí)平臺(tái)競(jìng)相追求的創(chuàng)新與挑戰(zhàn)。

傳統(tǒng)的學(xué)習(xí)資源個(gè)性化推薦方法主要包括基于內(nèi)容的推薦方法和協(xié)同過(guò)濾推薦方法等。梁婷婷等人針對(duì)文本處理中普遍存在的多義詞與同義詞問題，提出了一種基于內(nèi)容過(guò)濾和改進(jìn)的PageRank算法進(jìn)行學(xué)習(xí)資源的推薦[1]。此外，丁永剛等學(xué)者針對(duì)學(xué)習(xí)資源推薦的問題，創(chuàng)新性地提出了一種基于學(xué)習(xí)者社交網(wǎng)絡(luò)信息的協(xié)同過(guò)濾推薦方法。該方法深入挖掘了學(xué)習(xí)者與其好友之間的信任關(guān)系，從而預(yù)測(cè)新學(xué)習(xí)者對(duì)特定學(xué)習(xí)資源的評(píng)分[2]。朱明提出了一種教學(xué)資源協(xié)同過(guò)濾推薦方法，通過(guò)聚類算法對(duì)用戶進(jìn)行聚類以提高可擴(kuò)展性[3]。

隨著人工智能技術(shù)的迅猛發(fā)展和廣泛應(yīng)用，深度學(xué)習(xí)技術(shù)已經(jīng)滲透到個(gè)性化推薦領(lǐng)域，并為其帶來(lái)了顛覆性的變革。在線學(xué)習(xí)平臺(tái)作為數(shù)字教育的重要組成部分，積累了海量的可用數(shù)據(jù)，為構(gòu)建基于深度學(xué)習(xí)的個(gè)性化在線學(xué)習(xí)資源推薦算法提供了數(shù)據(jù)基礎(chǔ)。在此背景下，Batouche等人創(chuàng)新性地提出了一種基于無(wú)監(jiān)督機(jī)器學(xué)習(xí)的教學(xué)資源推薦方法，并通過(guò)改進(jìn)的人工神經(jīng)網(wǎng)絡(luò)取得了令人滿意的推薦效果[4]。

程美娟采用深度學(xué)習(xí)方法進(jìn)行個(gè)性化推薦，推薦過(guò)程中結(jié)合了區(qū)塊鏈技術(shù)來(lái)提高推薦系統(tǒng)中數(shù)據(jù)的安全性，有效提升推薦系統(tǒng)的性能[5]。趙蔚提出了一個(gè)融合知識(shí)推薦技術(shù)與本體技術(shù)的個(gè)性化資源推薦策略，使得學(xué)習(xí)資源推薦更為高效[6]。文孟飛提出了一種將支持向量機(jī)與深度學(xué)習(xí)相結(jié)合的方法，顯著提高了教學(xué)視頻資源的利用率和獲取率，從而優(yōu)化了在線學(xué)習(xí)體驗(yàn)[7]。此外，Tarus設(shè)計(jì)了混合知識(shí)推薦系統(tǒng)，將知識(shí)本體與序列模式挖掘相結(jié)合，為在線學(xué)習(xí)者提供個(gè)性化的資源推薦[8]。

現(xiàn)有部分研究將深度學(xué)習(xí)技術(shù)應(yīng)用至學(xué)習(xí)資源領(lǐng)域，提供重要參考價(jià)值，但仍有可提升之處，例如更為細(xì)化地推薦學(xué)習(xí)資源，考慮學(xué)習(xí)者的各種學(xué)習(xí)興趣，不局限于某一興趣點(diǎn)。

1基于深度學(xué)習(xí)的個(gè)性化學(xué)習(xí)資源推薦算法

個(gè)性化學(xué)習(xí)資源推薦算法以在線學(xué)習(xí)平臺(tái)為背景，依托卷積神經(jīng)網(wǎng)絡(luò)模型框架，提出了S-CNN模型，旨在降低學(xué)習(xí)者在線學(xué)習(xí)時(shí)尋找自身感興趣學(xué)習(xí)資源的難度。如圖2所示，該推薦方法包含訓(xùn)練過(guò)程與推薦過(guò)程。訓(xùn)練過(guò)程包括數(shù)據(jù)集清洗、學(xué)習(xí)者特征處理、學(xué)習(xí)資源特征處理等流程；推薦過(guò)程主要通過(guò)評(píng)分指標(biāo)與特征標(biāo)簽將用戶對(duì)不同學(xué)習(xí)資源的評(píng)分劃分等級(jí)，綜合顯性評(píng)分和隱性評(píng)分為學(xué)習(xí)者實(shí)現(xiàn)個(gè)性化推薦。

1.1S-CNN模型

在處理具有特定結(jié)構(gòu)的數(shù)據(jù)時(shí)，卷積神經(jīng)網(wǎng)絡(luò)發(fā)揮了核心作用。它主要依賴于卷積和池化這兩種操作，尤其在圖像等二維網(wǎng)格數(shù)據(jù)以及自然語(yǔ)言這種一維詞序列的處理中表現(xiàn)出色。卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在學(xué)習(xí)資源個(gè)性化推薦中，不僅擅長(zhǎng)提取學(xué)習(xí)者與學(xué)習(xí)資源的局部特征，還能將這些特征進(jìn)行抽象組合，從而生成更高級(jí)別的特征表示。由于數(shù)據(jù)集中存在大量不同類別的學(xué)習(xí)者賬號(hào)和學(xué)習(xí)資源編號(hào)，使得無(wú)法使用傳統(tǒng)的一位有效編碼方式，該簡(jiǎn)單編碼方式在控制神經(jīng)網(wǎng)絡(luò)輸入維度方面顯得捉襟見肘。鑒于此，在構(gòu)建網(wǎng)絡(luò)時(shí)，于首層引入了嵌入層技術(shù)，通過(guò)嵌入矩陣，將學(xué)習(xí)者賬號(hào)和學(xué)習(xí)資源編號(hào)這類離散數(shù)據(jù)轉(zhuǎn)化為連續(xù)的低維向量，而這些向量正是以學(xué)習(xí)者賬號(hào)和資源編號(hào)為索引從嵌入矩陣中獲取的。

首先，在生成學(xué)習(xí)者特征時(shí)，嵌入層的輸入信息為每個(gè)學(xué)習(xí)者賬號(hào)及其對(duì)應(yīng)的特征標(biāo)簽。具體來(lái)說(shuō)，這些信息被映射為一個(gè)向量表示，能夠充分捕捉學(xué)習(xí)者的喜好與特征。然后，這些向量被傳遞至全連接層，進(jìn)行更深層次的特征提取。為了生成學(xué)習(xí)資源特征，同樣采取了這樣的策略，每個(gè)學(xué)習(xí)資源編號(hào)及其關(guān)聯(lián)的特征標(biāo)簽被輸入到嵌入層中。鑒于學(xué)習(xí)資源可能具有多個(gè)標(biāo)簽，因此采用求和的方式來(lái)處理這些標(biāo)簽在嵌入矩陣中的表示。這樣，能夠?qū)⑦@些多元標(biāo)簽信息有效地融合為一個(gè)向量。

S-CNN模型如圖3所示，其中，在處理學(xué)習(xí)資源名稱時(shí)，采用文本卷積神經(jīng)網(wǎng)絡(luò)（TextCNN）技術(shù)。該技術(shù)通過(guò)詞嵌入層將名稱中的每個(gè)字符映射為嵌入向量，這些向量組合成嵌入矩陣。隨后，卷積層對(duì)嵌入矩陣執(zhí)行卷積運(yùn)算，以捕獲文本的局部特征。池化層進(jìn)一步提煉這些特征，降低數(shù)據(jù)維度，得到學(xué)習(xí)資源名稱的最終特征。值得注意的是，本文所指的學(xué)習(xí)資源意為以課程為中心，相關(guān)的課程視頻、試題庫(kù)、討論組等，因此在對(duì)學(xué)習(xí)資源進(jìn)行標(biāo)簽提取時(shí)，同一課程相關(guān)的學(xué)習(xí)資源共用整體課程概述信息。

1.2特征標(biāo)簽與評(píng)分體系

本文使用隱性評(píng)分與顯性評(píng)分相結(jié)合構(gòu)成評(píng)分體系。其中，顯性評(píng)分指用戶在學(xué)習(xí)平臺(tái)上對(duì)學(xué)習(xí)資源進(jìn)行的打分，而隱性評(píng)分是通過(guò)數(shù)據(jù)篩選和計(jì)算得出的實(shí)際評(píng)分，呈現(xiàn)為學(xué)習(xí)資源評(píng)分矩陣，提供了對(duì)學(xué)習(xí)資源質(zhì)量更全面的評(píng)估。

在對(duì)數(shù)據(jù)集進(jìn)行深入分析后，發(fā)現(xiàn)了影響學(xué)習(xí)者對(duì)課程評(píng)分的兩個(gè)關(guān)鍵因素。首要的是學(xué)習(xí)資源觀看時(shí)間，這一因素顯著反映了用戶的偏好程度[9]。為確保公正性和準(zhǔn)確性，觀看時(shí)間進(jìn)行了歸一化處理，最終將其表示為特定學(xué)習(xí)資源觀看時(shí)間與總學(xué)習(xí)時(shí)間的比值。此外，觀看頻率也被證實(shí)是一個(gè)不可忽視的影響因素，它在一定程度上揭示了學(xué)習(xí)者對(duì)特定學(xué)習(xí)資源的興趣水平。

該推薦算法利用學(xué)習(xí)資源的觀看頻率和學(xué)習(xí)者觀看學(xué)習(xí)資源時(shí)間作為評(píng)分的主要衡量標(biāo)準(zhǔn)。其中，Sij指的是學(xué)習(xí)者i對(duì)學(xué)習(xí)資源j的實(shí)際觀看時(shí)間，而觀看頻率ω則反映了學(xué)習(xí)者重復(fù)訪問同一資源的頻次。隱性評(píng)分公式詳見式（1），根據(jù)學(xué)習(xí)者i平均觀看時(shí)長(zhǎng)Sh與學(xué)習(xí)資源j時(shí)長(zhǎng)Tj的比例aij，將學(xué)習(xí)用戶對(duì)不同學(xué)習(xí)資源的評(píng)分劃分為十個(gè)等級(jí)。bj為在線學(xué)習(xí)平臺(tái)中學(xué)習(xí)資源j獲得的評(píng)分，f（i，j）為學(xué)習(xí)者i對(duì)學(xué)習(xí)資源j的評(píng)分，其中綜合評(píng)分是顯性評(píng)分與隱性評(píng)分的平均值，綜合評(píng)分公式詳見式（2）。

1.3模型訓(xùn)練

卷積操作在獲取文本向量特征中扮演著關(guān)鍵角色，這一操作的性能與多個(gè)因素有關(guān)，包括卷積窗口大小h、卷積窗口個(gè)數(shù)T、學(xué)習(xí)速率α、卷積步長(zhǎng)λ[10]。詳細(xì)的文本卷積如式（3）-式（5）所示：

深入挖掘了用戶學(xué)習(xí)信息中的有效信息后，數(shù)據(jù)中共包含1317個(gè)學(xué)習(xí)資源，需要構(gòu)建1317個(gè)學(xué)習(xí)資源編號(hào)的匹配索引，來(lái)確保embedding函數(shù)能夠與嵌入矩陣的索引精確對(duì)應(yīng)。在此基礎(chǔ)上，嵌入層矩陣R進(jìn)一步與學(xué)習(xí)資源名稱矩陣相結(jié)合，該矩陣的維度被設(shè)定為1317×32。在這個(gè)擴(kuò)展的矩陣中，每個(gè)元素都表示了某個(gè)學(xué)習(xí)資源名稱中特定字符的特征向量。其中，Yij表示第i個(gè)學(xué)習(xí)資源名稱中第j個(gè)字符的特征向量，連續(xù)應(yīng)用卷積窗口i到i+j，得到新的特征向量。矩陣E為卷積核函數(shù)矩陣，其維度依賴于學(xué)習(xí)資源數(shù)k和卷積窗口w。矩陣X是矩陣R與矩陣E進(jìn)行卷積計(jì)算后的結(jié)果，這樣的處理方式有助于捕捉學(xué)習(xí)資源名稱中的局部特征和全局特征，從而為后續(xù)的學(xué)習(xí)任務(wù)提供更豐富的特征表示，其中，Hij代表第i個(gè)學(xué)習(xí)資源通過(guò)j次卷積得到的向量。

2實(shí)驗(yàn)結(jié)果及分析

2.1實(shí)驗(yàn)數(shù)據(jù)采集

為了驗(yàn)證基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)資源推薦算法的有效性，筆者使用了爬蟲程序爬取某在線學(xué)習(xí)網(wǎng)站中的免費(fèi)課程及用戶相關(guān)數(shù)據(jù)。經(jīng)過(guò)清洗后，數(shù)據(jù)集包括728門課程，1317條課程相關(guān)學(xué)習(xí)資源簡(jiǎn)介，以及2139名有學(xué)習(xí)記錄的用戶。具體信息如表1所示。這里的“學(xué)習(xí)資源簡(jiǎn)介”指的是以課程為中心的內(nèi)容，包括課程視頻簡(jiǎn)介、試題庫(kù)簡(jiǎn)介、討論組簡(jiǎn)介等。而某一學(xué)習(xí)資源簡(jiǎn)介不僅包含自身的簡(jiǎn)介信息，還包括該資源所屬課程的概述簡(jiǎn)介。

2.2數(shù)據(jù)預(yù)處理與實(shí)驗(yàn)設(shè)計(jì)

為了確保學(xué)習(xí)者觀看歷史數(shù)據(jù)質(zhì)量的優(yōu)越性，需要對(duì)課程資源的觀看歷史數(shù)據(jù)進(jìn)行詳盡的預(yù)處理。經(jīng)過(guò)分析后發(fā)現(xiàn)，大約有21%的觀看時(shí)長(zhǎng)不足兩分鐘，而觀看時(shí)長(zhǎng)在2到20分鐘之間的數(shù)據(jù)則占據(jù)了最大比例。短暫的觀看可能是由于學(xué)習(xí)者誤觸或者對(duì)該學(xué)習(xí)資源不感興趣，因此我們保留超過(guò)2分鐘的學(xué)習(xí)歷史記錄。

在實(shí)驗(yàn)?zāi)Ｐ偷尿?yàn)證階段，采用了留一法交叉驗(yàn)證（Leave-One-OutCross-Validation）的策略。具體而言，假設(shè)數(shù)據(jù)集中有N個(gè)樣本數(shù)據(jù)，我們逐一將這些樣本挑選出來(lái)作為測(cè)試集，而其余的N-1個(gè)樣本則作為訓(xùn)練集。這樣能夠確保每個(gè)樣本都有被單獨(dú)測(cè)試和評(píng)估的機(jī)會(huì)，從而為模型提供更準(zhǔn)確、更可靠的性能評(píng)估結(jié)果。

2.3實(shí)驗(yàn)結(jié)果及分析

本次實(shí)驗(yàn)?zāi)Ｐ偷挠?xùn)練建立在TensorFlow開源框架之上，通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)習(xí)者信息和課程信息進(jìn)行深入特征提取，獲得了兩組關(guān)鍵特征[11]，并傳輸至全連接層中。為了提高模型的預(yù)測(cè)精度，采用均方根誤差作為損失函數(shù)來(lái)計(jì)算預(yù)測(cè)值與實(shí)際評(píng)分之間的差距。同時(shí)，利用隨機(jī)梯度下降法對(duì)網(wǎng)絡(luò)中的參數(shù)進(jìn)行迭代更新，逐步優(yōu)化模型的性能。

文章中模型損失函數(shù)采用隨機(jī)梯度下降法進(jìn)行迭代優(yōu)化。為了比較不同推薦算法的性能，當(dāng)推薦數(shù)N分別為5、10、15和20時(shí)，計(jì)算SVD（SingularValueDecomposition）、協(xié)同過(guò)濾、LSTM（LongShort-TermMemory）和S-CNN四種方法的查準(zhǔn)率、召回率和F1值進(jìn)行對(duì)比。其中，SGD學(xué)習(xí)速率設(shè)置為0.001、0.005、0.01之間隨機(jī)選擇，以尋找最佳的學(xué)習(xí)速度[11]。

如圖4所示，在推薦學(xué)習(xí)資源數(shù)目N較少時(shí)，協(xié)同過(guò)濾方法、LSTM方法和S-CNN方法都具有較高的查準(zhǔn)率，隨著N的增加，SVD方法也能取得較好的效果。在召回率指標(biāo)上，LSTM方法和S-CNN方法表現(xiàn)突出。從F1值的分析來(lái)看，在N=15和N=20時(shí)，本文提出的S-CNN方法可以獲得比較好的效果。

3結(jié)束語(yǔ)

當(dāng)前的研究大多偏向于推薦在線學(xué)習(xí)平臺(tái)中的課程，而較少探究課程資源相關(guān)的學(xué)習(xí)內(nèi)容。本文提出的推薦方法不僅成功地解決了稀疏數(shù)據(jù)造成的信息不足問題，而且還深入探索并充分利用了高維數(shù)據(jù)中的潛在特征。該方法能夠精準(zhǔn)地獲取學(xué)習(xí)者的特征標(biāo)簽和課程資源的標(biāo)簽，并在卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行有效訓(xùn)練。通過(guò)巧妙地結(jié)合隱性評(píng)分和顯性評(píng)分，可以獲取學(xué)習(xí)者的潛在興趣和偏好信息。因此，基于這種方法，在線學(xué)習(xí)平臺(tái)和教育者可以更精確地規(guī)劃和設(shè)計(jì)個(gè)性化的學(xué)習(xí)資源推薦策略，從而更好地滿足每位學(xué)習(xí)者的獨(dú)特需求。