基于GRU和課程關聯關系的推薦模型

摘 ?要： 如今以MOOC平臺為主的在線學習網站課程資源豐富，數據量龐大，存在明顯的信息過載問題。用戶如何在海量數據中快速找到合適的課程是一個難題，而個性化的課程推薦是解決這一問題的有效方式。考慮到用戶學習的課程存在先后順序，具有明顯的時序性，所有我們使用門控循環單元（GRU）從用戶學習的課程序列中挖掘其存在的規律和特點。另外，為使推薦的結果更加準確，我們考慮結合課程之間的關聯關系，提出了基于GRU與課程關聯關系的推薦模型。最后，我們在真實的MOOC數據集上進行大量實驗，實驗結果表明，與傳統的協同過濾算法以及僅考慮課程關聯關系的算法相比，我們提出的算法性能更好，推薦的準確度更高。

關鍵詞： 課程推薦;門控循環單元（GRU）;課程關聯關系;MOOC

中圖分類號： TP183 ? ?文獻標識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2020.06.029

本文著錄格式：卜祥鵬. 基于GRU和課程關聯關系的推薦模型[J]. 軟件，2020，41（06）：137142

【Abstract】： Nowadays， the online learning websites mainly based on MOOC platform are rich in course resources and large in data volume， so there are obvious problems of information overload. How to find the right course quickly in the mass data is a difficult problem. One of the most effective ways to solve this problem is to use personalized course recommendation. Considering that the courses learned by users are in order and have obvious timing， we use Gated recurrent unit （GRU） to mine the existing rules and characteristics of the courses learned by users. In addition， in order to make the recommended results more accurate， we consider the correlation between courses and then propose a recommendation model based on the GRU and course association relationship. Finally， we conduct a lot of experiments on real MOOC dataset， experimental results show that the proposed algorithm has better performance and higher recommendation accuracy than the traditional collaborative filtering algorithm and the algorithm that only consider the course association relationship.

【Key words】： Course recommendation; Gate Recurrent Unit（GRU）; Course association relationship; MOOC

0 ?引言

隨著科學技術和在線服務業的發展，出現了以慕課（MOOC）平臺為代表的在線學習網站。與傳統的教學方式相比，在線網站學習具有課程資源豐富和靈活度大等優點，能夠滿足各種不同類型的用戶對學習資源的需求，得到了人們的廣泛認可。然而隨著在線學習網站的普及，信息過載的問題日益突出，海量的學習資源使用戶感到困擾，如何快速找到適合自己的學習資源成為一個巨大的挑戰。為解決這一問題，人們提出了個性化課程推薦方法，即根據每個用戶自身的特點，為其推薦適合的課程，這也成為當前教育數據挖掘領域主要的研究問題之一。

目前，國內外有關推薦系統的研究非常多，最常用的推薦算法有基于內容的推薦算法和協同過濾算法。例如，像亞馬遜和淘寶等著名的電子商務平臺根據用戶的瀏覽記錄和購買歷史向用戶推薦商品;使用協同過濾的方式幫助用戶找到感興趣的電影和視頻;Youtube根據用戶歷史播放記錄向用戶推薦視頻。

近年來，深度學習取得良好的表現，在各個領域都得到了廣泛應用，推動了推薦系統的發展[1]。與傳統的推薦算法相比，使用神經網絡可以更好地解決數據稀疏性的問題。GRU[2]（Gate Recurrent Unit）是循環神經網絡（Recurrent Neural Network，RNN）的一種，和LSTM（Long-Short Term Memory）一樣，是為了解決傳統RNN存在的梯度消失和梯度爆炸的問題而提出的。GRU和LSTM的原理非常相似，且都擅長處理時間序列數據，因此可以視為LSTM的變體。但是相比于LSTM，GRU更易于訓練，能夠保持性能的同時提高訓練效率，降低時間復雜度。用戶的選課行為具有明顯的時序性特點，用戶在選擇新的課程時，往往會考慮學過的課程。根據這一特性，本文利用GRU模型挖掘用戶潛在的學習特征，根據用戶已學習的課程序列預測其將要學習的課程。同時，還考慮到課程之間存在一定的關聯關系，只有學習了基礎課程才能選修高級課程。因此，我們提出了一種將GRU與課程關聯關系結合的方法，用于向用戶推薦合適的課程。

本文剩余部分的結構如下，第2章介紹相關的前期研究工作;第3章介紹我們提出的課程推薦模型;第4章給出實驗結果和分析，第5章對本文的工作進行總結并討論未來的研究方向。

1 ?相關工作

1.1 ?基于內容的推薦算法及其應用

基于內容的推薦算法的原理是從用戶過去關注的物品中提取物品的屬性特征，用物品的特征表示對用戶的喜好進行建模，然后向用戶推薦與其喜好相似的物品。江周峰等人[3]以圖書館為背景，提出了一種結合社會化標簽的推薦算法，利用圖書的社會化標簽信息對圖書的特征項進行補充，進而向用戶推薦可能喜歡的圖書。實驗結果表明，結合社會化標簽的推薦方法具有良好的性能。Van等人[4]設計了一個基于內容的推薦系統—PRES，旨在向用戶推薦有關房屋改造的文章，其原理是從用戶的歷史記錄中學習用戶的興趣，根據用戶的興趣生成推薦結果。再根據某些條件（如相似性，新穎性，鄰近性等）對推薦結果進行排序，最后將名次最靠前的文章推薦給用戶。Ghauth等人[5]提出了一種新穎的電子學習推薦系統框架，向用戶推薦內容相似的學習材料。文獻[6]和文獻[7]是使用基于內容的推薦算法向用戶推薦可能喜歡的項目。

1.2 ?協同過濾算法及其應用

協同過濾算法是推薦系統應用最廣泛的算法，主要分基于用戶的協同過濾和基于項目的協同過濾。基于用戶的協同過濾原理是將和目標用戶有共同興趣愛好的用戶所喜歡的物品且目標用戶沒有購買的物品推薦給目標用戶，基于項目的協同過濾原理是將與目標用戶喜歡的物品相似的物品推薦給目標用戶。李玲等人[8]提出了一種基于隨機森林的加權二部圖推薦算法，利用隨機森林算法對用戶的偏好構建分類模型。最后在MovieLen數據集上的實驗結果證明該方法能夠提高推薦的準確性和推薦精度。王志虎等人[9]提出了基于用戶歷史行為的協同過濾推薦算法，其原理是根據用戶的歷史行為預測用戶對每一個項目的偏好程度，建立相應的特征向量，再根據特征向量計算項目相似度從而實現個性化推薦。實驗結果表明該方法不僅能提高推薦的準確率，而且加快了推薦速度。安政磊等人[10]研究了用戶的行為對其購買意向的影響，如購買行為、評價行為等，依據用戶行為對用戶興趣進行建模，進而向用戶推薦喜愛的商品。作者在真實數據集上與傳統的基于用戶的協同過濾算法進行比較，證明提出的方法具有有效性。符饒等人[11]利用用戶的位置信息，如簽到地點、簽到時間、簽到次數等根據用戶之間的相似度向用戶推薦潛在好友。胡健等人[12]根據學生的專業、愛好、選課記錄、學習程度等信息構建學生選課評價矩陣，然后根據學生間的相似度大小推薦相應的課程。但是該算法存在冷啟動的問題，即在沒有學生的歷史數據作為參考析的情況下無法進行課程推薦。文獻[13]利用協同過濾推薦算法，挖掘用戶的行為信息，為讀者推薦個性書籍。

1.3 ?基于深度學習的推薦算法及其應用

深度學習技術能將數據的屬性或者特征進行提取，通過構建多層表示學習結構，組合原始數據中的簡單特征，從而得到更高層、更抽象的分布式表示。自2016年YouTube發表論文將深度學習應用于視頻推薦取得非常好的效果之后，深度學習技術在推薦系統上得到廣泛的應用。王素琴等人[1]提出了基于LSTM網絡的在線課程推薦模型，同時按照課程之間關系的緊密程度對課程先進行分類，提高推薦的準確率。實驗結果證明，提出的方法與傳統的推薦算法相比，推薦準確度高。Oord等人[14]提出使用卷積神經網絡提取音頻信號中的潛在特征，然后根據潛在特征向用戶推薦音樂，有效地解決了協同過濾算法存在的冷啟動問題。作者在含有百萬首歌曲的數據集上進行實驗，結果表明提出的基于深度學習的音樂推薦方法具有良好的性能，優于傳統的推薦算法。Bansal[15]提出了一種利用深度遞歸神經網絡將文本序列編碼成潛在向量的方法，并利用多任務學習解決數據稀疏的問題。作者將其應用于論文推薦，通過大量實驗證明該方法不僅能提高推薦的準確率，而且能很好的解決冷啟動的問題。鄒峰[16]提出了一種基于深度神經網絡和改進相似性度量的推薦算法，同時考慮顯示和隱式兩種反饋數據對用戶的偏好建模，有效的解決了由于數據稀疏造成的推薦精度較低的問題。鄧存彬等人[17]提出了一種將協同過濾與深度學習融合的推薦算法，首先利用深度學習挖掘用戶和電影的特征信息，然后將學習到的特征與協同過濾算法結合，最后在MovieLens數據集上的實驗結果表明該方法有效地提高了推薦的準確率。

2 ?基于GRU和課程關聯關系的課程推薦模型

2.1 ?問題定義及符號表示

令 表示包含m個用戶的用戶集合， 表示包含n個課程的課程集合。 表示所有用戶的歷史選課數據， 表示用戶 的課程學習序列 ，其中 表示用戶 在時間 學習的課程。課程推薦的目的是向目標用戶 推薦在 時刻可能感興趣的課程。

2.2 ?GRU

GRU（Gate Recurrent Unit）是循環神經網絡（Recurrent Neural Network，RNN）的一種，它能夠解決傳統RNN無法解決的長依賴問題，且相比于LSTM網絡具有參數少、結構簡單和運行效率高等優點。其網絡結構如圖1所示。

GRU模型只有兩個門：分別是重置門（reset gate）和更新門（update gate）。重置門決定了如何將新的輸入信息與前面的記憶相結合，更新門決定了當前時刻保存多少前面的記憶。

首先根據上一時刻的輸出向量 和t時刻的輸入向量 得到兩個門控單元的狀態。

3.3 ?對比方法

我們選擇另外三種方法作為實驗的對比方法，包括傳統的推薦算法、基于關聯規則的推薦算法和基于深度學習的推薦算法，具體內容如下。

Apriori：首先從用戶的歷史記錄中挖掘項目存在的關聯關系，然后依據項目間的關聯關系進行推薦。

CF：協同過濾是最常用的推薦算法之一，其原理是根據用戶間的相似性和項目間的相似性進行推薦。

LSTM：長短記憶網絡是遞歸神經網絡（RNN）的一種，適合用于處理時間序列數據。

3.4 ?模型性能分析

由表1可以看出，我們提出的方法的性能優于所有的對比方法，當K分別取5和10時，我們提出的算法的 值分別達到0.432、和0.572，比Apriori算法提高了5.1%和8.3%，比CF算法提高了3.9%和5.3%，比LSTM算法提高了2.2%和3.4%。并且基于深度學習的算法的性能要優于傳統的推薦算法，這是因為深度學習的方法能夠更好的挖掘數據潛在的特征，從而獲得數據更好的表示。

3.5 ?參數敏感性分析

本節我們探討了潛在向量維度n和推薦課程數K對模型性能的影響，結果如圖3、圖4所示。

由圖3可以看出，隨著特征向量維度的增加，模型的性能先是增強，這是因為較高的維度能夠捕獲更多的信息，但是當向量維度超過64以后，模型的性能反而逐漸下降，這是由于過高的維度造成了模型的過擬合，因此，當特征向量的維度為64時，模型的性能是最好的。然后我們分析了推薦課程得數目K對模型性能的影響。我們將推薦的課程數目K設置為1-10。從圖4可以觀察到，隨著課程數的增多，模型的性能是一直在提高的，這是因為推薦的課程數量越多，包含用戶喜歡的課程的概率就越大。

4 ?總結

本文基于在線課程學習的特點，提出了一種基于GRU與課程關聯關系的個性化課程推薦算法。該方法能夠捕捉用戶長期和短期的興趣，從用戶學習的課程序列中挖掘出用戶潛在的學習特征，從而向用戶推薦合適的課程。另外，該方法還考慮到課程之間具有關聯關系，從用戶的選課記錄中挖掘課程之間的先決關系，用于提高推薦的準確性。最后，使用MOOC平臺的真實數據進行實驗，結果表明，本文提出的方法能夠提高課程推薦的準確性。

但是，該模型還具有一定的局限性，例如對于新用戶和新課程，其推薦的準確率就比較低。未來我們的研究工作將考慮融合用戶和課程的特征信息來解決該問題。

參考文獻

[1] 王素琴， 吳子銳. 利用LSTM網絡和課程關聯分類的推薦模型[J]. 計算機科學與探索， 2019， 13（8）： 1380-1389.

[2] Cho K， Van Merri?nboer B， Gulcehre C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[J]. arXiv preprint arXiv： 1406.1078， 2014.

[3] 江周峰， 楊俊， 鄂海紅. 結合社會化標簽的基于內容的推薦算法[J]. 軟件， 2015， 36（1）： 1-5.

[4] Van Meteren R， Van Someren M. Using content-based filtering for recommendation[C]. Proceedings of the Machine Learning in the New Information Age： MLnet/ECML2000 Workshop， 2000： 47-56.

[5] Ghauth K I， Abdullah N A. Learning materials recommenda-

tion using good learnersratings and content-based filtering [J]. Educational technology research and development， 2010， 58（6）： 711-727.

[6] Almalis N D， Tsihrintzis G A， Karagiannis N， et al. FoDRA—A new content-based job recommendation algorithm for job see?king and recruiting[C]. 2015 6th International Conference on Information， Intelligence， Systems and Applications （IISA）. IEEE， 2015： 1-7.

[7] Xing Z， Parandehgheibi M， Xiao F， et al. Content-based rec?o-mmendation for podcast audio-items using natural lang?uage processing techniques[C]. 2016 IEEE International Co?n?fer-ence on Big Data （Big Data）. IEEE， 2016： 2378-2383.

[8] 李玲， 李晉宏. 基于隨機森林修正的加權二部圖推薦算法[J]. 軟件， 2018， 39（1）： 110-115.

[9] 王志虎， 黃曼瑩. 基于用戶歷史行為的協同過濾推薦算法[J]. 微電子學與計算機， 2017， 34（5）： 132-136.

[10] 安政磊， 姚文斌. 一種基于用戶購買意向的個性化推薦模型[J]. 軟件， 2015， 36（12）： 80-82.

[11] 符饒. 基于位置服務的潛在好友推薦方法[J]. 軟件， 2015， 36（1）： 62-66.

[12] 胡健， 王理江. 數據挖掘在選課推薦中的研究[J]. 軟件， 2016， 37（4）： 119-121.

[13] 李大偉， 杜洪波， 周孝林， 等. 基于“用戶畫像”挖掘的圖書推薦App設計[J]. 軟件， 2018， 39（5）： 35-37.

[14] Van den Oord A， Dieleman S， Schrauwen B. Deep content- based music recommendation[C]. Advances in neural inform?ation processing systems， 2013： 2643-2651.

[15] Bansal T， Belanger D， McCallum A. Ask the gru： Multi-task learning for deep text recommendations. Proceedings of the 10th ACM Conference on Recommender Systems. ACM， 2016： 107-114.

[16] 鄒鋒. 基于深度神經網絡和改進相似性度量的推薦算法[J]. 計算機應用與軟件， 2019（11）： 47.

[17] 鄧存彬， 虞慧群， 范貴生. 融合動態協同過濾和深度學習的推薦算法[J]. 計算機科學， 2019， 46（8）： 28-34.