基于圖嵌入向量的課程推薦算法研究＊

朱若馨，張海潮

（陜西國防工業職業技術學院，陜西 西安 710300）

0 引言

隨著互聯網技術的不斷革新，在線教育通過使用大數據、多媒體、人工智能等信息技術也在快速發展。在線教育的發展不僅給傳統教育帶來了新活力，同時也將傳統教育帶上了新的起點，開啟了教育創新與改革的新征程。中國在線教育用戶的迅速增長，眾多在線課程平臺與開放大學的建立，使得在線教育逐漸成為一種主流學習方式。然而，隨著越來越多的課程放在課程平臺上，使得用戶需要耗費大量的精力來尋找感興趣的課程，造成信息過載現象[1]，大大降低了用戶的使用體驗。為了緩解信息過載問題帶來的影響，研究人員提出推薦系統概念，用于幫助用戶從大量課程中發現感興趣的內容。

推薦系統以用戶行為和資源內容作為切入點，把握用戶興趣。常用的推薦算法有基于協同過濾的推薦[2-4]、基于內容推薦[5-6]和基于模型推薦[7-8]。協同過濾算法利用興趣相似用戶在同類資源上有相似的偏好這個特點，從而對目標用戶進行同類資源的推薦。然而，通過協同過濾推薦算法的原理可以發現，其只依賴用戶的共同行為，而忽略了用戶行為的時序信息。在用戶的課程學習過程中，往往依賴前置課程的學習，因此，傳統的協同過濾推薦算法在課程推薦系統中存在局限性。基于上述背景，可以將用戶學習的一系列課程看作圖結構數據，課程是圖上的節點，用戶的學習序列是節點上的邊，反映用戶學習的時序信息。文章利用課程學習序列構建有向圖，學習節點的嵌入式向量表達，并利用向量檢索方法進行課程推薦。

文章提出一種基于圖節點嵌入向量相似性的推薦算法GEV，利用用戶點擊序列構建課程圖，圖的節點為相應課程，邊的權重為用戶同時學習的次數，依照權重進行隨機游走獲取訓練序列，然后使用Word2vec[9]算法中的Skip-gram模型和負采樣算法學習節點的嵌入式向量，并以此推薦相關課程給用戶。MOOC數據集的實驗結果表明文章給出的模型在評價指標召回率上優于其他算法。

1 相關工作

1.1 協同過濾推薦算法

協同過濾算法（Collaborative Filtering，CF）是一種經典的推薦算法，利用用戶群體的興趣來找到目標用戶的興趣點，實現個性化推薦。1998年，Breese等[10]率先提出了協同過濾算法的分類理念。一般來說，協同過濾推薦算法可以分為3類，分別是基于用戶的協同過濾算法（User-based Collaborative Filtering，UCF），基于項目的協同過濾算法（Item-based Collaborative Filtering，ICF），以及基于模型的協同過濾算法（Model-based Collaborative Filtering，MCF）。基于用戶的協同過濾主要考慮用戶與用戶間的相似度，而基于項目的協同過濾主要考慮物品與物品的相似度。文章以基于項目的協同過濾算法為例說明其基本原理，如圖1所示。

圖1 基于項目的協同過濾算法示意圖

基于項目的協同過濾算法利用同一個用戶喜歡的物品具有相似性，從而建立物品之間的相似關系，然后利用這個關系，依據新用戶的行為進行預推薦。在圖1中，用戶A同時喜歡物品A和C，用戶B則同時喜歡物品A、B和C，則從物品的角度看來，物品A和C具有相似性。因此，當用戶C喜歡物品A時，基于項目的協同過濾算法會依據用戶C的行為選擇物品C進行推薦。

協同過濾算法基于用戶的行為數據挖掘用戶的興趣點進行個性化推薦，具有良好的自適應性，同時，推薦規則也可以根據業務場景來自適應調整。協同過濾算法對長尾分布的興趣點推薦也有良好的效果。然而，協同過濾算法也存在固有的缺陷，主要表現在冷啟動階段依賴于用戶的行為數據，在缺乏相關數據的場景下難以使用。

1.2 網絡表示學習相關理論

網絡表示學習將拓撲結構的圖數據轉化為低維稠密向量表示，使相似的節點具有相似的向量表達，得到的向量可以作為下游神經網絡模型的輸入進行后續的機器學習任務。網絡表示學習模型對于圖G=（V，E），學習一種映射（f:Vi→Zi,∈RD），其中，Zi表示一個D維的向量，是圖節點Vi的向量化表示，維度D遠小于圖中節點的數目|V|，即D＜＜|V|。

在自然語言處理領域，Mikolovt等[11]提出的Word 2vec模型，是一種高效訓練詞向量的模型。該模型通過訓練神經網絡模型，利用上下文信息得到每個單詞的向量化表示，使得意義相近的單詞具有相似的向量。用戶在課程學習過程中，會形成一個序列，相鄰的課程意味著具有關聯性，因此，可以將課程像單詞一樣利用Word2vec模型學習向量表示。

Word2vec模型的基本思想是句子中相近的詞是有聯系的，因此可以用詞來預測詞。Word2vec常用的訓練方法有2種：連續詞袋模型（Continuous Bagof-Words，CBOW）和跳元模型（Skip-gram）。CBOW方法是根據周圍詞來預測中心詞，相反，Skip-gram方法是用中心詞分別推斷出周圍詞。通常，當數據量較少或者語料庫中有大量低頻詞的時候，Skip-gram比CBOW能取得更好的效果。

2 基于圖嵌入向量的推薦算法

2.1 建立用戶行為圖

依據用戶的歷史學習過程建立課程圖，如圖2所示。

圖2 建立基于用戶行為的課程圖結構

在之前介紹的協同過濾算法中，只考慮了用戶群體的共同興趣，而忽略了反映用戶學習興趣的學習時序信息。由于用戶在使用學習平臺過程中會有大量的行為，時間跨度長，一方面計算量較大，另一方面用戶的興趣也會發生變化。因此，文章只選取一定時間窗口內的用戶行為用于構建課程圖。

在圖2（a）中，文章將固定時間范圍內用戶的課程學習記錄選取出來，然后如圖2（b）所示，研究將用戶連續學習的2個課程按照時間順序建立有向圖，其中，節點之間邊的權重ω為所有用戶先后學習對應2節點課程的次數。這樣就建立了用戶課程圖。

2.2 圖嵌入式向量學習

如圖2（b）所示，帶權有向圖G，記作G=（V，E）其中V是圖G中定點的集合，E是圖G中邊的集合，可以使用DeepWalk[12]算法來學習圖G中節點的嵌入式向量表示。通過使用矩陣M來表示圖G的鄰接矩陣，其中，Mij表示圖中節點i到節點j的邊權重。首先，可以使用DeepWalk算法從圖G中生成節點的隨機游走序列，如圖3（a）所示。DeepWalk算法最主要的2個步驟是利用RandomWalk隨機游走生成圖節點序列，然后利用Skip-gram算法生成節點的向量表示。RandomWalk隨機游走生成節點序列時，等概率地選擇下一個節點，忽略了節點間的相關關系。例如，在學習課程時，用戶在學習完前置課程后，有極大的概率會選擇后續的相關課程，反映了課程的流行信息，而RandomWalk生成的節點序列則無法反映這種關系。因此，通過選擇WeightedWalk方式來選擇生成圖節點序列，按照一定的概率αij選擇下一個節點。αij是通過統計用戶學習當前課程i之后選擇繼續學習課程j的概率得到。

圖3 課程圖結構節點的嵌入式向量訓練過程

然后可以使用Skip-gram算法來學習序列中節點的向量化表示，從而使序列中相鄰兩節點共現的概率最大。訓練過程本質上是一個優化過程，目標函數可以寫為：

式中：w是在序列采樣過程中窗口的長度，i 當前節點的編號，?（·）表示神經網絡，Pr（·）表示似然函數，通過最小化損失函數，得到訓練好的神經網絡。根據獨立性假設，預測節點的概率可寫為：

式中：w是在序列采樣過程中窗口的長度，?（·）表示神經網絡，Pr（·）表示似然函數。這樣，就可以利用學習到的節點向量，使用向量檢索方法來實現課程的推薦。

3 實驗結果與分析

3.1 實驗環境與數據集

實驗環境是Windows10操作系統，16 GB內存，Intel Core i7-10750H處理器，英偉達GeForce RTX 2070顯卡，TensorFlow版本2.5.0，cuDNN版本8.1，CUDA版本11.2。

采用中國大學MOOC[13]（iCoursera）平臺數據集，包含82 535名學員在1 302門課程的相關選課記錄及課程屬性。數據集包含458 454條選課記錄，其中每條記錄包含用戶ID、課程ID、課程名稱、課程層次、選課時間等相關的屬性。

3.2 數據預處理

為了方便處理，將數據集內容進行精簡，只保留用戶ID，課程ID和選課時間這3個屬性字段；以課程id作為圖數據的節點，依據選課時間段進行數據劃分，選擇一定時間窗口內用戶學習的關聯課程，在課程圖結構數據上連接邊，將用戶的課程學習序列轉化為圖結構數據。

3.3 評價指標

在推薦系統中，筆者關心推送的課程用戶是否感興趣，用查準率（Percision，P）來描述，還要關心用戶感興趣的所有課程是否都有推薦[14]，用查全率（Recall，R）描述，此外，用F1-分數（F1-score，F1）來綜合評價。

3.4 實驗結果

對于每次推薦系統給用戶推薦的課程數N，文章取N=3。對比實驗中，文章提出的GEV算法與矩陣分解（Matrix Factorization，MF），DeepWalk算法、協同過濾算法（Collaborative Filtering，CF）進行對比，實驗結果見表1。

表1 N=3時查全率、查準率與F1-分數

在同樣的實驗條件下，文章所提的GEV算法在查全率、查準率與F1-分數3個指標上均優于MF、Deep－Walk和CF算法。在N=3時，與MF算法相比，準確率提高15.5%，召回率提高17.8%，F1-分數提高16.9%；與DeepWalk算法相比，準確率提高8.5%，召回率提高12.1%，F1-分數提高10.5%，與CF算法相比，準確率提高10.5%，召回率提高13.3%，F1-分數提高12.1%。

取N=10時，實驗結果見表2。從表中數據可以看出，在N=10條件下，GEV算法仍然取得了最好的推薦效果。隨著N的增大，推薦課程集合包含的數目越多，對于不同的算法來說，命中用戶感興趣課程的概率就越高，因此，在N=10條件下，各算法相應的查全率、查準率與F1-分數都優于在N=3時的結果。

表2 N=10時查全率、查準率與F1-分數

此外，文章還對算法運行時間進行了對比，在相同的實驗平臺條件下，比較MF、DeepWalk、CF和GEV算法，推薦給同一位用戶10門推薦課程所需要的時間，耗時結果見表3。

表3 推薦系統響應時間

從表中可以看到，作者所提出的GEV算法在對比算法中，具有最少的響應時間，說明算法在實時性上具有較強的競爭力，通過多臺服務器進行并行計算優化，可以進一步減少響應時間。

4 結論

文章提出一種基于圖節點嵌入向量相似性的推薦算法GEV，利用用戶點擊序列構建課程圖，圖的節點為相應課程，邊的權重為用戶同時學習的次數，依照權重進行隨機游走獲取訓練序列。最后，在MOOC數據集上的實驗結果表明，文章所提GEV方法，與矩陣分解，DeepWalk和協同過濾方法相比，具有更高的準確性。