基于元路徑注意力機制的MOOC視頻推薦方法

周嘉凡，杜岳峰，宋寶燕，李曉光*，趙阿珠，肖緒界

基于元路徑注意力機制的MOOC視頻推薦方法

周嘉凡1，杜岳峰1，宋寶燕1，李曉光1*，趙阿珠2，肖緒界3

（1.遼寧大學 信息學院，沈陽 110036； 2.中國人民解放軍32286部隊，遼寧 鐵嶺 112600； 3.中國人民解放軍92515部隊，沈陽 125099）（*通信作者郵箱xgli@lnu.edu.cn）

MOOC平臺上，一個課程可能存在多個版本的視頻，為向學生推薦一個滿足學習興趣的MOOC視頻就需要分析學生興趣與視頻內容的關系，為此，提出一種基于元路徑注意力機制的視頻推薦方法Mrec。一方面，利用異構信息網（HIN）描述學習者和MOOC資源之間的關系，進而使用元路徑表達學生和視頻之間的交互關系；另一方面，利用注意力機制捕捉學生、視頻、元路徑的特征對學習興趣的影響情況。具體來說，Mrec方法包括兩層注意力機制：第一層是節點注意力層，通過鄰居的特征加權聯合節點自身的特征，利用多頭注意力得到實體在不同元路徑下的特征表示；第二層是路徑注意力層，通過融合在不同元路徑的指導下學習到的實體的特征表示來捕捉實體在不同興趣下的特征表示，并將學習到的用戶與視頻實體輸入到多層感知機（MLP）中得到預測分數來進行top-推薦。在MOOCCube和MOOCdata數據集上進行實驗的結果表明，Mrec的點擊率、歸一化折損累積收益（NDCG）、平均倒數排名（MRR）與受試者工作特征曲線下面積（AUC）均優于對比方法。

推薦系統；異構信息網絡；元路徑；注意力機制；圖神經網絡

0 引言

隨著互聯網的快速發展，出現了越來越多的線上學習方式，而教育信息的發展也催生了大量的在線學習平臺，如學堂云、中國大學MOOC等，學習者可以隨時隨地學習，學習行為不再受限于場地、時間等因素。這種發展也使得在線學習資源數量快速增長，用戶可以接觸到更多的教學資源，但這些海量資源中包含了大量的冗余信息，會嚴重擾亂學習者對有用信息的分析和選擇，進而影響用戶使用在線學習平臺進行學習的有效性和持續性。因此，學習平臺需要更好地理解與捕捉用戶的興趣，為其推薦合適的學習資源，以便讓用戶可以在較短時間內獲得所需要的學習內容。

為了理解與捕捉用戶興趣，根據用戶現有的知識水平為其推薦合適的資源：文獻［1］中提出了一個基于內容的協同過濾算法，該算法基于用戶的點擊行為提取用戶的興趣，同時還利用人口統計學特征以及課程之間的依賴關系為用戶推薦合適的課程；文獻［2］中提出了一個HRL（Hierarchical Reinforcement Learning）模型，該模型利用強化學習生成用戶畫像，分析用戶興趣進行推薦；文獻［3］中利用知識感知的自適應推薦方法，可以根據用戶的知識狀態捕捉用戶學習興趣，為用戶推薦前驅或者后繼知識。

因此，本文引入異構信息網絡（Heterogeneous Information Network， HIN）對這些實體關系進行表達，利用元路徑表達學習者與MOOC資源之間的興趣關系，并在HIN的基礎上提出了Mrec推薦方法。Mrec是一個端到端的課程視頻推薦方法，利用兩層注意力機制即節點間的注意力機制以及元路徑間的注意力機制學習實體的表示，最后輸入到多層感知機（Multi-Layer Perceptron， MLP）中得到預測結果。

本文的主要工作包括：1）提出了一種基于元路徑注意力機制的MOOC視頻推薦模型，利用兩層注意力機制學習實體和實體關系的特征表示；2）提出了實體特征的注意力表達機制，通過鄰居節點特征增強節點自身的學習興趣特征；3）提出了路徑間的注意力表達機制，用來計算節點在不同元路徑下生成表示的權重；4）在真實數據集上進行實驗，以驗證本文方法的有效性和準確性。

1 相關工作

圖神經網絡（Graph Neural Network， GNN）近年來迅速發展，在很多領域表現優異。推薦系統的挑戰主要是從歷史交互和邊信息中學習有效的用戶與物品表示，由于推薦系統中很多信息具有圖結構，而且GNN擅長捕捉節點間的連接與圖數據的表示學習，所以有很多工作將GNN應用到推薦系統中。

文獻［4］中提出的圖卷積網絡（Graph Convolutional Network， GCN）模型是將圖卷積和神經網絡結合的典型的譜模型，它可以實現半監督分類的圖任務；但是該模型將節點鄰居平等對待，無法處理動態圖。文獻［5］中提出的GraphSAGE模型是一個具有開創性的空間GNN模型，它對目標節點的鄰居進行采樣，聚合它們的嵌入，并與目標嵌入合并以進行更新；但是它也無法區分不同鄰居的權重。文獻［6］中提出的GAT（Graph ATtention networks）模型是一個空間GNN模型，解決了譜模型的幾個關鍵挑戰，例如從特定圖形結構到另一個圖形結構的泛化能力差，以及復雜的矩陣求逆計算。GAT利用注意機制聚合鄰域特征，為不同節點指定不同的權重。

基于GCN、GraphSAGE、GAT等圖模型，再結合不同的圖類型與邊信息，后續出現了很多基于GNN的推薦模型，典型的如基于GAT的GraphRec+［7］、基于GCN的ACKrec等。

GraphRec+模型基于GAT利用多個帶注意力機制的GNN分別提取user-item、user-user、item-item三種關系圖的用戶與項目信息，通過融合源自上述三種關系圖的關系信息來實現預測性能更強的推薦系統。

文獻［8］在異構圖上使用元路徑引導用戶興趣的傳播，再利用三層GCN聚合多跳鄰居的信息，還提出了一種注意力機制，自適應地融合來自不同元路徑的上下文信息，以捕獲不同用戶的不同興趣來為其進行推薦。

與上述所有模型不同，雖然都是基于GNN進行推薦，本文引入了元路徑，提出了一個兩層注意力機制的模型，可以學習節點與節點之間、元路徑與元路徑之間的權重，同時元路徑的設計也更加豐富，以進一步提高推薦結果的精準度。

2 基本概念

如圖1所示，本文將MOOC數據構建為一個HIN，網絡里包含用戶、課程、視頻、教師等各種實體以及實體之間復雜的關系。

在HIN中，兩個節點能通過不同類型的聯系連接起來，這種聯系叫作元路徑。

用U、C、T、V分別表示用戶、課程、教師和視頻。兩個用戶可以通過多個元路徑連接，例如用戶→課程→用戶（UCU）和用戶→課程→教師→課程→用戶（UCTCU），不同的元路徑總是揭示不同的語義，前者表示兩個用戶點擊同一門課程，后者表示兩個用戶點擊過同一個老師講授的兩門課程。

本文為用戶以及視頻設計的元路徑如表1、2所示，為用戶設計了3條元路徑，為視頻設計了2條元路徑。

圖1 MOOC數據構建的HIN

表1 用戶元路徑

表2 視頻元路徑

3 Mrec方法

本章主要介紹Mrec方法的組成，包括特征的抽取、實體表示的生成過程以及推薦列表的生成，圖2是生成實體表示的框架。

圖2 實體表示生成框架

3.1 特征抽取

通常，視頻的標題幾乎是整個視頻總體知識的高度概括（例如，“C++”“二叉樹”“隊列”），其中包含豐富的語義信息，因此，本文用Word2vec［12］為視頻的標題生成嵌入，并將其用作視頻的內容特征，對于用戶，本文也用同樣的方法。

3.2 節點間的注意力

在為每個節點匯總來自各個元路徑的鄰居信息之前，應該注意到，每個節點基于不同元路徑的鄰居，在為這個節點進行推薦時，都扮演著不同的角色，即使是同一條元路徑上的鄰居，在學習針對特定任務的節點嵌入中，它們也表現出不同的重要性。所以本文引入了節點級別的注意力機制，可以了解HIN中每個節點的不同鄰居的重要性，并匯總這些有意義的鄰居的表示以形成節點嵌入。

如圖3所示，本文將一個節點在某條下元路徑的鄰居進行聚合，為其鄰居分配不同的權重，再結合節點自身的表示，得到一個節點特定于某條元路徑下的表示。

圖3 節點間注意力機制

由于HIN是一個無標度網絡，所以圖數據的方差很大。為了解決這個問題，本文采用了多頭注意力機制學習節點間的權重，以便訓練過程更加穩定。具體來說，就是將節點級別的注意力重復次進行連接。盡管多頭注意力具有探索中心節點及其鄰域之間的多個子空間的能力，但是并不是所有的子空間都擁有一樣的重要性，有些節點甚至不存在某些子空間，所以捕獲一個無用表示的注意力頭部輸入到網絡中可能會誤導模型的最終預測。因此本文使用soft-gate為不同的注意力頭部分配不同的權重，得到模型的最終輸出：

3.3 元路徑間的注意力

通常HIN中的每個節點都包含各種類型的語義信息，特定于一條元路徑的節點嵌入只能從一個方面表示節點，想要得到更加全面豐富的節點嵌入，需要融合不同元路徑下節點的語義信息；而且由于每個用戶學習的偏好不同，所以不同的元路徑不應該被同等對待。

為此，本文利用注意力機制來融合在不同元路徑下學習到的實體的表示，并生成注意力聯合表示。具體來說，本文學習不同元路徑的注意力權重，如下所示：

一個節點的聯合注意力表示如下：

3.4 評分預測

本文將得到的用戶以及視頻的表示輸入到MLP中得到預測的分數：

其中：MLP組件由兩個隱藏層（ReLU作為激活函數）和一個輸出層（帶有S型函數）實現，本文為MLP組件實現了塔式結構，將每個連續的高層的層大小減半。

本文定義的損失函數如下：

4 實驗與分析

4.1 數據集

實驗中采用的數據集包括：

MOOCCube：采用了文獻［14］中收集的數據集，包括199 199個用戶，38 181個視頻，706個課程，1 738個老師，以及各個實體之間的復雜關系，本文僅使用了該數據集上10 000個學生相關的視頻、課程教師以及它們之間的關系，具體數據如表3所示。

MOOCdata：從網站https：//www.icourse163.org上抓取了用戶以及課程的數據，包括32 156個用戶的59 169個瀏覽記錄以及254個課程和4 978個視頻。

表3 MOOCCube數據集中實體以及各種聯系的統計信息

4.2 實驗評估指標與實驗設置

對于本文提出的Mrec方法，在測試集上使用隨機拆分方法進行訓練、驗證，運行5次，取平均結果。

4.3 對比方法

為了評估本文提出的Mrec的性能，本文使用的對比方法如下：

DeepWalk［15］：一種基于隨機游動的網絡嵌入方法，專為同構圖設計。本文的實驗中忽略節點的異質性，在整個異質圖上執行DeepWalk。

BPR（Bayesian Personalized Ranking）［16］：它以貝葉斯方式優化了推薦任務的成對排名損失。

FM（Factorization Machines）［17］：一種標準的矩陣分解方法，為了確保與其他方法的公平比較，本文僅使用用戶和視頻的表示。

metapath2vec［18］：一種基于異構圖的嵌入方法，該方法執行基于元路徑的隨機游走，并利用skip-gram生成異構圖的嵌入表示。

NAIS（Neural Attentive Item Similarity）［19］：這是一個item-to-item的協同過濾算法，但是使用注意力機制方法來區分不同的在線學習行為的權重。

MOOCRec［20］：該算法通過設計不同的元路徑得到每條節點下的表示，再利用兩層元路徑間的注意力機制以及一個協同注意力層為用戶進行推薦。

Mrec1：在Mrec的基礎上消除了節點間的注意力機制，給每個鄰居分配相同的權重。

Mrec2：在Mrec的基礎上消除了元路徑間的注意力，每條元路徑擁有相同的權重。

Mrec：本文提出的推薦方法，利用了節點間的注意力與元路徑間的注意力生成實體的表示

4.4 實驗結果分析

各方法的HR@20、NGCD@20、MRR和AUC評估結果如表4所示，可以看到本文方法在兩個數據集的各項指標上均取得了最高值。從表4中可以看出，基于HIN的方法優于其他方法，表明基于HIN的方法可以很好地利用MOOC數據的異質性，利用輔助信息豐富節點的表示，來達到更好的推薦效果。與metapath2vec等基于隨機游走策略生成實體表示不同，Mrec利用節點的鄰居生成節點的表示，還利用注意力機制學習不同元路徑的權重，可以更好地對實體建模。

表4 MOOC數據集上各個方法的實驗結果

從表4中還可以看到，Mrec的各項指標都明顯高于Mrec1，這說明了節點間注意力機制的重要性，在同一條元路徑下，不同的鄰居確實是扮演著不同角色，在為用戶推薦時擁有不同的重要性，利用好這些鄰居可以提高推薦的準確性；Mrec2的各項指標也明顯低于Mrec，這表明了學習不同元路徑的權重的必要性。

本文使用不同的嵌入維度（即16、32、64、128、256）進行了實驗，結果如圖4所示，可以看到當實體的嵌入維度為128時，方法可獲得最佳性能。結果還表明，HIN中用戶與視頻的嵌入維度是提高推薦任務性能的重要因素，而實體表示的維度并不是越高越好。

圖4 不同維度的表現

4.5 不同元路徑組合對比

本節主要針對不同的元路徑組合進行比較，以便選取最佳的元路徑來提高模型的性能。具體來說，考慮了單個元路徑的不同對比以及多個元路徑的組合，如表5所示。

表5 不同元路徑的組合描述

圖5 不同組合元路徑的AUC和MRR

5 結語

本文研究了MOOC系統中視頻推薦的問題，提出了一種基于端到端圖神經網絡模型Mrec，將豐富的上下文輔助信息納入MOOC視頻推薦中。為了以更自然和直觀的方式利用上下文信息，本文將MOOC建模為HIN，設計了一個基于注意力的圖神經網絡，利用節點級別的注意力和元路徑級別的注意力分別學習節點和元路徑的重要性，可以有效地探索和聚集用戶的潛在興趣，更好地對實體建模。在收集的數據集進行了綜合實驗，結果表明Mrec方法優于其他基準方法，說明了方法的有效性。但是本文僅從HIN的角度出發形成實體的表示，怎樣融合視頻內容與用戶興趣進行更精確的推薦，仍然是后續亟待解決的重要問題。

[1] JING X， TANG J. Guess you like： course recommendation in MOOCs［C］// Proceedings of the 2017 International Conference on Web Intelligence. New York： ACM， 2017：783-789.

[2] ZHANG J， HAO B W， CHEN B， et al. Hierarchical reinforcement learning for course recommendation in MOOCs［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 435-442.

[3] LIU Q， TONG S W， LIU C R， et al. Exploiting cognitive structure for adaptive learning［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 627-635.

[4] KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22）［2021-06-20］.https：//arxiv.org/pdf/1609.02907.pdf.

[5] HAMILTON W L， YING Z， LESKOVEC J. Inductive representation learning on large graphs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：1025-1035.

[6] VELI?KOVI? P， CURURULL G， CASANOVA A， et al. Graph attention networks［EB/OL］. （2018-02-04）［2021-06-20］.https：//arxiv.org/pdf/1710.10903.pdf.

[7] FAN W Q， MA Y， LI Q， et al. A graph neural network framework for social recommendations［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（5）： 2033-2047.

[8] HU B B， SHI C， ZHAO W X， et al. Leveraging meta-path based context for top-recommendation with a neural co-attention model［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1531-1540.

[9] GONG J B， WANG S， WANG J L， et al. Attentional graph convolutional networks for knowledge concept recommendation in MOOCs in a heterogeneous view［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020：79-88.

[10] SUN Y Z， HAN J W. Mining heterogeneous information networks： a structural analysis approach［J］. ACM SIGKDD Explorations Newsletter， 2013， 14（2）：20-28.

[11] SUN Y Z， HAN J W， YAN X F， et al. PathSim： meta path-based top-similarity search in heterogeneous information networks［J］. Proceedings of the VLDB Endowment， 2011， 4（11）：992-1003.

[12] MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space［EB/OL］. （2013-09-07）［2021-06-20］.https：//arxiv.org/pdf/1301.3781.pdf.

[13] ZHANG J N， SHI X J， XIE J Y， et al. GaAN： gated attention networks for learning on large and spatiotemporal graphs［C］// Proceedings of the 34th Conference on Uncertainty in Artificial Intelligence. Arlington， VA： AUAI Press， 2018： 339-349.

[14] YU J， LUO G， XIAO T， et al. MOOCCube： a large-scale data repository for NLP applications in MOOCs［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 3135-3142.

[15] PEROZZI B， AL-RFOU R， SKIENA S. DeepWalk： online learning of social representations［C］// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710.

[16] RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feedback［C］// Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. Arlington， VA： AUAI Press， 2009：452-461.

[17] RENDLE S. Factorization machines with libFM［J］. ACM Transactions on Intelligent Systems and Technology， 2017， 3（3）： No.57.

[18] DONG Y X， CHAWLA N V， SWAMI A. metapath2vec： scalable representation learning for heterogeneous networks［C］// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 135-144.

[19] HE X N， HE Z K， SONG J K， et al. NAIS： neural attentive item similarity model for recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2018， 30（12）： 2354-2366.

[20] SHENG D M， YUAN J L， XIE Q， et al. MOOCRec： an attention meta-path based model for Top-K recommendation in MOOC［C］// Proceeding of the 2020 International Conference on Knowledge Science， Engineering and Management， LNCS 12274/LNAI 12274. Cham： Springer， 2020： 280-288.

MOOC video recommendation method based on meta-path attention mechanism

ZHOU Jiafan1*， DU Yuefeng1， SONG Baoyan1， LI Xiaoguang1， ZHAO Azhu2， XIAO Xujie3

（1，，110036，；232286，112600，；392515，125099，；）

On the MOOC platform， there may be multiple versions of videos for one course，in order to recommend a MOOC video that satisfies the learning interest of the student，it is necessary to analyze the relationship between student interests and video contents. For this purpose， a video recommendation model named Mrec was proposed based on meta-path attention mechanism. For one thing， the Heterogeneous Information Network （HIN） was used to describe the relationships between learners and MOOC resources， and then meta-path was used to express the interaction between students and videos. For another， the attention mechanism was used to capture the influences of the characteristics of students， videos and meta-paths on learning interest. Specifically， the Mrec model was composed of two layers of attention mechanism： the first layer was the node attention layer， the node own characteristics were weightely combined with neighbor characteristics， and the feature representations of entities under different meta-paths were obtained by multi-head attention； the second layer was the path attention layer， in which the feature representations of entities learned under the guidance of different meta-paths were integrated to capture the feature representations of entities under different interests， and the learned users and video entities were put into Multi-Layer Perceptron （MLP） to obtain the prediction scores for top-recommendation. Experimental results on MOOCCube and MOOCdata datasets show that Mrec outperforms the comparison methods in terms of Hit Ratio （HR）， Normalized Discounted Cumulative Gain （NDCG）， Mean Reciprocal Ranking （MRR） and Area Under receiver operating characteristic Curve （AUC）.

recommendation system; Heterogeneous Information Network (HIN); meta-path; attention mechanism; Graph Neural Network (GNN)

This work is partially supported by National Key Research and Development Program of China （2019YFB1406002， 2021YFF0901004）， National Natural Science Foundation of China （U1811261）， Project of Public Opinion and Network Security Big Data System Engineering Laboratory of Liaoning Province （2016-294）， Scientific Research Project of Education Department of Liaoning Province （LJKZ0094）， Natural Science Foundation Project of Liaoning Province （2020-BS-082）， Youth Nursery Project of Education Department of Liaoning Province （LQN202010）.

ZHOU Jiafan， born in 1996， M. S. candidate. Her research interests include recommendation system， data mining.

DU Yuefeng， born in 1986， Ph. D.， lecturer. His research interests include recommendation system， data quality management.

SONG Baoyan， born in 1965， Ph. D.， professor. Her research interests include database technologies.

LI Xiaoguang， born in 1973， Ph. D.， associate professor. His research interests include data mining， machine learning， graph data analysis.

ZHAO Azhu， born in 1989， M. S.， engineer. Her research interests include information system.

XIAO Xujie， born in 1986， Ph. D.， lecturer. His research interests include data governance.

TP311

A

1001-9081（2022）06-1808-06

10.11772/j.issn.1001-9081.2021091800

2021?10?22；

2022?03?11；

2022?03?14。

國家重點研發計劃項目（2019YFB1406002， 2021YFF0901004）；國家自然科學基金項目資助項目（U1811261）；遼寧省公共輿情與網絡安全大數據系統工程實驗室基金資助項目（2016-294）；遼寧省教育廳科學研究項目（LJKZ0094）；遼寧省自然科學基金資助項目（2020-BS-082）；遼寧省教育廳青年育苗項目（LQN202010）。

周嘉凡（1996—），女，山西晉城人，碩士研究生，主要研究方向：推薦系統、數據挖掘；杜岳峰（1986—），男，遼寧沈陽人，講師，博士，CCF會員，主要研究方向：推薦系統、數據質量管理；宋寶燕（1965—），女，遼寧鐵嶺人，教授，博士，CCF會員，主要研究方向：數據庫技術；李曉光（1973—），男，遼寧沈陽人，副教授，博士，CCF會員，主要研究方向：數據挖掘、機器學習、圖數據分析；趙阿珠（1989—）女，遼寧沈陽人，工程師，碩士，主要研究方向：信息系統；肖緒界（1986—），男，遼寧本溪人，講師，博士，主要研究方向：數據治理。