融合多模態自監督圖學習的視頻推薦模型

摘 要：現有視頻推薦方法在算法框架中引入圖神經網絡來建模用戶—視頻協同關系，學習用戶和視頻的表示向量，但是節點中包含的冗余噪聲會限制模型的建模能力。針對以上問題，提出了一種融合多模態自監督圖學習的視頻推薦模型（IMSGL-VRM）。首先，在圖數據增強模式下構建自監督的圖神經網絡模型學習多模態視圖下的節點特征表示，以提升節點表示的泛化能力；其次，為了得到推薦結果的多樣性，設計了多興趣提取模塊從用戶歷史的交互視頻序列中建模用戶的多興趣；最后，融合多模態的用戶多興趣表示和視頻的特征表示，使用多樣性可控的方式輸出推薦結果，以滿足視頻推薦的多樣性需求。在MovieLens-1M和TikTok數據集上實驗，采用準確性、召回率、NDCG和多樣性等指標評估模型。實驗結果表明，該模型相比經典基準模型均有顯著的性能提升。

關鍵詞：多模態；自監督圖學習；視頻推薦；多興趣；多樣性

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2023）06-012-1679-07

doi： 10.19734/j.issn.1001-3695.2022.11.0550

Self-supervised graph learning of fusing multi-modal for video recommendation model

Yu Wenting Wu Yun Lin Jian

（a. State Key Laboratory of Public Big Data， b. College of Computer Science amp; Technology， Guizhou University， Guiyang 550025， China）

Abstract：Existing video recommendation methods introduce graph neural networks in the framework to model the user-video co-relation and learn the representation vectors of users and videos， but the redundant noise contained in the nodes may limit the modeling capability of the model. To this end， this paper proposed a new model that integrated multimodal self-supervised graph learning for video recommendation model （IMSGL-VRM）. Firstly， this paper constructed a self-supervised graph neural network in the graph data augmentation mode to learn the node feature representation in the multimodal view to improve the generalization ability of the node representation. Secondly， in order to obtain the diversity of recommendation results， this paper designed a multi-interests extraction module which models users’ multi-interests from their historical interactive video sequences. Finally， this paper integrated the multi-modal users’ multi-interest representation and the representation of video’s feature and obtained recommendation results in a controllable way to satisfy the diversity requirement of video recommendation. This paper conducted experiments on MovieLens-1M and TikTok datasets， and evaluated the model performance using accuracy， recall， NDCG and diversity metrics. The experimental results show that IMSGL-VRM has significant performance improvement compared with the classical benchmark model.

Key words：multi-modal; self-supervised graph learning; video recommendation; multi-interests; diversity

0 引言

在信息化時代，推薦技術成為有效發現用戶潛在感興趣信息的重要手段，其從海量的數據中為用戶發掘曾經有相似興趣的物品，或是具有相同愛好用戶偏好的物品。在互聯網普及的時代，各種數字化信息在各種網絡平臺快速產生，被用戶快速消費。近幾年，社交網絡分享平臺從單一文字和圖片分享的微博，發展到以視頻分享為主的快手、抖音等社交平臺。人獲取信息時更偏向于圖像、視頻信息，過去在推薦系統領域應用較廣泛的協同過濾推薦算法在對視頻推薦時就存在問題和挑戰。最近有研究者提出使用圖神經網絡建模用戶與視頻之間的協同關系，但依然存在不足之處。一方面，在使用圖卷積網絡模型建模用戶和視頻的協同關系時，由于聚合階段是從多個鄰居節點和多跳連接聚合信息，這會給當前更新的節點帶來冗余噪聲特征，從而限制模型學習到有效的用戶與視頻表示向量，在提升推薦性能方面是存在局限性的；另一方面，在使用視頻的多模態內容時，沒有深入研究不同模態對視頻的表示帶來的影響以及多模態融合的方法比較粗粒度。

基于以上的不足之處，首先提出在多模態視圖下，構建圖卷積網絡的自監督圖學習方法學習節點嵌入的特征表示；然后基于用戶歷史行為序列提取用戶的多興趣特征表示；最后通過融合多模態下的多興趣特征輸出可控的多樣性推薦結果。

本文的主要貢獻如下：

a）針對傳統圖神經網絡中存在冗余噪聲而導致用戶和視頻的協同關系建模不充分問題，提出在多模態視圖下構建自監督圖學習方法提升用戶與視頻節點特征表示的魯棒性；b）基于用戶歷史交互行為序列建模用戶多興趣特征，并融合多模態下的多興趣特征，設計多樣性可控的方式輸出多樣性的推薦結果。

c）在MovieLens-1M和TikTok數據集上進行了一系列實驗來驗證IMSGL-VRM的推薦效果。結果表明，與經典的基線模型相比，在準確性、召回率、NDCG和多樣性等評價指標上IMSGL-VRM均有顯著的提升。

1 相關工作

1.1 自監督學習

自監督學習的研究大致可以分為生成模型［1］和對比模型［2］兩個分支。自編碼器是一種當前流行的用來學習重建輸入數據的生成模型，其通過隨機增加的噪聲來增強模型的魯棒性［1］。對比模型是通過學習噪聲對比估計（noise contrastive estimation，NCE）目標，既有全局—局部的對比［3］，也有全局—對局的對比方式［2］。前者側重于建模樣本及其全局上下文表示的局部部分之間的關系，而后者在兩個樣本之間進行對比學習，這需要樣本具有多個視圖。InfoGraph［4］和DGL［5］根據節點和局部結構之間的互信息學習節點表示，在此基礎上，Hu等人［6］將這種思想擴展到用圖卷積神經網絡來學習節點和圖表示。自監督圖學習包含圖數據增強、圖編碼和對比學習三個重要的步驟。自監督學習通過在原始圖上改變其拓撲結構建立對比學習，從節點的多個視圖使用圖編碼器得到節點嵌入表示，為下游任務提供增強的節點表示。

1.2 多模態融合

要想利用多模態信息就要研究怎么融合多模態特征。從多媒體技術及深度學習發展以來，關于多模態融合的領域也得到了不斷深入的研究，其中多模態協同表示、多模態聯合表示和多模態自編碼器為三種經典的多模態融合框架。基于這些融合框架，研究者們提出了幾種重要的多模態融合基礎模型，分別是概率圖模型（probabilistic graphical models，PGM）［7］、多模態自編碼器（multimodal autoencoders， M-AE）［8］、深度典型相關分析（deep canonical correlation analysis，DCCA）［9］、生成對抗網絡（generative adversarial network，GAN）［10］和注意力機制（attention mechanism，AM）［11］，這些經典模型方法與多模態融合框架的關系如圖1所示。

1.3 圖卷積網絡的視頻推薦模型

Wei等人［12］提出了MMGCN（multi-modal graph convolution network for personalized recommendation of micro-video），用圖卷積網絡的算法從多模態中學習用戶的偏好表示，在每個模態的視圖下構建用戶視頻的二部圖，最后融合多模態的表示預測用戶對視頻的偏好。Tao等人［13］在MMGCN的基礎上提出MGAT（multimodal graph attention network for recommendation），主要對圖卷積的消息傳遞操作使用圖注意力機制，以捕獲用戶對鄰居視頻節點的偏好，同時融合了多模態的特征來預測用戶和視頻交互行為。然而，這些方法在使用圖卷積網絡嵌入節點特征時存在領域節點特征帶來的噪聲，進而影響節點特征的表示泛化性。

1.4 序列推薦

基于用戶行為序列推薦的問題是推薦系統的一個重要研究領域，序列推薦的目的是基于用戶的歷史行為捕獲用戶的潛在興趣。用戶歷史交互的物品之間是存在聯系的，因此可以使用過去的行為序列來預測下一項被推薦的物品，一般的推薦問題就可以轉換為序列推薦的形式。在GRU4Rec［14］工作中，首次將RNN應用在了序列推薦上。SASRec［15］是一個基于自注意力機制的序列模型，研究者利用注意力機制來捕獲用戶的一個長期興趣。TiSASRec［16］在SASRec的基礎上提出了增加時間間隔和位置順序編碼，提升了序列特征的表達能力。陳聰等人［17］對雙向自注意力網絡進行改進，引入時間預測的多任務學習模式以增強建模序列上下文的能力。隨后，ComiRec［18］中指出，過去的序列推薦方法中只是簡單地將用戶的所有序列嵌入表示看做整體，這樣的建模方式不能細粒度地捕獲用戶序列之間的關系，即建模的興趣是單一的。因此，ComiRec基于用戶行為序列構建了多興趣建模的方式，將單個興趣的表示使用多維權重矩陣擴展成多興趣的表示。本文使用了多興趣聚合輸出推薦的多樣性，采用可控的方式調節模型推薦的準確性和多樣性的平衡。

2 本文方法

2.1 問題描述

給定一個包含用戶與多模態視頻的社交媒體數據集，根據用戶歷史點擊過的視頻序列集，要預測的問題是給目標用戶推薦可能喜歡觀看的視頻列表，其中列表包含了被推薦的top-k個視頻集合。本文強調的多興趣包含以下兩方面：a）模型角度，表示用戶抽象意義上的多個興趣偏好；b）實際業務角度，表示用戶對不同視頻類別風格的偏好。為了便于形式化地描述本文方法，表1給出了相關的主要符號及描述。

2.2 模型描述

用戶對視頻過去的點擊歷史行為序列可以直觀地反映出用戶的興趣愛好。以往的研究工作通常將用戶興趣分為長期興趣和短期興趣，本文認為長短期興趣只能粗粒度地建模用戶的興趣，然而從多樣性的目標出發研究就應該探索多興趣的建模。圖2是融合多模態自監督圖學習的視頻推薦模型（IMSGL-VRM）的結構，主要包含自監督圖學習模塊、節點嵌入表示讀出部分、多興趣提取模塊和輸出部分。

其中自監督圖學習模塊通過在原始的用戶與視頻的二部圖上進行圖數據增強操作構造圖對比學習，以提升節點嵌入。在節點嵌入表示讀出部分，根據用戶點擊的視頻序列獲取視頻序列嵌入表示；在多興趣提取模塊中，基于用戶的視頻序列嵌入表示，使用多頭自注意力機制提取用戶的多興趣特征。特別地，在數據輸入階段，根據視頻的不同模態構建用戶與視頻交互的二部圖。

融合多模態自監督圖學習的視頻推薦模型基本流程：首先，輸入多模態的用戶—視頻二部圖，在自監督圖學習中分別學習到用戶和視頻的嵌入表示；然后根據用戶交互的數據，提取出用戶歷史行為數據，從輸出的節點表示中讀出當前用戶的節點表示和視頻序列的表示；接著通過多興趣提取模塊從行為序列中捕獲用戶的多興趣表示；最后融合多個模態的多興趣表示輸出多興趣的推薦列表。

2.3 自監督圖學習模塊

圖卷積網絡在推薦算法中取得了較大的進展，大多都是基于監督學習的方法。受SGL［19］的啟發，本文基于多模態構建的用戶—視頻二部圖設計自監督圖學習方法。自監督圖對比學習本質上是在圖模型的主任務上增加輔助學習任務，總體的思路就是多任務學習的方法。基本的流程框架如圖3所示，首先根據輸入原始圖，使用數據增強操作改變原始圖的結構或節點的特征屬性，然后基于不同的圖嵌入表示計算正負樣本的損失更新模型的參數。Ding等人［20］使用圖融合的方式增強圖數據。本文在常用的數據增強方式上進行組合設計，如圖3中的圖數據增強方法共包含了四種數據增強方式：圖3（b）節點刪除（node removing，NR）、圖3（c）邊刪除（edge removing，ER）、圖3（d）節點特征Masking（node feature masking，NFM）和圖3（e）隨機游走采樣（random walk sampling，RWS）。基于這四種操作構建了復合圖數據增強方式和隨機選擇圖數據增強方式，如組合圖數據增強方法NR+ER（表示節點刪除和邊刪除同時使用）。

2.4 多興趣提取模塊

2.5 推薦多樣性輸出層

3 實驗

3.1 實驗設置

3.2 數據集

為了驗證IMSGL-VRM模型方法的有效性，使用Movie-Lens-1M（http：//grouplens.org/datasets/movielens/）和TikTo（http：//ai-lab-challenge.bytedance.com/tce/vc/）兩個數據集進行實驗。如表2所示，主要統計每個數據的用戶數、視頻數、用戶與視頻的交互樣本數，以及視頻的多模態特征維度信息，多模態特征分別為視覺的（visual）、聲音的（acoustic）和文本的（textual）。其中以V、A和T分別表示視覺特征、聲音特征和文本特征的維度。

a）MovieLens。由GroupLens網站提供，被廣泛運用于推薦算法性能評估。數據集含有6 040位用戶與3 952部電影的交互數據，以及電影的標簽分類信息。MovieLens-1M中的電影封面圖片數據使用預訓練模型ResNet50［31］提取視覺特征，其中特征維度為2 048。其次，電影的描述文本數據采取先分詞再Sentence2Vector［32］操作來提取文本特征，特征維度為128。

b）TikTok。由抖音的海外平臺提供，短視頻時長約為3～15 s。數據包含用戶對視頻點擊、觀看和點贊等行為，以及視頻的多模態特征。以觀看和點贊行為作為訓練標簽，構建訓練集測試集。對于用戶交互記錄數小于5的用戶進行了去除，最終數據集中共包含了30 726個用戶和98 573個視頻。在提供的多模態特征中，部分視頻的多模態特征存在缺失情況，采用0進行缺失值填充。

3.3 評價指標

3.4 對比算法模型

a）MIND［27］。MIND通過構建用戶與商品向量在統一的向量空間的多個用戶興趣向量，以表達用戶多樣的興趣分布。核心是基于膠囊網絡和動態路由的多興趣提取層。

b）ComiRec［18］。ComiRec在MIND研究的基礎上，研究了可控的推薦多樣性方法。

c）MGAT［13］。MGAT采用多模態圖注意網絡，在單圖中進行信息傳播，同時利用門控注意力機制來識別不同模態對用戶偏好的重要性分數。

d）CL4Rec［38］。CL4Rec利用數據增強的對比學習機制從原始序列中獲取自監督信號，學習更有意義的用戶表示。

3.5 結果分析與比較

在TikTok和MovieLens-1M數據集上進行實驗，對比了IMSGL-VRM與基準模型MIND、ComiRec、MGAT和CL4Rec實驗結果。在兩個多模態數據集下進行基準模型實驗時，為了公平比較，將視頻的多模態特征與節點嵌入特征作為模型的特征輸入，并且對于所有基線模型，所有超參設置與原論文相同，實驗結果如表3所示。

在所有數據集上，IMSGL-VRM與基準模型相比有顯著的優勢，在recall和NDCG指標下始終優于基線模型。此外，IMSGL-VRM優于MIND、ComiRec、MGAT等多模態基線模型，說明通過圖對比學習可以獲得更高質量的用戶與視頻表示，確保模型能夠提取準確的用戶興趣偏好。同時，相比于CL4Rec中單一的對比學習方法，IMSGL-VRM中將圖神經網絡與對比學習相結合，克服了傳統圖神經網絡中的冗余噪聲問題，同時也整合了本節點與相鄰節點的信息，因此取得了更好的性能。

3.6 自監督圖學習模塊對模型的影響

為了驗證自監督圖學習模塊的有效性，本實驗在完整模型IMSGL-VRM的基礎上進行修改，刪除模型中的對比學習部分，即僅通過圖神經網絡學習用戶與視頻的表示向量。為了方便表示，使用IMGNN表示修改后的模型。本次實驗在TikTok和MovieLens-1M數據集上進行實驗。

從圖5可以看出，去除自監督圖學習模塊會影響模型的性能。這說明圖對比學習可以幫助模型學習到更有效的用戶與視頻表示，進而提高模型整體性能。

3.7 超參數對模型的影響

3.7.1 參數λ對模型的影響

3.7.2 參數K對模型的影響

在多興趣提取模塊中一個重要的參數是K，表示用戶興趣的個數。為了探索參數K對模型的影響，在MovieLens-1M和TikTok數據集下分別進行實驗，實驗中設置K為2、4、6和8。如圖7（a）（b）所示，從兩個數據集的實驗結果來看，多興趣參數K的變化對模型的recall@20、NDCG@20指標變化沒有明顯的規律。在MovieLens-1M中，當K為6時模型的性能最好，而在TikTok中recall@20最大時K為6，NDCG@20最大時K為4。初步分析，在不同的數據集中被推薦視頻的類別個數不一致，以及用戶的興趣分布不同導致的原因。綜合分析得出，多興趣參數K能有效提升推薦模型的推薦性能。

4 結束語

本文提出了一種融合多模態自監督圖學習的視頻推薦模型。首先使用圖卷積網絡捕獲用戶與視頻之間的一階以及二階關系，構建自監督圖學習方法編碼節點特征信息以提升特征魯棒性；然后根據用戶歷史行為序列構建用戶興趣表示，采用設計的多興趣提取模塊中的多興趣權重矩陣提取用戶多興趣；最后實驗結果表明，本文方法對提升視頻的推薦多樣性是有效的。在未來的工作中，會考慮端到端的多模態視頻推薦方法研究，在視頻推薦的準確性和多樣性方面有更深入的探索。

參考文獻：

［1］Devlin J，Chang M W，Lee K，et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proc of the 28th ACM International Conference on Information and Knowledge Management. 2019： 1441-1450.

［2］Chen Ting，Kornblith S，Norouzi M，et al. A simple framework for contrastive learning of visual representations［C］// Proc of the 37th International Conference on Machine Learning. 2020： 1597-1607.

［3］Hjelm R D，Fedorov A，Lavoie-Marchildon S，et al. Learning deep representations by mutual information estimation and maximization［EB/OL］. （2019-02-22）. https：//arxiv.org/abs/1808.06670.

［4］Sun F Y，Hoffmann J，Verma V，et al. InfoGraph： unsupervised and semi-supervised graph-level representation learning via mutual information maximization ［EB/OL］. （2020-01-17）. https：//arxiv.org/abs/1908.01000.

［5］Velickovic P，Fedus W，Hamilton W L，et al. Deep graph infomax［EB/OL］. （2018-09-27）. https：//arxiv.org/abs/1809.10341.

［6］Hu Weihua，Liu Bowen，Gomes J，et al. Strategies for pre-training graph neural networks ［EB/OL］. （2020-02-18）. https：//arxiv.org/abs/1905.12265.

［7］Srivastava N，Salakhutdinov R. Learning representations for multimodal data with deep belief nets［C］// Proc of International Conference on Machine Learning Representation Learning Workshop. 2012： 1-8.

［8］Ngiam J，Khosla A，Kim M，et al. Multimodal deep learning［C］// Proc of the 28th International Conference on International Conference on Machine Learning. 2012： 689-696.

［9］Andrew G，Arora R，Bilmes J，et al. Deep canonical correlation analysis［C］// Proc of the 30th International Conference on International Conference on Machine Learning. 2013： 1247-1255.

［10］Goodfellow I，Pouget-Abadie J，Mirza M，et al. Generative adversarial nets［C］// Proc of the 27th International Conference on Neural Information Processing Systems.Cambridge：MIT Press，2014：2672-2680.

［11］Rensink R A. The dynamic representation of scenes［J］. Visual Cognition，2000，7（1-3）： 17-42.

［12］Wei Yinwei，Wang Xiang，Nie Liqiang，et al. MMGCN： multi-modal graph convolution network for personalized recommendation of micro-video［C］// Proc of the 27th ACM International Conference on Multimedia. New York： ACM Press，2019： 237-240.

［13］Tao Zhulin，Wei Yinwei，Wang Xiang，et al. MGAT： multimodal graph attention network for recommendation［J］. Information Processing amp; Management，2020，57（5）： 102277.

［14］Hidasi B，Karatzoglou A，Baltrunas L，et al. Session-based recommendations with recurrent neural networks［EB/OL］. （2015-11-21）. https：//arxiv.org/abs/1511.06939.

［15］Kang W C，Mcauley J. Self-attentive sequential recommendation ［C］// Proc of IEEE International Conference on Data Mining. Piscataway，NJ： IEEE Press，2018： 197-206.

［16］Li Jiacheng，Wang Yujie，McAuley J. Time interval aware self-attention for sequential recommendation［C］// Proc of the 13th International Conference on Web Search and Data Mining. New York： ACM Press，2020： 322-330.

［17］陳聰，張偉，王駿. 帶有時間預測輔助任務的會話式序列推薦［J］. 計算機學報，2021，44（9）： 1841-1853. （Chen Cong，Zhang Wei，Wang Jun. Session-based sequential recommendation with auxi-liary time prediction［J］. Chinese Journal of Computers，2021，44（9）： 1841-1853.）

［18］Cen Yukuo，Zhang Jianwei，Zou Xu，et al. Controllable multi-interest framework for recommendation［C］// Proc of the 26th International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2020： 2942-2951.

［19］Wu Jiancan，Wang Xiang，Feng Fuli，et al. Self-supervised graph learning for recommendation［C］// Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press，2021： 726-735.

［20］Ding Kaize，Wang Yancheng，Yang Yingzhen，et al.Structural and semantic contrastive learning for self-supervised node representation lear-ning［EB/OL］.（2022-02-17）.https：//arxiv.org/abs/2202.08480.

［21］Velickovic P，Cucurull G，Casanova A，et al. Graph attention networks［J］. （2017-10-30）. https：//arxiv.org/abs/1710.10903.

［22］He Xiangnan，Deng Kuan，Wang Xiang，et al. LightGCN： simplifying and powering graph convolution network for recommendation［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press，2020： 639-648.

［23］Li Guohao，Muller M，Thabet A，et al. DeepGCNs： can GCNs go as deep as CNNs？［C］// Proc of IEEE/CVF International Conference on Computer Vision. 2019： 9267-9276.

［24］Rendle S，Freudenthaler C，Gantner Z，et al. BPR： Bayesian perso-nalized ranking from implicit feedback［C］// Proc of the 25th Confe-rence on Uncertainty in Artificial Intelligence. 2009： 452-461.

［25］Chen Ting，Kornblith S，Norouzi M，et al. A simple framework for contrastive learning of visual representations［C］// Proc of the 37th International Conference on Machine Learning. 2020： 1597-1607.

［26］Gutmann M，Hyvrinen A. Noise-contrastive estimation： a new estimation principle for unnormalized statistical models［C］// Proc of the 13th International Conference on Artificial Intelligence and Statistics. 2010： 297-304.

［27］Li Chao，Liu Zhiyuan，Wu Mengmeng，et al. Multi-interest network with dynamic routing for recommendation at Tmall［C］// Proc of the 28th ACM International Conference on Information and Knowledge Management. New York：ACM Press，2019： 2615-2623.

［28］Shi Yunsheng，Huang Zhengjie，Feng Shikun，et al. Masked label prediction： unified message passing model for semi-supervised classification［C］// Proc of the 30th International Joint Conference on Artificial Intelligence. 2021： 1548-1554.

［29］Sarwar B，Karypis G，Konstan J，et al. Item-based collaborative filtering recommendation algorithms［C］// Proc of the 10th International Conference on World Wide Web.New York：ACM Press，2001： 285-295.

［30］Lyu Linyuan，Liu Weiping. Information filtering via preferential diffusion［J］. Physical Review E，2011，83（6）： 066119.

［31］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al. Deep residual learning for image recognition［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. 2016： 770-778.

［32］Arora S，Liang Y，Ma T. A simple but tough-to-beat baseline for sentence embeddings［C］// Proc of the 5th International Conference on Learning Representations. 2017： 1-16.

［33］Chen Xu，Xu Hongteng，Zhang Yongfeng，et al. Sequential recommendation with user memory networks［C］// Proc of the 11th ACM International Conference on Web Search and Data Mining. New York： ACM Press，2018： 108-116.

［34］Jarvelin K，Kekalainen J. IR evaluation methods for retrieving highly relevant documents［C］// Proc of the 23rd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press，2000： 41-48.

［35］陳壯，鄒海濤，鄭尚，等. 基于用戶覆蓋及評分差異的多樣性推薦算法［J］. 計算機科學，2022，49（5）： 159-164. （Chen Zhuang，Zou Haitao，Zheng Shang，et al. Diversity recommendation algorithm based on user coverage and rating differences［J］. Computer Science，2022，49（5）： 159-164.）

［36］安亞會. 個性化推薦系統的多樣性與新穎性研究［D］. 成都： 電子科技大學，2020. （An Yahui. Research on the diversity and novelty of personalized recommendation systems［D］. Chengdu： University of Electronic Science and Technology of China，2020.）

［37］Lyu Linyuan，Liu Weiping. Information filtering via preferential diffusion［J］. Physical Review E，2011，83（6）： 066119.

［38］Xie Xu，Sun Fei，Liu Zhanyang，et al. Contrastive learning for sequential recommendation［C］// Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press，2021： 1-11.