基于圖神經網絡的視頻推薦系統

高宸 李勇 金德鵬

摘要：提出了一種基于圖神經網絡的視頻推薦模型，將用戶的視頻觀看序列型行為建模為圖結構，用結點代表用戶與視頻，用邊代表行為，引入兩種類型的向量傳播方法分別對用戶的長期興趣與短時興趣進行建模。其中，通過用戶結點與視頻結點的雙向傳播刻畫長期興趣，借助視頻結點切換關系的單向傳播刻畫短時興趣，并通過多層向量傳播實現對圖上高階鄰接信息的捕捉。在一個真實世界的視頻網站觀看數據集上的實驗表明，提出的方法與現有最佳方法相比，其推薦精準度得到了有效提升。進一步的實驗表明，該方法能夠有效緩解數據稀疏性的問題。

關鍵詞：視頻推薦系統；用戶興趣建模；圖神經網絡；深度學習

Abstract： A novel recommendation model with graph neural networks is proposed. Userssequential video-watching behaviors are first constructed as a graph， which represents users and videos as nodes， and behaviors as edges. Then two kinds of embedding propagation methods are introduced for capturing userslong-term and short-term preferences， respectively. Specifically， a user-item bi-directional embedding propagation layer is used for capturing long-term preferences while an item-item embedding propagation layer for capturing short-term preferences. Moreover， the multi-layer propagation is proposed to extract high-order connectivity. Experiments on a real-world video-watching dataset verify that the proposed method can outperform the state-of-the-art methods. Further experiments demonstrate that the proposed method can effectively alleviate the data sparsity issue.

Keywords： video recommender system； user preference modeling； graph neural network； deep learning

在信息超載時代，個性化推薦系統[1-2]成為用戶獲取信息的主要方式。推薦系統通過收集用戶的歷史行為來推斷用戶興趣，進而生成推薦列表。與常見的電商網站推薦系統[3]不同，視頻網站上的用戶行為具有兩個重要特性。首先，用戶的視頻觀看行為呈現出高度的序列性。一段時間內瀏覽的視頻表現出極高的相關性，且瀏覽的前后順序十分重要，因此需要對用戶行為進行序列化建模。其次，用戶可能存在短期觀看某一類/系列多個視頻的“短時”興趣，呈現出突發、多樣的特點。因此，我們需要從長期興趣與短時興趣兩方面對用戶的興趣進行細粒度化的建模。

針對序列化行為的推薦問題，現有的方法[4-6]仍然存在兩部分缺陷。首先，僅僅使用權重或者卷積/循環神經網絡對不同歷史行為進行隱式建模的方法，缺乏對序列化行為中視頻切換關系的顯式建模；其次，目前的推薦方法沒有考慮針對用戶長期與短時興趣的細粒度建模。本文中，我們設計了一種基于圖神經網絡的推薦模型，通過兩種向量傳播方式來分別對用戶的長期興趣和短時興趣進行建模。此外，我們還引入了多層向量傳播以捕捉圖上高階鄰接信息。

1問題定義

視頻推薦系統的目標是盡可能地滿足用戶的需求，即為用戶推薦最符合其興趣的視頻。在視頻推薦系統中，相關輸入數據為用戶歷史視頻觀看的行為序列，其中，序列中的前后關系代表用戶觀看視頻的先后順序關系。輸出數據則為可計算給定用戶下一次觀看給定視頻的概率模型。在得到該模型后，我們可對所有候選視頻進行概率計算，并按照概率預估值從大到小排序，得到推薦列表。

2方法設計

這里我們提出一種基于圖卷積網絡的視頻（VGCN）推薦模型，具體如圖1所示。該推薦模型主要由4個流程部分構成：構建包含用戶視頻結點與行為邊的異構圖、構建嵌入層以得到用戶與視頻的表征向量、設計向量以刻畫用戶的長期興趣與短時興趣、引入預測層得到用戶觀看視頻的概率。

2.1異構圖構建

圖是一種具備強大數據表示能力的結構。在視頻推薦系統中，一種直觀并且有效的做法是，把用戶與視頻分別表示為圖中兩種類型的結點，并將用戶的觀看行為建模為圖上的邊。具體而言，我們構建異構圖G=，其中，V表示所有結點的集合，E表示所有邊的集合。同時集合V中有兩類結點：用戶結點u∈U與視頻結點i∈I。集合E中有兩類邊：一類是用戶與視頻的交互邊r∈R，其中rui代表用戶u與視頻i存在交互行為（觀看）；另一類是視頻切換邊r∈T，其中tij代表視頻i到視頻j的切換行為，并且該邊的權重由數據集中所有用戶的切換次數決定。如果該權重為0，即邊不存在，則代表沒有用戶產生從觀看i切換到觀看j的行為。總的來說，我們得到了包含兩類結點與兩類邊的異構圖。

2.2嵌入層

針對圖的表征學習可定義為：通過機器學習的方法，為點、邊或圖學習其在低維空間的表征。該方法可以將高維的圖數據轉換為低維特征向量，實現預測、分類等任務[7]。在通用視頻推薦任務中，由于用戶畫像、視頻屬性等數據較難收集，用戶與視頻一般而言僅有身份標識（ID）特征，即僅有用戶與視頻的原始編號。因此，我們針對ID特征設計適用于獨熱編碼的嵌入層，為用戶與視頻分別建立嵌入矩陣P 與Q 。P 的維度為N乘以D，Q 的維度為M乘以D。其中，N為用戶的數目，M為視頻的數目。D為低維空間的維度，是一個可以調整的超參數，其過大的維度會帶來過擬合問題，而過小的維度則存在欠擬合問題。

獨熱編碼是一種僅有一個位置為1且其余位置為0的高維向量（值為1的位置即為原始編號）。用戶獨熱編碼的長度為N，視頻獨熱編碼的長度為M。在嵌入矩陣完成隨機初始化后，模型的后續部分將從嵌入矩陣得到最終的預測結果。當基于預測損失的隨機梯度下降時，嵌入矩陣即可從初始化的隨機向量逐漸調整至可刻畫用戶與視頻特征的高質量表征向量。

2.3向量傳播層

我們首先建立了上述用戶與視頻的嵌入矩陣。該嵌入矩陣可以被視為第0層用戶/視頻向量。接著，我們設計向量傳播層以利用圖上的高階鄰接關系，以捕捉用戶的長期與短時興趣。圖卷積網絡是一類最典型的圖神經網絡[8]。向量傳播是圖卷積網絡的核心模塊，其核心思想是將向量傳播給圖上的鄰居結點，以實現圖結構鄰接性到向量相似性的轉化，并可通過多層向量傳播實現對高階鄰接關系的建模。借助向量傳播方法，圖卷積網絡在諸多任務上取得了當前最佳性能[8-9]。

在視頻推薦系統中，需要對用戶進行兩方面的興趣建模：長期興趣與短時興趣。其中長期興趣側重于用戶較為固定的、不隨時間變化的興趣，短時興趣則與之相反。具體而言，我們通過用戶結點的表征向量對其長期興趣進行建模，通過用戶上一時刻交互的結點的表征向量對其短期興趣進行建模。這種做法與用戶長期興趣與短時興趣的物理意義相契合。

2.3.1長期興趣向量傳播層

總的來說，前文所述的向量操作實現了長時興趣側從低層向量到高層向量的計算方式。隨著層數的逐漸提升，更高階的鄰接關系將會被提取至表征向量中。但值得一提的是，層數不能過高，這是因為向量傳播可以被理解為一種局部圖的近鄰平滑作用，如果層數過深，則相當于實現了全局平滑，反而會使學習到的表征向量無效。

2.3.2短時興趣向量傳播層

上述長期興趣向量傳播層通過忽略序列關系的歷史行為邊傳播，來刻畫用戶的長期興趣。接著，我們進一步設計用于對用戶的短時興趣進行建模的向量傳播方法。考慮到用戶的短時興趣與視頻觀看的切換行為需要相契合，我們采用基于視頻切換行為的有向邊來設計向量傳播方法。換而言之，向量傳播的路徑就是上一個視頻到下一個視頻的有向邊。由于此處不涉及用戶結點的表征向量，因此，我們可以實現長期興趣與短時興趣的解耦建模。

2.4預測層

2.5訓練方法

在獲得對于任意給定用戶與視頻的觀看概率預估后，我們基于對數損失函數進行優化。由于數據中僅記錄了用戶觀看過的視頻，即正樣本，我們需要從未觀看的視頻中隨機采集一些樣本作為負樣本。對于正樣本而言，模型的預測結果要盡可能接近1；對于負樣本，模型的預測結果要盡可能接近0。損失函數具體計算方式如公式（8）所示：

3實驗驗證

為了驗證提出的VGCN方法的有效性，我們對真實視頻觀看數據集進行了推薦性能的驗證。

3.1實驗設置

3.1.1數據集

我們在一個視頻網站上收集了2020年10月的用戶視頻觀看行為數據。由于完整數據規模過大，我們隨機選取了一部分用戶。經過預處理后的數據，包括了60 813個用戶與292 286個視頻產生的14 952 659條觀看記錄。對于每一個用戶而言，其觀看記錄為一條包含了若干個視頻的序列。

3.1.2性能指標

視頻推薦乃至通用推薦系統最常使用的指標為排序指標，其中最具代表意義的指標為特征曲線下方的面積（AUC）、平均倒數排名值（MRR）與歸一化折損累計增益（NDCG）[10]。AUC可衡量模型對于所有正樣本與負樣本相對關系的區分能力，MRR衡量模型將正樣本排在列表靠前位置的能力，NDCG則衡量模型排序結果與理想排序結果的距離。

3.1.3基線模型

我們選取兩個極具競爭力的模型作為基線模型：卷積序列嵌入推薦模型（CASER）[5]與深度興趣網絡（DIN）[6]。其中，CASER通過卷積網絡建模用戶的行為序列，DIN通過注意力網絡建模用戶行為序列。

3.2推薦性能比較

我們首先對整體的推薦結果進行比較，如表1所示。

由表1可知，與現有模型相比，我們提出的VGCN模型在AUC、MRR、NDCG@1、NDCG@2等指標上，可以有效且穩定地提升推薦性能，且平均相對提升值約為1.7%。對于推薦系統模型而言，該提升值是顯著的。

圖2則展示了不同方法訓練時的模型損失曲線。由圖2可以看出，我們的VGCN方法可以取得更小的訓練損失。

3.3稀疏度影響研究

在推薦系統尤其是視頻推薦系統中，數據稀疏十分重要。具體而言，對于不同稀疏性的用戶，能否均取得較好的效果，是衡量一個推薦模型好壞的重要指標。因此，我們將用戶的歷史交互行為數目分3組進行研究：0～50、50～200、200以上。每組均有足夠的用戶數目，以消除隨機性。對于每組的用戶，為計算其平均推薦精準度，我們選取了AUC與NDCG@2兩個排序指標，具體結果如圖3所示。

由圖3可知，我們提出的VGCN方法在不同稀疏度的用戶組里，均可取得有效且穩定的性能提升。這一結果進一步驗證了VGCN方法的有效性。

3.4超參數影響研究

在模型訓練的過程中，L2正則系數是一項重要的超參數，圖4展示了不同L2正則系數對視頻推薦性能的影響。根據圖4可以看出，不論選擇何種L2正則系數，我們提出的VGCN方法均可以取得最佳推的薦性能。此外，L2正則系數對于模型視頻推薦精準度性能的影響較小，即模型對于該超參數的敏感度較低，這意味著模型不需要花費太多的調參時間與算力。

4結束語

視頻推薦系統是提升用戶視頻觀看體驗的重要技術。本文設計了一種基于圖神經網絡的推薦模型，并通過兩種向量傳播方式對用戶長期興趣與短時興趣建模。基于真實數據集的實驗有效驗證了整體推薦精準度與不同稀疏度用戶推薦精準度的性能提升。同時，超參數影響的實驗進一步驗證了推薦精準度性能提升的穩定性。

致謝

本研究得到清華大學常健新同學的幫助，謹致謝意！

參考文獻

[1]許海玲，吳瀟，李曉東，等.互聯網推薦系統比較研究[J].軟件學報， 2009， 20（2）： 350-362. DOI： 10.3724/SP.J.1001.2009.03388

[2] LU J， WU D S， MAO M S， et al. Recommender system application developments： a survey [J]. Decision support systems， 2015， 74： 12-32. DOI： 10.1016/j.dss.2015.03.008

[3]朱巖，林澤楠.電子商務中的個性化推薦方法評述[J].中國軟科學， 2009（2）： 183-192. DOI： 10.3969/j.issn.1002-9753.2009.02.022

[4] RENDLE S， FREUDENTHALER C， SCHMIDT- THIEME L. Factorizing personalized Markov chains for next-basket recommendation [C]// Proceedings of the 19th International Conference on World Wide Web. North CA， USA： ACMPress，2010.DOI：10.1145/ 1772690.1772773

[5] TANG J X， WANG K. Personalized top-N sequential recommendation via convolutional sequence embedding [C]//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. Los Angeles， CA，USA：ACM，2018.DOI：10.1145/ 3159652.3159656

[6] ZHOU G R， ZHU X Q， SONG C R， et al. Deep interest network for click-through rate prediction [C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. NY， USA： ACM， 2018. DOI： 10.1145/3219819.3219823

[7] GOYAL P， FERRARA E. Graph embedding techniques， applications， and performance： a survey [J]. Knowledge-based systems， 2018， 151：78-94.DOI：10.1016/j.knosys.2018.03.022

[8]徐冰冰，岑科廷，黃俊杰，等.圖卷積神經網絡綜述[J].計算機學報， 2020， 43（5）： 755-780. DOI： 10.11897/SP.J.1016.2020.00755

[9] KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks [C]//Proceedings of International Conference on Learning Representations. Toulon， France： University of Montreal， 2017

[10] MANNING D C， SCHüTZE H， RAGHAVAN P. Introduction to information retrieval [M]. Cambridge：CambridgeUniversityPress， 2008

作者簡介

高宸，清華大學電子工程系在讀博士研究生；主要研究領域為用戶行為建模與挖掘。

李勇，清華大學電子工程系副教授；主要研究領域為網絡科學、城市計算、用戶行為建模與挖掘。

金德鵬，清華大學電子工程系教授；主要研究領域為網絡科學、城市計算、用戶行為建模與挖掘。