知識增強的圖神經網絡序列推薦模型

李盼，解慶，李琳，劉永堅

（1.武漢理工大學 計算機與人工智能學院，武漢 430070；2.武漢理工大學 重慶研究院，重慶 401135）

0 概述

在信息爆炸時代，推薦系統被廣泛應用于各個領域，幫助用戶從海量信息中發現可能感興趣的內容。傳統推薦以靜態的方式對用戶行為進行建模，只能捕獲用戶的靜態偏好。然而在現實世界中，用戶的偏好隨時間動態變化，用戶與項目的交互存在一定的序列關聯。因此，序列推薦將用戶和項目的交互視為一個動態序列，并將序列相關性考慮在內，以捕獲用戶最近的偏好，能夠獲得更準確的推薦［1］。

早期的序列推薦，采用頻繁模式挖掘或者馬爾可夫鏈法。近年來，深度學習在圖像處理、自然語言處理、語音識別等領域取得了突破性進展，已經成為人工智能的一個熱潮，為推薦系統的研究帶來了新的機遇［2］。循環神經網絡（Recurrent Neural Network，RNN）具有序列建模的天然優勢，因此在序列推薦中經常使用RNN的兩種變體，即長短期記憶（Long Short Term Memory，LSTM）網絡和門控循環單元（Gate Recurrent Unit，GRU）。文獻［3］將GRU 應用于基于會話的推薦，該模型將用戶點擊序列依次輸入GRU 模型中，預測下一個點擊的項目。文獻［4］利用數據增強和一種解決輸入數據分布變化的方法，進一步改進了基于RNN 的模型。

在序列推薦中，用戶的短期偏好和長期偏好都非常重要，而現有方法通常忽略了一個事實，即用戶的長期偏好會隨著時間的推移而不斷發展變化，將用戶長期偏好建模為靜態表征，可能無法充分反映動態特征，因此通常將RNN 結合注意力機制來更準確地描述長期序列偏好。文獻［5］提出一種改進的神經編碼器-解碼器體系結構，通過將注意力機制整合到RNN中，同時捕獲用戶在當前會話中的序列行為和主要目的。

基于RNN 的序列推薦模型有兩方面的缺點。一方面，由于過分假設序列中的任何相鄰交互都相關，因此很容易產生假依賴關系，因為現實世界中的序列通常存在不相關或嘈雜的交互。另一方面，RNN 模型只能捕獲點級依賴關系，而忽略集體依賴關系，比如一些項目共同影響下一個動作。文獻［6］提出基于卷積神經網絡（Convolutional Neural Network，CNN）的序列推薦模型Caser，按時間和潛在維度將最近的動作建模為“圖像”，并使用卷積濾波器學習序列模式，采用水平和垂直卷積來捕獲點級、集體序列模式和跳過某些嘈雜項目的序列模式。文獻［7］對Caser 進行改進，提出的模型網絡體系結構由一堆空洞卷積層組成，可以有效地在不依賴池化操作的情況下增加感受場，并使用殘差網絡通過殘差塊包裝卷積層。但由于濾波器尺寸的限制，基于CNN 的序列推薦不能有效捕獲長期依賴關系，這限制了基于卷積神經網絡的序列推薦的研究進展。

推薦算法的一大挑戰是從用戶/項目的交互中學習有效的用戶/項目嵌入表示，由于用戶/項目交互信息本質上具有圖結構，而近年來，圖神經網絡（Graph Neural Network，GNN）在表示學習中的優勢引起了人們的廣泛興趣，因此在推薦系統中利用圖神經網絡的方法正在蓬勃發展。GNN 可以捕獲項目的復雜轉換，而以前的常規序列方法很難揭示這些轉換。文獻［8］提出SR-GNN 模型，為每個會話序列構造有向會話圖，在2 個連續點擊的項目之間存在有向邊，并在序列圖上通過GNN 方法捕獲序列知識。文獻［9］提出GC-SAN 模型，采用與SR-GNN 相同的圖構造和信息傳播策略，并且使用自注意力機制生成會話表示，該會話表示可以捕獲序列中項目之間的更多交互。文獻［10］考慮用戶的重復交互行為，除利用會話序列圖的有向結構信息外，同時利用其無向結構信息，并引入注意力機制，以達到更準確的推薦目的。

基于GNN 的序列推薦雖然在一定程度上提高了推薦的準確性，但該模型僅關注項目的序列相關性，項目序列偏好由交互順序學習得到，并沒有關注項目本身內容，也沒有挖掘項目之間更深層的語義關系。其次，大部分模型在捕獲序列偏好時，僅關注項目信息，忽略了用戶的影響力。將用戶信息整合到序列模型中，有利于進行個性化推薦。

基于上述分析，本文提出一種知識增強的圖神經網絡序列推薦模型KGGNN。將知識圖譜引入到序列推薦模型，通過將知識圖譜和用戶交互數據整合成協同知識圖譜，從中學習得到項目輔助信息和用戶輔助信息。使用圖神經網絡學習得到交互結構的序列相關性，利用項目輔助信息進行內容相關性的補充，并通過用戶輔助信息表示用戶影響力，實現個性化推薦。

1 相關工作

1.1 圖神經網絡

深度神經網絡可以對不同事物（如用戶、項目、交互）之間的綜合關系進行捕獲和序列建模，因此在過去幾年中，深度神經網絡幾乎成為序列推薦領域的主流研究方法。

隨著深度學習的發展，研究人員從循環神經網絡、卷積神經網絡、自動編碼器等得到啟發，設計了能處理圖數據的神經網絡結構，即GNN 網絡。GNN利用節點之間的消息傳遞機制來捕獲圖結構的依賴關系，其核心是如何迭代地聚合來自鄰居節點的特征信息，以及將當前節點表示與其鄰域信息進行集成。

近年來，研究人員提出了許多基于圖神經網絡的推薦系統。將圖神經網絡方法應用于推薦系統主要有以下原因：推薦系統的大部分數據本質上具有圖結構；GNN 網絡在捕獲節點之間的連接和圖形數據表示學習方面非常強大。從圖結構的角度看，如果用戶點擊或購買某些項目，可看作用戶和項目之間存在一種關系，將用戶和項目均視作節點，交互關系視為邊，則用戶和項目的交互可以表示為用戶-項目二部圖。對于序列推薦，同樣將項目視為節點，項目按照時間順序連接，每個項目與其后續一個項目產生一條有向邊，便可將一系列項目轉換為序列圖，序列圖可為項目間的關聯性提供更大的靈活性。

在各種GNN 框架中，圖注意力網絡（Graph Attention Network，GAT）、圖卷積網絡（Graph Convolutional Network，GCN）、門控圖神經網絡（Gated Graph Neural Network，GGNN）等被廣泛采用［11］。其中，GAT 將注意力機制應用于圖結構，在聚合特征信息時，使用注意力機制確定節點鄰域信息的權重；GCN 將卷積運算從圖像領域推廣到圖數據，可以分為兩大類，基于譜的方法和基于空間的方法，這兩種方法常用于靜態推薦。文獻［12］開發了一種圖卷積網絡算法PinSage，該算法結合了高效的隨機游動和圖卷積，以生成結合圖結構和節點特征信息的節點嵌入，可擴展到具有大規模的推薦任務。文獻［13］對圖卷積網絡進行了簡化，僅包含GCN 中最重要的組件，即鄰域聚合，用于協同過濾，使其更適合推薦。GGNN 將循環神經網絡推廣到圖結構，使用鄰接矩陣存儲圖節點之間的連接信息，利用GRU 機制確定來自鄰居的哪些信息需要傳播以及哪些節點信息需要維護，主要用于序列推薦領域。除SR-GNN 模型與GC-SAN 模型采用GGNN外，文獻［14］也利用GGNN 提出目標注意力圖神經網絡（Target Attentive Graph Neural Network，TAGNN）模型，TAGNN 針對不同目標項目的目標感知注意力可以激活不同的用戶興趣。

在序列推薦中使用圖神經網絡，需要解決以下主要問題：

1）圖的構造，需要將序列數據轉換為序列圖；2）信息傳播，需要設計一種有效的傳播機制來捕獲轉換模式；

3）序列偏好學習，需要對序列表示進行集成。

大部分基于圖神經網絡的序列模型都集中于從序列本身推斷用戶偏好，建模時僅關注項目彼此間的交互順序，忽略項目內容含義以及項目間更深層的語義相關性，即僅關注結構相關性，而忽略內容相關性。其次，以往大部分模型僅利用項目序列建模，將項目序列學習得到的序列偏好隱式作為用戶表征，缺乏對用戶信息的有效利用。

1.2 知識圖譜與推薦系統

知識圖譜（Knowledge Graph，KG）是一個有向圖，它的每一個節點代表一個實體，節點與節點之間的邊表示實體之間的關系。KG 可以視為三元組（h，r，t）的集合，其含義是頭實體h和尾實體t間存在關系r，其中h∈E，r∈R，t∈E，E和R分別是實體和關系的集合。

知識圖譜富含豐富的信息，可為推薦系統提供潛在的輔助信息，因此，將知識圖譜引入到推薦系統獲得越來越多的關注。通過知識圖譜表示學習，不僅可以快速計算兩個實體間的語義相似性［15］，發現項目之間的深層聯系，而且有助于理解用戶的興趣，提供可解釋性。

將KG 集成到推薦中大致可以分為兩類：基于嵌入的方法和基于路徑的方法［16］?；谇度氲姆椒ú捎弥R圖譜嵌入（Knowledge Graph Embedding，KGE）技術，如TransE 和TransR等，在保持原始圖結構或語義信息的同時，為每個實體和關系學習得到一個低維向量?；诼窂降姆椒ǎ肓朔Q為元路徑的連接模式，元路徑被定義為實體類型的序列，利用用戶和項目的連接相似性來增強推薦。

知識圖譜本身是一種自然的圖結構，因此圖神經網絡的一些技術也能應用到知識圖譜上，比如GCN、GAT等。文獻［17］提出用于推薦系統的知識圖譜卷積網絡KGCN，利用用戶特定的關系感知圖神經網絡以匯總鄰域中的實體信息，它均勻采樣每個實體固定大小的鄰居，并作為其接收域，鄰居根據連接關系和特定用戶的分數進行加權。文獻［18］將用戶節點視為知識圖譜中的一種實體，并將用戶與項目之間的交互視為一種關系，與知識圖譜集成為一個圖，采用GAT 機制充分利用實體之間的關系，通過遞歸傳播其鄰居的嵌入來學習每個節點的嵌入，用戶偏好的表示也通過交互項目進行迭代更新。

知識圖譜也能夠應用于序列推薦領域。文獻［19］提出一種基于知識圖譜的新的項目嵌入方法，獲得項目的新表示，并設計2 個LSTM 網絡分別學習用戶的長短期偏好。文獻［20］將交互記錄轉換為知識轉移交互序列，基于特定的關系注意力網絡進一步遞歸地聚合知識圖中的信息，并引入知識感知的GRU，自動探索項目之間的序列和語義相關性。文獻［21］在知識圖譜注意力網絡的基礎上，通過KGAT 學習得到包含豐富輔助語義信息的項目嵌入，并將其按序列順序輸入RNN網絡中，以捕獲動態的用戶序列偏好。

2 本文模型框架

2.1 公式化描述

在介紹本文模型之前，首先詳細介紹涉及的一些基本概念和符號。

令U={u1，u2，…，u|U|} 表示一組用戶 ，I={i1，i2，…，i|I|}表示一組項目，其中|U|和|I|分別表示用戶數和項目數。將交互數據構建為用戶-項目二部圖G1={(u，pu，i，i)|u∈U，i∈I}，p表示交互關系，如果用戶u和項目i進行了交互，則pu，i=1，否則pu，i=0。

將KG 的三元組集合記為G2={(h，r，t)|h，t∈E，r∈R}，其中E是實體ε的集合，R是關系r的集合，每個三元組表示頭實體h與尾實體t 之間存在關系r。

基于項目實體對齊集，將用戶-項目二部圖G1和知識圖譜G2合成一個統一的協同知識圖譜（Collaborative Knowledge Graph，CKG）：G={(h，r，t)|h，t∈E′，r∈R′}，其中E′=E∪U，R′=R∪{p}。

對于一個用戶u，按時間戳排列交互項目，將交互序列Su=[i1，i2，…，i|Su|]作為輸入，預測用戶交互的下一個項目i|Su|+1。

2.2 總體框架

本文模型KGGNN 的框架如圖1 所示，將用戶的交互數據與知識圖譜集成為一個統一的協同知識圖譜，通過圖注意力網絡學習得到用戶和項目的向量表示，以利用知識圖譜不同實體之間的深層語義相關性和高階依賴性。對于每個用戶，基于其交互序列，構建序列有向圖，在兩個連續點擊的項目之間存在有向邊，然后通過門控圖神經網絡獲得序列中節點的向量表示，并利用從協同知識圖譜中獲得的用戶輔助信息進行補充。通過注意力機制組合節點向量，將其作為全局序列偏好，然后融合本序列的當前興趣表示以及用戶向量表示，形成統一序列偏好表示。最后，利用項目輔助信息，令模型預測每個項目成為下一個點擊項目的概率。

圖1 本文模型的總體框架Fig.1 Overall framework of model in this paper

2.3 協同知識圖譜傳播

通過在協同知識圖譜上挖掘節點之間的關聯屬性來捕獲節點之間的相關性。具體包括以下步驟：

1）在嵌入層上將節點參數化為向量表示；

2）信息傳播，即在圖結構上進行高階傳播；

3）輔助信息生成，即生成用戶信息和項目信息表示。

2.3.1 嵌入層

選用TransR 方法學習實體和關系的嵌入。不同于TransE、TransH 將實體和關系映射到同一個語義空間，TransR 在不同的實體空間和關系空間內構建實體和關系嵌入［22］。

存在三元組（h，r，t），將頭實體h和尾實體t分別映射到關系空間，得到hr與tr，在兩個投影間構建轉移關系，要求滿足條件hr+r≈tr。eh，et∈Rd，er∈Rm，分別表示h，t，r的嵌入向量。因此，對于給定的一個三元組（h，r，t），表達式如式（1）所示：

其中：Wr∈Rm×d是d維實體空間到m維關系空間的映射矩陣。如果（h，r，t）是真實三元組的可能性越大，f（h，r，t）分數就越低，反之越高。

使用損失函數估量模型的預測值與真實值的不一致程度，其定義如式（2）所示：

其中：τ={(h，r，t，t′)|(h，r，t)∈G，(h，r，t′)?G}；σ(·) 是Sigmoid函數。

2.3.2 信息傳播

信息傳播機制決定了如何聚合鄰居節點信息來更新當前節點，遞歸進行此步驟，可以捕獲圖結構的高階連通性。采用圖注意力網絡捕獲用戶與項目關系和項目與項目關系。圖注意力網絡在基于空間域的圖神經網絡中引入注意力機制，每個節點僅需關心與之相連的鄰居節點，無需關心整張圖，鄰居節點的信息權重由注意力機制決定。

對于一個實體h，其相連的三元組集合可定義為Nh={(h，r，t)|(h，r，t)∈G}，Nh可表示為式（3）所示：

其中：π(h，r，t)表示鄰居節點t在邊（h，r，t）上傳播的衰減因子，表示從實體t到實體h由關系r傳播的信息量。通過關系注意力機制實現π(h，r，t)，如式（4）和式（5）所示：

其中；tanh 是激活函數。式（5）是對實體h與其每個相鄰實體之間相關得分的歸一化，用來表征鄰居的重要性。

對實體表示eh和其鄰域表示eNh進行合并，作為下一層實體h的新表示：

其中：LeakyRelu 是激活函 數；W1，W2∈Rd(1)×d是可訓練的權重矩陣；⊙表示元素對應相乘。

以上是進行一次傳播時實體的一階表示。進行多次傳播探索高階連接信息，收集從高跳鄰居傳播的信息。第l次傳播后，實體h的l階表示定義如下：

2.3.3 輔助信息生成

在經過l次傳播操作后，獲得節點的多階表示，對于用戶節點有，對于項目節點有。

對于每個節點，采用聚合機制將多階表示連接為一個向量，如式（9）所示：

其中：||是級聯運算；∈Rd′，d′=d(0)+d(1)+...+d(l)。使用一個全連接層，其表達式如式（10）所示：

其中：Ws∈Rd′×ds；bs∈Rds，ds是序列建模時的維度。

通過多次嵌入傳播，將用戶-項目關系以及項目-項目關系注入到表示學習過程中，獲得一個新的實體嵌入集，從而獲得用戶和項目的新表示，即用戶輔助信息向量和項目輔助信息向量。

2.4 序列建模

門控圖神經網絡是基于門控循環神經網絡的空間域信息傳播模型，天然適合挖掘單元之間的復雜過渡。采用類似GRU 的更新，合并來自其他相鄰節點以及前一個時間步的自身節點信息，以更新當前時間步節點的向量表示。

對于每條交互序列，將其轉換為有向圖，在兩個連續點擊的項目之間存在有向邊。假設存在如圖2（a）所示的序列i1→i2→i3→i2→i4，則可以表示為圖2（b）的序列圖。該圖的連接信息可存儲為由出度鄰接矩陣Aout和入度鄰接矩陣Ain組成的鄰接矩陣A，如圖2（c）所示。由于序列中可能出現多個重復點擊的項目，因此需要給每條邊的權值進行權重分配。

圖2 有向圖及鄰接矩陣Fig.2 Directed graph and adjacency matrix

vk表示通過門控圖神經網絡學習到的關于項目ik的隱含向量。在門控圖神經網絡［23-24］的節點更新基礎上進行改進，利用從協同知識圖譜獲得其對應的用戶輔助信息向量，從而加入個性化信息。對于序列圖中的節點ik，節點向量的更新表達式如式（11）～式（17）所示：

2.5 序列向量表示生成及模型預測

對于節點序列[i1，i2，…，in]，用最后訪問的項目表示當前興趣，即sl=vn。

用戶的長期偏好由注意力網絡計算圖中每個節點向量的權重得到，如式（18）和式（19）所示：

其中：參數q∈Rds；W3，W4∈Rds×ds。

通過當前興趣和長期興趣向量的級聯，并加入用戶信息向量，得到最終序列偏好表示，如式（20）所示：

其中：W5∈Rds×3ds，將向量映射為ds維向量。

計算每個候選項目ik的推薦評分，評分函數定義為式（21）所示：

其中：是通過協同知識圖譜傳播得到項目ik的輔助信息向量。

使用Softmax 函數獲得輸出向量，如式（22）所示：

對于任何用戶行為，損失函數定義為預測值與真實值的交叉熵，如式（23）所示：

其中：yk是序列中下一個點擊項目真實值的one-hot向量。

模型總體的損失函數定義如式（24）所示：

其中：等式右邊最后一項是L2 正則化，作用是防止過擬合；θ是所有可訓練參數的集合。

3 實驗結果與分析

3.1 數據集

為驗證模型有效性，在Amazon-Book、Last-FM和Yelp2018 數據集上進行了大量對比實驗。Amazon-Book 是推薦算法中常用的一個圖書數據集。Last-FM 是在線音樂系統收集的音樂收聽數據集，選取從2015 年1 月—2015 年6 月的子集進行實驗。Yelp2018 是 Yelp 挑戰賽的2018 年版本，將諸如餐館、酒吧等企業視為交互的項目。為確保數據集的質量，每個數據集只保留至少具有10 個交互行為的用戶和項目。

除用戶-項目交互數據外，還需為每個數據集構建關于項目的知識圖譜。本文使用的KG 由文獻［18］在GitHub 上發布。對于Amazon-Book 和Last-FM，如果映射可用，則通過標題匹配將項目映射到Freebase 實體中。與僅考慮項目單跳鄰居實體的知識圖譜數據集不同，本文數據集還考慮了涉及項目兩跳鄰居實體的三元組。對于Yelp2018 數據集，從本地業務信息網絡中提取商品相關內容（例如類別、位置和屬性）作為知識圖譜數據。為了保證KG 質量，對KG 進行預處理，過濾不常見的實體（即數據集中出現次數少于10 次的實體），并保留至少出現在50 個三元組中的關系。

數據集和知識圖譜的統計數據如表1 所示。對于每個數據集，將處理后的數據集的80%視為訓練集，將剩余的視為測試集。從訓練集中隨機選擇10%的交互數據作為驗證集來調整超參數。

表1 數據集信息 Table 1 Information of datasets

3.2 實驗設置

3.2.1 評估指標

評估指標采用HIT@K和NDCG@K。HIT@K表示真實值位于前K個項目中的概率，對于每個用戶序列，只預測下一個點擊的項目時，HIT@K就相當于Recall@K。NDCG@K是歸一化折損累計增益，是一個與位置相關的指標，度量了推薦項目的排名高低，值越大表示項目位于推薦列表的頂部，表明相應推薦系統的性能更好。

將K值分別設為1、5、10，查看模型效果。在K=1的情況下，HIT@1 與NDCG@1 值相等。

3.2.2 基線模型

選擇以下模型與本文模型KGGNN 進行對比。

1）GRU4Rec［2］：使用基于RNN 的模型在會話推薦中建模用戶交互序列，并利用會話并行小批量訓練和基于排名的損失函數進行改進。

2）NARM［5］：將注意力機制整合到RNN中，能夠同時捕獲用戶在當前會話中的順序行為和主要目的。

3）SASRec［25］：基于自注意力機制，在每個時間步中，模型從用戶的歷史交互記錄中找出相關項目，并自適應地將權重分配給先前項目，使用它們預測下一個項目。

4）SR-GNN［8］：利用門控圖神經網絡捕獲會話推薦中項目的復雜過渡關系。

5）KGSR［21］：通過知識圖譜學習得到包含豐富輔助語義信息的項目嵌入，并使用RNN 捕獲動態的用戶序列偏好。

對于長度為n的交互序列，從最后一個項目開始，依次將其作為預測結果，先前項目作為輸入序列，最后得到n-1 個訓練樣本［8］。由于在評估過程中對所有項目進行排序太耗時，因此遵循通用策略［25-26］，對于每個輸入序列，隨機選取100 個不在交互序列的項目，與預測結果的真實值構成101 個項目集合，并計算得分，查看真實值在這101 個項目的排名情況。

3.2.3 參數設置

網絡模型由2 個部分組成。第1 部分是從協同知識圖譜中學習用戶和項目的潛在向量表示，將圖注意力網絡的深度設置為3，其隱藏維度大小分別設置 為64、32、16，應用dropout技術，丟包率設置為0.1。第2 部分是序列偏好的學習，采用門控圖神經網絡，隱藏維度大小設置為100。采用Xavier 初始值初始化模型參數，采用Adam 優化器對參數進行優化。初始學習率為0.001，每3 個epoch 后衰減為原來的0.1倍，L2 正則化系數設置為1×10-5。

3.3 結果對比

將模型與基線模型進行對比，當序列最大長度為20時，HIT@K和NDCG@K的結果如表2 所示，表中加粗數字表示該組數據最大值。

表2 不同模型的實驗結果對比 Table 2 Comparison of experimental results of different models

由表2 可以看出：

1）GRU4Rec 模型采用RNN 進行序列建模，而NARM 模型在RNN 的基礎上融合了注意力機制，指標值有一定提升。SASRec 模型的指標值說明通過自注意力機制自適應地給項目分配權重也能提升模型性能。SR-GNN 的指標優于GRU4Rec 等模型，說明利用圖神經網絡可以更容易捕獲項目之間的復雜轉換。

2）KGSR、KGGNN 是在序列建模的過程中融合了知識信息，相對于GRU4Rec、NARM、SASRec、SR-GNN 模型僅使用諸如循環神經網絡、注意力機制或圖神經網絡，融合知識信息的模型表現較優，說明了引入知識圖譜的有效性。通過知識圖譜，可以更好地挖掘項目之間的深層相關性，捕獲更細粒度的用戶偏好。

3）與KGSR 模型相比，KGGNN 模型的表現較優。當評估指標K值為10時，KGGNN 模型的HIT@10 指標在3 個數據集上分別提升12.9%、4.5%、6.9%，NDCG@10 指標在3 個數據集上分別提升29.4%、5.7%、16.7%。KGSR 模型通過知識圖譜獲得項目輔助信息，改進基于循環神經網絡的序列模型，KGGNN 模型不僅使用項目輔助信息進行增強，同時在圖神經網絡序列建模的過程中融合用戶輔助信息，使效果也得到了有效提高，這側面反映了融合用戶向量的必要性。除用戶向量的因素外，KGSR 在使用RNN 進行序列建模時，采用直接將項目輔助信息充當RNN 網絡模型的輸入向量的方式，在一定程度上將內容相關性與序列相關性進行了糅雜，可能導致提升效果不明顯。

4）在本文3 個數據集上，當K=1、5、10時，KGGNN模型的評估指標均獲得了較好的表現結果，這說明了本文模型的有效性。當K值較小時，模型提升性能最大，側面說明在給出推薦結果時，推薦列表越短，本文模型命中正確目標項目的概率越優于其余基線模型。通過將交互序列建模成有向的圖結構，能有效捕獲項目的復雜轉換，得到序列相關性，這是結構上的相關性。引入知識圖譜，挖掘項目之間的深層聯系，這是內容上的相關性。結合這兩方面并融合用戶輔助信息，能有效提高序列推薦的準確度。

5）通過對比不同模型在Amazon-Book、Last-FM、Yelp2018 這3 個數據集上的結果可以發現，與KGSR 模型相比，KGGNN 模型的指標HIT@K與NDCG@K在Amazon-Book 數據集上提升的幅度大于其他2 個數據集，而在Last-FM 數據集上提升的幅度最小，這是數據集本身的原因。Amazon-Book 是圖書數據集，Yelp2018 是商戶點評類數據集，Last-FM 是音樂數據集，在表1 的數據集統計數據中，Amazon-Book 數據集的交互數量以及平均序列均遠小于其余2 個數據集，其序列性較差。對于Last-FM等序列性較強的數據集，通過序列模型已經能有效得到項目之間的序列相關性，此時引入知識圖譜得到輔助信息，提升模型效果有限。而對于Amazon-Book 等本身序列性較差的數據集，引入知識圖譜后，可以通過知識圖譜實體之間的關系探索項目之間的潛在表達性，擴展推薦結果的靈活性，增強序列推薦的評估指標。所以，本文模型對序列性不強的領域，提升效果更加明顯。

3.4 模型分析與討論

3.4.1 項目向量融合方法

為更大程度地融合從協同知識圖譜中學習得到的帶有輔助信息的項目向量，提出以下3 種項目向量融合方法：

1）KGGNN-i1。將輔助項目向量直接作為圖神經網絡的初始向量vk，即在式（11）和式（12）中用向量替代vk。

2）KGGNN-i2。在每次節點更新時，即在式（11）和式（12）中，融合鄰接節點對應的輔助項目向量。

3）KGGNN-i3。計算得分時使用知識圖譜中得到的輔助信息，即式（21）。

不同項目向量融合方法在數據集上的表現如圖3 所示。從圖3 可以看出第3 種方法KGGNN-i3的效果最好。前兩種方法在序列建模的過程中融入內容相關性，在某種程度上可能會干擾結構相關性的學習，所以兩種方法幾乎表現一致。第3 種方法在計算得分的時候利用內容相關性，此時結構上的序列偏好已經學習完成，因此呈現了比前兩種方法提升明顯的效果。所以本文模型采用第3 種方法，即計算評分時，用輔助項目向量作為節點表示，與序列偏好表示做內積。

圖3 不同項目向量融合方法在不同數據集上的表現Fig.3 Performance of different item vector fusion methods under different datasets

3.4.2 用戶信息對序列建模的影響

為驗證用戶信息對序列建模的作用以及用戶信息融合方法的有效性，將模型與以下4 種變體模型比較：

1）KGGNN-u0，不使用用戶信息。

2）KGGNN-u1，在每次節點更新時（即式（11）和式（12））融合用戶項目向量。

3）KGGNN-u2，形成序列偏好時，除考慮當前興趣和長期興趣向量外，還融合用戶信息，即式（20）。

4）KGGNN-u3，綜合第2 種和第3 種模型。

用戶信息實質上是從協同知識圖譜傳播得到的用戶向量，通過圖結構u-i-u的連接，涵蓋了某種程度的基于用戶的協同過濾，因此用戶向量攜帶的是有效信息。其次，不同的用戶具有不同的行為模式，擁有不同的行為序列以及不同的項目轉換信息，考慮用戶因素，體現了序列推薦的個性化。

不同模型在數據集上的結果對比如圖4 所示。從圖4 中可以看出，KGGNN-u0 模型的效果最差，說明用戶信息的缺少會影響模型性能。KGGNN-u1 模型是在節點更新時使用用戶信息進行指導，KGGNN-u2 模型是在形成用戶偏好時融合用戶信息，這兩種方式均不同程度地提高了模型性能。

圖4 不同模型在不同數據集上的結果對比Fig.4 Comparison of results of different models under different datasets

綜合兩種模型的KGGNN-u3 在Amazon-Book、Yelp2018 數據集上的效果與KGGNN-u2 模型幾乎無區別，在序列性較強的Last-FM 數據集上，其效果略微有所提升。為充分利用用戶信息，本文模型采用KGGNN-u3，從而在序列性較強或較弱的數據集上均達到較佳性能。

3.4.3 門控圖神經網絡層數對模型性能的影響

GGNN的層數也會對模型性能產生影響。將GGNN層數分別設置為1、2、3，在Amazon-Book數據集上進行實驗，結果如圖5 所示，其中HIT@1=NDCG@1?？梢钥吹?，隨著GGNN層數的增加，模型性能幾乎沒有提升，說明1 層GGNN 已能夠有效捕獲序列相關性。

圖5 門控圖神經網絡層數對模型性能的影響Fig.5 Influence of gated graph neural network layers on model performance

3.4.4 不同序列長度對推薦結果的影響

序列長度也會影響推薦結果，序列長度越短，能體現的信息較少，導致推薦準確性下降。序列長度越長，能提取的有效信息越多，但時間間隔久的某些項目，可能已經對序列沒有影響性。例如用戶從此不再喜愛這項物品，或者這件物品不是消耗性物品，在很長一段時間內不再需要。分別在序列性較弱的Amazon-Book 數據集和序列性較強的Last-FM 數據集上進行實驗。由表1 可知，Amazon-Book 和Last-FM 數據集的平均序列長度分別為9.23 與54.70。因此，在Amazon-Book 數據集上，限制輸入序列長度為4、6、8、10、12 分別進行實驗，結果如圖6 所示，其中HIT@1=NDCG@1。對于Last-FM 數據集，限制輸入序列長度為10、20、30、40、50 分別進行實驗，結果如圖7 所示。

圖6 Amazon-Book 數據集上序列長度對推薦結果的影響Fig.6 Impact of sequence length on recommendation result under Amazon-Book dataset

圖7 Last-FM 數據集上序列長度對推薦結果的影響Fig.7 Impact of sequence length on recommendation result under Last-FM dataset

由圖6 和圖7 可以發現，在Amazon-Book 數據集上，當限制輸入序列長度為6時，效果相對較好。在Last-FM 數據集上，當限制輸入序列長度為40時，效果相對較好。兩個數據集上的實驗結果都呈現了一樣的規律：隨著輸入序列長度的增加，效果逐漸上升。這說明適當增加輸入序列長度可以有效提升效果，但當序列長度到達一定后，增加序列長度也不會帶來加成，這是因為太久遠的歷史記錄對于用戶當前進行的選擇將不會產生影響，反而可能給模型帶來干擾。針對不同序列性強弱的數據集，選擇合適的輸入序列長度，能夠有效提高模型性能。

4 結束語

本文提出一種知識增強的圖神經網絡序列推薦模型KGGNN。協同知識圖譜中通過知識傳播學習得到攜帶深層語義信息的項目向量和有關用戶向量，并將其融入到門控圖神經網絡中進行序列偏好學習，以彌補項目信息的不足，捕捉項目信息之間更復雜的轉換關系。實驗結果表明，本文模型KGGNN 具有一定的合理性和有效性。下一步將考慮交互項目之間的時間間隔，研究時間因素對當前推薦性能的影響，以更準確地對用戶最近偏好進行建模。