基于知識圖譜信息協同傳播的推薦模型

張海龍 顏金堯

摘 ?要：針對當前基于知識圖譜的推薦模型沒有充分挖掘知識圖譜語義結構信息的問題，提出一種融合知識圖譜表示學習方法和信息協同傳播機制的推薦模型KCOD。KCOD基于經典的知識圖譜表示學習模型DistMult與TransR建模并推理實體三元組的語義關系，然后通過交叉計算每一階歷史交互實體向量推理結果與候選物品實體向量推理結果的相似度，進行模型訓練及偏好預測。實驗結果顯示KCOD的性能優于經典對比模型。

關鍵詞：個性化推薦；知識圖譜；表示學習；協同傳播

中圖分類號：TP391.3 ? 文獻標識碼：A ? 文章編號：2096-4706（2023）16-0094-06

Recommendation Model Based on Knowledge Graph Information

Collaborative Diffusion

ZHANG Hailong1， YAN Jinyao2

（1.The 15th Research Institute of CETC， Beijing ?100083， China; 2.Communication University of China， Beijing ?100024， China）

Abstract： Aiming at the problem that the current recommendation model based on knowledge graph does not fully mine the semantic structure information of knowledge graph， a recommendation model， KCOD， which combines the representation learning method of knowledge graph and the information collaborative diffusion mechanism， is proposed. KCOD models and infers the semantic relationship of entity triples based on the classical knowledge graph representation learning model DistMult and TransR. Then it performs model training and preference prediction by cross-calculating the similarity between the inference results of historical interaction entity vector and the inference results of candidate item entity vector at each hop. The experimental results show that the performance of KCOD is better than the classical comparison model.

Keywords： personalized recommendation; knowledge graph; representation learning; collaborative diffusion

0 ?引 ?言

近年來，隨著互聯網的快速發展，人類社會開始面臨嚴重的“信息過載”問題。推薦系統是互聯網平臺緩解這一問題、改善用戶體驗的關鍵技術。經典的推薦模型包括協同過濾和矩陣分解模型。這些模型的核心思想是通過用戶與物品的歷史交互數據（比如點擊、觀看、評論、轉發等）進行相似度計算，并根據相似度進行相似用戶或者物品的推薦。但用戶的歷史交互數據非常稀疏，基于交互數據進行推薦使得推薦結果的可解釋性較差，且不可避免地存在冷啟動問題[1]。為了解決上述問題，提高推薦效果，研究人員開始在推薦系統中引入輔助信息。常用的輔助信息包括用戶物品屬性信息，比如用戶畫像信息；內容信息，比如文本信息、圖像信息；上下文信息，比如時間、地點；社交網絡信息，比如用戶的好友關系等。隨著深度神經網絡（Deep Neural Networks， DNN）的廣泛應用，為了有效融合多源的輔助信息，研究人員開始基于DNN架構設計個性化推薦系統[2]。DNN模型能夠自動從多源輔助信息中挖掘高階個性化興趣特征，從而改善傳統推薦模型的各種問題。尤其是圖神經網絡（Graph Neural Networks， GNN）[3]技術的研究取得進展后，利用非歐幾里得空間的圖數據作為輔助信息進行推薦受到研究人員的重點關注。

知識圖譜（Knowledge Graph， KG）是一種由實體（Entity）節點和邊組成的異構網絡圖，具有豐富的語義結構信息。知識圖譜由三元組（h，r，t）集合組成。其中h表示頭實體，t表示尾實體，r表示h和t之間的關系。如果將推薦系統中的用戶或者物品映射到知識圖譜中的相關實體，那么知識圖譜可以提供豐富的先驗知識信息。

利用知識圖譜進行個性化推薦的方法主要分為三類：基于嵌入的方法、基于路徑的方法、一體化方法[4]?；谇度氲姆椒ǎ仁褂媒浀涞闹R圖譜嵌入表示模型，比如Trans系列模型，學習每個實體與關系的低維表示向量，然后基于表示向量計算相似度從而進行推薦。典型模型有CKE[5]、MKR[6]等。此類模型直接利用三元組信息進行表示向量學習，非常適用于知識圖譜內部進行知識推理與補全；但由于在訓練時沒有考慮路徑上的鄰居節點信息，因而將其應用于推薦系統時存在局限性?；诼窂降姆椒ㄍㄟ^在知識圖譜中提取用戶-物品二元組之間的元路徑或元圖類隱特征，從而完成相似度的計算。由于其利用了知識圖譜的語義結構信息，能夠挖掘用戶的個性化興趣，具有較好的可解釋性。典型模型有HeteRec[7]等。但是此類方法非常依賴于人工設計的元路徑或元圖，在現實場景中難以應用。最近的研究工作開始借助深度神經網絡模型自動提取元路徑，一定程度上改善了基于路徑方法的可用性與準確性。一體化方法則充分結合了以上兩類模型的優勢，即使用嵌入方法學習實體與關系的表示向量，又利用路徑信息即連接關系進行鄰居實體表示向量的特征融合。用戶或者物品的特征信息在知識圖譜中向鄰居實體進行多階傳播后，即可學習到用戶更廣泛的個性化興趣特征。典型的一體化推薦方法有RippleNet[8]、KGAT[9]、KGCN[10]等。一體化方法充分利用了知識圖譜數據的結構關系與語義信息，在學習到個性化興趣特征的同時還具有非常好的可解釋性。特別是知識圖譜數據屬于典型的非歐幾里得空間數據，近些年來提出的圖卷積網絡、圖注意力網絡等模型使得在深度神經網絡架構下處理這類數據成為可能。一體化方法因而成為研究人員重點關注的方向。但由于知識計算與信息傳播方法的多樣性，尤其考慮到知識圖譜中的實體具有嚴格的連接推理關系，現有模型并未充分利用以上特性從知識圖譜結構及語義上挖掘用戶興趣特征，因此融合知識圖譜的個性化推薦模型有待進一步研究完善。

綜合上述分析，本文提出知識協同傳播推薦模型KCOD（Knowledge COllaborative Diffusion Recommendation Model）。首先KCOD將知識圖譜表示學習方法融入特征學習過程，基于DistMult[11]和TransR[12]模型對知識圖譜中實體三元組（h，r，t）的語義關系進行建模，并通過矩陣運算進行表示向量推理。然后KCOD將用戶歷史交互實體向量和候選物品實體向量在知識圖譜中同時擴散傳播，并通過交替計算向量推理結果的相似度來學習語義結構信息。

1 ?基于知識圖譜信息協同傳播的推薦

1.1 ?感受野集合

知識圖譜中實體的感受野集合是指由實體節點與鄰居實體節點組成的三元組集合。例如某實體a的多階感受野集合示意圖如圖1所示。則圖中實體a的0階感受野Na（0）等于a本身，實體a的1階感受野為 ；實體a的2階感受野為 ，其中

通常，在構建感受野集合時，需要將每一個實體的一階鄰居數量設置為固定值n。如果實體的鄰居數量大于n，則進行隨機采樣；如果實體的鄰居數量小于n，則進行重復采樣。

1.2 ?知識協同傳播推薦模型

KCOD的結構圖如圖2所示。KCOD模型首先構建兩個實體感受野集合，一個是用戶u的歷史交互實體感受野集合Nu，另一個是候選物品v的實體感受野集合Nv。然后，KCOD在兩個感受野集合中同時傳播特征信息。在向每一階鄰居實體擴散信息時，KCOD假設由Nu（i）中的（hu，ru，tu）推理出的Muhu與Nv（i）中（hv，rv，tv）的tv具有較高的相似度，同樣由Nv（i）中（hv，rv，tv）推理出的Mvhv與Nu（i）中（hu，ru，tu）的tu具有較高的相似度。KCOD模型最終輸出由sigmoid函數基于這兩個相似度數值之和計算的交互概率。

1.2.1 ?特征協同傳播層

KCOD模型基于DistMult模型和TransR模型建模知識圖譜中實體三元組（h，r，t）的語義關系：

tr = Mr Rr h ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

其中tr = Rr t，Mr和Rr分別表示關系r對應的轉換矩陣和投影矩陣。

然后，如圖2所示，KCOD在用戶u的歷史交互實體感受野集合Nu和候選物品實體v的感受野集合Nv中同時進行信息擴散傳播。在用戶的第i階感受野Nu（i）中進行信息擴散時，KCOD首先對Nu（i）中的所有三元組（h，r，t）計算出以下結果：

（2）

（3）

其中l2_normalize（）表示對計算出的特征表示向量進行L2正則化，hw表示將基于知識圖譜表示學習算法推理出的尾實體向量之和進行正則化的結果。

同樣，在候選物品的感受野集合Nv中進行信息擴散時，KCOD首先對Nv（i）中的所有三元組（hv，rv，tv）計算出以下結果：

（4）

（5）

接著，KCOD分別計算出用戶歷史交互實體感受野集合Nu（i）對應的hw和t s以及候選物品實體感受野集合Nv（i）對應的 ?和 ?后，再通過下式交叉計算這四組特征表示向量的相似度：

（6）

（7）

最后，KCOD將（6）式和（7）式的結果求和后作為第i階感受野的相似度綜合得分：

si = su， v + sv， u ? ? ? ? ? ? ? ? ? ? ? ? ?（8）

1.2.2 ?預測層

KCOD模型通過迭代執行式（2）～（8）計算出全部K階感受野的相似度得分 ，然后加和全部K階感受野的相似度綜合得分：

ssum = s1 + s2 + … + sK ? ? ? ? ? ? ? ? ? ?（9）

最后，KCOD模型通過sigmoid函數輸出預測的用戶與候選物品的交互概率：

（10）

1.2.3 ?模型訓練

KCOD模型的優化目標定義為給定知識圖譜G以及用戶-物品交互矩陣Y，優化如下的后驗概率：

max p（θ | G， Y ） ? ? ? ? ? ? ? ? ? ?（11）

基于貝葉斯定理，即為最大化式（12）：

（12）

取負對數，得到KCOD需要最小化的損失函數如下：

（13）

式中第一項表示基于交互矩陣與預測概率計算的交叉熵損失，其yu，v表示交互矩陣中樣本的實際標簽值，σ （ssum）表示模型基于用戶相似度得分的總和預測的交互概率；第二項表示基于知識圖譜表示學習模型與實體連接關系計算的均方誤差；第三項表示模型待學習參數的正則化項。

2 ?實驗與分析

本節對KCOD模型的性能進行實驗分析，使用的數據集是MovieLens-1M和MovieLens-20M。

2.1 ?數據集

MovieLens-1M數據集是取自MovieLens電影評分推薦網站的經典電影評分數據集，它包含了約

6 000名用戶對約4 000部電影的近100萬條評分記錄，分值從1到5。相比MovieLens-1M，MovieLens-20M數據集則包含了約138 000名用戶對約27 000部電影的近2 000萬條評分記錄。實驗使用的樣本數據是文獻[9]和文獻[11]公開的基于MovieLens-1M和MovieLens-20M處理后的數據集。這兩個預處理后的包含知識圖譜的數據集其基本統計信息如表1所示。在數據預處理部分，文獻先將數據集的顯式交互評分轉化成隱式標簽數據。轉化時，評分大于3的樣本數據轉換成正樣本標簽1。同時，文獻對評分記錄中用戶沒有評價過的電影集合進行隨機負采樣。隨機負采樣生成的負標簽樣本與正標簽樣本數量相等。文獻基于MovieLens數據集和微軟Satori生成電影知識圖譜三元組時，先依據關系名稱初步篩選出知識圖譜電影子圖，然后將MovieLens數據集中的電影名稱與子圖實體名稱進行一一匹配，從而構建出MovieLens對應的電影知識圖譜。

2.2 ?實驗設置

實驗中的對比模型包括SVD、CKE、RippleNet和KGCN。硬件訓練環境為Intel Core i7-6800K和Nvidia GTX 1080 Ti，軟件訓練環境為TensorFlow v1.14和Python V3.7。KCOD模型的超參數設置如表2所示，其中dim表示實體與關系的特征表示向量維度，hop表示最高感受野階數K，lr表示學習率，num表示每階感受野采樣的鄰居節點個數，λ1和λ2表示正則化項的衰減系數。這些超參數取值主要參考經驗數據并通過參數搜索實驗確定。模型優化器采用Adam算法。對比模型的超參數設置參考了原論文中的參數設置，但為了公平比較，一些參數設置成和本章所提模型盡量相同。例如，SVD模型的表示向量維度設置為32，學習率設置為0.01。CKE模型的表示向量維度設置為64。RippleNet與KGCN的超參數設置取原論文最優實驗結果的參數。實驗按照6：2：2的比例從樣本數據中隨機選擇出訓練集、驗證集以及測試集。為了充分驗證模型的性能，本文使用AUC、準確率（Accuracy， ACC）、召回率（Recall@N）以及精確率（Precision@N）作為實驗結果評價指標，對每個模型分別進行3次實驗，并取實驗結果的平均值作為對比數據。

2.3 ?實驗結果

各模型的實驗結果如表3、圖3、圖4、圖5、圖6所示。結果表明，經典的SVD取得了相對較好的性能，這證明了矩陣分解模型的有效性。結合知識圖譜的CKE模型并未取得理想的結果，說明CKE未能有效地學習到知識圖譜的語義信息。RippleNet和KGCN的結果超過其他的對比模型，這說明基于一體化方法利用知識圖譜進行推薦比較有效。本文提出的KCOD模型在AUC、ACC、Recall@N以及Precision@N四個指標上都取得了最好的實驗結果。這證明在特征信息擴散過程中引入DistMult和TransR模型可以更好地學習用戶的個性化興趣特征，從而提高表示向量的準確度。從數據集上看，所有模型的性能在MovieLens-20M上都有提升。這是因為MovieLens-20M擁有更多的訓練樣本，可以更充分地挖掘特征信息。

表4顯示的是各模型在MovieLens-20M上完成一輪訓練的訓練時間。相比RippleNet，KCOD擁有更低的訓練時間。這說明KCOD復雜度低，訓練效率高，能夠有效地學習鄰居節點的特征信息。

實驗還調整了一些超參數的取值來研究其對于模型性能的影響。首先，實驗將超參數num設置為不同的值并在MovieLens-20M數據集上進行實驗，結果如表5所示。實驗結果表明KCOD在num = 32時達到最優性能。這說明合適的num值可以使模型學習到最豐富的特征信息。

然后，實驗將超參數dim設置為不同的值并在MovieLens-20M數據集上進行實驗，結果如表6所示。實驗結果表明KCOD在dim = 16時達到最優性能。這是因為增加dim值可以增加特征表示向量的表達能力，但過高的dim值會導致過擬合現象，并增加模型復雜度。

最后，實驗將超參數hop設置為不同的值并在MovieLens-20M數據集上進行實驗，結果如表7所示。實驗結果表明KCOD在hop = 2時達到最優性能。這說明引入多階鄰居信息可以提高KCOD的性能，但是過高的鄰居階數又會引入噪聲，降低模型性能。

3 ?結 ?論

將知識圖譜含有的語義結構信息集成到個性化推薦系統中，可以改善數據稀疏性、冷啟動和可解釋性等問題。為了學習這些語義結構信息，基于知識圖譜表示學習模型DistMult與TransR，本文提出的KCOD模型對知識圖譜三元組之間的關系進行了矩陣化推理計算，并將推理結果應用到信息擴散過程中。KCOD通過交叉計算每一階歷史交互實體向量推理結果與候選物品實體向量推理結果的相似度進行模型訓練及偏好預測。本文在兩個MovieLens數據集上對KCOD進行性能對比分析。實驗結果表明KCOD優于經典的對比模型，可以有效地學習知識圖譜的語義結構信息。

參考文獻：

[1] CAMACHO L A G，ALVES-SOUZA S N. Social Network Data to Alleviate Cold-start in Recommender System： A Systematic Review [J].Information Processing and Management，2018，54（4）：529-544.

[2] 王越群.基于知識圖譜的深度推薦系統研究 [D].長春：吉林大學，2022.

[3] WU Z H，PAN S R，CHEN F W，et al. A Comprehensive Survey on Graph Neural Networks [J].IEEE Transactions on Neural Networks and Learning Systems，2021，32（1）：4-24.

[4] GUO Q Y，ZHUANG F Z，QIN C，et al. A Survey on Knowledge Graph-Based Recommender Systems [J].IEEE Transactions on Knowledge and Data Engineering，2020，34（8）：3549-3568.

[5] ZHANG F Z，YUAN N J，LIAN D F，et al. Collaborative Knowledge Base Embedding for Recommender Systems [C]//Proceedings of the 22nd ACM International Conference on Knowledge Discovery and Data Mining.San Francisco：ACM，2016：353-362.

[6] WANG H W，ZHANG F Z，ZHAO M，et al. Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation [C]//The World Wide Web Conference.San Francisco：ACM，2019：2000-2010.

[7] YU X，REN X，SUN Y Z，et al. Recommendation in Heterogeneous Information Networks with Implicit User Feedback [C]//Proceedings of the 7th ACM conference on Recommender Systems.Hong Kong：ACM，2013：347-350.

[8] WANG H W，ZHANG F Z，WANG J L，et al. Ripplenet： Propagating User Preferences on the Knowledge Graph for Recommender Systems [C]//Proceedings of the 27th ACM International Conference on Information and Knowledge Management.Torino：ACM，2018：417-426.

[9] WANG X，HE X N，CAO Y X，et al. KGAT： Knowledge Graph Attention Network for Recommendation [C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.Anchorage：ACM，2019：950-958.

[10] WANG H W，ZHAO M，XIE X，et al. Knowledge Graph Convolutional Networks for Recommender Systems [C]//WWW '19： the World Wide Web Conference.San Francisco：ACM，2019：3307-3313.

[11] YANG B S，YIH W-T，HE X D，et al. Embedding Entities and Relations for Learning and Inference in Knowledge Bases [J/OL].arXiv：1412.6575 [cs.CL].（2014-12-20）.https：//arxiv.org/abs/1412.6575v1.

[12] 田萱，陳杭雪.推薦任務中知識圖譜嵌入應用研究綜述 [J].計算機科學與探索，2022，16（8）：1681-1705.

作者簡介：張海龍（1988—），男，漢族，山東蘭陵人，工程師，博士，研究方向：數據分析、推薦系統；顏金堯（1973—），男，漢族，浙江海寧人，研究員，博士，研究方向：數據分析、多媒體計算與傳播。