融合增強協同信息和知識圖譜信息的推薦模型

收稿日期：2021-10-21；修回日期：2022-01-10

基金項目：重慶市社會科學規劃項目（2021NDYB101）；國家自然科學基金資助項目（62141201）

作者簡介：陶佳（1997-），女，甘肅武威人，碩士研究生，主要研究方向為推薦系統；黃賢英（1967-），女（通信作者），重慶人，教授，碩導，碩士，主要研究方向為復雜網絡、輿情傳播（1303366922@qq.com）；高鈺瀾（1998-），女，重慶人，碩士研究生，主要研究方向為推薦系統.

摘 要：將知識圖譜引入推薦系統，能一定程度解決數據稀疏和冷啟動問題，但是往往忽略了高階協同信息和不同協同信息的重要程度對探索用戶潛在偏好的重要性，由此提出了一種融合增強協同信息和知識圖譜信息的推薦模型（CIKG）。該模型首先利用用戶和項目的歷史交互數據，獲取一階協同信息和高階協同信息，同時使用注意力機制捕獲重要信息，得到增強協同信息，用來補充用戶和項目的特征表示。其次通過將用戶交互的項目與知識圖譜中的實體對應，在知識圖譜中執行傳播操作，得到知識圖譜信息，用于挖掘用戶的偏好并且增強模型的可解釋性。最后通過聚合器將增強協同信息和知識圖譜信息結合得到用戶和項目的最終表示，從而進行預測。在Last-fm和Book-crossing兩個數據集上進行的實驗結果表明CIKG相比其他對比的模型推薦效果有較大提升。

關鍵詞：推薦系統； 知識圖譜； 協同信息； 注意力機制

中圖分類號：TP391"" 文獻標志碼：A

文章編號：1001-3695（2022）06-024-1742-07

doi：10.19734/j.issn.1001-3695.2021.10.0606

Recommendation model combining enhanced collaborative information and knowledge graph information

Tao Jia， Huang Xianying， Gao Yulan

（School of Computer Science amp; Engineering， Chongqing University of Technology， Chongqing 400054， China）

Abstract：The recommender system uses knowledge graph can solve the problems of data sparsity and cold start， but it often ignores the importance of high-order collaborative information and different collaborative information to explore users’ potential preferences. Therefore， this paper proposed a recommendation model combining enhanced collaborative information and know-ledge graph information （CIKG）. This model first used the historical interactive data of users and items to obtain first-order collaboration information and high-order collaboration information. At the same time， it used the attention mechanism to capture important information and obtain enhanced collaboration information to supplement the feature representation of users and items. Secondly， this model matched interacted items with the entities in the knowledge graph and performed the propagation in the knowledge graph. It could obtain knowledge graph information and used the information to obtain the user’s preferences and enhance the interpretability of the model. Finally， the aggregator combined the enhanced collaboration information and knowledge graph information to obtain the final representation of users and items， so as to make predictions. The experimental results on Last-fm and Book-crossing datasets show that CIKG has a great improvement over other comparative models.

Key words：recommender systems（RS）; knowledge graph; collaboration information; attention mechanism

0 引言

在線內容和服務的爆炸性增長為用戶提供了壓倒性的選擇，如新聞、音樂、餐館和書籍。推薦系統（RS）旨在通過為用戶尋找一小部分滿足其個性化興趣的項目來解決信息爆炸的問題?；趨f同過濾（collaborative filtering，CF）的推薦系統考慮了用戶的歷史交互，并根據其潛在的共同偏好提出建議，取得了巨大的成功。但是基于CF的方法通常會遇到稀疏性和冷啟動問題［1］。為了解決這些問題，研究人員提出將輔助信息納入推薦系統，如社交網絡［2］、項目屬性［3］、圖像［4］等。知識圖譜（knowledge graph，KG）作為一種含有豐富結構化語義知識的輔助信息，將知識圖譜在推薦系統中有效利用起來可以緩解稀疏性和冷啟動問題，進一步提升推薦效果。

現有基于KG的推薦系統大致可以分為基于嵌入的［4～6］、基于路徑的［7，8］和基于傳播的方法［9～12］三種類型?；谇度氲姆椒?，首先在KG中使用知識圖嵌入方法預先訓練，得到KG中的實體嵌入表示，然后將得到的實體嵌入表示作為推薦中的項目嵌入表示。CKE［4］通過TransR［13］在KG的參與下學習項目嵌入表示。DKN［5］將實體嵌入和文字嵌入視為不同的渠道，并通過TransD［14］生成新聞嵌入表示。但是知識圖嵌入算法通常更適合圖內應用，如鏈接預測，而不是推薦［15］，因此學習的實體嵌入表示在表示項目間關系方面不太直觀和有效。基于路徑的方法探索KG中的項目之間的各種連接模式，為推薦提供額外的指導?；谠獔D的推薦KPRN［7］將KG視為異構信息網絡，并提取基于元路徑的潛在特征來表示用戶和項目之間沿著不同類型的關系路徑的連通性?；诼窂降姆椒ㄒ愿匀缓椭庇^的方式使用KG，但它們嚴重依賴手動設計的元路徑。基于傳播的方法，在整個KG上迭代地執行傳播以找到推薦的輔助信息。RippleNet［9］在基于KG的推薦方面取得了很大進展，它將用戶的歷史興趣視為KG中的種子集，然后沿著KG鏈接迭代擴展用戶的興趣，以發現它關于候選項目的分層潛在興趣。KGCN［10］采用圖卷積網絡（graph convolutional network，GCN）［16］通過它們在KG中的鄰居來獲得項目嵌入表示，這表明鄰居的信息能夠有效提升推薦任務的準確性。但是這兩種方法都忽略了協同信息對用戶和項目表示的貢獻，導致用戶和項目嵌入表示不足。CKAN［11］采用異構傳播策略對協同信息和知識圖譜信息進行顯式編碼，并應用知識感知注意網絡來區分不同鄰居的貢獻，但是忽略了高階協同信息對用戶和項目表示的貢獻。

用戶和項目的歷史交互信息可以有效表示用戶的偏好信息。NGCF［17］利用GCN的消息傳遞機制堆疊多個圖卷積層，實現了在用戶—項目圖上捕捉高階協同信息，最后聚合所有層的節點嵌入表示進行推薦，這表明捕捉高階協同信息能夠有效提升推薦準確性。現有基于知識圖譜的推薦算法往往忽略了高階協同信息對用戶和項目表示的貢獻，導致用戶和項目的嵌入表示不足。如圖1所示高階協同信息也承載協同信息的豐富語義。user1和user2都喜歡item1，表明user1和user2具有相似偏好，所以user2喜歡的item2可能也是user1喜歡的項目。本文使用了用戶的三階鄰居和項目的二階鄰居。user1→item1→user2…是用戶—項目圖上從用戶user1出發的一條路徑，如圖1所示。根據路徑上節點距離用戶user1的跳數，稱item1為user1的一階鄰居，user2為user1的二階鄰居，一階鄰居的協同信息稱為一階協同信息，二階鄰居的協同信息稱為二階協同信息，依此類推。本文選擇使用用戶的三階鄰居和項目的二階鄰居，原因有以下幾點：a）Chen等人［18］研究表明高階協同信息可以提高推薦性能，起初隨著深度的增加推薦結果得到了改善，但是過高的深度也會引入較多噪聲導致推薦性能降低;b）用戶的三階鄰居是與用戶具有相似偏好的用戶喜歡的項目，項目的二階鄰居是相同用戶交互的項目。相對于更高階鄰居而言，它們與目標實體的偏好更為相似。

本文提出一種融合增強協同信息和知識圖譜信息的推薦模型（recommendation model combining enhanced collaborative information and knowledge graph information，CIKG）。該模型引入一階協同信息和高階協同信息，并使用注意力機制提取協同信息中的重要信息，得到增強協同信息，用來補充用戶和項目的嵌入表示。然后通過將用戶的一階鄰居和三階鄰居，項目的二階鄰居與知識圖譜中的實體對應起來，得到用戶和項目在知識圖譜中傳播的初始種子集后，在KG中傳播獲取用戶和項目不同距離的表示，得到知識圖譜信息，有效擴展用戶的偏好。最后將增強協同信息和知識圖譜信息通過聚合器結合起來，得到用戶和項目的最終表示，從而進行推薦。本文的貢獻如下：a）提出了一種新的推薦模型，稱為CIKG。CIKG將協同信息和知識圖譜信息有效結合在一起;b）提出的CIKG考慮到了高階協同信息對用戶和項目嵌入表示的貢獻;c）采用注意力機制加強模型對協同信息中重要信息的記憶能力。

1 相關工作

1.1 知識圖譜

知識圖譜的概念是在20世紀80年代發展起來的，當時知識圖譜被集成到醫學和社會科學專家系統的框架中［19］。2012年，谷歌將KG引入搜索框架，以更好地理解查詢，并且使搜索結果更加符合用戶需求［20］。最近提出了多種KG，如YAGO［21］、Freebase［22］、 DBpedia［23］、谷歌的Knowledge Graph，微軟的Satori，為構建用于推薦的知識圖譜提供了方便。迄今為止，KG已經被創建并應用于多個場景，包括搜索引擎、推薦系統［11］、問答系統等。KG是一個有向異構圖，圖中節點表示實體，邊表示實體之間的關系。如圖2所示《我和我的祖國》、李谷一、愛國、秦詠誠、《問聲祖國好》、《我為祖國獻石油》都是知識圖譜中的實體?！段液臀业淖鎳贰罟纫弧秵柭曌鎳谩肥侵R圖譜中的一條路徑。根據路徑上節點距離實體《我和我的祖國》的距離稱李谷一是《我和我的祖國》的一階鄰居，《問聲祖國好》是《我和我的祖國》的二階鄰居。知識圖譜中節點的一階鄰居和二階鄰居可以構成不同距離的實體集，利用這些信息可以有效擴展用戶和項目的表示。

推薦系統可以將項目及其屬性映射到KG中，用來理解項目之間的關系。此外，還可以將用戶信息集成到KG中，從而更準確地捕捉用戶和項目之間的關系以及用戶的偏好。如圖2所示，用戶A喜歡歌曲《我和我的祖國》，歌曲《我和我的祖國》和《問聲祖國好》的演唱者都是李谷一并且都是愛國歌曲，所以可以推斷用戶A可能也喜歡歌曲《問聲祖國好》。將KG引入推薦系統主要有三個益處［24］：a）KG引入了項目之間的語義關聯，有助于發現項目之間潛在的聯系，提高推薦結果的準確性；b）KG包含各種類型的關系，有助于合理擴展用戶的興趣，增加推薦項目的多樣性；c）KG連接用戶的歷史交互記錄和推薦記錄，從而為推薦系統帶來可解釋性。KGAT［12］將用戶—項目二部圖和知識圖譜結合在一起，并通過圖神經網絡遞歸地在協同知識圖（collaborative knowledge graph，CKG）進行傳播，以補充實體嵌入表示。但該模型只使用了一階協同信息沒有考慮到高階協同信息中蘊涵的信息。

1.2 注意力機制

日常生活中，人們總是會對自己感興趣的事物給予更多的關注度。注意力機制可以過濾掉輸入數據中一些不相關的信息將更多的注意力放在與當前相關的信息上。注意力機制是將鍵值對（key-value）和查詢向量（query）映射到輸出上，輸出是對所有值向量（value）的加權求和，權重是由query和每個key計算相關度得到，權重計算過程如圖3所示。相關度的計算方法通常有以下幾種：

F（Q，Ki）=QTKi（1）

F（Q，Ki）=QTWKi（2）

F（Q，Ki）=W［QT;Ki］（3）

F（Q，Ki）=VTtanh（WQ+UKi）（4）

在推薦系統中，用戶和項目的歷史交互數據，除了反映交互和未交互的信息之外也包含了一些其他信息，比如用戶對不同物品的喜好度不同。注意力機制可以為不同的用戶和項目分配不同權重［25］，進而獲取有一定代表性的用戶對或項目對，從而提升推薦結果的準確性。NARM［26］使用注意力機制捕獲當前會話中的關鍵信息，組合這些信息得到統一的會話表示。GAT［27］使用注意力機制將圖中的每個節點根據相鄰節點的特征，為其分配不同的權重，避免了在傳播過程中重要數據的丟失。

2 模型

CIKG模型是一種端到端的模型。CIKG提取高階協同信息，并將協同信息與KG中的輔助知識信息無縫結合起來進行推薦，模型結構如圖4所示。CIKG由增強協同信息層（enhanced collaborative information layer）、知識圖譜傳播層（know-ledge graph propagation layer）和預測層（predict layer）三個部分組成。增強協同信息層利用用戶和項目的歷史交互數據，提取一階協同信息和高階協同信息，并使用注意力機制捕捉高階協同信息中的重要信息，得到增強協同信息。知識圖譜傳播層將增強協同信息中的項目和知識圖譜中的實體對應起來作為知識圖譜中傳播的種子集，沿著KG中的鏈接傳播知識關聯，得到知識圖譜信息，利用這些信息來補充用戶和項目的相關表示。預測層通過聚合器聚集增強協同信息和知識圖譜信息得到用戶和項目的最終表示，最后輸出預測結果。

2.1 符號說明

假設在某個推薦場景中，有M個用戶u={u1，u2，…，uM}和N個項目Euclid Math OneVAp={v1，v2，…，vN}。根據用戶和項目的歷史交互信息，可以得到一個用戶—項目交互矩陣YM×N，其中，yuv=1表示用戶u已經與項目v交互，否則yuv=0。知識圖譜中邊的信息用G={（h，r，t）∣h，t∈Euclid Math OneEAp，r∈Euclid Math OneRAp}表示。其中每個知識三元組（h，r，t）表示頭實體h和尾實體t之間存在關系r，Euclid Math OneEAp和Euclid Math OneRAp是知識圖譜中實體和關系的集合。采用集合Euclid Math OneAAp={（v，e）|v∈V，e∈Euclid Math OneEAp}闡明項目和實體之間的對應關系。其中（v，e）表示項目v可以與知識圖譜中的實體e對應。

2.2 增強協同信息層

用戶和項目的歷史交互信息可以在一定程度上表示用戶的偏好。用戶的表示不使用獨立的潛在向量，而是通過用戶的相關項目來表示用戶。通過用戶u的歷史交互信息可以獲得用戶u的歷史交互項目集。用戶u的歷史交互項目集定義如下：

u0v={v∣yuv=1}（5）

項目的二階鄰居是與該項目具有相同交互用戶的項目。由于相同用戶喜歡的項目也會相似，所以項目的二階鄰居可以對項目的特征表示作出貢獻。項目v的二階鄰居定義如下：

Euclid Math OneVApv={vu|u∈{u|yuv=1} and yuvu=1}（6）

用戶u的歷史交互項目集最接近用戶的原始表示，所以用戶u的歷史交互項目集與用戶表示有很強的聯系。用戶歷史交互項目集表示定義為歷史交互項目集中項目嵌入表示的平均，表示公式如下：

e（0）u=∑v∈u0vv|u0v|（7）

其中：u0v是用戶的歷史交互項目集;|u0v|是u0v中項目數量。

考慮到項目二階鄰居中每個項目對項目表示的影響不同，所以使用注意力機制為項目二階鄰居中的項目分配不同的權重，項目二階協同信息的表示公式如下：

e（0）v=∑v∈vvg（v，eoriginv）v|vv|（8）

其中：eoriginv是項目的原始表示;vv是項目的二階鄰居;g（v，eoriginv）表示權重。

g（v，vorigin）=softmax（v⊙eoriginv）（9）

用戶的三階鄰居是具有相似行為偏好的用戶喜歡的項目。因為偏好相似的用戶喜歡的項目也會相似，所以這些項目可以對用戶的特征表示作出貢獻。將用戶的三階鄰居稱為用戶的高階協同項目集，定義如下：

v0={v|yuv=1}（10）

usimilarv={vu∣u∈{u∣yuv=1 and v∈v0} and yuvu=1}（11）

用戶的高階協同項目集表示定義為高階協同項目集中項目嵌入表示的平均，表示公式如下：

e（similar ）u=∑v∈usimilarvv|usimilarv|（12）

其中：usimilarv是用戶的高階協同項目集。

2.3 知識圖譜傳播層

KG中的鄰居實體有著很大的聯系，沿著KG中的邊傳播，可以得到與傳播種子集不同距離的實體集，利用這些信息可以有效擴展用戶和項目的表示。

用戶的歷史點擊項目可以表示用戶的歷史偏好。將用戶的歷史交互項目集和KG中的實體對應作為用戶在KG中傳播的初始種子集，用戶u的初始實體集定義如下：

ε0u={e|（v，e）∈Euclid Math OneAAp and v∈u0v}（13）

其中：u0v是用戶的歷史交互項目集。

用戶的初始實體集在KG中傳播不同距離的實體集被遞歸的定義為

εlhu={t∣（h，r，t）∈G and h∈Euclid Math OneEApl－1hu} l=1，2，…，L（14）

其中：l表示與初始實體集的距離。

相似偏好的用戶喜歡的項目也會相似，這些項目可以表示用戶的潛在偏好。用戶的高階協同項目集和KG中的實體對應后得到用戶的高階協同實體集，定義如下：

εsimilar u={e∣（v，e）∈Euclid Math OneAAp and v∈usimilarv}（15）

其中：usimilarv是用戶u的高階協同項目集。

用戶u的高階協同實體集在KG中傳播不同距離的實體集被遞歸地定義為

εlsu={t|（h，r，t）∈G and h∈Euclid Math OneEApl－1su} l=1，2，…，L（16）

其中：l表示與高階協同實體集的距離。

給定用戶的初始實體集和高階協同實體集在KG中不同距離的實體集定義，KG中第l層的嵌入表示被計算為l層實體嵌入表示的平均：

e（l）o=∑e∈εloe|εlo| l=1，2，…，L（17）

其中：下標o是符號hu或者su的統一占位符;εlo是KG中第l層的實體;|εlo|是εlo中的實體數量。

KG中用戶u第l層的嵌入表示定義為用戶初始實體集和高階協同實體集第l層嵌入表示的和，表示公式如下：

e（l）u=e（l）hu+e（l）su（18）

其中：e（l）hu表示用戶初始實體集在KG中傳播第l層的嵌入表示;e（l）su表示用戶的高階協同實體集在KG中傳播第l層的嵌入表示。

相同用戶喜歡的項目也會相似，這些項目可以對項目的特征表示作出貢獻。項目的二階鄰居和KG中的實體對應后得到項目的初始實體集，定義如下：

Euclid Math OneEAp0v={e∣（vu，e）∈Euclid Math OneAAp and vu∈vv}（19）

項目v的初始實體集在KG中執行傳播操作，不同距離的實體集被遞歸的定義為

εlv={t∣（h，r，t）∈G and h∈Euclid Math OneEApl－1v} l=1，2，…，L（20）

項目v在KG中第l層實體的嵌入表示定義為l層實體嵌入表示的平均，表示公式如下：

e（l）v=∑e∈Euclid Math OneEAplve|εlv| l=1，2，…，L（21）

其中：εlv是項目v在KG中第l層實體集;|εlv|是第l層實體集大小。在經過增強協同信息層和知識圖譜傳播層之后，用戶u和項目v的表示集公式化如下：

Tu={e（similar）u，e（0）u，e（1）u，…，e（L）u}（22）

Tv={e（origin） v，e（0）v，e（1）v，…，e（L）v}（23）

2.4 預測層

通過增強協同信息層和知識圖譜傳播層后得到用戶和項目的表示集，然后通過使用式（24）的concat聚合器進行非線性變換，將其中的向量聚合為用戶和項目的單一表示。

agg（o）concat =σ（Wa·（e（i1）m‖e（i2）m…‖e（in）m）+ba）（24）

其中：e（ik）m是用戶和項目表示集中的元素;‖表示連接操作;下標m是符號u或者v的統一占位符。

使用eu表示用戶的聚合向量，ev表示項目的聚合向量。最后，使用表示的內積來預測用戶對該項目的偏好得分：

uv=eTuev（25）

2.5 模型優化

CIKG模型的損失函數為

Euclid Math OneLAp=∑u∈U（∑v∈{v|（u，v）∈Euclid Math OnePAp+}Euclid Math OneJAp（yuv，uv）-

∑v∈{v|（u，v）∈Euclid Math OnePAp-}Euclid Math OneJAp（yuv，uv））+λ‖Θ‖22（26）

其中：Euclid Math OneJAp是交叉熵損失；Euclid Math OnePAp+表示正樣本集；而Euclid Math OnePAp-表示負樣本集；Θ是一組模型參數；‖Θ‖22是正則化項；λ為正則化項系數。

3 實驗

本章將介紹實驗數據以及評價指標，通過在兩個真實數據集Last-fm和Book-crossing上進行實驗，對模型的預測性能進行評價，實驗內容包括：a）CIKG與基線模型對比;b）相同運行時間下模型性能對比;c）注意力機制對模型性能的影響;d）高階協同信息對模型性能的影響;e）用戶的高階協同實體集在KG中執行傳播操作對模型性能的影響;f）模型的超參數設置對模型性能的影響。

3.1 實驗數據以及評價指標

3.1.1 實驗數據

Last-fm數據集由last.fm在線音樂系統提供，數據集中包含大約2 000個用戶的聽歌信息。Book-crossing數據集是從Book-Crossing社區收集的，包括不同讀者對各種書籍的評分（0～10不等），Book-crossing數據集是最不密集數據集之一。表1為數據集的統計信息，由用戶和項目歷史交互信息和知識圖譜信息構成。

3.1.2 評價指標

CIKG模型采用AUC和F1作為模型性能評價指標。AUC是推薦系統中常用的模型評價指標之一，AUC的定義是ROC曲線下的面積， AUC越大，表明方法效果越好。F1的值是精準率與召回率的調和平均數。F1的取值為0～1，數值越大，表明方法越理想。F1的計算公式如下：

F1=2×precision×recallprecision+recall（27）

其中：precision是準確率;recall是召回率。

3.1.3 實驗超參數設置

本文在實驗中使用PyTorch實現了所需的模型。實驗中向量嵌入表示的維度設置為64，BatchSize設置為2 048，學習率設置為0.002。Last-fm數據集用戶初始實體集為64，項目初始實體集為8，層數為1，用戶歷史點擊序列長度為36，用戶高階協同實體集的大小為24。Book-crossing數據集用戶初始實體集為16，項目初始實體集為64，層數為2，用戶歷史點擊序列長度為16，用戶高階協同實體集的大小為36。優化方面，Adam［28］用于優化模型。為了初始化模型參數，采用默認的Xavier初始值設定項［29］。另外，將所有數據集按照0.6/0.2/0.2的比例劃分為訓練集、驗證集、測試集。

3.2 CIKG與基線模型的對比

為了證明CIKG模型的有效性，實驗1將CIKG與基線模型進行了比較，基線模型包括：

a）RippleNet［9］。它是一種先進的基于傳播的推薦模型，它使用用戶的歷史交互信息作為知識圖譜中傳播的種子集，在KG中傳播用戶的潛在偏好，以豐富用戶表示。

b）KGCN［10］。它是一種基于傳播的推薦模型，它使用圖卷積網絡有偏差地聚合領域信息，學習KG的結構信息和語義信息以及用戶的潛在興趣。

c）KGNN-LS［30］。它是一種基于傳播的推薦模型，它將KG轉換為用戶特定的圖形，然后在信息聚合階段考慮用戶對KG關系的偏好和標簽平滑度，從而生成用戶特定的項目表示。

d）CKAN［11］。它建立在KGNN-LS的基礎上，它分別在用戶—項目圖和KG上使用不同的鄰域聚合方案，以獲得用戶和項目的嵌入表示。

表2展示了CIKG在Last-fm和Book-crossing數據集上的整體性能，觀察實驗結果可以看出CIKG優于其他模型。具體來說，Last-fm數據集中CIKG相比RippleNet、KGCN、KGNN-LS、CKAN的AUC提升了7.3%、7.3%、7.0%、2.7%。Book-crossing數據集中CIKG相比RippleNet、KGCN、KGNN-LS、CKAN的AUC提升了5.2%、8.4%、8.1%、2.1%。

3.3 相同運行時間下模型性能對比

CIKG融合了協同信息和知識圖譜信息進行推薦。為了驗證模型復雜度，實驗2在相同運行時間（100 s）下對比CIKG和基線模型的性能，實驗結果如圖5所示，相同運行時間下CIKG模型性能相較其他對比模型好。實驗結果表明，CIKG在使用高階協同信息的同時，并沒有造成時間復雜度的大幅度增加，驗證了模型的有效性。

3.4 注意力機制對模型性能的影響

CIKG使用注意力機制加強模型對協同信息中重要信息的記憶能力，本節測試了注意力機制對模型性能的影響。實驗3將項目的二階協同信息，計算時的使用注意力機制方式改為求均值的方式被稱為CIKG-A，實驗結果如表3所示。實驗結果表明在Book-crossing數據集引入注意力機制后AUC和F1均有提升，Last-fm數據集使用注意力后AUC下降，F1上升。形成這種現象的原因可能是，Last-fm數據集是一種音樂數據集，由于一個用戶可能喜歡多種音樂風格，而且喜歡的音樂風格易變，項目之間的聯系較少，所以項目原始實體集中的元素都表現得較為重要，使用注意力機制后丟失了項目的原始特征，導致模型性能降低。

3.5 高階協同信息對模型性能的影響

CIKG的改進之一是使用了高階協同信息，通過實驗4測試引入這些信息對模型性能的影響，實驗4在用戶和項目的表示集中去除項目二階協同信息e（0）v和用戶高階協同項目集e（similar）u。將去除高階協同信息后的模型被稱為CIKG-I，實驗結果如表4所示，實驗結果表明引入高階協同信息可以提升模型性能，因為高階協同信息中也蘊涵協同信息的豐富語義，利用它可以補充用戶和項目的嵌入表示。圖6是在Book-crossing數據集中不使用高階協同信息（左側）和使用高階協同信息（右側）的推薦示例。紅色節點是需要預測的節點（見電子版）。不使用高階協同信息時用戶u10029只能通過歷史交互的項目和知識圖譜信息來捕捉其偏好，不能有效捕捉用戶的潛在偏好信息。使用高階協同信息后，由于用戶u10029和u13528都喜歡項目i3252和i234表明它們有相似的偏好，所以用戶u13528喜歡的項目i4461很可能是用戶u10029喜歡的項目。

3.6 高階協同實體集在KG中執行傳播操作對模型性能的影響

CIKG在獲取用戶的高階協同實體集后作為KG中傳播的種子集，在KG中執行傳播操作，以更好地捕捉用戶的潛在偏好。實驗5去除用戶的高階協同實體集在KG中的傳播操作，直接使用用戶的初始實體集在KG中傳播得到的結果表示用戶在KG中的傳播結果。將去除該模塊后的模型稱為CIKG-C，實驗結果如表5所示。實驗結果表明用戶的高階協同實體集在KG中執行傳播操作可以提升推薦效果。因為KG中包含了實體之間的各種聯系，可以有效擴展用戶的偏好，提高推薦的準確率。

3.7 模型的超參數設置對模型性能的影響

本節將對CIKG模型使用的一些超參數進行研究，具體將更改以下超參數：

a）知識圖譜傳播深度。實驗6通過改變知識圖譜傳播的深度來分析CIKG模型性能的變化，實驗結果如圖7所示。當L=1時Last-fm數據集性能最佳。當L=2時Book-crossing數據集性能最佳。形成這種現象的一個可能原因是，遠距離傳播就像一把雙刃劍，它提供了更多的補充知識信息，也帶來了更多的噪聲，尤其是在數據量較大的時候。保持傳播層的合理深度可以最大限度地利用知識圖譜中的知識信息，提高模型的推薦準確性。

b）用戶歷史點擊序列長度和用戶高階協同實體集大小。實驗7用于分析用戶歷史點擊序列長度和用戶高階協同實體集合大小對CIKG模型性能的影響。本文將集合的大小按步長為4，逐步從12更改為40并在表6和7總結了兩個數據集上實驗結果。實驗結果表明用戶歷史點擊序列長度取36，用戶高階協同實體集取24時Last-fm數據集性能最佳。用戶歷史點擊序列長度取16用戶高階協同實體集取36時Book-crossing數據集性能最佳。實驗結果可以看出最初隨著數據量增加時模型性能也在上升，達到最優值后隨著數據量的增加模型性能開始下降。因為剛開始隨著數據量的增大模型可以捕捉更多的信息用來補充用戶和項目的表示，但是當達到最優值后，數據量增大會帶來更多噪聲，最終導致模型性能降低。

c）用戶和項目初始實體集的大小影響。實驗8通過改變用戶和項目初始實體集的大小來觀察CIKG性能的變化。兩個數據集的AUC結果分別列于表8和9。觀察實驗結果發現增加項目實體集的大小和用戶實體集的大小都可以提高性能，達到最優值后效果將不再增加或者降低。用戶初始實體集的大小取64，項目初始實體集的大小取8時Last-fm數據集性能最好。用戶初始實體集的大小取16，項目初始實體集的大小取64時Book-crossing數據集性能最佳。因為用戶和項目初始實體集的實體數量之間存在很大的差距。初始實體的數量決定了可以在知識圖中關聯的實體數量，并極大地影響最終性能。

4 結束語

近年來很多研究者通過將一些輔助信息引入到推薦系統來解決數據稀疏和冷啟動問題。以往大多基于知識圖譜的推薦算法通常使用一階協同信息以及目標用戶歷史交互的項目與KG中的實體對應后，在知識圖譜中傳播得到的信息來表示用戶的偏好，往往忽略了高階協同信息中蘊涵的用戶偏好信息。本文提出了一種融合增強協同信息和知識圖譜信息的推薦模型（CIKG）。在增強協同信息層利用用戶和項目的高階協同信息來挖掘用戶的潛在偏好。知識圖譜傳播層增加了將目標用戶的三階鄰居與知識圖譜中的實體對應，然后將其作為傳播種子集在知識圖譜中執行傳播操作來更全面地捕獲用戶的偏好。兩個公開數據集上的實驗結果表明了CIKG的有效性。

本文在使用用戶和項目的交互數據捕獲用戶偏好時，忽視了時間信息的重要性，下一步將根據用戶歷史點擊序列時間來動態地捕獲用戶偏好；并且在表示KG中不同距離的實體集時沒有考慮到關系的不同，未來可以嘗試研究表征實體—關系相互作用的方法。

參考文獻：

[1]朱桂明，賓辰忠，古天龍，等.基于知識圖譜的用戶偏好神經建?？蚣埽跩］.模式識別與人工智能，2019，32（7）：661-668.（Zhu Guiming， Bin Chenzhong， Gu Tianlong， et al. Neural modeling framework of user preferences based on knowledge graph［J］.Pattern Recognition and Artificial Intelligence，2019，32（7）：661-668.）

［2]Jamali M， Ester M. A matrix factorization technique with trust propagation for recommendation in social networks［C］//Proc of ACM Conference on Recommender Systems.New York：ACM Press，2010.

［3]Zhen Yi， Li Wujun， Yeung D Y. TagiCoFi： tag informed collaborative filtering［C］//Proc of ACM Conference on Recommender Systems.New York：ACM Press，2009.

［4]Zhang Fuzheng， Yuan N J ， Lian Defu， et al. Collaborative know-ledge base embedding for recommender systems［C］//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2016：353-362.

［5]Wang Hongwei， Zhang Fuzheng， Xie Xing， et al. DKN：deep know-ledge-aware network for news recommendation［C］//Proc of the 27th International Conference on World Wide Web.New York：ACM Press，2018：1835-1844.

［6]Wang Hongwei， Zhang Fuzheng， Zhao Miao， et al. Multi-task feature learning for knowledge graph enhance recommendation［C］//Proc of World Wide Web Conference.2019：2000-2010.

［7]Wang Xiang， Wang Dingxian， Xu Canran， et al. Explainable reaso-ning over knowledge graphs for recommendation［C］//Proc of AAAI Conference on Artificial Intelligence.2019：5329-5336.

［8]Zhao Huan， Yao Quanming， Li Jianda， et al. Meta-graph based re-commendation fusion over heterogeneous information networks［C］//Proc of the 23rd ACM SIGKDD International Conference on Know-ledge Discovery and Data Mining.2017：635-644.

［9]Wang Hongwei， Zhang Fuzheng， Wang Jialin， et al. RippleNet： propagating user preferences on the knowledge graph for recommender systems［C］//Proc of the 27th ACM International Conference on Information and Knowledge Management.New York：ACM Press，2018：417-426.

［10]Wang Hongwei， Zhao Miao， Xie Xing， et al. Knowledge graph con-volutional networks for recommender systems［C］//Proc of WWW. 2019： 3307-3313.

［11]Wang Ze， Lin Guangyan， Tan Huobin， et al. CKAN： collaborative knowledge-aware attentive network for recommender systems［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2020：219-228.

［12]Wang Xiang， He Xiangnan， Cao Yixin， et al. KGAT： knowledge graph attention network for recommendation［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press，2019：950-958.

［13]Lin Yankai， Liu Zhiyuan， Sun Maosong， et al. Learning entity and relation embeddings for knowledge graph completion［C］//Proc of the 29th AAAI Conference on Artificial Intelligence.2015.

［14]Ji Guoliang， He Shizhu， Xu Liheng， et al. Knowledge graph embedding via dynamic mapping matrix［C］//Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. 2015： 687-696.

［15]Wang Quan， Mao Zhendong， Wang Bin， et al. Knowledge graph embedding： a survey of approaches and applications［J］.IEEE Trans on Knowledge and Data Engineering，2017，29（12）：2724-2743.

［16]Ying R， He Ruining， Chen Kaifeng， et al. Graph convolutional neural networks for Web-scale recommender systems［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press， 2018： 974-983.

［17]Wang Xiang， He Xiangnan， Wang Meng， et al. Neural graph colla-borative filtering［C］//Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2019：165-174.

［18]Chen Chong， Ma Weizhi， Zhang Min， et al. Graph heterogeneous multi-relational recommendation［C］//Proc of AAAI Conference on Artificial Intelligence.2021：3958-3966.

［19]Guo Qingyu， Zhuang Fuzhen， Qin Chuan， et al. A survey on know-ledge graph-based recommender systems［J］.Scientia Sinica Informationis，2020，50（7）：937-956.

［20]Singhal A. Introducing the knowledge graph： things， not strings［EB/" ""OL］.（2012）［2021-07-21］.https：//googleblog.blogspot.com/2012/05/introducing-knowledge-graph-things-not.html.

［21]Fabian M S， Gjergji K， Gerhard W. Yago： a core of semantic know-ledge unifying wordnet and Wikipedia［C］//Proc of the 16th International World Wide Web Conference.New York：ACM Press，2007：697-706.

［22]Bollacker K， Evans C， Paritosh P， et al. Freebase： a collaboratively created graph database for structuring human knowledge［C］//Proc of ACM SIGMOD International Conference on Management of Data.New York：ACM Press，2008：1247.

［23]Lehmann J， Isele R， Jakob M， et al. DBpedia-a large-scale， multilingual knowledge base extracted from Wikipedia［J］.Semantic Web，2015，6（2）：167-195.

［24]高仰，劉淵.融合知識圖譜和短期偏好的推薦算法［J］.計算機科學與探索，2021，15（6）：1133-1144.（Gao Yang， Liu Yuan. Re-commendation algorithm combining knowledge graph and short-term preference［J］.Journal of Computer Science and Exploration，2021，15（6）：1133-1144.）

［25]鄭誠，黃夏炎.聯合輕量圖卷積網絡和注意力機制的推薦方法［J］.小型微型計算機系統，2021，42（12）：2525-2529.（Zheng Cheng， Huang Xiayan. A recommended method combining lightweight graph convolutional network and attention mechanism［J］.Journal of Chinese Computer Systems，2021，42（12）：2525-2529.）

［26]Jing Li， Ren Pengjie， Chen Zhumin， et al. Neural attentive session-based recommendation［EB/OL］.（2017-11-14）.https：//arxiv.org/abs/1711.04725.

［27]Velickovic P， Cucurull G， Casanova A， et al. Graph attention networks［EB/OL］.（2018）.https：//arxiv.org/abs/1710. 10903.

［28]Kingma D P， Ba J. Adam： a method for stochastic optimization［EB/OL］.（2017）.https：//arxiv.org/abs/1412. 6980.

［29]Glorot X， Bengio Y. Understanding the difficulty of training deep feedforward neural networks［J］.Journal of Machine Learning Research，2010，9：249-256.

［30]Wang Hongwei， Zhang Fuzheng， Zhang Mengdi， et al. Knowledge-aware graph neural networks with label smoothness regularization for recommender systems［C］//Proc of the 25th ACM SIGKDD International Conference.New York：ACM Press，2019：968-977.