基于用戶潛在興趣的知識感知傳播推薦算法

收稿日期：2022-03-01；修回日期：2022-04-18" 基金項目：軍隊科研資助項目

作者簡介：張波（1997-），男，山西陽泉人，碩士研究生，主要研究方向為推薦系統；趙鵬（1979-），男（通信作者），河南孟縣人，副教授，碩導，博士，主要研究方向為智能信息處理與仿真（zpxhh@163.com）；張金金（1992-），女，陜西西安人，講師，博士，主要研究方向為推薦系統、數據挖掘；曾昭菊（1999-），女（壯族），廣西融安人，碩士研究生，主要研究方向為推薦系統；肖栩豪（1997-），男，湖北英山人，碩士，主要研究方向為智能信息處理.

摘 要：

知識圖譜引入推薦系統可以利用知識圖譜實體之間的語義關系學習用戶及項目表示。基于嵌入傳播的方法利用知識圖譜的圖結構學習相關特征，但隨著傳播范圍增加，多跳實體間的語義相關性減小。為有效提升推薦語義表達能力并提高推薦準確度，提出基于用戶潛在興趣的知識感知傳播推薦模型，該模型采用異構傳播方式傳播項目關聯知識并迭代學習用戶的潛在興趣，以此增強模型對用戶與項目的表示能力。具體地，首先圖嵌入層生成用戶與項目的初始化表示，隨后在異構傳播層中采用知識感知注意力機制區分同一層中實體之間的重要性，更精確生成目標實體的表示。隨后通過用戶潛在興趣傳播學習用戶的高階潛在興趣，增強多跳實體語義相關性。最后在預測層中使用信息衰減因子區分不同傳播層次的重要性，生成用戶及項目的最終表示。實驗表明，該模型在Last. FM與Book-Crossing兩個公開數據集上AUC值相較于最先進的基線提升了2.25%與4.71%，F1值分別提升3.05%和1.20%，recall@K值均優于對比的基線模型，提出的模型能有效提高推薦準確度。

關鍵詞：推薦系統；" 知識圖譜；" 注意力機制；" 異構傳播

中圖分類號：TP391"" 文獻標志碼：A"" 文章編號：1001-3695（2022）09-008-2615-06

doi： 10.19734/j.issn.1001-3695.2022.03.0067

Knowledge-aware propagation recommendation algorithm based on user’s potential interest

Zhang Bo， Zhao Peng， Zhang Jinjin， Zeng Zhaoju， Xiao Xuhao

（College of Operational Support， Rocket Force University of Engineering， Xi’an 710025， China）

Abstract：Applying knowledge graph to recommendation system can make use of semantic relations between entities of know-ledge graph to learn user and item representation. The embedding propagation method uses the graph structure of the know-ledge graph to learn relevant features，but the semantic dependency between multi-hop entities decreases as the propagation range increases. In order to effectively improve the semantic expression ability of recommendation and improve the accuracy of recommendation，this paper proposed a knowledge-aware propagation recommendation algorithm based on users’ potential interests. The model adopted heterogeneous propagation method to disseminate item relevant knowledge and iteratively learnt users’ potential interests，so as to enhance the representation ability of the model to users and items. Specifically，firstly，graph embedding layer generated initialize representation of users and items，and in the heterogeneous propagation layer，the know-ledge-aware attention mechanism could distinguish the importance of entities in the same layer，so the model could generate the representation of target entities more accurately. Then the user’s potential interest propagation could effectively learn the user’s higher-order potential interest and enhance the semantic relevance of multi-hop entities. Finally，it used information decay factor in the prediction layer to distinguish the importance of different communication levels and generated the final representation of users and items. Experiments show that the AUC value of the model on the Last. FM and Book-Crossing increases by 2.25% and 4.71% compared with the most advanced baseline，and the F1 value increases by 3.05% and 1.20% respectively，and the recall@K value is superior to the comparison baseline model. The proposed model can effectively improve the accuracy of recommendation.

Key words：recommended systems; knowledge graph; attention mechanisms; heterogeneous propagation

0 引言

計算機科學與互聯網的發展使電子商務、數字媒體等各類數字化平臺快速崛起，在提高人們生活水平的同時也使人們面臨數據過載問題［1］。推薦系統可以在用戶需求未知的情況下根據用戶交互行為推薦用戶可能喜歡的項目，從而緩解數據過載問題。協同過濾推薦算法［2～5］是推薦系統研究領域的重點，其基本思想體現了用戶偏好相似與用戶行為相似的關聯特性，但當用戶交互信息較少甚至無交互信息時就會產生數據稀疏問題［6］。為解決數據稀疏問題，研究人員開始關注輔助信息，利用輔助信息更好地學習項目相關特征并生成項目表示。

知識圖譜推薦將知識圖譜［7］引入到協同過濾推薦中，利用豐富的外部項目語義知識提高模型表達能力。知識圖譜是一種結構化的輔助信息，由（頭實體，關系，尾實體）三元組形式構成，其包含大量的項目背景與屬性，這些信息由實體與關系表示。項目由屬性相關聯，因此在學習項目特征的過程中通過知識圖譜的網絡結構可以獲取項目之間的語義相關性，進而提升模型項目表示與物品描述能力。相較于一般協同過濾推薦，知識感知推薦可以使推薦結果更準確且具有一定的可解釋性。

知識圖譜推薦系統分為三種，分別是基于嵌入的方法、基于路徑的方法以及基于嵌入傳播的方法。其中基于嵌入傳播的方法［8］將知識圖譜語義嵌入與基于知識圖譜路徑的推薦方法相結合，增強了知識圖譜中具有多跳鄰居的實體表示。但該方法在高階傳播過程中語義知識相關性會隨著傳播層的增加而減小。例如KGAT模型［9］在使用圖神經網絡迭代學習實體嵌入表示時，通常迭代次數不超過三次；使用異構傳播的HKIPN模型［10］中傳播深度為2、3層時推薦效果最佳。然而，高階實體的特征也具有一定的參考價值，當前知識感知推薦算法并不能有效利用高階信息。為解決以上問題，本文提出一種基于用戶潛在興趣的知識感知傳播推薦模型。該模型增強用戶高階潛在興趣表示，解決異構傳播高階傳播過程中存在的知識語義關聯性降低的問題。

本文采用知識感知注意力機制區分異構傳播中每層實體的鄰居重要性，通過用戶潛在興趣傳播，獲得用戶高階潛在興趣，增強用戶及項目表示；

使用信息衰減因子區分傳播層的重要性，增加模型的表達能力；

實驗結果顯示，該模型在知識感知推薦系統主流數據集Last.FM與Book-Crossing上進行的CTR與top-K任務中都有良好的表現。

1 相關工作

近年來，知識圖譜廣泛應用于知識圖譜補全［11］、問答系統［12］以及詞嵌入［13］等研究領域，與此同時在推薦領域同樣受到極大關注。知識圖譜推薦算法可以分為以下三類：

a）基于嵌入的方法（embedding-based method）是指利用圖嵌入技術對知識圖譜中的實體與關系進行嵌入表示。Zhang等人［14］提出CKE（collaborative knowledge base embedding）模型，在協同過濾推薦的基礎上將項目的知識圖譜中相關屬性與知識結構化嵌入表示，以此對項目進行擴充表示。Ji等人［15］將用戶個人信息融合到知識圖譜中，生成異質信息網絡并進行圖嵌入表示，該模型充分利用用戶與項目的輔助信息改善推薦效果。雖然基于嵌入的方法一定程度上可以有效地提升推薦性能，但嚴重依賴圖嵌入算法，并且缺乏對知識圖譜的高階建模能力。

b）基于路徑的方法（path-based method）利用知識圖譜結構化的特征，挖掘圖譜中實體之間的關系。在推薦系統算法中常常將用戶—項目交互信息與知識圖譜相融合，因此可以使用元路徑挖掘方法學習實體之間的關系。Hu等人［16］提出的基于元路徑的推薦算法認為知識圖譜也是特殊的異質信息網絡，因此在知識圖譜上以元路徑的潛在特征提取方式進行連接，并生成不同類型的連接表示。Wang等人［17］提出了一種知識感知路徑遞歸網絡（KPRN），該模型通過實體嵌入和關系嵌入來構造提取的路徑序列。使用LSTM層對各條路徑進行編碼，并且通過全連接層預測每個路徑上用戶對項目的偏好，最終加權聚合得到用戶偏好估計。基于路徑的方法需要一定的專業領域知識，并且隨著路徑數量的增加，處理耗時耗力且難以優化到理想效果，因此實用性較低。

c）基于嵌入傳播的方法（embedding propagation-based methods）可以有效地利用知識圖譜中的高階信息，因此極大地提高了推薦準確度。該方法在知識圖譜上以迭代傳播關聯知識的方式挖掘輔助信息，利用獲取的輔助信息開展推薦任務以此提高推薦效果。Wang等人［18］提出的RippleNet（multiple ripples networks）模型在知識圖譜中迭代挖掘用戶的潛在偏好，以用戶的歷史交互為種子，以漣漪的形式傳播，以此獲得用戶的層次興趣。Wang等人［19］提出基于圖卷積網絡的KGCN（know-ledge graph convolutional networks）模型，將知識圖譜轉換為用戶特定條件下的加權圖，并區分圖中實體節點的重要性，迭代聚合鄰居信息獲得項目嵌入表示，該模型將圖卷積網絡應用到知識圖譜推薦算法中并有效提高了推薦性能。隨后基于KGCN提出KGNNLS（knowledge-aware graph neural networks with label smoothness regularization）模型［20］，該模型使用標簽平滑法將邊的正則化等價于在知識圖譜上進行標簽傳播。以上兩種方法表明聚合鄰居信息生成相關表示可以有效地提高推薦性能。Wang等人［9］提出了KGAT（knowledge graph attention network）模型，使用TransR算法學習知識圖譜的嵌入表示，使用圖注意力網絡遞歸地從節點的鄰居傳播嵌入表示，以此增強節點的嵌入表示并生成權重區分鄰居重要性，該模型進一步驗證了嵌入傳播對高階關系探索的有效性。Chen等人［10］提出HKIPN（hierarchical knowledge and interest propagation network）模型，使用協同知識圖異構傳播方法，基于多層注意力機制生成不同權重的高階鄰居信息，以此獲得用戶項目表示。Xu等人［21］提出了協同知識感知圖注意網絡（collaborative knowledge-aware graph attention network，CKGAT），基于異構傳播策略，CKGAT模型使用知識感知圖注意力網絡提取多跳波紋集中實體的拓撲鄰近結構，然后學習高階實體表示，從而生成精細的波紋集嵌入。

基于嵌入傳播的推薦可以有效結合基于嵌入的推薦方法與基于路徑的推薦方法兩者的優點，利用用戶、項目的低維向進行交互計算，通過傳播的方式實現多跳關系的挖掘。現有工作的主流思想是使用圖神經網絡探索知識圖譜的多跳關系，如基于圖神經網絡的CKGAT模型。但現實中用戶項目交互類型廣泛使得高階交互潛在語義信息與原始項目表示可能完全不同［22］。針對圖結構數據的高階傳播知識相關性問題，基于異構傳播的HKIPN模型提出的異構傳播可以有效地提升傳播范圍。當前，隨著傳播層次增加，如何高效利用高階交互信息是一大研究難點。本文受異質信息網絡推薦傳播思想［23］的啟發，采用異構傳播的方式通過分層知識感知注意力機制區分知識圖譜實體鄰居重要性，并增強用戶、項目高階表示，以此解決高階傳播過程中的知識語義關聯性問題。

2 推薦模型

本章介紹本文提出的基于用戶潛在興趣的知識感知傳播推薦模型（knowledge-aware propagation based on user’s potential interest，KPUPI），通過異構傳播方法學習協同知識圖中的高階關聯知識與用戶興趣表示。KPUPI模型框架如圖1所示。

模型主要分為三層，分別為圖嵌入層、傳播層以及預測層。圖嵌入層生成協同知識圖中的實體與關系的嵌入表示，嵌入表示中保留著圖中的關聯知識與圖結構信息，e0u、e0i分別表示用戶與項目的初始化嵌入表示。在傳播層中，模型采用異構傳播的方式，同時傳播關聯知識與用戶偏好，通過知識感知注意力機制區分相鄰實體的重要性并獲得用戶與項目每層的嵌入表示elu、eli，在協同知識圖上激活并學習用戶高階潛在興趣以此增強用戶最高階的表示eupiu及項目最高階的表示eupii。預測層使用信息衰減因子區分不同傳播層的信息衰減程度，并有效地聚合用戶與項目的最終表示，通過內積操作得到預測分數ui，完成推薦預測。

2.1 圖嵌入層

圖嵌入層在三元組層次上得到關系與實體的嵌入表示，細粒度的學習具有結構信息的用戶與項目表示，提升模型中用戶和項目的表達能力，提高推薦性能。

知識圖嵌入技術［24］是圖表示學習領域的重要研究內容，該技術可以將協同知識圖中的關聯知識更好地表達出來，因此廣泛應用于知識感知推薦算法中。本文使用TransR算法對協同知識圖進行嵌入表示學習，該算法在不同的嵌入空間中建模實體與關系，不同的實體類型可以映射到同一關系空間中。給定協同知識圖中的知識條目（h，r，t），通過嵌入表示學習獲得由關系空間映射得到的頭實體與尾實體的嵌入表示hr與tr，定義如下：

hr=hMr，tr=tMr（1）

其中：Mr為從實體空間映射到關系空間的轉換矩陣。評分函數fr（h，t）計算兩種實體對應關系空間中的偏差，其定義如下：

fr（h，t）=‖hr+r－tr‖22（2）

其中：hr是頭實體嵌入表示；r為關系表示；tr是尾實體嵌入表示。評分函數fr（h，t）評分越小表明三元組為事實的概率更大。該算法的訓練考慮到正例三元組與負例三元組之間的相對順序，使用成對排名損失函數計算，定義如下：

LCKGE=∑（h，r，t，）∈T－ln σ（fr（h，t）－fr（h，））（3）

其中：T={（h，r，t，）|（h，r，t）∈G，（h，r，）G}，負例三元組通過隨機替換的方式生成的；σ（·）為sigmoid激活函數。

2.2 異構傳播層

2.2.1 知識感知傳播

協同知識圖中包含用戶實體、項目實體以及項目的相關屬性，實體之間的關系具有豐富的關聯知識，并且相鄰實體之間具有強關聯性，沿著協同知識圖的鏈路傳播可以獲得逐層知識，隨著傳播層級增加可以得到不同層級的實體集與三元組，其中包含著高階關聯知識與用戶興趣。不同層次的有效信息可以豐富用戶與項目的向量表示。

用戶與項目每一層都存在大量的三元組集合，因此需要固定每層的三元組數量，用戶與項目在圖中的傳播方式是相同的，本文以o為占位符，o可表示用戶u及項目v，更高層次的三元組集合Elo中頭實體h來源于上一層三元組集合El-1o，通過層層傳播的方式傳遞信息，其定義如下：

Elo={（h，r，t）|（h，r，t）∈G and h∈El－1o}" l=1，2，…，L（4）

其中：G是知識圖譜；l為傳播層次，在協同知識圖上進行深度傳播，可以有效地獲取用戶與項目的高階交互信息，并提升用戶與項目節點的表達能力。對一個用戶或項目而言，不同關系對應的實體節點的重要性是不同的，因此在同一層的傳播過程中需要區分鄰居的重要性。使用注意力機制可以有效地區分同一層次傳播過程中相鄰實體之間的重要程度，使用戶及項目的嵌入表示更加精確。

假設在協同知識圖中的某用戶或項目第l層的第i個三元組為（h，r，t），加入知識感知注意力機制的尾實體節點嵌入表示ai由尾實體嵌入表示eti以及由注意力函數π（·）計算得到的對應注意力權重的乘積而來，定義如下：

ai=π（e0o，ehi，ri）eti（5）

其中：e0o為用戶的初始表示；ehi為頭實體的嵌入表示；ri為關系實體的嵌入表示；注意力網絡函數π（·）計算得到尾實體eti的注意力權重，該權重可反映出頭實體對尾實體節點的重要性，注意力函數定義如下：

z0=ReLU（W0（e0o|ehi|ri）+b0）（6）

π（e0o，ehi，ri）=σ（W2ReLU（W1z0+b1）+b2）（7）

注意力網絡通過拼接操作將實體初始表示e0o、頭實體的嵌入表示ehi和關系實體的嵌入表示ri拼接到一起，W和b為需要學習的參數，不同的下標表示不同的層數，最后使用softmax函數對三元組的系數進行歸一化。注意力網絡函數π（·）的最終定義如下：

π（e0o，ehi，ri）=exp（π（e0o，ehi，ri））∑（h′，r′）∈Eloexp（π（e0o，eh′i，ri））i（8）

Elo為目標用戶在第l層的三元組集合，聚合每層三元組中尾實體的注意力嵌入表示ai可以得到用戶（項目）在傳播第l層的嵌入表示Clo，定義如下：

Clo=∑|Elo|i=1ai（9）

其中：|Elo|為第l層中三元組的總數，每層的嵌入表示有效表達傳播過程中的細節，可以提高推薦模型的表達能力。

2.2.2 用戶潛在興趣傳播

基于嵌入傳播的知識圖譜推薦在學習用戶及實體的表示時在高階傳播過程中普遍存在語義相關性降低的問題。相較于KGAT、HKIPN等先進的推薦算法，本文模型在高階傳播過程中采用用戶潛在興趣傳播的方式增強用戶高階表示，給定用戶最高階三元組集合ELo，通過比較用戶交互的項目v與每個三元組中的頭實體hi與關系實體Ri分配一個相關性概率pi。

pi=softmax（vTRihi）=exp（vTRihi）∑（h，r，t）∈ELoexp（vTRh）（10）

其中：Ri與hi分別為關系嵌入表示與頭實體嵌入表示，可以通過相關性概率反映出在關聯空間中項目與實體之間的相似性，不同關系條件中項目與對應實體的相似度不同。三元組中的尾實體ti與對應的相關性概率pi加權求和可獲得用戶的高階潛在興趣表示zLu，定義如下：

zLu=∑（hi，ri，ti）∈ELopiti（11）

用戶高階潛在興趣表示可以有效地提高高階傳播中用戶表示的表達能力。

2.3 預測層

在異構傳播的過程中隨著傳播層級的增加，存在關聯知識相關性較小等信息衰減問題，通過神經網絡檢測項目在傳播過程中產生的信息衰減信號，其衰減因子定義如下：

q0=ReLU（W3（e0o‖Clo）+b3）（12）

slo= σ（W4ReLU（W4q0+b4））（13）

其中：使用ReLU函數作為非線性激活函數；σ（·）為sigmoid函數；‖為拼接操作；W和b為可學習的參數；slo為第l層的衰減因子。用戶最終的表示eu由用戶初始表示w0u、用戶在各層衰減因子影響下的層次表示以及用戶高階潛在興趣表示zLu相結合，其定義如下：

eu=w0u+∑Li=1sluClu+zLu（14）

其中：Clu為用戶在第l層的嵌入表示。項目最終表示ev由項目初始化表示w0v、項目在各層衰減因子影響下的層次表示Clo以及基于用戶潛在興趣的高階項目表示zLu相結合，定義如下：

ev=w0v+∑Li=1slvClv+Φ（zLu+CLv）（15）

其中：Φ（·）為全連接操作；zLv為項目高階交互表示；Clv為項目在第l層的嵌入表示。eu、ev分別為用戶與項目的最終表示，采用內積的方式預測用戶與項目的偏好得分，得分大小代表用戶對項目的交互概率。

uv=eTuev（16）

2.4 損失函數

針對模型的優化問題，為了確保準確的實驗效果，從用戶未觀測到的交互中隨機抽取負交互，使正交互與負交互的樣本大小相同。使用交叉熵損失函數評估推薦模型的效果，損失函數定義如下：

LCF=∑u∈U（∑v|（u，v）∈p+Γ （yuv，uv）－∑v|（u，v）∈p－Γ（yuv，uv））

（17）

其中：Γ為交叉熵損失函數；p+表示用戶的正交互；p－表示用戶的負交互。模型的最終損失函數包含協同知識圖嵌入部分損失（式（3））與推薦部分損失（式（17）），并使用可學習的參數平衡兩種損失值的重要性，使用L2正則化防止過擬合，其定義如下：

L=LCF+λ1LCKGE+λ2‖Θ‖22（18）

其中：λ1為協同知識圖嵌入損失與推薦部分損失的平衡超參數；Θ={U，E，R，Mr，Wi，Bi，i∈{0，1，…，4}}是模型的一組參數， ‖Θ‖22是由λ2控制的L2正則化項，最終對損失函數最小化學習模型的相關參數。

3 實驗

本章中使用兩個真實場景下的公開數據集評估模型，并與當前最具有代表性的推薦算法進行對比分析。首先介紹實驗所使用的數據集、對比的推薦算法以及實驗參數設置，然后CTR點擊率任務與top-K推薦任務驗證算法的推薦效果，通過實驗獲取模型最佳表現參數，最后通過消融實驗證明模型中核心模塊的重要性。

3.1 數據集介紹

為了有效驗證KPUPIE模型的有效性與實用性，選擇兩個真實場景下使用最廣泛的知識圖譜推薦公開數據集，即音樂數據集Last.FM［9］以及書籍數據集Book-Crossing［10］進行實驗，以上兩個數據集都是以顯示反饋的方式組織的，為了更好地反映模型推薦性能，需要轉換為隱式反饋。本文將數據集按照6∶2∶2的比例隨機分為訓練集、驗證集和測試集，關于數據集的細節如表1所示。

3.2 對比方法與參數設置

為了進一步驗證模型的有效性，本文與以下經典的模型進行對比：

a）CKE［14］。一種基于嵌入的經典模型，將協同過濾與貝葉斯框架中的項目輔助信息結合，同時使用經典的TransR算法將知識圖譜嵌入以此獲取相關知識信息。

b）PER［25］。一種具有代表性的基于路徑的推薦方法，使用元路徑作為用戶與項目之間的鏈接，提取基于元路徑的實體特征。

c）RippleNet［18］。最經典的分層傳播算法，以漣漪形式傳播，獲得用戶的層次興趣，增強用戶表示。

d）KGCN［19］。基于非光譜圖卷積網絡的傳播模型，通過區分鄰居的重要性，有選擇性地聚合鄰居信息，有效地學習知識關聯信息與用戶的潛在興趣以生成用戶與項目的表示。

e）KGAT［9］。使用注意力機制在協同知識圖譜中區分鄰域信息的重要性，有效地學習高階關系表示。

f）HKIPN［10］。使用異構傳播方法，在協同知識圖中分層傳播，基于注意力機制生成不同權重的高階鄰居信息，以獲得用戶項目表示。

KPUPIE模型的主要參數取值均參考主流的基于嵌入傳播推薦模型中的實驗參數范圍進行對比，并在實驗階段分析數據集相關特征進行實驗最終得出最優參數設置，其中學習率Lr在{10－3，2×10－3，10－2，2×10－2}中調節，L2正則化項的系數 λ在{10－5，10－4，10－3，10－2}中調節，嵌入向量維度d在{8，16，32，64，128}中選擇，層次傳播深度L在{0，1，2，3，4}之間調整，層次三元組數T在{16，32，64，128}之間調整，使用Adam優化器對模型進行優化，并使用Xavier初始化器初始化模型參數，固定訓練批次大小為1 024，通過實驗獲得最優參數設置如表2所示。最優參數的學習率Lr與系數 λ均是默認參數，嵌入維度d通過分析數據集用戶項目交互稀疏程度確定，為與對比方法傳播效果進行直接對比，傳播深度L及三元組數T均從較大數值中選取，突出模型特點。

各對比方法實驗主要參數的最佳設置都是通過實證研究或遵循原始論文來實現的，對比實驗的所有對比方法均處于最佳狀態下進行，以保證對比實驗的有效性。

3.3 基線模型對比分析

KPUPIE模型在CTR點擊率預測任務過程中選擇使用F1與AUC兩個指標評估模型，在top-K推薦任務中使用recall@K評估模型。

AUC指標反映模型對樣本的排序能力，定義如下：

AUC=∑ni（posgt;neg）+0.5×∑ni（pos=neg）Npos×Nneg（19）

其中：pos表示正樣本的得分；neg表示負樣本的得分；Npos、Nneg分別表示正樣本、負樣本的數量；n表示樣本總數量。F1指標同時兼顧模型的準確率、精確率與召回率，是模型準確率與召回率的調和平均，定義如下：

F1=2×P×RP+R（20）

其中：P為模型精確率，即被正確分類的正樣本占被分為正樣本的比例；R為模型召回率，即所有正樣本被正確找回的概率。在top-K推薦任務中選用recall@K評估模型，召回率反映用戶推薦列表中出現測試集中項目的比例，定義如下：

recall@K=∑u∈U|R（u）∩T（u）|∑u∈U|T（u）|（21）

其中：R（u）為模型生成的用戶u推薦列表；T（u）為用戶u在測試集中的交互列表。

經過多次實驗得到本文模型在兩個數據集上的CTR預測結果如表3所示，top-K推薦結果如圖2所示。通過對實驗結果的分析可以得到以下結論：

a）本文提出的KPUPIE算法使用兩個稀疏性較高的數據集，在CTR預測任務與top-K推薦任務中都表現較好。具體而言，KPUPIE模型在Last.FM與Book-Crossing數據集上進行CTR預測任務，其中AUC指標相較于最先進的基線提升了2.25%與4.71%，F1指標分別提升3.05%和1.20%。在top-K推薦任務中，recall@K指標在絕大多數K值條件下都優于最先進的基線算法，充分驗證了本文算法的有效性。

b）對比基于知識圖譜的推薦算法可知，在兩個稀疏性較強的數據集上，基于傳播的方法其推薦效果整體上優于基于嵌入的方法（CKE模型）和基于路徑的方法（PER模型）。其原因在于基于傳播的方法充分利用了實體的高階連通性挖掘高階關聯信息，以此獲取更好的用戶和項目表示，使推薦結果更加精準。

c）與KGCN模型相比較，加入注意力機制的KGAT、HKIPN和KPUPIE模型的AUC值在兩個數據集上至少提升2.87%，說明結合注意力機制的推薦模型可以更精確地學習傳播過程中用戶和項目的嵌入表示。

d）RippleNet、KGCN、KGAT、RippleNet模型以及本文提出的KPUPIE模型都是基于傳播的方法，RippleNet和KGCN模型從用戶角度或項目角度單方面建模高階連通性，并通過傳播的方式挖掘用戶興趣（聚合項目的高階鄰居表示），因此在學習用戶—項目嵌入表示的過程中忽略部分有用信息。KGAT和HKIPN模型的表現證明將用戶—項目交互信息融合到知識圖譜中可以同時有效地獲取用戶、項目的高階信息，使推薦結果得到有效的提升。

e）與RippleNet模型從用戶角度單方面的進行高階傳播表示學習相比較，本文模型的優勢是在協同知識圖上從用戶與項目交互的角度進行高階傳播表示學習。與KGAT、HKIPN模型相比較，本文模型進一步改善高階傳播過程中的知識關聯性，具體表現在異構傳播層增加了用戶與項目的高階表示，更精確地學習用戶的興趣表示及項目表示。本文提出的HPUPIE模型在整體傳播過程中使用協同知識圖，有效地學習傳播過程中的用戶、項目表示，并從用戶角度利用高階連通性增強用戶高階的表示，有效地解決高階知識關聯程度降低的問題，使推薦效果得到有效提升。

3.4 實驗參數影響分析

為了進一步研究模型核心思想傳播層異構傳播對實驗結果的影響，本節進一步通過調節相關實驗參數進行實驗，分析不同網絡結構對CTR預測任務中AUC指標的影響。

a）KPUPIE模型的嵌入維度設置如3.2節所述，嵌入向量維度d在{8，16，32，64，128}中選擇，實驗結果如表4所示。通過實驗分析，在一定程度上增加實體和關系的嵌入維度可以有效提高推薦準確性。但Book-Crossing數據集實驗結果顯示，當維度太大時推薦準確性降低是因為增加嵌入向量的維度可以編碼更多的有效信息，但維度過高出現過平滑現象，致使推薦結果變差。

b）從兩個角度分析模型中傳播層數對推薦結果的影響，增加傳播層數可以有效豐富用戶與項目的表示，如表5所示。在Last.FM數據集上，增加傳播層數使推薦結果的AUC指標明顯提高。但隨著傳播層數增加，越來越多與用戶、項目不相關的實體鄰居被學習到用戶及項目的表示中，產生了更多的噪聲，一定程度上影響了推薦性能。在Book-Crossing數據集上，AUC指標在傳播深度達到4層時比傳播層數為3層更低。

c）在傳播過程中，每個實體可能存在很多鄰居，但由于計算開銷的限定，僅討論每層三元組數量在{16，32，64，128}不同大小時對推薦效果的影響。實驗結果如表6所示，每層的三元組數在128時可以得到最好的推薦效果，由于Book-Crossing和Last.FM數據集數據稀疏，需要更多的輔助信息提供關聯知識來豐富用戶與項目的表示。

3.5 模型結構分析

本文以CTR預測任務的AUC值為消融實驗的評估指標，討論模型中衰減因子模塊與用戶最高階興趣增強模塊在模型中的有效性，KPUPI/D模型不考慮傳播過程中的信息衰減現象，將各層表示簡單地聚合為最終的用戶（項目）表示。KPUPI/U模型在高階信息傳播學習用戶（項目）的表示時不使用用戶高階興趣增強模塊，直接聚合相關表示。消融實驗結果如表7所示。從表中可知：

a）當高階信息傳播過程中知識關聯性降低問題存在時，在兩個數據集上，KPUPI/U模型的評估指標與KPUPI模型的表現相比有明顯差距，其原因是KPUPI模型使用用戶潛在興趣傳播方法學習更多的用戶、項目交互信息并且增加低階實體與高階實體的語義關聯性。對比結果突顯出信息傳播的過程中增強用戶（項目）高階嵌入表示的重要性。

b）KPUPI/D模型簡單地聚合各層的表示生成最終的表示，并不能準確地表達用戶及項目的最終表示，KPUPI模型考慮信息傳播的信息衰減情況，更精準地區分各層次的表示重要性，這表明增加信息衰減因子，推薦效果在一定程度上會有所提升。

3.6 案例分析

本節針對用戶興趣傳播進行案例分析，以展示用戶高階興趣傳播過程中具體的細節。為此，從Last.FM數據集中隨機選取一個用戶（u1670）構建與其交互相關的協同知識圖示意圖作為案例說明。如圖3所示，該圖描繪了用戶u1670在協同知識圖中進行三階興趣傳播過程中的相關概率。圖中可以觀察到，KPUPI模型區分項目知識圖譜的項目實體相關屬性對用戶興趣的不同影響。例如，用戶的交互項目i3623在用戶的一階興趣傳播過程中相似性概率最高，說明該項目最能反映出用戶的興趣，因此可以為學習用戶興趣表示提供更多的信息，從而為用戶興趣在協同知識圖中的高階傳播提供更精確的表示。

4 結束語

本文提出基于用戶潛在興趣增強的知識感知傳播推薦模型，在由用戶—項目交互圖與知識圖譜相結合的協同知識圖上進行異構傳播，分層傳播用戶與項目的表示，在傳播過程中使用知識感知注意力機制區分每層中鄰居的重要性，有選擇地聚合鄰居節點表示，為解決高階傳播過程中存在信息衰減以及知識關聯性減小的問題，通過在協同知識圖的鏈接中自動迭代挖掘用戶的高階潛在興趣，并補充用戶最高階表示，以此增強用戶與項目的最終表示。使用音樂、書籍數據集與當前最經典的推薦模型進行實驗對比，本文算法的推薦效果顯著提升。在未來，計劃將用戶社交網絡結合到本文模型中。將知識圖譜與用戶信息相融合，生成包含用戶信息與項目信息的異質信息網絡，以此更好地建模用戶與項目的交互關系、探索結構語義信息，增強推薦系統的準確性與可解釋性。

參考文獻：

［1］趙俊逸，莊福振，敖翔，等. 協同過濾推薦系統綜述 ［J］. 信息安全學報，2021，6（5）： 17-34. （Zhao Junyi，Zhuang Fuzhen，Ao Xiang，et al. Survey of collaborative filtering recommender systems ［J］. Journal of Cyber Security，2021，6（5）： 17-34.）

［2］Van Balen J，Goethals B. High-dimensional sparse embeddings for collaborative filtering ［C］// Proc of Web Conference. New York： ACM Press，2021： 575-581.

［3］Davis Ⅲ K M，Spapé M，Ruotsalo T. Collaborative filtering with pre-ferences inferred from brain signals ［C］// Proc of Web Conference. New York： ACM Press，2021： 602-611.

［4］Truong Q T，Salah A，Lauw H W. Bilateral variational autoencoder for collaborative filtering ［C］// Proc of the 14th ACM International Conference on Web Search and Data Mining. New York： ACM Press，2021： 292-300.

［5］Ji Shuyi，Feng Yifan，Ji Rongrong，et al. Dual channel hypergraph collaborative filtering ［C］// Proc of the 26th ACM SIGKDD Internatio-nal Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2020： 2020-2029.

［6］Gope J，Jain S K. A survey on solving cold start problem in recommender systems ［C］// Proc of International Conference on Computing，Communication and Automation. Piscataway，NJ： IEEE Press，2017： 133-138.

［7］秦川，祝恒書，莊福振，等. 基于知識圖譜的推薦系統研究綜述 ［J］. 中國科學： 信息科學，2020，50（7）： 937-956. （Qin Chuan，Zhu Hengshu，Zhuang Fuzhen，et al. Survey of recommender system based on knowledge graph ［J］. Scientia Sinica Informationis，2020，50（7）： 937-956.

［8］Chicaiza J，Valdiviezo-Diaz P. A comprehensive survey of knowledge graph-based recommender systems： technologies，development，and contributions ［J］. Information，2021，12（6）： 232.

［9］Wang Xiang，He Xiangnan，Cao Yixin，et al. KGAT： knowledge graph attention network for recommendation ［C］// Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2019： 950-958.

［10］Chen Qinghong，Tan Haobin，Lin Guangyan，et al. A hierarchical knowledge and interest propagation network for recommender systems ［C］// Proc of International Conference on Data Mining Workshops. Piscataway，NJ： IEEE Press，2020： 119-126.

［11］Jung J H，Jung J H，Kang U. Learning to walk across time for interpretable temporal knowledge graph completion ［C］// Proc of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2021： 786-795.

［12］Jia Z，Pramanik S，Roy R S，et al. Complex temporal question answe-ring on knowledge graphs ［C］// Proc of the 30th ACM International Conference on Information amp; Knowledge Management. New York： ACM Press，2021： 792-802.

［13］Guo Liang，Yan Fu，Li Tian，et al. An automatic method for constructing machining process knowledge base from knowledge graph ［J］. Robotics and Computer-Integrated Manufacturing，2022，73： 102222.

［14］Zhang Fuzheng，Yuan N J，Lian Defu，et al. Collaborative knowledge base embedding for recommender systems ［C］// Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2016： 353-362.

［15］Ji Guolaing，He Shizhu，Xu Liheng，et al. Knowledge graph embedding via dynamic mapping matrix ［C］// Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2015： 687-696.

［16］Hu Binbin，Shi Chuan，Zhao W X，et al. Leveraging meta-path based context for top-n recommendation with a neural co-attention model ［C］// Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2018： 1531-1540.

［17］Wang Xiang，Wang Dingxian，Xu Canran，et al. Explainable reasoning over knowledge graphs for recommendation ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2019： 5329-5336.

［18］Wang Hongwei，Zhang Fuzheng，Wang Jiajin，et al. RippleNet： propa-gating user preferences on the knowledge graph for recommender systems ［C］// Proc of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM Press，2018： 417-426.

［19］Wang Hongwei，Zhao Miao，Xie Xing，et al. Knowledge graph convolutional networks for recommender systems ［C］// Proc of World Wide Web Conference. New York： ACM Press，2019： 3307-3313.

［20］Wang Hongwei，Zhang Fuzheng，Zhang Mengdi，et al. Knowledge-aware graph neural networks with label smoothness regularization for recommender systems ［C］// Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2019： 968-977.

［21］Xu Zhuoming，Liu Hanlin，Li Jian，et al. CKGAT： collaborative knowledge-aware graph attention network for top-n recommendation ［J］. Applied Sciences，2022，12（3）： 1669.

［22］Wu Shiwen，Sun Fei，Zhang Wentao，et al. Graph neural networks in recommender systems： a survey ［EB/OL］. （2022-04-02）. http：//doi.org/10.48550/arxiv.2011.02260.

［23］劉佳瑋，石川，楊成，等. 基于異質信息網絡的推薦系統研究綜述 ［J］. 信息安全學報，2021，6（5）： 1-16. （Liu Jiawei，Shi Chuan，Yang Cheng，et al. Heterogeneous information network based recommender systems： a survey ［J］. Journal of Cyber Security，2021，6（5）： 1-16.

［24］Wang Quan，Mao Zhengdong，Wang Bin，et al. Knowledge graph embedding： a survey of approaches and applications ［J］. IEEE Trans on Knowledge and Data Engineering，2017，29（12）： 2724-2743.

［25］Yu Xiao，Ren Xiang，Sun Yizhou，et al. Personalized entity recommendation： a heterogeneous information network approach ［C］// Proc of the 7th ACM International Conference on Web Search and Data Mining. New York： ACM Press， 2014： 283-292.