融合協同過濾信息的知識圖注意力網絡

顧軍華，王 銳，李寧寧，張素琪

（1.河北工業大學人工智能與數據科學學院，天津 300401；2.河北省大數據計算重點實驗室（河北工業大學），天津 300401；3.天津商業大學信息工程學院，天津 300134）

0 引言

近年來，隨著互聯網、大數據技術的快速發展，用戶面臨著信息過載的問題。為了緩解信息過載，推薦系統在電子商務、社交平臺和新聞媒體等提供信息服務的應用中發揮著不可替代的作用。在傳統的推薦系統中，協同過濾算法由于其高效性和健壯性，得到了廣泛的研究和應用。協同過濾算法假設具有相似交互歷史的用戶對物品有相似的喜好，因此需要豐富的用戶交互歷史，使推薦的結果更可靠。然而，基于協同過濾的推薦系統面臨著數據稀疏和冷啟動問題。

知識圖譜（Knowledge Graph，KG）中包含了豐富的物品屬性信息和關聯信息，將知識圖譜作為輔助信息引入推薦系統，可以緩解數據稀疏和冷啟動問題。因此，基于知識圖譜的推薦模型得到了研究人員越來越多的關注。Wang 等提出的知識感知路徑循環網絡（Knowledge-aware Path Recurrent Network，KPRN）將用戶物品二部圖和知識圖譜組合成一個新的知識圖譜，然后使用長短期記憶（Long Short-Term Memory，LSTM）網絡處理新的知識圖譜中連接用戶、物品的多條元路徑，輸出用戶對物品的點擊率。Wang 等提出的知識圖譜卷積網絡（KG Convolutional Network，KGCN）受到圖卷積網絡的啟發，通過在知識圖譜上聚合物品的鄰居節點信息計算物品的向量表示，用于預測用戶對物品的評分。Wang 等提出知識圖譜注意力網絡（KG Attention Network，KGAT）將用戶―物品二部圖與知識圖譜結合，構建協同知識圖，并使用圖注意力網絡計算用戶向量和物品向量，最后采用向量內積的方式計算用戶對物品的評分。Wang 等的協同知識感知注意力網絡（Collaborative Knowledge-aware Attentive Network，CKAN）中提出用戶的向量表示與知識圖譜中實體的向量表示不在同一個向量空間，CKAN 基于圖注意力網絡計算知識圖譜中物品的向量表示，然后結合用戶交互歷史中的物品向量表示計算用戶的向量表示，最后依據用戶向量和物品向量的相似度預測用戶對物品的點擊率。

現有的基于KG 推薦模型存在一個不足：這些模型將用戶物品二部圖（User Item bipartite Graph，UIG）視作KG 的一部分，采取相同的策略處理這兩種信息。但實際上用戶物品二部圖中的協同過濾信息和KG 中實體間的關聯信息的含義并不相同，如果采用相同的方式處理這兩種信息，會導致學習到的用戶向量和物品向量無法準確地表達用戶和物品的特征。舉例來說：如圖1 所示，從UIG 上看，用戶A 與用戶B的交互歷史極為相似，所以《泰坦尼克號》很可能是用戶A 未來會交互的電影。從KG 上看，用戶A 交互歷史中的電影都有相同的屬性“喜劇”和“劇情”，這表明用戶A 對電影的偏好包含“喜劇”和“劇情”。如果將UIG 的信息和KG 的信息混合，那么通過｛用戶A，阿甘正傳，用戶B，泰坦尼克號｝的信息傳播路徑，KG 中與用戶A 無關的實體“愛情”和“悲劇”的信息將會傳遞給用戶A，這將導致推薦結果中出現與用戶偏好完全不符的電影《羅密歐與朱麗葉》。實際上，用戶A 的向量中應該包含《泰坦尼克號》的信息，因為《泰坦尼克號》《阿甘正傳》和《放牛班的春天》都是奧斯卡獎提名電影，看過《阿甘正傳》和《放牛班的春天》的用戶中絕大多數都會觀看《泰坦尼克號》，而這種關聯與KG 的屬性信息無關，所以用戶A的向量中不應該包含《泰坦尼克號》的屬性“愛情”和“悲劇”。

圖1 用戶物品二部圖和知識圖譜結合的例子Fig.1 Example of the combination of user item bipartite graph and knowledge graph

為了克服上述基于KG 推薦系統的局限性，本文提出了融合協同過濾信息的知識圖注意力網絡（Knowledge Graph Attention Network fusing Collaborative Filtering information，KGANCF）。該模型采用協同過濾層和知識圖注意力層充分挖掘協同過濾信息和KG 中實體關聯信息，避免了將二者相混淆影響推薦結果的準確性；在知識圖注意力嵌入層中，模型結合用戶和物品的協同過濾信息計算KG 中用戶、物品關聯實體的注意力權重，充分地利用了用戶物品二部圖中包含的用戶與用戶、物品與物品的相似性，強化了相似項目的特征表示。

1 相關工作

下面從協同過濾推薦和基于KG 的推薦兩個方面介紹與本文相關的工作。

協同過濾推薦算法是推薦系統中應用最為廣泛的算法。協同過濾算法認為：用戶的交互物品表達了用戶的直接偏好信息；物品的交互用戶表達了物品的特征信息。以此為依據，協同過濾算法分為基于物品的協同過濾和基于用戶的協同過濾?；谖锲返膮f同過濾計算物品間的相似度矩陣來衡量目標物品與用戶交互歷史中物品的相似度，從而預估用戶對目標物品的喜好程度；基于用戶的協同過濾計算用戶間的相似度矩陣，尋找與當前用戶相似的用戶，然后依據相似用戶的交互歷史進行推薦。

基于KG 的推薦在協同過濾推薦方法的基礎上結合從KG 中學習到用戶、物品的屬性信息，計算用戶和物品的向量表示，然后用向量內積的方式評價用戶對物品的喜好程度。這類方法的研究重點在于如何將KG 中的屬性信息融入到用戶向量和物品向量中。近年，受卷積網絡的啟發，基于圖信息傳播的方法得到快速發展。KGCN對KG 中每個節點的鄰居進行采樣，基于節點間的關系計算鄰居的權重，最終依據鄰居的權重聚合鄰居信息到中心節點上；KGAT結合用戶物品二部圖和KG，構造協同知識圖，然后在協同知識圖上應用圖注意力網絡聚合用戶和物品的鄰域信息。這類方法能夠結合KG 的全局信息豐富用戶和物品的向量表示。

2 本文模型

如圖2 所示，KGANCF 模型主要分為三個部分：1）協同過濾層，對于輸入的目標用戶

u

和待推薦物品

v

，從UIG 中提取相應的協同過濾信息，得到用戶的協同過濾向量

u

、物品的協同過濾向量

v

和用戶所有交互物品的協同過濾向量集合{

v

，

v

，…，

v

}；2）知識圖注意力嵌入層，基于注意力機制，從KG 中聚合用戶交互物品集合{

v

，

v

，…，

v

}和待推薦物品

v

在KG 中的鄰域信息，得到用戶和物品的KG 屬性向量

u

和

v

；3）預測層，通過神經網絡結合前兩步中得到的協同過濾向量（

u

和

v

）和KG 屬性向量（

u

和

v

）得到用戶和物品的最終向量表示

u

和

v

，預測用戶對物品的點擊率

y

(

u

，

v

)。

圖2 本文模型架構Fig.2 Proposed model architecture

2.1 協同過濾層

本文模型首先通過協同過濾層提取UIG 中包含的協同過濾信息。協同過濾信息是從用戶交互歷史中反映出的影響用戶決策的潛在因素。例如用戶觀看一部電影，除了該電影符合用戶的偏好以外，還有可能受到從眾心理（許多用戶都觀看了這部電影）、宣傳效應（看到了該電影的廣告）等外在因素影響，這些因素對用戶的影響直接反映在用戶的交互歷史上。因此，協同過濾信息包含的范疇大于KG 中包含的特定屬性信息，正如圖1 的例子，《泰坦尼克號》和《阿甘正傳》《放牛班的春天》同為廣受用戶好評的奧斯卡獎電影，但是這個信息并不包含在KG 中。

在第1 章介紹協同過濾算法的相關工作中提到，協同過濾算法認為：用戶的交互物品表達了用戶的直接偏好信息；物品的交互用戶表達了物品的特征信息?；谠摷僭O，協同過濾層通過圖卷積操作聚合UIG 中節點的鄰域信息，得到用戶和物品的協同過濾向量表示。圖卷積操作的定義如下：

其中：

u

和

v

為經過

k

層卷積后的用戶

u

和物品

v

的向量表示，

N

代表用戶

u

的交互物品集合，

N

代表物品

v

的交互用戶集合。經過

K

層卷積后，模型結合各層卷積的結果獲得用戶和物品的協同過濾向量：

其中：

α

是每層嵌入向量的權重，其值被設置為1/（

K+

1）。

為了從整體角度理解圖卷積，便于進行批處理，這里給出每一層卷積的矩陣形式：

其中：

A

是用戶物品二部圖中節點的鄰接矩陣，

D

是用戶物品二部圖中節點的度矩陣，

E

是用戶物品二部圖中節點的嵌入向量矩陣。

2.2 知識圖注意力嵌入層

在2.1 節提到，用戶的交互物品表達了用戶的偏好信息。更進一步，用戶的交互物品在KG 中關聯的實體體現了用戶偏好的具體物品屬性。同樣的，待推薦物品的具體屬性由其在KG 中的關聯實體確定。用戶

u

和物品

v

在KG 上的初始屬性實體集合如下：

其中：

G

代表KG 中所有實體和關系的集合；

y

為用戶和物品的交互關系，值為1 為用戶

u

交互過物品

v

。從初始實體集合出發，模型對集合中實體的鄰居進行逐層采樣，從而得到用戶

u

和物品

v

在KG 上的屬性信息。采樣得到的屬性實體集合定義如下：

通過逐層采樣用戶

u

和物品

v

的鄰居節點，可以得到用戶和物品在KG 中的相關屬性實體信息，從而豐富用戶和物品最終的向量表示。

KG 中，由不同的關系連接的屬性實體對用戶（或物品）的重要程度是不同的，相似的用戶（或物品）會有相似的偏好（屬性）特征。舉例來說，用戶A 觀看某部電影，因為這部電影與他之前看過的電影有相同的主演；用戶B 挑選電影的時候可能更關心電影的導演；而與A 相似的用戶C，同樣會更關注電影的主演。為了描述這種關系，知識圖注意力嵌入層在聚合KG 中的實體信息時，結合用戶（或物品）的協同過濾信息和KG 中實體間的關系來確定某個屬性實體的重要程度。

假設三元組（

h，r，t

）是用戶

u

的第

l

層屬性實體集中某個實體

t

所在的一個三元組，定義

t

添加注意力權重后的向量表示為

a

：

其中：

u

是2.1 節得到的用戶協同過濾向量，

e

和

e

分別為關系

r

和實體

t

的向量表示，

π

（

u

，e

）是

t

的注意力得分函數。

π

（·）的定義如下：

其中：注意力網絡前兩層的非線性激活函數為線性整流（Rectified Linear Unit，ReLU）函數，最后一層的激活函數為Sigmoid函數，

||

為拼接操作，

W

和

b

是待學習的參數，

r′

為與屬性實體

t′

對應的關系。聚合多層屬性信息得到用戶的第

l

層屬性向量表示：

同樣方式可以計算出物品的第

l

層屬性向量表示：

然后，將用戶

u

和物品

v

各自的

k

層屬性向量拼接，得到用戶和物品的KG 屬性向量：

2.3 模型預測

模型的預測層將前兩步得到的協同過濾向量和KG 屬性向量結合在一起得到用戶

u

和物品

v

最終的向量表示：

模型采用

u

與

v

的向量內積來衡量用戶

u

對物品

v

評分：

最終，模型的損失函數定義為：

其中：

Γ

是交叉熵損失函數；

P

是用戶交互的正例集，

P

是用戶交互的負例集；

θ

是模型待訓練的參數；

λ

是超參數，用來控制

L

2 正則化項。

3 實驗與結果分析

本章基于電影和音樂領域公開的數據集進行實驗驗證模型的有效性，并討論模型結構和參數對實驗結果的影響。

3.1 數據集

實驗選用電影推薦和音樂推薦兩個場景下的公開數據集測試模型的性能。Last.FM 數據源自Last.FM 在線音樂平臺，數據集中包含大約2 000 名用戶的音樂交互信息。MovieLens-20M 是電影推薦場景下應用最廣泛的公開數據集之一，其中包含了約2 000 萬條用戶的電影評分信息。實驗將數據集按照6∶2∶2 的比例隨機分為訓練集、驗證集和測試集。詳細的數據統計結果見表1。

表1 實驗使用的數據集Tab 1 Datasets used for experiment

3.2 參數設置

模型采用Xavier initializer來初始化模型參數，訓練的批次大小設置為1 024。

超參數值的選取范圍如下：學習率

Lr

在｛10，5×10，10，5×10｝中選擇，

L

2 正則化項的系數

λ

在｛10，10，10，10｝中選擇，嵌入向量的維數

d

在｛8，16，32，64，128｝中選擇，用戶和物品KG 屬性集的大小

S

和

S

在｛4，8，16，32，64｝中選擇。經過實驗驗證，模型最佳參數設置見表2。

表2 實驗參數設置Tab 2 Experiment parameter setting

3.3 實驗對照

為了驗證模型的有效性，將KGANCF 與以下模型進行對比：

1）協同知識嵌入（Collaborative Knowledge base Embedding，CKE）是一個經典的將協同過濾算法與KG、文本等輔助信息相結合的模型。CKE 基于TransR 算法從KG 得到物品的屬性信息，用于增強用戶、物品的向量表示。

2）KGCN將圖卷積網絡推廣到知識圖推薦領域。通過對知識圖節點進行鄰域信息的聚合從而挖掘KG 中實體間的高階關聯信息，用以豐富用戶和物品的向量表示。

3）KGAT將用戶物品二部圖與KG 結合為協同KG，并采用注意力機制聚合用戶和物品的鄰居信息，得到用戶和物品的向量表示。

4）CKAN基于注意力機制提取KG 的屬性信息，然后通過協同過濾傳播將KG 屬性信息傳遞給用戶和物品，從而得到用戶和物品的向量表示。

3.4 實驗結果

模型按照3.2 節中的參數設置，采用F1 分數（F1-score）和曲線下面積（Area Under Curve，AUC）作為推薦結果的評價指標，經過多次實驗后得到表3 所示的結果。采用召回率（Recall）作為Top-

k

推薦實驗的評價指標，得到實驗結果見圖3。

表3 點擊率預測的AUC和F1結果Tab 3 Results of AUC and F1 in CTR prediction

圖3 Top-k推薦的Recall@k結果Fig.3 Results of Recall@k in Top-k recommendation

觀察實驗結果可以發現，KGANCF 性能相較于對比模型在音樂推薦和電影推薦場景下取得了明顯的提升。可以得出如下結論：

1）經典的嵌入方法（CKE）的表現整體遜色于基于信息傳播的方法（KGCN、KGAT）。這是因為基于信息傳播的方法可以更好地挖掘出KG 中的高階關聯，從而獲得更好的用戶物品向量表示。

2）與KGCN 相比，加入注意力機制的模型（KGAT、CKAN和KGANCF）取得了更出色的結果，說明結合注意力機制得到的用戶向量和物品向量可以更加準確地表達用戶和物品的特征信息。

3）本文KGANCF 在Last.FM 數據集上的表現遠超其他對比方法，原因是Last.FM 數據集相較于MovieLens-20M 數據更為稀疏，側重對KG 建模的方法難以從KG 復雜的關系中準確地提取出對用戶、物品有用的特征。KGANCF 可以更有效地從用戶交互歷史中提取出用戶物品的協同過濾信息，然后結合KG 屬性信息得到更可靠的用戶特征和物品特征。

4）在KG 數據量更大，數據更稠密的MovieLens-20M 數據集上，KGANCF 同樣取得了最好的表現，說明充分挖掘協同過濾信息對推薦的重要性。

3.5 模型結構分析

為了討論協同過濾層和知識圖注意力嵌入層對實驗結果的影響，本節通過進一步實驗討論對比不同網絡結構下AUC 值的大小。

首先固定知識圖注意力嵌入網絡層數為1，調整協同過濾層網絡的結構，層數分別設置為1、2、3、4。實驗結果見表4。觀察結果可以得到結論：在協同過濾網絡取3 層，知識圖注意力嵌入網絡取1 層時模型取得了最佳性能。這說明了充分挖掘UIG 中用戶行為特征的必要性；此外，當網絡層數較小時，模型無法充分挖掘協同過濾信息，而模型層數較深時，引入了無關節點的特征信息，導致推薦結果準確性開始下降。

表4 協同過濾層數對AUC的影響Tab 4 Influence of number of collaborative filtering layers on AUC

下一步，在協同過濾網絡取3 層的基礎上調整知識圖注意力嵌入層的網絡層數，對比AUC 的大小，結果見表5。觀察實驗結果可以發現，隨著知識圖注意力嵌入網絡層數加深，AUC 值逐漸下降。出現該結果的原因是KG 中物品高階鄰居實體包含了與用戶、物品不相關的屬性信息，這部分“噪聲”干擾了推薦結果。因此，在提取KG 中的屬性信息時，精簡網絡層數可以取得更好的結果。

表5 知識圖注意力嵌入層對AUC的影響Tab 5 Influence of number of knowledge graph attention embedding layers on AUC

4 結語

本文提出了一個推薦模型KGANCF。該模型深入挖掘用戶交互歷史中的協同過濾信息得到用戶和物品的協同過濾向量，然后通過知識圖注意力嵌入層，結合協同過濾信息篩選與用戶、物品密切相關的KG 屬性信息進一步豐富用戶、物品的向量表示，避免了將協同過濾信息和KG 屬性信息相混淆，干擾推薦結果準確率的問題。實驗結果表明，本文模型的效果優于對比方法。在未來的工作中，模型需要進一步解決的問題有：1）KG 節點的高階鄰域信息對中心節點特征的重要性；2）在協同過濾層中，特征向量間的權重目前靠手工設置的超參數確定，未來可以通過自適應的方法學習這個參數。