一種改進的知識圖注意力網絡推薦模型

王志寅

（太原師范學院計算機科學與技術系，晉中 030600）

0 引言

隨著信息技術的高速發展，數據爆炸帶來的信息過載問題尤為顯著。為了有效解決信息過載問題，方便用戶從海量數據中找到其感興趣的內容，研究人員提出使用推薦系統的方法來為用戶提供精準的個性化推薦服務。基于協同過濾（collaborative filtering，CF）的推薦算法［1］考慮用戶歷史交互數據，并根據用戶之間可能存在的共同偏好進行推薦，在推薦準確性上獲得了顯著的提高，但依然存在冷啟動和稀疏性等問題。為緩解這一問題，通常會將社交網絡［2］和用戶/項目屬性［3］等輔助信息與推薦系統相融合。

在各類型的輔助信息中，知識圖譜（knowledge graph，KG）作為輔助信息輔助推薦已引起了廣泛的研究，這類方法不僅可以有效緩解冷啟動和稀疏性問題，還能為用戶提供更準確且更具可解釋性的推薦結果。KG是一種有向異構圖，其中節點對應實體，邊對應實體之間的關系，可以用來描述真實世界存在的各種實體或概念，以及他們之間的關系。基于知識圖譜的推薦系統主要利用KG中豐富的關系信息挖掘用戶與項目之間可能存在的聯系，在為用戶提供精準推薦的同時給推薦結果帶來可解釋性。

目前，基于知識圖譜的推薦系統大體上可以分為基于路徑的方法和基于嵌入的方法。其中，基于路徑的方法［4-6］通過知識圖譜挖掘用戶與物品之間的多種關系信息，并根據挖掘路徑的信息構造推薦算法。這類方法嚴重依賴于人工設計的元路徑，存在無法實現端到端的訓練，延展性不夠以及信息丟失等問題。基于嵌入的方法主要通過圖嵌入的方式對實體和關系進行表征，進而擴充原有物品和用戶表征的語義信息。其中，文獻［7］提出的協同知識嵌入（collaborative knowledge base embedding，CKE）模型通過在知識圖譜上學習物品相關實體的結構化知識來進一步擴充物品的語義向量，進而實現對用戶的推薦。基于嵌入的方法能夠利用KG來輔助推薦系統，具有很高的靈活性，但是在嵌入時難以考慮到用戶興趣偏好在實體關系傳播過程中的影響，忽略了用戶的潛在偏好。

為了充分利用KG中的信息，文獻［8］提出的RippleNet模型首次將路徑信息與實體嵌入表示相結合，該模型從用戶初始興趣集合出發，沿著知識圖譜進行鄰域多跳傳播來模擬用戶興趣偏好的傳播，能夠不斷自動地發現用戶潛在的興趣。文獻［9］提出的KGAT推薦模型則將用戶交互歷史和知識圖譜相結合，以端到端的方式顯式，對圖中的高階關系進行建模，遞歸地傳播來自鄰居節點的嵌入，并使用注意力機制來區分鄰居的重要性，最終通過聚合用戶和物品的嵌入表示來進行推薦。由于該模型在整個知識圖譜上傳播信息，容易引入不相關的實體，導致最終的用戶和物品表示易受噪聲的影響。針對這一問題，本文基于KGAT模型提出了新的改進方法，開展了如下的工作：

（1）改進注意力得分策略，以使相似實體之間能夠傳遞更多的信息。

（2）針對噪聲影響，研究噪聲過濾策略，以降低信息傳播過程中的噪聲影響，優化節點嵌入。

（3）基于工作（1）和（2），提出改進的KGAT推薦模型，并在兩個公共數據集Amazon-Book和Last-FM上分別進行對比實驗，以證明模型的有效性。

1 相關工作

1.1 TransR

基于翻譯模型（Trans系列）的知識表示學習是目前對知識圖譜中的實體和關系進行表征的主要方法，這類方法將KG中的實體和關系映射到低維空間中來進行計算和推理。

文獻［10］提出了多元關系數據嵌入（TransE）算法，它通過簡單建模將實體和關系嵌入到低維空間中，解決了已有的一些方法存在的模型復雜、不易拓展等問題，同時具有很強的可解釋性。

TransE基于實體和關系的分布式向量表示，將每個三元組實例(h,r,t)中的關系r看作從實體h到實體t的翻譯（translation），通過不斷調整h、r和t的向量表示，使h+r盡可能與t相等，即h+r≈t。

目前這種方法相對于其他方法在知識表示學習上有更好的表現，在后續的研究中TransE作為知識向量表示的基礎，衍生出了很多變體，TransR［11］就是其變體之一。TransR算法中，一個實體具有多個不同的方面，不同關系關注實體的不同方面，而不同的關系又擁有不同的語義空間。TransR的基本思想如圖1所示，對于每個三元組(h,r,t)，將實體空間中的實體h和t通過關系r的投影矩陣Wr投影到r的關系空間中，分別記為hr和tr，那么會有hr+r≈tr，實體的空間轉化公式為

特定關系的投影可以使擁有這種關系的頭/尾實體彼此靠近，同時那些沒有這種關系的實體相互遠離，三元組的得分函數為

根據式（2）可知，三元組得分越低，說明映射到r空間的頭實體和尾實體越靠近，三元組更有可能是正確的，反之亦然。

1.2 KGAT模型

KGAT模型基于協同知識圖（collaborative knowledge graph,CKG）構建，該方法將圖譜關系信息及用戶交互歷史融合到一個圖空間，這樣就可以融合協同過濾信息及KG信息，同時也可以通過CKG發現高階的關系信息，模型框架如圖2所示。

KGAT模型主要由三部分組成：

（1）嵌入層，保留CKG的結構，使用TransR學習節點和邊的向量表示。

（2）注意力嵌入傳播層，通過遞歸傳播節點鄰居的嵌入信息來更新節點表示，并在傳播過程中通過注意力機制為鄰居節點分配不同的權重，用以區分鄰居節點的重要性。

首先，令Nh={(h,r,t)|(h,r,t)∈G}表示h是頭實體的三元組的集合，則傳遞所有以h為頭實體的三元組(h,r,t)的尾向量et的信息為

其中π(h,r,t)是衡量消息(h,r,t)重要程度的權重，表示有多少信息以r為條件從尾實體向量et傳遞到頭實體向量eh，權重越大，則傳遞的信息越多，其具體的實現如下：

其次，對注意力得分采用softmax函數進行標準化，即：

最后，采用雙交互（Bi-Interaction）聚合器聚合所有傳播層的用戶和項目的表示為

其中，W1,W2∈Rd'×d為可訓練權重矩陣，⊙表示元素乘積。雙交互聚合器考慮eh和eNh之間的特征交互，目的是使得傳播的信息更關注eh和eNh之間的關聯性，從而使相似的實體之間傳遞更多的消息。

（3）預測層，經過L層傳播，最終得到用戶節點u的多個表示形式，即同樣地，可以得到項目節點i的多個表示形式，即由于不同傳播層的輸出強調不同階的連通信息，所以采用層聚合機制［12］將每一層的表示聚合成一個向量：

其中‖是拼接操作，通過調整L來控制嵌入傳播的階數，豐富初始嵌入。最后，對最終的用戶表示e*u和項目表示e*i進行內積來預測它們的匹配得分：

2 改進的KGAT模型

2.1 模型框架

針對KGAT模型在整個知識圖譜上進行傳播，容易引入不相關的實體的問題，本文對其提出改進，將注意力嵌入傳播層替換為注意力機制嵌入和信息過濾兩個部分，改進后的模型框架如圖3所示。

2.2 注意力機制嵌入

KGAT模型的主要優勢在于不僅利用了圖的鄰近結構，還規定了相鄰節點的不同重要性，實現了在傳播過程中傳遞更多信息的功能。

由于KGAT模型采用內積計算注意力得分，容易導致一些不相似的節點仍然有較高的注意力得分，違背客觀。因此，對節點的注意力得分機制進行了改進。首先，在注意力機制嵌入中，節點在關系空間r的相似度通過歐式距離計算，并將兩個節點的相似度作為節點的注意力得分；其次，結合TransR算法的思想，即若三元組關系(h,r,t)能滿足Wreh+er≈Wret，那么所獲得的權重就越大，由于充分考慮了節點之間的距離因素，更有利于傳播信息時實體之間的相互靠近。式（4）中的注意力得分π(h,r,t)的改進為

其中dist(X,Y)表示兩個向量之間的歐氏距離。改進后的注意力嵌入機制使在關系空間r下兩個距離更近的節點之間具有更高的注意力得分，從而使更相似的實體之間傳遞更多的信息，有效降低了實體所包含的信息的損失。

2.3 信息過濾

KGAT模型在整個知識圖譜上傳播信息，容易引入噪聲，從而導致實體的最終表示中包含不相關的實體的信息，進而直接影響推薦結果的準確性。改進的KGAT模型通過設置閾值來過濾注意力得分較小的三元組，旨在使相似度較低的實體不傳播信息，降低KGAT模型在信息更新過程中噪聲的影響，過濾后的三元組集合的注意力得分的標準化采用了softmax函數，即：

其中

表示所有注意力得分不小于閾值的三元組集合，α為注意力得分閾值。

標準化后的注意力得分能夠提示哪些鄰居節點在傳播中更需要被關注，并且在執行傳播時，能夠提高相似度高的相鄰節點之間的邊的權重，進而使模型在傳播時更加關注得高分的節點，同時模型的偏好傳播行為更具有可解釋性。

3 實驗與結果分析

3.1 實驗數據集

本文使用了兩個公開的數據集來驗證方法的有效性：

（1）Amazon-Book是一個圖書評分數據集，是產品推薦數據集Amazon-review中的一部分。

（2）Last-FM是用戶收聽音樂的數據集。取時間戳從2015年1月到2015年6月的數據集的子集。

所有數據集的統計結果匯總見表1。

對于每個數據集，隨機選取每個用戶交互歷史的80%作為訓練集，其余作為測試集。從訓練集中，隨機抽取10%的交互歷史作為驗證集來調優超參數。將觀察到的每個用戶和物品的交互視為一個正項，采用負抽樣策略，將其與一個用戶之前沒有交互過的負項配對。

3.2 結果對比

本文采用兩種廣泛使用的評價指標來評估Top-K推薦和偏好排序的有效性，分別為召回率（recall）和歸一化折損累計增益（normalized discounted cumulative gain，ndcg）。

為了證明本文方法的有效性，用本文提出的改進模型與以下的基線模型進行對比，其對比結果在表2中呈現：

（1）FM［13］是一個基準因子分解模型，以線性的方式學習二階特征交互。

（2）NFM［14］是一種將FM包含在神經網絡中的先進的分解模型。

（3）CKE將協同過濾與結構知識、文本知識和視覺知識統一在一個推薦框架中。

（4）CFKG［15］模 型將TransE應 用于包含 用戶、項目、實體和關系的統一圖上，將推薦任務轉化為(u,Interact,i)三元組的可信性預測。

（5）MCRec利用基于元路徑的上下文和神經共同注意力模型進行Top-N推薦，它提取合格的元路徑作為用戶和項目之間的連接。

（6）RippleNet模型利用水波紋的思想模擬用戶的偏好傳播，不斷挖掘用戶的潛在興趣。

（7）GC-MC［16］采用GCN編碼器對圖結構數據進行編碼。

如表2所示，本文提出的改進模型在兩個公共數據集上的recall和ndcg指標與基線模型相比都有提高。其中，在Amazon-Book和Last-FM上與基線模型中表現最佳的KGAT模型相比，對應的recall有1.54%和1.03%的提升，而對應的ndcg有1.68%和1.96%的提升。

表2 實驗結果對比

3.3 閾值的設置與選擇

為了證明本文模型在注意力嵌入傳播層上改進的有效性，對不同的閾值α，α∈[]0,1，根據式（11）計算注意力得分，并在Amazon-Book數據集上進行對比實驗，實驗結果如圖4和圖5所示。

首先，從圖中可以看出，當改進后的模型不設置閾值，即α為0時，對應的recall和ndcg分別為0.1501和0.1013，均優于KGAT模型的實驗結果，證明了本文改進注意力機制嵌入的有效性。

其次，從圖中還可以看出，隨著閾值α從0開始增長，對應的recall和ndcg指標也隨之提高，但當α增長到一定程度后，性能開始呈現下降趨勢。從圖中可以看到，閾值α為0.4時效果達到最佳。

實驗結果表明，閾值太小，容易引入不相關的實體，導致實體的最終嵌入表示受噪聲的影響；閾值太大，過濾的節點過多，導致不能充分聚合鄰居節點的信息，實體的最終嵌入表示不能有效表示節點包含的豐富信息。

4 結語

本文對KGAT模型進行了改進，通過改變注意力得分機制，降低了信息傳播過程中的損失；通過增加信息過濾策略，降低了噪聲影響，優化了節點嵌入。在兩個公共數據集上的實驗對比，證明改進模型是有效的。