融合知識圖譜的雙線性圖注意力網絡推薦算法

潘承瑞，何靈敏，胥智杰，王修暉，宋承文

1.中國計量大學 信息工程學院，杭州310000

2.中國計量大學 浙江省電磁波信息技術與計量檢測重點實驗室，杭州310000

隨著互聯網事物的快速發展，網絡信息隨之爆炸式增長。為了在海量數據中準確挖掘用戶興趣，推薦算法應運而生，它能夠根據用戶的歷史行為，為用戶推薦可能感興趣的事物，以克服信息過載的問題。

為解決傳統協同過濾[1]的數據稀疏和冷啟動問題，近十年來，在推薦系統中引入輔助信息成為學術界的探索方向。知識圖譜[2]作為一種結構化輔助信息，由于其儲存了用戶、物品、屬性之間的關系，蘊含著豐富的語義，所以能提高推薦結果的準確性、多樣性和可解釋性[3-5]。具體方法是將用戶-項目交互圖和用戶或項目知識圖譜融合為協同知識圖——Colloborative Knowledge Graph（CKG）[6]，在CKG 上基于用戶的歷史交互記錄，充分挖掘用戶偏好。

為了在CKG 的網絡結構中發掘用戶的潛在興趣，需要建立CKG 中的高階連通性，而建模協同知識圖的方法，可分為兩類：基于路徑和基于圖嵌入的方法[7]。以上兩種方法，前者將知識圖譜分解為一條條獨立的線性路徑[8]，后者僅獲取用戶或項目的直接鄰居信息，兩種方法都沒有建立圖上的高階連通性。

為解決現有模型無法捕獲CKG中高階連通性的問題，本文基于近年來在圖數據上初步興起的圖注意力網絡[9]，融合知識圖譜，通過圖注意力網絡的遞歸傳播過程捕獲圖中節點的高階連通性。雖然圖注意力網絡具有強大的表示能力，但是在信息傳播和聚合過程中，忽略了鄰居節點間特征交互的重要性。而因子分解機FM[10]通過引入二階特征交互獲得的巨大成功啟示人們考慮節點交互可能帶來的收益，即通過特征交互，用戶的一些潛在偏好能夠被挖掘。因此本文在上述框架基礎上設計了一種新的雙線性信息采集器，它明確地建模兩個節點之間的交互，并聚合所有的交互結果，以增強中心節點的表示，最終提出了一個有效的推薦模型：融合知識圖譜的雙線性圖注意力推薦模型——KG-BGAT（Fusion Knowledge Graph and Bilinear Graph Attention Network）。本文的主要貢獻如下：

（1）將基于協同過濾的推薦方法和知識圖譜融合到統一的推薦框架中，設計了一個端到端的協同知識圖推薦模型，該模型克服了用戶-項目交互記錄間相互獨立的弊端，能夠獲取用戶基于項目屬性的協同信號。

（2）基于圖注意力網絡，設計了雙線性采集器，并結合線性采集器，遞歸地聚合鄰居節點的特征交互信息和線性加權信息。這種顯式地編碼圖中節點交互關系和高階關系的方式，使得模型能夠捕獲協同知識圖中基于節點間特征交互的豐富語義和高階連通性。

1 相關工作

Rendle[10]提出的因子分解機是一種將矩陣分解[11]廣義化的模型。因子分解機與矩陣分解相比，能夠引入除用戶和項目ID外的輔助信息，更重要的是，因子分解機引入了特征間的二階交互，使模型具備了生成高維組合特征的能力，大大提高了推薦性能。

為了融合更多的輔助信息，Zhang 等人[4]提出一種基于嵌入的方法：融合結構化信息——知識圖譜，以及非結構化信息——文本和圖像信息的CKE模型。該模型通過圖嵌入方法編碼知識圖譜信息，驗證了引入結構化知識可以提高推薦結果的準確性。Sun等[12]提出了一種基于路徑的遞歸知識圖嵌入方法——RKGE，它首先提取知識圖譜中用戶-項目之間的連接路徑，用來表示用戶和項目之間的各種語義關系，然后通過循環神經網絡對這些路徑進行編碼。

除了上述單純基于圖嵌入或基于路徑的方法外，近年來開始出現同時融合以上兩種方法的工作，被稱為基于傳播的方法[13]。該方法將節點嵌入沿圖中的邊進行傳播，以捕獲用戶的潛在興趣。如Wang 等[14]提出RippleNet，它將用戶的歷史交互項目作為種子，以類似于水波的形式向外傳播用戶偏好，自動挖掘用戶到候選項的路徑。得益于學術界在圖結構數據上的探索，近年來出現的圖神經網絡GNN 更擅長學習圖結構數據。隨后，將知識圖譜與圖卷積網絡[15]相結合，提出了知識圖卷積網絡KGCN[16]，該模型首先獲取候選項一個設定跳數的鄰居集合，然后由外向內的將各個節點周圍的信息聚合到中心節點，最終聚合到候選項的表示上，由此獲取候選項周圍的鄰近信息。

圖卷積網絡中鄰居節點信息聚合到中心節點時采用的是均值聚合，考慮到該做法會引入較多噪聲，文獻[9]等提出的圖注意力網絡GAT使用注意力機制來替代靜態歸一化卷積運算，使得模型能夠對不同的鄰居節點指定不同的權值，避免鄰居節點信息量過大帶來的噪聲影響。

2 KG-BGAT架構

本文提出的網絡模型結合了知識圖譜和圖注意力網絡，在推薦模塊中，引入了電影項目的知識圖譜，將其作為推薦系統的輔助信息，之后基于圖注意力網絡，設計了雙線性信息采集器，結合線性信息采集器，對用戶、項目和知識圖譜中實體（如電影類型、導演、演員）的交互信息和高階關系進行建模，以捕獲用戶的深層興趣。模型結構如圖1所示，它包含3個主要組件：（1）嵌入層；（2）基于節點交互和注意力的嵌入傳播層；（3）預測層。本章將詳細介紹模型結構，在正式介紹模型結構之前，先介紹一下相關概念和任務目標。

2.1 相關概念和任務目標

2.1.1 協同知識圖譜

本文構建的協同知識圖譜是將用戶-項目交互圖G1和項目知識圖譜G2融合為統一的協同知識圖G。G1的定義為{ }(u,Interact,i)|u∈U,i∈I，U和I分別代表用戶和項目集合；Interact表示用戶u在項目i上有交互記錄。G2由實體-關系-實體的三元組表示，刻畫了現實世界中項目在其屬性上的相互關聯，三元組的表現形式為{(h,r,t)|h,t∈E,r∈R} ，其中h、t分別表示頭實體和尾實體；r為兩個實體之間的關系；E是實體的集合，在項目知識圖譜G2中代表項目和項目屬性所指向的實體，例如本文項目知識圖譜中的實體是電影、電影類型、導演和演員；R為實體間關系的集合。

圖1 KG-BGAT整體框架圖

構建協同知識圖G時，先分別基于用戶-項目交互歷史和項目知識圖譜構建G1、G2，之后以項目為橋梁，將G1、G2整合為一張圖：

其中，E′=U?E，R′={ }Interact?R。需要注意的是，本文構建的協同知識圖G為無向圖，即R具有正方向和反方向，以此為G中每個節點采集其所有相鄰節點的信息。

2.1.2 任務目標

本文推薦系統的任務目標如下。

輸入：協同知識圖G，G中包含用戶-項目交互圖G1 和項目知識圖譜G2。

輸出：一個預測函數，用來計算用戶u與候選項目i產生交互的概率值。

本文重點在于如何利用協同知識圖G捕獲實體間的特征交互信息，并在此基礎上建立實體間的高階連通性，以下三節將從模型結構進行介紹。

2.2 嵌入層

模型嵌入層是將協同知識圖G的結構信息進行編碼，為圖中的每個實體和關系生成低維連續空間中的嵌入向量，并盡量保持圖的結構信息。知識圖嵌入的主流方法是基于TransE及其變體的平移距離模型，該類嵌入方法使用基于距離的評分函數，被廣泛應用于結合知識圖譜的推薦算法中[4，17-18]。

平移距離模型主要有TransE、TransH、TransR等，本文采用TransR[19]方法生成嵌入向量，原因在于TransR考慮到相同實體在不同關系上應有不同的語義，通過額外引入關系空間，從而在計算兩個實體間的距離時，實現了在特定關系空間上的考量[7]。嵌入層中生成的表示向量有以下兩點作用：（1）將圖的結構信息注入模型，為推薦系統提供了豐富的輔助信息；（2）在注意力機制中，通過實體和關系的嵌入向量，可以衡量三元組的頭尾實體在特定關系r上的相似度，從而控制嵌入傳播層中某一實體傳遞到另一實體的信息量。

TransR的基本方法是：在協同知識圖G中，在某個特定關系r上，不斷學習三元組(h,r,t)中實體和關系的嵌入，使得，這里er是關系r的嵌入向量，分別是頭實體和尾實體在關系r空間中的嵌入向量。對于任意給定的一個三元組(h,r,t)，不管它是否真正在G中存在，用如下距離公式描述其真實性：

其中，Mr∈?k×d是關系r的變換矩陣，用來將實體從d維的實體空間投影到k維的關系空間中；||·||2表示L2正則化，以防止過擬合。這里，得分越低的g(h,r,t)表示給定的三元組越有可能是在G中真實存在的。

TransR 的訓練考慮到真實三元組與虛假三元組之間的相對順序，并通過兩兩的排名損失來考量區別：

對G中任意一個實體h，記嵌入層中為該實體生成的嵌入向量為，上標的數字表示未聚合任何階數的鄰居信息，是h本身的嵌入向量。

2.3 基于節點交互和注意力的嵌入傳播層

在介紹嵌入傳播層之前，先根據圖1介紹相關概念和符號：對協同知識圖G中的某個中心節點h，{h|h∈′} ，′為2.1.1 小節中引入的符號，表示協同知識圖G中的所有實體集合，記N(h)為h的鄰居集合，其定義為：N(h)={t|(h,r,t)∈G} ，N(h) 記錄了G中與h相連的所有鄰居節點，不包含h本身；記(h)為包含h的鄰居集合：(h)={h} ?N(h)；d(h)表示節點h的鄰居個數，d(h)=|N(h) |；~(h)為集合(h)中的元素個數，(h)=|(h) |=d(h)+1。

對于目標節點h，嵌入傳播層旨在將N(h)中的線性加和信息以及N~ (h)中的節點交互信息迭代地聚合到中心節點h的表示中，以捕獲h與l階鄰居的高階連通性以及鄰居間的特征交互信息。

同樣以圖1中的i3節點為例，先概述嵌入傳播層如何采集并傳播信息：（1）信息采集單元分別使用線性采集器Linear Collector和雙線性采集器Bilinear Collector采集上述兩種信息，線性采集器對N(i3)中的3個節點做線性加和，記收集的信息為LC(i3)，LC(i3)+，其中，π是根據注意力機制計算的系數；雙線性采集器收集N~ (i3)中4 個節點的兩兩特征交互信息，記收集的信息為BC(i3)系數取，因為從(i3)的6個節點中任取2個節點共有6種排列組合情況。信息采集部分的最后是整合上述兩種信息，將整合的鄰居信息記為。（2）將i3本身的表示和做聚合操作，得到i3節點聚合一階鄰居后的表示。需要指出的是，G中所有節點同時進行以上步驟，在目標節點i3聚合一階鄰居信息得到的同時，N(i3)中的3 個鄰居節點也聚合了其各自一階鄰居的信息，得到了各自的表示向量：。（3）將（1）和（2）步驟中所有的上標l遞增1，獲取聚合i3二階鄰居信息的表示，以此類推，可獲取聚合i3更高階鄰居信息的表示。最終獲取的i3節點的多個表示、捕獲了不同階的連通性和節點交互信息。

下面從中心節點為h的一般情況描述嵌入傳播層，先介紹一個單層，它主要由三部分組成：信息采集、注意力機制和信息聚合，之后闡述如何推廣到多層。

2.3.1 信息采集

該部分采集的信息分為兩部分：一是N(h)中的線性組合信息；二是N~ (h) 中兩兩節點間的特征交互信息。本文分別使用線性和雙線性采集器收集上述兩種信息。

線性采集器：線性采集器Linear Collector（LC）用來采集節點h的鄰居節點集合N(h)中所有節點的線性加和信息，其定義如下：

其中，π(h,r,t)是線性采集器中的注意力機制，它是一個數值標量，用來控制鄰居節點t在關系r上傳播到中心節點h的信息量，其計算過程將在2.3.2小節中介紹；是嵌入層中得到的鄰居節點的嵌入向量。線性采集器將h的一階連通性信息注入到LC(h)的表示中，并且通過π(h,r,t)區分了鄰居節點的重要性。

雙線性采集器本文提出了一種新型的雙線性信息采集器Bilinear Collector（BC），用來收集包含h的鄰居節點集合(h)中，兩兩節點間的特征交互信息，其定義如下：

信息整合信息采集的最后階段是對兩個采集器中的信息進行匯總，將匯總了h節點一階鄰居信息的向量表示記為保留了節點h的一階連通性和一階鄰居交互信息，其定義如下：

其中，α是超參數，其取值范圍為[0,1]，用來控制采用的雙線性采集器和線性采集器的信息量比率。

G中所有節點的信息采集過程是同步進行的，在獲得的同時，其余所有節點，包括h的所有鄰居節點，也各自獲得了保留了其一階鄰居信息的向量表示。

2.3.2 線性采集器中的注意力機制

本文在線性采集器中引入了注意力機制。注意力機制通過上述π(h,r,t)的引入實現，它的計算公式如下：

這里，本文選擇tanh 作為非線性激活函數；Mr是嵌入層中生成的關系r上的變換矩陣。π(h,r,t)的大小取決于嵌入層中，中心節點h和鄰居節點t在關系r上的距離，若h和t相近，則t可以傳播更多的信息到h上。之后，對以h為頭結點的所有三元組計算得出的注意力分數使用softmax做歸一化操作：

當信息傳播迭代到更高階時，該機制使模型將更多的注意力聚焦在部分節點上，減小了噪聲影響。

2.3.3 信息聚合

嵌入傳播的最后階段是聚合h實體本身的表示向量，和信息采集過程中從其鄰居獲取的表示向量，將其作為實體h聚合了一階鄰居信息的表示形式，記為，其定義如下：

（1）加和聚合器取上述兩個向量的和，然后對該結果做線性變換，W(1)∈?d′×d是可訓練的權重矩陣，d′是設定的線性變換后的向量維度，b(1)是偏置項，W(1)、b(1)的上標1 表示生成時，聚合器做線性變換的對應參數，Relu是非線性激活函數：

（2）合并聚合器將上述兩個向量做合并操作：Concatenate（||），之后應用線性變換，W(1)∈?d′×2d是權重矩陣，最后同樣應用Relu作為非線性激活函數：

2.3.4 高階傳播

通過以上步驟，獲得了實體h的一階表示，與此同時，N(h)中的每個節點也獲得了各自的一階表示。接下來要獲取h的高階信息，需要迭代更新eh的表示，通過疊加以上單層的嵌入傳播層實現。本文將保存實體h的l階信息的嵌入記為，遞歸更新公式如下：

f(·)是2.3.3 小節中的聚合器；是(h)中的節點在上一步的嵌入傳播過程中獲取的l-1 階表示。通過高階嵌入傳播，G中節點的高階連通性和節點交互信息能夠在傳播過程中被捕獲。顯然，高階嵌入傳播將基于屬性的協作信號無縫地注入到表示學習過程中，從而克服了傳統協同過濾各條交互信息相互獨立的弊端，而高階交互信息的收集有助于模型挖掘用戶的潛在復雜偏好。

2.4 多尺度融合的模型預測

經過l層的嵌入傳播層后，可以獲得用戶和項目的多尺度表示。對于某個用戶u，多尺度表示為{}；對于某個項目i，多尺度表示為{}。受圖像領域的多尺度融合啟發[20]，針對某個特定節點不同的l階信息，強調了不同階的連通性信息，因此，本文采用分層聚合機制，將每一步的表示連接到單個向量中，如下所示：

不僅可以通過執行嵌入傳播來豐富初始嵌入，還可以通過調整l來控制信息聚合范圍。最后，本文對用戶和物品表示進行內積，從而預測它們的匹配分數：

3 實驗與分析

3.1 實驗設置

3.1.1 數據集及評價指標

本文使用的數據集是電影推薦場景MovieLens-1M，該數據集包含6 040位用戶與3 883部電影項目的100萬的交互記錄，每個用戶至少與20部電影有過歷史交互。

除了用戶-項目交互數據外，本文需要搜集項目的相關信息以構建項目知識圖譜。由于MovieLens-1M中包含電影的類型，所以在IMDb 上爬取了3 745 部電影的導演和演員信息，其中有138 部電影無法在IMDb上檢索到，最終獲取的詳細數據信息見表1。

表1 數據集統計

若某用戶在某電影上有過交互記錄，則標記為1，否則標記為0。本文對每位用戶，選取其標記為1 的所有交互記錄的80%用于訓練集，其余20%作為測試集中的正樣本，對于訓練集中的每個正例交互記錄，本文隨機抽取一個負例交互記錄組成完整的訓練集。測試時對每個用戶，在完整項目集合上除去該用戶在訓練集上的正樣本，對其余的所有項目給出該用戶的預測評分。

本文使用了3種評價指標：Precision@K、Recall@K、NDCG@K[21]，K為推薦列表長度，即為用戶推薦預測分數最高的K部電影。Precision@K刻畫了用戶u的Top-K推薦列表中的項目是測試集中正樣本的比率；Recall@K刻畫了用戶u在測試集中所有的正樣本出現在Top-K推薦列表中的比率；NDCG@K則刻畫了用戶Top-K推薦列表中正樣本的排序情況，正樣本的排序越靠前，NDCG 的分值則越大。實驗中，K的取值為[1，5，10，20]，以衡量不同推薦列表長度下的推薦性能。

3.1.2 實驗環境

硬件環境為NVIDIA TITAN X 顯卡，128 GB 運行內存，Intel E5-2678V3 處理器。軟件環境為Ubuntu16系統，Python3.6、Tensorflow1.12.0 和Pytorch1.0 開發環境。

3.2 損失函數

模型的損失函數分為三部分，公式如下：

LKG是嵌入層損失，在2.2節中給出；LCF是協同信號損失，本文采用了BPR[22]損失，BPR 假定被觀測到的用戶與項目間的交互應該比未觀測到的交互分配更高的分數，其定義如下：

式中，Ω={(u,i,j)|(u,i)∈I+,(u,j)∈I-}代表訓練集，I+代表用戶u與項目i間存在交互的正樣本；I-代表不存在交互的抽樣出的負樣本；σ(·) 是softplus 非線性激活函數。

公式（15）中，Θ={ E,Mr,{(W(l),b(l))|?l∈(1,2,…,L)}}是模型參數集合。其中，E 是所有實體和關系的嵌入向量；Mr是特定關系r上的變換矩陣；W(l)和b(l)分別代表生成時，聚合器做線性變換對應的權重矩陣和偏置項。λ是L2正則化參數，以防止過擬合。

3.3 實驗參數設置

為挖掘協同知識圖中用戶與項目的高階連通性和高階交互特征，本文將模型隱藏層數設置為3，三層維度分別為128、64、32，協同知識圖實體和關系空間的嵌入維度均為128，α設置為0.6。模型采用分批訓練，協同過濾部分批大小為4 096，知識圖譜嵌入部分批大小為8 092，初始學習率為0.001，L2正則化參數設置為1E-5，最大迭代次數設為100 次，訓練過程采用早停策略，當NDCG@20在連續的10次迭代中沒有提升時，則停止訓練過程。本文使用Adam 優化器進行學習率的自適應調節，并對模型參數集合Θ（見3.2節）中的各參數進行更新調整。

3.4 對比模型

（1）NeuMF[23]：該方法將MF可建模一階線性特征和深度學習可建模高階非線性特征相結合，分別用廣義矩陣分解和多層感知機MLP（Multi-Layer Perceptron）捕獲特征間的線性和非線性關系。

（2）FM[10]：該模型考慮了輸入之間的二階特征交互。在這里，除了用戶和項目id 外，本文同樣引入項目知識作為輸入特征。

（3）NFM[24]：該模型將FM 在二階特征交互建模中的線性特性和神經網絡在高階特征交互建模中的非線性特性結合在一起，使模型有更好的非線性表征能力。

（4）CKE[4]：通過將包括知識圖譜在內的多種輔助信息編碼到最后的物品嵌入中，來增強推薦性能。為公平起見，本文在CKE 模型中僅引入知識圖譜作為輔助信息。

（5）RKGE[12]：采用遞歸神經網絡，在知識圖譜上自動學習實體之間路徑的語義表示，以描述用戶對項目的偏好。

（6）RippleNet[14]：該模型同樣引入項目知識圖譜作為輔助信息，結合了基于嵌入和基于路徑的方法，通過在每個用戶的根路徑中添加項目來豐富用戶表示，使用戶興趣在知識圖譜上傳播，以此生成推薦。

（7）KGCN[16]：將圖卷積網絡引入知識圖譜，使得知識圖譜中某個實體周圍的信息能被捕獲并存儲在該實體中，并且實體周圍的關系根據不同的用戶賦予不同的權重。

3.5 推薦性能對比及分析

本文在MovieLens-1M 數據集上，將KG-BGAT 模型與上述多種推薦算法進行了對比實驗。為了簡化表格，在3 個評價指標Precision@K、Recall@K、NDCG@K上，本文選擇了K=20的實驗結果繪制表格，實驗結果如表2所示。

表2 推薦模型性能對比

KG-BGAT_sum代表采用加和聚合器，KG-BGAT_con代表采用合并聚合器，可見合并聚合器在該場景下的推薦效果更優。

在推薦列表長度為20時，本文提出的KG-BGAT與以上6 個基準模型相比，在3 個指標上均取得了最佳效果，采用合并聚合器的KG-BGAT和排名第二的CKE模型比較，在Precision、Recall和NDCG上分別提高了1.9、1.6和2.5個百分點，本文提出的推薦模型性能優于各種方法的基準模型。

KG-BGAT 推薦性能的優越性主要原因在以下3點：（1）利用圖神經網絡，迭代地將鄰居節點信息聚合到中心節點的表示中，建立了協同知識圖中的高階連通性；（2）采用基于TransR的注意力機制，將關系納入編碼范圍，將頭尾實體投影到關系空間中衡量其相似度，使相似實體能夠傳播更多的信息到中心節點中，減小了噪聲影響；（3）顯式注入節點交互信息，使得模型能夠捕獲基于特征交互的豐富語義，為模型學習用戶偏好帶來了更深層次的視角。

圖2～4是采用合并聚合器的KG-BGAT和其他模型在3個指標上的詳細對比。

圖2 模型Precision性能對比

圖3 模型Recall性能對比

圖4 模型NDCG性能對比

6個基準模型中，推薦效果最好的是CKE模型，FM和NFM性能稍弱。CKE由于引入了知識圖譜的結構化信息，取得了最佳推薦效果；FM 和NFM 模型沒有引入知識圖譜，但依然取得了非常不錯的推薦效果，再次證明了基于特征交互的重要性。其余兩個引入知識圖譜的模型——RippleNet和KGCN，在Top-K推薦任務上表現較差。本文分析原因在于以下三點：（1）以上兩種模型都試圖基于傳播的思想建立CKG 中的高階連通性，但在每個hop中，它們都是隨機選擇固定數量的鄰居節點進行信息傳遞，使得模型無法捕獲節點周圍完整的局部信息，同時捕獲到的信息有很大的隨機性。（2）兩種模型均采用了類似于注意力機制的用戶偏好機制，具體做法是：對每個用戶，在每種關系上學習不同的權重系數，之后在獲取鄰居節點信息時，基于該用戶對該關系固定的權重系數聚合鄰居信息，本文認為這種偏好系數不利用推薦結果，因為用戶的偏好是多種多樣的，固定的偏好系數不利用挖掘用戶偏好的多樣性。（3）聚合的高階信息是K-hop節點信息的簡單線性加和，無法獲取豐富語義。

KG-BGAT 能夠從以上方法脫穎而出，主要得得益于遞歸嵌入傳播過程對節點周圍局部信息的充分利用和表達，以及該過程中使用的兩種信息采集器和注意力機制，既充分捕獲了節點的特征交互信息和高階連通性，同時也避免了噪聲影響。

KG-BGAT在100次迭代的訓練過程中，NDCG@20指標變化情況如圖5所示，本文選取FM模型作為對比。

圖5 模型100次迭代NDCG@20指標變化

圖5 顯示兩個模型均能較快收斂，其中KG-BGAT的最佳性能在第30次迭代，FM的最佳性能在第12次迭代，雖然KG-BGAT 需要花費更多的時間來達到最佳性能，但它的性能更高、更穩定，原因在于以下兩點：（1）知識圖譜學習模塊將輔助信息注入實體表示，并且該模塊和推薦模塊的交替訓練將有助于模型獲取更加準確的實體表示；（2）嵌入傳播層中，中心節點遞歸地和鄰居節點產生信息交換，使得模型學習到的協同知識圖的拓撲結構更加穩固，實體向量表示更加穩定。

3.6 高階連通性和注意力機制對比實驗

為了驗證高階連通性和注意力機制對推薦性能是否有益，本文進行了如下對比實驗：改變嵌入傳播層的層數，并去除了有3層嵌入傳播層的KG-BGAT-3中的注意力機制，實驗結果如表3所示。

表3 嵌入傳播層層數和注意力機制的影響

前4 個模型名稱結尾的數字代表嵌入傳播層的層數，嵌入傳播層層數控制了圖中節點可以聚合的鄰居節點的跳數。其中KG-BGAT-1 與CKE 的推薦結果相當，當疊加嵌入傳播層層數時，各項指標均得到提升，證明了模型捕獲到的高階連通性確實有利于改善推薦結果。最后一個KG-BGAT-3/rem att 是在三層嵌入傳播層模型的基礎上去除了注意力機制，使得線性信息采集器不再根據兩個節點的相似度來采集鄰居信息，π(h,r,t)退化為1/d(h)，即每個鄰居節點傳播到中心節點的信息量相同?？梢钥吹?，和有注意力機制的KGBGAT-3 相比，其精確率、召回率、平均折損收益分別下降了1.89、2.24 和1.75 個百分點，驗證了在圖神經網絡中引入注意力機制的必要性，即：注意力機制可以在一定程度上減小不相關實體的噪聲影響，從而將關注點聚焦在某部分數據上。

3.7 采集器對比實驗

為了驗證設計的雙線性采集器的有效性，本文進行了兩種信息采集器效果的對比實驗。

GAT-LC和GAT-BC分別使用了線性采集器和雙線性采集器，從表4 可以看出，去除任何一種而采用單采集器，推薦性能較使用兩種采集器均有所下降。相對而言，單采集器模型中，雙線性采集器的推薦性能更好，在精確率、召回率和歸一化折損累計增益3個指標上較線性采集器分別高出1.21、0.58、1.35個百分點。實驗驗證了本文對于特征交互重要性的想法，顯示了本文設計的雙線性采集器的有效性。

表4 兩種信息采集器效果對比

同時，本文對式（5）中的α取值進行了一組對比實驗，探索兩種采集器對推薦結果的具體影響。從圖6可以看出，從α=0 開始，隨著雙線性采集器信息采集量的增加，精確率也隨之提高，在α=0.6時，精確率達到最大值；若α繼續增加，精確率逐漸降低。該實驗結果說明以下兩點：（1）α從0增加時引起精確率隨之提高，證明了設計的雙線性采集器的有效性。（2）線性采集器在該推薦場景下同樣可以收集到有用信息，兩種采集器相互協作更有利于推薦效果。

圖6 不同α 取值下的Precision@20

4 結束語

本文將知識圖譜引入圖注意力網絡，模型通過設計的雙線性采集器和線性采集器相結合的方法捕獲鄰居節點信息，并將圖中各節點嵌入遞歸地傳播到相鄰節點，使得每個節點都獲取了其周圍節點基于特征交互的豐富語義，建立了節點間的高階連通性。KG-BGAT 通過挖掘推薦場景中用戶到項目基于特征交互的高階連通性，使得推薦效果明顯改善，相比于其他基于知識圖譜的先進推薦模型，KG-BGAT 既省去了手動設計元路徑的勞動密集型過程，又使得用戶到項目的潛在路徑得到充分挖掘，在MovieLens-1M 數據集上獲得了較好的推薦效果。

在未來的工作中，可以考慮將注意力機制引入到雙線性采集器中，對于圖神經網絡GNN 的研究尚處于早期階段，相信未來對GNN 的更多探索會使推薦場景下的推薦性能得到進一步的提升。