基于協同信號的知識圖注意力網絡推薦算法

郭 偉，裴帥華

(西安科技大學 通信與信息工程學院，陜西 西安 710600)

0 引 言

隨著互聯網技術的不斷發展，資源過載[1]問題日益嚴重。人們需要從海量信息中篩選自己感興趣的內容，企業則希望推送的內容能最大程度上匹配用戶需求。推薦系統恰好可以很好處理兩者以實現個性化推薦。協同過濾[2-4]作為經典的個性化推薦算法，面臨著數據稀疏和冷啟動問題。緩解這一問題的普遍做法是在推薦系統中引入輔助信息，豐富用戶和項目的內容，從而有效地補償稀疏或缺失的用戶興趣。知識圖譜作為一種新興輔助信息，由于存在大量的三元組數據，受到了研究人員越來越多的關注。文獻[5]將用戶的歷史數據在知識圖譜中進行向外傳播，以探索用戶潛在興趣。文獻[6]則借鑒于GCN[7]信息傳播的思想，用于預測用戶對項目的偏好程度。文獻[8]將用戶嵌入到知識圖譜中構成協同知識圖，利用注意力機制區別對待鄰居信息分別得到用戶向量和項目向量，最后通過內積得到用戶對項目的評分。上述模型都取得了很好的效果，但也存在著不足，文獻[5，6]都選取均勻采樣器在知識圖譜中隨機選取固定的鄰居大小，使得一些重要的節點信息丟失。文獻[8]將用戶-項目二質圖嵌入到知識圖譜中，將用戶視為知識圖譜中的節點，一旦有新用戶必須重新訓練整個模型，其計算成本過大。為了解決上述模型存在的問題，本文提出了基于協同信號的知識圖注意力網絡推薦算法(collaborative signal knowledge graph attention network for recommender algorithm，CKGAN)。該算法利用用戶的歷史交互項目作為用戶的初始表示，將這些項目以及待推薦項目在知識圖譜上進行無采樣傳播，通過設計新的聚合函數來豐富用戶/項目表征，最后引入動態建模思想，在面對不同待推薦項目時得到不同的用戶表征。在多個數據集的實驗結果表明，本文所提方法具有更好的推薦效果。

1 相關研究

基于知識圖譜的推薦算法主要有以下幾個方面：

①基于路徑的方法。在知識圖譜中，由于各個實體通過復雜的關系連接在一起，可以探索其間的連接方式(元路徑)提供額外的信息，特別是在可解釋方面。例如，文獻[9，10]將KG視為異構信息網絡，提取基于元路徑/元圖的潛在特征，表示不同類型的關系路徑/圖上用戶和項目之間的連接性。然而，文獻[9，10]很大程度上依賴于手動設計的元路徑或元圖，這在現實中很難是最優的。②基于嵌入方法(如TransR[11])。基于嵌入的方法采用KG的信息來豐富項目的表示。文獻[12]模型首先通過采用TransR對知識圖譜進行預訓練得到項目的嵌入向量，并在貝葉斯的框架下，將項目向量輸入到CF框架中，去獲得用戶的潛在向量，最后通過內積得到用戶對項目的偏好分數。文獻[13]使用TransR對協同知識圖進行預處理，設計了去除偏差的注意力模塊聚合鄰域信息，最后分別得到用戶和項目的向量表示進行推薦。③基于圖的方法。文獻基于圖的方法和基于路徑的方法均采用知識圖譜結構進行建模，不同之處在于，基于圖的方法并不局限于實體之間的特定連接，而是將KG視為一個以特定用戶或物品為中心的異構網絡，該方法從中心實體沿著關系邊進行傳播，最后提取對應實體的特征。文獻[14]則是在文獻[6]的基礎上提出改進，將用戶作為一種新的實體嵌入到知識圖譜中，使用新的聚合函數用來生成用戶向量。文獻[15]則利用協同信號作為用戶和待推薦項目的向量表示，通過設計知識感知注意力模塊得到用戶和項目的最終表示。但其都未解決采樣所引起的誤差。

2 問題的數學描述

在推薦場景中，存在m個用戶和n個項目分別表示為U={u1，u2，u3，…，um} 和I={i1，i2，i3，…，in}，以及用戶與項目的交互矩陣Y∈m×n。若yui=1，則表示用戶u與項目i存在聯系，比如瀏覽、點擊、喜歡等。盡管交互信息不一定能反映用戶真正喜歡該項目，但在一定程度上他們包含用戶喜歡的信息，yui=0表示用戶對此項目不感興趣。除了交互信息外，還有知識圖譜G，可表示為 {(h，r，t)|h，t∈ε，r∈R}，ε，R分別表示實體集合和關系集合，每個三元組由真實世界的實體和實體之間的關系構成，例如(人在囧途，主演，徐崢)為知識圖譜中一個結構化的三元組，表明了徐崢是電影《人在囧途》的主演。給定用戶與項目交互矩陣Y和知識圖譜G，推薦算法的任務就是預測用戶u是否對物品i有潛在的興趣。具體來說，就是學習一個預測函數表示用戶u喜歡i的概率，Θ為可學習參數。

3 模型介紹

本文所提CKGAN模型的框架如圖1所示。①協作傳播層：將用戶-項目二質圖與知識圖譜中頭實體關聯，并將實體在知識圖譜中進行傳播。②圖注意力層：利用圖注意網絡[16]思想，為不同的節點分配不同的權值，通過聚合更新所有節點的特征。③預測層：通過待推薦項目和用戶交互過的歷史項目得到最終用戶向量表示，將用戶和待推薦項目通過MLP，最終輸出預測結果。

圖1 CKGAN模型框架

3.1 協作傳播層

協作傳播層由用戶項目二質圖和知識圖譜兩部分構成，用戶與項目的交互信息能夠在一定程度上表示用戶的偏好，知識圖譜中又包含了關于項目的額外事實和聯系，因此將兩者結合起來可以更加精準地描述項目和用戶。

本文使用用戶交互過的項目來表示用戶，這些項目與知識圖譜中實體對齊，作為用戶的初始種子集，并沿著知識圖譜中邊進行傳播，對于特定的用戶u，興趣傳播的起源定義為

(1)

(2)

這些實體可以沿著邊的信息在知識圖譜中進行迭代傳播，可以得到與初始集不同距離的實體集，它們能夠有效地擴展用戶和項目的向量表示，用戶u和項目i的遞歸公式如下

(3)

式中：rk表示實體hk-1與實體tk之間通過關系rk相連，k代表與初始實體集的距離，下標o作為用戶u和項目i的統一占位符。為了討論實體的鄰居對實體的重要程度，根據實體集的定義，我們得到用戶u和項目i的第k層三元組，公式如下

(4)

3.2 圖注意力層

πirt=a(wrei，wret)

(5)

式中：ei，et∈d分別表示為頭實體，尾實體的向量表示，wr∈d×d為關系r的線性變換矩陣。為了描述不同關系下的尾實體對頭實體的重要程度，本文使用Softmax函數

(6)

本文所述圖注意力網絡a是單層前饋神經網絡，選擇LeakyReLU作為非線性激活函數，則圖注意力網絡數學描述為

(7)

式中：‖代表拼接操作，在實際工作中，同時也考慮了實體i的自連邊。

(8)

式中：σ(·) 為LeakyReLU函數，可以進一步堆疊更多的傳播層來收集從高跳鄰居傳播過來的信息，對于高階信息遞歸公式如下

(9)

3.3 預測層

在執行H+1層操作以后，項目i的最終表示

(10)

(11)

然而考慮到用戶對項目的興趣是多樣的，當考慮用戶是否會點擊項目i時，項目i應該對用戶的歷史交互數據有不同的影響，本文采用DKN[17]、DIN[18]模型的思想動態建模用戶的向量表示。公式如下

(12)

式中：ξ(·) 采用的是點乘求和。

得到用戶節點u最終向量表示

(13)

(14)

MLP為兩層全連接神經網絡，激活函數為PReLU，為確保用戶對于項目的評分在[0，1]，設置σ(·) 為sigmoid函數。值得注意的是，在訓練過程中本文使用了負采樣策略，最終模型的損失函數公式定義如下

(15)

4 實 驗

本節基于音樂、書籍、電影領域公開的數據集來評估模型性能，并與經典推薦算法進行性能對比，最后討論參數對實驗結果的影響。

4.1 數據集

實驗選用Last.FM、Book-Crossing以及MovieLens-1M測試模型性能。Last.FM數據來源于Last.FM在線音樂平臺。Book-Crossing數據集來源于book-crossing社區，由讀者對各種書籍的評分(從0到10)構成。MovieLens-1M由GroupLens項目組提供。

由于3個數據集都為顯示反饋數據，本文首先將其轉換為隱式反饋數據。在MovieLens-1M中用戶對電影的評分從0-5，設值閾值為4，即大于等于4的為正樣本，本文根據正樣本數據大小，在用戶未交互過的電影和評分小于4的數據隨機采樣得到該用戶負樣本。由于Book-Cros-sing和Last.FM數據稀疏，未設置閾值，負樣本數據生成與MovieLens-1M相同。表1中給出用戶數、項目數以及知識圖譜數據，此外考慮到復雜度問題，本文只保留了與用戶有交互的項目以及與其對應的不同距離的三元組。

表1 實驗數據集統計信息

4.2 基準實驗

在CKGAN的實驗中，選取了以下的基準算法：

BPRMF[19]：一種經典的CF模型，采用pairwise的訓練方式來改進傳統MF算法。

CKE[12]：將協同過濾與知識圖譜嵌入、文本嵌入和項目圖像嵌入結合在一個統一的貝葉斯框架中進行推薦。在本文中，只利用了知識圖譜嵌入來學習項目的向量表示。

RippleNet[5]：將用戶的歷史信息作為種子，通過知識圖譜中的實體連接迭代向外擴展用戶的興趣，由此來豐富用戶向量。

KGCN[6]：一種基于GCN方法的模型，將知識圖譜變成向量加權圖，通過特定用戶對不同實體關系的興趣不同改變聚合系數，最終得到項目向量。

KGAT[8]：另一種基于GCN方法的模型，將用戶嵌入到知識圖譜中，使用TransR[11]模型改變聚合系數，最終分別得到用戶向量和項目向量，最后采用BPR算法進行推薦。

NACF[14]：基于KGCN的思想，引入雙注意力機制生成用戶向量。

4.3 實驗設置及評價指標

4.3.1 實驗設置

表2 CKGAN模型的超參數設置

4.3.2 評價指標

在兩個實驗場景中評估本文算法：①在點擊率(CTR)預測中，將測試集使用訓練好的模型參數驗證用戶是否會點擊項目，采用AUC和ACC作為推薦結果的評價指標。②在top-k推薦中，對用戶未點擊過的所有項目進行排序，將用戶最有可能點擊的前k個項目進行召回，查看測試集中的用戶的正樣本數據被召回的概率，采用Recall@K作為評價指標。

ACC：模型預測正確的概率。其中R(u) 為關于用戶u的真實標簽包括喜歡和不喜歡，F(u) 為模型預測結果

(16)

AUC：用于評估模型的性能，簡單說AUC越大，模型正確率越高。M表示用戶喜歡項目的數目，N表示用戶不喜歡的數目。模型輸出結果中有a組用戶喜歡的項目分數大于不喜歡的項目分數，有b組用戶喜歡項目的分數等于不喜歡項目的分數。AUC計算方式如式(17)所示

(17)

4.4 實驗結果

4.4.1 與基準算法的比較

模型按照4.3.1節的參數設置，表3總結了3個數據集的CTR預測結果，3個數據集的top-k推薦曲線如圖2所示。

表3 基于AUC和ACC評價指標的CTR預測結果

圖2 top-k推薦的Recall@K實驗結果

觀察實驗結果可以發現，CKGAN在兩個實驗場景都優于基線算法，從實驗結果中可以得出以下結論。

(1)在3個公共數據集中，CKGAN在CTR預測中準確率上分別提升2.3%、5.8%、1%，在top-k推薦中recall@100分別提升2.1%、2.4%、0.9%。

(2)基于知識圖譜的推薦算法優于傳統的BPRMF算法，說明引入KG作為輔助信息對推薦算法性能有很大的提升。但在Last.FM數據集上，CKE的表現性能還不如BPRMF模型，表明僅通過建模知識圖譜兩項目之間相似度進行推薦并不能充分發揮知識圖譜的作用，間接表明了用戶興趣的多樣性。

(3)與其它基線算法相比，CKGAN和NACF總體表現的性能更出色，表明通過待測項目動態建模用戶表示能夠捕獲到用戶不同的興趣，值得注意的是在交互數據更為稠密的MovieLens-1M數據集上，RippleNet表現性能優于KGAT、KGCN、NACF，我們推測使用GCN模型在進行聚合操作時可能引入過多的噪聲，而CKGAN利用GAT思想只聚合了重要的信息取得了更佳的效果。

(4)在兩個實驗場景下，CKGAN的性能都優于現有的最先進的基線，尤其在數據稀疏的Last.FM和Book-Crossing數據集上，表明無論是側重對知識圖譜建模的KGAT模型，還是側重對用戶交互數據建模的KGCN、RippleNet模型都無法準確的獲得用戶和項目的表示，CKGAN通過從用戶歷史數據中獲取協同信號，利用GAT思想結合知識圖譜屬性信息更好地得到了用戶和項目表示。

4.4.2 模型參數對比實驗

本節對CKGAN模型中嵌入向量的維度和傳播層數進行對比分析。

(1)嵌入向量維度的影響

如表4所示對比實驗，只調整了嵌入向量的維度，其余參數設置參照表2，通過實驗分析可以看出，隨著嵌入向量維度的增加，CKGAN模型的效果越好，但是超過一定的閾值后，由于出現過擬合現象，性能會下降。值得注意的是電影數據集受嵌入向量的維度的影響較小，一個可能的原因是數據的稀疏度會影響實驗結果。

表4 基于AUC指標的嵌入向量維度實驗

(2)傳播層數的影響

如表5所示，在傳播層數的對比實驗中，可以觀察到，音樂、書籍、電影的最佳傳播層數分別是1、1、2。對于這個合理的解釋是，音樂和書籍數據集中用戶-項目的平均交互數要遠低于電影數據集中的平均交互數，可能導致項目之間的連接距離不一致，如果層數太高會引入更多噪聲，所以選擇合理傳播層數才能發揮模型的最佳性能。

表5 基于AUC指標的傳播層數實驗

4.5 冷啟動實驗

本節驗證了引入KG可以有效緩解冷啟動問題。逐步將Book-Crossing訓練集的大小從r=100%減少到r=20%(測試集大小不變)，以研究模型在冷啟動問題場景的性能。如圖3所示，當r=20%時，按4.2節中基線順序，6條基線的AUC分別下降34.7%、27.5%、15.2%、18%、10.5%、10.4%，而CKGAN的性能下降了9.2%。這表明，在冷啟動情況下，CKGAN可以比基線取得更好的結果。

圖3 冷啟動場景下模型的性能對比

4.6 消融實驗

為了討論圖注意力層和協作傳播層對實驗結果的影響，本文設計了兩個變體模型CKGANw/o GAT和CKGANw/o CP，CKGANw/o GAT取消了圖注意層將airt設置1/|εi|，CKGANw/o CP去掉了協作傳播層以及在預測層不再使用歷史交互項表示用戶。表6可以說明，刪除協作傳播層和圖注意力層會降低模型的性能，CKGANw/o GAT低于CKGAN可以說明運用GAT思想能夠捕獲到不同關系下的鄰居對于中心實體的重要性。CKGANw/o CP低于CKGAN以及CKGANw/o GAT可以表明利用用戶歷史交互數據能夠更準確地表達用戶以及用戶交互過的歷史項目之間的關系是模糊的。

表6 基于AUC指標的消融實驗

5 結束語

本文提出一種融合知識圖譜信息和協同信息的推薦模型，模型首先通過使用用戶歷史交互項目來表示用戶，這些項目在知識圖譜中進行傳播，通過圖注意力網絡使這些項目得到豐富的表示，最后根據候選項目動態建模出用戶表示。最后在真實數據集上驗證了CKGAN模型的有效性。在未來的工作中，模型需要進一步解決的問題：①當前的工作將基于KG的推薦視為一個受監督的任務，其中監督信號僅來自歷史交互數據，未來考慮引入知識圖譜中實體類別作為監督信號來進一步優化模型。②僅考慮了項目側對推薦結果的影響，未來考慮引入用戶本身信息，以獲得更準確的推薦結果。