基于圖注意力卷積神經網絡的推薦系統

柴文光 張振杰

(廣東工業大學計算機學院 廣東 廣州 510000)

0 引 言

隨著網絡信息的爆炸增長,人們能非常方便地獲取到大量的在線訊息,例如電影、新聞和商品等。在線平臺面臨的一個關鍵問題是用戶如何在琳瑯滿目的物品中挑選出自己喜愛的物品,推薦系統應運而生。傳統推薦系統使用的算法是協同過濾算法,該算法充分挖掘用戶的歷史交互記錄,通過學習得到用戶和物品的嵌入表示,然后通過內積、神經網絡等方法對用戶與物品之間的交互進行建模,最終得到用戶對某個物品的喜愛程度。然而,基于協同過濾的方法存在用戶與物品的交互矩陣的稀疏性和冷啟動問題,當用戶僅有少量的交互記錄時協同過濾算法無法為用戶提供推薦功能。為了解決這兩個限制,將知識圖譜(例如社交網絡)的輔助信息[18-19]應用到推薦系統中往往能獲得更高質量的推薦,并且目前獲得了廣泛的應用。

知識圖譜是一個有向的異質圖,圖中的節點對應多種類型的實體(例如某場電影或某位導演),圖上的邊對應多種不同類型的關系,通過這些關系可以挖掘出用戶感興趣的物品,而且節點之間的邊關系給推薦結果提供了一定解釋性。由于每對節點之間的連接關系蘊含著巨大的語義信息,運用GNN、GCN、TransE等方法挖掘知識圖譜的豐富語義信息能有效地找出實體之間潛在的關系,極大地提升推薦系統的性能。Yu等[2]提出用一個異質信息網絡表示知識圖譜,使用基于元路徑的方法學習得到圖譜中節點和邊的嵌入表示。Wang等[1]提出將實體和邊關系映射到低維的嵌入表示,但是只挖掘了粗略的語義信息。Harper等[4]受到圖卷積神經網絡的啟發,提出了基于知識圖譜的卷積神經網絡(KGCN)。KGCN的核心思想是在學習知識圖譜中實體的嵌入表示時,聚合了實體兩跳以內的鄰居節點的嵌入表示。在聚合的過程中,根據每位用戶的興趣賦予鄰居節點的權重,但忽略了用戶的具體興趣。

盡管知識圖譜具有很多的優點,但是將知識圖譜應用到推薦系統具有很大的挑戰性。本文提出了一個新穎的推薦算法,使用圖卷積神經網絡(GCN)聚合知識圖譜中豐富的結構信息和語義信息,每一次的聚合迭代過程都引入了注意力機制,依據用戶對圖譜中每個節點的具體興趣賦予特定的權重。提出的算法還包括應用深度神經網絡(DNN)對學習得到的用戶和物品的嵌入表示建立模型,以挖掘兩者嵌入表示之間潛在的語義信息。本文在MovieLens-20M(movie)和Last.FM(music)兩個公共數據集上開展實驗,實驗結果表明我們的算法優于其他主流的推薦算法。

本文的主要貢獻有:提出了一個新穎的推薦算法框架,該框架結合GCN和Attention機制挖掘知識圖譜豐富的結構和語義信息。應用DNN對學習得到的用戶和物品的嵌入表示建立模型,重新編碼用戶的嵌入表示,生成特定于某樣物品的用戶偏好。

本文在MovieLens-20M和Last.FM兩個公共數據集上開展實驗,實驗結果證明了算法的有效性。

1 相關工作

關于圖神經網絡(GNN)的研究表明沿著圖拓撲結構的路徑傳播節點嵌入表示可以在多跳鄰居內提取有用的信息,豐富節點的嵌入表示。首先Kipf等[21]提出圖卷積神經網絡(GCN)聚合圖拓撲結構相鄰節點的信息,但每次聚合過程是在全圖的拓撲結構上聚合信息,這導致了計算復雜度極其龐大。潘承瑞等[8]提出融合知識圖譜的圖卷積神經網絡(KGCN)迭代地聚合兩跳節點內的節點相似性信息,并根據用戶的興趣在聚合過程賦予鄰居節點特定的權重。雖然KGCN大大降低了算法的時間復雜度,但是該方法的注意力機制忽略了用戶的具體興趣,例如,它將所有導演都籠統地歸類為同一類,用戶可能喜愛某位導演,不喜歡另一位導演。

He等[11]提出輕量級的圖卷積神經網絡(LightGCN),該方法使用簡單的加權聚合函數捕捉鄰居節點的信息,聚合函數不使用對于協同過濾算法來說是比較冗余的特征轉換和非線性激活,而且沒有引入注意力機制,而是使用節點的度計算加權求和的權重。由于LightGCN是在全圖的鄰接矩陣上進行圖卷積運算,而本文的方法是在局部拓撲結果上進行卷積運算,因而我們的方法更容易應用到大型的推薦系統中。

Sun等[23]提出基于鄰居交互的圖卷積神經網絡(NIA-GCN),該方法在聚合兩跳內鄰居節點信息時,在所有同一跳節點上同時使用平均求和函數和兩兩同一跳節點逐元素相乘的聚合函數。本文也在局部拓撲結構內聚合兩跳節點的信息,但引入了注意力機制,賦予用戶感興趣的物品更高的權重。

Wang等[22]提出圖解纏層(Graph Disentangling layer)來聚合節點的鄰居信息,在聚合鄰居信息的步驟中引入了注意力機制。圖解纏層用一個可學習的數值表示節點之間的連接權重,該權重反映了中心節點對鄰居節點的重要程度。訓練過程基于連接權重線性聚合鄰居節點的信息,并且迭代地更新連接權重和節點的嵌入表示,最后使用內積函數得到用戶對物品的預測評分。本文使用線性聚合函數捕捉鄰居節點豐富的語義信息,但是我們使用中心節點與鄰居節點之間的內積函數來表示連接權重,以減少模型的參數量,降低過擬合的風險。同時,本文不直接使用內積函數計算預測評分,而是提出對用戶和物品的嵌入表示進行建模來獲取預測評分,首先使用深度神經網絡重新編碼用戶嵌入表示,重新編碼后的嵌入向量描述了用戶特定于該物品的偏好,然后將重新編碼后的用戶嵌入表示與物品嵌入表示作內積。

2 問題描述

本文所做的工作是,給定用戶與物品的交互矩陣Y和知識圖譜G,預測用戶u對從未交互過的物品v的潛在興趣。

3 圖注意力卷積神經網絡

本文提出圖注意力卷積神經網絡的方法來捕捉知識圖譜相鄰節點之間的相似性信息,我們的方法不僅計算量較小,還考慮了用戶的具體興趣。對于圖譜上每個物品節點v∈V,我們通過基于圖注意力卷積神經網絡的方法聚合知識圖譜上鄰居實體(e∈ε,e?V)的信息,而且對于每個鄰居實體,再次使用圖注意力卷積神經網絡捕捉鄰居節點的信息。我們使用N(v)表示節點v的鄰居節點,rvi,vj表示每隊鄰居節點之間的邊關系。圖注意力卷積神經網絡使用的注意力函數g表示為:Rd×Rd→R(例如,內積),該函數計算用戶u(u∈U)對知識圖譜中實體e(e∈ε)的喜愛程度(見圖1的②號圈所示):

圖1 知識圖譜節點信息聚合的示意圖

(1)

(2)

(3)

v∈V和e∈ε都對應知識圖譜中的實體,用戶-實體分數是特定于某個用戶的歸一化權重,這組權重反映了用戶專屬的、具體的偏好。

在真實的知識圖譜中,所有節點的鄰居節點數量是不相同的,為了計算方便,在對鄰居節點進行隨機采樣時[20],我們采集固定數量的鄰居節點。在本文實驗,由于我們不僅對物品節點v∈V做鄰居節點信息聚合,還對節點v的鄰居節點做信息聚合,在后者的信息聚合過程中,注意力函數g將會對用戶u和物品e(e∈V,V?ε)做內積,這也反映了用戶對某個物品的感興趣程度。

(4)

算法1是以上步驟的偽代碼實現。

算法1圖注意力卷積神經網絡算法

輸出:融合鄰居節點信息的物品嵌入表示Inew。

For (u,v) inY:

Node=[[v]]

Foriin range(H):

Node.append(M(Node[-1]))

Foriin range(H):

Forkin range(H-i):

對于Node[k]中的每個節點v:

Returnvnew

4 深度神經網絡

本文新穎地提出對知識圖譜學習得到的用戶和物品的嵌入表示進行建模,使用深度神經網絡重新編碼用戶嵌入表示,重新編碼后的嵌入向量描述了用戶特定于該物品的偏好。圖2是重新編碼用戶嵌入表示的示意圖。

圖2 重新編碼用戶嵌入表示的示意圖

對于學習得到的用戶和物品的嵌入,物品嵌入表示與用戶嵌入表示進行級聯運算:

vconcat=concat(vnew,u)

(5)

新的嵌入表示vconcat輸入到三層的DNN后,得到重新編碼后的用戶嵌入表示:

unew=f(w2·g(w1·vconcat+b1)+b2)

(6)

式中:w1、b1、w2、b2分別屬于輸入層到隱藏層,隱藏層到輸出層的權重矩陣和偏置項,unew是重新編碼后的用戶嵌入表示,f、g是兩個激活函數,分別是線性函數和ReLU函數。

最后,重新編碼后的用戶嵌入表示unew和經過信息聚合的物品嵌入表示vnew輸入到函數f:Rd×Rd→R,得到用戶對物品的交互概率,即感興趣程度:

(7)

式中:函數f是內積函數。

5 學習算法

模型的損失函數由兩部分組成,分別為交叉熵預測損失和L2正則化項:

(8)

θ是模型參數,包括聚合函數agg的權重和偏置,用戶的嵌入表示和知識圖譜中所有節點的嵌入表示,以及深度神經網絡的模型參數。Lbase是二分類問題的叉熵損失函數:

(9)

6 實 驗

6.1 數據集

我們在以下兩個公共數據集上開展實驗,實驗結果表示本方法的性能超過KGCN、KGNN-LS等主流方法。

MovieLens-20M[4]:該數據集是在電影推薦中廣泛使用的基線數據集,描述了電影推薦服務MovieLens的5星評級和用戶評分記錄。包含138 159名用戶對16 954場電影的13 501 622條評分數據(評分從1到5),所有用戶都評價了至少20部電影。依據該數據集構建的知識圖譜包含102 569個節點,32條不同類型的邊,以及499 474條三元組數據。知識圖譜中包括了不同類型的節點,有的節點表示某場電影,有的節點表示某位導演等。

Last.FM:該數據集包括Last.FM在線音樂平臺兩千多個用戶的收聽數據,包含1 872名用戶對3 846首音樂的42 346條交互數據。依據該數據集構建的知識圖譜包含9 366個異質節點,60條不同類型的邊,以及15 518條三元組數據。

由于以上MovieLens-20M公共數據集的交互記錄是用戶與物品的顯式評分數據,需要將其轉化隱式的交互,我們將評分大于閾值(設置為4)的交互數據歸類為正例樣本,反之劃分為負例樣本,然后將所有交互數據的60%劃分為訓練集,20%劃分為驗證集,20%劃分為測試集。

表1 數據集統計

本文在點擊率預測(CTR prediction)的實驗場景下,使用AUC和F1評估指標預測模型的好壞。實驗的軟件環境為Windows 10操作系統、Python 3.5、TensorFlow 1.5.0和NumPy 1.16.0,硬件環境為i7-5500U,內存4 GB。

6.2 實驗參數設置

本文將模型訓練輪數設置為10輪,知識圖譜鄰居信息聚合中隨機選擇的鄰居節點數量為6個,用戶和知識圖譜實體的嵌入表示維度為16(電影數據集設置為32),每批訓練樣本的數量為128(電影數據集設置為65 536),L2正則化超參數為1×10-4,學習率設置為5×10-4,重新編碼用戶嵌入表示的DNN的三層模型分別為16、64、16(電影數據集設置為64、64、64)。

6.3 對比模型

(1) CKE[5]:該模型通過將知識圖譜、紋理信息和視覺信息融合到協同過濾模型,獲得物品的嵌入表示向量,本文僅考慮融合知識圖譜輔助信息的CKE模型。

(2) PER[2]:將知識圖譜看作一個異質的信息網絡,通過基于元路徑的方法獲得用戶與物品之間的交互的嵌入表示。

(3) RippleNet[7]:用戶的愛好在知識圖譜多跳節點的范圍內傳播,基于嵌入表示的方法獲得圖譜節點的嵌入表示,基于元路徑的方法豐富用戶的嵌入表示。

(4) KGCN[8]:基于圖卷積神經網絡的方法,在知識圖譜上聚合鄰居節點的信息,來豐富每個節點的嵌入表示,以獲得更好的推薦。

(5) KGNN-LS[21]:在KGCN的基礎上,使用標簽平滑的方法平滑知識圖譜節點的標簽,通過學習得到圖譜節點的嵌入表示。

(6) LightGCN[11]:該方法提出一個去掉對于協同過濾算法來說是冗余的特征轉換和非線性激活函數的輕量級圖卷積神經網絡,為防止節點特征的過度平滑,節點的最終嵌入表示由各層學習到的嵌入表示線性組合得到。

6.4 實驗結果

本文在MovieLens-20M和Last.FM數據集上,將我們的模型與以上幾種模型做性能比較。我們在點擊率預測推薦情景下,使用AUC和F1兩個評估指標評價模型,表2是實驗結果。

表2 點擊率預測的實驗結果

我們提出的方法和以上6種基準模型相比,在兩個公共數據集的4個評價指標均排在第一位,AUC和F1 Score比KGNN-LS模型分別提高了0.2%、0.4%、0.4%和1.5%,其中F1 Score評價指標優于目前最新的基于圖神經網絡的方法(LightGCN),由于LightGCN是在全圖的拓撲結構上進行卷積運算,該方法在現有硬件設施下無法擴展到MovieLens-20M這個比較龐大的數據集上開展實驗。實驗結果證明本文提出的方法甚至優于KGCN、KGNN-LS這兩個主流方法。

本文模型的性能全面優于以上方法的原因是:(1) 結合知識圖譜輔助信息,利用圖卷積網絡,迭代地聚合知識圖譜中鄰居節點的信息,挖掘潛在的節點之間的相似性;(2) 引入了注意力機制,在聚合鄰居節點信息的過程中,根據用戶對知識圖譜中各個節點的具體興趣賦予不同的權重進行信息聚合;(3) 本文使用一個DNN網絡結構對用戶嵌入表示重新編碼,先通過將用戶嵌入表示和物品嵌入表示連接起來,輸入DNN,再利用重新編碼后的用戶嵌入表示與物品嵌入表示做內積。而KGCN和KGNN-LS這兩個方法中的注意力機制是用戶嵌入表示和圖譜中邊關系的嵌入表示作內積的,該注意力機制忽略了用戶的具體偏好,不利于性能的提升,以觀看電影為例,用戶會喜愛某部電影的原因一般是喜歡電影的某位主角、導演或者某種類型,其原因是具體的、多種多樣的,而不能籠統地認為用戶偏愛主角或者導演這一抽象的概念。因此,我們的方法能獲得比其他方法都大的性能提升。

表3展示了使用DNN對用戶的嵌入表示重新編碼,然后使用內積運算計算用戶對物品的感興趣程度的優越性。

表3 用戶嵌入表示重新編碼的性能對比

重新編碼用戶嵌入表示可以獲得較大的性能提升,AUC和F1兩個評價指標在Last.FM數據集上分別提升了1.8%和2.8%。本文認為能獲得較大性能提升的原因有:(1) DNN網絡結構學習的內容是用戶特定于某個物品的感興趣程度,首先在已知用戶嵌入表示的基礎上(即了解用戶的偏好),結合物品的嵌入表示,最后輸出特定于該物品的用戶偏好;(2) 用戶嵌入表示與物品嵌入表示之間存在豐富的語義信息,如何對嵌入表示進行有效地建模以生成高質量的推薦是一個重大問題。

同時,我們還對聚合鄰居節點信息時選擇的鄰居節點數量進行分析,表4是不同的鄰居節點數量下的模型性能比較。結果表明鄰居節點數量選擇6時模型性能最佳,這是因為當鄰居節點數量較小時,沒有充分挖掘相鄰節點的信息,當數量較大時,鄰居信息可能會混入噪聲。

表4 不同的鄰居節點數量下的AUC和F1評價指標

7 結 語

本文將知識圖譜的輔助信息結合到推薦任務中,通過基于圖卷積神經網絡的方法迭代地聚合圖譜中每個節點兩跳以內的鄰居節點信息,還在聚合鄰居信息的過程中應用了注意力機制,根據用戶的具體偏好賦予鄰居節點不同的權重,使每個節點都獲得豐富的鄰居語義。此外,本文還對知識圖譜學習得到的用戶和物品的嵌入表示進行建模,通過深度神經網絡重新編碼用戶嵌入表示,重新編碼后的嵌入向量描述了用戶特定于該物品的特征。我們提出的方法在MovieLens-1M和Last.FM兩個數據集上都取得了較好的效果。