聯(lián)合對比學習的圖神經(jīng)網(wǎng)絡會話推薦

劉 乾,孫英娟,邢晶淇,車志敏

(1.長春師范大學計算機科學與技術學院,吉林 長春 130032; 2.長春市第一○三中學,吉林 長春 130041)

0 引言

基于會話的推薦是現(xiàn)代推薦系統(tǒng)的一個關鍵方面,它旨在通過關注用戶當前的意圖來預測用戶的下一個興趣。由于用戶通過在各種平臺(如電子商務網(wǎng)站[1]、音樂流媒體服務[2]和社交媒體[3])上的互動產(chǎn)生的數(shù)據(jù)越來越多,基于會話的推薦已成為一個重要的研究領域。

大多數(shù)現(xiàn)有的會話推薦研究都將會話視為嚴格有序的序列[4]。在會話推薦研究之初,已經(jīng)提出了許多基于循環(huán)神經(jīng)網(wǎng)絡(RNN)的模型,例如,GRU4Rec[5]通過對用戶交互的序列信息建模來捕獲用戶潛在的興趣。近年來,研究者提出了許多基于圖神經(jīng)網(wǎng)絡(GNN)的會話推薦模型[6-7],將會話建模為一個有向圖,并著重于用節(jié)點的成對關系對相鄰交互建模。這些算法有效地捕獲了序列信息,通過交叉熵損失函數(shù)來優(yōu)化參數(shù),從而取得很大的性能提升。

然而這些算法忽略了項目嵌入空間的優(yōu)化。圖注意力機制在節(jié)點信息聚合上有很大優(yōu)勢,通過在每個源節(jié)點和目標節(jié)點之間分配權重,使節(jié)點能夠在聚合來自本地鄰居的消息時決定哪個鄰居節(jié)點更重要,而不是以相同的權重聚合來自所有鄰居的信息。對比學習通常作為優(yōu)化項目表示的一種有效方法,其核心是通過計算樣本表示之間的距離,拉近正樣本,拉遠負樣本。本文使用圖注意力神經(jīng)網(wǎng)絡作為基礎模型,引入一種自我對比學習[8]輔助訓練,改進項目嵌入空間,在項目嵌入空間中實現(xiàn)了更好的均勻性,從而提高了模型性能。

1 本文算法

首先將會話數(shù)據(jù)構建成有向圖數(shù)據(jù),再在相鄰節(jié)點間使用注意力機制聚合數(shù)據(jù),然后生成會話嵌入,根據(jù)會話嵌入和候選項目生成推薦,同時使用對比學習輔助訓練。算法流程如圖1所示。

圖1 算法流程

1.1 構造會話圖

每個會話序列S可以建模為一個有向圖GS=(VS,ES)。其中,GS表示所有會話序列有向圖的集合,VS表示圖中節(jié)點集合,ES表示邊的集合,Vi,S表示會話S中的第i個節(jié)點(物品),(Vi-1,S,Vi,S)∈ES在圖上顯示為Vi-1,S指向Vi,S的有向邊,(Vi-1,S,Vi,S)對應邊的值為1,兩物品之間無交互記為0。

1.2 在圖上學習項目嵌入

Vi表示源節(jié)點,Vj表示Vi的鄰居節(jié)點,鄰居信息的聚合如下所示:

首先根據(jù)Vi和Vj求得權重系數(shù)αij。

(1)

其中,LR(·)表示激活函數(shù)LeakRelu。q1∈Rd。Vi,Vj∈Rd。⊙表示哈達瑪乘積,指對應矩陣元素相乘。

然后對權重系數(shù)使用Softmax進行歸一化。

(2)

其中,Ni表示節(jié)點i的鄰居結點的集合。

最后根據(jù)歸一化的權重系數(shù)聚合鄰居信息。

(3)

對節(jié)點的出度鄰居和入度鄰居使用相同的上述操作,最后合并出度和入度信息。

(4)

1.3 圖信息更新

將更新后的圖的節(jié)點和原來的節(jié)點做一個合并。

Vl=LR(W1[Vl-1‖Vl]),

(5)

其中,Vl-1,Vl∈Rd,Vl-1表示l-1層圖節(jié)點,Vl表示l層圖節(jié)點,本算法只進行一層圖更新。‖表示連接操作。W1∈Rd×2d,將拼接后的向量轉換到d維。

1.4 生成會話嵌入

將得到的局部節(jié)點嵌入輸入到軟注意力機制中,用來捕獲全局會話嵌入,使用會話中最后一個項目嵌入作為查詢向量,注意力權重計算公式如下:

(6)

(7)

其中,q2∈Rd,W2,W3∈Rd×d是項目嵌入向量的參數(shù)矩陣,c∈Rd是偏置向量。

將會話嵌入和最后一個項目的嵌入合并:

S=W4[Vn,l‖Sg],

(8)

其中,W4∈Rd×2d,將拼接后的向量轉換到d維。

1.5 生成推薦

(9)

損失函數(shù)定義為預測結果的交叉熵:

(10)

其中,yi為真值項的one-hot向量。

1.6 聯(lián)合對比學習

LIU等[8]首先提出了自我對比學習,是一種通過引入額外的損失函數(shù)來提高項目嵌入空間均勻性的直接解決方案,損失函數(shù)通過直接懲罰同一個批次內(nèi)項目嵌入的接近性實現(xiàn),該方案基于假設每個物品的嵌入應該遠離所有其他物品的嵌入。

將自我對比學習作為額外的損失函數(shù):

(11)

其中,xi表示正樣本,是一個批次的任一項目嵌入;xj表示負樣本,是一個批次內(nèi)的全部項目;n表示一個批次內(nèi)所有項目的總數(shù)。

(12)

其中,sim表示余弦相似性,τ表示溫度系數(shù)。

最后推薦損失和對比學習損失共同產(chǎn)生效果,δ是對比學習損失函數(shù)的權重系數(shù),作為可學習的參數(shù)。

(13)

2 實驗與結果分析

2.1 數(shù)據(jù)集

使用兩個基準數(shù)據(jù)集Diginetica和Yoochoose。其中,Diginetica來自2016年CIKM Cup挑戰(zhàn)賽的電子商務數(shù)據(jù)集;Yoochoose來自2015年RecSys挑戰(zhàn)賽的電子商務數(shù)據(jù)集。對兩個數(shù)據(jù)集進行預處理。首先過濾掉長度為1的會話和出現(xiàn)次數(shù)少于5次的項目。然后對于Diginetica將最新一周的會話作為測試數(shù)據(jù),剩余的歷史數(shù)據(jù)用于訓練。對于Yoochoose將最新一天的會話作為測試數(shù)據(jù),剩余的歷史數(shù)據(jù)用于訓練,由于Yoochoose數(shù)據(jù)集比較大,取訓練集中最新數(shù)據(jù)的1/64作為Yoochoose1/64數(shù)據(jù)集。最后對兩個數(shù)據(jù)集進行數(shù)據(jù)擴充,對于一個會話S=(v1,v2,…,vn),通過序列分裂預處理生成序列和相應的標簽,即([v1],v2), ([v1,v2],v3),…,([v1,v2,…,vn-1],vn)。數(shù)據(jù)集經(jīng)過預處理后的統(tǒng)計結果如表1所示。

表1 數(shù)據(jù)集信息

2.2 評價指標

采用兩個廣泛使用的基于排名的指標:HR@K和MRR@K。HR@K是衡量召回率的指標,表示推薦列表能正確推薦的比例。MRR@K指標用于度量會話推薦算法的排序質量,即正確推薦項目在推薦列表中的位置的倒數(shù)。

2.3 基線算法

(1)Item-KNN[9]:一種基于項目的最近鄰(KNN)推薦算法,通過計算會話向量之間的余弦相似度進行推薦。

(2)FPMC[10]:一種基于馬爾科夫鏈的傳統(tǒng)推薦算法,通過建模相鄰點擊項目之間的順序行為預測用戶下一次可能點擊的項目。

(3)GRU4Rec[5]:首個有效的基于深度學習的會話推薦算法,使用循環(huán)神經(jīng)網(wǎng)絡(RNN)對基于會話的用戶序列建模,通過堆疊多層門控循環(huán)單元(GRU)進行訓練。

(4)SR-GNN[11]:首個有效的基于圖神經(jīng)網(wǎng)絡(GNN)的會話推薦算法,通過將歷史會話序列構建成網(wǎng)絡圖形式,通過GNN模塊編碼會話中項目之間的復雜轉移關系,采用軟注意力機制提取用戶的全局和當前偏好,進一步輸出推薦結果。

(5)TAGNN[12]:一種 SR-GNN的改進算法,在原有算法的軟注意力模塊中引入目標注意力單元,使算法能夠自適應地激活不同的用戶偏好,從而提高算法的表達能力。

2.4 參數(shù)設置

將向量維度設置為100,mini-batch大小設置為100。經(jīng)過多次實驗,將溫度系數(shù)τ設定為0.1。選擇訓練集的隨機10%子集作為驗證集。使用Adam優(yōu)化器,初始學習率為0.01,每3個epoch后衰減0.1,L2懲罰設置為10-5。

2.5 實驗結果與分析

5個基線算法和本文算法在兩個真實數(shù)據(jù)集的實驗結果見表2,其中每列的最佳結果以加粗體字突出顯示。可以觀察到,CLGNN在兩個數(shù)據(jù)集上的兩個指標一致地達到了最佳性能,這確定了本文提出的方法的有效性。

表2 實驗結果

3 結語

本文提出了聯(lián)合對比學習的圖神經(jīng)網(wǎng)絡推薦算法,使用圖注意力機制獲得項目嵌入,通過軟注意力機制聚合會話內(nèi)的項目生成會話嵌入,同時使用自我對比學習來優(yōu)化項目嵌入空間。在Diginetica和Yoochoose1/64兩個真實數(shù)據(jù)集上取得了較好的推薦結果。