基于圖神經網絡和注意力機制的會話推薦

黨偉超，姚志宇，白尚旺，高改梅，劉春霞

(太原科技大學 計算機科學與技術學院，山西 太原 030024)

0 引 言

推薦技術可以解決用戶信息過載的問題，在諸如搜索引擎和電子商務等網絡應用中，它是用戶選擇感興趣信息的基礎。傳統的推薦研究通常根據用戶歷史信息進行個性化推薦，然而在許多真實的應用程序中，這種長期用戶信息可能不存在。而基于會話信息推薦[1,2]，可以根據用戶正在進行會話中的行為信息，預測用戶的下一次點擊。

目前已經提出了一些推薦方法。相比于傳統推薦，會話推薦[3]有更好的表現能力，Hidasi等[4]提出循環神經網絡的方法。Jannach等[5]提出融合循環神經網絡和基于鄰域的方法。Tuan等[6]使用三維卷積神經網絡完成推薦。Wu等[7]提出基于深度神經網絡的方法。Li等[8]結合循環神經網絡和注意力機制共同捕捉用戶的行為特征和興趣。Liu等[9]提出短期注意力優先方法，利用多層感知網絡和注意力網絡，有效捕獲用戶的一般興趣和當前興趣。圖神經網絡廣泛應用于推薦系統[10,11]、行人重識別[12]、分辨率重建[13]等領域，基于圖神經網絡的方法可以對會話圖進行操作，更好地捕捉項目之間的復雜依賴關系。

綜上所述，基于循環神經網絡的推薦方法存在以下局限性。首先，基于序列的方法只能對連續項目之間的順序轉換建模，很難捕獲項目之間的復雜關系。其次，很難從每個會話中準確地估計每個用戶的全局表示。最后，在對特定候選項目進行預測時，需要考慮與目標項目相關性比較大的項目。為克服上述方法的局限性，本文提出一種新型的會話推薦方法，稱為SR-GNN-AM(session recommendation based on graph neural network and attention mechanism)。

1 基于圖神經網絡和注意力機制的會話推薦

1.1 總體框架

如圖1所示。該方法首先將會話序列構建為有向會話圖，利用圖神經網絡捕捉項目之間的依賴關系，生成準確的項目嵌入向量。其次應用多頭注意力機制，生成全局嵌入向量，可以更好地挖掘用戶在當前會話中的全局偏好。最后引入目標注意力機制，生成目標嵌入向量，考慮目標項目歷史行為的相關性，激活當前會話中與目標項目相關的特定用戶興趣。本方法融合當前嵌入向量、全局嵌入向量和目標嵌入向量，生成會話嵌入向量，最終預測用戶的下一次點擊。

1.2 構建會話圖

基于圖神經網絡的會話將每個會話s表示為一個有向會話圖。有向會話圖由Gs=(N,ε,A) 表示，其中N,ε,A分別是有向會話圖的節點集、邊集和鄰接矩陣。在有向會話圖Gs中，每個節點代表一個項目pi∈P， 每條邊 (pi-1,pi)∈ε， 代表用戶連續訪問項目pi-1和pi。A定義為兩個鄰接矩陣A(out)和A(in)的拼接，反映項目之間的雙向關系，其中A(out)和A(in)分別表示輸出邊和輸入邊的加權鄰接矩陣。以會話序列s=[p1,p2,p3,p2,p4] 為例，如圖2所示，圖(a)是會話序列對應的會話圖，圖(b)是展開的一個時間步，實線對應于會話圖的有向邊，虛線對應于有向邊的反相邊，圖(c)是會話圖的兩個鄰接矩陣A(out)和A(in)的加權拼接。以鄰接矩陣A(out)為例，p2的出度為2，每一條出度邊的權重相同，所以p2→p3的出度值為1/2，p2→p4出度值為1/2。

1.3 項目嵌入

圖神經網絡是一類廣泛使用的深度學習模型，它可以對有向會話圖中的節點生成節點嵌入向量，可以對復雜的項目依賴關系建模。構造有向會話圖之后，每個節點pi∈P都會轉化為一個嵌入向量。使用圖神經網絡獲得項目嵌入向量vi∈Rd， 它可以表示每一個會話。

本文使用一種特定類型的圖神經網絡，門控圖神經網絡完成項目嵌入。對于有向會話圖Gs中的節點pi， 其更新規則為

(1)

(2)

(3)

(4)

(5)

式(1)表示不同節點之間的信息傳播，提取潛在向量，并將它們作為圖神經網絡的輸入。式(2)和式(3)分別表示更新門和重置門，分別決定要保留和丟棄信息。式(4)表示候選狀態，通過前一個時間步的狀態、當前狀態和重置門來構建候選狀態。式(5)表示為，在更新門的控制下，最終狀態是前一個時間步狀態和候選狀態的組合。通過不斷更新，獲得最終的節點向量。

1.4 全局嵌入

在之前的推薦研究中，大部分模型利用項目嵌入生成全局嵌入向量，它可以表示用戶的長期興趣偏好，在此基礎上，通過應用多頭注意力機制生成更加準確的全局嵌入向量sglobal∈Rd。

多頭注意力機制為將查詢Q、 鍵K和值V， 分別用不同的、經過訓練的線性投影對dq、dk和dv維進行線性投影h次，然后將它們拼接起來并再次投影，得到最后的結果。dq為查詢的維度，dk為鍵的維度，dv為值的維度，h為頭的數量。多頭注意力機制能夠同時在不同的子部分中，獲取重要的相關信息。

多頭注意力機制的輸入為項目嵌入矩陣X=[v1,v2,…,vn]T∈Rn×d，vi∈Rd為所有項目中第i個項目的嵌入向量，其輸出為Y=[y1,y2,…,yn]∈Rn×d，yi∈Rd為經過多頭注意力機制，新生成的第i個項目的嵌入向量，n為會話長度，d為項目嵌入向量維度。多頭注意力機制的表達式為

Q=K=V=X

(6)

(7)

(8)

Y=Concat(head1,…,headh)WO

(9)

對于每個會話s， 全局嵌入向量由sglobal∈Rd表示

(10)

1.5 目標嵌入

在獲得每個項目的嵌入向量之后，模型自適應地考慮目標項目的相關性，目標項目為所有要預測的候選項目。通過應用目標注意力機制計算會話s中，所有項目嵌入向量vi和每個目標項目嵌入向量vt之間的注意力分數，利用softmax函數歸一化，其公式為

(11)

其中，Wt∈Rd×d為權重矩陣。

對于每個會話s， 目標項目嵌入向量由starget∈Rd表示

(12)

1.6 會話嵌入

在會話s中，用戶最后一次點擊的項目會影響用戶的下一次點擊。使用當前嵌入向量slocal∈Rd表示用戶的短期興趣偏好，它是用戶最后一次訪問項目pn的向量化表示。

本模型拼接目標嵌入向量、當前嵌入向量和全局嵌入向量，之后通過線性變換，最終生成會話嵌入向量

st=W[starget;slocal;sglobal]

(13)

其中，W∈Rd×3d為權重矩陣。

1.7 生成推薦

(14)

(15)

(16)

其中，yi為真值項目的獨熱編碼向量，使用時間反向傳播算法訓練模型。

2 實驗結果與分析

2.1 數據集

本實驗分別在兩個真實的公共電子商務數據集Yoochoose和Diginetica上進行驗證。Yoochoose數據集的數據信息來源于RecSys Challenge 2015，它包含用戶在電子商務網站上6個月內的點擊信息。Diginetica數據集的數據信息來自CIKM Cup 2016的交易數據。為公平比較，本實驗嚴格遵循與Wu等[14]相同的數據集處理規則，在公共數據集中，刪除點擊次數不到5次的項目和會話長度為1的會話。最終，Yoochoose數據集包含7 981 580條會話和37 483個項目，Diginetica數據集包含204 771條會話和43 097個項目。

Yoochoose數據集的最后幾天數據作為該數據集的測試集，Diginetica數據集的最后幾周數據作為該數據集的測試集。對于會話s=[p1,p2,…,pn]， 通過預處理生成一系列的會話序列以及相應標簽，其中會話序列為 [p1,p2,…,pn]， 相應的標簽為 ([p1],p2),([p1,p2],p3),…,([p1,p2,…,pn],pn+1)，pn+1為下一次點擊的項目。由于Yoochose數據集太大，只使用其最近1/4部分訓練，用Yoochoose 1/4表示。表1總結了兩個數據集的詳細信息。

表1 數據集信息統計

2.2 參數設置

在所有實驗中，隱含向量的維度為100，初始學習率為0.001，每3個訓練周期衰減0.1，多頭注意力中頭的數量為2。對于這兩個數據集，批處理大小設置為20，l2懲罰項設置為10-5。

2.3 評估指標

本實驗采用與Wu等[14]相同的評估指標，分別是準確率(Precision)和平均倒數排名(mean reciprocal rank，MRR)。

P@N用于評估推薦的準確性，表示在推薦排名列表前N項中，正確推薦項目數量占樣本數量的比例，時間復雜度為O(n)。計算公式為

P@N=nhit/n

其中，nhit表示前N項中正確推薦項目的數量，n表示樣本數量。

MRR@N用于評估正確項目在推薦排名列表中的排名，表示正確推薦項目的倒數排名的平均值，值越大，表明推薦的項目在排名列表中位置越靠前，時間復雜度為O(n)。計算公式為

其中：n表示樣本數量，M表示前N個項目中正確項目組成的集合，rankpi表示項目pi在推薦排名列表中的排名，本實驗中N為20。

2.4 相關方法比較與分析

為驗證SR-GNN-AM方法的有效性，與下列方法比較。基于循環神經網絡的推薦方法：基于循環神經網絡和注意力機制的推薦方法[8](neural attentive recommendation machine，NARM)和基于短期注意力優先的推薦方法[9](short-term attention/memory priority，STAMP)。基于圖神經網絡的推薦方法[14](session-based recommendation with graph neural networks，SR-GNN)。表2總結了P@20和MRR@20的總體表現，最高表現以粗體的形式在表中顯示。

表2 實驗結果對比

實驗結果表明SR-GNN-AM在公共數據集上，P@20和MRR@20都有良好的表現，這驗證了所提出方法的有效性。從表2中可以反映出一個明顯的趨勢，基于神經網絡類方法優于傳統方法，這些方法具有更強捕捉復雜用戶行為的能力。NARM應用循環單元捕捉用戶的整體興趣，STAMP使用最后一次點擊的項目，改善短期記憶能力，這些方法考慮了用戶的全局行為偏好，從而獲得了優于傳統方法的性能。但是這些方法只考慮連續項目之間的單向轉換關系，它們的性能仍然不如SR-GNN。

NARM和STAMP忽略了項目之間的交互關系，但是SR-GNN進一步考慮了會話中項目之間的復雜依賴關系，該方法將每個會話建模為一個有向會話圖，該圖可以捕捉用戶點擊項目之間更加復雜和隱含的聯系。該方法采用軟注意力機制生成全局會話表示，該會話表示可以自動選擇相對重要的項目，并且忽略當前會話中無效的用戶行為，STAMP只利用最后一次單擊的項目和之前項目之間的依賴關系，這可能是不夠的，其它RNN模型，如NARM，在傳播過程中也不能選擇有影響的信息。當用戶的行為是無目的的，或者用戶的興趣在當前會話中快速漂移時，傳統的模型處理這種類型會話信息是無效的。然而SR-GNN的性能仍然不如本文所提出的方法。

SR-GNN-AM在SR-GNN基礎上，利用多頭注意力機制生成全局會話嵌入向量，多頭注意力機制有多個頭，每個頭可以從不同的特征空間中提取不同的特征信息，從而更加全面地捕捉項目之間的依賴關系，并且采用目標注意力機制，進一步考慮用戶興趣和目標興趣之間的關系，在給定不同目標項目的情況下，該模型會激活不同的用戶興趣，從而提高推薦模型的表現能力。綜上所述，這些實驗結果驗證了所提出方法的有效性。

2.5 不同會話嵌入方法比較與分析

為比較不同的會話嵌入方法對模型表現的影響程度，本實驗將與以下3種嵌入方法進行比較：①局部嵌入(L)；②具有平均池化的全局嵌入(AVG)；③具有多頭注意力機制的全局嵌入(M-H)；④融合局部嵌入和多頭注意力機制的全局嵌入(L+M-H)。比較結果見表3。

表3 不同會話嵌入方法的結果表現

從表3中可以看出，SR-GNN-AM在兩個公共數據集上都獲得了最佳的結果，實驗結果表明，L優于AVG，它僅使用最后一次點擊的項目作為會話表示，表明最后一次點擊的項目對預測用戶的最終點擊有很大的影響。M-H優于AVG，多頭注意力機制有助于從會話數據中提取出重要的行為信息。從表中還可以看出,(L+M-H)優于L和M-H，實驗結果驗證了將當前會話興趣、長期興趣偏好結合的必要性。

從實驗結果還可以看出，使用AVG在會話中取得了不好的表現，這種現象是因為會話中用戶行為具有多樣性，這進一步突出了使用本文所提出的多頭注意力機制，捕捉不同用戶興趣的重要性。

2.6 不同注意力機制比較與分析

本模型利用多頭注意力機制和目標注意力機制完成推薦，為比較不同注意力機制對模型的影響程度，本實驗分別與以下兩種注意力機制進行比較：①軟注意力機制推薦模型(L+S)，也是SR-GNN，其會話嵌入向量包括：當前嵌入向量和軟注意力機制生成全局會話嵌入向量；②多頭注意力機制推薦模型(L+M-H)，其會話嵌入向量包括：當前嵌入向量和多頭注意力機制生成全局嵌入向量。比較結果見表4，最高表現以粗體的形式在表中顯示。

從表4中可以看出(L+M-H)優于SR-GNN，這驗證了多頭注意力機制強于軟注意力機制，多頭注意力機制可以更加準確地表示全局興趣偏好，提高推薦精度。SR-GNN-AM在各項指標上都優于(L+M-H)，這驗證了模型融合目標嵌入的重要性，目標注意力機制可以更好地針對目標項目完成相關性推薦。實驗結果表明，本模型通過結合多頭注意力機制和目標注意力機制，可以更好地完成個性化推薦任務。

表4 不同注意力機制的表現

3 結束語

本文提出基于圖神經網絡和注意力機制的會話推薦方法，門控圖神經網絡捕捉項目間依賴關系，多頭注意力準確表示用戶全局偏好，生成全局嵌入，目標注意力考慮目標項目相關性，生成目標嵌入，融合當前嵌入，生成會話嵌入，從而完成推薦。通過在真實數據集上的大量實驗，實驗結果表明，SR-GNN-AM在各項指標上均優于SG-GNN等方法，另外通過消融實驗驗證了本方法各組成部分之間的有效性。但是，由實驗結果可見，會話推薦的各項指標還存在很大的提升空間，在接下來的工作研究中，考慮通過挖掘用戶更多行為信息以及結合知識圖譜，以得到更高的推薦精度。