基于圖神經網絡和時間注意力的會話序列推薦

孫 鑫，劉學軍，李 斌，梁 珂

(南京工業大學 計算機科學與技術學院，江蘇 南京 211816)

0 引 言

在基于會話的推薦問題中，經典的協同過濾和矩陣分解[1,2]方法并不適用。近年來，大多數研究將循環神經網絡(recurrent neural network，RNN)應用于基于會話的推薦系統中[3-6]，取得了良好的效果。然而，這些算法仍然存在以下問題：①只使用用戶點擊序列對連續項目之間的單向轉換建模，忽略了會話中的其它項目，即忽略了遠距離項目之間的復雜轉換。②忽略項目的瀏覽時間信息。人們普遍認為，用戶傾向于花更多時間在他們感興趣的項目上，而這些感興趣的項目總是與用戶當前的目標密切相關。因此，項目的瀏覽時間是會話序列推薦中的一個重要特征。③在基于會話的推薦中，會話大多是匿名的，而且數量眾多，再加上在會話點擊中涉及的用戶行為通常是有限的，因此很難準確地估計每個會話的向量表示。為了解決上述問題，提出了一種基于圖神經網絡和時間注意力機制的會話序列推薦方法，稱為GNN-TA-SR(graph neural networks with time attention mechanism for session-based reco-mmendations)。該方法利用門控圖形神經網絡，建模項目之間的復雜轉換并得到項目隱含向量，然后，基于得到的項目隱含向量，利用一個時間注意力網絡生成準確的會話向量表示。其中，時間注意力因子(time attention factors，TAF)是根據用戶瀏覽過程中項目的持續時間信息創造性地計算出來的。

1 相關工作

1.1 傳統的推薦方法

傳統的基于會話的推薦方法主要包括基于項目的鄰域方法和基于馬爾可夫鏈的序列方法。

基于項目的鄰域方法在會話期間根據項目的相似性矩陣來向用戶推薦與當前點擊的項目最相似的項目，其中項目相似性是根據同一會話中的共現計算的，即在會話中經常一起點擊的項目被認為是相似的。這些方法難以考慮項目的順序并僅基于最后點擊生成預測。

然后，提出了基于馬爾可夫鏈的序列方法，該方法基于先前的點擊預測用戶的下一步行為?；隈R爾可夫鏈的序列方法將推薦生成作為序列優化問題處理，文獻[7]采用馬爾可夫決策過程(MDPs)作為解決方案。文獻[8]基于馬爾可夫鏈提出了一種個性化的序列推薦模型，將矩陣分解和馬爾可夫鏈方法結合起來，同時適應長期和短期動態。這些方法的主要問題是，當試圖包括用戶所有可能選擇的序列時，狀態空間很快變得難以管理。

1.2 基于深度學習的方法

深度神經網絡最近被驗證在建模序列數據方面非常有效[9]。受自然語言處理領域最新研究進展的啟發，已經開發了一些基于深度學習的解決方案。Hidasi等[3]首先提出了一種循環神經網絡方法，然后通過數據增強技術和考慮用戶行為的時間轉換來改進模型[4]。Li等[6]提出一種基于RNN的編碼器-解碼器模型(NARM)，它將來自RNN的最后隱藏狀態作為序列行為，并使用先前點擊的隱藏狀態進行注意力計算，以捕獲給定會話中的主要目的。Jannach和Ludewig[10]將循環方法和基于鄰域的方法結合在一起，以混合順序模式和共現信號。Tuan和Phuong[5]將會話點擊與內容特征(例如項目描述和項目類別)結合起來，通過使用三維卷積神經網絡生成推薦。Liu等[11]提出了一個短期注意優先模型(STAMP)，通過采用簡單的MLP網絡和注意力網絡來捕捉用戶的一般興趣和當前興趣。

近年來，圖神經網絡(graph neural network，GNN)在社交網絡、知識圖譜、推薦系統，甚至生命科學等各個領域越來越受歡迎[12-15]，它是一種直接在圖結構上運行的神經網絡。門控GNN[16]是GNN的一種改進，它使用門控循環單元，通過BPTT(back-propagation through time)計算梯度。最近，GNN被用于建模自然語言處理和計算機視覺應用的圖形結構依賴性，例如，腳本事件預測[17]、情境識別[18]和圖像分類[19]。圖神經網絡能夠在考慮豐富節點連接的情況下自動提取會話圖的特征，非常適合基于會話的推薦。

2 模型框架

2.1 公式化描述

2.2 總體框架

對于基于會話的推薦，首先從歷史會話序列構造有向圖?；跁拡D，GNN能夠捕獲項目的轉換并相應地生成精確的項目隱含向量，這是以前的序列方法難以做到的，如基于馬爾可夫鏈和基于RNN的方法?；跍蚀_的項目隱含向量，所提出的GNN-TA-SR可以構造更可靠的會話表示，并且可以推斷出下一次點擊項目。

圖1為所提出的GNN-TA-SR方法的總體框架。首先，所有會話序列都被建模為有向會話圖G =(V,ε)， V 是節點的集合，由項目空間所有且唯一的項目組成，一個項目就是有向圖中的一個節點v，ε是有向邊的集合，v→v′∈ε是有向邊，表示用戶在會話s中點擊項目v之后又點擊了項目v′。其中每個會話序列可以被視為子圖，如圖1會話圖中虛線框部分所表示的會話序列s=[v3,v1,v3,v5,v7]。然后，依次對每個會話圖進行處理，通過門控圖神經網絡得到每個圖中涉及的所有節點的隱含向量。之后，將每個會話表示為全局偏好和該會話中用戶的當前興趣的組合，其中全局偏好向量和用戶當前興趣均由節點的隱含向量組成。最后，對于每個會話，模型預測每個項目成為下一個點擊的概率。

圖1 GNN-TA-SR的總體框架

2.3 在會話圖上學習項目隱含向量

每個會話序列s=[v1,v2,…,vn]都可以被視為有向圖G的子圖Gs= (Vs,εs)，在此會話圖中，每個節點代表一個項目vi∈V。每條邊(vi,vi+1)∈εs表示用戶在會話s中的vi之后點擊項目vi+1。由于會話序列中可能出現多個重復點擊的項目，所以需要給每條邊分配一個歸一化加權值，該值被計算為該邊的出現次數除以該邊的起始節點的出度。將每個項目v∈V映射到一個統一的嵌入空間中，節點向量hv∈d表示通過圖神經網絡學習的項目v的隱含向量，其中d是維度。

具體地，對于圖Gs的節點vi，節點向量的學習更新函數如下

(1)

(2)

(3)

(4)

(5)

其中，H∈d×2d控制權重，hvi表示節點vi的隱含向量，矩陣A∈n×2n決定圖中的節點如何相互通信。以會話序列s=[v5,v6,v4,v6,v4,v6,v7]為例，如圖2所示，圖(a)是會話s對應的會話圖，圖(b)是展開的一個時間步，實線邊對應于圖(a)中的有向邊，虛線邊對應于有向邊的反向邊，每條邊的權重分別對應于圖(c)矩陣A中的非零參數。A定義為兩個鄰接矩陣Aout和Ain的串聯，它們分別表示會話圖中輸出和輸入邊的加權連接。Ai:∈1×2n是矩陣A中對應于節點vi的一行。對于每個會話圖Gs，門控圖神經網絡同時處理節點。在矩陣A給出的限制條件下，等式(1)是在圖的不同節點之間通過傳入和傳出的邊傳遞信息的步驟，式(2)～式(5)類似于門控循環單元(gated recurrent unit，GRU)的更新，它們包含來自其它節點和前一個時間步的信息，以更新每個節點的隱藏狀態。其中，z和r是更新門和重置門，σ(·)是sigmoid函數，⊙是點乘運算符。通過對會話圖中所有節點進行更新直至收斂，可以獲得最終的節點向量。

圖2 會話s=[v5,v6,v4,v6,v4,v6,v7]

2.4 計算時間注意力因子

在瀏覽過程中，用戶總是傾向于在感興趣的項目上花費更多的時間，而對于不喜歡的項目或者無意間點擊的項目，他們可能只會瀏覽很短的時間。此外，用戶的下一個瀏覽項目總是與用戶當前的興趣相關聯。因此，我們使用項目瀏覽時間來計算時間注意力因子，它可以反映之前點擊的項目與用戶當前興趣的聯系。這些計算出的注意力因子將被添加到時間注意力網絡中用于生成會話向量表示。圖3顯示了時間注意力因子的計算過程。計算過程分為4個步驟：項目瀏覽時間的計算、設置瀏覽時間的閾值、z分數變換和歸一化操作。

圖3 時間注意力因子的計算過程

從數據集中每個事件的時間戳，可以獲得每個項目的瀏覽時間。圖4顯示了RecSys Challenge 2015數據集中的項目瀏覽時間分布，只有約1%項目的瀏覽時間超過1500 s。這些長時間的瀏覽可能是由于瀏覽行為被某些東西打斷，并且在他(或她)離開之前瀏覽頁面沒有關閉。為了避免異常的長時間瀏覽的影響，應該設置一個時間閾值Tth。假設在正常情況下，每個項目的瀏覽行為都可以在Tth時間范圍內完成，如果用戶對一個項目的瀏覽時間超過該閾值，則視為異常行為并設置瀏覽時間為Tth。Tth的具體取值取決于實際應用的需要，根據RecSys Challenge 2015數據集的特點，下面的分析將Tth設置為1500 s。

圖4 RecSys Challenge 2015數據集中的項目瀏覽時間分布

在GNN-TA-SR模型中，我們不關心項目瀏覽時間的絕對值，而關心的是每個項目瀏覽時間所占的比例。例如，在會話s1中，用戶在項目v1、v2、v3上的瀏覽時間分別為30 s，60 s和180 s，而在另一條會話s2中，用戶在v1、v2、v3上的瀏覽時間分別為250 s、168 s和180 s。顯然，在第一條會話中用戶喜歡v3的程度要大于在第二條會話中用戶喜歡v3的程度，盡管他們在v3上的瀏覽時間相同。如果直接使用項目的瀏覽時間作為它們的注意力因子，系統可能會錯誤地認為項目v3對會話s1和會話s2同等重要。為了避免這個錯誤，更準確地衡量會話序列中每個項目的重要性，使用項目的瀏覽時間信息和它所屬會話的全局信息計算項目的z分數。z分數值定義如下

(6)

為了使每條會話的興趣表示保持一致，通過使用sigmoid函數將計算得到的z分數進行歸一化。項目的時間注意力因子由下式表示

(7)

2.5 生成會話向量表示

基于節點向量，每個會話s可以表示為一個嵌入向量hs，該向量由該會話中涉及的節點向量直接表示。為了更好地預測用戶的下一次點擊，我們制定了幾種策略以結合會話的全局(長期)偏好和當前興趣，并將此混合向量用作會話向量。

GNN-SR-AVE：將會話中點擊的項目視為同等重要，忽略瀏覽時間差異，sg表示用戶在當前會話的長期偏好，被定義為節點向量的平均值，st表示該會話中用戶的當前興趣，在該方法中，將最后一次點擊vn視為的用戶當前興趣

(8)

st=hvn

(9)

GNN-SR-TAF：考慮在一個會話中，用戶對每個項目的喜愛程度不同，或者點擊某個項目是屬于意外點擊，這些情況大都可以根據項目瀏覽時間反映出來，因此，引入時間注意力因子來計算用戶在當前會話的長期偏好和當前興趣

(10)

st=αtnhvn

(11)

GNN-SR-TAF0：為了控制變量，對比在計算當前會話的長期偏好和當前興趣引入時間注意力因子對推薦性能的影響，令

(12)

st=hvn

(13)

GNN-TA-SR：考慮會話中每個點擊的項目對整條會話和最后一次點擊的貢獻度不同，給每個項目賦予不同的權重

αi=qΤσ(W1hvi+W2hvn+W3sg′+c)

(14)

其中，令

(15)

從等式(14)可以看出，會話序列中每個項目的注意力系數是基于目標項目vi、最后點擊vn和會話全局偏好的初步表示sg′來計算的。

則用戶在當前會話的全局偏好

(16)

用戶的當前興趣

st=αtnhvn

(17)

其中，參數q∈d、W1,W2,W3∈d×d用于控制項目向量的權重。

最后，以上3種策略均通過sg和st向量的串聯進行線性變換來計算混合向量hs

hs=W4[sg;st]

(18)

其中，矩陣W4∈d×2d將兩個組合向量映射到潛在空間d中。

2.6 生成推薦

(19)

(20)

對于每個會話圖，損失函數定義為預測值與真實值的交叉熵，然后使用BPTT算法來訓練模型

(21)

其中，y是真實的會話序列中下一個點擊項目的one-hot向量。注意，在基于會話的推薦場景中，大多數會話的長度相對較短。因此，建議選擇相對較少的訓練步驟來防止過擬合。

3 實驗與分析

在本節中，首先描述了實驗中使用的數據集，數據預處理和評價指標。然后，將提出的GNN-TA-SR與其它方法進行了比較。最后在不同的實驗設置下對GNN-TA-SR進行了詳細的分析。

3.1 數據集和數據預處理

GNN-TA-SR模型在RecSys Challenge 2015發布的公開數據集Yoochoose中進行訓練和評估，該數據集包括從電子商務網站收集的6個月的點擊流，其中訓練集僅包含會話事件。從文獻[20]中分析，該數據集中約90%的會話有7個或更少的事件，最長的會話包含262個事件。所有項目的平均交互次數為23，其中最受歡迎的項目在數據集中被點擊162 622次。

首先，從Yoochoose數據集中過濾掉長度為1的會話和點擊次數小于5次的項目，并劃分出Yoochoose數據集最后一天的會話數據作為測試集，之前的會話數據分別作為訓練集，然后從測試集中刪除那些不曾出現在訓練集中的項目。最終，Yoochoose數據集保留了7 966 257條會話和37 483個項目，共計31 637 239次點擊。

為了公平比較，遵循文獻[4]對會話序列進行拆分處理，對于會話s=[v1,v2,…,vn]，拆分成序列和相應的標簽([v1],v2)， ([v1,v2],v3)，…，([v1,v2,…,vn-1],vn)。因為Yoochoose訓練集非常大，并且根據文獻[6]的實驗，在距離測試集較近的數據的訓練會產生比在整個數據集的訓練更好的結果，因此，實驗中使用距離測試集時間最近的1/64和1/4的訓練序列。兩個數據集的統計數據見表1。

表1 實驗數據集統計

3.2 評價指標

P @ 20 (Precision)被廣泛用作基于會話的推薦領域中預測準確度的度量。它代表前20項中正確推薦的項目的比例。

MRR @ 20(mean reciprocal rank，MRR)是正確推薦項目的倒數排名的平均值。當排名超過20時，倒數排名被設置為0。MRR度量是范圍[0,1]的歸一化分數，考慮推薦排名的順序，其中較大的MRR值表示正確的推薦位于排名列表的頂部，這表明相應推薦系統的性能更好。

3.3 參數設置

通過對所有數據集進行廣泛的網格搜索來優化超參數，并且通過基于驗證集上的P @ 20得分的早期停止來選擇最佳模型，驗證集是訓練集的隨機10%子集。網格搜索的超參數范圍如下：隱含向量維度d:{50,100,150,200}，學習率η:{0.001,0.005,0.01,0.1,1}。根據平均性能，在本研究中，兩個數據集隱含向量的維度d設置為100。所有參數都使用均值為0、標準差為0.1的高斯分布初始化，并使用小批量Adam優化器對這些參數進行優化，其中初始學習率η設置為0.001，每3個周期后衰減0.1。此外，批量大小和L2 正則化參數分別設置為100和10-5。

3.4 與相關方法比較

為了驗證所提出算法的整體性能，將GNN-TA-SR算法同以下8種現有的解決會話型推薦問題的算法——POP、S-POP、Item-KNN、FPMC、GRU4Rec、GRU4Rec+、NARM、STAMP[7]進行了比較：

POP和S-POP分別推薦訓練集和當前會話中的前N個頻繁項目。

Item-KNN推薦與會話中先前點擊的項目類似的項目，其中相似性被定義為會話向量之間的余弦相似度。

FPMC是一種基于馬爾可夫鏈的序列預測方法。

GRU4Rec[3]使用RNN對基于會話的推薦的用戶序列進行建模。

GRU4Rec+[4]進一步研究了RNN在基于會話推薦領域的應用，提出了一種數據增強技術，并改變輸入數據的數據分布，用于改進模型的性能。

NARM[6]采用具有注意機制的RNN來捕獲用戶的主要目的和序列行為。

STAMP[11]捕捉用戶當前會話的一般興趣和最后一次點擊的當前興趣。

表2展示了所有算法在兩個數據集上P@20和MRR@20的總體性能。由于內存不足，無法初始化FPMC，所以沒有報告Yoochoose 1/4的性能[6]。

表2 實驗結果對比

基于圖神經網絡的會話序列推薦算法將分離的會話序列聚合到圖結構數據中，通過門控圖神經網絡得到項目隱含向量。從表2可以看出，GNN-TA-SR在Yoochoose1/64和Yoochoose1/4數據集上以P@20和MRR@20實現了最先進的性能，驗證了所提模型的有效性。在該模型中，考慮了項目之間的復雜轉換并利用了項目瀏覽時間信息，綜合考慮了會話的全局偏好和當前興趣。在本文所提出的4種混合策略中，GNN-TA-SR性能最佳，GNN-SR-TAF次之，GNN-SR-TAF0又優于GNN-SR-AVE，這表明將會話中的所有項目視為同等重要是不合理的，通過添加時間注意力因子，以及計算每個項目對整條會話和最近點擊項目的貢獻度來得到會話的全局偏好可以提高推薦性能。此外，GNN-SR-TAF0略優于GNN-SR-AVE表明，在當前興趣st引入時間注意力因子，對最后點擊的項目賦予一個權重，也可以提高推薦性能。

對于POP、SPOP、Item-KNN和FPMC等傳統方法，其性能相對較差。這種簡單的模型僅基于重復的共同點擊的項目或連續的項目進行推薦，這在基于會話的推薦場景中是有問題的。即便如此，S-POP仍然優于POP和FPMC等，驗證了會話上下文信息的重要性。與基于馬爾可夫鏈的FPMC相比，Item-KNN具有更好的性能。Item-KNN僅利用項目之間的相似性而不考慮序列信息，這表明傳統的基于馬爾可夫鏈的方法主要依賴的連續項目的獨立性假設是不現實的。此外，這樣的全局解決方案可能耗費時間和內存，使得它們無法擴展到大規模數據集。

所有的神經網絡基線都明顯優于傳統模型，從而驗證了深度學習技術在該領域的有效性。GRU4Rec+通過使用將單個會話拆分為多個子會話的數據增強技術來進行訓練，以提高GRU4Rec的性能。雖然GRU4Rec+不修改GRU4Rec的模型結構，但它們都只考慮了序列行為，這可能會遇到用戶興趣漂移的困難。NARM在基線中實現了比較好的性能，因為它不僅使用具有GRU單元的RNN來建模序列行為，而且還使用注意力機制來捕獲主要目的，這表明主要目的信息在推薦中的重要性。這是合理的，因為當前會話中的項目的一部分可能反映用戶的主要目的并且與下一個項目相關。而STAMP通過使用最后點擊的項目來改進短期內存。這些方法顯式地對用戶的全局行為偏好進行建模，并考慮用戶以前的動作和下一次點擊之間的轉換，從而獲得優于這些傳統方法的性能。然而，它們的性能仍然低于所提出的方法。與NARM和STAMP等最先進的方法相比，GNN-TA-SR進一步考慮了會話序列項目之間的復雜轉換，從而將每個會話建模為一個圖，它可以捕獲用戶點擊之間更復雜和隱式的連接。而在NARM和GRU4Rec中，它們顯式地為每個用戶建模，并通過分離的會話序列獲得用戶表示，而忽略了項目之間可能的交互關系。因此，本文所提出的模型對會話行為的建模能力更強。

此外，GNN-TA-SR采用時間注意力機制生成會話向量表示，該會話向量可以自動選擇最重要的項目轉換，并忽略當前會話中的噪聲和無效的用戶動作。相反，STAMP僅使用最后點擊的項目和先前的動作之間的轉換，這可能是不夠的。其它的RNN模型，如GRU4Rec和NARM，在傳播過程中也不能選擇有效的信息。它們使用先前所有的項目來獲得一個表示用戶一般興趣的向量。當用戶的行為漫無目的，或者他的興趣在當前會話中快速變化時，傳統的模型無法處理嘈雜的會話。

3.5 會話向量不同組成部分之間的比較

為了分析會話向量的不同組成部分對推薦性能的影響，將GNN-TA-SR與以下4種方法進行了比較：①只考慮用戶的當前興趣 (GNN-SR-L)，即只考慮用戶最后點擊的項目；②只考慮平均池化的全局偏好向量(GNN-SR-AVEG)；③引入時間注意力因子的全局偏好向量(GNN-SR-TAFG)；④通過時間注意力網絡得到的全局偏好向量(GNN-TA-SRG)，即GNN-TA-SR的全局偏好向量。圖5給出了對比結果。

圖5 會話向量不同組成部分之間的比較

從圖5中可以看出，混合向量方法GNN-TA-SR在兩個數據集上都獲得了最佳結果，這證實了將當前會話興趣與長期偏好相結合的重要性。圖5中還顯示了在兩個數據集上帶時間注意力因子的GNN-SR-TAFG的性能明顯優于平均池化的GNN-SR-AVEG，這表明考慮項目瀏覽時間是有效的。項目瀏覽時間在一定程度上反映了不同項目在會話中的重要性不同，引入時間注意力因子有利于識別會話中用戶真正喜歡的項目，也可以在一定程度上弱化意外點擊等噪聲行為對獲取會話向量表示的影響。此外，GNN-TA-SRG的性能優于GNN-SR-AVEG，表明GNN-TA-SRG更有助于從會話數據中提取重要行為來構建長期偏好；GNN-SR-L的性能優于GNN-SR-AVEG和GNN-SR-TAFG，并且性能僅次于GNN-TA-SRG，這表明當前興趣和長期偏好對于基于會話的推薦都是至關重要的。

4 結束語

在用戶偏好和歷史記錄難以獲取的情況下，基于會話的推薦是必不可少的。本文提出了一種基于圖神經網絡和時間注意力機制的會話序列推薦算法，不僅考慮了會話序列項目之間的復雜結構和轉換，將每個會話建模為一個有向圖來捕獲用戶點擊之間更復雜和隱式的連接，而且考慮項目的瀏覽時間信息，提出了一種結合會話的長期偏好和當前興趣的策略，以更好地預測用戶的下一步動作。綜合實驗結果表明，所提出的算法優于其它最先進的方法。