長期記憶增強的時間感知序列推薦算法

陳繼偉, 汪海濤, 朱興翔， 姜 瑛, 陳 星

(1. 昆明理工大學 信息工程與自動化學院, 昆明 650504； 2. 國家電投云南國際電力投資有限公司， 昆明 650100)

傳統推薦算法將用戶交互記錄存儲在二維評分矩陣中, 通過填充矩陣空缺實現預測, 能挖掘用戶的長期穩定偏好[1]. 與傳統推薦算法不同, 序列推薦將用戶交互歷史視為物品序列, 而不僅是一組物品, 捕獲用戶物品交互的動態信息, 從而準確預測用戶下次交互物品. 序列推薦考慮更多的是交互信息, 因此得到更準確的推薦結果, 同時也更符合真實的應用場景[2]. 近年來, 越來越多基于深度學習(DL)的方法被用于建模用戶動態偏好, 但大多數基于深度學習的序列推薦算法都未足夠關注長期偏好學習以及長期偏好和近期偏好的動態融合. 當用戶意圖不明確時, 動態結合用戶的長期偏好和近期偏好, 有利于提升推薦結果的多樣性和推薦系統的用戶體驗[3]. 時間信息包含重要的上下文語義, 一些序列推薦算法用自注意機制嵌入絕對時間, 將時間信息整合到物品嵌入表示中, 并取得了較好的實驗結果[4-5]. 通過這種簡單方式利用交互的時間信息, 不能完整捕獲用戶物品交互基于時間的多種模式, 許多時間相關的關鍵信息在很大程度上被忽略. 本文主要考慮時間信息在序列推薦中的影響. 基于廣泛觀察和研究, 發現用戶行為基于兩種基本時間模式： 絕對時間模式和相對時間模式. 前者突出用戶時間敏感行為, 表現為人們可能在特定的時間點經常與特定產品交互, 如人們在一天中各時段播放的音樂通常不同, 在早晨和傍晚播放舒緩靜謐的音樂, 中午播放流行音樂. 后者表示時間間隔如何影響兩種行為之間的關系, 如用戶常會在購買手機后的某個特定時間段內購買手機殼, 或購買同一日用品呈現某種周期性的間隔[6].

傳統序列推薦算法, 主要關注用戶的短期興趣, 且常忽略交互的時間信息. 基于此, 本文提出一種長期記憶增強的時間感知序列推薦算法LatRec, 結合了傳統推薦算法和序列推薦算法的優勢. 該算法建模用戶物品交互的時間信息, 通過多時間嵌入模式, 充分捕獲用戶物品交互的時間信息； 根據用戶意圖動態融合用戶的長期偏好和近期偏好, 緩解序列推薦算法用戶長期偏好建模能力不足的問題. 在真實數據集上進行仿真實驗的結果表明, LatRec算法較對比的其他序列推薦算法在性能上有一定提高.

1 預備知識

1.1 非序列推薦算法

傳統推薦算法利用協同過濾(collaborative filtering, CF)捕獲用戶偏好[7-8], 根據用戶與用戶或者物品與物品之間的相似性為用戶提供感興趣的物品. 矩陣分解(matrix factorization, MF)將用戶和物品映射到同一向量空間, 通過用戶和物品的向量內積衡量用戶對物品的偏好程度[9]. 基于物品鄰域的方法通過物品相似矩陣計算物品和用戶歷史交互物品的相似性表示用戶對物品的偏好[10-11]. 近年來, 深度學習的發展促進了推薦算法的變革. Salakhutdinov等[12]在Netflix Prize上提出了一個兩層的受限Boltzann機(restricted Boltzmann machines, RBM)用于協同過濾, 是深度學習用于推薦算法的早期嘗試. 此外, 神經協同過濾(neural collaborative filtering, NCF)通過多層感知(multilayer perceptron, MLP)而不是內積估計用戶偏好[13]. 基于深度學習的推薦算法旨在從整合輔助信息(如文本、 圖像等)中學習到分布式物品表示, 提高推薦算法的性能. TimeSVD++[14]和BPTF[15]將時間信息用于矩陣分解中.

1.2 序列推薦算法

傳統推薦算法常忽略用戶物品交互的順序, 而用戶偏好和物品特性都是動態的, 從用戶的交互序列中獲取用戶的偏好至關重要[1]. 早期的序列推薦算法利用Markov鏈(Markov chains, MCs)從用戶交互歷史中獲取序列模式. Shani等[16]將推薦生成形式化為一個序列優化問題, 并使用Markov決策過程(Markov decision processes, MDPs)解決該問題； Rendle等[17]通過個性化的Markov鏈分解(factorizing personalized Markov chains, FPMC)將MCs和MF相結合, 同時建模用戶的短期偏好和長期偏好. FPMC通過矩陣分解建模用戶的長期偏好, 同等對待每個交互物品, 本文通過注意力機制將較多的注意力權重分配給對下次交互影響預測更重要的物品, 忽略對下次交互預測無關或影響較小的物品. 目前, 循環神經網絡(RNN)及其變體門控循環單元(gated recurrent unit, GRU)、 長短時記憶網絡(long short-term memory, LSTM)在用戶行為序列的建模中應用廣泛. 這些方法的基本思想是利用循環神經網絡和損失函數將用戶交互歷史編碼到一個向量中, 用于表示用戶偏好, 并據此進行預測. 其中包括基于會話的GRU[18]、 基于注意力機制的GRU[19]、 改進損失函數(BPR-max, TOP1-max)和采樣策略的GRU[20]. 基于RNN的序列推薦算法同等對待交互序列中的每個物品, 與用戶對不同商品具有不同興趣偏好的實際不符, 同時基于RNN的序列推薦算法不利于捕獲用戶的長距離依賴. 除循環神經網絡, 其他神經網絡也被用于序列推薦. Tang等[21]提出了一種卷積序列模型(Caser)使用水平和垂直卷積濾波器學習序列模式, 采用簡單的學習用戶潛在表示和連接操作, 無法很好地平衡用戶的長期偏好和動態偏好. 注意力機制已在機器翻譯和文本分類領域充分顯示了其優秀的序列建模能力[22], 可利用注意機制提高推薦的性能. 如Li等[23]通過在GRU中加入注意力機制同時捕獲用戶的序列行為和基于會話的主要意圖. 上述工作將注意力機制作為原始模型的一個組成部分, 但Transformer[22]和BERT[24]完全建立在注意力機制上, 并在文本序列建模方面取得了較好的結果. 因為它的高效性, 純粹基于注意力的神經網絡建模序列數據的應用越來越廣泛, Kang等[4]利用兩層Transformer decoder(稱為SASRec)捕獲用戶的序列行為, 并在多個公共數據集上取得了較好的結果. 為更好地學習用戶的交互歷史, 許多性能優秀的序列推薦算法被相繼提出. 盡管這些算法都具有出色的性能, 但大多數都忽略了交互的時間信息. 而交互的時間信息包含重要的上下文語義, 對下一項交互預測具有重要意義. Time-LSTM為LSTM配備了幾種形式的時間門, 以更好地模擬用戶交互序列中的時間間隔[25]. TiSASRec[26]利用注意力機制成功地合并了時間信息, 但其僅用一種簡單的時間嵌入方法將時間信息整合到物品嵌入表示中, 無法完整捕獲用戶物品交互關于時間的序列模式.

2 長期記憶增強的序列推薦算法設計

長期記憶增強的序列推薦算法由嵌入層、 近期偏好學習網絡、 長期偏好學習網絡和動態融合網絡四部分組成.模型框架如圖1所示.

圖1 模型框架Fig.1 Model framework

2.1 嵌入層

在物品數組V中, 每個元素都有一個物品索引.與原方法類似[4,27], 使用查詢操作和一個可學習的物品嵌入表MI∈(|V|+1)×h, 將交互物品序列嵌入為Eitem∈N×h, 其中h表示隱藏層的大小,MI保存|V|個物品的嵌入向量和[MASK]標記.

對于T, 每個元素都包含一個時間戳值, 時間序列與交互物品序列一一對應.本文提出絕對時間嵌入和相對時間嵌入兩種嵌入T的方法.絕對時間嵌入是一個點態的概念, 將完整的時間戳信息描述為標識用戶物品交互的獨立變量.引入絕對時間嵌入將序列中的絕對時間信息編碼為Ep, 絕對時間嵌入類似于在文獻[4]中使用的可學習位置嵌入, 在Mp∈N×h中每個時間信息都有一個相應的嵌入式, 提取交互物品對應的時間信息得到Ep.相對時間嵌入是一個成對的概念, 側重于描述每對用戶行為之間的時間間隔.該信息反映了前一種行為對后者的影響, 不同的對可能表現出不同的模式.相對時間嵌入利用時間差異信息將序列中每個交互對之間的關系編碼為ER.首先, 定義一個時間差異矩陣D∈N×N, 矩陣中元素的取值定義為dij=(ti-tj)/τ, 其中τ為一個可調節的參數, 然后利用sin函數將dij轉化為隱藏層向量θij∈1×h, 計算公式為

(1)

2.2 近期偏好學習網絡

2.2.1 自注意力機制層

多頭自注意力機制由文獻[22]提出, LatRec的動態偏好學習模塊同樣基于該結構.單層自注意力機制的計算公式為

(2)

圖2 單個自注意力機制層的計算過程Fig.2 Calculation process of a single self-attention mechanism layer

2.2.2 前饋神經網絡

繼自注意力層后, LatRec將自注意力層輸出輸入點狀的前饋神經網絡, 將前饋神經網絡作為單獨一層, 表示為

FFN(x)=GELU(xW1+b1)W2+b2,

(3)

其中W1∈h×2h,b1∈2h,W2∈2h×h,b2∈h都是可學習的參數.為方便訓練, 與前述工作相同為每個子層引入殘差連接：

y=x+Dropout(Attention(LayerNorm(x))),

(4)

z=y+Dropout(FFN(LayerNorm(y))).

(5)

堆疊b個這樣的層, 給定最后一層的輸出(o1,o2,…,oL)∈L×h, 從頂部自注意力模塊獲取輸出向量oL∈1×d作為用戶的動態偏好表示.

2.3 長期偏好學習網絡

SASRec因為捕獲用戶動態偏好的優秀性能而得到廣泛關注, 但由于SASRec保留了位置信息和因果約束, 不利于用戶長期穩定偏好的捕獲, 因此本文通過引進長期偏好表示增強SASRec[4].

本文的長期偏好學習網絡由兩部分組成： 1) 簡單的前饋神經網絡(FNN), 負責為當前序列Vu中的每個物品生成注意權重； 2) 注意力復合函數, 負責計算基于注意力的用戶長期興趣.

首先定義用戶的序列表示m0, 計算公式為

(6)

其中xi∈d表示第i個物品Vi∈Vu的嵌入向量.用于注意力權重計算的FNN計算公式為

αi=W0σ(W1xi+W2xt+W3m0+ba)，

(7)

其中xt表示最后一次點擊的物品,W0是一個加權向量,W1,W2,W3表示權重矩陣,ba表示偏置向量,σ(·)表示Sigmoid函數,αi表示物品xi的注意力權重.由式(6)可見, 交互序列中物品xi的注意力權重基于嵌入目標項xi、 最后點擊物品xt和序列表示m0, 因此它可以基于用戶的當前動態捕獲用戶的長期穩定偏好.

在得到注意力系數向量α=(α1,α2,…,αN)后, 基于注意力的用戶長期偏好m根據如下公式計算：

(8)

對于同一用戶序列長期偏好表示相同, 式(7)中的相應參數(8)在訓練階段只更新一次, 增加一個Dropout層在訓練期間將長期偏好推廣到所有步驟, 長期偏好表示矩陣m∈N×d為

ml=Dropout(m),l∈{1,2,…,N}.

(9)

2.4 動態融合網絡

為有效結合長期偏好和短期偏好, 可考慮連接或求和.但為處理序列推薦中用戶意圖不明確的問題, 受神經項目相似性(NAIS)[28]啟發, 提出物品相似門控模塊.通過建模近期偏好表示oL, 長期偏好表示ml與最近交互物品xt之間的相似性計算長期偏好表示和近期偏好表示的權重.定義門控函數g的輸出值作為近期偏好表示的權重, 并將其限制為0

g=σ([xt,ml,oL]WG+bG),

(10)

其中WG∈3d×1和bG∈分別表示可學習的權重和偏差.本文使用Sigmoid函數σ(ξ)=1/(1+e-ξ), 所以g的取值范圍為(0,1).用戶u在第t步的最終偏好表示為近期偏好向量oL和長期偏好向量ml的加權和, 計算公式為

pl=oL?g+ml?(1-g),

(11)

其中?表示點積運算.LatRec中g的取值范圍可從(0,1)擴展為[0,1].當g=1時, 用戶的最終偏好表示為用戶的動態偏好表示; 當g=0時, 用戶最終的偏好表示為用戶的長期穩定偏好表示.

2.5 模型預測和訓練

2.5.1 偏好預測

由如下公式計算用戶u下次交互物品的概率預測：

(12)

其中xi表示第i個候選物品的向量表示,rl+1,i表示第(l+1)次交互物品為xi的概率.

2.5.2 模型訓練

本文使用Adam優化器, 通過最小化交叉熵損失函數訓練本文的序列推薦模型, 損失函數為

(13)

3 實 驗

3.1 數據集的構造

本文采用MovieLens-1M和Amazon-Beauty兩個來自不同領域、 稀疏程度不同的公開數據集作為實驗數據, 驗證本文算法的推薦性能. 首先根據用戶將交互記錄分組, 并根據交互的時間戳信息升序排列, 形成用戶的交互序列； 然后將交互次數小于5的用戶和物品過濾[4,26-27]. 經過處理后各數據集的靜態特征列于表1.

表1 數據集靜態特征

3.2 實驗設置

3.2.1 評價指標

采用廣泛使用的leave-one-out評估方法評價LatRec推薦算法的推薦性能. 對于每個用戶交互序列, 將用戶交互序列的最后一個交互物品作為測試集, 倒數第二個交互物品作為驗證集, 其他交互物品作為訓練集. 與其他經典的序列推薦模型設置相同, 將隨機抽取的100個尚未被指定用戶交互過的物品作為負樣本[4,26-27]. 與用戶實際交互物品排列在一起作為LatRec模型的輸入, 讓模型對其排序. 為評價排序表, 本文利用下列兩個通用的評價指標：

HR@10(命中率), 刻畫正確推薦物品在測試物品中所占的比例, 表示為

(14)

其中:N表示用戶的總數量; hits(i)表示第i個用戶訪問的值是否在推薦列表中, 是則為1, 否則為0; @10表示推薦列表中物品的個數為10.

NDCG@10(歸一化折損累計增益), 不僅考慮HR(命中率), 而且考慮排列順序. 給位于推薦列表前端的命中物品分配高分, 位于推薦列表末端的命中物品分配低分, 表示為

(15)

其中rank表示命中物品在推薦列表中的位置.

3.2.2 實驗環境設置

本文實驗的硬件環境為Intel core i7 CPU, 16 GB內存, Nvidia 1060 Ti顯卡. 軟件環境為Window10操作系統. 編程環境為Python3.6.1. 嵌入層和預測層的物品嵌入向量相同, 本文用PyTorch實現序列推薦模型, 利用Adam優化器優化模型, 學習率設為0.001, 物品嵌入向量、 時間嵌入向量的維度均設為64. mini-batch大小分別設為128, 對于數據集MovieLens-1M和Amazon-Beauty將Dropout率分別設為0.2和0.5. 最大序列長度N在數據集MovieLens-1M和Amazon-Beauty上分別設為200和50.

3.3 對比方法

1) POP方法, 其將所有物品根據受歡迎程度排序, 受歡迎程度取決于交互的數量;

2) BPR方法, 其將Bayes個性化排序與矩陣分解模型相結合, 是最先進的非序列推薦算法, 基于隱式反饋信息[29]；

3) FPMC方法, 其結合矩陣分解和Markov鏈, 可同時捕獲序列信息和長期用戶偏好[17];

4) Caser方法, 在時間和潛在空間中將一系列最近交互的物品視為一個“圖像”, 捕獲L個最近交互物品的高階Markov鏈[21];

5) SASRec方法, 是一種基于Transformer體系結構的序列推薦方法[4];

6) BERT4Rec方法, 其采用深度雙向注意力機制建模用戶行為序列, 取得優秀的序列推薦性能[27];

7) TiSASRec方法, 其利用注意力機制成功地合并時間信息, 將時間信息整合到物品嵌入表示中, 但無法完整地捕獲用戶物品交互關于時間的完整序列模式[26].

為保證不同方法對比的公平性, 本文根據原文獻的源代碼, 用PyTorch實現BPR,IRGAN和FPMC方法. 對于Caser,SASRec,BERT4Rec方法, 使用原有的源代碼, 對于所有模型中的通用超參數, 用網格搜索在驗證集上尋找最優參數設置, 考慮潛在向量維度的取值范圍{16,32,64,128,256},l2正則化參數的取值范圍{1,0.1,0.01,0.001,0.000 1}, Dropout率的取值范圍{0,0.1,0.2,0.3,…,0.9}. 所有其他超參數設置和初始化策略與原文獻保持一致, 并使用驗證集調整超參數. 給出每種方法在其最優超參數設置下的結果.

3.4 算法整體性能分析

下面對本文提出的LatRec推薦模型做整體性能分析. 本文算法與對比方法基于評價指標HR@10和NDCG@10的性能比較列于表2.

表2 不同方法的整體性能對比結果

由表2可見：

1) 基于流行度的POP方法推薦性能較好, 這主要基于人們通常傾向于選擇較受大眾歡迎的物品, 大眾的選擇傾向常引起物品的熱度提升, 給用戶推薦流行度較高的物品會取得較好的推薦結果, 但推薦缺乏個性化；

2) BPR作為目前性能較優秀的非序列推薦算法, 在序列推薦任務中, 基于序列的推薦算法在兩個數據集中的推薦性能都較BPR好, 充分顯示了捕獲用戶交互序列模式的有效性；

3) Caser,SASRec和BERT4Rec方法性能較FPMC方法更優秀, 充分顯示了深度神經網絡潛在特征的學習能力和序列任務建模能力；

4) LatRec方法在兩個數據集上顯示出較基線方法更優秀的推薦性能, 得益于對時間信息的多模式嵌入, 注意力機制對時間信息和序列信息的捕獲, 此外長期記憶增強同樣提升了LatRec方法的推薦性能.

3.5 算法分析

3.5.1 多時間嵌入模式以及長期記憶增強的有效性分析

本文采用絕對時間嵌入和相對時間嵌入兩種方式建模用戶物品交互的時間信息. 使模型不僅對絕對的時間信息敏感, 且其能捕獲用戶物品交互關于時間的周期性變化. 將該模型在數據集MovieLens-1M上進行各部分有效性驗證, 首先分別構造模型LatRec的變體LatRec1和LatRec2, LatRec1用與SASRec類似的時間信息嵌入方式, LatRec2對長期偏好表示進行遮掩操作. 模型其他部分與原模型相同, 采用與原模型相同的參數進行訓練, 并與原模型進行推薦性能比較, 實驗結果列于表3.

表3 多時間嵌入模式及長期記憶增強的有效性分析

由表3可見, 采用多時間嵌入模式和長期記憶增強有效提高了推薦算法的性能. LatRec1的推薦性能較SASRec有所提高, 證明長期記憶增強的有效性. 本文提出的多種時間嵌入模式, 不僅對絕對時間信息敏感, 且其能捕獲用戶物品交互的周期性變化, 有效建模用戶交互的時間特征. 這基于用戶喜歡在某個特定的時間段看某個特定類型的電影, 或者用戶重復看某部電影或某種題材的電影呈現出某種時間上的周期性規律. LatRec2表現出較SASRec優秀的推薦性能, 證明了LatRec模型多種時間嵌入模式設計的有效性. 同時LatRec表現出較SASRec更好的推薦性能, 充分驗證了多時間嵌入模式以及用戶長期偏好與用戶近期偏好動態結合的有效性. 基于注意力機制序列特征的建模能力以及潛在特征的捕獲能力, 能捕獲用戶的長期穩定偏好和近期偏好, 并通過動態融合將用戶的長期偏好和近期偏好相結合, 使推薦結果更準確、 更多樣.

3.5.2 嵌入維度分析

保持其余最優參數設置不變, 嵌入維度d的取值范圍為16～256. 在不同維度分別進行實驗, 獲取衡量指標NDCG@10和HR@10的值, 考察嵌入維度d對序列推薦算法性能的影響. 實驗結果如圖3所示.

圖3 嵌入維度分析結果Fig.3 Analysis results of embedding dimension

由圖3可見, 隨著嵌入維度的增加, 推薦算法的性能度量指標逐漸增大. 當達到某一特定值再增加嵌入維度時, 度量指標基本不再發生改變, 逐漸收斂. 并不是嵌入維度d值越大, 推薦算法的性能越好. 嵌入維度過大可能會導致數據稀疏, 增大訓練難度, 此外嵌入維度過大也可能會導致發生過擬合.

本文提出的LatRec推薦模型在各嵌入維度都取得了較基線方法更優秀的推薦結果, 充分驗證了本文算法的推薦性能. 當嵌入維度達到64時, 繼續增加維度推薦算法的度量指標基本不再發生變化或略有下降, 所以在本文的其他實驗中將嵌入維度設為64.

綜上所述, 通過對基于注意力機制的推薦算法進行分析和改進, 本文提出了一種長期記憶增強的時間序列感知推薦算法LatRec. LatRec算法充分考慮了影響用戶交互預測的時間、 序列信息、 動態融合用戶的長期穩定偏好表示和近期動態偏好表示. LatRec算法充分挖掘了用戶的潛在喜好, 使推薦的結果呈現多樣性, 提升了推薦系統的用戶體驗. 但由于該算法采用多個神經網絡和多種時間嵌入模式, 使算法的訓練需花費較長的時間, 對運行設備的運算速度也有一定要求.