基于艾賓浩斯遺忘曲線和注意力機制的推薦算法

金楠，王瑞琴,2，陸悅聰

研究與開發

基于艾賓浩斯遺忘曲線和注意力機制的推薦算法

金楠1，王瑞琴1,2，陸悅聰1

（1. 湖州師范學院信息工程學院，浙江 湖州 313000；2. 浙江省現代農業資源智慧管理與應用研究重點實驗室，浙江 湖州 313000）

傳統基于注意力機制的推薦算法只利用位置嵌入對用戶行為序列進行建模，忽略了具體的時間戳信息，導致推薦性能不佳和模型訓練過擬合等問題。提出基于時間注意力的多任務矩陣分解推薦模型，利用注意力機制提取鄰域信息對用戶和物品進行嵌入編碼，借助艾賓浩斯遺忘曲線描述用戶興趣隨時間的變化特性，在模型訓練過程中引入經驗回放的強化學習策略模擬人類的記憶復習過程。真實數據集上的實驗結果表明，該模型比現有推薦模型具有更好的推薦性能。

艾賓浩斯遺忘曲線；注意力機制；強化學習；經驗回放

0 引言

大數據時代，在產生海量數據的同時也帶來了信息過載的問題。個性化推薦系統將用戶從海量的數據選擇中解放出來，通過推薦算法挖掘用戶的潛在需求，為用戶提供個性化的推薦服務[1]。在這個信息爆炸和以人為本的時代，個性化推薦勢在必行?，F有推薦算法可分為傳統推薦算法和基于深度學習的推薦算法兩大類，傳統推薦算法存在數據稀疏、對用戶和物品的信息處理過于簡單、無法捕獲非線性特征交互等缺點，預測準確性不高。基于深度學習的推薦算法可以自動學習特征間的高階非線性交互，從而提高推薦的準確性。

協同過濾（collaborative filtering，CF）算法[2]是經典的推薦算法之一，其中以基于矩陣分解（matrix factorization，MF）的CF算法應用最為廣泛。該算法將由用戶和項目組成的交互矩陣進行低維矩陣分解，將用戶和項目映射到共享的潛在特征空間，利用用戶和項目潛在向量的內積進行評分預測[3]?；贛F的CF算法原理簡單且推薦速率高，但無法利用用戶和項目的鄰域信息以及交互時間戳等信息，推薦精度不高。隨著神經網絡技術的發展，神經網絡被證明可以擬合任何函數，實現對交互行為的非線性建模[4]。神經矩陣分解（neural matrix factorization，NeuMF）和深度協同過濾（deep collaborative filtering，DeepCF）[5]是兩種典型的神經網絡算法，分別采用不同的融合策略將CF算法和神經網絡算法進行集成，取得了良好的推薦性能，但不足之處在于推薦結果缺乏可解釋性。

近年來，注意力機制被廣泛應用于推薦任務以自適應地提取鄰域信息對目標建模，建模過程中不同的注意力權重使得模型具有很好的可解釋性[6-7]。Wang等[8]提出基于神經圖的協同推薦（neural graph collaborative filtering，NGCF）模型，將來自不同鄰居的信息組合起來學習用戶和物品向量。Wu等[9]提出基于圖神經網絡的序列推薦（session-based recommendation with graph neural network，SR-GNN）模型，在會話圖上運用圖神經網絡來捕獲項目之間的復雜轉換，利用注意力機制將當前會話表示為全局偏好和當前興趣的組合。Lu等[10]提出社交影響注意力神經網絡（social influence attentive neural network，SIAN）模型，利用注意力機制捕捉朋友推薦的影響力。Wang等[11]提出協同知識感知的注意力網絡（collaborative knowledge-aware attentive network，CKAN）模型，使用知識感知的注意力機制區分不同知識鄰居的貢獻。Wang等[12]提出全局上下文增強的序列推薦模型GCE-GNN（global context enhanced graph neural network），對所有會話中的項目轉換進行建模來學習全局項目嵌入，對當前會話進行建模來學習會話級項目嵌入，采用注意力機制匯總兩個級別的嵌入表示。Xia等[13]將會話序列表示為超圖來捕捉項目間的高階信息，通過雙通道超圖卷積網絡來學習會話表示。然而，已有注意力方法通常利用位置嵌入對用戶行為序列進行建模，忽略了具體的時間戳信息，導致推薦性能不佳和模型訓練過擬合等問題。

近年來，多任務學習成功應用于機器學習的很多鄰域[14-15]。在推薦系統中，通過參數共享的方式同時學習多個相關的任務，不同任務之間相互促進，如此可以進一步提高推薦的性能。Xiao等[16]提出基于深度神經網絡的多任務推薦（deep factorization machine-graph convolutional network，DFM-GCN）模型，它利用深度矩陣分解模型捕捉用戶與物品之間的交互信息，利用圖卷積網絡（graph convolutional network，GCN）獲得更好的項目表示向量。Wang等[17]提出知識圖譜增強的多任務特征學習推薦模型，它是一個深度端到端的框架，將知識圖譜的聯合學習和交替學習與推薦系統結合，利用知識圖嵌入任務來輔助推薦任務。Liu等[18]提出項目關系圖神經網絡（item relationship graph neural network，IRGNN）模型，采用多任務架構發現項目間的多個復雜關系，利用識別的項目關系生成更好的推薦結果，提高推薦的可解釋性。

綜上，注意力機制和多任務學習在推薦系統中已經發揮出積極的作用。目前利用融合注意力機制與多任務學習以提高推薦性能的方法非常少見，然而這一方向具有巨大潛力，值得探索。為此，本文提出一種基于時間注意力的多任務矩陣分解推薦（time attention-based multi-task matrix factorization，TAMMF）模型，以基于時間感知注意力機制的推薦為主任務，以基于矩陣分解的推薦為相關任務，利用GCN捕捉用戶和物品的鄰域信息，借助艾賓浩斯遺忘曲線對鄰域作用進行衰減，訓練過程中引入基于經驗回放的強化學習策略。在真實數據集上的大量實驗結果表明，本文算法明顯優于現有推薦算法。本文的主要貢獻主要體現在以下幾個方面。

●在矩陣分解模型的基礎上，結合艾賓浩斯遺忘曲線和注意力機制提取鄰域信息，對用戶和項目進行建模。

●模擬人類記憶不斷復習的過程，訓練過程采用強化學習中經驗回放的學習方法，提升了模型的魯棒性。

●在4個不同規模的真實數據集上進行實驗驗證，結果表明本文模型的推薦精度和推薦速度均優于已有推薦模型。

1 模型設計

TAMMF模型的基本框架如圖1所示，主要包括矩陣分解模型和時間注意力網絡兩個部件，二者共享用戶向量和物品向量，形成并行的多任務結構，以不同的學習方式各自進行評分預測，最后將得到的預測評分值進行合并。

圖1 TAMMF模型的基本框架

矩陣分解進行評分預測時存在預測準確性低、可解釋性差等問題。時間注意力網絡通過對用戶和物品向量進行時間衰減，學習用戶和物品的鄰近關系，增強了模型的可解釋性，提升了評分預測的準確性，但容易陷入局部最優。多任務模型通過多個相關任務的共同學習和互相促進，提高了模型的泛化能力。本文模型將均方根誤差（root mean square error，RMSE）作為兩個任務的損失函數，最后取均值作為總損失函數。

其中，1和2分別表示矩陣分解模型和時間注意力網絡的預測評分，為實際評分，為測試樣本的個數。

1.1 矩陣分解模型

矩陣分解是目前推薦系統中非常流行的一種算法，它通過對用戶?項目交互矩陣進行低維矩陣分解，將用戶和項目映射到共同的潛在向量空間中，對用戶和項目的潛在特征向量的內積進行評分預測，如式（4）所示。

基于矩陣分解的評分預測與協同推薦算法原理簡單、推薦速度快，但其計算過程沒有考慮交互時間信息以及用戶和物品的鄰近信息，推薦結果準確率較低。

1.2 時間注意力網絡

（1）艾賓浩斯遺忘曲線

艾賓浩斯遺忘曲線為德國著名心理學家艾賓浩斯研究所得，遵循“先快后慢”原則，在記憶初期遺忘速度很快，隨時間推移遺忘速度逐漸減緩，最終趨于平穩。此外，合理的重復記憶可以有效降低記憶的遺忘速度，提高記憶的牢固度。艾賓浩斯遺忘曲線如圖2所示。

圖2 艾賓浩斯遺忘曲線

將艾賓浩斯遺忘曲線應用于推薦系統，需要根據具體的推薦數據集，將其量化為相應的數學表達式，如式（5）所示。

其中，()是以為變量的遺忘函數，表示時間間隔，和是兩個控制變量。實驗證明，當設置=1.25、=1.84時，該函數與遺忘曲線的擬合度最高。

為用戶提供個性化推薦時，時間間隔越小的歷史行為往往具有越高的參考意義，可以更有效地體現用戶的短期興趣。時間間隔大的歷史行為對用戶短期興趣建模的參考意義較小，但其數據量豐富，能夠體現用戶的長期興趣。在推薦系統中，歷史行為數據的時間間隔短至幾秒，長達幾天，甚至幾個月，數據差異較大，這里用式（6）進行轉換。

（2）時間注意力網絡設計

時間注意力網絡主要由時間衰減函數和圖卷積神經網絡兩部分構成，時間注意力網絡示意圖如圖3所示。

圖3 時間注意力網絡示意圖

其中，i為矩陣分解的物品向量，i()為衰減后的物品向量，為可調節參數。

其中，()表示用戶u在圖中的鄰居集；表示可訓練的參數；uj表示鄰居項目I對用戶建模的貢獻權重，通過注意力網絡和Softmax激活函數計算得到，如式（9）及式（10）所示。

其中，1、21和2表示可訓練的參數。

1.3 基于經驗回放的模型訓練

人類記憶過程中通過適當復習，能夠將獲得的短時記憶轉化成長時記憶，永久地留存在腦海里，有效提升記憶效果。TAMMF模型借鑒強化學習中的經驗回放方法來模擬人類記憶過程中的復習過程，經驗回放示意圖如圖4所示。不斷地將訓練過程中得到的用戶和物品向量保存在記憶池中，作為歷史經驗，繼續訓練時會觸發經驗回放條件，該條件可以是迭代一定次數，也可以是隨機觸發，此時會從記憶池中獲取歷史經驗數據，并將其加入新的訓練過程中。

圖4 經驗回放示意圖

在訓練過程中采用經驗回放具有以下優勢：一是每一步對權值的更新都會對模型起作用，提高了數據的利用率；二是打破了樣本之間的相關性，減小每次訓練更新的方差；三是通過加入歷史經驗，防止參數學習陷入局部最優。

1.4 復雜度分析

2 實驗結果與分析

2.1 數據集

為了評估TAMMF模型的有效性，在FilmTrust、MovieLens 100K（ML-100K）、MovieLens 1M（ML- 1M）和MoiveLens Last（ML-Last）4個公開數據集上進行實驗。數據集詳情見表1，其中FilmTrust包含1 508位用戶對2 071部電影的35 497個顯式評分，評分范圍為[0.5,4]；MovieLens 100K包含943位用戶對1 682部電影的100 000個顯式評分；MovieLens 1M包含6 040位用戶對3 706部電影的1 000 209個顯式評分；MovieLens Last包含610位用戶對9 742部電影的100 836個顯式評分，后3個數據集的評分取值范圍均為[1,5]。對于每個數據集，將其中80%的評分數據作為訓練數據，其余作為測試數據。

表1 數據集詳情

2.2 對比方法

本文與如下方法進行對比。

●基于物品的協同過濾推薦算法ItemCF（item-to-item collaborative filtering）[19]：通過計算物品之間的相似度，根據用戶喜歡的物品向用戶推薦相似的物品。

●概率矩陣分解（probabilistic matrix factorization，PMF）方法[20]：是推薦系統的基礎算法之一。PMF方法在大型、稀疏且不平衡的數據集上有很好的表現。

●MLP（multilayer perceptron）：深度神經網絡基本方法，將用戶ID、項目ID的One-hot編碼進行拼接并作為輸入向量，使用深度神經網絡進行交互建模和評分預測。

●奇異值分解（singular value decomposition，SVD）法[21]：對評分矩陣進行分解后采用點積方法計算預測評分。該方法在預測準確性、穩定性上具有明顯的優勢。

●GCN[22]：采用圖卷積方法融合鄰域信息進行目標建模，等同于本文模型中的注意力部分。

●NeuMF[3]：結合了傳統的矩陣分解算法和多層感知機，可以同時抽取低維和高維特征，具有良好的推薦效果。

●DeepCF[5]：結合表示學習和匹配學習方法的優點，通過搭建深度學習網絡進行交互建模與評分預測。

為了得到對比算法的最優結果，所有算法均參照原文獻設置最優參數。為了防止過擬合，NeuMF和DeepCF采用L2正則化，MLP和GCN采用Dropout，保留概率為0.8。

2.3 評價指標

平均絕對誤差（mean absolute error，MAE）和均方根誤差是衡量變量精度的兩個最常用的指標。MAE表示絕對誤差的平均值，反映預測值與真實值之間的偏差程度，偏差越小，精度越高。

RMSE表示預測值和真實值之間差異的平方均值，用來衡量預測的準確程度，偏差越小，精度越高。該指標對個別大的偏差非常敏感。

2.4 參數設置

模型訓練過程采用Adam優化器，學習率為0.000 5；采用批量訓練的方法，每批128個數據，迭代次數為200；用戶和物品向量采用期望為0、方差為0.01的隨機分布進行初始化，向量維度為128；采用Dropout方法，防止模型訓練過擬合。

2.5 實驗結果分析

（1）對比實驗

不同模型在4個數據集上的性能表現見表2，推薦系統的經典算法ItemCF在所有方法中表現最差，相比ItemCF算法，PMF和SVD性能有所提升，但是由于上述方法沒有考慮鄰域信息，且只進行線性交互建模，推薦效果都不是很理想。MLP通過學習高階特征交互，推薦性能具有明顯提升。基于深度學習的模型NeuMF在MLP的基礎上結合矩陣分解算法捕捉低階關系，推薦性能得到進一步提升。另一個基于深度學習的模型DeepCF結合了表示學習和特征交互學習的優勢，在所有數據集上都具有優異的性能表現。GCN模型在用戶和項目建模過程中考慮了鄰域信息，推薦性能較同類方法具有一定優勢。本文模型在所有數據集上都具有最佳的性能表現，其原因在于：借助注意力機制捕捉用戶和物品鄰近信息，增強了建模準確性；使用多任務的方式進行參數學習，有效防止模型訓練過擬合。TAMMF+在TAMMF的基礎上使用經驗回放的方式進行訓練，推薦性能得到了進一步提升，由此可見，將人類記憶過程中的復習方法應用于深度學習模型訓練是有效的。

表2 不同模型在4個數據集上的性能表現

（2）參數敏感性實現

為了防止模型訓練過擬合，提高模型的魯棒性，引入Dropout方法。Dropout方法在深度學習模型的每個隱藏層中都保留了神經元比率。不同保留概率下的MAE和RMSE分別如圖5和圖6所示，展示了采用不同的保留概率時模型的推薦性能。當保留全部神經元（Dropout=1）時，模型出現嚴重的過擬合現象，采用Dropout方法可以有效解決過擬合問題，在保留概率為0.8或0.9時，推薦效果性能最佳。

圖5 不同保留概率下的MAE

圖6 不同保留概率下的RMSE

為了防止參數學習陷入局部最優，增強模型的魯棒性，本文模型采用了強化學習中經驗回放的訓練方法，用于消除樣本之間的相關性，重復利用過去的經驗。不同回放間隔下ML-Last數據集上的MAE和RMSE分別如圖7和圖8所示，展示了不同回放間隔對模型性能的影響，可以看出，使用經驗回放的方法能夠明顯提升預測準確率，當回放間隔為5次時，效果最佳。

圖7 不同回放間隔下ML-Last數據集上的MAE

圖8 不同回放間隔下ML-Last數據集上的RMSE

表3 不同向量維度下的性能表現

通常情況下，用戶和項目向量的維度（size）對評分預測具有一定影響，不同向量維度下的性能表現見表3。從表3可以看出，開始時隨著向量維度的增加，預測性能不斷提升，這是因為采用更多的維度可以考慮更多的預測因素。當向量維度為128時模型性能最佳，此時進一步增加向量維度，預測性能反而有所下降，這說明過多的向量維度引入了噪聲，會產生過擬合現象。因此，本文選取128作為用戶和項目向量的維度。

3 結束語

本文基于艾賓浩斯遺忘曲線和注意力機制對現有推薦模型進行改進，提出一種基于時間注意力的多任務矩陣分解推薦模型TAMMF，融合矩陣分解算法和時間注意力網絡，形成多任務學習模型，并使用經驗回放方法進行模型訓練，有效防止了模型訓練過擬合，提升了評分預測和推薦準確性。本文模型采用矩陣分解方法進行評分預測，推薦效率高。

本文模型利用艾賓浩斯遺忘曲線對不同時間間隔的領域信息的作用進行衰減，采用數學建模和參數調節方法。在未來的工作中，將借鑒多學科領域知識，嘗試不同的時間衰減方式，進一步提升模型的推薦性能。

[1] 黃立威, 江碧濤, 呂守業, 等. 基于深度學習的推薦系統研究綜述[J]. 計算機學報, 2018, 41(7): 1619-1647.

HUANG L W, JIANG B T, LYU S Y, et al. Survey on deep learning based recommender systems[J]. Chinese Journal of Computers, 2018, 41(7): 1619-1647.

[2] 紀佳琪, 姜學東. 深度協同過濾推薦模型研究[J]. 計算機應用與軟件, 2020, 37(7): 240-245.

JI J Q, JIANG X D. Deep collaborative filtering recommender model[J]. Computer Applications and Software, 2020, 37(7): 240-245.

[3] HE X N, LIAO L Z, ZHANG H W, et al. Neural collaborative filtering[C]//Proceedings of the 26th International Conference on World Wide Web. [S.l.:s.n.], 2017: 173-182.

[4] VEIT A, WILBER M J, BELONGIE S. Residual networks behave like ensembles of relatively shallow networks[J]. Advances in Neural Information Processing Systems, 2016, 29: 550-558.

[5] DENG Z H, HUANG L, WANG C D, et al. DeepCF: a unified framework of representation learning and matching function learning in recommender system[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 61-68.

[6] SHEN T, ZHOU T Y, LONG G D, et al. DiSAN: directional self-attention network for RNN/CNN-free language understanding[C]//Proceedings of the AAAI Conference on Artificial Intelligence, 2018, 32(1).

[7] ZHANG W F, YU J, HU H, et al. Multimodal feature fusion by relational reasoning and attention for visual question answering[J]. Information Fusion, 2020, 55: 116-126.

[8] WANG X, HE X N, WANG M, et al. Neural graph collaborative filtering[C]//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. [S.l.:s.n], 2019: 165-174.

[9] WU S, TANG Y Y, ZHU Y Q, et al. Session-based recommendation with graph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1): 346-353.

[10] LU Y F, XIE R B, SHI C, et al. Social influence attentive neural network for friend-enhanced recommendation[C]//Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases. [S.l.:s.n.], 2020: 3-18.

[11] WANG Z, LIN G Y, TAN H B, et al. CKAN: collaborative knowledge-aware attentive network for recommender systems[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 219-228.

[12] WANG Z Y, WEI W, CONG G, et al. Global context enhanced graph neural networks for session-based recommendation[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2020: 169-178.

[13] XIA X, YIN H Z, YU J L, et al. Self-supervised hypergraph convolutional networks for session-based recommendation[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(5): 4503-4511.

[14] ZHANG Y, YANG Q. An overview of multi-task learning[J]. National Science Review, 2017, 5(1): 30-43.

[15] LU Y C, DONG R H, SMYTH B. Why I like it: multi-task learning for recommendation and explanation[C]//Proceedings of the 12th ACM Conference on Recommender Systems. New York: ACM Press, 2018: 4-12.

[16] XIAO Y, LI C D, LIU V. DFM-GCN: a multi-task learning recommendation based on a deep graph neural network[J]. Mathematics, 2022, 10(5): 721.

[17] WANG Y Q, DONG L Y, LI Y L, et al. Multitask feature learning approach for knowledge graph enhanced recommendations with RippleNet[J]. PLoS One, 2021, 16(5): e0251162.

[18] LIU W W, ZHANG Y, WANG J L, et al. Item relationship graph neural networks for E-commerce[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(9): 4785-4799.

[19] LINDEN G, SMITH B, YORK J. Amazon.com recommendations: item-to-item collaborative filtering[J]. IEEE Internet Computing, 2003, 7(1): 76-80.

[20] KOREN Y, BELL R, VOLINSKY C. Matrix factorization techniques for recommender systems[J]. Computer, 2009, 42(8): 30-37.

[21] ZHENG S, DING C, NIE F P. Regularized singular value decomposition and application to recommender system[J]. arXiv preprint, 2018, arXiv: 1804.05090.

[22] MOLCHANOV P, TYREE S, KARRAS T, et al. Pruning convolutional neural networks for resource efficient inference[J]. arXiv preprint, 2016, arXiv: 1611.06440.

Ebbinghaus forgetting curve and attention mechanism based recommendation algorithm

JIN Nan1, WANG Ruiqin1, 2, LU Yuecong1

1. School of Information Engineering, Huzhou University, Huzhou 313000, China 2. Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources, Huzhou 313000, China

Traditional attention-based recommendation algorithms only use position embeddings to model user behavior sequences, however, ignore specific timestamp information, resulting in poor recommendation performance and overfitting of model training. The multi-task matrix factorization recommendation model based on time attention was proposed, which used the attention mechanism to extract the neighborhood information for the user and item embedding, and used the Ebbinghaus forgetting curve to describe the changing characteristics of user interests over time. The model training process introduced a reinforcement learning strategy of experience replay to simulate the human memory review process. Experimental results on real datasets show that the proposed model has better recommendation performance than existing recommendation models.

Ebbinghaus forgetting curve, attention mechanism, reinforcement learning, experience replay

TP391

A

10.11959/j.issn.1000–0801.2022266

2022–02–25；

2022–09–28

王瑞琴，angelwrq@163.com

浙江省自然科學基金資助項目（No.LY20F020006）

The Natural Science Foundation of Zhejiang Province (No.LY20F020006)

金楠（1996– ），男，湖州師范學院信息工程學院碩士生，主要研究方向為深度學習、個性化推薦。

王瑞琴（1979– ），女，湖州師范學院信息工程學院教授、碩士生導師，主要研究方向為自然語言理解、數據挖掘、個性化推薦。

陸悅聰（1996– ），男，湖州師范學院信息工程學院碩士生，主要研究方向為機器學習與數據挖掘。