基于自注意力機制的面向重復消費場景的序列化推薦算法

摘 要：為提升序列化推薦模型在重復消費場景中的性能，增強推薦算法對于時間的敏感程度，減輕信息過載帶來的負面影響，文中提出了基于自注意力機制的面向重復消費場景的序列化推薦算法SLSASRec。文中著重對重復消費場景中的時間間隔進行研究，對于用戶的歷史消費時間采用自注意力機制建模，在霍克斯過程中設計特定的時間核函數用以捕獲用戶的長期與短期偏好，同時在基礎強度獲取部分使用基線模型SASRec獲得個性化建模。通過實驗分析，在公共數據集Grocery and Gourmet Food的HR和NDCG指標上較對比的基線算法SASRec分別提升5.19%和5.02%，證明了算法可以有效預測用戶的重復消費行為。

關鍵詞：霍克斯過程；重復消費；時間間隔；序列化推薦；自注意力機制；時間核函數

中圖分類號：TP391.1 文獻標識碼：A 文章編號：2095-1302（2024）06-0-04

0 引 言

隨著信息資源的爆炸式增長，為解決信息過載問題，情報學界展開了對個性化定制信息服務的研究。通過捕獲用戶的興趣來提供個性化的推薦，能有效減輕信息過載帶來的負面影響。

傳統的推薦方法包括基于內容的推薦系統和基于協同過濾的推薦系統，它們更傾向于以靜態的方式建模用戶行為，捕獲長期偏好。考慮到現實世界的各種因素，用戶的偏好具有動態性，用戶對某一商品的興趣在不同時間段往往是不同的。盡管先前序列化推薦方法使推薦效果進一步提升，但這仍不足以得到令人滿意的結果。它們過于強調交互的順序相關性，忽視了用戶行為時間的動態信息，同時對于重復消費的傾向如何隨時間波動又沒有很好的建模。這些信息存在于不斷演化的用戶-商品交互中，并與序列模式共存。即模型隱含地假設了序列中所有相鄰商品具有相同的時間間隔，并且每一個商品都視為之前從未購買過，對下一個商品的影響因素只包含前一個商品的位置與編號，這顯然不夠合理。例如，用戶在購買筆記本之后，短時間內很有可能購買一個電腦包，然而過了一段時間，用戶可能已經購買過了或是已經不需要了，對電腦包的購買欲望大大降低，同時在很久之后，用戶的筆記本或者電腦包到了需要更換時，用戶對于二者的購買欲望又會大幅提升。

部分現有研究已經關注到了重復消費場景在推薦系統中的使用，但卻并沒有著重研究重復消費的傾向如何隨時間波動。值得注意的是，不同物品展現出不同的重復消費時間模式，包括短期效應和長期效應。因此，本文在現有研究的基礎上，受Transformer模型的啟發，使用SASRec[1]模型對歷史交互序列進行建模，將結果引入霍克斯過程，提出一種基于自注意力網絡的時間感知序列化推薦模型SLSASRec。SLSASRec不僅利用時間間隔捕獲到了用戶的短期偏好和長期偏好，還利用霍克斯過程分析重復消費模式，以便于更好地推薦新穎物品和已消費過的物品。同時將自注意力機制引入模型中來加強模型的序列相關性，提高推薦性能。

本文的主要貢獻如下：

（1）綜合考慮了用戶的重復消費行為，文中提出的模型不僅分析了用戶的行為序列，同時還考慮了各行為序列之間的時間間隔，將霍克斯過程引入序列化推薦系統中，可以更加準確地捕獲用戶行為序列的信息。

（2）提出的模型不僅考慮了用戶的短期偏好，同時兼顧了用戶的長期偏好，對用戶的行為特點進行了更細粒度的

處理。

（3）將提出的模型在數據集上進行實驗，結果表明，新模型優于當前流行的模型。

1 相關工作

1.1 重復消費

重復消費已經在各個領域進行了研究，包括網頁的重復訪問、收聽同一首歌曲、購買同樣的商品、打開同一款應用。所有的研究都表明，在各領域中，重復消費都是常見且重要的。

一系列的研究專注于一些簡化的與重復消費相關的任務，以更好地建模內在模式。一些研究根據當前時間窗口中的物品特征預測一個購買行為是否會成為重復消費[2]。還有一些其他研究預測用戶在當前消費為重復消費的情況下會更喜歡哪種消費物品[3-5]。Tsukuda等人[6]探索了在重復消費場景下，為提高推薦的說服力和用戶滿意度而生成解釋性推薦。Ren[7]等人則重點研究了如何將重復消費機制嵌入到神經網絡中。Ariannezhad等人[8]使用神經網絡模型感知用戶的重復消費行為，并對其建模從而預測下一個購買物品。與這些研究不同的是，文中的研究重點是建立一個統一的、整體的模型，可以同時推薦已消費的商品和未購買過的商品，且只有在正確的時間正確地選擇已消費的商品。

1.2 霍克斯點過程

霍克斯點過程是一種自激勵過程，即事件的發生可能會引起未來更多事件的發生[9]。它假設事件的發生是隨機的，并且事件的發生率會隨著之前發生事件數量的增加而增加，同時它也能夠捕捉事件之間的相互作用和影響。因此，霍克斯點過程能夠對事件序列的發生過程進行建模和預測，并且在實際應用中取得了一定的成功。

Benson等人提出了一種綜合模型[4]，用于描述順序重復消費。該模型引入了時間因素、距離因素和質量因素。Cai[10]等人和Du[11]等人分別采用了改進后的霍克斯點過程對順序在線交互行為和重復用戶活動進行建模。雖然這些方法可以進行整體推薦，但它們要么估計所有物品的時間模式，要么進一步模擬之前消費物品的自激勵或相互激勵，但激勵程度會隨著時間整體衰減。這些研究都缺乏對重復消費時間的動態考慮。本研究將會對重復消費的時間動態進行相應建模。

2 模型介紹

2.1 模型框架

霍克斯過程假設事件序列中的每個事件都與其他事件有關，并且過去事件的發生會影響未來事件的發生概率。具體來說，當一個事件發生時，它會觸發一些“激勵”作用，使得未來某個時間點上發生其他事件的概率增加。這種激勵是正的、可加的，并且隨著時間的推移而衰減。將霍克斯過程引入到用戶行為的時間序列分析中，公式如下：

（1）

式中：基礎強度ri，t表示當前事件發生的概率；α表示每個歷史事件都對當前事件存在一個激勵程度，這種激勵程度隨時間變化而變化；交互歷史由指示函數I控制；時間特性由觸發核γ控制。

2.2 模型定義

2.2.1 基礎強度

基本強度ri，t對不同項目的固有個性化偏好進行建模。為了準確建模基本偏好，我們利用基于自注意力機制的序列化推薦方法SASRec來獲取基礎強度，并利用多頭注意力機制對歷史行為序列中的不同時間間隔進行加權，從而計算出用戶對物品的興趣分布。

2.2.2 自我激勵

在自我激勵部分，I（c）是一個指示函數，當c為真時返回1，否則返回0，用于判斷歷史上是否消費過該物品。觸發核控制自我激勵的時間特征，并隨著相鄰消費之間的時間間隔Δt=t-t'而變化。為了明確處理這兩個因素，我們將γi（·）設置為混合分布，其中，短期效應由指數分布建模，長期效應由高斯混合分布建模：

（2）

式中：E（x|λ）表示帶參數λ的指數分布；N（x|μ， σ）是具有平均值μ和標準差σ的高斯分布；系數πzi滿足極限條件：。從公式（2）可以看出自我激勵的2個影響因素：

短期效應。短期效應對于重復消費的建模是非常普遍和重要的。通常來說，短期效應隨著時間的推移而迅速減小，因此，在這種情況下采用項目特定的指數分布對其進行建模是適當的。

長期效應。長期效應對用戶的重復消費也有很大的影響，通常會在特定時間間隔后（例如，洗發水在60天后用完）增加用戶重復購買的傾向。因此，高斯混合分布是一種自然的選擇來模擬長期效應。在本實驗中，我們選擇設置Z=1，不失一般性。當Z=1時，觸發核γi（·）可以簡化為：

（3）

所有與自激相關的參數Θs={α， π， β， μ， σ}都是項目特定的。我們使激勵程度αi設為全局激勵程度和項目偏差的總和：αi=α+αib，此時全局α可以捕獲平均激發度。

由于強度λu，i（t）表示了消費的傾向性，因此推薦列表可以通過以下步驟得出：

（1）計算用戶u在時間t下每個候選項（包括新穎項和已消費項）的強度值。

（2）根據它們的強度值對所有候選項進行排名。排名列表中的前k項將被推薦給用戶。

不同于之前的研究[4， 10， 12-13]，我們專注于構建一個全面的模型，可以同時推薦新穎項和已消費項。基于注意力機制的序列化推薦方法的整合有助于更好地平衡這兩種類型的推薦。此外，我們通過特別設計的項目特定觸發核來解決重復消費的兩個時間動態問題，這種方法簡潔且強大，具有很高的可解釋性。

2.2.3 參數學習

由于所有候選項根據強度值λu，i（t）進行排序，因此我們可以采用排序損失函數進行優化。對于每個消費（u， in， tn），從用戶尚未消費的項中隨機抽取一個負例in-，I/Iu（Iu表示用戶u消費過的項目的唯一集合）。損失函數的定義如下：

（4）

鑒于Adam算法在許多推薦模型中成功地應用于參數學習過程，我們采用Adam作為學習算法來優化損失。需要注意的是，當使用不同算法來推導基本強度時，這種優化方法可以使參數的聯合學習變得更加容易和有效。

3 實驗設計與結果

3.1 實驗設置

3.1.1 數據集

Grocery and Gourmet Food是來自Amazon電商網站的數據集，該數據集包含了不同商品之間的關系以及大量關于食品、飲料和食品配料的評論和評分數據。

MovieLens 1M是一個廣泛應用于推薦系統研究和評估的公開數據集，保留用戶對電影的評分和電影元數據信息。

實驗采用這兩個被推薦系統廣泛應用的真實數據集，以驗證文中提出的模型在推薦性能方面的表現。隨后，我們按照序列推薦算法的慣例對這兩個數據集進行了預處理，舍棄了用戶序列交互行為次數小于5的部分，并將80%的數據作為訓練集，20%的數據作為測試集。通過預處理，這兩個數據集的靜態特征見表1所列。

3.1.2 評估指標

在評價指標的選擇上，我們使用HR和NDCG作為評價指標。HR@K是指在前N個推薦結果中有至少一個命中真實感興趣物品的用戶所占比例，通常用來評估推薦結果的覆蓋率。NDCG@K不僅關注推薦的覆蓋率，還綜合考慮了推薦結果的排序位置問題，通常用來評估推薦結果的合理性。

HR@K計算公式如下所示：

（5）

NDCG@K計算公式如下所示：

（6）

3.1.3 對比模型

為驗證文中提出模型的有效性，將模型與以下基線模型進行對比：

（1）NCF[14]：結合了矩陣分解模型和神經網絡模型的優點，將用戶和物品映射到低維向量表示，并利用多層神經網絡結構來學習它們之間的交互關系。

（2）CFKG[15]：是基于知識圖譜的推薦模型，通過結合用戶興趣和實體屬性之間的相關性，提高推薦系統的性能。

（3）GRU4Rec[16]：是基于會話推薦的深度學習模型，它采用門控循環單元（GRU）作為其基本構建塊。GRU是一種遞歸神經網絡結構，它具有類似于LSTM（長短時記憶）的門控機制，但參數更少，計算速度更快。

（4）NARM[17]：是基于神經網絡的序列化推薦模型，該模型使用注意力機制，可以學習用戶和項目之間的交互行為，并將這些交互行為映射到低維的連續向量空間中，從而實現個性化推薦。

（5）Caser[18]：是基于卷積神經網絡的推薦模型，它在用戶歷史行為序列上建模，并利用卷積神經網絡對序列進行特征提取和建模，從而得到用戶對物品的興趣表示。

（6）SASRec[1]：是用于序列推薦的深度學習模型，它基于自注意力機制和殘差網絡設計，能夠有效學習用戶的興趣和項目之間的關系，獲得更準確的推薦結果。

（7）TiSASRec[19]：是結合時間、興趣和社交信息的推薦模型，可用于處理長期和短期興趣以及用戶之間的相似性。

（8）ComiRec[20]：是用于推薦系統的混合模型，結合了傳統的基于鄰域的協同過濾和深度學習方法。

3.2 實現細節

通過控制變量法在Grocery and Gourmet Food上進行實驗，探索該模型在不同超參數下的性能。最后得到SLSASRec模型的較優超參數。其中，嵌入維度大小設置為256，L2正則化系數設置為1×10-4，學習率設置為0.000 1，網絡堆疊層數設置為1，序列化長度設置為20。

采用Adam優化器對參數進行優化，學習迭代次數設置為200，同時設置提前結束的條件，如果模型在驗證集上的效果連續10輪下降，則提前終止訓練。所有實驗均在RTX 3070上進行。

3.3 實驗結果比較

將模型與基線模型進行對比，評價指標選擇HR@5和NDCG@5的結果見表2所列。

總體來說，使用神經網絡方法以及引入知識圖譜的模型性能要優于基于傳統方法的推薦模型。其中，GRU4Rec使用GRU學習會話表示，使其性能得到了一定提升，而引入外部知識模型的CFKG在沒有使用歷史序列的情況下，在數據集Grocery and Gourmet Food上取得了較優的結果，在大數據集上MovieLens 1M比常規模型表現更好但不如序列化推薦模型。Caser模型引入了卷積神經網絡，從新的角度提高了推薦模型的性能。隨著注意力機制的引入，NARM、SASRec模型在捕獲用戶興趣方面得到了明顯改進，而TiSASRec是在SASRec模型的基礎上進一步考慮了時間特性，使性能得到了進一步提升。

SLSASRec模型通過引入霍克斯過程和自注意力機制，獲得了優于表中基線模型的結果，證明了SLSASRec模型的有效性。

3.4 不同Top-N的對比實驗

為進一步驗證算法的有效性，本節將驗證SLSASRec在評價指標HR@K和NDCG@K選取不同K時的性能，以此來驗證算法的魯棒性。圖1展示了隨著K值的增大，推薦性能也在不斷變強，得益于MovieLens 1M的密集性，推薦性能的增強尤為明顯。而Grocery and Gourmet Food數據集由于其稀疏性，性能增長較為緩慢。以上實驗證明了SLSASRec模型的有效性。

4 結 語

建模重復消費行為是必要的，這樣推薦系統才能在適當的時間向用戶推薦他們之前消費過的物品。在本工作中，我們致力于構建一種全面的模型，可以同時推薦新物品和已消費的物品。針對建模不同類型物品的時間變化模式，我們發現有2個因素需要考慮：短期效應和長期效應。為了應對這種多樣性，我們提出了一種新穎的模型——SLSASRec，它將自注意機制和霍克斯過程相結合。根據廣泛的實驗，與現有最先進的基線相比，SLSASRec在2個真實數據集上性能獲得了顯著提升。總的來說，文中的模型利用重復消費信息來增強基于自注意力機制的序列化推薦系統，從而在實際應用中實現更好的推薦結果。

參考文獻

[1] KANG W C，MCAULEY J. Self-attentive sequential recommendation [C]// 2018 IEEE International Conference on Data Mining （ICDM）. IEEE，2018：197-206.

[2] CHEN J，WANG C，WANG J. Will you“reconsume” the near past？ fast prediction on short-term reconsumption behaviors [C]// Proceedings of the AAAI Conference on Artificial Intelligence. 2015，29（1）.

[3] ANDERSON A，KUMAR R，TOMKINS A，et al. The dynamics of repeat consumption [C]// Proceedings of the 23rd International Conference on World Wide Web. 2014：419-430.

[4] BHAGAT R，MURALIDHARAN S，LOBZHANIDZE A，et al. Buy it again：Modeling repeat purchase recommendations [C]// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. 2018：62-70.

[5] CHEN J，WANG C，WANG J，et al. Recommendation for repeat consumption from user implicit feedback [J]. IEEE transactions on knowledge and data engineering，2016，28（11）：3083-3097.

[6] TSUKUDA K，GOTO M. Explainable recommendation for repeat consumption [C]// Proceedings of the 14th ACM Conference on Recommender Systems. 2020：462-467.

[7] REN P，CHEN Z，LI J，et al. Repeatnet：A repeat aware neural recommendation machine for session-based recommendation [C]// Proceedings of the AAAI Conference on Artificial Intelligence. 2019，33（1）：4806-4813.

[8] ARIANNEZHAD M，JULLIEN S，LI M，et al. ReCANet：A repeat consumption-aware neural network for next basket recommendation in grocery shopping [C]// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2022：1240-1250.

[9] LAUB P J，TAIMRE T，POLLETT P K. Hawkes processes [Z]. arXiv preprint arXiv：1507.02822，2015.

[10] CAI R，BAI X，WANG Z，et al. Modeling sequential online interactive behaviors with temporal point process [C]// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. 2018：873-882.

[11] DU N，WANG Y，HE N，et al. Time-sensitive recommendation from recurrent user activities [J]. Advances in neural information processing systems，2015，28.

[12] MANZOOR E，AKOGLU L. Rush！ targeted time-limited coupons via purchase forecasts [C]// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2017：1923-1931.

[13] XIAO S，YAN J，YANG X，et al. Modeling the intensity function of point process via recurrent neural networks [C]// Proceedings of the AAAI Conference on Artificial Intelligence. 2017，31（1）.

[14] HE X，LIAO L，ZHANG H，et al. Neural collaborative filtering [C]// Proceedings of the 26th International Conference on World Wide Web. 2017：173-182.

[15] AI Q，AZIZI V，CHEN X，et al. Learning heterogeneous knowledge base embeddings for explainable recommendation [J]. Algorithms，2018，11（9）：137.

[16] HIDASI B，KARATZOGLOU A. Recurrent neural networks with top-k gains for session-based recommendations [C]// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. 2018：843-852.

[17] LI J，REN P，CHEN Z，et al. Neural attentive session-based recommendation [C]// Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. 2017：1419-1428.

[18] TANG J，WANG K. Personalized top-n sequential recommendation via convolutional sequence embedding [C]// Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. 2018：565-573.

[19] LI J，WANG Y，MCAULEY J. Time interval aware self-attention for sequential recommendation [C]// Proceedings of the 13th International Conference on Web Search and Data Mining. 2020：322-330.

[20] CEN Y，ZHANG J，ZOU X，et al. Controllable multi-interest framework for recommendation [C]// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. 2020：2942-2951.

作者簡介：商明君（1999—），男，碩士，研究方向為推薦系統。

王 亮（1971—），男，博士，副教授，研究方向為推薦系統和自然語言處理。