序列推薦算法的研究綜述

蔣仕藝

（四川大學計算機學院，成都610065）

0 引言

信息化時代，大量信息充斥于網絡，推薦算法的目的在于幫助用戶從海量的數據中，挑選出用戶感興趣的目標數據，大量網站都已經開始應用了相應的推薦算法幫助推薦自己的產品或者服務，并取得了良好的效果[1]。傳統的推薦算法，更偏向于以靜態的方式對用戶-物品行為進行建模，得到了用戶的長期的一般偏好，而現實生活中，用戶的偏好會有很多是短時、非持續的。序列推薦算法將用戶與物品的交互視為了動態的、持續性的序列，它是具有一定順序性的，其能有效捕獲用戶的短期偏好，顯著提高推薦效果。

傳統推薦算法，主要包括了基于內容的推薦算法、協同過濾算法和混合推薦算法等。基于內容的推薦算法一般依賴于自然語言處理的相關知識，通過計算得到物品的向量特征表示，進而得到用戶的偏好，進行推薦相似的物品，該算法推薦效果的好壞主要是取決于對物品特征向量的建模效果。協同過濾（Collaboration Filtering）算法因其現實工程實現較為簡單，同時也可以提供不錯的推薦效果，所以協同過濾算法成為了推薦算法中應用范圍最廣的算法。但是它也存在著一些問題影響推薦效果，例如數據太少的“冷啟動”問題，不能表達瞬時偏好等。混合推薦算法是為了提高推薦效果，融合了多種推薦技術的算法，當前大多數推薦算法主要是融合了深度神經網絡和協同過濾，主要能提升推薦效果，還可以一定程度解決協同過濾算法的弊端（數據稀疏、個性化不足等）。

序列推薦算法由于其針對行為序列進行建模，在可以不過多依據用戶長期偏好的情況下，更加偏向于用戶當前瞬時的、短暫的偏好，從而得到較好的推薦效果。例如，用戶過去喜歡國外手機品牌，但是隨著目前國內手機品牌的日益崛起，用戶開始將更多注意力關注于國內手機品牌了，大量瀏覽關注國產品牌手機。傳統的推薦算法，難以獲取用戶興趣的快速變化，而序列推薦能通過用戶與物品的交互捕獲用戶的動態偏好。

目前，序列推薦算法大體分為兩大類。一類為基于傳統推薦算法的序列推薦，更多的采用了較為經典傳統的協同過濾和馬爾科夫鏈等算法。另一類為融入深度神經網絡的序列推薦，在初期，主要應用了循環神經網絡（Recurrent Neural Network，RNN）、長短期記憶網絡（Long Short-Term Memory，LSTM）和卷積神經網絡（Convolutional Neural Network，CNN）等，最近隨著圖神經網絡（Graph Neural Networks，GNN）在圖像、自然語言處理等領域的應用并取得快速發展，研究人員也開始將圖神經網絡用于交互序列建模，并取得了優異的表現。

1 基于傳統推薦算法的序列推薦

序列推薦作為推薦算法的一個分支，在初期，研究人員更多的是直接將成熟的、經典的傳統推薦算法應用于序列推薦中。協同過濾作為推薦算法中使用最廣泛的算法，潛在因子表示模型和嵌入表示是其中的典型代表。潛在因子表示其首先通過分解學習得到用戶和物品的潛在表示，然后利用得到的表示信息進行預測。嵌入表示將學習得到的潛在表示輸入，利用余弦或皮爾遜相似度來計算用戶與物品的相似度作為預測。馬爾科夫鏈由于其本身定義為假設某一時刻狀態轉移的概率只依賴于它的前一時刻的狀態，也很自然地應用到了序列推薦當中。

接下來對兩類傳統推薦模型與方法進行相應介紹。

1.1 基于協同過濾的序列推薦

Hidasi 等人[2]提出一種通用的分解框架，以偏好模型作為輸入，計算輸入維數的潛在特征矩陣，一個維度為用戶，另一個維度為物品，其他行為等操作可以影響用戶的偏好，該框架能讓不同的線性框架在任意的上下文感知的推薦任務中進行實驗，為序列推薦算法提供了一個新的思路。He 等人[3]提出了可擴展的張量分解方法，采用一個模型來模擬用戶、物品和交互的三種關系，物品作為一個點嵌入到“轉移空間”內，每個用戶作為空間內的一個轉移向量，用戶從一項到另一項的轉換由特定于用戶的轉換操作捕獲，用戶的待選推薦完全由用戶的過去交互的物品和用戶轉移向量得到，最終得到了用戶與待選物品之間的潛在表示，直接利用了歐氏距離來表示的物品預測。該類模型雖然較為簡單，但是推薦效果不錯。

協同過濾在推薦算法中也存在一些不足，數據過分稀疏、新用戶等問題都會影響推薦效果，同時由于現實用戶交互序列中，存在時間和空間的關系，這種關系也不能很好通過協同過濾進行表達出來，進而影響了推薦效果。

1.2 基于馬爾科夫鏈的序列推薦

基于馬爾科夫鏈的序列推薦模型將用戶與物品的交互序列直接進行建模，得到序列模型，通過利用馬爾科夫鏈的特點，用以預測下一次交互的物品。Rendle等人[4]成功把馬爾科夫鏈應用到了短序列的序列推薦模型中，它能在短序列中捕獲到物品的轉換，即使在數據一定稀疏的情況下也能表現良好。Feng 等人[5]先將每個興趣點（POI）通過距離嵌入映射到一個潛在空間中，然后利用馬爾科夫鏈模型預測POI 的變化，POI 之間的距離作為衡量兩者序列關系的依據，最后依據排序進行推薦。該模型依據基于馬爾科夫鏈的理論依據，認為短時間內的兩個POI 的訪問，對后者POI 的訪問會受上一個POI 訪問的影響。

馬爾科夫鏈用于序列推薦也存在著明顯的不足，首先就是其只能在短序列當中取得明顯的作用，當序列長度太長時，推薦效果顯著下降。其次，它更多的是獲取單個物品與單個物品之間的聯系，而忽略了多個物品之間相互作用，而多個物品之間相互影響正是現實序列的重要特征。

2 基于深度神經網絡的序列推薦

近年來，隨著硬件技術的發展，深度神經網絡逐漸從理論走向了實際，并且逐步應用到了推薦算法當中。主要應用到的深度神經網絡模型包括了循環神經網絡（RNN）、卷積神經網絡（CNN）和圖神經網絡（GNN）等。

接下來對三類神經網絡模型與方法進行相應介紹。

2.1 基于循環神經網絡的序列推薦

循環神經網絡（RNN）初期在圖像、音頻和自然語言處理等領域取得了較大成功，RNN 由于其網絡結構的特點，通過門（gate）這一結構，可以有選擇性的讓信息在循環神經網絡中進行流通，并衍生了許多變體模型。

B. Hidasi 等人[6]創新性的將RNN 帶入到推薦算法，把一個會話點擊了一系列物品的交互當成了一個序列，將該序列輸入到模型當中，預測下一個點擊的物品。該模型使用了RNN 融入進序列推薦，解決了在缺少用戶歷史長期記錄的情況下，僅僅使用交互序列，推薦效果不佳的問題。作為RNN 的變體，Wu 等人[7]采用了長短期記憶網絡（LSTM）構建模型，用來適應用戶與電影的動態性，而達到更精準的視頻推薦。每當用戶對電影進行一次評分之后，利用LSTM 模型更新用戶表示，相對應的電影表示的也進行更新，推薦模型通過二者的表示預測用戶對某電影的評分。針對單層RNN模型不能有效捕獲用戶長期偏好的問題，Quadrana 等人[8]提出了層級循環神經網絡模型（HRNN）。針對了不同的用戶群體采取了不同策略，如果用戶有歷史記錄，則根據用戶歷史記錄得到一般偏好，并傳遞給下一個序列，如果用戶沒有歷史記錄，則單純對用戶序列行為進行建模。相較于單層的RNN 模型，該模型的優勢在于，可以融入用戶的一般偏好，再結合序列信息反映的短期偏好，共同提高推薦效率。Wu 等人[9]提出了用戶過去的行為和現在的行為對用戶偏好的影響會隨著時間的變化而變化，利用了上下文時間注意力機制（Con?textualized Temporal Attention Mechanism）去學習用戶過去行為的影響權重，既包含行為本身的信息，還附帶了時間、空間信息，最后融合雙向循環網絡（BiRNN）一起輸出。

2.2 基于卷積神經網絡的序列推薦

卷積神經網絡（CNN）同樣是率先在計算機視覺、自然語言處理等領域取得重要突破，受此啟發，研究人員也開始探究CNN 在序列推薦算法領域的應用。

Tang 等人[10]提出了Caser 模型，把在時間和空間上距離最近的一些物品交互序列當做一個“圖像”矩陣，該矩陣的行是作為物品交互順序的表示，然后使用不同的卷積濾波器學習序列模式作為圖像的局部特征，該模型不僅可以表示用戶序列偏好，還可以表示出用戶的一般偏好。但是Caser 模型在面對長序列時，由于CNN 的結構限制，會丟失一些重要的、重復的信息，序列越長，表現出來的問題就越明顯。Yuan 等人[11]針對CNN 在長序列中表現不佳的情況，在Caser 模型基礎上，提出了NextItNet 模型，該模型的核心是采取擴張的CNN，區別于標準的CNN 中，接受域寬度的是線性增加，而擴張的CNN 接受域寬度采取的是指數級增長，利用的信息更加寬廣，從而達到了在使用相同核和相同層次的情況下，較之傳統的CNN 模型，能高效處理長序列的豐富信息。

2.3 基于圖神經網絡的序列推薦

傳統的深度學習方法被大量應用在提取歐氏空間數據的特征，然而實際生活中大量的數據存在場景都不是簡單的歐氏距離能生成表達的。圖（Graph）作為一個較為復雜的數據結構，在描述物品與物品之間或者物品與用戶之間的交互較為貼合現實世界，也正是因為圖的復雜性使得圖神經網絡在序列推薦的應用上存在相應的困難。

Wu 等人[12]第一次將圖神經網絡（GNN）應用于序列推薦，提出了SR-GNN 模型，模型把將每個會話序列當做一個有向圖，針對重復的邊和節點，其中采取了邊權重均一化，然后利用GNN 得到節點潛在向量，通過門控制，得到最好的節點向量表示，最后通過對局部和全局向量的拼接，得到了結合了長期短期偏好相結合的序列向量表示，推薦效果得到明顯提高。Xu 等人[13]利用圖神經網絡和自注意力網絡的互補性，提出了GC-SAN 模型，利用了多層自注意力網絡得到長距離之間的全局依賴關系，模型尋求在相鄰項中建立一個一個復雜的上下文表示關系，從而得到了比SR-GNN模型更加好的推薦效果。

圖神經網絡在序列推薦領域尚處在起步階段，但是已經取得了不錯的效果，具備很強的發展潛力。

3 結語

如今推薦算法已經逐漸成熟，在各個領域都得到了應用，從最初的電商網站、視頻網站到如今的各種手機應用軟件，都能看到它的影子。序列推薦，作為推薦算法的子領域，在過去幾年也取得了長足發展。序列推薦不僅可以針對已知用戶進行融合用戶特征的個性化推薦，更可以針對未登錄的匿名訪問者的瀏覽記錄進行推薦。圖神經網絡在序列推薦中的應用，為序列推薦發展開辟了新的發展方向，值得更多的研究人員在圖神經網絡上進行探索。本文通過介紹了兩大類序列推薦算法的模型與方法，希望能給相關研究人員對在列推薦算法領域提供相應的幫助。