基于用戶長短期興趣的自注意力序列推薦

馮 健

(蘇州大學計算機科學與技術學院 江蘇 蘇州 215006)

0 引 言

隨著互聯網的快速發展與普及,各式各樣的電子商務網站和基于位置的社交網站變得越來越成熟,吸引了很多用戶進行訪問、瀏覽、購買和觀看等一系列操作。因此產生了海量的用戶與物品交互數據。推薦系統通過分析用戶歷史交互數據,從中挖掘用戶潛在興趣并個性化推薦物品,已經成為人們日常生活中不可或缺的一部分。其中,序列推薦將用戶的歷史行為看成一個時間序列,然后從這個序列中挖掘有意義的序列模式,從而為用戶推薦下一時刻可能交互的項目。

序列推薦早期使用的方法基于馬爾可夫鏈模型,它假設用戶的下一次交互取決于前一個或前幾個交互[1-3]。正是由于基于這種假設,馬爾可夫鏈模型通常很難捕捉用戶歷史交互數據中復雜的序列關系。近幾年,基于深度學習的模型被提出。Hidasi等[4]在用戶會話中學習循環神經網絡模型,以在每個時間步獲得隱藏狀態,并使用最后一個隱藏狀態來預測用戶在下一刻可能交互的物品。除此之外,考慮到不同會話之間的用戶動態興趣,Quadrana等[5]提出了一種用于個性化會話推薦的分層循環神經網絡,通過分別學習用戶級的表示和物品級的表示來提高推薦性能。然而,這類方法傾向于將用戶的歷史交互數據壓縮編碼成一個固定大小的隱藏狀態向量,不能顯式地捕捉用戶與物品之間交互,也不能區分出用戶長期興趣和短期興趣。

最近,Vaswani等[6]提出了一種用于序列到序列建模的自注意網絡,在編碼用戶交互序列時只使用注意力機制,與循環神經網絡等模型相比,在序列長度方面具有更大的靈活性。自注意力網絡在整個序列上計算注意力只需要矩陣乘法,與循環神經網絡的順序計算相比,矩陣乘法可以是完全并行的。此外,自注意力網絡已經用于序列推薦,并取得了令人滿意的成果。然而,由于自注意力機制在建模時不考慮序列物品之間的位置關系,導致了時間序列信息的丟失。所以這類模型在建模用戶短期偏好方面表現優異,但是丟失了用戶長期興趣,而這類信息往往對序列推薦模型至關重要。

用戶的歷史交互序列往往時間跨度很長,可能包含了用戶幾年來的交互數據。在用戶的長期序列中,用戶在近期內的交互行為最能代表用戶當前興趣。例如用戶在近期購買一件衛衣,那么反映了用戶當前興趣在購買衣物上,因而可以向用戶推薦長褲和鞋等相關商品。所以,用戶的短期興趣很大程度上決定了用戶的下次交互行為。但僅僅依靠用戶近期數據并不足以完全建模用戶的意圖,可能用戶在很久之前交互的物品,隱藏著用戶的長期興趣。這類長期興趣反映了用戶個體傾向相對穩定,與個人的成長背景、學歷、人生觀和價值觀等因素相關聯。例如,用戶在很久前購買過籃球,反映了用戶的長期興趣是運動用品,那么結合上述短期興趣,可以向用戶推薦運動褲和運動鞋等商品,進一步縮小推薦候選集的范圍。然而,現有的模型都僅考慮用戶的短期興趣或者長期興趣,并沒有把這兩種信息有效結合起來。

為了解決上述問題,本文提出一個新的模型同時考慮用戶長期和短期興趣進行推薦。首先,Gated Recurrent Unit(GRU)作為循環神經網絡的一種變體,在保持了Long-Short-Term-Memories (LSTM)更新和遺忘的機制的同時簡化了網絡結構,利用更新門使每個單元學習長短期特征,已被廣泛應用到序列學習領域。本文將用戶的完整序列輸入到GRU來捕獲用戶長期興趣。其次,為了獲得用戶的短期興趣,截取用戶序列中最近交互的子序列,將其輸入到自注意力網絡中獲得不同物品的注意力得分,累加起來作為用戶的短期表示。接著,本文將從GRU中獲得的隱藏狀態向量作為自注意力網絡的查詢向量輸入到其中,得到一個融合了長期和短期興趣的用戶表示。最后,通過一個全連接層來計算用戶在下一時刻對所有物品興趣的概率分布。大量實驗表明本文模型性能優于當前先進模型,在三個現實數據集上,Hit Ratio(HR)指標提高了7%～30%,Normalized Discounted Cumulative Gain(NDCG)指標提高了12%～40%,The Mean Average Precision(MAP)指標提高了30%～40%。

綜上,本文的主要貢獻如下:

(1) 提出一個新的模型來進行序列推薦。所提出的模型將用戶歷史交互序列區分為長期序列和短期序列,并分別使用GRU和自注意力網絡來建模用戶長期和短期興趣。

(2) 引入一種新的融合機制。將GRU中獲得的長期興趣表示作為查詢向量輸入到自注意力網絡中,可以使自注意力網絡在預測用戶下一次交互時同時考慮用戶長期和短期興趣。

(3) 在三個現實數據集上進行了大量實驗。實驗結果表明本文模型在使用HR、NDCG和MAP評估指標的情況下,均優于當前先進的模型。

1 相關工作

1.1 傳統推薦

推薦系統中的早期工作通常應用協作過濾根據用戶的歷史數據(如簽入、評級等)提出建議[7-9]。例如,矩陣分解模型將用戶項矩陣分解為兩個低秩矩陣,每個矩陣都表示用戶的偏好或項的屬性[9]。另一項工作是基于項目的鄰域方法,其中項目相似性是根據會話中項目的共同發生來計算的[10]。此外,貝葉斯個性化排序是一種著名的隱式協同過濾的成對學習算法,在許多相關領域得到了廣泛的應用[11]。但這些方法都沒有考慮用戶歷史交互的序列信息,因此不適合序列建模。

1.2 序列推薦

由于用戶的歷史交互數據包含豐富的用戶興趣的時序信息,序列推薦逐漸引起研究者的注意。Rendle等[2]提出了一種為每個用戶生成個性化轉移矩陣的模型,它結合了矩陣因式分解模型和馬爾可夫鏈模型分別捕捉用戶的長期偏好和短期偏好,并且其表現均優于矩陣分解和馬爾可夫鏈。但是由于其狀態數量會隨著問題的規模的增大而變得巨大,因此面臨著參數過多的問題。當前最先進的方法是深度神經網絡模型[12-16]。Hidasi等[4]將循環神經網絡應用于基于會話的推薦,驗證了循環神經網絡在序列推薦任務中的有效性。Quadrana等[5]提出了一種分層循環神經網絡模型,該模型可以描述會話中用戶的個人偏好變化,并提出用戶個性化會話建議。雖然這些方法可以對相鄰行為進行建模,但不能捕獲聯合級和跳級序列模式,這極大地限制了序列預測和推薦的靈活性。因此,卷積神經網絡由于其捕獲局部特征的能力而被提出來解決這一困難。

Tang等[12]將一組用戶最近的交互項序列嵌入表示為與時間相關圖像,并使用卷積濾波器學習序列模式作為圖像的局部特征,該方法為提取長期興趣和序列模式提供了一個統一簡潔的網絡結構。

1.3 注意力機制

注意機制起源于計算機視覺的研究,然后廣泛應用于自然語言處理、機器翻譯和推薦系統等領域。它通過選擇性地關注整幅圖像或整個句子的某些部分,而忽略了不重要的信息,從而模仿人類的認知過程。Chen等[13]提出了一種用于多媒體推薦的雙層注意力機制,分別計算項目屬性和用戶歷史交互的權重分布。Tay等[14]提出了一種潛在關系度量學習方法,該方法利用注意力機制來學習每對用戶和項目之間的潛在關系。Cao等[15]在組推薦中引入了一種注意力機制,并對組的每個成員進行加權,以便更準確地描述組的細粒度偏好,從而為組推薦餐廳。最近,Vaswani等[6]提出了一種新的序列建模框架,名為Transformer。這種類型的體系結構完全放棄了循環結構,僅僅依賴注意力機制來挖掘輸入和輸出之間的關系。這樣做的最大優點是可以并行計算,極大地減少了訓練模型所需的時間。受Transformer模型的啟發,Zhang等[16]使用自注意力機制,利用用戶與項目之間的距離來計算興趣程度,可以學習用戶長期和短期的序列表示。Zhou等[17]將用戶行為表示投影到多個潛在空間中,然后利用自注意力網絡對其他行為帶來的影響進行建模。Kang等[18]將自注意力機制應用于推薦,并證明其性能優于以前的模型。

本文的工作不同于上述方法,因為引入了一個統一的用戶長期和短期行為建模框架,基于循環神經網絡和自注意力網絡進行順序推薦。提出的模型首先利用循環神經網絡將用戶的完整的歷史交互序列編碼為固定長度的隱藏向量,作為用戶的長期興趣表示。然后,截取用戶交互序列的最近固定長度的子序列,利用自注意力網絡獲得用戶短期興趣表示。最后,將長期興趣表示作為查詢輸入到自注意力網絡中,獲得綜合了用戶長短期興趣的潛在向量。本文工作的重點是結合了循環神經網絡處理變長序列和長期記憶功能,以及自注意力網絡可以自適應地學習用戶的長短期順序行為的相應依賴關系,顯式地建模用戶的長期和短期興趣。同時使用將循環神經網絡的輸出作為查詢向量的方式,將兩者緊密結合起來。

2 問題定義

本節中,先定義本文使用的符號,然后形式化描述所要解決的問題。讓U={u1,u2,…,u|U|}表示用戶集合,I={i1,i2,…,i|I|}表示物品集合,其中|U|和|I|分別表示用戶數和物品數。對于每個用戶u,他的歷史交互序列定義為Su={it1,it2,…,it3},其中itj表示用戶u在tj時刻交互的物品,|Su|表示用戶歷史交互序列長度。

本文模型的任務是提供用戶u的歷史交互序列Su,預測用戶在下一時刻會交互的物品。

3 模 型

如引言中所述,用戶的歷史交互序列包含了用戶的長期興趣和短期興趣,因此在設計推薦系統時需要將這兩種模式分別建模。本文提出一種新的模型分別建模用戶長期興趣和短期興趣,并使用自注意力框架將兩者緊密結合起來。如圖1所示,模型分為四部分:嵌入層、長期記憶層、短期記憶層和預測層。具體而言,模型首先將物品的稀疏表示投影到低維密集向量中;接著使用循環神經網絡將用戶序列編碼成固定長度的隱藏向量,作為用戶的長期興趣表示;然后取用戶最近m(圖1以m=4為例)個物品,使用自注意力網絡自適應學習物品之間的關聯,得到用戶短期興趣表示;最后,本文將兩種不同類型的興趣表示綜合至一個自注意力框架中,并通過全連接層得到用戶在下一時刻對所有物品興趣的概率分布。

圖1 本文模型架構

3.1 嵌入層

用戶交互過的物品通常為離散的索引表示,這些索引僅僅代表某一個物品,實際數值不具有任何含義。因此本文先將物品的離散索引轉換為n維的獨熱編碼[0,0,…,1,0,0],n代表物品數目總量,其中只有第i個值為1,其余為0,代表索引為i的物品的向量表示。獨熱編碼具有非常高的維度和稀疏性,因此本文進一步將其輸入到神經網絡編碼成d維的嵌入表示,得到物品嵌入矩陣R={e1,e2,…,en}。

3.2 長期記憶層

本文使用循環神經網絡來捕捉用戶的長期興趣。門控單元(GRU)作為長短期記憶(LSTM)的變體,保留了長短期記憶可以記憶序列中的長期依賴的優點,并且相比之下更容易進行訓練,很大程度上提高了訓練效率,因此本文使用門控單元來建模用戶的長期興趣,其公式如下:

zt=σ(Wzet+Uzht-1)

(1)

rt=σ(Wret+Urht-1)

(2)

ct=tanh(Wcet+Uc(rt·ht-1))

(3)

ht=(1-zt)·ht-1+zt·ct

(4)

式中:et代表在t時刻用戶交互的物品的向量表示;σ代表Sigmoid激活函數;·代表點積操作;zt和rt分別代表更新門和重置門,負責保留和忽略當前時刻之前的歷史信息;Wz和Uz是更新門參數矩陣;Wr和Ur是重置門參數矩陣;Wc和Uc是候選門參數矩陣;ct代表候選門,綜合歷史信息和當前輸入生成新的記憶;ht代表當前時刻輸出的隱藏狀態。

通過將用戶的完整序列輸入到GRU中,將在每一時間步綜合考慮歷史交互信息和當期輸入獲得相應的隱藏狀態,作為用戶的長期興趣表示。

3.3 短期記憶層

為了捕獲用戶的短期興趣,截取用戶序列中最近交互的m個物品作為子序列,然后輸入到自注意力網絡中自適應學習物品之間的關聯,得到用戶的短期興趣表示。自注意力網絡如圖2所示,模型首先將用戶序列矩陣映射到三個不同的向量Q、K和V,向量Q和K經過縮放的點積注意力操作得到注意力得分,再與向量V相乘得到用戶興趣表示;之后進行層歸一化(LayerNorm)和殘差連接(Residual Connect)操作增強模型訓練效果;重復上述自注意力模塊操作,得到用戶的短期興趣表示。

圖2 自注意力網絡模型

首先,用戶序列長度不一,有些用戶的歷史交互物品數量可能小于m,因此采用零填充的方法來將交互數目不足m的用戶序列補齊,具體做法是在用戶序列前面添加物品0直至序列長度為m。其中物品0僅僅代表填充項,不具有其他含義,也不會影響訓練過程。

其次,自注意力網絡本身不具有捕捉序列信息的功能,因此加入額外的位置向量矩陣P來使自注意力網絡融入序列信息。因此,用戶交互序列向量M更新為:

(5)

式中:P=[p1,p2,…,pm]代表位置向量矩陣;pi代表序列中第i個物品的位置向量。

接著執行縮放的點積注意力操作,簡稱為SDPA,以獲得序列中不同項之間的關系。SDPA定義如下:

(6)

式中:d代表向量維度;Qu、Ku和Vu分別代表查詢向量(Query)、鍵向量(Key)和值向量(Value)。Qu、Ku、Vu計算公式如下:

Qu=MuWQ

(7)

Ku=MuWK

(8)

Vu=MuWV

(9)

式中:WQ、WK、WV是待學習的參數。因此,自注意力模塊輸出公式為:

Hu=SDPA(MuWQ,MuWK,MuWV)

(10)

在執行縮放的點積注意力操作之后,計算了序列中不同項之間的相似性。此外,還使用計算出的相似性自適應地分析了每個物品對預測用戶下一次交互的重要性程度。這樣綜合起來可以獲得用戶短期興趣表示。

為了使模型能夠在不同的位置上共同處理來自不同表示子空間的信息,自注意力網絡采用多頭注意力機制,公式定義如下:

Hu=Concat(h1,h2,…,hhead)

(11)

(12)

Hu=LayerNorm(Hu+Mu)

(13)

Ou=ReLU(HuW1+b1)

(14)

Ou=Ou+Hu

(15)

式中:W1和b1是模型參數。為了簡單起見,將整個自注意力模塊定義如下:

Ou=SAB(Mu)

(16)

在完成第一個自注意力模塊之后,Ou本質上已經聚集了所有歷史交互項的信息。然而,可能需要使用另一個基于Ou的自注意力模塊來捕獲更復雜的轉換關系。因此,疊加自注意力模塊,第b塊定義如下:

(17)

3.4 預測層

在獲得了用戶的長期興趣和短期興趣表示后,設計了一個獨特的方式將其融合。具體做法是,使用另外一層注意力網絡,以用戶的長期興趣表示作為查詢向量,用戶短期查詢作為鍵和值向量。這樣做的好處是,在計算用戶下一時刻的興趣分布時,可以既完整地挖掘了用戶的短期興趣,又以用戶的長期興趣為額外的輔助向量幫助模型探尋更多的可能。公式如下:

yu=SDPA(HuWQ,OuWK,OuWV)

(18)

最后,通過一個全連接層得到最終的用戶興趣分布。

3.5 模型訓練

為了有效地進行訓練過程,采用二元交叉熵損失作為模型的優化目標函數。 損失函數定義如下:

(19)

式中:U和I分別表示用戶集和項集。此外,對于交互序列中的每個目標項i,隨機抽取一個負樣例j。訓練時使用Adam優化器來更新模型參數。

4 實 驗

本節對三個真實世界的數據集進行了實驗,以評估本文方法的性能。首先簡要介紹了數據集和基線方法,然后對比了本文方法和基線方法。最后詳細分析了實驗結果。

4.1 數據集

本文評估了本文方法在不同領域和稀疏性的三個真實世界數據集上的有效性,例如Gowalla數據集、MovieLens數據集和Foursquare數據集。Gowalla和Foursquare數據集是廣泛使用的LBSN數據集,其中包含基于位置的社交站點中的用戶的興趣點簽到信息。MovieLens數據集是一個流行的電影評級數據集,使用的10 MB的版本,其中包括從1995年1月至2009年8月共1 000萬用戶的評級數據。對于Gowalla數據集,將重點放在過去7個月生成的數據上。對于MovieLens數據集,取一個從2005年到2009年的子集。對于Foursquare數據集,選擇自2010年1月至2011年2月家住加州用戶的簽到數據。

根據以往的工作,對于所有數值評級的數據集,將它們轉換為隱式反饋。為了支持的序列推薦,丟棄交互項目少于20個的用戶數據。每個數據集留取用戶最近的交互項作為測試集,其余作為訓練集。數據集詳細數據如表1所示。

表1 數據集信息

4.2 基線模型

將本文提出的模型標記為LSGS(Long term+Short term+GRU+Self-attention )。同時選取了目前比較流行的幾種算法進行對比:

(1) Pop。一個簡單的基線模型,根據訓練數據中的流行程度推薦排名前N的項目,其中流行程度是由項目的重復度決定的。

(2) BPR。非序列推薦的最先進的方法,結合了矩陣分解和貝葉斯個性化排序損失函數[11]。

(3) FPMC。一種經典的混合模型,結合矩陣因式分解和一階馬爾可夫鏈進行下個籃子推薦,它分別捕捉用戶長期偏好和序列信息[2]。

(4) TransRec。一種先進的一階順序推薦模型,將項目嵌入到轉換空間中,并將用戶建模為翻譯向量[10]。

(5) GRU4Rec。一種基于循環神經網絡的會話推薦深度學習模型[4]。

(6) RUM。首次提出利用記憶增強神經網絡來改進序列推薦[21]。

(7) SHAN。提出采用兩層分層注意力網絡,同時考慮用戶的動態長期和短期偏好,以進行序列推薦[22]。

(8) SASRec。第一個被提出的基于自注意網絡的序列推薦模型,在每個時間步驟中自適應地為以前的項目分配權重,而不使用循環或者卷積[18]。

4.3 評估指標和參數設置

本文使用以下指標來評估所有模型的性能,這些指標在其他相關工作中得到了廣泛的應用。

(1) HR@N: Hit-Ratio(HR)在排名最高的N位中計算出目標項目的分數[23-24]。HR@N評分計算為:

(20)

式中:Su(N)是對所有物品進行排序后的前N項的集合;Tu是測試集里的交互物品集合;I(x)是指示函數,當x大于0時等于1,否則等于0。

(2) NDCG@N: NDCG通過考慮正確項目的位置來評估排名績效[25-26],定義如下:

(21)

(3) MAP: MAP是所有用戶的平均精度(AP)的平均值[27-28]。AP是排序中找到相關項目的平均精度。公式定義如下:

(22)

式中:p(j)是排名從1到j的精確率,如果排名j的項目在測試集中,則rel(j)=1,否則為0。

本文中HR@N是對未排序檢索結果的評價,而NDCG@N和MAP是對排序的評價。實驗選擇N={10,20}來獲得不同的評價結果,學習率設置為0.001,丟棄率設置為0.5,嵌入維度設置為100,批處理大小設置為128,最近交互序列長度l設置為50。基線模型均采用原作者論文中推薦使用的參數。

4.4 結果分析

本節將本文模型與8個基線模型的性能進行了比較,評估指標分別為HR@N、NDCG@N和MAP,N取值為10和20。表2顯示了這些模型在三個現實數據集上的總體實驗結果,對于每項指標,加粗標識所有模型中的最高數值,下劃線標識基線模型中的最高數值。實驗分析總結如下。

表2 不同模型排序效果

首先,在所有的基線模型中,Pop在幾乎所有的情況下性能最差,從而證明了個性化推薦方法的有效性。通過對用戶進行單獨分析,并采用矩陣因式分解作為具有成對排序損失函數的內部預測器,在大多數情況下,BPR的性能優于Pop。但非序列推薦模型(例如BPR)通常在所有數據集上比序列推薦模型(例如FPMC、TransRec和GRU4Rec)表現差,這表明了用戶交互行為的序列信息可以幫助提高現實世界推薦系統的性能。

其次,基于一階的馬爾可夫鏈模型(TransRec和FPMC)取得了良好的性能。它們都考慮了用戶的最后一次的交互。這表明了用戶的最近交互行為對序列推薦的重要性。具體而言,TransRec將翻譯嵌入的思想應用于序列推薦,它假設下一個項目是由前面的操作加上用戶的翻譯向量來預測的。這一假設可能適用于稀疏數據集(即Gowalla和Foursquare),因為它們的交互間隔非常離散,因此過渡空間很容易區分,但當用戶的交互頻繁時可能不成立(即ML-10M數據集)。另一方面,FPMC在密集和稀疏數據集上都取得了穩定的性能。它還表明,精心設計但簡單的非神經方法通常在大多數情況下是有效的。

第三,GRU4Rec和RUM都使用深度神經網絡作為推薦系統,該系統考慮所有(或多個)以前訪問過的項目。RUM是一種集成了協同過濾和記憶增強神經網絡的序列推薦模型。可以發現RUM產生了相當好的性能,僅次于最強基線SASRec。特別是在Gowalla數據集上,RUM和SASRec的性能幾乎是相同的。

第四,最后兩個基線SHAN和SASREC是基于注意力機制的推薦方法,沒有循環結構或神經網絡的卷積操作。SASRec是大多數數據集上最強的基線,這表明了自注意力網絡對提高推薦準確性的重要性。另一方面,基于神經網絡的方法(例如RUM)在大多數情況下比SHAN應用普通注意力機制結果更好,顯示了神經網絡對用戶的一般興趣及其序列行為建模的能力。

最后,本文方法LSGS在所有數據集和評估指標上總是達到最佳的性能,并且相比于最強的基線模型SASRec,HR平均提高了36%,NDCG平均提高了33%,MAP平均提高了30%。LSGS分別使用循環神經網絡和自注意力網絡來捕獲用戶的長期興趣和短期興趣并取得不錯的性能,這表明了在序列建模時,使用單獨的一種架構同時建模用戶的長期和短期興趣是不夠的,必須先區分開來。另外,使用額外的一層自注意力網絡,使得模型能自適應地學習長短期之間的關系,更加準確地為用戶推薦物品。

4.5 模型成分分析

本節進行一系列實驗檢驗獲取和利用了用戶長期和短期的興趣特征對推薦模型效果的提升作用。將原模型移除長期興趣層或者短期興趣層,分別記為LSGS_rl和LSGS_rs。另外,在保持長期記憶層和短期記憶層不變的情況下,以向量拼接的方式來代替預測層的自注意力模塊,記為LSGS_con。實驗結果如表3所示。

可以看到,在移除長期興趣層或者短期興趣層后,模型表現都有所下降,這表明同時考慮用戶的長期興趣和短期興趣是有必要的。其中,移除短期興趣層對模型的影響更大,表明了用戶短期內的交互更能反映用戶的興趣。將預測層的融合機制改變為普通的向量拼接操作,在不同的數據集上對模型有著不同的負面影響,其中在Foursquare數據集上影響最大,這可能是因為Foursquare數據集稀疏,普通的向量拼接操作不足以表現用戶長期興趣和短期興趣之間復雜的關系,進一步驗證了用自注意力網絡來融合用戶兩種不同興趣的有效性。

4.6 超參數影響分析

研究嵌入維度d的超參數和用戶最近交互子序列長度l的影響。由于空間限制,這里只給出了N=10的實驗結果。

(1) 嵌入維度d的影響: 從{20,40,60,80,100,120}中選擇嵌入維度大小,以此來提高模型性能。如圖3所示,更高的維度通常表現更好,這是因為高維度可以為項目建模更多的信息。然而,當嵌入維度高于100時,模型表現開始下降。這種性能下降的現象表明,當模型的隱式因子維數過高時,可能會發生過擬合。

圖3 嵌入大小d對不同數據集性能的影響

(2) 用戶最近交互子序列長度l的影響: 從{10,30,50,100}中選擇截取用戶最近交互子序列長度大小,以此來提高模型性能。如圖4所示,在Gowalla數據集和Foursquare數據集上,當l取值為50時即可得到最優結果,這是因為這兩個數據集的用戶交互比較稀疏,選取小一些長度更能體現用戶的近期興趣。在MovieLens數據集上,當l取值100時得到最優結果,這是因為MovieLens數據集的用戶交互密集,所以選取更大的長度能獲得更多用戶興趣信息。

圖4 用戶最近交互子序列長度l對不同數據集性能的影響

5 結 語

本文設計一個新的模型,使用循環神經網絡和自注意力網絡分別捕捉用戶的長期興趣和短期興趣。具體而言,將用戶歷史交互序列分離為用戶完整序列和最近交互序列兩種類型,并且從兩種類型序列中分別捕捉用戶的長期和短期興趣。最后,使用一層額外的自注意力網絡將用戶的兩種類型興趣融合起來獲得最終推薦。在三個現實生活的數據集上的實驗表明本文模型比當前先進的模型表現更好。