時域交互網絡中動態嵌入軌跡預測方法

鄭 磊

(中國西南電子技術研究所, 成都 610036)

0 引言

隨著互聯網技術快速發展，用戶可以同時與諸多領域中的事件交互，例如電子商務(用戶購買物品)[1]、教育(用戶注冊MOOC課程)[2]，以及社交和協作平臺(用戶在Reddit的群組中發帖)[3]。同一用戶可能在一段時間內與不同的事件進行交互，這些相互作用也會隨著時間發生變化。隨著時間變化，交互創建了一個用戶和物品之間的時域交互網絡。準確實時地推薦物品，以及預測用戶狀態的變化是需要解決的基本問題。例如，預測學生何時會退出 MOOC課程對于制定早期干預措施非常重要[4]；預測用戶何時會在Reddit和維基百科等社交平臺上進行惡意評論[5]，以確保平臺安全性和完整性等。

表示學習又被稱為學習實體的低維嵌入，是一種可以表示用戶和物品的屬性演化的方法。然而生成動態嵌入方法面臨如下挑戰：

1) 大多數現有方法僅在用戶采取行動時為用戶生成嵌入。但是，考慮當日進行購買并且其嵌入已更新的用戶。如果在第二天、一周甚至一個月后返回平臺，嵌入將保持不變。因此，無論該用戶何時返回，都會對其做出相同的預測和建議。然而，用戶的意圖會隨著時間而改變，因此其嵌入需要更新(投影)到當前查詢時刻。如何隨著時間的推移準確預測用戶和物品的嵌入軌跡成為一個難點。

2) 實體既具有不隨時間變化的靜止特性，又具有演化特性。現有的方法在生成嵌入時通常僅考慮兩者之一。然而，必須在一個統一的框架中考慮上述2種特性，以利用這2種不同的信息。

3) 許多現有方法通過對每個用戶對應的所有物品進行評分來預測用戶與物品的交互信息。這類方法具有線性時間復雜度，在具有數百萬個物品的場景中不實用。然而，需要設計在常量時間內可以給用戶推薦物品的方法。

基于上述挑戰，本文提出一種在時域交互網絡中預測動態嵌入軌跡的方法(UICRNN)，它學習時域交互網絡中生成的所有用戶和物品的嵌入軌跡。當用戶采取行動時，用戶和物品的嵌入被更新，投影算子將預測用戶未來的嵌入軌跡。

對用戶和物品通常采用2種嵌入方式：靜態嵌入和動態嵌入。靜態嵌入表示實體長期靜止，而動態嵌入表示實體時刻變化。使用UICRNN進行學習，上述2種嵌入用于交互關系軌跡的生成。這使UICRNN不但能夠根據用戶的靜態屬性進行預測，而且可以根據用戶的動態屬性進行預測。

UICRNN由2個主要操作組成：更新操作和投影操作。更新操作由2個循環神經網絡(recurrent neural network，RNNs)來生成用戶和物品的嵌入。通過把2個RNNs進行耦合連接，使其可以明確地結合用戶和物品之間的相互依賴關系。每次交互后，用戶端RNN通過使用物品嵌入更新用戶嵌入。同樣地，物品RNN使用用戶嵌入更新物品嵌入。UICRNN模型還能夠合并交互的特征向量，例如，Reddit帖子文本[6]。UICRNN具有很強的擴展性，它可以通過為每個實體訓練一個RNN來處理多種類型的實體類型。

UICRNN使用了投影操作預測用戶未來的嵌入軌跡。直觀地講，自從用戶上次與任何物品交互以來，用戶的嵌入會在短時間內發生輕微變化，而在很長時間后可能會發生顯著變化。因此，UICRNN訓練了一個時域注意力層，在之前的交互經過一段時間后投影用戶的嵌入。嵌入過程在很長一段時間后會發生顯著變化，然后使用投影的用戶嵌入來預測用戶最有可能與之交互的物品。

此外，大多數現有模型通過逐步處理交互，然后從一系列其他的交互關系中學習嵌入，以增加時間順序來保持交互之間的時間依賴性。這使得此類方法無法擴展到具有數百萬次交互的真實數據。因此，本文提出了一種批處理方案，通過創建獨立交互的訓練批次來訓練模型，這樣每個批次中的交互可以并行處理。為此，從交互網絡中迭代地選擇獨立的邊集。在每個批次中，每個用戶和物品最多出現一次，并且每個用戶和物品的基于時域排序的交互是單調遞增的，確保在時間序列上的一致性。

本文的主要貢獻如下：

1)新模型：提出了一種用戶-物品耦合循環神經網絡，稱為UICRNN。其由2個循環神經網絡來生成用戶和物品的嵌入。訓練了一個時域注意力層，在交互經過一段時間后投影用戶的嵌入。

2) 新方法：提出了一種新的嵌入方法，可以學習用戶和物品的嵌入軌跡，還可以學習投影算子，預測用戶的嵌入軌跡以及預測未來的交互。此外，提出了一種有效的批處理訓練方案來創建獨立但時間一致的訓練數據批次，這有助于訓練所提出的UICRNN模型。

3) 有效性：在未來交互預測和用戶狀態變化預測時，UICRNN優于6種最先進的算法。預測未來交互行為的準確率至少提高42.91%，預測用戶狀態變化的準確率平均提高了15.79%

1 相關工作

本節討論與本文研究問題密切相關的工作，涵蓋如下3個領域的內容。

深度循環推薦模型。近期，主要工作采用循環神經網絡RNN和其變體長短期記憶網絡LSTM(long short-term memory)或門控循環單元GRU(gate recurrent unit)來構建推薦系統。Wu等[7]使用RNNs從層次型網絡生成動態用戶和物品的嵌入。Beutel等[8]和Zhu等[9]學習如何將特征融合到嵌入中。Zhao等[10]將用戶的偏好和文本情感特征轉化為注意力信息，并結合不同的LSTM模型來預測用戶的軌跡。然而，大多數方法有2個主要缺點：使用物品的one-hot向量作為輸入以更新用戶嵌入，僅包含物品id，忽略物品的當前狀態；只為用戶生成動態嵌入，而不為物品生成動態嵌入。

動態協同進化模型。最近一些研究使用點過程建模[11-12]和基于RNN的建模[13-14]協同學習用戶和物品表示。這些模型的基本思想類似于UICRNN，即學習用戶和物品嵌入的相互影響。然而，UIRCNN與這些模型的主要區別在于，訓練一個投影操作來隨時預測用戶嵌入，輸出物品嵌入而不是交互的概率，并使用批處理來訓練模型。

時域網絡嵌入模型。在時域網絡中，一些相關的研究同時為節點生成嵌入(用戶和物品)。Nguyen等[15]使用隨時間增加的隨機游走來生成嵌入，但它會生成節點的最終靜態嵌入。同樣，文獻[16]生成一個來自交互圖的用戶和物品的最終嵌入，需要為每個新生成的邊重新創建動態嵌入。另一些主流的算法[17-18]從圖快照的序列中學習嵌入，但不適用于連續交互的場景。Xu等[19]利用分層注意機制來捕捉時間敏感的用戶潛在偏好，并融合上下文信息以得出用戶在給定時間內不同位置的投影概率。還有一些研究從節點之間的持久連接中學習嵌入[20-21]，但這些連接在交互網絡中不存在，因為邊代表瞬時交互。

2 用戶-物品耦合循環神經網絡

在本節中，提出了用戶-物品耦合循環神經網絡(UICRNN)，它可以從用戶-物品交互的順序序列中學習用戶和物品的嵌入軌跡。時域用戶-物品的交互關系記為Sr= (ur,ir,tr,fr)。在時刻tr，用戶ur和物品ir的發生一次交互Sr。每個交互都有一個相關的特征向量fr。表1列出了所使用的符號。為了方便使用符號，將在本節的其余部分去掉下標r的標注。其中，加粗的符號表示向量。

所提模型UICRNN可以學習用戶和物品的嵌入軌跡，其中，更新操作使用交互來更新用戶和物品的交互狀態，投影操作可以利用前一個觀察到的狀態和經過的時間來預測用戶的未來嵌入。當觀察到用戶和物品的下一次交互時，它們的嵌入會再次更新。

表1 相關符號及說明

2.1 嵌入方法

每個用戶和物品都包含2個嵌入：靜態嵌入和動態嵌入，使用這2種嵌入方式來編碼實體的長期靜態屬性及其動態屬性。

靜態嵌入：不會隨著時間變化的嵌入，所以將其用于表達靜態屬性，比如用戶的長期興趣。使用one-hot向量作為所有用戶和物品的靜態嵌入。

動態嵌入：給每個用戶u和物品i分配一個動態嵌入，在t時刻分別表示為u(t)∈Rn和i(t)∈Rn。Rn表示歐幾里得空間。這些嵌入會隨著時間的推移而變化，從而可以將它們隨時間變化的行為和屬性進行建模。用戶和物品的動態嵌入序列稱為其軌跡。

接下來描述更新和投影操作，將描述如何預測未來的交互項嵌入。

2.2 嵌入更新操作

在更新操作中，用戶u和物品i在t時刻的交互S=(u,i,t,f)用于生成它們的動態嵌入u(t)和i(t)。圖1給出了更新操作。

圖1 UICRNN原理圖

如圖1所示，UICRNN使用2個循環神經網絡進行更新。用戶RNNU可以跨用戶共享，以更新用戶嵌入；物品RNNI在所有物品之間共享，以更新物品嵌入。RNNU和RNNI的隱藏狀態分別表示用戶嵌入和物品嵌入。

上述2個RNN是相互耦合的。當用戶u與物品i交互時，RNNU通過使用在時間t之前的物品i的嵌入i(t-)作為輸入，更新嵌入u(t)。i(t-)表示物品i在t前一時刻與其他用戶交互后生成的物品嵌入。這一設計決策與使用物品的one-hot向量來更新用戶嵌入形成了對比，one-hot向量具有以下2個缺點：

1) one-hot向量僅包含有關物品id的信息，而不包含物品的當前狀態。

2) 當真實數據集有數百萬個物品時，one-hot 向量的維度會非常大，使得模型難以訓練和擴展。

相反，使用物品的動態嵌入，可以反映物品的當前狀態，從而產生更有意義的動態用戶嵌入且編碼簡潔更易于訓練。出于同樣的考慮，RNNI通過使用動態用戶嵌入u(t-)更新物品i的動態嵌入i(t)，使嵌入之間相互依賴。形式化表示如式(1)(2)所示：

W3(u)·f+W4(u)·Δu)

(1)

W3(i)·f+W4(i)·Δi)

(2)

其中，Δu表示用戶u之前與任意物品i交互的時間，Δi表示物品i之前與任何用戶u交互的時間。f為相互作用的特征向量。W1(u)，…，W4(u)表示RNNU的參數矩陣，W1(i)，…，W4(i)表示RNNI的參數矩陣。σ是非線性的sigmoid函數。這些矩陣被訓練用于預測下一個交互中的嵌入，將在第2.4節中解釋。

2.3 嵌入投影操作

本節解釋了嵌入投影算子，它預測了用戶未來的嵌入軌跡，通過在未來的一段時間內投影用戶的嵌入來實現。

圖2給出了投影用戶嵌入軌跡的主要思想。投影操作預測用戶在t時刻進行最后一次交互后，經過一段時間后的嵌入。如圖2所示，在時間t后的短持續時間Δ1，用戶u的投影嵌入u*(t+Δ1)接近于先前得到的嵌入u(t)。隨著Δ>Δ2>Δ1時間的推移，嵌入將投影到更遠的u*(t+Δ2)和u*(t+Δ)。當在t+Δ時刻觀察到下一個交互時，用戶的嵌入將使用更新操作更新為u(t+Δ)。

圖2 投影操作示意圖

投影操作需要2個輸入：在時刻t的用戶u的嵌入和時間間隔Δ。通過Hadamard乘積[22]將時間納入投影嵌入中，將嵌入和時間連接起來，并通過線性層提取特征。神經網絡對多個輸入進行拼接，但對相關的交互進行建模是低效的，而本文所提投影方法創建了一個時域注意力向量，提升了建模效率。

具體做法是使用線性層(被表示為參數矩陣Wp)將Δ轉換為時間背景向量w∈Rn，其中w=WpΔ。使用均值0的高斯分布來初始化Wp。然后將投影嵌入作為時間上下文向量與之前嵌入的元素作逐元素乘積，如式(3)所示：

u*(t+Δ)=(1+w)*u(t)

(3)

向量1+w作為一個時間注意向量來縮放過去的用戶嵌入。當Δ為0時以及w為0時，投影嵌入與輸入嵌入向量相同。Δ值越大，投影嵌入向量與輸入嵌入向量的差異越大，投影嵌入向量隨時間的投影距離越遠。此外，本文發現單個線性層投影嵌入的效果最好，因為它等價于嵌入空間中的一個線性變換。

2.4 預測物品嵌入

用戶u在t時刻與物品i交互，然后在t+Δ時刻與物品j交互。問題在于到達t+Δ時刻之前，如何預測用戶u會與哪個物品交互?訓練UICRNN，使用u的投影嵌入u*(t+Δ)來做出這個預測。

一個關鍵的設計為：UICRNN直接輸出一個物品的嵌入向量j*(t+Δ)，而不是用戶u和物品i之間的交互概率。這樣做的優點是將推理時間的計算從線性時間復雜度減少到常數時間復雜度。大多數現有的輸出交互概率的方法[23-24]均需要經過神經網絡向前傳遞|I|次(一個物品一次)，以找到概率得分最高的物品，但是時間代價非常昂貴。相比之下，UICRNN僅需要一次向前傳遞，并輸出一個預測的物品嵌入。然后，通過使用局部敏感哈希技術[25]，可以在接近常數的時間復雜度內返回最接近該嵌入的物品。為了維護局部敏感哈希的數據結構，將在一個物品的嵌入被更新時更新該數據結構。

訓練UICRNN來最小化L2正則化損失函數，該損失函數為||j?(t+Δ)-[j～，j(t+Δ-)]||2，可以衡量預測物品的嵌入與真實物品的嵌入之間的不同。其中，預測物品的嵌入為j?(t+Δ)，真實物品的嵌入為[j～，j(t+Δ-)]。[x，y]表示向量x和y的拼接，上標“-”表示在該時間之前的嵌入。

使用在時間t+Δ之前的物品i(用戶u之前交互的物品)的嵌入i(t+Δ-)和投影的用戶嵌入u*(t+Δ)來進行該預測。考慮i(t+Δ-)有2個原因：① 物品i可能與其他用戶在時間t和t+Δ之間交互，因此嵌入包含最近的信息；② 用戶u經常與同一物品i連續交互(即i=j)，包含之前的物品嵌入有助于此類預測。使用物品i的靜態和動態嵌入來預測物品j的靜態和動態嵌入。預測采用全連接線性層，如式(4)所示：

j?(t+Δ)=W1·u*(t+Δ)+W2·u～+

W3·i(t+Δ-)+W4·i～+B

(4)

其中，參數矩陣W1，…，W4和偏置向量B構成線性層。

訓練模型。在每次交互時，UICRNN最小化預測物品嵌入和真實物品嵌入之間的L2距離，并進行訓練。計算出的總損失如式(5)所示：

Loss=∑(u,i,t, f)∈S||j?(t) -[i～,i(t-)]||2+

λU||u(t)-u(t-)||2+λI||i(t)-i(t-)||2

(5)

第一個損失項使預測的嵌入誤差最小化，添加后兩項是為了正則化損失，并防止用戶和物品的連續動態嵌入變化太大。λU和λI是縮放參數，以確保損失在同一范圍內。

2.5 訓練數據批處理方案

本節介紹所提并行化訓練數據的批處理方案。在訓練期間保持交互之間的時域依賴性很重要。使用單個RNN的現有方法將用戶分成不同的批次然后并行處理。因為這些方法使用物品的one-hot向量作為輸入，可以使用標準的時間反向傳播機制進行訓練。然而，在UICRNN中，耦合的RNN能夠合并物品的嵌入來更新用戶嵌入。與同一物品交互的2個用戶之間將創建相互依賴關系，防止簡單地將用戶分成單獨的批次。

大多數現有方法也使用2個耦合的RNN[23-24]按順序逐一處理所有交互。但是，由于訓練過程非常緩慢，因此無法擴展到大量交互?；诖?，本文提出一種新的批處理數據方案來訓練UICRNN。

創建訓練滿足要求的批次具有一定難度，包含2個挑戰：每個批次中所有的交互應該并行處理；按索引的遞增順序處理批次應該保持交互的時間順序，應該生成與任何批次均不相同的嵌入。

為了克服上述挑戰，通過選擇交互網絡的獨立邊集來創建每個批次，即同一批次中的2個交互不共享任何共同的用戶或物品。UICRNN迭代執行以下2個操作：選擇操作和減少操作。在選擇操作中，通過選擇最大的邊集來創建一個新批次。在減少操作中，從網絡中刪除選定的邊。UICRNN迭代執行這2個操作，直到圖中沒有邊。每個批次都可以并行化，并且按順序處理批次可以保持順序依賴關系。

在實現過程中，將每個交互Sr分配給一個批次Bk，其中k∈[1,|I|]。初始化|I|個空批次(在最壞的情況下，每個批次只有一次交互)。迭代基于時域排序的交互序列{S1，…，S|I|}，每個交互被添加到批次Bk中。設maxBatch(e,r)是具有最大索引的批次，該批次具有涉及實體e的交互(此處e表示用戶u或物品i)，交互的最大編號為r。然后，將交互Sr+1分配給索引為max{1+maxBatch(u,r),1+maxBatch(i,r)}的批次。創建批次的復雜性為O(|S|)，即交互次數是線性的，因為每個交互僅使用1次。

本文提出的批處理方案確保每個用戶和物品在每個批次中最多出現一次，因此每個批次都可以并行化。此外，每個用戶和每個物品的第r次和r+1次交互分別分配給批次Bk和Bl，k

3 實驗及分析

在多個數據集上進行實驗，并與6個基準方法進行比較，驗證了UICRNN在未來交互預測和用戶狀態變化預測上的有效性。

3.1 實驗設置

在前τ%(不同的任務所設置的τ不同)的交互數據上訓練模型，用后τv%的交互數據作為驗證集，用最后剩余的交互數據作為測試集。將所有方法的動態嵌入維數和靜態嵌入的維數設置為128，所有算法都運行了50個epochs。

基準方法。實驗中比較了UICRNN與6個相關算法，這6個算法屬于3個類別(在相關工作中已介紹)：① 深度循環推薦模型。在這一類別中，與RRN[7]、LatentCross[8]、Time-LSTM[9]和標準LSTM[9]進行了比較。這些算法是推薦系統中主流的算法，可以生成動態的用戶嵌入。② 動態協同進化模型。與主流的深度協同進化模型DeepCoevolve[14]進行了比較。③ 時域網絡嵌入模型。比較了算法CTDNE[15]，該算法從時域網絡中生成嵌入，當它生成靜態嵌入時，會在添加每條邊之后生成新的嵌入。

實驗中使用如下2個公開的數據集進行實驗。

1) Redditpost數據集。這一數據集由用戶一個月內在subreddits[2]上發布的帖子組成。實驗選擇了 1 000個最活躍的subreddits作為物品，然后選用 10 000個最活躍的用戶，產生了 672 447次交互。將每篇文章的文本轉換為一個表示其LIWC(linguistic inquiry and word count)類別[26]的特征向量。

2) Wikipedia edits數據集。這個公共數據集收集了對維基百科頁面[3]在1個月內進行的編輯操作。實驗中選擇1 000個編輯操作最多的頁面作為物品，每個編輯作為用戶進行了至少5次編輯操作(共8 227個用戶)。產生了 157 474個交互作用。與Redditpost數據集類似，將編輯文本轉換為LIWC特征向量。

3.2 未來交互預測

預測任務定義為：給定到t時刻的所有交互，預測用戶u將在t時刻與哪個物品交互。

使用前80%的數據進行訓練，后10%的數據進行驗證，最后的10%進行測試。用MRR(mean reciprocal rank)和recall@10來衡量算法的性能，MRR是倒數排名的平均值，recall@10表示物品交互預測的前十的置信度中，正確預測所占的比例。對于每一次交互，需要計算數據集中所有物品的置信度排名。

表2顯示了UICRNN與6種主流方法的性能?？梢杂^察到，在基準方法中，RRN在Redditpost和Wikipedia edits數據集中表現較好。CTDNE生成靜態嵌入，所以其性能較低。在Wikipedia edits數據集上，UICRNN在指標MRR上至少提升42.91%。在Reddit數據集上，UICRNN在recall@10上至少提升14.05%。

表2 未來交互預測實驗

3.3 狀態改變預測

在本實驗中，任務是預測交互是否會導致用戶狀態變化，特別是在如下2個案例中：預測用戶是否會被禁止和預測學生是否會退出課程。用戶被禁止或退出之前，用戶的標簽為“0”，他們最后一次的交互標簽為“1”。對于未被禁止或未退出的用戶，標簽始終為“0”。這是一項極具挑戰性的任務，因為只有不到1%的標簽是“1”。

本實驗使用如下3個公開的數據集進行實驗。

1) Reddit bans。屬于Reddit post數據集，帶有來自Reddit被禁止用戶的真實標簽。在672 447次交互中包含了366個真實標簽，約占0.05%。

2)Wikipedia bans。屬于Wikipedia edits數據集，帶有被禁用戶的公開真實標簽[3]。在157 474次交互中有217個正例標簽，約占0.14%。

3) MOOC student drop-out。這個公共數據集由學生在MOOC在線課程[1]上完成的行為組成，例如觀看視頻、提交答案等。該數據集由7 047名用戶與98個物品(視頻、答案等)進行交互，產生超過411 749次交互，有4 066個輟學事件，約占0.98%。

在本實驗中，在前60%的交互數據上訓練模型，在余下數據中選擇20%的交互數據進行驗證，并在最后20%的交互數據上進行測試，使用AUC(areaunder the curve)評估模型。對于基準方法，在訓練數據上，使用動態用戶嵌入作為輸入訓練邏輯回歸分類器。

表3將UICRNN在3個數據集上的性能與基準模型進行比較?？梢园l現，在預測所有數據集的用戶狀態變化時，UICRNN的性能比其他基線平均高出至少15.79%。在用戶禁用預測任務中，UICRNN比RRN(最接近的對比基線)至少高出2.22%，而在學生輟學任務中，它比RRN高出35.48%。UICRNN在各種數據集上表現均為最佳。原因在于：其他基準沒有考慮動態嵌入，導致訓練數據少的時候無法充分抽取用戶和物品之間的關系。

表3 用戶狀態改變預測實驗

3.4 運行時間

本節將UICRNN的運行時間與基準算法進行比較。 從結果的相似性看，DeepCoevolve最接近UICRNN，因為前者也訓練了2個相互耦合的RNN，而其他方法只訓練一個RNN。圖3顯示了Reddit數據集一個epoch的運行時間(以分鐘為單位)，可以發現UICRNN比DeepCoevolve快9.25倍。同時，UICRNN的運行時間與其他僅使用一個 RNN的基線相當。由于使用了所提出的批處理訓練方法，UICRNN能夠與非相互耦合模型所用相似時間進行模型訓練。

圖3 運行時間柱狀圖

此外，還發現沒有使用所提批處理方案的 UICRNN需要43.53 min完成訓練，而使用所提批處理方案的UICRNN僅需要5.1 min完成訓練。 因此，所提批處理方案可以產生8.4倍的加速。

3.5 魯棒性測試

在本實驗中，通過改變訓練數據的百分比并比較算法在未來交互預測任務中的性能，證明UICRNN的魯棒性較強。

對于下一個物品的預測，將訓練數據百分比設置為10%～80%。在每種條件下，將訓練數據的后10%作為驗證集，然后再選擇數據集中剩下部分的10%作為測試集。這樣做是為了比較不同測試數據大小下算法的性能。圖4和圖5顯示了隨著訓練數據量的增加，2個數據集上所有算法MRR的變化。

圖5 在Reddit數據集上的魯棒性測試曲線

實驗結果表明，UICRNN始終明顯優于其他基準模型。說明了UICRNN在不同的數據集以及不同的訓練數據大小的情況下，魯棒性較強。主要原因在于：其他基準沒有考慮動態嵌入，且訓練方案較差，導致訓練數據少的時候無法充分抽取用戶和物品之間的關系。而UICRNN同時考慮靜態嵌入和動態嵌入，并且對批處理訓練進行了改進，在精確度和魯棒性上有了巨大提升。此外，可以發現UICRNN的性能是穩定的，并且在數據點之間變化不大。

4 結論

提出了UICRNN的耦合遞歸神經網絡模型，從一系列時間交互中學習用戶和物品交互關系的動態嵌入。UICRNN學習預測用戶和物品的未來嵌入，使它對未來用戶和物品交互以及用戶狀態變化提供更好的預測性能。此外，提出了訓練數據并行化批處理方法，使UICRNN比類似的基準具有更快的訓練速度。

未來的工作主要包括：由于單個用戶和物品學習嵌入昂貴，故可以學習用戶和物品組的交互關系軌跡以減少參數的數量；聚集相似的實體表示軌跡；根據用戶可能交互的物品設計新物品。