利用門控網絡構建用戶動態興趣的序列推薦模型

王 燕，范 林，趙妮妮

（蘭州理工大學計算機與通信學院，蘭州 730050）

0 概述

在互聯網飛速發展和移動設備大量普及的背景下，信息量爆發式增長，但信息冗余致使用戶無法從海量信息中準確、快速地篩選所需信息，從而導致用戶體驗不佳。推薦系統很好地解決了這一問題，并且在搜索引擎、電子商務、娛樂等許多網絡應用中發揮著非常重要的作用，因此，推薦系統具有重要的實用價值及研究意義。

目前多數推薦系統模型可分為基于協同過濾（Collaborative Filtering，CF）的模型和混合推薦模型。傳統基于協同過濾的推薦模型雖然取得了不錯的效果，但其基礎的線性結構極大地限制了模型的表達能力。神經網絡能夠通過改變激活函數、選擇和組合隱藏層單元來以任意精度近似任何連續函數特性，這使得深度神經網絡不但能處理復雜的用戶交互模式，而且還可以很好地擬合用戶的偏好。憑借神經網絡強大的數據泛化能力，結構復雜的混合推薦模型所表現出的性能遠優于傳統推薦模型，因此，基于深度學習的混合推薦模型是本文的主要研究對象。用戶歷史行為序列中包含豐富的用戶興趣信息，精確地捕捉用戶興趣是提升推薦系統推薦準確的關鍵。

近期，研究者提出了多種對用戶興趣建模的方法。文獻［1］提出一種基于貝葉斯圖卷積神經網絡的框架，用于對用戶-物品交互的不確定性建模，以更好地描述用戶和物品之間的關系，同時建模用戶的偏好，但圖模型的復雜度較高，提取用戶興趣偏好需要的計算量較大。文獻［2］提出使用長短期記憶網絡建模用戶興趣的方法LSTPM，將用戶的交互記錄看作是一個很長的序列進行用戶長短期興趣的建模，但該方法在用戶交互序列很長時，隨著模型的復雜度增加，提取的用戶興趣變得不再準確，且模型將提取到的用戶興趣看作同等重要，這顯然不符合現實邏輯。受自然語言處理（Natural Language Processing，NLP）領域Transformer 模型中注意力機制方法［3］的啟發，研究者將注意力機制應用到推薦系統中，解決了許多模型將用戶興趣項看作同等重要的問題。文獻［4］提出一種新的自適應分層注意力增強門控網絡，為了獲取可區分的細粒度特征，其引入注意力機制層來學習重要的語義信息特征以及這些特征之間的動態聯系。文獻［5］提出一種基于自注意力的協同神經網絡模型，將用戶相似度和物品相似度結合起來，利用注意力機制從用戶購買歷史中多方面計算物品的權重，進而捕捉用戶興趣信息。

盡管目前在捕捉用戶興趣信息方面已經有大量研究，但大多將用戶歷史行為視為按操作時間戳排序的操作序列，并未從特征層面捕捉用戶興趣，而從特征層面捕捉細粒度的用戶興趣可有效地提升推薦性能。同時，捕捉項目之間的成對關系對用戶興趣的建模同樣重要，這種項目間成對的共現模式在推薦系統中很常見。此外，用戶興趣是動態變化的，如何建模用戶的動態興趣變化，也是需要解決的一個重要問題。

針對上述問題，本文提出一種利用門控網絡構建用戶動態興趣的序列推薦模型DCGN。在用戶的歷史行為數據中捕捉用戶興趣，使用雙層門控線性單元（Gated Linear Unit，GLU）從特征層面捕捉細粒度的興趣信息，保留用戶交互中重要的特征以及交互項目。使用GRU 聚合學習到的用戶興趣信息，并通過注意力權重動態更新GRU 的隱藏狀態，捕獲用戶動態變化的興趣偏好。在此基礎上，利用雙線性特征交叉方法對項目對之間的關系進行建模，通過多層全連接網絡學習得到最終的輸出結果。

1 相關工作

1.1 序列推薦模型

傳統的協同過濾模型以靜態的方式擬合用戶與項目之間的交互模式，且其捕捉的用戶興趣對于用戶而言是一種廣義的模式，缺乏個性。不同于傳統的協同過濾推薦模型，序列推薦模型的構建基于連續的用戶-項目交互序列。用戶-項目交互序列是一個動態變化的序列，且交互序列前后具有很強的關聯性。序列推薦模型通過擬合用戶與物品之間的交互模式捕捉用戶的偏好，并利用用戶交互序列中豐富的上下文信息描述用戶的意圖和消費趨勢。

傳統基于馬爾科夫鏈的序列推薦模型［6］假設用戶當前的交互項僅依賴于最近的幾個交互項，但忽略了用戶較早的交互項對當前交互項的影響。基于因子分解機的序列推薦模型［7］將用戶與項目的交互分解為用戶和項目的隱因子向量，通過參數分解對特征之間的高階交互進行建模，但模型易受數據稀疏性的影響，使得推薦結果不夠理想。深度學習技術的興起，能夠很好地解決傳統序列推薦模型的不足，獲得較大的性能提升。

1.2 基于深度學習的序列推薦模型

利用深度學習技術構建序列推薦模型通常先將用戶交互的項目序列轉換為低維稠密的嵌入向量進行表達，再使用加和、平均和取最大值的方法融合用戶的歷史交互信息，得到用戶的興趣表達，但模型將用戶交互序列中的交互項視為同等重要，結果中只包含了用戶部分重要的興趣，且無法建模用戶興趣的變化。

一些研究者嘗試利用更復雜的模型結構來構建用戶興趣并提高推薦性能。基于GRU 的序列推薦［8］通過建模給定交互序列中的依賴來預測下一個可能的交互項，但其只使用了交互項信息，并未考慮到其他信息對結果的影響。文獻［9］提出根據用戶偏好自適應地選擇項目中有吸引力的潛在特征，然后利用提取到的特征對用戶興趣進行建模。文獻［10］基于RNN 建模用戶的交互序列，考慮用戶行為的特征信息，然后使用注意力機制計算每個交互項的權重，得到用戶的興趣向量表示。文獻［11］基于RNN 建模用戶交互序列中的微觀行為，利用RNN 對用戶行為的特征信息建模，在用戶微觀行為、商品等多個層面得到興趣向量。基于RNN 構建的序列推薦模型存在無法有效建模行為序列中多個行為間關聯的問題，對此，研究者將NLP 領域的Transformer 模型應用到推薦系統中。文獻［12］將用戶的行為序列劃分為多個會話，發現每個會話區間內用戶的興趣往往是固定的，然后基于Transformer 模型建模每個會話內用戶的行為序列，再使用RNN 聚合多個會話內的興趣信息。為更好地捕捉用戶興趣，文獻［13］嘗試利用膠囊網絡建模用戶的行為序列，獲得多個用戶的興趣向量，然后使用一個可控的多興趣聚合模塊平衡用戶興趣的多樣性與準確性，這一模型的提出，也為序列推薦模型的研究提供了全新的思路。

針對現有序列推薦模型沒有從特征層面充分考慮用戶交互項之間的聯系，以及用戶興趣動態變化和相似交互項連續出現的問題，本文提出利用門控網絡構建用戶動態興趣的序列推薦模型DCGN。該模型基于門控網絡提取用戶興趣，且通過注意力權重動態調整信息聚合函數，以獲得用戶的動態興趣，同時，考慮項目間成對的聯系信息，進一步提升推薦的準確率。

2 DCGN 模型

本文提出的DCGN 模型從用戶交互序列中學習用戶動態變化的興趣表示，目標是從特征的層面提取用戶的興趣，同時通過挖掘項目對之間的聯系提升模型效果。DCGN 模型結構如圖1 所示，具體步驟如下：

圖1 門控網絡中用戶動態興趣構建流程Fig.1 Procedure of user’s dynamic interest construction in gated network

1）將高維稀疏的用戶交互序列、項目特征及用戶特征作為模型的輸入。

2）通過嵌入層將所有的特征映射到一個低維的空間中，得到低維稠密的嵌入向量。

3）將用戶交互序列嵌入向量輸入到一個雙層的門控網絡中，利用GLU［14］從用戶交互的特征層面對用戶興趣進行建模，過濾輸入序列中的項目特征并保留對用戶重要的交互項目，即用戶興趣。

4）使用雙線性特征交叉方法學習目標項目對之間的聯系，捕捉2 個項目之間的共現模式。

5）對門控網絡提取到的用戶興趣進行聚合，此部分采用GRU 循環門控網絡，結合目標項向量與提取到的興趣向量，使用注意力機制獲得相應興趣項的注意力權重，并利用該權重對GRU 的隱狀態進行更新，得到最終的用戶動態興趣表示。

6）通過堆疊多個全連接層得到最終的預測結果。

2.1 嵌入層

為了對序列推薦任務進行建模，對于每個用戶i的交互序列，按時間順序表示為Si={si(1),si(2),…,si(t),…,si(l)}，其 中：Si?Rd×f×l；l?R 為 用戶交互序列的長度；f?R 為交互項的特征數；si(t) ?Rd×f表示用戶交互序列中第t次購買/評價的項目。將該序列作為輸入，解釋為在用戶-項目交互序列Si中，給定l個連續項目，預測其他N個項目接下來將被交互的可能性。將交互序列輸入到嵌入層轉換為低維稠密的向量表示，用戶第t個交互項的嵌入向量如式（1）所示：

2.2 門控網絡

DAUPHIN 等提出的門控線性單元（GLU）［14］在語言建模任務中控制信息傳遞，用于下一個單詞的預測。GLU 計算公式為：

其中：Χ為單詞的嵌入向量；W、V為卷積操作中的卷積核；b、c為偏置參數；σ是sigmoid 函數；?為矩陣之間的元素乘積；*為卷積操作。公式中的后半部分，即有激活函數的卷積σ(X*W+c)，就是門控機制，其控制(X*W+b)中可以傳入下一層的信息。

將上述方法用于用戶行為序列的興趣提取，GLU 網絡結構如圖2 所示。

圖2 GLU 網絡結構Fig.2 Network structure of GLU

由于卷積運算中卷積核的特性，導致只提取到一部分特征，數據中豐富的特征信息丟失，因此將卷積運算替換為向量的內積，在運算中保留特征信息。使用兩層線性門控網絡提取交互序列中的重要特征和與未來交互有關聯的項目，即提取用戶興趣。先使用一層門控網絡提取適合用戶偏好的項目特征：

其中：W1,W2?Rd×d；b?Rd為可學習的參數；?為向量的元素乘 積；σ是sigmoid 函 數；ui為用戶i的向量表示。然后，采用不同于使用注意力機制模型的做法，使用上一層門控網絡提取到的重要交互特征作為輸入，選取交互序列中與預測未來的交互項更相關的項目，如式（4）所示：

其中：W3?Rd；W4?Rd×f為可學 習參數；f為特征數量?Rd×f為門控網絡最終提取出的用戶興趣，用戶交互的主要特征和項目已被選擇，無關的特征和項目被過濾。

2.3 注意力機制

從數學的角度來看，注意力機制只是對平均操作或加和操作進行改進，換成了加權平均或加權，這種加權方式對于模型的效果有明顯提升作用。從注意力權重計算的一種形式上來看，其與全連接網絡的結構頗為相似，但不同的是，注意力權重參數是位置無關的，權重是根據輸入的前后信息進行計算的，一旦輸入的前后信息發生變化，其權重也會相應地發生變化。這種根據輸入的前后信息來計算權重的方式，能夠更好地刻畫輸入序列中的重點信息，幫助模型對輸入信息進行區分。計算注意力分數的公式如下：

2.4 GRU 動態興趣聚合

上節通過兩層門控線性網絡得到用戶興趣的表示，本節使用GRU 對提取到的用戶興趣進行聚合，結合注意力機制對用戶的動態興趣進行建模。注意力得分在GRU 的每一步中都可以增強相關興趣所起的作用，減弱無關興趣對總體結果的影響，更好地建模用戶對目標項的興趣變化，如下式所示：

2.5 項目特征交叉與模型預測

項目之間成對關系的學習［15］對于推薦系統十分重要，在序列推薦問題中，密切相關的項目有很大概率會在將來的項目交互序列中連續出現。

傳統元素積的形式難以有效地對稀疏數據進行特征交叉建模，且模型的表達能力不強。為捕捉這種項目之間的共現模式，本文使用雙線性交叉函數進行學習，其結構如圖3 所示。

圖3 雙線性特征交叉函數結構Fig.3 Structure of bilinear feature crossing function

雙線性特征交叉函數如下所示：

其中：Wj,q?Rd×d為參數矩陣；?為內積運算；⊙為哈達瑪積；j,q?(1,2,…,m)；m為目標項目數量。對項目j與項目q特征交叉結果pj,q?Rd通過平均池化聚合為當前項目的向量表示pj=avg(pj,q)，pj?Rd。將xi=向量輸入到MLP 中，得到最終的預測結果：

其中：a(0)為網絡的輸入xi；l為網絡的深度；δ為ReLU激活函數；W(l)、b(l)為可學習參數；a(l)為第l層的輸出。將最后一層L的輸出輸入到sigmoid 函數中，得到最終的預測結果：

其中：σ為sigmoid 函數；a(L)為最后一層網絡的輸出；W(L+1)、b(L+1)為可學習的參數。通過最小化以下目標函數進行模型學習：

其中：yi為訓練樣本i的真實值為預測 值；N為 訓練樣本的數量。

3 實驗

3.1 實驗數據集

采用電影評分數據集ML100K［16］、亞馬遜電子商務數據集Amazon ecommerce dataset［17］和電子 商務網站行為數據集Retailrocket［18］這3 個數據集進行建模。Retailrocket 數據集由一家個性化電子商務公司發布，包含6 個月的用戶瀏覽記錄；ML100k 數據集包含用戶編號、電影編號、電影評分、時間戳及電影的相關信息，且該數據集已經過清洗；亞馬遜電子商務數據集包含多種類型（如CD 銷售數據、圖書銷售數據等）的數據，此處采用電子產品類的數據集Amazon 5-Elect，其中包含多個字段。本文實驗僅使用商品編號、用戶編號、產品評分和Unix 格式時間戳字段。每個用戶編號、商品編號都是唯一的，對每個用戶交互的商品編號，根據數據字段中的時間戳進行排序，得到用戶對應的交互序列。為了消除噪聲數據對模型結果的影響，過濾掉出現次數少于5 次的項目，然后刪除數據集上少于2 項的所有交互項，將評分大于4 的設置為1，小于4 的設置為0。數據集中的數據屬性及數據特征如表1 所示，所使用3 個公開數據集的數據統計結果如表2 所示。

表1 Amazon 5-Elect 數據集數據屬性Table 1 Data properties of Amazon 5-Elect dataset

表2 實驗數據集統計Table 2 Statistics of the datasets in experiments

3.2 評價指標

本文使用精確率Precision@K、歸一化折損累積增益NDCG@K和命中率HR@K，其中，K為推薦列表的長度，實驗分別設置K=5，10 來評估模型性能。

精確率表示模型預測為正的樣本中有多少是真正的正樣本，計算公式為：

HR@K指標衡量的是推薦結果的召回率，反映推薦模型的準確性，計算公式為：

NDCG@K用于評價排序的準確性，即評價推薦系統所給出的推薦列表的好壞。該指標關注的是預測到的項目是否放在推薦列表中更靠前的位置，即強調推薦系統的“順序性”，計算公式為：

在式（19）中，r(i)為推薦列表中項目i的相關性分數，如式（20）所示：

其中：p為推薦列表；G為實驗測試集；pi表示推薦列表中的第i個項目。

3.3 對比模型及實驗設置

為了評估本文模型性能，選取以下序列推薦模型，在數據集ML100k、Amazon 5-Elect 和Retailrocket上分別進行對比驗證：

1）NARM［19］：該模型通過RNN 最后一步的輸出來捕捉用戶的序列行為，根據RNN 中每一步的輸出，通過注意力機制來捕捉用戶的主要興趣偏好。

2）GRU4Rec［20］：該模型首次利用RNN 從用戶的會話序列中獲取用戶交互序列中的順序依賴關系，相較于混合結構的序列模型，單一RNN 的結構比較簡單。

3）STAMP［21］：該模型是基于注意力機制捕捉用戶興趣偏好的序列推薦模型，解決了傳統的RNN 結構不能很好擬合用戶興趣的問題。

4）NLR［22］：該模型將序列推薦看作一項認知任務，根據離散數學的理論設計了具有邏輯推理能力的網絡用于推薦任務。

5）SASRec［23］：采用自注意力機制對用戶的歷史行為信息進行建模，提取更有價值的信息，同時通過注意機制可以基于相對較少的用戶交互進行預測。

6）Caser［24］：采用卷積神經網絡捕獲用戶行為序列，再利用全連接層將拼接的序列特征與用戶偏好映射到用戶在當前時間與每個物品交互的可能性。

7）AFM［25］：通過注意力機制自動學習每個二階交叉特征的重要性，過濾無用的交叉特征，提升模型的穩定性。

在此次實驗中，學習率調整范圍為［0.000 1，0.001，0.005，0.01，0.1］，嵌入向量以及隱層維度調整范圍為［8，16，32，64，128］，在ML100k 數據集上進行參數調整。模型訓練數據的批大小設置為100，模型參數采用服從N（0，0.1）高斯分布的隨機數進行初始化。

3.4 實驗結果比較

在ML100K、Amazon 5-Elect 和Retailrocket 數據集上，所有對比模型的NDCG 和Precision@K評估指標分別如圖4～圖6 所示。在Amazon 5-Elect 和Retailrocket 數據集上，所有對比模型的HR@K評估指標如圖7 所示。

圖4 ML100K 數據集上不同模型的NDCG@K 和Precision@K 對比Fig.4 Comparison of NDCG@K and Precision@K by different models on ML100K dataset

圖5 Amazon 5-Elect 數據集上不同模型的NDCG@K 和Precision@K 對比Fig.5 Comparison of NDCG@K and Precision@K by different models on Amazon 5-Elect dataset

圖6 Retailrocket 數據集上不同模型的NDCG@K 和Precision@K 對比Fig.6 Comparison of NDCG@K and Precision@K by different models on Retailrocket dataset

圖7 數據集Amazon 5-Elect 和Retailrocket 上不同模型的HR@K 對比Fig.7 Comparison of HR@K by different models on Amazon 5-Elect and Retailrocket datasets

通過實驗對比可以得出以下結論：

1）在3 個數據上，NARM 模型的效果始終優于GRU4rec 模型，而兩者都是基于RNN 的推薦模型，可見注意力機制的運用有效地提升了模型性能。

2）實驗結果中AFM 模型的性能總體較差，表明融入注意力機制的簡單模型性能有限，模型性能還與模型的復雜程度有關。

3）實驗中STAMP 模型的效果次于NARM 模型，兩者都融入了注意力機制，表明基于RNN 的模型相比基于MLP 的模型的效果更佳，在推薦系統中僅僅考慮用戶交互序列的特征交叉是不夠的，還需要考慮用戶交互行為前后的關系以捕獲用戶的順序行為。

4）SASRec 模型的效果始終優于Caser、GRU4Rec、STAMP、NARM 模型，說明疊加多個自注意力機制層能夠學習更復雜的特征轉換，可有效提高模型性能，相較于傳統基于CNN、RNN 的模型具有明顯優勢。

5）DCGN 比SASRec 和NLR 模型具 有更好的效果，可見利用門控網絡和注意力機制從用戶交互序列中學習用戶動態興趣有效地提升了推薦效果，采用傳統結構的DCGN 模型相較于采用復雜結構的NLR 模型表現更好，表明模型復雜的結構不是提升推薦性能的關鍵。

3.5 模型消融實驗

在ML100K、Amazon 5-Elect 和Retailrocket 這3 個數據集上進行消融實驗，驗證有無注意力機制對模型的影響，以及用戶興趣聚合部分使用GRU 和雙向GRU 給模型帶來的差異。實驗結果如圖8 所示，其中：No-Attention 代表無注意力機制；Bi-GRU 表示雙向GRU。

圖8 在3 個數據集上模型消融結果對比Fig.8 Comparison of model ablation results on three datasets

根據上述實驗結果可以看出：

1）在無注意力機制時模型的效果下降明顯，這表明使用注意力機制可有效地捕獲用戶興趣的動態變化，在不使用注意力機制進行GRU 更新門的更新時，GRU 只能學習到用戶靜態的興趣表示，進而模型的效果有所下降。

2）在使用雙向GRU 后，并未給模型效果帶來明顯的提升，這是因為雙向GRU 較單向GRU 更復雜，參數量的增多導致模型擬合不夠充分。

3）通過對比在3 個數據集上的NDCG@K性能指標可以看出，模型在使用注意力機制后效果更好。同時，為降低模型的訓練難度，本文并未采用雙向GRU。

3.6 參數對模型的影響

學習率和隱藏層的維度對實驗結果產生一定的影響，尤其是隱藏層維度（即嵌入向量的維度）限制了模型的表達能力，理論上嵌入向量的維度越大，所蘊含的信息越多，模型的效果越好。但實驗結果表明，較高的維度會導致模型效果有所下降。在ML100K 數據集上的實驗結果如圖9 所示。

圖9 學習率及隱藏層維度對模型性能的影響Fig.9 The influence of learning rate and hidden layer dimension on model performance

由實驗結果可知：當隱藏層的維度較大時，模型的效果出現下降，在本文所選隱藏層的維度中，維度為64 時效果最好；當隱藏層的維度下降時，在ML100K 數據集上，模型效果下降最為明顯；當模型隱藏層的維度較大時，訓練所需要的參數增多，模型訓練所需的計算資源增多，訓練周期變長，模型的過擬合風險增大。

4 結束語

在序列推薦問題中，現有多數方法只使用了用戶交互序列中的物品信息，而忽略了相似物品會在交互序列中相繼出現這一重要特征，并且用戶興趣是動態變化的。針對以上問題，本文提出一種利用門控線性網絡構建用戶動態興趣的推薦模型DCGN。基于門控線性網絡細粒度建模用戶的興趣表示，使用注意力機制動態構建用戶的興趣表示。通過雙線性特征交叉方法對項目之間的共現模式進行建模，從而使模型的泛化能力得到顯著提升。后續將針對用戶的長期興趣和短期興趣分別進行建模，以明確用戶的長短期興趣對于推薦效果的影響。此外，用戶的長短期興趣對于推薦用戶未來交互項目的影響是不同的，因此，還將對兩者的差異進行研究。