基于特征交叉注意力網絡的序列推薦算法

盧 敏，王千里

(1.中國民航大學 計算機科學與技術學院，天津 300300；2.中國民航大學 民航智慧機場理論與系統重點實驗室，天津 300300)

0 引 言

傳統推薦方法如基于協同過濾的推薦[1]、基于內容的推薦[2]，更偏向于以靜態建模的方式得到用戶長期的一般偏好，但其推薦性能會受到例如項目(item)特征向量的建模效果、數據是否存在“冷啟動”等問題的影響。序列推薦系統[3-5]則是通過挖掘用戶行為記錄中的序列關系，將用戶-項目的交互當作一種動態的序列(其中序列每一個節點為項目)，充分考慮了用戶歷史行為中的興趣偏移[6]，推薦用戶未來可能交互的項目。然而，這些算法僅針對項目交互序列進行分析計算，或者將項目屬性作為輔助信息，沒有充分利用項目屬性特征挖掘用戶偏好，導致推薦性能受限。其原因是一方面他們沒有考慮用戶在不同項目屬性上的興趣偏移以及單獨建模項目屬性特征對更新項目表示的重要性，另一方面他們沒有探究屬性特征交互對捕獲用戶興趣的影響。

實際上，用戶的興趣偏好更多體現在項目的各種屬性上，根據項目屬性信息可以更好地表示用戶的意圖和目標，建模用戶的動態特征，而傳統的序列推薦模型只能學習項目交互序列的序列模式，無法獲得用戶在項目屬性上的興趣偏移，限制了推薦性能。為了解決上述問題，提出了一種基于特征交叉注意力網絡的序列推薦算法(feature cross aware attention network for sequential recommendation，FCAN)。該算法通過構建兩種注意力捕獲用戶興趣與項目屬性之間的關系。一種是項目屬性級別注意力，針對同一項目下的屬性，利用項目作為中間橋梁，建模屬性間的自適應相關性，得到融入項目的屬性表示。另一種是序列級別注意力，在項目序列或屬性序列上，挖掘用戶對項目及項目屬性的動態興趣，更好地提取序列模式。

1 相關工作

序列推薦旨在通過挖掘用戶行為記錄中的順序關系來推薦用戶未來可能交互的物品?；谘h神經網絡(recurrent neural network，RNN)的序列推薦模型通過建模交互序列中項目之間的相互依賴關系，學習表示用戶興趣偏好的序列模式。Quadrana等[7]提出層次化的RNN模型，該模型通過將較低級別RNN的隱藏狀態作為輸入傳遞給較高級別RNN，刻畫會話中用戶個人的興趣變化。Ren等[8]創新性地將復購機制(repeat consumption)納入具有編碼器-解碼器結構神經網絡中，其中的復購解碼器預測復購的可能性，探索解碼器預測用戶購買新項目的可能性。但基于循環神經網絡的序列推薦缺點是很容易產生假依賴，因為由于過于強烈的假設認為任何相鄰的交互必須依賴一個序列，并且可能只捕獲點依賴關系而忽略集合依賴(例如，幾個項目交互協作影響下一個項目推薦)。Tang等[9]提出基于卷積神經網絡(convolutional neural network，CNN)的嵌入序列方法，將相鄰項目視作“圖像”矩陣，通過不同類型的卷積濾波器提取序列模式。Yu等[10]設計了一種融合殘差網絡和空洞卷積的多階注意力排序模型，將用戶多種級別的行為序列結合后進行推薦預測。Ying等[11]利用雙層注意力機制提取交互行為的屬性信息(時間、空間等)，學習用戶的靜態特征和動態特征。然而基于CNN的序列推薦模型無法學習到用戶的長期偏好[12]，這限制了其進一步應用。Kang等[13]為了解決RNN模型在稀疏數據集推薦性能不好的問題，提出了一個基于自注意力網絡(self-attention network，SAN)序列推薦模型，該模型可以在每個時間步長中對之前的項目自適應地配權重(沒有使用任何循環或卷積操作)，通過SAN學習交互序列中不同項目對用戶的重要程度，從整個序列行為中捕獲序列信息的長期依賴并根據之前的部分項目行為來生成預測。Li等[14]認為交互項目的時間間隔不同對生成推薦預測的影響也不同，應根據行為序列中的時間步長，將用戶歷史行為建模為不同間隔的交互序列。然而上述這些方法忽略了項目屬性對挖掘用戶興趣的重要性。

基于項目特征級別的序列推薦系統通過將各種項目特征聯合到神經網絡中以獲得項目表示。Zhang等[15]把學習到不同權重的項目進行區分，將項目的各種屬性特征整合到一個特征空間，運用自注意力機制捕獲項目級別以及特征級別的轉換模式。但是他們沒有通過項目的不同屬性特征獲取項目表示，而是將各種屬性特征拼接到一起，并且沒有關注不同屬性特征進行交互帶來的影響。此外在序列推薦中，現有研究方法大多沒有考慮項目屬性對預測下一項目影響。

值得注意的是，在推薦系統中考慮項目的屬性特征對精確建模用戶偏好有很大幫助。Guo等[16]同時在用戶方面和項目方面使用自注意力機制，并利用從知識圖譜中提取的項目屬性特征，共同優化用戶表示和項目表示，充分捕獲用戶和項目之間的相關性。Liu等[17]構建了一個包含用戶、項目、屬性3種類型節點的圖，并利用圖卷積網絡來表征<用戶、項目、屬性>之間的復雜交互。為了學習節點表示，他們采用消息傳遞策略聚合從其它類型節點傳遞的信息，并利用屬性信息來學習用戶和項目表示，但仍然存在屬性丟失等問題。事實上，將項目屬性結合到序列推薦中可以更好地從用戶的歷史行為中捕捉用戶的興趣偏好。

2 模型框架

本文提出了一種基于特征交叉注意力網絡的序列推薦模型，該模型旨在根據用戶所有歷史交互的項目序列來推薦用戶未來可能感興趣的項目。本文模型方法的框架結構如圖1所示。模型主要由以下幾部分組成，即嵌入層模塊、特征交叉層模塊和預測層模塊。嵌入層模塊把用戶-項目交互歷史項目數據以及項目屬性數據編碼成項目序列向量和項目屬性序列向量，將離散項目及其屬性映射到稠密向量。特征交叉層模塊在項目屬性視角下增強項目與其屬性之間的關系，同時在序列視角下捕捉項目級別序列與屬性級別序列的相關性，由此挖掘用戶興趣。預測層模塊計算用戶興趣與所有項目之間的相關性分數，從而推薦相關性分數最高的項目，預測交互序列中下一個用戶可能交互的項目。

圖1 特征交叉注意力網絡結構

2.1 嵌入層

用戶的歷史行為由一系列項目表示，即按時間戳排序(visiting time)的用戶交互項目列表S={i1，i2，…，ik，…，in}，ik∈I表示在第k步交互的項目，n為序列長度，I是全部項目的集合。同時每個項目都有對應的屬性信息，如品牌、種類和用戶評分等，每個項目序列有對應的屬性序列，如f1={i1f1，i2f1，…，ikf1，…，inf1}。

(1)

2.2 特征交叉層

如圖1所示，特征交叉層網絡由N個相同的子層網絡堆疊(stack)而成，每個子層網絡由兩個模塊組成。在第一個模塊中主要構建項目屬性級別注意力網絡，該模塊旨在針對同一項目下的屬性特征，利用項目作為中間橋梁，建模項目及項目屬性間的自適應相關性，通過將項目及項目的各個屬性之間進行特征交叉運算，挖掘用戶對項目屬性的動態興趣，最終得到融入項目信息的屬性表示。該模塊的整體計算公式如下

(2)

(3)

(4)

(5)

如圖每個子層中的第二個模塊是序列級別注意力網絡，其目的是從項目序列或屬性序列中學習用戶對項目及其屬性的興趣

(6)

(7)

2.3 預測層

如圖1所示，預測層為了可以計算立方體矩陣與項目間的相關性分數，需要先對立方體矩陣進行操作，其原因是立方矩陣的三維形式不能與項目特征及其屬性特征表示的二維形式相乘。利用和池化(sum pooling)沿序列方向對立方矩陣求和，將三維立方體矩陣降維為二維矩陣，并獲取序列動態性

O=sum_pooling(MN)

(8)

(9)

預測層通過式(9)計算用戶對所有項目興趣的相關性分數，然后推薦分數最高的項目。為了有效地學習模型參數，在整個訓練序列 {S1，…，ST} 采用了二元交叉熵損失函數作為目標函數

(10)

式中：Ot是序列St的目標項目，yOt是通過等式(9)計算得到的目標項目的相關性分數，σ是Sigmod激活函數。yj(j?St)是每個序列在t時刻從該用戶未交互的項目中隨機選取負樣本j的相關性分數。模型通過Adam優化器優化，該優化器是具有自適應功能的隨機梯度下降(SGD)的變體。

3 實驗設置及結果分析

本文在Amazon的兩個公開數據集上進行了實驗論證。實驗從兩個方面進行驗證，一方面是驗證本文所提出的算法是否可以獲得比對比算法更高的性能，另一方面是分析超參數的影響。

3.1 實驗設置

3.1.1 數據集

本文使用Amazon[13，14]的兩個子數據集Toys and Games和Beauty作為實驗數據集。每個數據集都包含了用戶歷史行為數據，以及項目的屬性信息。Toys and Games數據集囊括了34 039個用戶對14 209個項目的購買記錄。同時該數據集中的項目包含434個類別屬性，1391個品牌屬性，商品評分采用5分制(1分～5分)。另外Beauty也是推薦系統中經常用到的數據集，它提供了51 592多個用戶對17 655個項目的購買記錄，以及259個類別屬性，2598個品牌屬性以及5個商品評分屬性。表1列出了數據集的詳細統計信息。本文按參考文獻[10，13，14]中對數據的處理方法重新處理這兩個數據集，項目按時間戳排序以進行預處理，少于5個行為的冷啟動用戶和項目被過濾掉。本文根據文獻[13]中的數據集處理方法，將用戶最近的交互項目用于測試，其次的項目用于驗證，其余項目用于訓練，并為每個用戶隨機抽取100個負樣本，并根據相關性分數對這些項目進行排序。

表1 數據集描述

3.1.2 評價指標

本文使用推薦系統常用的3個Top-N指標來測試模型性能。命中率(HR@10)是預測準確度的度量，判斷項目是否出現在模型返回的前10名推薦列表中。歸一化折損累積增益(NDCG@10)用于評價推薦列表中項目排序的準確性，預測項目在推薦列表中的位置越靠前，指標越高。平均倒數排名(MRR@10)考慮項目在前10名列表中出現位置順序的準確性，如一個物品在推薦物品中排在10名以外，則其準確度為0。

3.1.3 比較方法

為了驗證模型的性能，將本文提出的算法分別與Caser[9]、SASRec[13]、MARank[10]、TiSASRec[14]基準算法進行對比。

Caser[9]：該模型將用戶與項目交互矩陣視作“圖像”，利用卷積神經網絡對短期序列的信息進行提取，通過卷積運算捕獲高階馬爾科夫鏈。

SASRec[13]：該模型利用自注意力機制自適應地學習交互序列中的項目權重，捕獲序列信息的長期依賴并提取用戶的短期興趣偏好。

MARank[10]：該模型根據個體級別與聯合級別的項目交互學習用戶興趣偏好，并通過將用戶和項目編碼到深度神經網絡的中間隱藏狀態，作為多階特征來表示用戶的短期偏好。

TiSASRec[14]：該模型根據項目之間的相對時間間隔，為每個用戶建模一個項目關系矩陣，將其加入到項目級別序列中計算相關性分數，預測用戶后續可能的交互項目。

3.1.4 超參數設置

本文通過Adam優化器來優化網絡模型，學習率設置為0.001，一次訓練的用戶個數(batch size)設置為128，丟失率(dropout rate)設置為0.5，特征交叉層模塊堆疊數N設置為2。項目交互序列長度n設置為100，嵌入維度d設置為50。

3.2 實驗結果與分析

3.2.1 性能比較

表2列出了本文模型FCAN和基準模型的實驗結果。Caser[9]應用卷積操作來捕獲項目間的序列模式，但由于CNN中使用的卷積濾波器大小的限制，它無法有效地捕獲長期依賴關系，這使得其性能低于其它使用注意力的推薦模型。MARank[10]的性能優于Caser，主要原因是該模型可以自適應地計算項目序列中用戶的興趣偏好。然而，這兩種模型僅對用戶短期興趣建模，忽略了序列信息中的長期依賴，導致其性能低于SASRec[13]。SASRec雖然使用注意力機制來區分用戶交互過的項目，但是忽略了項目屬性特征對捕捉序列模式的影響，如用戶購買衣服后可能會買鞋，這說明下一個項目的類別與該類別高度相關。TiSASRec[14]使用相對時間信息來自適應地計算不同項目的和其絕對位置的權重，但在數據集高度稀疏并且項目序列中存在許多相同時間戳的情況下，其性能受到了很大限制。在本文提出的模型中，同時考慮了項目屬性及項目屬性交互對用戶動態興趣的影響，獲得了更好的推薦性能。

表2 在兩個數據集上的性能展示

在Beauty數據集上，本文模型在指標HR@10，NDCG@10和MRR@10上的平均性能提升分別為11.52%、7.11%和5.93%。在Toys and Games數據集上，本文模型在指標HR@10，NDCG@10和MRR@10上的平均性能提升分別為8.35%、7.02%和4.58%。實驗結果顯示出本文所提出的算法通過考慮項目屬性獲得項目表示以及通過項目屬性交互挖掘用戶興趣可以提高序列推薦性能。

3.2.2 特征交叉有效性驗證

本節旨在驗證特征交叉注意力模塊的有效性，為了分析項目屬性信息的對用戶興趣的影響，去除式(5)中的特征交叉注意力模塊來構建對比模型。去除特征交叉注意力部分的對比模型將提取到的項目序列及屬性序列嵌入拼接后作為用戶興趣偏好表示，相較于FCAN缺少了不同屬性信息進行交互運算的部分。表3列出了兩種模型在兩個數據集上的性能比較。實驗結果顯示，對比模型通過加入項目屬性信息表征用戶興趣可以根據用戶偏好自適應地選擇項目屬性中有吸引力的潛在特征來更新項目表示向量，通過項目屬性特征來豐富項目表示，推薦性能相較于表2中未考慮項目屬性特征的基線模型都獲得了最佳結果。然而如果根據本文所述加入特征交叉注意力模塊，則模型可以進一步承載不同屬性特征之間的交互，通過項目作為中間橋梁，將項目屬性間的高階特征交叉融入到項目表示中，進一步優化用戶興趣表示向量，保留交互序列中重要的屬性特征，相較于未加入屬性特征交叉模塊的對比模型，推薦性能得到進一步提高。這表明用戶的興趣會根據項目各個屬性的不同而動態變化，引入屬性特征交叉模塊可以更好地捕獲用戶針對不同屬性感興趣的程度大小。

表3 特征交叉注意力影響分析

3.2.3 超參數影響

本文在Beauty和Toys and Games兩個數據集做了不同嵌入維度大小對各模型性能影響的對比實驗，本文所提FCAN模型在各個嵌入維度均能保持最好的推薦性能，具體結果如圖2～圖7所示。實驗結果顯示嵌入維度對模型性能有一定的影響，從圖2～圖7可以發現當嵌入維度d小于60時，嵌入維度越大，模型的建模能力越強，所蘊含的信息越多。從圖中可以看出當嵌入維度大于60后，模型已經得到充分訓練，嵌入維度變化比較穩定，但模型性能略有下降，模型的過擬合風險增大。

圖2 Toys and Games數據集下嵌入維度大小對推薦性能的影響(NDCG@10)

圖3 Toys and Games數據集下嵌入維度大小對推薦性能的影響(HR@10)

圖4 Toys and Games數據集下嵌入維度大小對推薦性能的影響(MRR@10)

圖5 Beauty數據集下嵌入維度大小對推薦性能的影響(NDCG@10)

圖6 Beauty數據集下嵌入維度大小對推薦性能的影響(HR@10)

圖7 Beauty數據集下嵌入維度大小對推薦性能的影響(MRR@10)

4 結束語

本文提出了一種利用項目屬性來挖掘用戶興趣的特征交叉注意力網絡。該網絡主要構建項目屬性級別注意力網絡，從各種項目屬性中學習特征間有意義的相關性，并通過屬性特征間的高階特征交叉計算，捕獲用戶興趣與項目屬性之間的關系。另外構建序列級別注意力網絡，建模用戶在不同項目及不同項目屬性上的興趣偏移，挖掘用戶對項目及項目屬性的動態興趣。本文在兩個Amazon公開數據集上進行實驗，驗證了本文提出的模型方法比基準模型更進一步促進了推薦性能的提升，取得了最好的推薦性能。