基于高斯分布建模的序列推薦算法

作者簡介：歐道源（1996－），男，湖南衡陽人，碩士研究生，主要研究方向?yàn)橥扑]系統(tǒng)；梁京章（1964－），男，廣西岑溪人，教授，碩士，主要研究方向?yàn)樯疃葘W(xué)習(xí)；吳麗娟（1982－），女（通信作者），廣西南寧人，工程師，主要研究方向?yàn)樾畔⒓夹g(shù)（20060092@gxu.edu.cn）.

摘 要：目前大多數(shù)序列推薦系統(tǒng)（SRS）都假設(shè)需要預(yù)測的下一項(xiàng)與用戶的上一項(xiàng)輸入有關(guān)，然而真實(shí)場景中，用戶可能會(huì)在瀏覽過程中誤點(diǎn)擊與自身興趣偏好不一致的項(xiàng)目（不可靠實(shí)例）。針對此問題，提出了一種基于高斯分布建模的序列推薦算法。該算法首先通過一個(gè)含有多頭自注意力的不確定性感知圖集合網(wǎng)絡(luò)（uncertainty-aware graph ensemble network ，UAN），通過降低輸入項(xiàng)的不確定性來提取輸入的序列模式；其次將提取的輸入序列模式建模為一個(gè)高斯分布，得到序列信息中的動(dòng)態(tài)用戶偏好以及偏好的不確定性；再將傳統(tǒng)的推薦目標(biāo)函數(shù)拓展為一個(gè)采樣損失函數(shù)和一個(gè)不確定性正則化器，賦予每個(gè)訓(xùn)練實(shí)例適當(dāng)?shù)牟淮_定性；最后將高損失且低不確定性的不可靠實(shí)例去除，增強(qiáng)序列推薦的準(zhǔn)確性。該算法在三個(gè)公開的數(shù)據(jù)集Book-Crossing、MovieLens-1M和Steam上進(jìn)行實(shí)驗(yàn)測試，結(jié)果表明，該算法相對于效果較好的基線取得了5.3%左右的提升，得到了更優(yōu)的序列推薦結(jié)果，并能通過有效降低輸入序列信息的不確定性，從而提升推薦準(zhǔn)確率。

關(guān)鍵詞：推薦系統(tǒng)；序列推薦；高斯分布；不確定性感知；推薦損失

中圖分類號(hào)：TP301.6 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001－3695（2023）04－024－1108－05doi： 10.19734/j.issn.1001－3695.2022.08.0452

Abstract：Most sequential recommendation systems （SRS） assume that the next item to be predicted is related to the user’s previous input. However， in real scenarios， users may click items inconsistent with their own interests and preferences （unreliable instances） by mistake during browsing. This paper proposed a sequential recommendation algorithm based on Gaussian distribution modeling to solve this problem. Firstly， the algorithm extracted the input sequence patterns by reducing the uncertainty of input items through an uncertainty aware graph ensemble network （UAN） with multiple heads of self-attention. Secondly， it modeled the extracted input sequence pattern as a Gaussian distribution， and obtained the dynamic user’s prefe-rences and the uncertainty of preferences in the sequence information. Then， it extended the traditional recommended objective function to a sampling loss function and an uncertainty regularizer， and gave each training instance appropriate uncertainty. Finally， it removed the unreliable examples with high loss and low uncertainty to enhance the accuracy of sequence recommendation. It tested the algorithm on three open datasets， Book-Crossing， MovieLens-1M and Steam. The results show that the algorithm has achieved an improvement of about 5.3% compared with the baseline with good effects， and has obtained better sequential recommendation results. The proposed algorithm can improve the recommendation accuracy by effectively reducing the uncertainty of input sequence information.

Key words：recommendation system; sequential recommendation; Gaussian distribution; uncertainty perception; recommendation loss

0 引言

隨著網(wǎng)絡(luò)的發(fā)展和大范圍普及，網(wǎng)絡(luò)用戶及商品的數(shù)量有了極大的增長，面對超出人力所能計(jì)算的數(shù)據(jù)量，利用推薦系統(tǒng)對商品、電影、歌曲及新聞等各方面進(jìn)行準(zhǔn)確推薦已經(jīng)變得越發(fā)重要。推薦系統(tǒng)能通過分析用戶的短期和長期偏好來獲取用戶的興趣，給出最適合用戶的推薦信息或產(chǎn)品［1］。序列推薦更是傳統(tǒng)推薦的延伸，序列推薦系統(tǒng)（sequential recommendation system，SRS）通常根據(jù)用戶前一項(xiàng)的交互信息來預(yù)測將會(huì)發(fā)生的下一次交互［2，3］。因此，序列推薦系統(tǒng)的一個(gè)訓(xùn)練實(shí)例是由一個(gè)項(xiàng)目序列和此序列的下一個(gè)項(xiàng)目作為預(yù)測目標(biāo)所組成的。這種訓(xùn)練過程默認(rèn)每一個(gè)輸入都與其目標(biāo)相關(guān)［4］，但這并不總是成立的。例如：最初的序列推薦系統(tǒng)大多采用馬爾可夫鏈對用戶的偏好來進(jìn)行建模［5～8］，如Rendle等人［9］提出的FPMC。此后隨著深度學(xué)習(xí)的發(fā)展，Tang等人［10］提出了融合CNN的Caser模型，該模型利用卷積神經(jīng)網(wǎng)絡(luò)來提取用戶的短期興趣和長期偏好；Cho等人［11］僅考慮上一節(jié)點(diǎn)到下一節(jié)點(diǎn)的過渡關(guān)系，融合RNN提出了GRU4Rec模型。后續(xù)發(fā)展中，研究者發(fā)現(xiàn)使用注意力機(jī)制來突出相關(guān)輸入項(xiàng)目能增強(qiáng)推薦準(zhǔn)確率。于是Kang等人［12］提出了基于自注意力的序列推薦模型（SASRec），該模型平衡了馬爾可夫鏈在稀疏數(shù)據(jù)集和循環(huán)神經(jīng)網(wǎng)絡(luò)在稠密數(shù)據(jù)集上的優(yōu)勢；Wang等人［13］則提出了一種多通道目的路由網(wǎng)絡(luò)模型MCPPN；Sun等人［14］提出的BERT4Rec和Yuan等人［15］提出的GRec則充分驗(yàn)證了在對項(xiàng)目進(jìn)行動(dòng)態(tài)偏好建模中，雙向上下文的重要作用；Ma等人［16］提出的MA-GNN則顯示了對用戶的長期偏好進(jìn)行建模帶來的性能提升。

上述方法的不足之處在于默認(rèn)模型的輸入序列信息中，每一項(xiàng)都與其前一項(xiàng)相關(guān)，這是不完全準(zhǔn)確的。用戶可能不小心點(diǎn)擊了他并不喜歡的音樂或視頻，或者收到了與其興趣愛好并不相同的朋友的推薦，這就會(huì)導(dǎo)致出現(xiàn)不可靠的實(shí)例，從而影響推薦的準(zhǔn)確度，進(jìn)而嚴(yán)重影響推薦的效果。

為了消除這種不可靠實(shí)例帶來的推薦偏差，本文提出了一種通過高斯分布建模的序列推薦算法，該算法利用建模的高斯分布均值表示提取的動(dòng)態(tài)用戶偏好，其協(xié)方差表示提取的動(dòng)態(tài)用戶偏好的不確定性。通過分析實(shí)例的訓(xùn)練損失和不確定性來定義其中的不可靠實(shí)例，并通過不可靠實(shí)例過濾器去除這些不可靠的實(shí)例，從而提升推薦準(zhǔn)確率。

1 基于高斯分布的序列推薦算法模型框架

本文提出了一個(gè)基于不確定性感知網(wǎng)絡(luò)（uncertainty aware network，UAN）和高斯分布建模（Gaussian distribution modeling，GDM）的推薦模型。在本文中，用U和I表示用戶和項(xiàng)目的集合。用Su=［iu1，iu2，…，iu|Su|］來表示項(xiàng)目列表，其中|ium|表示的是與用戶U相交互的第m項(xiàng)。故在形式上，可以用一個(gè)“輸入—輸出”目標(biāo)對〈{u，Sut，L}，iut〉來表示用來預(yù)測用戶U和他第t次交互項(xiàng)的訓(xùn)練輸入，其中Sut，L=［iumax（1，t－L），…，iut－2，iut－1］。

1.1 思路及框架概述

圖1顯示了本文方法的整體思路，即通過不確定性和推薦損失來分辨可靠和不可靠實(shí)例。a）具有低訓(xùn)練損失、低不確定性特點(diǎn)的實(shí)例視為可靠的實(shí)例；b）具有高訓(xùn)練損失但低不確定性特點(diǎn)的實(shí)例視為不可靠實(shí)例；c）具有高訓(xùn)練損失和高不確定性特點(diǎn)的實(shí)例可以通過降低其不確定性來確定為可靠或者不可靠實(shí)例，再予以保留或去除。最后，具有低訓(xùn)練損失和高不確定性的實(shí)例理論上是不存在的，因?yàn)楦卟淮_定性通常是由輸入序列的模糊模式所引起的，然而這些模式與低訓(xùn)練損失不匹配。對不可靠實(shí)例的分類和去除，將在1.5節(jié)和2.4節(jié)中詳細(xì)闡述。

圖2描述了本文提出的基于高斯分布建模的序列推薦算法框架，它主要由四個(gè)模塊組成：

a）使用UAN進(jìn)行序列建模——利用多頭注意力機(jī)制可以從多個(gè)維度提煉特征信息，且可以捕獲短距離偏好的特點(diǎn)，提出了一個(gè)含有多頭自注意力的不確定性感知圖集合網(wǎng)絡(luò)（uncertainty-aware graph ensemble network ，UAN），以降低輸入不確定性的方式來提取輸入的序列模式，從高訓(xùn)練損失和高不確定性的實(shí)例中挖掘出不可靠實(shí)例。

b）實(shí)力不確定性建模——利用高斯分布能很好地表示用戶對物品的多種興趣和偏好程度的優(yōu)勢［17］，用高斯分布來建模輸入的序列，高斯分布的均值表示提取的用戶動(dòng)態(tài)偏好，高斯分布的協(xié)方差表示提取的偏好的不確定性。

c）目標(biāo)函數(shù)的擴(kuò)展——為保證推薦多樣性及準(zhǔn)確度，本文將傳統(tǒng)的推薦目標(biāo)擴(kuò)展為一個(gè)采樣損失和一個(gè)不確定性正則化器，用來賦予每個(gè)訓(xùn)練實(shí)例適當(dāng)?shù)牟淮_定性。

d）不可靠實(shí)例的過濾——去除掉高訓(xùn)練損失且低不確定性的不可靠實(shí)例，增強(qiáng)序列推薦的準(zhǔn)確性。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用了Book-Crossing、MovieLens-1M和Steam作為實(shí)驗(yàn)數(shù)據(jù)集，如表1所示。Book-Crossing是一個(gè)社區(qū)手機(jī)的圖書評(píng)分?jǐn)?shù)據(jù)集，MovieLens-1M是一個(gè)流行的電影推薦數(shù)據(jù)集，Steam是一個(gè)從游戲網(wǎng)站Steam收集的用戶行為數(shù)據(jù)集。根據(jù)文獻(xiàn)［23，24］，在上述數(shù)據(jù)集中，丟棄交互次數(shù)少于7次的屬于非活躍用戶。

2.2 對比模型

為了驗(yàn)證本文算法性能，選擇對比的模型如下：

a）BPRMF是一個(gè)具有兩兩排序損失的傳統(tǒng)矩陣分解模型，能針對每一個(gè)用戶的商品喜好分別進(jìn)行排序優(yōu)化；

b）FPMC是一種結(jié)合矩陣分解和馬爾可夫鏈的經(jīng)典序列推薦系統(tǒng)，引入了“籃子”概念，能在推薦系統(tǒng)中預(yù)測未知物品引起用戶興趣的可能性并以此排出物品推薦列表；

c）GRU4Rec采用RNN提取用戶動(dòng)態(tài)偏好，將每個(gè)會(huì)話建模為一個(gè)序列，在該序列中，它能預(yù)測基于當(dāng)前隱藏狀態(tài)的序列的下一個(gè)元素的概率分布；

d）SASRec使用了注意力機(jī)制來突出重要的輸入項(xiàng)，它可以捕捉長期語義信息，從用戶的行為歷史中找出相關(guān)性強(qiáng)的項(xiàng)目，以此來預(yù)測下一項(xiàng)；

e）GC-SAN則采用了GNN來獲取準(zhǔn)確的項(xiàng)目表示，利用自注意網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)的互補(bǔ)性，提高了推薦性能；

f）BERT4Rec將深度序列模型和Cloze task引入推薦系統(tǒng)，考慮了雙向上下文來模擬用戶的動(dòng)態(tài)偏好，提出了一種基于雙向self-attention和Cloze task的用戶行為序列建模方法；

g）HGN應(yīng)用分層門控網(wǎng)絡(luò)并融合用戶的長期偏好來進(jìn)行動(dòng)態(tài)偏好建模。

2.3 評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文模型的性能，采用與Sun等人［14］相同的評(píng)估方案。具體來說，就是對于每個(gè)用戶，將最后兩個(gè)交互（實(shí)例）分別分為驗(yàn)證集和測試集，而其余的則用來進(jìn)行訓(xùn)練。為了提高測試效率，將測試集中的每個(gè)目標(biāo)項(xiàng)目與用戶未交互的100個(gè)負(fù)項(xiàng)目進(jìn)行配對，并在101個(gè)項(xiàng)目中對目標(biāo)項(xiàng)目進(jìn)行排序。根據(jù)物品受歡迎程度的分布，抽取負(fù)物品。采用HR@K和NDCG@K及MRR評(píng)價(jià)指標(biāo)對排名進(jìn)行評(píng)價(jià)：

HR@K=NumberOfHits@KGT（15）

NDCG@K=DCGu@KIDCGu（16）

MRR=1Q∑|Q|i=11ranki（17）

式（15）中分子表示每個(gè)用戶前K個(gè)數(shù)據(jù)的列表中屬于測試集的數(shù)量總和，分母是所有測試集數(shù)據(jù)的總和；式（16）中NDCG@K表示折損累計(jì)增益，IDCGu是理想情況下的最大DCG值；式（17）中Q表示用戶的數(shù)量，ranki表示對于第i個(gè)用戶，第一個(gè)出現(xiàn)在ground-truth中的項(xiàng)目排序位置。一般來說，評(píng)價(jià)值越高，排名性能越好。

2.4 參數(shù)設(shè)置

本文采用Xavier［14］初始化器和Adam［25］優(yōu)化器，設(shè)置d=50，d的選取太大會(huì)造成計(jì)算量過于巨大；經(jīng)過多次實(shí)驗(yàn)總結(jié)得到，一次選取的樣本數(shù)為8 100時(shí)，學(xué)習(xí)速率η=0.01；采樣損失的權(quán)重λ=0.01，不確定裕度γ=1；傳播層數(shù)K=2；輸入序列長度L=5；樣本大小Z=4；數(shù)據(jù)集的過濾比α=0.05；多頭自注意力網(wǎng)絡(luò)的頭數(shù)設(shè)定為2。

同時(shí)，在后續(xù)的實(shí)驗(yàn)中發(fā)現(xiàn)，濾波比α、采樣大小Z 、采樣損失權(quán)重λ和不確定性裕度γ是模型中比較重要的四個(gè)超參數(shù)。它們的影響如圖3和4所示，并且α在0.05～0.10，Zgt;3，λ在0.01～0.10時(shí)，實(shí)驗(yàn)效果最好。與其他超參數(shù)相比，模型對γ的敏感度較低。

2.5 實(shí)驗(yàn)結(jié)果對比

實(shí)驗(yàn)結(jié)果對比如表2所示。

以上實(shí)驗(yàn)結(jié)果表明：

a）BPRMF在所有方法中最差，不能對序列行為進(jìn)行建模；

b）基于深度學(xué)習(xí)的推薦系統(tǒng)（如SRSRec）通常比傳統(tǒng)的推薦系統(tǒng)（如FPMC）有更好的推薦性能；

c）SASRec和GC-SAN推薦效果優(yōu)于GRU4Rec，表明了注意力機(jī)制突出重要輸入項(xiàng)在推薦系統(tǒng)中的有效性；

d）BERT4Rec和HGN是最好的基準(zhǔn)線，說明了考慮雙向上下文和用戶長期偏好有助于減少不可靠實(shí)例的負(fù)面影響；

e）本文模型始終有著最好的表現(xiàn)，顯示出了優(yōu)于其他方法的效果，表明了通過衡量訓(xùn)練損失和不確定性從而去掉不可靠實(shí)例的有效性。

此外，如圖5所示，在train-origin視圖下訓(xùn)練的模型推薦性能低于在train-filter視圖下的所有基線，充分證明了消除不可靠實(shí)例帶來的推薦性能提升。

2.6 消融實(shí)驗(yàn)

本文提出的基于高斯分布建模的序列推薦方法通過引入額外采樣損失使不可靠實(shí)例的影響更小而可靠實(shí)例的貢獻(xiàn)更大，能比較好地通過訓(xùn)練損失和不確定性來評(píng)判實(shí)例是否可靠，進(jìn)而通過去除這些不可靠實(shí)例從而獲得比較高的推薦性能。為了檢驗(yàn)本文方法中每個(gè)模塊的有效性，進(jìn)行了消融實(shí)驗(yàn)，表3是六種不同模塊的組合展示。

由表3可以得出以下結(jié)論：

a）（a）比（f）少了采樣損失和不確定性建模，（f）是本文完整的模型，（a）和（f）的對比證明了對采樣損失和不確定性建模來消除不可靠數(shù)據(jù)的必要性；

b）（b）相對于（f）少了不確定性正則化器，不能正確分配和賦予實(shí)例不確定性，它的性能和（a）相近；

c）本文使用經(jīng)典的GCN（graph convolutional network）來取代UAN；

d）（d）和（e）本文使用了GCN的傳播（式（1））和聚合（式（2））操作來增強(qiáng)GCN；

e）（c）與（f）之間的推薦性能比較，有力地驗(yàn)證了UAN的有效性。

2.7 形象化展示

為了更直觀地體現(xiàn)實(shí)驗(yàn)的效果，本文采用了圖6和7來描述利用Book-Crossing訓(xùn)練時(shí)，在不同epoch時(shí)通過Lrec（式（10））和hu，t（式（8））檢測到的不可靠實(shí)例比例和不確定性。圖6中的區(qū)域表示隨著epoch從1增加到50，檢測到的不可靠實(shí)例的比例從4.23%增加到了4.72%，并且圖7顯示具有高不確定性的實(shí)例數(shù)量逐漸減少。這充分表明本文提出的模型方法能從高不確定性實(shí)例中分辨出不可靠的實(shí)例。

3 結(jié)束語

針對在序列推薦中存在的由于用戶“誤點(diǎn)擊”而導(dǎo)致的影響推薦準(zhǔn)確率問題，本文提出了一種基于高斯分布建模的序列推薦算法。本文首先提出了不可靠的實(shí)例對推薦準(zhǔn)確率的影響，并且通過設(shè)計(jì)不確定性感知圖網(wǎng)絡(luò)，通過將每個(gè)實(shí)例的輸入建模為一個(gè)高斯分布，用高斯分布的均值來表示動(dòng)態(tài)偏好，協(xié)方差表示提取偏好的不確定性來準(zhǔn)確表示用戶的興趣；其次把多樣性正則化項(xiàng)加入損失函數(shù)中，保證了推薦多樣性的同時(shí)也提高了推薦的準(zhǔn)確度；最后通過不可靠實(shí)例過濾器去除這些不可靠的實(shí)例，從而增強(qiáng)了序列推薦的性能，得到了優(yōu)于其他推薦模型的效果。本文在三個(gè)真實(shí)的數(shù)據(jù)集Book-Crossing、MovieLens-1M和Steam上驗(yàn)證了該算法相較于BPRMF、FPMC、GRU4Rec、HGN等算法具有更好的推薦準(zhǔn)確率。雖然該算法能處理“用戶誤點(diǎn)擊”等類型的不可靠實(shí)例帶來的推薦不準(zhǔn)確問題，但用戶在真實(shí)的瀏覽情況中對于中意的目標(biāo)商品或內(nèi)容有著“重復(fù)點(diǎn)擊”或“停留時(shí)間長”等現(xiàn)象，后續(xù)的研究工作計(jì)劃聚焦如何平衡用戶在與項(xiàng)目交互過程中相關(guān)行為的權(quán)重，使其更能反映用戶的實(shí)際偏好，從而使推薦更個(gè)性化、更準(zhǔn)確。

參考文獻(xiàn)：

［1］Pei Wenjie，Yang Jie，Sun Zhu，et al. Interacting attention-gated recurrent networks for recommendation ［C］// Proc of ACM on Confe-rence on Information and Knowledge Management.New York：ACM Press，2017： 1459－1468.

［2］Hamid R A，Albahri A S，Alwan J K，et al. How smart is e-tourism？A systematic review of smart tourism recommendation system applying data management ［J］. Computer Science Review，2021，39： 100337.

［3］Patel K，Patel H B. A state-of-the-art survey on recommendation system and prospective extensions ［J］. Computers and Electronics in Agriculture，2020，178： 105779.

［4］Cui Zhihua，Xu Xianghua，Xue Fei，et al. Personalized recommendation system based on collaborative filtering for IoT scenarios ［J］. IEEE Trans on Services Computing，2020，13（4）： 685－695.

［5］Goyani M，Chaurasiya N. A review of movie recommendation system： limitations，survey and challenges ［J］. ELCVIA： Electronic Letters on Computer Vision and Image Analysis，2020，19（3）： 18－37.

［6］Cui Yimin. Intelligent recommendation system based on mathematical modeling in personalized data mining ［J］. Mathematical Problems in Engineering，2021，2021： article ID 6672036.

［7］Kumar P，Thakur R S. Recommendation system techniques and related issues： a survey ［J］. International Journal of Information Technology，2018，10（4）： 495－501.

［8］Rosa R L，Schwartz G M，Ruggiero W V，et al. A knowledge-based recommendation system that includes sentiment analysis and deep learning ［J］. IEEE Trans on Industrial Informatics，2018，15（4）： 2124－2135.

［9］Rendle S，F(xiàn)reudenthaler C，Schmidt-Thieme L. Factorizing persona-lized Markov chains for next-basket recommendation ［C］// Proc of the 19th International Conference on World Wide Web. New York，NY： ACM Press，2010： 811－820.

［10］Tang Jiaxi，Wang Ke. Personalized top-n sequential recommendation via convolutional sequence embedding ［C］// Proc of the 11th ACM International Conference on Web Search and Data Mining.New York：ACM Press，2018： 565－573.

［11］Cho K，Van Merrinboer B，Gulcehre C，et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation ［EB/OL］. （2014）. https：//arxiv.org/abs/1406. 1078.

［12］Kang Wangcheng，McAuley J. Self-attentive sequential recommendation ［C］// Proc of IEEE International Conference on Data Mining. Piscataway，NJ：IEEE Press，2018： 197－206.

［13］Wang Shoujin，Hu Liang，Wang Yan，et al. Modeling multi-purpose sessions for next-item recommendations via mixture-channel purpose routing networks ［C］// Proc of International Joint Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2019： 3771－3777.

［14］Sun Fei，Liu Jun，Wu Jian，et al. BERT4Rec： sequential recommendation with bidirectional encoder representations from transformer ［C］// Proc of the 28th ACM International Conference on Information and Knowledge Management.New York：ACM Press，2019： 1441－1450.

［15］Yuan Fajie，He Xiangnan，Jiang Haochuan，et al. Future data helps training： modeling future contexts for session-based recommendation ［C］// Proc of Web Conference. 2020： 303－313.

［16］Ma Chen，Ma Liheng，Zhang Yingxue，et al. Memory augmented graph neural networks for sequential recommendation ［C］// Proc of AAAI Conference on Artificial Intelligence. 2020： 5045－5052.

［17］Chen Rui，Hua Qingyi，Gao Quanli，et al. A hybrid recommender system for Gaussian mixture model and enhanced social matrix factorization technology based on multiple interests ［J］. Mathematical Problems in Engineering，2018，2018：1－22.

［18］饒子昀，張毅，劉俊濤，等. 應(yīng)用知識(shí)圖譜的推薦方法與系統(tǒng) ［J］. 自動(dòng)化學(xué)報(bào)，2021，47（9）： 2061－2077. （Rao Ziyun，Zhang Yi，Liu Juntao，et al. Recommended methods and systems for applying knowledge maps ［J］. Journal of Automation，2021，47（9）： 2061－2077.）

［19］Aizawa A. An information-theoretic perspective of TF-IDF measures ［J］. Information Processing amp; Management，2003，39（1）： 45－65.

［20］Vaswani A，Shazeer N，Parmar N，et al. Attention is all you need ［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2017：6000－6010.

［21］Voita E，Talbot D，Moiseev F，et al. Analyzing multi-head self-attention： specialized heads do the heavy lifting，the rest can be pruned ［EB/OL］. （2019）.https：//arxiv.org/abs/1905. 09418.

［22］Fan Wenqi，Li Qing，Cheng Min. Deep modeling of social relations for recommendation ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2018： 8075－8076.

［23］Kingma D P，Welling M. Auto-encoding variational Bayes ［EB/OL］. （2013）.https：//arxiv.org/abs/1312. 6114.

［24］Huang Jin，Zhao W X，Dou Hongjian，et al. Improving sequential re-commendation with knowledge-enhanced memory networks ［C］// Proc of the 41st International ACM SIGIR Conference on Research amp; Development in Information Retrieval.New York：ACM Press，2018： 505－514.

［25］Kingma D P，Ba J. Adam： a method for stochastic optimization ［EB/OL］. （2015）.https：//arxiv.org/abs/1412. 6980.