基于自注意力機(jī)制的局部與全局特征融合的評分預(yù)測算法

摘 要： 為了完全挖掘異質(zhì)信息網(wǎng)絡(luò)中節(jié)點(diǎn)的特征并且更好地融合這些特征，提高推薦算法的性能，提出一種基于自注意力機(jī)制的局部與全局特征融合的評分預(yù)測算法（rating prediction algorithm based on self-attention mechanism and fusion of local amp; global features，AMFLamp;GRec）。首先基于LeaderRank算法提取目標(biāo)節(jié)點(diǎn)的全局序列，基于元路徑帶偏置的隨機(jī)游走算法提取節(jié)點(diǎn)的局部序列，通過skip-gram模型分別學(xué)習(xí)節(jié)點(diǎn)的全局特征與局部特征；通過自注意力機(jī)制學(xué)習(xí)目標(biāo)節(jié)點(diǎn)對局部與全局特征的偏好，從而得到在單一元路徑下節(jié)點(diǎn)的特征表示；再通過自注意力機(jī)制融合不同元路徑下同一節(jié)點(diǎn)的表示，從而得到節(jié)點(diǎn)在不同元路徑下的最終特征表示；最后基于多層感知器實(shí)現(xiàn)評分預(yù)測任務(wù)。在兩個真實(shí)數(shù)據(jù)集進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了AMFLamp;GRec算法不僅能夠捕獲具有密集連通節(jié)點(diǎn)的微觀（局部）結(jié)構(gòu)，而且還能夠捕獲該節(jié)點(diǎn)在網(wǎng)絡(luò)中的全局結(jié)構(gòu)，從而使其得到的節(jié)點(diǎn)特征得以體現(xiàn)節(jié)點(diǎn)的整體（局部+全局）特征。同時，實(shí)驗(yàn)結(jié)果也證明了AMFLamp;GRec算法評分預(yù)測性能優(yōu)于對比算法，從而證明利用自注意力機(jī)制考慮異質(zhì)信息網(wǎng)絡(luò)中節(jié)點(diǎn)對于局部、全局特征以及元路徑的偏好能夠提高評分預(yù)測的準(zhǔn)確性。

關(guān)鍵詞： 異質(zhì)信息網(wǎng)絡(luò)； 網(wǎng)絡(luò)表示學(xué)習(xí)； 注意力機(jī)制； 評分預(yù)測

中圖分類號： TP391"" 文獻(xiàn)標(biāo)志碼： A

文章編號： 1001-3695（2022）05-009-1337-06

doi：10.19734/j.issn.1001-3695.2021.10.0446

Rating prediction algorithm based on self-attention mechanism and fusion of local amp; global features

Yi Lei1，2， Ji Shujuan1

（1.Shandong Provincial Key Laboratory of Wisdom Mine Information Technology， Shandong University of Science amp; Technology， Qingdao Shandong 266590， China； 2.Dept. of Personnel， Shandong Jianzhu University， Jinan 250101， China）

Abstract： In order to fully mine nodes’ features and better integrate these features simultaneously in the heterogeneous information network，this paper proposed a AMFLamp;GRec.Firstly，AMFLamp;GRec used the LeaderRank algorithm to extract the target node’ global sequence，and used a meta-path-based heterogeneous information network embedding model to extract the node’ local sequence，and used the skip-gram model to learn the node’ global and local features.And then it used the self-attention mechanism to learn the preference of the target nodes’ local and global features to obtain the feature representation of the target node in a single meta-path.Secondly，it used the self-attention mechanism to fuse the representation of the same node under different meta-paths to obtain the final feature representation.Finally，it utilized a multi-layer perceptron to achieve the task of rating prediction.This paper conducted a large number of experiments on two real datasets.The experimental results verify that the AMFLamp;GRec algorithm can not only capture the micro（local） structure of densely connected nodes，but also capture the global structure of the node in the network，and finally obtain nodes’ overall（local+global） characteristics.At the same time，the experimental results also prove that the AMFLamp;GRec’s rating prediction performance is better than the baselines.It proves that in the heterogeneous information network utilizing the self-attention mechanism to consider the nodes’ preferences for local and global features and meta-paths can improve the accuracy of rating prediction.

Key words： heterogeneous information network； network representation learning； self-attention mechanism； rating prediction

0 引言

隨著移動互聯(lián)網(wǎng)的快速發(fā)展，信息超載成為面臨的困境之一。用戶和項(xiàng)目數(shù)目的日益增多，使得用戶需要耗費(fèi)大量精力來尋找自己感興趣的項(xiàng)目，這會大大降低用戶的消費(fèi)體驗(yàn)。近年來，在各種在線服務(wù)［1，2］（如電商平臺、電影與視頻網(wǎng)站、社交網(wǎng)絡(luò)、Web瀏覽等）中，為了緩解信息超載問題給人們帶來的影響，用于幫助用戶從大量資源中發(fā)現(xiàn)感興趣的推薦系統(tǒng)成為解決該問題的有效途徑。

隨著異質(zhì)信息網(wǎng)絡(luò)的發(fā)展，人們開始將推薦系統(tǒng)中的打分、社交關(guān)系、屬性等信息抽象為包含豐富語義信息的異質(zhì)信息網(wǎng)絡(luò)，從而可以充分利用其來表征推薦系統(tǒng)中豐富的信息。將用戶與項(xiàng)目看做兩種不同類型的節(jié)點(diǎn)，將二者之間的交互看做一條邊，以此來構(gòu)建有關(guān)于推薦系統(tǒng)的基于用戶—項(xiàng)目的異質(zhì)信息網(wǎng)絡(luò)?，F(xiàn)有大多數(shù)基于異質(zhì)信息網(wǎng)絡(luò)的推薦算法［3～5］直接計算用戶與項(xiàng)目間基于元路徑之間的相似度來提高推薦性能，但是這種推薦算法并不能完全挖掘用戶和項(xiàng)目隱含的結(jié)構(gòu)特征［6］?；谏鲜霰尘?，由于推薦系統(tǒng)中的打分、社交關(guān)系、屬性等信息可以抽象為包含豐富語義信息的異質(zhì)信息網(wǎng)絡(luò)，本文利用異質(zhì)信息網(wǎng)絡(luò)來建模推薦系統(tǒng)，并利用網(wǎng)絡(luò)表示學(xué)習(xí)的方法來獲取推薦系統(tǒng)中用戶與項(xiàng)目節(jié)點(diǎn)豐富的輔助信息。

現(xiàn)有工作大多致力于探索異質(zhì)信息網(wǎng)絡(luò)中具有密集連接節(jié)點(diǎn)的鄰域結(jié)構(gòu)，然而利用節(jié)點(diǎn)有限的鄰域結(jié)構(gòu)信息來代替節(jié)點(diǎn)的全局結(jié)構(gòu)存在一定的局限性。因此為了充分捕獲節(jié)點(diǎn)序列的局部鄰域結(jié)構(gòu)與全局結(jié)構(gòu)，本文提出一種基于自注意力機(jī)制的局部與全局特征融合的評分預(yù)測算法（AMFLamp;GRec）。與已有工作相比，本文框架的創(chuàng)新點(diǎn)為：a）同時考慮節(jié)點(diǎn)序列的局部鄰域結(jié)構(gòu)與全局整體結(jié)構(gòu)；b）采用兩層自注意力機(jī)制學(xué)習(xí)節(jié)點(diǎn)對于局部、全局特征以及不同元路徑的偏好程度。在MovieLens-100K和Yelp數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明AMFLamp;GRec算法在評價指標(biāo)MAE與RMSE上要優(yōu)于其他比較算法。同時，本文也探索了注意力機(jī)制對推薦效果的影響。

1 相關(guān)工作

1.1 基于注意力機(jī)制的評分預(yù)測

注意力機(jī)制近年來開始被廣泛應(yīng)用，隨之成為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的重要組成部分，并從最初用于機(jī)器翻譯［7］，一直延伸到圖像處理［7］以及推薦系統(tǒng)［7］中。Wang等人［8］提出一種在交易數(shù)據(jù)中考慮注意力機(jī)制的上下文嵌入方法；Song等人［9］將多頭注意力引入到推薦系統(tǒng)中提出一種Autoint模型，該模型可以自動學(xué)習(xí)高階特征組合，并且解決了特征稀疏問題；肖青秀等人［10］將雙層注意力機(jī)制引入電影推薦當(dāng)中，改善了傳統(tǒng)協(xié)同過濾算法的弊端；張青博等人［11］則利用注意力機(jī)制來擴(kuò)展標(biāo)準(zhǔn)的矩陣分解模型，克服了傳統(tǒng)矩陣分解模型的弊端。

1.2 基于異質(zhì)網(wǎng)絡(luò)嵌入的評分預(yù)測

在異質(zhì)網(wǎng)絡(luò)嵌入研究中，許多研究者提出基于元路徑的隨機(jī)游走來獲取節(jié)點(diǎn)之間的關(guān)系［12～14］。例如，Sun等人［12］利用元路徑直接度量節(jié)點(diǎn)間的相似性，學(xué)習(xí)到的節(jié)點(diǎn)相似性能夠體現(xiàn)網(wǎng)絡(luò)的結(jié)構(gòu)信息；Yu等人［15］則在傳統(tǒng)的矩陣分解算法優(yōu)化函數(shù)中融入基于節(jié)點(diǎn)相似性的正則化參數(shù)，同時利用了矩陣分解于與異質(zhì)信息網(wǎng)絡(luò)的優(yōu)點(diǎn)。還有研究者試圖通過基于元路徑的異質(zhì)圖嵌入方法同時學(xué)習(xí)異質(zhì)信息網(wǎng)絡(luò)的結(jié)構(gòu)特征和節(jié)點(diǎn)特征。例如，Dong等人［16］通過基于元路徑的游走獲取節(jié)點(diǎn)的鄰域，利用skip-gram優(yōu)化節(jié)點(diǎn)的鄰域來學(xué)習(xí)異質(zhì)信息網(wǎng)絡(luò)中的用戶與項(xiàng)目嵌入?；谏窠?jīng)網(wǎng)絡(luò)的方法，Kipf等人［17］提出圖卷積網(wǎng)絡(luò)（graph convolution networks，GCN）的頻譜方法，通過對頻譜圖卷積進(jìn)行局部化的一階近似來設(shè)計圖卷積網(wǎng)絡(luò)；Hamilton等人［18］提出GraphSAGE，該模型在固定大小的節(jié)點(diǎn)鄰居上利用基于神經(jīng)網(wǎng)絡(luò)的聚合方法學(xué)習(xí)生成嵌入的函數(shù)；Fu等人［19］直接利用神經(jīng)網(wǎng)絡(luò)對異質(zhì)信息網(wǎng)絡(luò)進(jìn)行建模，通過對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)含有語義特征的節(jié)點(diǎn)嵌入。雖然上述基于異質(zhì)信息網(wǎng)絡(luò)的算法可以學(xué)習(xí)到異質(zhì)網(wǎng)絡(luò)中節(jié)點(diǎn)的結(jié)構(gòu)特征和語義特征，但它們沒有直接應(yīng)用于推薦任務(wù)中，無法判斷其推薦性能。

推薦系統(tǒng)中的打分、社交關(guān)系、屬性等信息可以抽象為包含豐富語義信息的異質(zhì)信息網(wǎng)絡(luò)［20］。基于此框架，Shi等人［6］使用基于元路徑的隨機(jī)游走獲得異質(zhì)信息網(wǎng)絡(luò)中節(jié)點(diǎn)的嵌入，然后使用三種融合方法將節(jié)點(diǎn)嵌入進(jìn)行融合，用來拓展傳統(tǒng)的矩陣分解算法，實(shí)現(xiàn)最終的評分預(yù)測；最近，Shi等人［4］在基本元路徑上增加了連接權(quán)重約束來構(gòu)建一種新型異質(zhì)信息網(wǎng)絡(luò)，目的是在加權(quán)網(wǎng)絡(luò)中獲取更多關(guān)于節(jié)點(diǎn)的語義信息與結(jié)構(gòu)信息；Fan等人［21］則利用異質(zhì)信息網(wǎng)絡(luò)對意圖推薦進(jìn)行建模，能夠挖掘意圖推薦中更多有效的信息；Hu等人［22］開發(fā)了一種新的深度神經(jīng)網(wǎng)絡(luò)MCRec，首先采用PCRW采樣序列，通過卷積神經(jīng)網(wǎng)絡(luò)得到不同元路徑上的多個嵌入表示，并利用注意力機(jī)制融合嵌入表示，然后通過最后一層全連接神經(jīng)網(wǎng)絡(luò)來進(jìn)行用戶對物品的評分預(yù)測。上述基于異質(zhì)信息網(wǎng)絡(luò)嵌入的推薦算法與基于矩陣分解、基于神經(jīng)網(wǎng)絡(luò)的推薦相比均可以較好地提高推薦性能，但是算法的計算復(fù)雜性更高。因此，尋求一種計算復(fù)雜性低并且學(xué)習(xí)到的嵌入還能夠更好地用于推薦成為基于異質(zhì)信息網(wǎng)絡(luò)推薦的熱點(diǎn)問題之一。

2 基于自注意力機(jī)制的局部與全局特征融合的評分預(yù)測算法

基于自注意力機(jī)制的局部與全局特征融合的評分預(yù)測算法的框架如圖1所示，其中代表節(jié)點(diǎn)偏好程度學(xué)習(xí)過程，⊕代表拼接操作。該框架主要包括四個主要部分：a）基于元路徑帶偏置的隨機(jī)游走算法提取節(jié)點(diǎn)的局部序列，通過skip-gram模型學(xué)習(xí)節(jié)點(diǎn)的局部特征（圖1中藍(lán)色實(shí)線框，參見電子版），基于LeaderRank算法提取目標(biāo)節(jié)點(diǎn)的全局序列，通過skip-gram模型學(xué)習(xí)節(jié)點(diǎn)的全局特征（紅色實(shí)線框）；b）通過自注意力機(jī)制學(xué)習(xí)目標(biāo)節(jié)點(diǎn)對全局與局部特征的偏好程度，從而得到在單一元路徑下節(jié)點(diǎn)的特征表示（紫色實(shí)線框）；c）通過自注意力機(jī)制獲取不同元路徑對目標(biāo)節(jié)點(diǎn)的偏好程度，從而得到節(jié)點(diǎn)在不同元路徑下的最終的特征表示（綠色實(shí)線框）；d）基于多層感知器的評分預(yù)測（紅色虛線框）。

3.3 比較算法

本文與經(jīng)典的推薦算法進(jìn)行比較，對比結(jié)果如圖3、4所示。

a）MF［28］。一種經(jīng)典的矩陣分解模型，該模型將用戶—項(xiàng)目評分矩陣分解為用戶矩陣與項(xiàng)目矩陣內(nèi)積的形式實(shí)現(xiàn)評分預(yù)測任務(wù)。

b）NNMF［29］。一種利用神經(jīng)網(wǎng)絡(luò)來擴(kuò)展的矩陣分解模型，該模型考慮用一個任意的函數(shù)代替?zhèn)鹘y(tǒng)矩陣分解中的點(diǎn)積，然后從數(shù)據(jù)中同時學(xué)習(xí)這個函數(shù)與潛在的特征向量。

c）DeepWalk［26］。一種網(wǎng)絡(luò)表示學(xué)習(xí)方法，該模型利用截斷的隨機(jī)游走學(xué)習(xí)網(wǎng)絡(luò)的局部信息，再通過skip-gram模型學(xué)習(xí)節(jié)點(diǎn)的嵌入。

d）ARMF［11］。一種利用注意力機(jī)制來擴(kuò)展標(biāo)準(zhǔn)的矩陣分解模型，通過注意力機(jī)制獲取用戶的偏好，克服了傳統(tǒng)矩陣分解模型的弊端。

e）HERec［6］。一種新的基于異質(zhì)信息網(wǎng)絡(luò)嵌入的方法，該模型利用基于元路徑的隨機(jī)游走得到異質(zhì)網(wǎng)絡(luò)中的節(jié)點(diǎn)序列，然后利用一組融合函數(shù)將skip-gram模型學(xué)習(xí)到的節(jié)點(diǎn)嵌入用來拓展矩陣分解模型。

f）Rank2vec［30］。一種在同質(zhì)網(wǎng)絡(luò)中同時學(xué)習(xí)節(jié)點(diǎn)的局部與全局特征的網(wǎng)絡(luò)表示學(xué)習(xí)算法。首先利用PageRank算法學(xué)習(xí)節(jié)點(diǎn)的全局序列，利用帶偏置的隨機(jī)游走算法學(xué)習(xí)節(jié)點(diǎn)的局部序列，將兩序列取并集；然后利用skip-gram模型學(xué)習(xí)節(jié)點(diǎn)的特征表示；最后將學(xué)習(xí)到的節(jié)點(diǎn)特征用于分類、聚類等操作。本文將該算法進(jìn)行改進(jìn)使其適用于異質(zhì)信息網(wǎng)絡(luò)，并且最后使用多層感知器實(shí)現(xiàn)評分預(yù)測任務(wù)。

本文選定的比較算法全面涵蓋了現(xiàn)有的評分預(yù)測方法。根據(jù)之前的工作［28］，本文將基于矩陣分解的模型隱層因子個數(shù)設(shè)置為10?；诋愘|(zhì)信息網(wǎng)絡(luò)的方法的參數(shù)設(shè)置如表3所示?；诋愘|(zhì)信息網(wǎng)絡(luò)的方法需要明確使用的元路徑，表4列出了本文在實(shí)驗(yàn)中使用的元路徑。

3.4 準(zhǔn)確性分析

本文將整個評分記錄分為訓(xùn)練集和測試集，按照20%、40%、60%、80%隨機(jī)抽取訓(xùn)練集，剩余數(shù)據(jù)作為測試集。實(shí)驗(yàn)分析如下：

a）對比所有的基線方法，基于異質(zhì)信息網(wǎng)絡(luò)的方法取得了更好的結(jié)果，優(yōu)于傳統(tǒng)MF、NNMF以及ARMF，這表明異質(zhì)輔助信息能夠有效提高評分預(yù)測的準(zhǔn)確性。其中，rank2vec算法性能最好，rank2vec算法既考慮了節(jié)點(diǎn)的局部也考慮了節(jié)點(diǎn)的全局信息，充分利用了節(jié)點(diǎn)的輔助信息從而提高了評分預(yù)測的準(zhǔn)確性。

b）傳統(tǒng)MF和ARMF算法的實(shí)驗(yàn)結(jié)果表明，在矩陣分解算法中加入注意力機(jī)制能夠獲取用戶更準(zhǔn)確的偏好，從而提高推薦性能。rank2vec與AMFLamp;GRec算法的實(shí)驗(yàn)結(jié)果表明，在異質(zhì)信息網(wǎng)絡(luò)中利用自注意力機(jī)制來融合節(jié)點(diǎn)的特征能夠提升評分預(yù)測的準(zhǔn)確性，同時也證明了LeaderRank算法相較于PageRank算法來獲取節(jié)點(diǎn)的全局特征的有效性。

c）AMFLamp;GRec模型在MovieLens-100K和Yelp數(shù)據(jù)集上均取得了最佳結(jié)果。AMFLamp;GRec模型與rank2vec算法的結(jié)果證明，充分考慮節(jié)點(diǎn)的局部與全局特征要比單方面考慮局部或全局特征效果更佳顯著。AMFLamp;GRec模型與rank2vec算法相比，AMFLamp;GRec模型采用自注意力機(jī)制分別來學(xué)習(xí)節(jié)點(diǎn)對局部與全局特征的重要性以及節(jié)點(diǎn)對不同元路徑的重要性，由此可以證明，使用自注意力機(jī)制能提高實(shí)驗(yàn)性能。此外，從圖3、4可以看出，AMFLamp;GRec模型隨著訓(xùn)練數(shù)據(jù)的減少效果提升越顯著，并且受數(shù)據(jù)集稀疏性變化影響變化緩慢，在Yelp數(shù)據(jù)集當(dāng)訓(xùn)練集為60%時，實(shí)驗(yàn)結(jié)果幾乎趨向于穩(wěn)定。以訓(xùn)練集60%為例，AMFLamp;GRec比MF模型在MovieLens-100K和Yelp數(shù)據(jù)集上分別提高了（19.6%，16.7%）和（37%，41%）。上述實(shí)驗(yàn)結(jié)果表明，AMFLamp;GRec算法在真實(shí)數(shù)據(jù)集上的有效性，并且在稀疏數(shù)據(jù)集上效果更佳。

3.5 注意力機(jī)制影響

為了驗(yàn)證注意力機(jī)制對于推薦效果的影響，本文將使用注意力機(jī)制（attention）與不使用注意力機(jī)制（not-attention）分別在兩個真實(shí)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)效果如圖5所示。在兩個真實(shí)數(shù)據(jù)集上分別證實(shí)了使用注意力機(jī)制的MAE與RMSE均低于不使用注意力機(jī)制。由此可見注意力機(jī)制對于評分預(yù)測任務(wù)有較大提升。同時也證實(shí)了，本文使用自注意力機(jī)制學(xué)習(xí)同一元路徑下不同用戶與項(xiàng)目節(jié)點(diǎn)對局部與全局特征的偏好以及融合不同元路徑下用戶與項(xiàng)目節(jié)點(diǎn)特征表示對于推薦任務(wù)的有效性。

4 結(jié)束語

針對異質(zhì)信息網(wǎng)絡(luò)中的局部與全局信息，本文提出了一種基于自注意力機(jī)制的局部與全局特征融合的評分預(yù)測方法（AMFLamp;GRec），該算法充分考慮節(jié)點(diǎn)的局部與全局特征，并且采用自注意力機(jī)制來學(xué)習(xí)節(jié)點(diǎn)對于元路徑的重要性。本文首先基于LeaderRank算法和元路徑帶偏置的隨機(jī)游走算法提取目標(biāo)節(jié)點(diǎn)的全局序列與局部序列，通過skip-gram模型分別學(xué)習(xí)節(jié)點(diǎn)的全局特征與局部特征；然后通過自注意力機(jī)制融合目標(biāo)節(jié)點(diǎn)的局部與全局特征，從而得到在單一元路徑下節(jié)點(diǎn)的特征表示；再通過自注意力機(jī)制學(xué)習(xí)不同元路徑下同一節(jié)點(diǎn)的表示，從而得到節(jié)點(diǎn)在不同元路徑下的最終的特征表示；最后基于多層感知器實(shí)現(xiàn)評分預(yù)測任務(wù)。為了驗(yàn)證AMFLamp;GRec算法評分預(yù)測的性能，通過在兩個真實(shí)數(shù)據(jù)集進(jìn)行了大量的實(shí)驗(yàn)證明，AMFLamp;GRec算法能夠顯著提高評分預(yù)測的準(zhǔn)確性；與此同時，本文還研究了注意力機(jī)制對實(shí)驗(yàn)結(jié)果的影響。

在實(shí)際應(yīng)用過程中，異質(zhì)網(wǎng)絡(luò)具有動態(tài)性，例如，淘寶每時每刻都在產(chǎn)生新用戶、新產(chǎn)品等新節(jié)點(diǎn)，現(xiàn)有節(jié)點(diǎn)之間、現(xiàn)有節(jié)點(diǎn)與新節(jié)點(diǎn)之間也會產(chǎn)生許多新交互，在動態(tài)異質(zhì)網(wǎng)絡(luò)中，重復(fù)訓(xùn)練模型會耗費(fèi)大量時間，因而在動態(tài)異質(zhì)網(wǎng)絡(luò)中尋求一種處理新節(jié)點(diǎn)、新交互的方法是有前景的研究方向。此外基于異質(zhì)信息網(wǎng)絡(luò)的挖掘方法在電商領(lǐng)域中虛假信息檢測方面發(fā)展還不是很成熟，因此可以考慮將基于異質(zhì)信息網(wǎng)絡(luò)建模的方法遷移到虛假信息檢測當(dāng)中，利用基于異質(zhì)信息網(wǎng)絡(luò)的方法挖掘造假群體的特征，從而發(fā)現(xiàn)群體中的關(guān)鍵人物，或者發(fā)現(xiàn)電子商務(wù)中的水軍群組也是未來值得關(guān)注的問題。

參考文獻(xiàn)：

［1］Dias M B，Locher D，Li Ming，et al.The value of personalized recommender systems to e-business：a case study［C］//Proc of ACM Confe-rence on Recommender Systems.New York：ACM Press，2008：291-294.

［2］Koren Y，Bell R.Advances in collaborative filtering［M］//Recommender Systems Handbook.Berlin：Springer，2015：77-118.

［3］Yu Xiao，Ren Xiang，Sun Yizhou，et al.Personalized entity recommendation：a heterogeneous information network approach［C］//Proc of the 7th ACM International Conference on Web Search and Data Mining.New York：ACM Press，2014：283-292.

［4］Shi Chuan，Zhang Zhiqiang，Luo Ping，et al.Semantic path based persona-lized recommendation on weighted heterogeneous information networks［C］//Proc of the 24th ACM International on Conference on Information and Knowledge Management.New York：ACM Press，2015：453-462.

［5］Shi Chuan，Liu Jian，Zhuang Fuzhen，et al.Integrating heterogeneous information via flexible regularization framework for recommendation［J］.Knowledge and Information Systems，2016，49（12）：835-859.

［6］Shi Chuan，Hu Binbin，Zhao W X，et al.Heterogeneous information network embedding for recommendation［J］.IEEE Trans on Know-ledge and Data Engineering，2018，31（2）：357-370.

［7］Cho K，Van Merrienboer B，Bahdanau D，et al.On the properties of neural machine translation：encoder-decoder approaches［C］//Proc of the 8th Workshop on Syntax，Semantics，and Structure in Statistical Translation.Stroudsburg，PA：Association for Computational Linguistics，2014：103-111.

［8］Wang Shoujin，Hu Liang，Cao Longbing，et al.Attention-based transactional context embedding for next-item recommendation［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：2532-2539.

［9］Song Weiping，Shi Chence，Xiao Zhiping，et al.AutoInt：automatic feature interaction learning via self-attentive neural networks［C］//Proc of the 28th ACM International Conference on Information and Know-ledge New York：ACM Press，2019：1161-1170.

［10］肖青秀，湯鯤.基于雙層注意力機(jī)制的深度學(xué)習(xí)電影推薦系統(tǒng)［J］.計算機(jī)與現(xiàn)代化，2018（11）：109-114. （Xiao Qingxiu，Tang Kun.Deep learning recommendation system of movie based on dual-attention model［J］.Computer and Modernization，2018（11）：109-114.）

［11］張青博，王斌，崔寧寧，等.基于注意力機(jī)制的規(guī)范化矩陣分解推薦算法［J］.軟件學(xué)報，2020，31（3）：778-793. （Zhang Qingbo，Wang Bin，Cui Ningning，et al.Attention-based regularized matrix factorization for recommendation［J］.Journal of Software，2020，31（3）：778-793.）

［12］Sun Yizhou，Han Jiawei，Yan Xifeng，et al.PathSim：meta path-based top-k similarity search in heterogeneous information networks［J］.VLDB Endowment，2011，4（11）：992-1003.

［13］Shi Chuan，Kong Xiangnan，Huang Yue，et al.HeteSim：a general framework for relevance measure in heterogeneous networks［J］.IEEE Trans on Knowledge and Data Engineering，2014，26（10）：2479-2492.

［14］Lao Ni，Cohen W W.Relational retrieval using a combination of path-constrained random walks［J］.Machine Learning，2010，81（1）：53-67.

［15］Yu Xiao，Ren Xiang，Gu Quanquan，et al.Collaborative filtering with entity similarity regularization in heterogeneous information networks［EB/OL］.（2013-06-16）.http：//hanj.cs.illinois.edu/pdf/hina13_xyu.pdf.

［16］Dong Yuxiao，Chawla N V，Swami A.metapath2vec：scalable representation learning for heterogeneous networks［C］//Proc of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2017：135-144.

［17］Kipf T N，Welling M.Semi-supervised classification with graph convolutional networks［EB/OL］.（2017-02-22）.https：//arxiv.org/pdf/1609.02907.pdf.

［18］Hamilton W L，Ying R，Leskovec J.Inductive representation learning on large graphs［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Currant Associates Inc.，2017：1025-1035.

［19］Fu Taoyang，Lee W C，Lei Zhen.HIN2Vec：explore meta-paths in heterogeneous information networks for representation learning［C］//Proc of ACM Conference on Information and Knowledge Management.New York：ACM Press，2017：1797-1806.

［20］Shi Chuan，Li Yitong，Zhang Jiawei，et al.A survey of heterogeneous information network analysis［J］.IEEE Trans on Knowledge and Data Engineering，2017，29（1）：17-37.

［21］Fan Shaohua，Zhu Junxiong，Han Xiaotian，et al.Meta path-guided hete-rogeneous graph neural network for intent recommendation［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2019：2478-2486.

［22］Hu Binbin，Shi Chuan，Zhao W X，et al.Leveraging meta-path based context for top-N recommendation with a neural co-attention model［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2018：1531-1540.

［23］Sun Yizhou，Yu Yintao，Han Jiawei.Ranking-based clustering of he-terogeneous information networks with star network schema［C］//Proc of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2009：797-806.

［24］Sun Yizhou，Han Jiawei.Mining heterogeneous information networks：a structural analysis approach［J］.ACM SIGKDD Explorations Newsletter，2013，14（2）：20-28.

［25］Mikolov T，Chen Kai，Corrado G，et al.Efficient estimation of word representations in vector space［EB/OL］.（2013-09-07）.http：//export.arxiv.org/pdf/1301.3781.

［26］Perozzi B，Al-Rfou R，Skiena S.DeepWalk：online learning of social representations［C］//Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2014：701-710.

［27］張慧.深度學(xué)習(xí)中優(yōu)化算法的研究與改進(jìn)［D］.北京： 北京郵電大學(xué)，2018. （Zhang Hui.Research and improvement of optimization algorithms in deep learning［D］.Beijing：Beijing University of Posts amp; Telecommunications，2018.）

［28］Koren Y，Bell R，Volinsky C.Matrix factorization techniques for recommender systems［J］.Computer，2009，42（8）：30-37.

［29］Dziugaite G K，Roy D M.Neural network matrix factorization［EB/OL］.（2015-12-15）.https：//arxiv.org/pdf/1511.06443v2.pdf.

［30］Zhou Hui，Zhao Zhongying，Li Chao，et al.rank2vec：learning node embeddings with local structure and global ranking［J］.Expert Systems with Applications，2019，136（12）：276-287.