基于自適應(yīng)圖卷積注意力神經(jīng)協(xié)同推薦算法

收稿日期：2021-04-23；修回日期：2021-07-05

基金項目：國家自然科學(xué)基金資助項目（61802107）；教育部—中國移動科研基金資助項目（MCM20170204）；河北省高等學(xué)校科學(xué)技術(shù)研究項目（ZD2020171）；江蘇省博士后科研資助計劃項目（1601085C）

作者簡介：杜雨晅（1998-），男，河北涿州人，碩士研究生，主要研究方向為圖神經(jīng)網(wǎng)絡(luò)、推薦系統(tǒng)；王巍（1983-），男（通信作者），河北邯鄲人，教授，碩導(dǎo)，博士，主要研究方向為隱式人機交互、公共安全物聯(lián)網(wǎng)（wangwei83@hebeu.edu.cn）；張闖（1998-），男，河北承德人，碩士研究生，主要研究方向為知識圖譜、推薦系統(tǒng)；鄭小麗（1996-），女，山西朔州人，碩士研究生，主要研究方向為序列推薦、推薦系統(tǒng)；蘇嘉濤（1997-），男，陜西渭南人，碩士研究生，主要研究方向為區(qū)域異構(gòu)物聯(lián)網(wǎng)、無人系統(tǒng)；王楊洋（1997-），男，湖南岳陽人，碩士研究生，主要研究方向為計算機視覺.

摘 要：隨著互聯(lián)網(wǎng)的快速發(fā)展，推薦系統(tǒng)可以用來處理信息過載的問題。由于傳統(tǒng)推薦系統(tǒng)的諸多問題導(dǎo)致其無法處理發(fā)掘隱藏信息，提出一種自適應(yīng)圖卷積注意力神經(jīng)協(xié)同推薦算法（ANGCACF）。首先獲取用戶和項目交互圖，通過圖卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)的聚合用戶和項目特征信息；其次對用戶和項目特征信息添加自適應(yīng)擴充數(shù)據(jù)，以解決數(shù)據(jù)稀疏性，利用注意力機制對用戶和項目特征信息及添加的自適應(yīng)擴充數(shù)據(jù)重新分配權(quán)重；最后將得到的用戶和項目特征表示使用基于矩陣分解的協(xié)同過濾的算法框架得出最終推薦結(jié)果。在MovieLens-1M、MovieLens-100K和 Amazon-baby三個公開數(shù)據(jù)集上的實驗表明，該算法在推薦準(zhǔn)確率、召回率、Mrr、命中率和 NDCG 五個指標(biāo)上均優(yōu)于基線方法。

關(guān)鍵詞：推薦系統(tǒng); 自適應(yīng); 圖卷積神經(jīng)網(wǎng)絡(luò); 注意力機制; 協(xié)同過濾

中圖分類號：TP18"" 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2022）06-027-1760-07

doi：10.19734/j.issn.1001-3695.2021.11.0631

Collaborative filtering recommendation algorithm based on adaptive neural graph convolution attention neural network

Du Yuxuan1a，1b，Wang Wei1a，1b，2，Zhang Chuang1a，1b，Zheng Xiaoli1a，1b，Su Jiatao1a，1b，Wang Yangyang1a

（1.a.School of Information amp; Electrical Engineering， b.Hebei Key Laboratory of Security amp; Protection Information Sensing amp; Processing， Hebei University of Engineering， Handan Hebei 056038， China; 2.School of Internet of Things Engineering， Jiangnan University， Wuxi Jiangsu 214122， China）

Abstract：With the rapid development of the Internet， the recommendation system can handle the problem of information overload. Due to many problems in traditional recommendation systems， they can’t handle the discovery of hidden information. This paper proposed an adaptive graph convolution attention neural collaborative filtering recommendation model（ANGCACF）. Firstly， graph convolution neural network obtained the user-item interaction figure and adaptively aggregated the user-item feature information. Secondly， the model added adaptive extended data to solve the data sparsity for the user-item feature information and used the attention mechanism to redistribute the weight to the user-item feature information and the adaptive extended data. Finally， it obtained the final recommendation result by using the algorithm framework of collaborative filtering based on matrix decomposition. Experiments on MovieLens-1M， MovieLens-100K and Amazon-book show that the algorithm is superior to the baseline method in five indexes： precision， recall， Mrr， hit and NDCG.

Key words：recommendation system; adaptive; graph convolution neural network; attention mechanism; collaborative filtering

0 引言

伴隨著互聯(lián)網(wǎng)的快速發(fā)展，信息過載現(xiàn)象日益嚴(yán)重[1]，導(dǎo)致用戶從無邊無際的信息中獲得對自己有用的信息變得十分困難。Goldberg等人［2］于1992提出協(xié)同過濾系統(tǒng)，自此個性化推薦系統(tǒng)應(yīng)運而生。傳統(tǒng)協(xié)同過濾推薦算法基于用戶和物品的交互歷史信息，如用戶評分、用戶瀏覽次數(shù)、用戶點擊次數(shù)等，根據(jù)歷史交互信息對用戶進(jìn)行相關(guān)信息推薦［3］。文獻(xiàn)［2］最早提出Tapestry協(xié)同過濾推薦算法，可以通過用戶輸入查詢語句系統(tǒng)根據(jù)輸入信息推薦出相應(yīng)的信息。Resnick等人［4］提出GroupLens個性化導(dǎo)航系統(tǒng)幫助用戶找到自己感興趣的新聞，GroupLens的誕生為協(xié)同過濾推薦算法奠定了基礎(chǔ)。自此之后傳統(tǒng)協(xié)同過濾推薦算法具體分為三大類：a）基于用戶或項目的協(xié)同過濾推薦算法，通過收集用戶和項目相關(guān)信息完成推薦［5，6］；b）基于矩陣分解的協(xié)同過濾推薦算法是將用戶和項目表示為向量，并使用向量的內(nèi)積重現(xiàn)用戶項目的交互矩陣［7～9］；c）基于深度學(xué)習(xí)的協(xié)同過濾推薦算法，通過深度學(xué)習(xí)對用戶和項目的表示形式重構(gòu)為向量，使用向量內(nèi)積呈現(xiàn)用戶項目的交互矩陣［5，10，11］。然而，傳統(tǒng)協(xié)同過濾推薦算法無法挖掘到更深層次的有用信息，導(dǎo)致推薦結(jié)果差強人意。

因此，研究人員提出使用圖神經(jīng)網(wǎng)絡(luò)聚合用戶和項目表示向量［12］。圖神經(jīng)網(wǎng)絡(luò)具有權(quán)值共享、局部連接和多層網(wǎng)絡(luò)特點，因此能夠挖掘到更深層次的有價值的信息［13，14］。基于圖神經(jīng)網(wǎng)絡(luò)輔助的推薦算法可以通過局部圖或全圖多層迭代，將多層相關(guān)有用的信息聚合到當(dāng)前表示向量中，形成更加準(zhǔn)確的推薦結(jié)果。圖卷積神經(jīng)網(wǎng)絡(luò)是基于圖神經(jīng)網(wǎng)絡(luò)并使用卷積運算，同時繼承了圖神經(jīng)網(wǎng)絡(luò)中可以處理非歐幾里德數(shù)據(jù)的特點，對于數(shù)據(jù)的聚合方式的準(zhǔn)確性和高效性有了更進(jìn)一步的提高［14，15］。對比沒有使用圖神經(jīng)網(wǎng)絡(luò)的推薦算法，使用圖神經(jīng)網(wǎng)絡(luò)的推薦算法具有更高的推薦準(zhǔn)確性［16］。

綜上，圖卷積神經(jīng)網(wǎng)絡(luò)可以融合進(jìn)推薦系統(tǒng)中，從而挖掘相關(guān)更有價值的信息。然而圖卷積神經(jīng)網(wǎng)絡(luò)如何聚合用戶和項目的表示向量是個關(guān)鍵問題，文獻(xiàn)［17］提出的隨機漫步算法可以很好地應(yīng)用于圖神經(jīng)網(wǎng)絡(luò)并聚合大量本地化信息;文獻(xiàn)［18］的重啟隨機漫步算法相對于隨機漫步算法增加了重啟概率，可以捕捉多個節(jié)點之間的關(guān)系；Klicpera等人［19］提出APPNP算法，此算法有效運用于圖神經(jīng)網(wǎng)絡(luò)中，且實驗表明該算法對于圖神經(jīng)網(wǎng)絡(luò)的聚合準(zhǔn)確性有很大提升。然而這些方法都需要人為設(shè)定重啟概率，無法自動調(diào)節(jié)至最優(yōu)重啟概率。對此本文提出一種基于自適應(yīng)圖卷積注意力神經(jīng)協(xié)同推薦算法（adaptive neural graph convolution attention collaborative filtering，ANGCACF），利用圖卷積神經(jīng)網(wǎng)絡(luò)提取用戶和項目特征，同時自適應(yīng)地調(diào)整用戶和項目的聚合系數(shù)，并增加自適應(yīng)填充矩陣，通過注意力機制對用戶和項目的權(quán)重系數(shù)重新分配并進(jìn)行top-N推薦。本文的主要貢獻(xiàn)如下：a）提出自適應(yīng)聚合方法，用于聚合用戶和項目特征，該方法能自適應(yīng)地調(diào)整聚合系數(shù)，具有更快的收斂速度；b）提出自適應(yīng)填充矩陣，用于填充用戶和項目的缺失值，減少稀疏性，并使用注意力機制重新調(diào)整用戶和項目的權(quán)重，以達(dá)到最優(yōu)化權(quán)重，實驗表明使用基于注意力的自適應(yīng)填充矩陣推薦準(zhǔn)確性優(yōu)于不使用基于注意力的自適應(yīng)填充矩陣。基于電影和購物三個不同場景的公開數(shù)據(jù)集，將提出算法與Pop、DMF、NNCF、NAIS和 NGCF五個基準(zhǔn)算法進(jìn)行了對比分析，實驗結(jié)果表明本文算法具有合理性和有效性。

1 相關(guān)工作

1.1 傳統(tǒng)協(xié)同過濾推薦算法

Adomavicius等人［20］提出了推薦系統(tǒng)的定義：用戶集合U，物品集合I，并用Rij表示用戶ui對ij的喜好程度，R為所有用戶和物品的交互矩陣，R∈R|U|×|I|。同時定義一個函數(shù)f：U×I→R，給與函數(shù)定義為

Ui∈U，IWantList=argmaxIj∈I f（Ui，Ij）（1）

其中：argmaxIj∈I表示在物品集合I中找到最大的Ij。

傳統(tǒng)協(xié)同過濾推薦算法是通過對用戶和項目之間的交互記錄計算用戶之間或項目之間的相似度，利用其相似的用戶對物品的反饋來預(yù)測用戶與用戶之間或物品與物品之間的相似度大小并進(jìn)行推薦；基于近鄰的協(xié)同過濾推薦算法［21］是通過用戶對物品的歷史評分或歷史交互次數(shù)利用皮爾森相似度、Jaccard距離、余弦相似度計算出相似度矩陣［22～24］，最后通過相似度矩陣的集合列表找出最大相似度的推薦物品。

1.2 基于圖神經(jīng)網(wǎng)絡(luò)的神經(jīng)協(xié)同推薦算法

隨著數(shù)據(jù)的增加，越來越多的非歐氏結(jié)構(gòu)的數(shù)據(jù)出現(xiàn)，且傳統(tǒng)神經(jīng)網(wǎng)絡(luò)無法處理非歐氏數(shù)據(jù)。Sperduti等人［25］提出了遞歸神經(jīng)網(wǎng)絡(luò)來處理結(jié)構(gòu)化域。隨后圖神經(jīng)網(wǎng)絡(luò)在機器學(xué)習(xí)領(lǐng)域被用來處理節(jié)點之間的聚合關(guān)系，融合了更多有用的信息［26］。Tang等人［27］將圖神經(jīng)網(wǎng)絡(luò)引入推薦系統(tǒng)提出了LINE推薦算法，并解決了如何將高維信息網(wǎng)絡(luò)嵌入到低維向量空間，LINE推薦算法可以適用于任何類型的圖。文獻(xiàn)［28］提出了基于圖卷積神經(jīng)網(wǎng)絡(luò)的圖自編碼器，可以通過鏈路預(yù)測的方法來解決物品評分。但是應(yīng)用鏈路預(yù)測方法的圖神經(jīng)網(wǎng)絡(luò)仍然存在部分問題，一方面，在大型數(shù)據(jù)面前使用鏈路預(yù)測很容易造成迭代深度無法確定的情況；另一方面，在小型數(shù)據(jù)面前很容易造成多節(jié)點向量相同導(dǎo)致無法收斂。于是研究人員開始在基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法中引入注意力機制［29，30］、應(yīng)用于各種數(shù)據(jù)集的鏈路預(yù)測［31～33］來解決這兩個問題。

1.3 基于圖卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)協(xié)同推薦算法

Kipf等人［34］提出圖卷積神經(jīng)網(wǎng)絡(luò)使用拉普拉斯算子以更高效的方式處理非歐氏數(shù)據(jù)，隨后大量學(xué)者將圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于推薦系統(tǒng)領(lǐng)域中。NNCF考慮到傳統(tǒng)的協(xié)同過濾推薦算法無法有效地捕獲本地化信息，首次提出運用圖卷積神經(jīng)網(wǎng)絡(luò)集成本地化信息［35］；SpectralCF為了解決冷啟動問題，提出了在頻域執(zhí)行譜卷積運算，有效顯示圖的本地化信息和圖中隱藏的有效信息［36］；NGCF考慮到傳統(tǒng)協(xié)同過濾推薦算法無法有效的捕獲用戶和項目交互過程中潛在的有效信息，提出運用圖卷積神經(jīng)網(wǎng)絡(luò)嵌入用戶項目交互向量［37］；LightGCN考慮到NGCF推薦算法參數(shù)過于冗余，對NGCF進(jìn)行了參數(shù)精簡同時提高了計算效率和性能指標(biāo)［38］；DGCF考慮到傳統(tǒng)的協(xié)同過濾推薦算法沒有把用戶點擊項目時的意圖加入到算法中，提出了對每個用戶交互項目時的意圖進(jìn)行建模，通過不斷迭代計算出當(dāng)前用戶意圖感知交互圖的表示［39］。上述幾種推薦算法是利用圖卷積神經(jīng)網(wǎng)絡(luò)聚合用戶和項目本地化信息。

基于圖卷積神經(jīng)協(xié)同推薦算法可以將用戶的歷史行為記錄與候選物品的高階隱藏信息挖掘出來，彌補了協(xié)同過濾推薦算法無法利用項目對用戶的高階隱藏有用信息，有效解決了傳統(tǒng)協(xié)同過濾算法面臨的反饋數(shù)據(jù)稀疏和推薦結(jié)果解釋性差的問題，提升推薦算法的性能。

綜上所述，傳統(tǒng)的協(xié)同過濾算法是根據(jù)用戶對物品的歷史交互記錄進(jìn)行推薦，忽略了很多高階有用的信息但是其具有方便快捷可快速部署的優(yōu)點。圖神經(jīng)網(wǎng)絡(luò)輔助的推薦算法可以通過鏈路預(yù)測的方式聚合本地化高階信息，但卻存在聚合效率慢和無法收斂的情況。圖卷積神經(jīng)網(wǎng)絡(luò)輔助的推薦算法繼承了圖神經(jīng)網(wǎng)絡(luò)的優(yōu)點，并改進(jìn)了聚合方式，因其自身需要全圖迭代的特性對于無監(jiān)督任務(wù)的效果不佳。為了改善上述問題本文提出基于自適應(yīng)圖卷積注意力神經(jīng)協(xié)同推薦算法，通過添加自適應(yīng)填充矩陣和注意力機制重新分配權(quán)重在一定程度上能緩解稀疏程度，并通過自適應(yīng)聚合系數(shù)的迭代方式有效優(yōu)化了圖卷積神經(jīng)網(wǎng)絡(luò)對于無監(jiān)督任務(wù)的特征處理方式。

2 ANGCACF算法

2.1 提出算法的整體框架

ANGCACF算法整體框架如圖1所示。

模型由兩個部分組成：

a）基于自適應(yīng)圖卷積注意力神經(jīng)網(wǎng)絡(luò)（adaptive graph convolution attention neural network，AGCAN）提取用戶和項目的特征向量。AGCAN融合了基于自適應(yīng)填充矩陣圖卷積注意力神經(jīng)網(wǎng)絡(luò)（adaptive filled matrix graph convolution attention neural network，AFMGCAN）和基于聚合系數(shù)自適應(yīng)的圖卷積神經(jīng)網(wǎng)絡(luò)（adaptive aggregation coefficient graph convolution attention neural network，AACGCN）。其中AGCAN包含用戶和項目評分one-hot編碼，加入自適應(yīng)填充矩陣、注意力機制和自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)的聚合系數(shù)，從而迭代出用戶和項目的特征向量。

b）基于矩陣分解的協(xié)同過濾推薦算法框架完成推薦算法預(yù)測和模型優(yōu)化，通過用戶和項目的特征向量內(nèi)積y（U，I）作為用戶對項目的交互偏向值，按照此值對目標(biāo)用戶進(jìn)行推薦和預(yù)測。

2.2 自適應(yīng)圖卷積注意力神經(jīng)協(xié)同模型

假設(shè)給定用戶集合U={u1，u2，u3，…，un} 和項目集合I={i1，i2，i3，…，in}，n和m分別是用戶和項目的總數(shù)；定義用戶和項目的交互矩陣為E∈Mm×n，其中Eij=1表示用戶ui對項目ij發(fā)生過交互。基于用戶集合U對項目集合I的交互得到產(chǎn)生用戶—項目交互圖，用戶—項目交互示意圖如圖2所示。對交互矩陣E進(jìn)行one-hot編碼，將one-hot編碼按照一定維度嵌入后產(chǎn)生e0u1和e0i1。其中e0u1表示初始用戶特征向量，e0i1表示初始項目特征向量。

2.2.1 自適應(yīng)填充矩陣圖卷積注意力神經(jīng)網(wǎng)絡(luò)

用戶自適應(yīng)填充矩陣和用戶特征向量結(jié)合后為

e0u2=e0u1+Λ（Ru）（2）

其中：Ru為隨機向量，其維度與用戶特征向量e0u1相同;Λ（·）為自適應(yīng)計算函數(shù)，通過機器學(xué)習(xí)二元自適應(yīng)均值匯聚層（adaptiveAvgPool2d）進(jìn)行訓(xùn)練自適應(yīng)填充矩陣;e0u2為經(jīng)過自適應(yīng)填充矩陣和用戶特征向量結(jié)合后的用戶特征向量。

ANGCACF中使用的注意力機制為自注意力機制，將結(jié)合后的用戶特征向量和項目特征向量進(jìn)行如下計算：

u=softmax（e0u2），e0u=u·e0u2（3）

通過式（2）（3）得到用戶特征向量和項目特征向量。AGCAN中的特征向量嵌入層融合方式為

e0u=softmax（e0u1+Λ（Ru））（e0u1+Λ（Ru））（4）

用戶特征向量最終按照如下操作處理：

elu=LRWl1el-1u+

∑i←Nu1|Nu||Ni|Wl1el-1u+Wl2（el-1u·el-1i）（5）

其中：LR（·）為LeakyReLU激活函數(shù)；Wl1、Wl2為對應(yīng)第l次迭代用戶特征向量的權(quán)重向量；Nu和Ni分別用戶u和物品i的一跳鄰居數(shù)量；el-1u為經(jīng)過第l-1次迭代后的用戶特征向量;el-1i為經(jīng)過第l-1次迭代后的用戶特征向量；eli為經(jīng)過第l次迭代后的用戶特征向量。聚合項目特征向量和聚合用戶特征向量步驟相同。按照矩陣形式的迭代規(guī)則為

El=Θ（（Ω+I）El-1Wl1+ΩEl-1⊕El-1Wl2）（6）

其中：El∈M（m+n）×d是經(jīng)過l次迭代后得到的用戶和項目的特征矩陣，d為嵌入的維度;E0是E的最初表示形式，由e0u2和e0i2拼接組成；Θ（·）為非線性變換函數(shù)；I為用戶和項目交互矩陣的單位矩陣，Ω為用戶和項目交互矩陣的拉普拉斯矩陣，公式為

Ω=D－12AD－12（7）

其中：A為用戶和項目交互矩陣的鄰接矩陣；D為用戶和項目交互矩陣的度數(shù)矩陣。

2.2.2 聚合系數(shù)自適應(yīng)的圖卷積神經(jīng)網(wǎng)絡(luò)

用戶特征向量特征向量按照如下操作處理：

elu=LR（1－）Wl1el－1u+

∑i∈Nu1|Nu||Ni|Wl1el－1u+Wl2（el－1u⊕el－1i）（8）

其中：為通過二元自適應(yīng)均值匯聚層計算的自適應(yīng)調(diào)節(jié)匯聚系數(shù)，且該二元自適應(yīng)均值匯聚層與自適應(yīng)填充矩陣不共享參數(shù)為獨立計算單元。聚合項目特征向量和聚合用戶特征向量步驟相同。按照矩陣形式的迭代規(guī)則為

El=Θ（（1－）（Ω+I）El-1Wl1+ΩEl-1⊕El-1Wl2）（9）

2.2.3 自適應(yīng)圖卷積注意力神經(jīng)網(wǎng)絡(luò)

自適應(yīng)圖卷積注意力神經(jīng)網(wǎng)絡(luò)由自適應(yīng)填充矩陣圖卷積注意力神經(jīng)網(wǎng)絡(luò)和聚合系數(shù)自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)組合而成，其運行流程如圖3所示。

由圖3可知AGCAN首先獲取用戶和項目的相關(guān)信息，通過判斷用戶和項目的稀疏程度是否需要進(jìn)入自適應(yīng)填充矩陣圖卷積注意力神經(jīng)網(wǎng)絡(luò)，當(dāng)稀疏程度小于自適應(yīng)閾值時自動進(jìn)入聚合系數(shù)自適應(yīng)神經(jīng)網(wǎng)絡(luò)，完成本地化信息聚合。AGCAN特征向量聚合處理流程如算法1所示。

算法1 AGCAN算法

input： U is a collection of all users; I is a collection of all items; E is the users and items interaction matrix

output： eu，ei

initialize： set euU，eiU，RANDu=dimension（eu），RANDi=dimension（ei）， adapt（） is adaptiveAvgPool2d（），att（） is selfattention（）， a is random number， A is laplace operator of E

ei=ei+adapt（RANDi）

eu=eu+adapt（RANDu）

eu=att（eu）*eu

ei=att（ei）*ei

for i=eu1， eu2， eun，j=ei1，ei2，eim do

tempu=aggregate i and j

end for

for i=eu1，eu2，…，eun，j=e1，e2，…，eim do

tempi=aggregate i and j

end for

eu=adapt（a）*tempu+（1-adapt（a））*tempi

ei=adapt（a）*tempu+（1-adapt（a））*tempi

return eu，ei

2.3 算法預(yù)測

通過l層迭代產(chǎn)生的用戶特征向量{e0u，e1u，e2u，…，enu} ，其中e0u與e1u等不同層的用戶特征向量反映用戶不同的偏好興趣，并將所有層所產(chǎn)生的用戶特征向量連接起來產(chǎn)生用戶的最終特征向量。同樣項目的最終特征向量也由多層迭代產(chǎn)生的項目特征向量連接構(gòu)成。最終用戶和項目的特征向量表示如下：

e*u=e0u‖…‖elu，e*i=e0i‖…‖eli（10）

其中：‖表示按照列的形式進(jìn)行連接。

e0u= WRET，e1u= SFDG，e*u=e0u‖e1u= WRSFETDG（11）

然后將用戶、項目的最終特征向量做內(nèi)積操作得到用戶對該項目的偏好y（U，I），公式定義如下：

y（U，I）=e*u·e*i（12）

2.4 模型優(yōu)化

為了優(yōu)化模型中參數(shù)，使用BPR推薦算法中的損失函數(shù)學(xué)習(xí)模型中存在的參數(shù)［40］。BPR推薦算法認(rèn)為正采樣（用戶對項目有過歷史交互行為）的預(yù)測值應(yīng)當(dāng)比負(fù)采樣（用戶對項目沒有有歷史交互行為）的預(yù)測值高，本模型的損失函數(shù)為

Loss=∑（u，i，j∈Ω）-lnσ（yui-yuj）+τ‖θ‖22（13）

其中：Ω={（u，i，j）|（u，i）∈Ω+，（u，j）∈Ω-}表示當(dāng)前數(shù)據(jù)集中的所有的數(shù)據(jù)，Ω+為正采樣樣本數(shù)據(jù)，Ω-為負(fù)采樣樣本數(shù)據(jù)；θ為模型中所有可訓(xùn)練的參數(shù)。同時采用Adam優(yōu)化算法來優(yōu)化式（14）中的參數(shù)［41］。Adam優(yōu)化算法相對于SGD優(yōu)化算法加入一階和二階動量，對于尋找局部最優(yōu)解更加快捷［42］。

3 實驗分析

3.1 實驗數(shù)據(jù)集

實驗使用來自電影和購物三個不同領(lǐng)域的真實數(shù)據(jù)集：MovieLens-1M、MovieLens-100K以及Amazon-book［43，44］。其中，MovieLens-1M和MovieLens-100K由GroupLens研究團隊收集，MovieLens-1M是針對電影推薦場景下的一種基準(zhǔn)數(shù)據(jù)集，包含了MovieLens網(wǎng)站上由6 040個用戶和3 952部電影組成的大約100 000個用戶對電影的顯式評分（分值為1～5），稀疏度為95.81%：MovieLens-100K是針對電影推薦場景下的一種基準(zhǔn)數(shù)據(jù)集，包含了MovieLens網(wǎng)站上由943個用戶和1 682部電影組成的大約100萬個用戶對電影的顯式評分（分值為1～5），稀疏度為93.71%。Amazon-baby是Amazon-review數(shù)據(jù)集中的一個子集，包含了531 890個用戶對64 426嬰兒產(chǎn)品915 446個評分，稀疏度為99.997 3%分值（分值為1～5）。

上述三個數(shù)據(jù)集在規(guī)模大小和稀疏性方面各不相同，為了便于實驗，對數(shù)據(jù)集進(jìn)行了處理。首先，針對隱式反饋推薦問題，將兩種顯示反饋數(shù)據(jù)集中用戶對項目的評分轉(zhuǎn)換為0或1的隱式交互數(shù)據(jù)，并使用正例交互（評分值大于等于3）進(jìn)行訓(xùn)練和測試。其次，在MovieLens-1M中，移除評分值低于3的項目數(shù)據(jù)，最終得到的數(shù)據(jù)集包含了6 040個用戶、3 629部電影和836 478次交互；在Amazon-baby中，由于該數(shù)據(jù)集規(guī)模較大并且異常稀疏，并通過3核過濾的方式來保證其質(zhì)量，即保留至少擁有3次交互的用戶和項目，最終得到的數(shù)據(jù)集包含52 672個用戶、14 257個嬰兒產(chǎn)品和270 718次交互。三個實驗數(shù)據(jù)集的統(tǒng)計信息如表1所示。

3.2 實驗評價指標(biāo)

在實驗中，對用戶u使用推薦算法所產(chǎn)生的物品集合I={i1，i2，i3，…，in}，其中inu對于用戶u產(chǎn)生的第n個推薦物品。定義ir為用戶在測試集中真實選擇過的歷史項目集合，I為用戶在測試集所有測試集合。使用precision@N、recall@N、NDCG@N、hit@N、Mrr@N五個指標(biāo)來評估top-N推薦的性能。

召回率是一種計算所有相關(guān)項目中相關(guān)項目分?jǐn)?shù)的方法：

recall@N=Iu∩Ir|Ir|（14）

平均倒數(shù)排名是計算由算法找到的第一個相關(guān)項排名情況：

Mrr@N=1|I|∑u∈U1rank*u（15）

其中：rank*u算法是為用戶找到的第一個相關(guān)項的排名位置。

命中率是一種計算在N大小的排名項目列表中有多少個命中的方法。如果至少有一項在I中稱之為一次命中：

hit@N=IuI（16）

歸一化折損累計增益是為了讓排名越靠前的結(jié)果越能影響最后的結(jié)果。

NDCG@N=∑pi=12reli－1logi+12∑|REL|i=12reli－1logi+12（17）

其中：reli代表i這個位置上的相關(guān)度；|REL|表示結(jié)果按照相關(guān)性從大到小的順序排序，取前P個結(jié)果組成的集合。

準(zhǔn)確率可以體現(xiàn)出當(dāng)前推薦算法所產(chǎn)生的推薦項目中用戶感興趣項目所占的百分比：

precision@N=Iu∩Ir|I|（18）

3.3 基準(zhǔn)算法及實驗設(shè)置

本次實驗使用以下基準(zhǔn)算法：a）Pop（popularity），按照數(shù)據(jù)集中項目的流行度推薦給用戶；b）DMF［45］一種深層結(jié)構(gòu)學(xué)習(xí)體系結(jié)構(gòu)，是基于交叉熵的新的損失函數(shù)，充分考慮了明確的評級和隱含的反饋進(jìn)行推薦；c）NNCF一種基于鄰域的神經(jīng)協(xié)同過濾模型，將鄰域信息集成到神經(jīng)協(xié)同過濾方法中，其中包括用戶項目交互項中的本地信息，以此進(jìn)行推薦；d）NAIS［46］一種神經(jīng)注意力協(xié)同網(wǎng)絡(luò)，使用注意力網(wǎng)絡(luò)重新分配用戶和項目歷史交互信息中的權(quán)重系數(shù)，隨后使用多層感知機進(jìn)行預(yù)測，以此進(jìn)行推薦；e）NGCF一種基于深度圖卷積神經(jīng)網(wǎng)絡(luò)的用戶項目嵌入神經(jīng)網(wǎng)絡(luò)，通過將用戶和項目的本地化信息多層迭代產(chǎn)生用戶和項目的特征信息，隨后按照矩陣分解的協(xié)同過濾框架進(jìn)行推薦。

本文在Python 3.8、PyTorch 1.7.1、CUDA 11.1.74、RTX2060環(huán)境下完成AGCAN、AFMGCAN、AACGCN和基準(zhǔn)算法的對比實驗。在實驗中，按照8∶1∶1的比例在用戶維度上隨機劃分?jǐn)?shù)據(jù)集來構(gòu)建訓(xùn)練集、驗證集和測試集；AGCAN、AFMGCAN、AACGCN模型超參數(shù)的設(shè)置如表2所示。將模型默認(rèn)的學(xué)習(xí)輪數(shù)（epochs）設(shè)置為300，并且當(dāng)驗證集上的評測指標(biāo)在10輪內(nèi)沒有變化時提前結(jié)束訓(xùn)練。基準(zhǔn)方法中的嵌入維度、學(xué)習(xí)率和批處理大小與AGCAN、AFMGCAN、AACGCN相同，其他超參數(shù)默認(rèn)與原始論文或代碼一致。針對top-N推薦任務(wù)，將推薦個數(shù)N設(shè)置為{5，10，15，20，25，30，35，40，45，50}。實驗?zāi)繕?biāo)是為測試集中的每個用戶推薦排名靠前的N個項目，并使用precision@N、recall@N、NDCG@N、hit@N、Mrr@N五個指標(biāo)來衡量各模型的性能。

3.4 實驗結(jié)果及分析

3.4.1 與基準(zhǔn)算法的比較

實驗的推薦任務(wù)中不同的top-N會影響測試的結(jié)果。為了細(xì)致的分析和對比AGCAN、AFMGCAN、AACGCN與基準(zhǔn)算法的指標(biāo)變化情況，將推薦數(shù)量N的范圍設(shè)置為5～50，間隔設(shè)置為5。

1）召回率、準(zhǔn)確率的比較

本文算法和基準(zhǔn)算法在MovieLens-1M、MovieLens-100K和Amazon-baby三個數(shù)據(jù)集上的recall@N的實驗結(jié)果分別如圖4～6所示。從實驗結(jié)果可以發(fā)現(xiàn)，AGCAN、AFMGCAN、AACGCN和基準(zhǔn)算法的recall@N與推薦項目的個數(shù)成正比，并且隨著個數(shù)的增加，趨于平緩；而precision@N值與推薦項目的個數(shù)成反比，并且隨著個數(shù)的增加，趨于穩(wěn)定。由圖4可看出，當(dāng)推薦個數(shù)為5時，AGCAN、AFMGCAN、AACGCN和基準(zhǔn)算法的召回率差距較小，而隨著推薦項目數(shù)量的增加，這種差距逐漸變大；AFMGCAN和NGCF在MovieLens-1M上的召回率也較為接近，同時在AGCAN、AFMGCAN、AACGCN和NGCF在MovieLens-100K上的召回率也較為接近，而在數(shù)據(jù)異常稀疏的Amazon-baby中，AGCAN、AFMGCAN、AACGCN和NGCF的推薦召回率有了較大的差距，并也均高于其他基準(zhǔn)算法。由圖5可得出，當(dāng)推薦個數(shù)為50時，AGCAN、AFMGCAN、AACGCN和NAIS、NGCF的準(zhǔn)確率差距較小，而隨著推薦項目數(shù)量的減少，這種差距逐漸變大；AFMGCAN和NGCF在MovieLens-1M上的準(zhǔn)確率也較為接近，同時在AGCAN、AFMGCAN、AACGCN和NGCF在MovieLens-100K上的準(zhǔn)確率也較為接近，而在數(shù)據(jù)異常稀疏的Amazon-baby中，AGCAN、AFMGCAN、AACGCN和NGCF的推薦準(zhǔn)確率有了較大的差距，并也均高于其他基準(zhǔn)算法。由圖4、5可得出AGCAN、AFMGCAN、AACGCN在數(shù)據(jù)稀疏性較大的數(shù)據(jù)集上表現(xiàn)出色。

當(dāng)推薦個數(shù)為50個時AGCAN、AFMGCAN、AACGCN和基準(zhǔn)算法推薦性能相對較好。在該推薦個數(shù)下，對于Movielens-1M的實驗結(jié)果，AGCAN相對于Pop、DMF、NNCF、NAIS、NGCF五個基準(zhǔn)算法在recall@50的值上分別提升了47.95%、3.70%、2.45%、2.02%、0.56%。對于MovieLens-100K的實驗結(jié)果，AGCAN相對于Pop、DMF、NNCF、NAIS、NGCF五個基準(zhǔn)算法在recall@50的值上分別提升了56.04%、9.34%、3.22%、1.56%、0.10%。對于Amazon-baby的實驗結(jié)果，AGCAN相對于Pop、DMF、NNCF、NAIS、NGCF五個基準(zhǔn)算法在recall@50的值上分別提升了27.28%、24.26%、28.46%、37.52%、1.51%。召回率是體現(xiàn)推薦算法相關(guān)項目分?jǐn)?shù)的方法，故隨著top-N的增加，召回率也隨之增加。Pop算法僅僅是按照流行程度推薦給用戶沒有考慮到用戶的個性化興趣故其召回率最低：DMF、NNCF、NIAS、NGCF算法考慮到用戶的個性化興趣通過不同的方法聚合用戶個性化興趣，其召回率均高于Pop算法：AGCAN考慮到用戶和項目特征向量存在缺失值和聚合用戶和項目的系數(shù)之間存在非凸的問題，所以AGCAN召回率高于Pop、DMF、NNCF、NGCF。實驗數(shù)據(jù)表明通過進(jìn)一步挖掘用戶和項目之間的潛在信息可以提升推薦算法的召回率。

當(dāng)推薦個數(shù)為50時，對于MovieLens-1M的實驗結(jié)果，AGCAN相對于Pop、DMF、NNCF、NAIS、NGCF五個基準(zhǔn)算法在precision@50值上分別提升了43.81%、5.43%、1.87%、0.42%、" 1.67%；對于MovieLens-100K的實驗結(jié)果，AGCAN相對于Pop、DMF、NNCF、NAIS、NGCF五個基準(zhǔn)算法在precision@50值上分別提升了51.17%、10.52%、3.37%、0.1%、0.30%。對于Amazon-baby的實驗結(jié)果，AGCAN相對于Pop、DMF、NNCF、NAIS、NGCF五個基準(zhǔn)算法在precision@50值上分別提升了34.37%、28.12%、31.25%、29.1%、3.12%。準(zhǔn)確率體現(xiàn)出當(dāng)前推薦算法產(chǎn)生的推薦項目中用戶感興趣項目所占的百分比，隨著top-N的增加，準(zhǔn)確率也隨之減少。DMF、NNCF因考慮了用戶和項目的交叉信息，所以準(zhǔn)確率高于Pop，且準(zhǔn)確率數(shù)值相差不大；NAIS、NGCF考慮了用戶項目之間本地化信息聚合和權(quán)重分配，所以其準(zhǔn)確率高于Pop、DMF、NNCF；AGCAN解決了系數(shù)重定和本地化信息聚合所以其準(zhǔn)確率高于所有基線算法實驗數(shù)據(jù)表明通過進(jìn)一步挖掘用戶和項目之間的潛在信息可以提升推薦算法的準(zhǔn)確率。

2）Hit、NDCG、MRR的比較 根據(jù)召回率和準(zhǔn)確率的實驗結(jié)果可知本文提出的三種推薦算法與NGCF的推薦指標(biāo)較為接近，且NGCF推薦指標(biāo)高于其他基準(zhǔn)算法，根據(jù)實驗得出模型在推薦個數(shù)為50時相對于NGCF的提升百分比，數(shù)據(jù)如表3所示。

根據(jù)表3數(shù)據(jù)所得，三種算法的推薦性能在top-50時均優(yōu)于基線算法，且三種算法在Amazon-baby數(shù)據(jù)集上的推薦性能提升更大，證明三種算法可以在一定程度上緩解數(shù)據(jù)稀疏性。

3）算法貢獻(xiàn)度 根據(jù)實驗結(jié)果中Mrr@50和NDCG@50的數(shù)據(jù)可得到AFMGCAN和AACGCN對于AGCAN的貢獻(xiàn)度大小，其中對于模型貢獻(xiàn)度分析如表4所示。

表4按照式（20）為提升準(zhǔn)則計算AFMGCAN和AACGCN對于AGCAN的性能貢獻(xiàn)值，對于該公式所得值越接近0，說明其對于AGCAN的貢獻(xiàn)值越大，通過該公式得出在稀疏性較小的數(shù)據(jù)集中AACGCN對于AGCAN的貢獻(xiàn)值最大，而在稀疏性較大的數(shù)據(jù)集中AFMGCAN的貢獻(xiàn)值較大。由上述對于precision@N、recall@N、NDCG@N、hit@N、Mrr@N的分析可知NGCF為本地化信息聚合，NAIS為注意力神經(jīng)網(wǎng)絡(luò)，且NGCF性能高于NAIS。AFMGCAN僅僅考慮數(shù)據(jù)缺失值和數(shù)據(jù)缺失值的參數(shù)權(quán)值重新確定，而AGCAN考慮到本地化信息的聚合，故稀疏性較大的數(shù)據(jù)集中AACGCN對于AGCAN的性能貢獻(xiàn)最大，而在稀疏性較小的數(shù)據(jù)集中AFMGCAN對于AGCAN的性能貢獻(xiàn)最大。

RelativeOfImprove=Basic-ImproveBasic（19）

通過對圖4、5和表3、4的綜合分析可以得出：a）AGCAN、AFMGCAN、AACGCN在稀疏性較大的數(shù)據(jù)集中表現(xiàn)優(yōu)異，且遠(yuǎn)遠(yuǎn)高于其他基準(zhǔn)算法，實驗證明本文提出三種算法可以在一定程度上解決稀疏性問題;b）稀疏性對于推薦算法的性能的影響較大，Amazon-baby數(shù)據(jù)集稀疏性最大導(dǎo)致其所有推薦性能均不如MovieLens-100K和MovieLens-1M數(shù)據(jù)集;c）在稀疏性較大的數(shù)據(jù)集中AACGCN對于AGCAN的性能貢獻(xiàn)最大，而在稀疏性較小的數(shù)據(jù)集中AFMGCAN對于AGCAN的性能貢獻(xiàn)最大;d）AGCAN、AFMGCAN、AACGCN各項性能均優(yōu)于NGCF，同時本文提出的三種算法均為NGCF的變體。

3.4.2 本地化信息聚合階數(shù)的影響

為了研究本地化信息聚合階數(shù)對于推薦性能的影響，將本地化信息聚合階數(shù)l設(shè)置為{1，2，3，4}，分別在MovieLens-100K、MovieLens-1M和Amazon-baby數(shù)據(jù)集上進(jìn)行實驗，同時使用hit@10和precision@10對不同階數(shù)的模型影響進(jìn)行評估，其他參數(shù)默認(rèn)保持不變。

如表5所示，在top-10的條件下，隨著嵌本地化信息聚合" 階數(shù)l的增加，三種數(shù)據(jù)集上的命中率和準(zhǔn)確率都有一定程度的提升。在Amazon-book中兩種指標(biāo)上提升百分比明顯大于MovieLens-1M，這是因為當(dāng)交互數(shù)據(jù)非常稀疏時，增加本地化信息聚合階數(shù)l可以使模型挖掘到更深層次的信息，從而豐富項目的內(nèi)在特征，降低了稀疏性對推薦性能的負(fù)面影響。

3.4.3 負(fù)采樣率對模型的影響

負(fù)采樣會使模型更新一小部分的權(quán)重來優(yōu)化模型的推薦性能，為了分析負(fù)采樣個數(shù)對實驗結(jié)果的影響，將負(fù)采樣率的范圍設(shè)置為{1，3，5，7，9}，分別在MovieLens-100K、MovieLens-1M和Amazon-baby數(shù)據(jù)集上進(jìn)行實驗，并使用hit@10值和NDCG@10來對不同負(fù)采樣率的模型進(jìn)行評估，分別在MovieLens-100K、MovieLens-1M和Amazon-baby數(shù)據(jù)集上進(jìn)行實驗其他參數(shù)默認(rèn)保持不變。AGCAN、AFMGCAN、AACGCN模型在不同負(fù)采樣率下hit@10、NDCG@10值的實驗結(jié)果如圖6、7所示。

當(dāng)負(fù)采樣個數(shù)設(shè)置為1時，AGCAN、AFMGCAN、AACGCN模型在MovieLens-1M和Amazon-baby兩個數(shù)據(jù)集上已經(jīng)具有了較好的表現(xiàn)。但在MovieLens-100K數(shù)據(jù)集上推薦性能不受負(fù)采樣的影響，因為MovieLens-100K數(shù)據(jù)集稀疏性不如MovieLens-1M和Amazon-baby兩個數(shù)據(jù)集大，且數(shù)據(jù)量不如MovieLens-1M和Amazon-baby兩個數(shù)據(jù)集，故少量的負(fù)樣本對模型無法產(chǎn)生足夠的影響。隨著負(fù)采樣數(shù)量的增加，模型的性能在一定程度上會變得更好。但實驗結(jié)果表明，增加過多的負(fù)采樣個數(shù)則會導(dǎo)致性能下降。當(dāng)負(fù)采樣個數(shù)為1或3時，MovieLens-1M和Amazon-baby兩個數(shù)據(jù)集上hit@10和NDCG@10的值相對最高。當(dāng)負(fù)采樣率為1時，hit@10的值最好，之后性能也開始下降；當(dāng)負(fù)采樣率為3時，NDCG@10的值最好，之后性能也開始下降。同時模型的性能在Amazon-book上也表現(xiàn)出了與MovieLens-1M相同的變化趨勢。使用一定的負(fù)采樣策略可以平衡正負(fù)樣本比例，以此更新模型中一部分的權(quán)重來優(yōu)化模型的推薦性能，提高推薦性能。但過多的負(fù)采樣個數(shù)會使模型的魯棒性變差降低推薦性能，很難取得最優(yōu)的結(jié)果，同時會浪費大量時間讀取負(fù)樣本。因此模型負(fù)采樣率的最佳范圍為{1，3}。

4 結(jié)束語

本文提出了一種自適應(yīng)圖卷積注意力神經(jīng)協(xié)同推薦算法，將圖神經(jīng)網(wǎng)絡(luò)結(jié)合到協(xié)同過濾框架中，使用改進(jìn)的圖神經(jīng)網(wǎng)絡(luò)算法從用戶和項目的本地信息中提取特征信息，并在端到端的模型中聯(lián)合學(xué)習(xí)用戶、項目表征有效地緩解了稀疏性問題，提高了推薦的準(zhǔn)確性。在三個真實數(shù)據(jù)集MovieLens-1M、Movie Lens-100K和Amazon-baby上進(jìn)行實驗，使用precision、recall、Mrr、hit和NDCG作為模型的評估指標(biāo)，將本文算法與Pop、DMF、NNCF、NAIS和NGCF進(jìn)行對比，實驗表明本文算法在三個數(shù)據(jù)集上的指標(biāo)均優(yōu)于對比算法，能為用戶提供更準(zhǔn)確的推薦結(jié)果。本文算法使用圖神經(jīng)網(wǎng)絡(luò)挖掘用戶和項目之間的有用信息，但是缺乏對用戶的其他個性化興趣信息的使用，如用戶興趣、用戶購買時機等。在未來的研究中，將考慮融入用戶個性化興趣等相關(guān)特征以進(jìn)一步緩解協(xié)同過濾算法的稀疏性問題。

參考文獻(xiàn)：

[1]Borchers A， Herlocker J， Konstan J， et al. Ganging up on information overload［J］.Computer，1998，31（4）：106-108.

［2]Goldberg D， Nichols D， Oki B M， et al. Using collaborative filtering to weave an information tapestry［J］.Communications of the ACM，1992，35（12）：61-70.

［3]Zhang Hanwang， Shen Fumin， Liu Wei， et al. Discrete collaborative filtering［C］//Proc of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2016：325-334.

［4]Resnick P， Iacovou N， Suchak M， et al. GroupLens： an open architecture for collaborative filtering of netnews［C］//Proc of ACM Conference on Computer Supported Cooperative Work. New York： ACM Press，1994：175-186.

［5]Liu Yue， Wang ShuLin， Zhang JunFeng， et al. A neural collaborative filtering method for identifying miRNA-disease associations［J］.Neurocomputing，2021，422（1）：176-185.

［6]Tewari A S. Generating items recommendations by fusing content and user-item based collaborative filtering［J］.Procedia Computer Science，2020，167：1934-1940.

［7]Chen Hai， Qian Fulan， Chen Jie， et al. Attribute-based neural collaborative filtering［J］.Expert Systems with Applications，2021，185（4）：115539.

［8]Srinivas R， Verma N， Kraka E， et al. Deep learning-based ligand design using shared latent implicit fingerprints from collaborative filtering［J］.Journal of Chemical Information and Modeling，2021，61（5）：1-40.

［9]劉佳.基于矩陣分解協(xié)同過濾算法的評分預(yù)測［D］.北京：北京大學(xué)，2014.（Liu Jia. Score prediction based on matrix decomposition collaborative filtering algorithm［D］.Beijing：Peking University，2014.）

［10]Anwar T， Uma V， Srivastava G. Rec-CFSVD+：implementing recommendation system using collaborative filtering and singular value decomposition（SVD）++［J］.International Journal of Information Technology and Decision Making，2021，20（4）：1075-1093.

［11]Han Xue， Wang Zhong， Xu Huijun. Time-weighted collaborative filtering algorithm based on improved mini batch K-means clustering［J］.Advances in Science and Technology，2021，105：309-317.

［12]Wu Shiwen， Zhang Wentao， Sun Fei， et al.Graph neural networks in recommender systems：a survey［EB/OL］.（2020-11-04）.https：//arxiv.org/abs/2011.02260v3.

［13]Zhou Jie， Cui Ganqu， Hu Shengding， et al. Graph neural networks： a review of methods and applications［J］.AI Open，2020，1：57-81.

［14]Wu Zonghan， Pan Shirui， Chen Fengwen， et al. A comprehensive survey on graph neural networks［J］.IEEE Trans on Neural Networks and Learning Systems，2021，32（1）：4-24.

［15]Wang Yuanqing，Karaletsos T.Stochastic aggregation in graph neural networks［EB/OL］.（2021-02-26）.https：//arxiv.org/abs/2102.12648v2.

［16]吳國棟，查志康，涂立靜，等.圖神經(jīng)網(wǎng)絡(luò)推薦研究進(jìn)展［J］.智能系統(tǒng)學(xué)報，2020，15（1）：14-24.（Wu Guodong， Zha Zhikang， Tu Lijing， et al. Research advances in graph neural network recommendation［J］.CAAI Trans on Intelligent Systems，2020，15（1）：14-24.）

［17]Samuel K， James M. Random walks［J］.Illinois Journal of Mathematics，1959，3（1）：66-81.

［18]Tong Hanghang， Faloutsos C， Pan Jiayu. Fast random walk with restart and its applications［C］//Proc of the 6th International Conference on Data Mining.Washington DC：IEEE Computer Society，2007：613-622.

［19]Klicpera J， Bojchevski A， Günnemann S. Predict then propagate：graph neural networks meet personalized PageRank［EB/OL］.（2019-02-27）.https：//arxiv.org/abs/1810.05997v5.

［20]Adomavicius G， Tuzhilin A. Toward the next generation of recommender systems：a survey of the state-of-the-art and possible extensions［J］.IEEE Trans on Knowledge and Data Engineering，2005，17（6）：734-749.

［21]Lin Zhuoyi， Feng Lei， Yin Rui， et al. GLIMG： global and local item graphs for top-N recommender systems［J］.Information Sciences，2021，580（11）：1-14.

［22]Biber D. Variation across speech and writing： Pearson correlation coefficients for all linguistic features［M］.Cambridge：Cambridge University Press，1988：270-279.

［23]Yuan Yading， Chao Ming， Lo Y C. Automatic skin lesion segmentation using deep fully convolutional networks with Jaccard distance［J］.IEEE Trans Medical Imaging，2017，36（9）：1876-1886.

［24]Abdel-Basset M， Moham M， Elhoseny M， et al. Cosine similarity mea-sures of bipolar neutrosophic set for diagnosis of bipolar disorder diseases［J］.Artificial Intelligence in Medicine，2019，101（11）：101735.

［25]Sperduti A， Starita A. Supervised neural networks for the classification of structures［J］.IEEE Trans on Neural Networks，1997，8（3）：714-735.

［26]馬帥，劉建偉，左信.圖神經(jīng)網(wǎng)絡(luò)綜述［J］.計算機研究與發(fā)展，2022，59（1）：47-80.（Ma Shuai， Liu Jinwei， Zuo Xin. Survey on graph neural network［J］.Journal of Computer Research and Development，2022，59（1）：47-80.）

［27]Tang Jian， Qu Meng， Wang Mingzhe， et al. LINE： large-scale information network embedding［C］//Proc of the 24th International Conference on World Wide Web.2015：1067-1077.

［28]Van den Berg R， Kipf T N， Welling M. Graph convolutional matrix completion［EB/OL］.（2017-10-25）.https：//arxiv.org/abs/1706.02263v2.

［29]張宸嘉，朱磊，俞璐.卷積神經(jīng)網(wǎng)絡(luò)中的注意力機制綜述［J］.計算機工程與應(yīng)用，2021，57（20）：64-72.（Zhang Chenjia， Zhu Lei， Yu Lu. Review of attention mechanism in convolutional neural networks［J］.Computer Engineering and Applications，2021，57（20）：64-72.）

［30]任歡，王旭光.注意力機制綜述［J］.計算機應(yīng)用，2021，41（S1）：1-6.（Ren Huan， Wang Xuguang. Review of attention mechanism［J］.Journal of Computer Applications，2021，41（S1）：1-6.）

［31]Klicpera J， Bojchevski A， Günnemann S. Personalized embedding propagation： combining neural networks on graphs with personalized PageRank［EB/OL］.（2019-02-27）.https：//arxiv.org/abs/1810.05997v1.

［32]Wu Zhifeng， Li Yaohui. Link prediction based on multi-steps resource allocation［C］//Proc of IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technologies.Washington DC：IEEE Computer Society，2014：355-360.

［33]Zhang Muhan，Chen Yixin. Link prediction based on graph neural networks［C］//Proc of the 32nd International Conference on Neural Information Processing Systems. Red Hook，NY：Curran Associates Inc.，2018：5171-5181.

［34]Kipf T N， Welling M. Semi-supervised classification with graph con-volutional networks［EB/OL］.（2017-02-22）.https：//arxiv.org/abs/1609.02907.

［35]Bai Ting，Wen Jirong，Zhang Jun，et al. A neural collaborative filtering model with interaction-based neighborhood［C］//Proc of ACM on Conference on Information and Knowledge Management.New York：ACM Press，2017：1979-1982.

［36]Zheng Lei， Lu Chunta， Jiang Fei， et al. Spectral collaborative filtering［C］//Proc of the 12th ACM Conference on Recommender Systems.New York：ACM Press，2018：311-319.

［37]Wang Xiang， He Xiangnan， Wang Meng， et al. Neural graph colla-borative filtering［C］//Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2019：165-174.

［38]He Xiangnan， Deng Kuan， Wang Xiang， et al. LightGCN： simpli-fying and powering graph convolution network for recommendation［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2020：639-648.

［39]Wang Xiang， Jin Hongye， Zhang An， et al. Disentangled graph collaborative filtering［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2020：1001-1010.

［40]Rendle S， Freudenthaler C， Gantner Z， et al. BPR： Bayesian personalized ranking from implicit feedback［C］//Proc of the 25th Conference on Uncertainty in Artificial Intelligence.Arlington：AUAI Press，2009：452-461.

［41]Kingma D， Ba J. Adam： a method for stochastic optimization［C］//Proc of International Conference on Learning Representations.2015.

［42]Robbins H， Monro S. A stochastic approximation method［J］.Annals of Mathematical Statistics，1951，22（3）：400-407.

［43]Grouplens Research.MovieLens［DB/OL］.（2021-06-25）.https：//grouplens.org/datasets/movielens.

［44]McAuley J.Amazon product data［DB/OL］.（2014）.http：//jmcauley.ucsd.edu/data/amazon.

［45]Xue Hongjia，Dai Xinyu，Zhang Jianbing， et al. Deep matrix factorization models for recommender systems［C］//Proc of the 26th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2017：3203-3209.

［46]He Xiangnan， He Zhankui， Song Jingkuan， et al. NAIS： neural attentive item similarity model for recommendation［J］.IEEE Trans on Knowledge and Data Engineering，2018，30（12）：2354-2366.