卷積融合文本和異質信息網絡的學術論文推薦算法

摘 要： 為了完全挖掘異質信息網絡中節點的特征并且更好地融合這些特征，提高推薦算法的性能，提出一種基于自注意力機制的局部與全局特征融合的評分預測算法（rating prediction algorithm based on self-attention mechanism and fusion of local amp; global features，AMFLamp;GRec）。首先基于LeaderRank算法提取目標節點的全局序列，基于元路徑帶偏置的隨機游走算法提取節點的局部序列，通過skip-gram模型分別學習節點的全局特征與局部特征；通過自注意力機制學習目標節點對局部與全局特征的偏好，從而得到在單一元路徑下節點的特征表示；再通過自注意力機制融合不同元路徑下同一節點的表示，從而得到節點在不同元路徑下的最終特征表示；最后基于多層感知器實現評分預測任務。在兩個真實數據集進行了大量實驗，實驗結果驗證了AMFLamp;GRec算法不僅能夠捕獲具有密集連通節點的微觀（局部）結構，而且還能夠捕獲該節點在網絡中的全局結構，從而使其得到的節點特征得以體現節點的整體（局部+全局）特征。同時，實驗結果也證明了AMFLamp;GRec算法評分預測性能優于對比算法，從而證明利用自注意力機制考慮異質信息網絡中節點對于局部、全局特征以及元路徑的偏好能夠提高評分預測的準確性。

關鍵詞： 異質信息網絡； 網絡表示學習； 注意力機制； 評分預測

中圖分類號： TP391"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-009-1337-06

doi：10.19734/j.issn.1001-3695.2021.10.0446

Rating prediction algorithm based on self-attention mechanism and fusion of local amp; global features

Yi Lei1，2， Ji Shujuan1

（1.Shandong Provincial Key Laboratory of Wisdom Mine Information Technology， Shandong University of Science amp; Technology， Qingdao Shandong 266590， China； 2.Dept. of Personnel， Shandong Jianzhu University， Jinan 250101， China）

Abstract： In order to fully mine nodes’ features and better integrate these features simultaneously in the heterogeneous information network，this paper proposed a AMFLamp;GRec.Firstly，AMFLamp;GRec used the LeaderRank algorithm to extract the target node’ global sequence，and used a meta-path-based heterogeneous information network embedding model to extract the node’ local sequence，and used the skip-gram model to learn the node’ global and local features.And then it used the self-attention mechanism to learn the preference of the target nodes’ local and global features to obtain the feature representation of the target node in a single meta-path.Secondly，it used the self-attention mechanism to fuse the representation of the same node under different meta-paths to obtain the final feature representation.Finally，it utilized a multi-layer perceptron to achieve the task of rating prediction.This paper conducted a large number of experiments on two real datasets.The experimental results verify that the AMFLamp;GRec algorithm can not only capture the micro（local） structure of densely connected nodes，but also capture the global structure of the node in the network，and finally obtain nodes’ overall（local+global） characteristics.At the same time，the experimental results also prove that the AMFLamp;GRec’s rating prediction performance is better than the baselines.It proves that in the heterogeneous information network utilizing the self-attention mechanism to consider the nodes’ preferences for local and global features and meta-paths can improve the accuracy of rating prediction.

Key words： heterogeneous information network； network representation learning； self-attention mechanism； rating prediction

0 引言

隨著移動互聯網的快速發展，信息超載成為面臨的困境之一。用戶和項目數目的日益增多，使得用戶需要耗費大量精力來尋找自己感興趣的項目，這會大大降低用戶的消費體驗。近年來，在各種在線服務［1，2］（如電商平臺、電影與視頻網站、社交網絡、Web瀏覽等）中，為了緩解信息超載問題給人們帶來的影響，用于幫助用戶從大量資源中發現感興趣的推薦系統成為解決該問題的有效途徑。

隨著異質信息網絡的發展，人們開始將推薦系統中的打分、社交關系、屬性等信息抽象為包含豐富語義信息的異質信息網絡，從而可以充分利用其來表征推薦系統中豐富的信息。將用戶與項目看做兩種不同類型的節點，將二者之間的交互看做一條邊，以此來構建有關于推薦系統的基于用戶—項目的異質信息網絡。現有大多數基于異質信息網絡的推薦算法［3～5］直接計算用戶與項目間基于元路徑之間的相似度來提高推薦性能，但是這種推薦算法并不能完全挖掘用戶和項目隱含的結構特征［6］。基于上述背景，由于推薦系統中的打分、社交關系、屬性等信息可以抽象為包含豐富語義信息的異質信息網絡，本文利用異質信息網絡來建模推薦系統，并利用網絡表示學習的方法來獲取推薦系統中用戶與項目節點豐富的輔助信息。

現有工作大多致力于探索異質信息網絡中具有密集連接節點的鄰域結構，然而利用節點有限的鄰域結構信息來代替節點的全局結構存在一定的局限性。因此為了充分捕獲節點序列的局部鄰域結構與全局結構，本文提出一種基于自注意力機制的局部與全局特征融合的評分預測算法（AMFLamp;GRec）。與已有工作相比，本文框架的創新點為：a）同時考慮節點序列的局部鄰域結構與全局整體結構；b）采用兩層自注意力機制學習節點對于局部、全局特征以及不同元路徑的偏好程度。在MovieLens-100K和Yelp數據集的實驗結果表明AMFLamp;GRec算法在評價指標MAE與RMSE上要優于其他比較算法。同時，本文也探索了注意力機制對推薦效果的影響。

1 相關工作

1.1 基于注意力機制的評分預測

注意力機制近年來開始被廣泛應用，隨之成為神經網絡結構的重要組成部分，并從最初用于機器翻譯［7］，一直延伸到圖像處理［7］以及推薦系統［7］中。Wang等人［8］提出一種在交易數據中考慮注意力機制的上下文嵌入方法；Song等人［9］將多頭注意力引入到推薦系統中提出一種Autoint模型，該模型可以自動學習高階特征組合，并且解決了特征稀疏問題；肖青秀等人［10］將雙層注意力機制引入電影推薦當中，改善了傳統協同過濾算法的弊端；張青博等人［11］則利用注意力機制來擴展標準的矩陣分解模型，克服了傳統矩陣分解模型的弊端。

1.2 基于異質網絡嵌入的評分預測

在異質網絡嵌入研究中，許多研究者提出基于元路徑的隨機游走來獲取節點之間的關系［12～14］。例如，Sun等人［12］利用元路徑直接度量節點間的相似性，學習到的節點相似性能夠體現網絡的結構信息；Yu等人［15］則在傳統的矩陣分解算法優化函數中融入基于節點相似性的正則化參數，同時利用了矩陣分解于與異質信息網絡的優點。還有研究者試圖通過基于元路徑的異質圖嵌入方法同時學習異質信息網絡的結構特征和節點特征。例如，Dong等人［16］通過基于元路徑的游走獲取節點的鄰域，利用skip-gram優化節點的鄰域來學習異質信息網絡中的用戶與項目嵌入。基于神經網絡的方法，Kipf等人［17］提出圖卷積網絡（graph convolution networks，GCN）的頻譜方法，通過對頻譜圖卷積進行局部化的一階近似來設計圖卷積網絡；Hamilton等人［18］提出GraphSAGE，該模型在固定大小的節點鄰居上利用基于神經網絡的聚合方法學習生成嵌入的函數；Fu等人［19］直接利用神經網絡對異質信息網絡進行建模，通過對神經網絡的訓練學習含有語義特征的節點嵌入。雖然上述基于異質信息網絡的算法可以學習到異質網絡中節點的結構特征和語義特征，但它們沒有直接應用于推薦任務中，無法判斷其推薦性能。

推薦系統中的打分、社交關系、屬性等信息可以抽象為包含豐富語義信息的異質信息網絡［20］。基于此框架，Shi等人［6］使用基于元路徑的隨機游走獲得異質信息網絡中節點的嵌入，然后使用三種融合方法將節點嵌入進行融合，用來拓展傳統的矩陣分解算法，實現最終的評分預測；最近，Shi等人［4］在基本元路徑上增加了連接權重約束來構建一種新型異質信息網絡，目的是在加權網絡中獲取更多關于節點的語義信息與結構信息；Fan等人［21］則利用異質信息網絡對意圖推薦進行建模，能夠挖掘意圖推薦中更多有效的信息；Hu等人［22］開發了一種新的深度神經網絡MCRec，首先采用PCRW采樣序列，通過卷積神經網絡得到不同元路徑上的多個嵌入表示，并利用注意力機制融合嵌入表示，然后通過最后一層全連接神經網絡來進行用戶對物品的評分預測。上述基于異質信息網絡嵌入的推薦算法與基于矩陣分解、基于神經網絡的推薦相比均可以較好地提高推薦性能，但是算法的計算復雜性更高。因此，尋求一種計算復雜性低并且學習到的嵌入還能夠更好地用于推薦成為基于異質信息網絡推薦的熱點問題之一。

2 基于自注意力機制的局部與全局特征融合的評分預測算法

基于自注意力機制的局部與全局特征融合的評分預測算法的框架如圖1所示，其中代表節點偏好程度學習過程，⊕代表拼接操作。該框架主要包括四個主要部分：a）基于元路徑帶偏置的隨機游走算法提取節點的局部序列，通過skip-gram模型學習節點的局部特征（圖1中藍色實線框，參見電子版），基于LeaderRank算法提取目標節點的全局序列，通過skip-gram模型學習節點的全局特征（紅色實線框）；b）通過自注意力機制學習目標節點對全局與局部特征的偏好程度，從而得到在單一元路徑下節點的特征表示（紫色實線框）；c）通過自注意力機制獲取不同元路徑對目標節點的偏好程度，從而得到節點在不同元路徑下的最終的特征表示（綠色實線框）；d）基于多層感知器的評分預測（紅色虛線框）。

3 實驗與結果分析

針對本文AMFLamp;GRec算法共進行兩組實驗，第一組實驗是驗證AMFLamp;Grec算法評分預測的有效性；第二組實驗探究注意力機制對評分預測的影響。

3.1 數據集

為了驗證本文算法的有效性，本文采用來自電影領域的MovieLens-100K和來自商業領域的Yelp數據集。MovieLens-100K數據集是小型密集型數據集，由943名用戶、1 682部電影以及100 000條評分數據構成，評分為1～5，此外該數據集還包括電影類型和年齡屬性信息；Yelp數據集是中型稀疏型數據集，記錄了用戶對本地業務的評分，并包含城市與業務種類屬性信息，其中包括16 239名用戶，14 282個本地業務，共計198 397條評分數據，評分為1～5。表1、2對這兩個數據集的統計信息與屬性信息進行了詳細說明。

3.2 評價指標

為比較AMFLamp;GRec算法與對比算法的評分預測的性能，本文選用平均絕對誤差（MAE）和均方根誤差（RMSE）來衡量不同模型的推薦性能。形式化定義如下：

MAE=1Dtest∑（u，i）∈Dtestru，i-u，i（15）

RMSE=1Dtest∑（u，i）∈Dtest（ru，i-u，i）2（16）

其中：ru，i代表用戶對項目的實際評分；u，i代表模型的預測評分；Dtest表示測試集中的評分記錄。

3.3 比較算法

本文與經典的推薦算法進行比較，對比結果如圖3、4所示。

a）MF［28］。一種經典的矩陣分解模型，該模型將用戶—項目評分矩陣分解為用戶矩陣與項目矩陣內積的形式實現評分預測任務。

b）NNMF［29］。一種利用神經網絡來擴展的矩陣分解模型，該模型考慮用一個任意的函數代替傳統矩陣分解中的點積，然后從數據中同時學習這個函數與潛在的特征向量。

c）DeepWalk［26］。一種網絡表示學習方法，該模型利用截斷的隨機游走學習網絡的局部信息，再通過skip-gram模型學習節點的嵌入。

d）ARMF［11］。一種利用注意力機制來擴展標準的矩陣分解模型，通過注意力機制獲取用戶的偏好，克服了傳統矩陣分解模型的弊端。

e）HERec［6］。一種新的基于異質信息網絡嵌入的方法，該模型利用基于元路徑的隨機游走得到異質網絡中的節點序列，然后利用一組融合函數將skip-gram模型學習到的節點嵌入用來拓展矩陣分解模型。

f）Rank2vec［30］。一種在同質網絡中同時學習節點的局部與全局特征的網絡表示學習算法。首先利用PageRank算法學習節點的全局序列，利用帶偏置的隨機游走算法學習節點的局部序列，將兩序列取并集；然后利用skip-gram模型學習節點的特征表示；最后將學習到的節點特征用于分類、聚類等操作。本文將該算法進行改進使其適用于異質信息網絡，并且最后使用多層感知器實現評分預測任務。

本文選定的比較算法全面涵蓋了現有的評分預測方法。根據之前的工作［28］，本文將基于矩陣分解的模型隱層因子個數設置為10。基于異質信息網絡的方法的參數設置如表3所示。基于異質信息網絡的方法需要明確使用的元路徑，表4列出了本文在實驗中使用的元路徑。

3.4 準確性分析

本文將整個評分記錄分為訓練集和測試集，按照20%、40%、60%、80%隨機抽取訓練集，剩余數據作為測試集。實驗分析如下：

a）對比所有的基線方法，基于異質信息網絡的方法取得了更好的結果，優于傳統MF、NNMF以及ARMF，這表明異質輔助信息能夠有效提高評分預測的準確性。其中，rank2vec算法性能最好，rank2vec算法既考慮了節點的局部也考慮了節點的全局信息，充分利用了節點的輔助信息從而提高了評分預測的準確性。

b）傳統MF和ARMF算法的實驗結果表明，在矩陣分解算法中加入注意力機制能夠獲取用戶更準確的偏好，從而提高推薦性能。rank2vec與AMFLamp;GRec算法的實驗結果表明，在異質信息網絡中利用自注意力機制來融合節點的特征能夠提升評分預測的準確性，同時也證明了LeaderRank算法相較于PageRank算法來獲取節點的全局特征的有效性。

c）AMFLamp;GRec模型在MovieLens-100K和Yelp數據集上均取得了最佳結果。AMFLamp;GRec模型與rank2vec算法的結果證明，充分考慮節點的局部與全局特征要比單方面考慮局部或全局特征效果更佳顯著。AMFLamp;GRec模型與rank2vec算法相比，AMFLamp;GRec模型采用自注意力機制分別來學習節點對局部與全局特征的重要性以及節點對不同元路徑的重要性，由此可以證明，使用自注意力機制能提高實驗性能。此外，從圖3、4可以看出，AMFLamp;GRec模型隨著訓練數據的減少效果提升越顯著，并且受數據集稀疏性變化影響變化緩慢，在Yelp數據集當訓練集為60%時，實驗結果幾乎趨向于穩定。以訓練集60%為例，AMFLamp;GRec比MF模型在MovieLens-100K和Yelp數據集上分別提高了（19.6%，16.7%）和（37%，41%）。上述實驗結果表明，AMFLamp;GRec算法在真實數據集上的有效性，并且在稀疏數據集上效果更佳。

3.5 注意力機制影響

為了驗證注意力機制對于推薦效果的影響，本文將使用注意力機制（attention）與不使用注意力機制（not-attention）分別在兩個真實數據集上進行實驗，實驗效果如圖5所示。在兩個真實數據集上分別證實了使用注意力機制的MAE與RMSE均低于不使用注意力機制。由此可見注意力機制對于評分預測任務有較大提升。同時也證實了，本文使用自注意力機制學習同一元路徑下不同用戶與項目節點對局部與全局特征的偏好以及融合不同元路徑下用戶與項目節點特征表示對于推薦任務的有效性。

4 結束語

針對異質信息網絡中的局部與全局信息，本文提出了一種基于自注意力機制的局部與全局特征融合的評分預測方法（AMFLamp;GRec），該算法充分考慮節點的局部與全局特征，并且采用自注意力機制來學習節點對于元路徑的重要性。本文首先基于LeaderRank算法和元路徑帶偏置的隨機游走算法提取目標節點的全局序列與局部序列，通過skip-gram模型分別學習節點的全局特征與局部特征；然后通過自注意力機制融合目標節點的局部與全局特征，從而得到在單一元路徑下節點的特征表示；再通過自注意力機制學習不同元路徑下同一節點的表示，從而得到節點在不同元路徑下的最終的特征表示；最后基于多層感知器實現評分預測任務。為了驗證AMFLamp;GRec算法評分預測的性能，通過在兩個真實數據集進行了大量的實驗證明，AMFLamp;GRec算法能夠顯著提高評分預測的準確性；與此同時，本文還研究了注意力機制對實驗結果的影響。

在實際應用過程中，異質網絡具有動態性，例如，淘寶每時每刻都在產生新用戶、新產品等新節點，現有節點之間、現有節點與新節點之間也會產生許多新交互，在動態異質網絡中，重復訓練模型會耗費大量時間，因而在動態異質網絡中尋求一種處理新節點、新交互的方法是有前景的研究方向。此外基于異質信息網絡的挖掘方法在電商領域中虛假信息檢測方面發展還不是很成熟，因此可以考慮將基于異質信息網絡建模的方法遷移到虛假信息檢測當中，利用基于異質信息網絡的方法挖掘造假群體的特征，從而發現群體中的關鍵人物，或者發現電子商務中的水軍群組也是未來值得關注的問題。

參考文獻：

［1］Dias M B，Locher D，Li Ming，et al.The value of personalized recommender systems to e-business：a case study［C］//Proc of ACM Confe-rence on Recommender Systems.New York：ACM Press，2008：291-294.

［2］Koren Y，Bell R.Advances in collaborative filtering［M］//Recommender Systems Handbook.Berlin：Springer，2015：77-118.

［3］Yu Xiao，Ren Xiang，Sun Yizhou，et al.Personalized entity recommendation：a heterogeneous information network approach［C］//Proc of the 7th ACM International Conference on Web Search and Data Mining.New York：ACM Press，2014：283-292.

［4］Shi Chuan，Zhang Zhiqiang，Luo Ping，et al.Semantic path based persona-lized recommendation on weighted heterogeneous information networks［C］//Proc of the 24th ACM International on Conference on Information and Knowledge Management.New York：ACM Press，2015：453-462.

［5］Shi Chuan，Liu Jian，Zhuang Fuzhen，et al.Integrating heterogeneous information via flexible regularization framework for recommendation［J］.Knowledge and Information Systems，2016，49（12）：835-859.

［6］Shi Chuan，Hu Binbin，Zhao W X，et al.Heterogeneous information network embedding for recommendation［J］.IEEE Trans on Know-ledge and Data Engineering，2018，31（2）：357-370.

［7］Cho K，Van Merrienboer B，Bahdanau D，et al.On the properties of neural machine translation：encoder-decoder approaches［C］//Proc of the 8th Workshop on Syntax，Semantics，and Structure in Statistical Translation.Stroudsburg，PA：Association for Computational Linguistics，2014：103-111.

［8］Wang Shoujin，Hu Liang，Cao Longbing，et al.Attention-based transactional context embedding for next-item recommendation［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：2532-2539.

［9］Song Weiping，Shi Chence，Xiao Zhiping，et al.AutoInt：automatic feature interaction learning via self-attentive neural networks［C］//Proc of the 28th ACM International Conference on Information and Know-ledge New York：ACM Press，2019：1161-1170.

［10］肖青秀，湯鯤.基于雙層注意力機制的深度學習電影推薦系統［J］.計算機與現代化，2018（11）：109-114. （Xiao Qingxiu，Tang Kun.Deep learning recommendation system of movie based on dual-attention model［J］.Computer and Modernization，2018（11）：109-114.）

［11］張青博，王斌，崔寧寧，等.基于注意力機制的規范化矩陣分解推薦算法［J］.軟件學報，2020，31（3）：778-793. （Zhang Qingbo，Wang Bin，Cui Ningning，et al.Attention-based regularized matrix factorization for recommendation［J］.Journal of Software，2020，31（3）：778-793.）

［12］Sun Yizhou，Han Jiawei，Yan Xifeng，et al.PathSim：meta path-based top-k similarity search in heterogeneous information networks［J］.VLDB Endowment，2011，4（11）：992-1003.

［13］Shi Chuan，Kong Xiangnan，Huang Yue，et al.HeteSim：a general framework for relevance measure in heterogeneous networks［J］.IEEE Trans on Knowledge and Data Engineering，2014，26（10）：2479-2492.

［14］Lao Ni，Cohen W W.Relational retrieval using a combination of path-constrained random walks［J］.Machine Learning，2010，81（1）：53-67.

［15］Yu Xiao，Ren Xiang，Gu Quanquan，et al.Collaborative filtering with entity similarity regularization in heterogeneous information networks［EB/OL］.（2013-06-16）.http：//hanj.cs.illinois.edu/pdf/hina13_xyu.pdf.

［16］Dong Yuxiao，Chawla N V，Swami A.metapath2vec：scalable representation learning for heterogeneous networks［C］//Proc of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2017：135-144.

［17］Kipf T N，Welling M.Semi-supervised classification with graph convolutional networks［EB/OL］.（2017-02-22）.https：//arxiv.org/pdf/1609.02907.pdf.

［18］Hamilton W L，Ying R，Leskovec J.Inductive representation learning on large graphs［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Currant Associates Inc.，2017：1025-1035.

［19］Fu Taoyang，Lee W C，Lei Zhen.HIN2Vec：explore meta-paths in heterogeneous information networks for representation learning［C］//Proc of ACM Conference on Information and Knowledge Management.New York：ACM Press，2017：1797-1806.

［20］Shi Chuan，Li Yitong，Zhang Jiawei，et al.A survey of heterogeneous information network analysis［J］.IEEE Trans on Knowledge and Data Engineering，2017，29（1）：17-37.

［21］Fan Shaohua，Zhu Junxiong，Han Xiaotian，et al.Meta path-guided hete-rogeneous graph neural network for intent recommendation［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2019：2478-2486.

［22］Hu Binbin，Shi Chuan，Zhao W X，et al.Leveraging meta-path based context for top-N recommendation with a neural co-attention model［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2018：1531-1540.

［23］Sun Yizhou，Yu Yintao，Han Jiawei.Ranking-based clustering of he-terogeneous information networks with star network schema［C］//Proc of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2009：797-806.

［24］Sun Yizhou，Han Jiawei.Mining heterogeneous information networks：a structural analysis approach［J］.ACM SIGKDD Explorations Newsletter，2013，14（2）：20-28.

［25］Mikolov T，Chen Kai，Corrado G，et al.Efficient estimation of word representations in vector space［EB/OL］.（2013-09-07）.http：//export.arxiv.org/pdf/1301.3781.

［26］Perozzi B，Al-Rfou R，Skiena S.DeepWalk：online learning of social representations［C］//Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2014：701-710.

［27］張慧.深度學習中優化算法的研究與改進［D］.北京： 北京郵電大學，2018. （Zhang Hui.Research and improvement of optimization algorithms in deep learning［D］.Beijing：Beijing University of Posts amp; Telecommunications，2018.）

［28］Koren Y，Bell R，Volinsky C.Matrix factorization techniques for recommender systems［J］.Computer，2009，42（8）：30-37.

［29］Dziugaite G K，Roy D M.Neural network matrix factorization［EB/OL］.（2015-12-15）.https：//arxiv.org/pdf/1511.06443v2.pdf.

［30］Zhou Hui，Zhao Zhongying，Li Chao，et al.rank2vec：learning node embeddings with local structure and global ranking［J］.Expert Systems with Applications，2019，136（12）：276-287.