基于異質圖神經網絡的推薦算法研究

陳卓　李涵　杜軍威

摘? ?要：基于圖神經網絡的推薦算法通過從圖中獲取知識，提高了推薦的可解釋性. 然而隨著推薦系統網絡數據規模的不斷擴大，用戶-項目評分矩陣呈現出稀疏性問題，圖神經網絡難以學習到高質量的網絡節點特征，導致推薦質量下降. 本文將圖神經網絡與異質信息網絡相結合，提出一種基于異質圖神經網絡的推薦算法. 該算法使用異質信息網絡對多源異質數據進行聯合解碼，將注意力機制引入用戶-項目交互網絡和用戶社交網絡的用戶、項目聚合表示過程，從而實現用戶-項目交互和用戶社交兩類網絡間的節點及拓撲結構特征的有效融合. 兩個公開數據集上的對比實驗結果表明，本文提出的算法在不斷稀疏化的數據集上的推薦誤差比基線方法少40%.

關鍵詞：圖神經網絡;異質信息網絡;推薦;網絡表示學習

中圖分類號：TP18? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標志碼：A

Research on Recommendation Algorithm Based

on Heterogeneous Graph neural Network

CHEN Zhuo LI Han DU Junwei

（School of Information Science and Technology，Qingdao University of Science and Technology，Qingdao 266061，China）

Abstract：By acquiring knowledge from a graph，the recommendation algorithm based on the graph neural network improves the recommendation interpretability. However，with the continuous expansion of the network data scale of the recommended system，the user-item scoring matrix displays a sparsity problem，which makes the graph neural network difficult to learn high quality network node features，and finally leads to the decline of recommendation quality. In this paper，a recommendation algorithm based on heterogeneous graph neural network is proposed by combining graph neural network with heterogeneous information network. This algorithm uses heterogeneous information network to decode multi-source heterogeneous data. And the attention mechanism is introduced into the user and item aggregation process of user-item interaction network and user social network，in order to realize the effective fusion of Node and topology characteristics of user-item interaction and user social networks. The experiment on two continuous sparse datasets show that the recommendation error of the algorithm proposed in this paper is 40% less than that of the baseline method.

Key words：graph neural network;heterogeneous information network;recommendations;network representation learning

隨著電子商務和社交媒體平臺的快速發展，推薦系統已經成為許多企業不可或缺的工具. 一個高效的推薦系統能通過準確地捕捉用戶的偏好，發現用戶可能感興趣的項目，從而提高用戶對平臺的滿意度，提高用戶的保留率.

推薦系統根據用戶的興趣和項目屬性來評估用戶對項目的偏好. 由于用戶興趣和項目特征都用壓縮向量表示，因此學習用戶/項目交互和其他輔助信息，如社會關系和知識圖的嵌入表示，成為該鄰居需解決的關鍵問題.

在推薦系統中，大多數信息具有圖結構，而圖神經網絡GNN（Graph Neural Network）技術可以通過圖節點之間的消息傳遞來捕捉圖的相關性，因此GNN經常被用來生成用戶/項目的嵌入表示. 然而傳統的基于GNN的推薦算法，只能夠處理由單一類型節點構成的規則拓撲圖，而當下網絡中的數據并非只由單一類型節點構成. 此外，傳統GNN只融合節點的一階鄰居特征，無法獲取節點在網絡中的更深層結構關系. 因此，當數據集稀疏，各節點均只有極少的鄰居數時，基于傳統GNN的推薦算法的推薦質量下降明顯.

為了解決以上的不足之處，本文將圖神經網絡與異質網絡相結合，提出深度推薦模型H_GNN（Heterogeneous_Graph Neural Network）. 本文的貢獻可以總結為以下幾點：

1）給出了異質信息網絡的信息的多特征聯合表示方法. 面向用戶/項目交互和用戶社交兩個域，利用異質信息網絡中的多階拓撲結構信息，增強網絡連接稀疏情況下節點特征的表示能力.

2）提出了面向注意力機制的圖神經網絡推薦方法. 通過對用戶、項目、評分、社交等多維表示向量的有效融合，增強推薦模型在評分矩陣稀疏情況下，推薦模型的推薦質量.

3）通過在多個公共數據集上不斷增加數據的稀疏性，驗證本文模型推薦精度下降速度明顯低于基線方法.

1? ?相關工作

1.1? ?基于異質信息網絡的算法

近幾年來，由多種節點或邊組成的異質信息網絡HIN（Heterogeneous Information Network）作為一種融合復雜信息的強大建模方法被提出. 與同構網絡相比，由實體類型及其在HIN中的關系提供的異質信息可以捕獲更多語義上有意義的信息. 2014年，Jacob等人[1]提出了一種將節點表示學習應用于不同節點類型共有的潛在空間上的新方法，但由于其將異質信息網絡變成同構信息網絡來處理，此類方法會丟失較多重要信息. 2015年，Tang等人[2]提出了一種預測文本嵌入模型，但該方法不適用于除文本網絡外的大多數異質信息網絡. 2017 年，兩種經典的基于元路徑的異質信息網絡表示學習方法[3-4]被提出，它們使用元路徑游走來捕獲不同類型節點之間的關系.? 劉鈺峰等人[5]采用重啟動隨機游走進行查詢推薦，在游走的基礎上進行了改進. 黃立威等人[6]利用基于元路徑的異質信息網絡來做鏈路預測. 近年來，異質信息網絡作為一種新興方向，逐漸被應用于推薦鄰居中復雜關系的建模中. Shi等人[7]提出異質信息網絡嵌入模型，通過異質信息網絡生成特定關系對應的元路徑，獲得用戶隱含向量，然后通過融合函數進行向量的融合并最終用于推薦.

上述算法在單個域上構建異質信息網絡，在網絡連接稀疏的情況下，節點可學習的鄰居信息極少，使得節點表示學習質量不高.

1.2? ?基于圖神經網絡的推薦算法

圖神經網絡作為一種新型的拓展神經網絡，可以在圖上對節點進行特征提取和表示，是一種高效的神經網絡結構. 許多方法模型利用了GNN特有的優勢來解決經典問題，并得到了優于傳統方法的實驗結果. 例如，Berg等人[8]提出了一種圖自編碼器框架GCMC（Graph Convolution Matrix? Completion），從鏈路預測的角度解決推薦系統中的評分預測問題. Zhang等人[9]提出一種采用一堆GCN（Graph Convolution Network）編碼器/解碼器與中間監督相結合的模型，以提高最終預測性能. Wu等人[10]利用GNN機制捕獲了更深層次的社會擴散過程. Fan等人[11]提出一種基于圖神經網絡的模型用于推薦任務并展現了良好的性能. 葛堯等人[12]提出一種新的圖卷積網絡推薦算法，其使用兩組圖卷積來處理不同交互信息.

上述算法均只能夠處理由單一類型節點或單一類型關系構成的規則拓撲圖，網絡節點隱特征隨機初始化，GNN只融合節點的一階鄰居特征. 由于上述算法忽略或未充分挖掘網絡中節點間更深層的結構和語義信息，因此當網絡節點均只有極少的鄰居數，即用戶項目評分數據稀疏時，上述基于GNN的推薦算法的推薦質量明顯下降.

1.3? ?注意力機制

注意力機制（Attention Mechanism）源于對人類視覺的研究. 在認知科學中，由于信息處理的瓶頸，人類會選擇性地關注所有信息的一部分，同時忽略其他可見的信息，上述機制通常被稱為注意力機制. Velikovi等人[13]通過疊加圖注意力層為中心節點的鄰居節點分配不同的權重，并據此融合鄰居節點信息生成更有效的中心節點的特征表示. 張青博等人[14]利用注意力機制分析用戶對項目不同屬性的關注度，以此獲取用戶更準確的偏好信息.

注意力機制具有直觀性、通用性和可解釋性的優點，已成為神經網絡結構的重要組成部分，被廣泛應用到推薦系統、自然語言生成等不同類型的深度學習任務中[15].

2? ?H_GNN模型

2.1? ?H_GNN模型框架

H_GNN模型框架如圖1所示，圖中顯示了模型架構分為兩部分：首先是異質信息網絡多特征融合（如圖1中H_GNN第一部分），采用遷移學習的思想，構建面向圖神經網絡的預訓練模型，對購物和社交兩類數據進行聯合解碼，共同學習用戶、項目的低維隱特征，從而最大限度地挖掘用戶、項目之間的信息交互潛力，提升圖神經網絡推薦模型的訓練效率. 其次是面向注意力機制的圖神經網絡（如圖1中H_GNN第二部分），在圖神經網絡進行推薦建模時，本文基于用戶與項目間的不同交互行為、用戶間的不同社交關系對用戶偏好、項目特征表示的影響程度不同的假設，將注意力機制引入用戶/項目交互網絡和用戶社交網絡的用戶、項目聚合表示過程，從而實現用戶/項目交互和用戶社交兩類網絡間的節點及拓撲結構特征的有效融合.

2.2? ?基于異質信息網絡的信息多特征聯合表示

2.3? ?面向注意力機制的圖神經網絡推薦算法

用戶/項目交互關系中附帶評分屬性，同一用戶對不同項目的評分、不同用戶對同一項目的評分中蘊含著豐富的用戶偏好和項目特征信息. 在用戶/項目評分數據稀疏的情況下，為充分挖掘用戶/項目交互網絡和用戶社交網絡中的關系和屬性信息，本文將注意力機制引入用戶、項目的特征聚合表示過程，從而實現用戶/項目交互和用戶社交兩類網絡間的節點及拓撲結構特征的有效融合.

在聚合與中心用戶節點發生交互的鄰居項目節點、社交用戶節點時，利用注意力機制根據用戶特征為鄰居項目、鄰居用戶分配不同的權重，從而體現不同交互項目、不同社交用戶在體現用戶喜好特征時不同的重要性. 在聚合與中心項目節點發生交互的鄰居用戶節點時，利用注意力機制根據項目特征為鄰居用戶分配不同的權重，從而體現不同鄰居用戶在體現項目特征時不同的重要性.

2.3.1? ?用戶特征融合

2.3.2? ?項目特征融合

2.3.3? ?評分預測

2.3.4? ?模型學習

3? ?實驗與結果分析

3.1? ?數據集及評價指標

本文使用了Ciao和Epinions兩個數據集進行對比實驗，這兩個數據集是由亞利桑那州立大學學者在做社交網絡方面研究的時候使用的數據集. 可以分別從http：//www.cse.msu.edu/～tangjili/trust.html和http：//www.trustlet.org/epinions.html網頁鏈接上獲取. 它們分別包含了283 319和764 352個評級.

本文采用了RMSE（Root Mean Square Error）和MAE（Mean Absolute Error）兩項指標來驗證模型準確度.

3.2? ?參數的設定

H_GNN模型的超參數有路徑長度、窗口大小、學習率和嵌入維度.

本文通過實驗對比了在不同學習率下，路徑長度為10、窗口大小為5和路徑長度為20、窗口大小為10的預測誤差. 關于參數實驗結果如表1所示，表中顯示了H_GNN模型在路徑長度為20、窗口大小為10、學習率為0.004時預測誤差最小.

3.3? ?對比實驗

為了評估H_GNN模型的推薦性能，本文選擇以下六種推薦模型作為基線方法，進行對比實驗.

SocialMF[17]（Social Matrix Factorization）：主要思想是在矩陣分解中引入信任傳播，用戶表示接近其信任的用戶.

NeuMF[18]（Neural Matrix Factorization）：模型主要思想是結合了傳統矩陣分解和多層感知機，可以同時抽取低維和高維的特征.

DeepSoR[19]（Deep Social Recommendation）：主要思想是從社交關系學習到的用戶表示集成到概率矩陣分解中.

DeepFM[20]（Deep Matrix Factorization）：主要思想是聯合訓練FM（Matrix Factorization）模型和DNN（Deep Neural Networks）模型，同時學習低階特征組合和高階特征組合.

Wide&Deep[21]（Wide and Deep）：提出一種融合淺層模型和深層模型進行聯合訓練的框架.

GCMC[8]：提出一種從鏈路預測角度解決評分預測的圖自編碼器框架.

GraphRec[11]（Graph Recommendation）：主要思想是按用戶商品間的交互關系和用戶間的社交關系兩個層次，依次融合用戶、項目特征，進而訓練GNN網絡預測評分.

H_GNN與基線方法在Ciao和Epinion兩個數據集上，按照6 ∶ 4劃分訓練和測試集. 關于模型對比實驗結果如表2所示，表中顯示了在兩個數據集的兩個評價指標下，H_GNN模型均得到了最小的預測誤差.

為了驗證H_GNN模型在稀疏數據集上的推薦質量，本文基于Ciao數據集構造了不同稀疏程度的9個數據集，在保證Ciao數據集不出現用戶、項目冷啟動的情況下，依次對用戶/項目評分數據進行了9次稀疏化，每次減少10%的評分數據，并選擇同樣基于GNN且也融合了社交網絡輔助信息的推薦鄰居最先進的模型之——GraphRec模型作為基線方法.

關于H_GNN與基線方法中預測效果最好的GraphRec模型的稀疏度對比實驗結果如圖4、圖5所示，圖中顯示了在評分數據不斷減少的過程中，H_GNN模型相比GraphRec模型的推薦質量提升明顯，在評分數據最為稀疏的90%處，H_GNN模型比GraphRec模型的推薦誤差降低了約40%.

節點表示進行推薦模型訓練，本文提出的基于異質信息網絡的多特征聯合表示方法具有更強的節點特征表示能力，提出的面向注意力機制的圖神經網絡推薦方法能有效融合用戶、項目、評分、社交等多維特征提升推薦質量.

3.4? ?消融實驗

為了探究基于異質信息網絡的信息多特征聯合表示、用戶社交網絡信息聚合對H_GNN模型訓練效果的影響，本文在兩種不同稀疏度的Ciao數據集上進行了兩組消融實驗. 其中H_GNN_2模型為取消基于異質信息網絡的信息多特征聯合表示，直接采用隨機值初始化用戶、項目特征向量作為面向注意力機制的圖神經網絡推薦算法的輸入;H_GNN-u_u模型為在面向注意力機制的圖神經網絡推薦算法中，取消用戶社交網絡u_u，只采用用戶項目交互網絡u_v進行用戶特征聚合. 關于消融實驗結果如圖6、圖7所示，圖中顯示了在稀疏度為50%和90%的Ciao數據集上，H_GNN模型的預測誤差明顯低于H_GNN_2和H_GNN-u_u模型.

由H_GNN_2消融實驗結果可知，使用基于異質信息網絡的信息多特征聯合表示有助于提升H_GNN模型推薦質量. 由H_GNN-u_u消融實驗結果可知，融合用戶社交信息，使用戶特征向量中包含用戶社交關系特征，同樣有助于提升H_GNN模型推薦質量.

4? ?結? ?論

數據稀疏性問題是推薦系統面臨的最具挑戰性的問題之一. 數據稀疏使得圖網絡中節點可學習的結構信息變少，因此傳統基于GNN的推薦算法預測誤差大. 本文提出一種基于異質圖神經網絡的推薦算法，使用異質信息網絡對多源異質數據進行聯合解碼，引入注意力機制進行用戶/項目交互網絡和用戶社交網絡中用戶、項目特征的聚合表示，從而充分挖掘稀疏數據集中蘊含圖節點及拓撲結構特征. 通過在兩個公開數據集上進行的大量對比實驗結果表明，本文提出的算法在原始和不斷稀疏化的數據集上的推薦誤差均明顯小于所有的基線方法.

隨著時間的推移，推薦系統中的網絡節點及其關系會不斷變化，目前本文的推薦模型僅適用于靜態圖網絡，后續可進一步開展動態圖網絡增量計算推薦算法的研究.

參考文獻

[1]? JACOB Y，DENOYER L，GALLINARI P. Learning latent representations of nodes for classifying in heterogeneous social networks[C]//Proceedings of the 7th ACM International Conference on Web Search and Data Mining. New York，USA：ACM，2014：373—382.

[2]? ? TANG J，QU M，MEI Q Z. PTE：predictive text embedding through large-scale heterogeneous text networks[C]//Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Sydney NSW Australia. New York，USA：ACM，2015：1165—1174.

[3]? ?DONG Y X，CHAWLA N V，SWAMI A. Metapath2vec：scalable representation learning for heterogeneous networks[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Halifax NS Canada.New York，USA：ACM，2017：135—144.

[4]? ?FU T Y，LEE W C，LEI Z. HIN2Vec：explore meta-paths in heterogeneous information networks for representation learning[C]//Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York，USA：ACM，2017：1797—1806.

[5]? ? 劉鈺峰，李仁發. 基于Term-Query-URL異構信息網絡的查詢推薦[J]. 湖南大學學報（自然科學版），2014，41（5）：106—112.LIU Y F，LI R F. Query suggestion by constructing heterogeneous term-query-URL information network[J]. Journal of Hunan University （Natural Sciences），2014，41（5）：106—112.

[6]? ? 黃立威，李德毅，馬于濤，等. 一種基于元路徑的異質信息網絡鏈路預測模型[J]. 計算機學報，2014，37（4）：848—858.HUANG L W，LI D Y，MA Y T，et al. A link prediction model for heterogeneous information networks based on meta-path[J]. Chinese Journal of Computers， 2014，37（4）： 848—858. （In Chinese）

[7]? ? SHI C，HU B，ZHAO X，et al. Heterogeneous information network embedding for recommendation[J]. IEEE Transactions on Knowledge and Data Engineering，2019，31（2）：357—370.

[8]? ? BERG R V D，KIPF T N，WELLING M. Graph convolutional matrix completion[EB/OL].2017：arXiv：1706.02263[stat.ML].https：//arxiv.org/abs/1706.02263.

[9]? ? ZHANG J N，SHI X J，ZHAO S L，et al. STAR-GCN：stacked and reconstructed graph convolutional networks for recommender systems[C]//Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. California：International Joint Conferences on Artificial Intelligence Organization，2019：4264—4270.

[10]? WU L，SUN P，FU Y，et al. A neural influence diffusion model for social recommendation[C]// International ACM SIGIR Conference on Research and Development in Information Retrieval. New York，USA：ACM，2019：235—244.

[11]? FAN W Q，MA Y，LI Q，et al. Graph neural networks for social recommendation[C]//The World Wide Web Conference on - WWW &apos. New York，USA：ACM Press，2019：417—426.

[12]? 葛堯，陳松燦.面向推薦系統的圖卷積網絡[J].軟件學報，2020，31（4）：1101—1112.GE Y，CHEN S C. Graph convolutional network for recommender systems[J]. Journal of Software， 2020， 31（4）： 1101—1112. （In Chinese）

[13] VELIKOVI P，CUCURULL G，CASANOVA A，et al. Graph attention? ?networks[EB/OL].（2017-10-30）[2020-03-30].https：//arxiv.org/abs/1710.10903.

[14]? 張青博，王斌，崔寧寧，等. 基于注意力機制的規范化矩陣分解推薦算法[J]. 軟件學報，2020，31（3）：778—793.ZHANG Q B，WANG B，CUI N N，et al. Attention-based regularized matrix factorization for recommendation[J]. Journal of Software，2020，31（3）：778—793. （In Chinese）

[15]? CHAUDHARI S，POLATKAN G，RAMANATH R，et al. An attentive survey of attention models[EB/OL]. 2019：arXiv：1904.02874[cs.LG].https：//arxiv.org/abs/1904.02874.

[16]? MIKOLOV T，CHEN K，CORRADO G，et al. Efficient estimation of word representations in vector space[EB/OL]（2013-10-23）[2014-2-23].http：//dblp.uni-trier.de/db/journ-alsorr/corr1301.html.

[17]? JAMALI M，ESTER M. A matrix factorization technique with trust propagation for recommendation in social networks[C]//Proceedings of the Fourth ACM Conference on Recommender Systems - RecSys &apos. New York，USA：ACM Press，2010：135—142.

[18]? HE X，LIAO L，ZHANG H，et al. Neural collaborative filtering[C]// International Conference on World Wide Web. Switzerland：International World Wide Web Conferences Steering Committee，2017：173—182.

[19]? WEN Q F，QING L，MIN C. Deep modeling of social relations for recommendation[C]// National Conference of the American Association for Artificial Intelligence. New? Orleans：Internet Society，2018：8075—8076.

[20]? GUO H F，TANG R M，YE Y M，et al. DeepFM：a factorization-machine based neural network for CTR prediction[C]//Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. California：International Joint Conferences on Artificial Intelligence Organization，2017：2782—2788.

[21]? CHENG H T，KOC L，HARMSEN J，et al. Wide & deep learning for recommender systems[C]//Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York，USA：ACM，2016：7—10.