基于異質圖神經網絡的推薦算法研究

陳卓，李涵，杜軍威

（青島科技大學信息科學技術學院，山東青島 266061）

隨著電子商務和社交媒體平臺的快速發展，推薦系統已經成為許多企業不可或缺的工具.一個高效的推薦系統能通過準確地捕捉用戶的偏好，發現用戶可能感興趣的項目，從而提高用戶對平臺的滿意度，提高用戶的保留率.

推薦系統根據用戶的興趣和項目屬性來評估用戶對項目的偏好.由于用戶興趣和項目特征都用壓縮向量表示，因此學習用戶/項目交互和其他輔助信息，如社會關系和知識圖的嵌入表示，成為該鄰居需解決的關鍵問題.

在推薦系統中，大多數信息具有圖結構，而圖神經網絡GNN（Graph Neural Network）技術可以通過圖節點之間的消息傳遞來捕捉圖的相關性，因此GNN經常被用來生成用戶/項目的嵌入表示.然而傳統的基于GNN 的推薦算法，只能夠處理由單一類型節點構成的規則拓撲圖，而當下網絡中的數據并非只由單一類型節點構成.此外，傳統GNN 只融合節點的一階鄰居特征，無法獲取節點在網絡中的更深層結構關系.因此，當數據集稀疏，各節點均只有極少的鄰居數時，基于傳統GNN 的推薦算法的推薦質量下降明顯.

為了解決以上的不足之處，本文將圖神經網絡與異質網絡相結合，提出深度推薦模型H_GNN（Heterogeneous_Graph Neural Network）.本文的貢獻可以總結為以下幾點：

1）給出了異質信息網絡的信息的多特征聯合表示方法.面向用戶/項目交互和用戶社交兩個域，利用異質信息網絡中的多階拓撲結構信息，增強網絡連接稀疏情況下節點特征的表示能力.

2）提出了面向注意力機制的圖神經網絡推薦方法.通過對用戶、項目、評分、社交等多維表示向量的有效融合，增強推薦模型在評分矩陣稀疏情況下，推薦模型的推薦質量.

3）通過在多個公共數據集上不斷增加數據的稀疏性，驗證本文模型推薦精度下降速度明顯低于基線方法.

1 相關工作

1.1 基于異質信息網絡的算法

近幾年來，由多種節點或邊組成的異質信息網絡HIN（Heterogeneous Information Network）作為一種融合復雜信息的強大建模方法被提出.與同構網絡相比，由實體類型及其在HIN 中的關系提供的異質信息可以捕獲更多語義上有意義的信息.2014 年，Jacob 等人[1]提出了一種將節點表示學習應用于不同節點類型共有的潛在空間上的新方法，但由于其將異質信息網絡變成同構信息網絡來處理，此類方法會丟失較多重要信息.2015 年，Tang 等人[2]提出了一種預測文本嵌入模型，但該方法不適用于除文本網絡外的大多數異質信息網絡.2017 年，兩種經典的基于元路徑的異質信息網絡表示學習方法[3-4]被提出，它們使用元路徑游走來捕獲不同類型節點之間的關系.劉鈺峰等人[5]采用重啟動隨機游走進行查詢推薦，在游走的基礎上進行了改進.黃立威等人[6]利用基于元路徑的異質信息網絡來做鏈路預測.近年來，異質信息網絡作為一種新興方向，逐漸被應用于推薦鄰居中復雜關系的建模中.Shi 等人[7]提出異質信息網絡嵌入模型，通過異質信息網絡生成特定關系對應的元路徑，獲得用戶隱含向量，然后通過融合函數進行向量的融合并最終用于推薦.

上述算法在單個域上構建異質信息網絡，在網絡連接稀疏的情況下，節點可學習的鄰居信息極少，使得節點表示學習質量不高.

1.2 基于圖神經網絡的推薦算法

圖神經網絡作為一種新型的拓展神經網絡，可以在圖上對節點進行特征提取和表示，是一種高效的神經網絡結構.許多方法模型利用了GNN 特有的優勢來解決經典問題，并得到了優于傳統方法的實驗結果.例如，Berg 等人[8]提出了一種圖自編碼器框架GCMC（Graph Convolution Matrix Completion），從鏈路預測的角度解決推薦系統中的評分預測問題.Zhang 等人[9]提出一種采用一堆GCN（Graph Convolution Network）編碼器/解碼器與中間監督相結合的模型，以提高最終預測性能.Wu 等人[10]利用GNN 機制捕獲了更深層次的社會擴散過程.Fan 等人[11]提出一種基于圖神經網絡的模型用于推薦任務并展現了良好的性能.葛堯等人[12]提出一種新的圖卷積網絡推薦算法，其使用兩組圖卷積來處理不同交互信息.上述算法均只能夠處理由單一類型節點或單一類型關系構成的規則拓撲圖，網絡節點隱特征隨機初始化，GNN 只融合節點的一階鄰居特征.由于上述算法忽略或未充分挖掘網絡中節點間更深層的結構和語義信息，因此當網絡節點均只有極少的鄰居數，即用戶項目評分數據稀疏時，上述基于GNN 的推薦算法的推薦質量明顯下降.

1.3 注意力機制

注意力機制（Attention Mechanism）源于對人類視覺的研究.在認知科學中，由于信息處理的瓶頸，人類會選擇性地關注所有信息的一部分，同時忽略其他可見的信息，上述機制通常被稱為注意力機制.Velikovi 等人[13]通過疊加圖注意力層為中心節點的鄰居節點分配不同的權重，并據此融合鄰居節點信息生成更有效的中心節點的特征表示.張青博等人[14]利用注意力機制分析用戶對項目不同屬性的關注度，以此獲取用戶更準確的偏好信息.

注意力機制具有直觀性、通用性和可解釋性的優點，已成為神經網絡結構的重要組成部分，被廣泛應用到推薦系統、自然語言生成等不同類型的深度學習任務中[15].

2 H_GNN 模型

2.1 H_GNN 模型框架

H_GNN 模型框架如圖1 所示，圖中顯示了模型架構分為兩部分：首先是異質信息網絡多特征融合（如圖1 中H_GNN 第一部分），采用遷移學習的思想，構建面向圖神經網絡的預訓練模型，對購物和社交兩類數據進行聯合解碼，共同學習用戶、項目的低維隱特征，從而最大限度地挖掘用戶、項目之間的信息交互潛力，提升圖神經網絡推薦模型的訓練效率.其次是面向注意力機制的圖神經網絡（如圖1 中H_GNN 第二部分），在圖神經網絡進行推薦建模時，本文基于用戶與項目間的不同交互行為、用戶間的不同社交關系對用戶偏好、項目特征表示的影響程度不同的假設，將注意力機制引入用戶/項目交互網絡和用戶社交網絡的用戶、項目聚合表示過程，從而實現用戶/項目交互和用戶社交兩類網絡間的節點及拓撲結構特征的有效融合.

圖1 H_GNN 模型框架圖Fig.1 Block diagram of H_GNN model

2.2 基于異質信息網絡的信息多特征聯合表示

本文構建的異質信息網絡由用戶、項目兩類節點，用戶與項目間的交互關系和用戶與用戶間的社交關系構成.其具體數學表示如下.

令U={u1，u2，…，un}和V={v1，v2，…，vn}分別表示數據集中用戶集合和項目集合，n 和m 表示用戶和項目的個數，T∈Rn*m為用戶項目交互矩陣，rij表示用戶i 對項目j 給出的評分，如果用戶沒打出評分則rij=0，評分可以看作是該用戶對該項目的喜好程度，評分越高代表用戶越喜歡該項目.一個用戶可以對多個項目進行評分，同樣一個項目也可以被多個用戶打分.G∈Rn*n為用戶社交矩陣.δ=（A，R）表示一個網絡結構圖，分為用戶項目交互網絡u_v 和用戶社交關系網絡u_u，其中A 表示網絡圖中的實體，可以是用戶或項目，R 表示實體之間的交互關系.

本文定義了兩種元路徑：一種是用戶-項目間的UV 元路徑，體現用戶與項目間的交互關系；第二種是用戶-用戶間的UU 元路徑，體現用戶-用戶間的社交關系.下面給出路徑生成規則.

具體計算公式為

式中：nt為當前節點，nt+1為下一個節點，NAt+1（v）表示v 的鄰居中屬于At+1類型的節點，ρ 表示本文規定的元路徑規則.

按照兩種元路徑分別經過采樣后，本文使用Skip-gram[16]算法生成每個節點的特征向量，將通過UV 生成的用戶和項目的向量表示為和，將通過UU 生成的用戶向量表示為.這里定義L 為采樣路徑長度，Lc為窗口大小.此時上述兩類網絡節點的特征向量中已學習到用戶/項目交互以及用戶社交關系網絡中的隱特征.

2.3 面向注意力機制的圖神經網絡推薦算法

用戶/項目交互關系中附帶評分屬性，同一用戶對不同項目的評分、不同用戶對同一項目的評分中蘊含著豐富的用戶偏好和項目特征信息.在用戶/項目評分數據稀疏的情況下，為充分挖掘用戶/項目交互網絡和用戶社交網絡中的關系和屬性信息，本文將注意力機制引入用戶、項目的特征聚合表示過程，從而實現用戶/項目交互和用戶社交兩類網絡間的節點及拓撲結構特征的有效融合.

在聚合與中心用戶節點發生交互的鄰居項目節點、社交用戶節點時，利用注意力機制根據用戶特征為鄰居項目、鄰居用戶分配不同的權重，從而體現不同交互項目、不同社交用戶在體現用戶喜好特征時不同的重要性.在聚合與中心項目節點發生交互的鄰居用戶節點時，利用注意力機制根據項目特征為鄰居用戶分配不同的權重，從而體現不同鄰居用戶在體現項目特征時不同的重要性.

2.3.1 用戶特征融合

對于用戶，本文融合了獨立的兩部分，針對用戶項目交互網絡的u_v 和針對用戶社交網絡的u_u.

u_v：對于任何一個用戶，本文使用其鄰居項目和評分來表示該用戶針對某一項目的隱含向量表示，然后通過attention 網絡生成對應的權重，最后融合所有的隱含向量得到交互網絡中該用戶的隱含向量表示.具體計算公式為

σ 為激活函數，w 和b 為神經網絡參數，αij為項目j 對用戶i 的權重，每個項目對用戶的重要程度不同，如果把所有的權重指數都置為1，會導致預測結果不理想，因此本文通過兩層神經網絡訓練權重.具體計算公式為

xjr表示項目j 和對應評分r 的向量融合.xjr具體計算公式為

gτ為一個多層全連接神經網絡，⊕表示向量的拼接.er表示隨機初始化生成的評分向量.

u_u：本文使用用戶社交網絡中該用戶的鄰居向量融合來表示該用戶在社交網絡中的隱含向量表示，具體計算公式為

式中：βi′i為鄰居i′對用戶i 的權重指數，具體計算公式為

由公式（3）和（7），本文分別得到了用戶/項目交互網絡和用戶社交網絡中的用戶隱特征，并最終通過公式（9）將這兩部分特征進一步融合.具體計算公式為

2.3.2 項目特征融合

用戶i 對項目j 的權重指數ηij，具體計算公式為

這里得到的項目隱含向量表示作為最終的項目向量表示.

2.3.3 評分預測

本文通過上面得到的用戶向量和項目向量來預測用戶對項目的評分，在這里本文定義了一個多層的全連接層網絡，把用戶和項目向量的拼接作為網絡的輸入，網絡的輸出則是預測評分.具體計算公式為

2.3.4 模型學習

本文使用經典交叉熵損失函數進行模型更新，具體計算公式為

3 實驗與結果分析

3.1 數據集及評價指標

本文使用了Ciao 和Epinions 兩個數據集進行對比實驗，這兩個數據集是由亞利桑那州立大學學者在做社交網絡方面研究的時候使用的數據集.可以分別從http：//www.cse.msu.edu/～tangjili/trust.html和http：//www.trustlet.org/epinions.html 網頁鏈接上獲取.它們分別包含了283 319 和764 352 個評級.

本文采用了RMSE（Root Mean Square Error）和MAE（Mean Absolute Error）兩項指標來驗證模型準確度.

3.2 參數的設定

H_GNN 模型的超參數有路徑長度、窗口大小、學習率和嵌入維度.

本文通過實驗對比了在不同學習率下，路徑長度為10、窗口大小為5 和路徑長度為20、窗口大小為10 的預測誤差.關于參數實驗結果如表1 所示，表中顯示了H_GNN 模型在路徑長度為20、窗口大小為10、學習率為0.004 時預測誤差最小.

表1 路徑長度、窗口大小、學習率對比實驗Tab.1 Comparative experiment of path length，window size and learning rate

關于在不同嵌入維度下，H_GNN 模型的預測誤差實驗結果如圖2、圖3 所示，圖中顯示了H_GNN模型在嵌入維度為64 時，預測誤差最小.

圖2 嵌入維度實驗指標RMSE 對比Fig.2 Comparison of experimental index RMSE of embedded dimension

圖3 嵌入維度實驗指標MAE 對比Fig.3 Comparison of experimental index MAE of embedded dimension

3.3 對比實驗

為了評估H_GNN 模型的推薦性能，本文選擇以下六種推薦模型作為基線方法，進行對比實驗.

SocialMF[17]（Social Matrix Factorization）：主要思想是在矩陣分解中引入信任傳播，用戶表示接近其信任的用戶.

NeuMF[18]（Neural Matrix Factorization）：模型主要思想是結合了傳統矩陣分解和多層感知機，可以同時抽取低維和高維的特征.

DeepSoR[19]（Deep Social Recommendation）：主要思想是從社交關系學習到的用戶表示集成到概率矩陣分解中.

DeepFM[20]（Deep Matrix Factorization）：主要思想是聯合訓練FM（Matrix Factorization）模型和DNN（Deep Neural Networks）模型，同時學習低階特征組合和高階特征組合.

Wide&Deep[21]（Wide and Deep）：提出一種融合淺層模型和深層模型進行聯合訓練的框架.

GCMC[8]：提出一種從鏈路預測角度解決評分預測的圖自編碼器框架.

GraphRec[11]（Graph Recommendation）：主要思想是按用戶商品間的交互關系和用戶間的社交關系兩個層次，依次融合用戶、項目特征，進而訓練GNN 網絡預測評分.

H_GNN 與基線方法在Ciao 和Epinion 兩個數據集上，按照6 ∶4 劃分訓練和測試集.關于模型對比實驗結果如表2 所示，表中顯示了在兩個數據集的兩個評價指標下，H_GNN 模型均得到了最小的預測誤差.

表2 推薦模型預測誤差對比實驗Tab.2 Comparison experiment of recommended model prediction error

為了驗證H_GNN 模型在稀疏數據集上的推薦質量，本文基于Ciao 數據集構造了不同稀疏程度的9 個數據集，在保證Ciao 數據集不出現用戶、項目冷啟動的情況下，依次對用戶/項目評分數據進行了9次稀疏化，每次減少10%的評分數據，并選擇同樣基于GNN 且也融合了社交網絡輔助信息的推薦鄰居最先進的模型之——GraphRec 模型作為基線方法.

關于H_GNN 與基線方法中預測效果最好的GraphRec 模型的稀疏度對比實驗結果如圖4、圖5所示，圖中顯示了在評分數據不斷減少的過程中，H_GNN 模型相比GraphRec 模型的推薦質量提升明顯，在評分數據最為稀疏的90%處，H_GNN 模型比GraphRec 模型的推薦誤差降低了約40%.

圖4 隨稀疏度改變RMSE 指標對比Fig.4 RMSE index comparison with sparsity change

圖5 隨稀疏度改變MAE 指標對比Fig.5 MAE index comparison with sparsity change

由上述實驗結果可知，在用戶/項目交互稀疏的情況下，相比于基線方法使用隨機初始化用戶/項目節點表示進行推薦模型訓練，本文提出的基于異質信息網絡的多特征聯合表示方法具有更強的節點特征表示能力，提出的面向注意力機制的圖神經網絡推薦方法能有效融合用戶、項目、評分、社交等多維特征提升推薦質量.

3.4 消融實驗

為了探究基于異質信息網絡的信息多特征聯合表示、用戶社交網絡信息聚合對H_GNN 模型訓練效果的影響，本文在兩種不同稀疏度的Ciao 數據集上進行了兩組消融實驗.其中H_GNN_2 模型為取消基于異質信息網絡的信息多特征聯合表示，直接采用隨機值初始化用戶、項目特征向量作為面向注意力機制的圖神經網絡推薦算法的輸入；H_GNN-u_u 模型為在面向注意力機制的圖神經網絡推薦算法中，取消用戶社交網絡u_u，只采用用戶項目交互網絡u_v 進行用戶特征聚合.關于消融實驗結果如圖6、圖7 所示，圖中顯示了在稀疏度為50%和90%的Ciao 數據集上，H_GNN 模型的預測誤差明顯低于H_GNN_2 和H_GNN-u_u 模型.

圖6 消融實驗中RMSE 指標對比Fig.6 RMSE index comparison in ablation experiment

圖7 消融實驗中MAE 指標對比Fig.7 MAE index comparison in ablation experiment

由H_GNN_2 消融實驗結果可知，使用基于異質信息網絡的信息多特征聯合表示有助于提升H_GNN 模型推薦質量.由H_GNN-u_u 消融實驗結果可知，融合用戶社交信息，使用戶特征向量中包含用戶社交關系特征，同樣有助于提升H_GNN 模型推薦質量.

4 結論

數據稀疏性問題是推薦系統面臨的最具挑戰性的問題之一.數據稀疏使得圖網絡中節點可學習的結構信息變少，因此傳統基于GNN 的推薦算法預測誤差大.本文提出一種基于異質圖神經網絡的推薦算法，使用異質信息網絡對多源異質數據進行聯合解碼，引入注意力機制進行用戶/項目交互網絡和用戶社交網絡中用戶、項目特征的聚合表示，從而充分挖掘稀疏數據集中蘊含圖節點及拓撲結構特征.通過在兩個公開數據集上進行的大量對比實驗結果表明，本文提出的算法在原始和不斷稀疏化的數據集上的推薦誤差均明顯小于所有的基線方法.

隨著時間的推移，推薦系統中的網絡節點及其關系會不斷變化，目前本文的推薦模型僅適用于靜態圖網絡，后續可進一步開展動態圖網絡增量計算推薦算法的研究.