基于圖注意力機制優化的社交推薦算法研究

許峰

（安徽理工大學，安徽 淮南 232001）

0 引 言

面對大量的網絡用戶和信息爆炸，推薦系統至關重要，可以緩解信息過載，為用戶提供更高效，更高質量的服務。一個有效的推薦系統可以通過從大量信息中獲取用戶喜歡的內容（如電影、音樂、商品）而使用戶獲益，也可以通過降低促銷成本而使服務提供商獲益。與此同時，隨著社交媒體的發展，利用社會關系來提高推薦的效果也越來越受歡迎。在社交網絡中，有聯系的朋友之間有一種信息的流動，用戶的偏好與他/她周圍的人相似或受其影響，針對這一特點，越來越多的社交推薦算法應運而生。

目前，深度學習由于其具有高表達性和模型高保真度，顯示出了實現良好性能的強大能力。同時，包括社交網絡在內的部分信息本質上具有圖結構，而圖神經網絡（GNNs）在圖表示學習方便具有強大能力。因此推薦系統中利用GNNs 的領域正蓬勃發展。在現有的社交推薦算法中，結合深度學習與社交網絡的模型在一定能過程度上取得了不錯的效果，如Fan等在社交關系中利用提取單個用戶的非線性特征整合到用戶項目的矩陣分解中提出DeepSoR 模型進行評分預測，該模型也是深度學習結合社交關系的一個基準模型。近年來，通過在圖神經網絡的基礎上融合注意力機制來提升特征提取能力并提高推薦績效的方法取得了顯著的效果，因此越來越多的模型通過使用圖注意力機制來對社交推薦中的特征進行建模，如Fan 等人提出結合圖神經網絡和注意力機制來提取用戶、項目及社交關系等相關特征的社交推薦模型。Song 等人同樣結合GNNs 和注意力機制，并將社交網絡的環境結合起來考慮，動態的建模用戶行為特征。然而，上述方法都是針對用戶和項目的局部特征進行處理，或者僅考慮用戶或項目的局部交互在社交圖中的傳播，并沒有充分考慮到全局特征在社交關系中的作用，以及在GNNs 的框架下，通過消息傳遞對全局特征捕獲的優勢，因此，本文通過使用圖神經網絡結合多頭自注意力機制組成的圖注意力模型考慮用戶和項目在社交網絡中的全局信息來優化社交推薦，從而提升推薦準確度。通過實驗結果表明，本文所提出的方法在兩個真實數據集上的評分預測任務中有一定的效果。

1 研究框架

本文所提的整體框架參考了GraphRec 模型的框架，將模型分為四個模塊：用戶建模、社交建模、項目建模、評分預測。其中，用戶建模通過用戶的歷史評分交互行為來學習用戶的潛在偏好特征；社交建模通過利用用戶的社交關系，將社交好友的潛在特征作為用戶建模的補充，從而更充分的學習用戶自身以及在社交網絡中的潛在偏好特征，并將用戶潛在表示與社交用戶潛在表示通過連接統一為用戶潛在表示。項目建模則通過從項目被用戶評分交互過的評價中來學習項目的潛在特征，即項目更受哪些用戶喜好。評分預測模塊通過前三個部分對用戶和項目的建模進行連接得到最終融合用戶項目的潛在表示，并通過多層感知機（MLP）來實現最終預測。整體研究框架如圖1所示。接下來本文將對各部分細節進行介紹。

圖1 整體研究框架

2 模型構建流程

2.1 用戶/項目建模

用戶建模在項目空間下針對用戶u對項目v的歷史行為評分來學習用戶的偏好特征h，項目建模是在用戶空間下針對項目v被不同用戶u所評價形成項目潛在偏好特征z，文中用戶對項目的評分記做r。這里與以往工作不同的是，本模型通過使用多頭自注意力機制捕獲用戶行為序列和項目的用戶序列的全局特征，使得模型在考慮社交關系的情況下利用圖神經網絡將全局特征信息在社交圖中傳播，更加全面的考慮用戶和項目的潛在特征。接下來將通過公式詳細介紹具體流程。

一個用戶同時對多個項目都可能有意見，這種意見的表示形式通過使用評分來表示，因此對于融合評分和項目嵌入部分涉及兩個嵌入，分別記為意見嵌入e∈?和項目嵌入q，這里∈()，()表示用戶u的所有交互項目的集合。通過將q和e拼接組成用戶u對項目v的意見，公式如式（1）所示：

其中，g表示一個由MLP 組成的整合函數，⊕表示拼接操作。

同理，一個項目可能同時有來自多個不同用戶的評分，所以對于融合評分和用戶嵌入同樣設計兩個嵌入，分別記為意見嵌入e∈?和用戶嵌入p，∈()，()表示項目v有交互的所有用戶集合。通過拼接組成項目來自不同用戶的意見表示，公式如式（2）所示：

其中，g表示與g相同的整合函數。

在分別得到融合評分和項目嵌入以及融合評分和用戶嵌入的表示后，都通過了一個多頭自注意力機制來捕獲全局特征的權重關系，為接下來得到更準確的用戶和項目嵌入做準備，由于在該部分多頭自注意力機制中形式相同，因此，這里為了減少重復公式將x和f統一為M，將p和q統一為N進行計算得到用戶空間和項目空間的全局特征權重系數分別記為a和μ，公式如式（3）所示：

通過學習到的全局特征權重系數，將其與意見表示結合，得到用戶（項目）在項目空間和用戶空間下的偏好程度，并通過一個由單層神經網絡組成的聚合函數得到聚合后的節點表示h和z，公式如式（4）所示：

其中，表示ReLU 激活函數，表示可學習的參數，表示偏置，||表示連接操作。

2.2 社交建模

社交建模通過利用用戶的社交關系來補充對用戶的偏好建模，將用戶的直接好友的偏好認為可以影響用戶的偏好，基于這一點，在融合社交和評分項目嵌入時將用戶的直接好友u，以及好友的評分交互嵌入e∈?結合，形成社交好友的意見表示，這里，社交好友的偏好表示與2.1 節中用戶的偏好表示建模類似，記為h，∈（），（）表示與用戶u相關的社交用戶的集合。

通過得到用戶好友的偏好表示后，在該部分主要將用戶與好友的社交關系進行全局特征的權重分配，即選取在用戶好友中與用戶本身最相關偏好影響最大的用戶。將用戶的社

交建模表示為h，社交權重系數記為β，公式如式（5）所示：

聚合后的社交建模表示如式（6）所示：

得到社交建模表示后，這里可以與2.1 節得到的用戶潛在表示通過兩層MLP 結合，得到最終用戶潛在表示h，具體流程為：

2.3 評分預測與模型優化

通過2.1節和2.2節學習到的用戶和項目的潛在表示后，將它們連接并輸入到多層MLP 進行評分預測，過程為：

本文模型通過式（9）作為目標函數并通過Adam 作為優化器對模型進行優化：

其中表示觀察到的交互評分集合，r表示實際評分值。

3 實驗與結果分析

3.1 數據集介紹

本模型使用的數據集為兩個含有社交連接信息的數據：Ciao 和Epinions，數據集中含有用戶、項目以及用戶對商品的評分，評分分值為，還含有用戶之間的社交信息。具體數據統計信息如表1所示。

表1 數據集統計信息

3.2 評估指標和參數設置

本實驗使用社交推薦評分預測中常用的兩個指標：平均絕對誤差（Mean Absolute Error,MAE）和均方根誤差（Root Mean Square Error,RMSE）。MAE 和RMSE 值越小，說明效果越好。實驗中，多頭自注意力頭的個數設置為2，學習率設置為0.000 5，訓練集占比為60%，剩下20%為驗證集，20%為測試集。嵌入維度大小設置為64，批處理大小為256。

3.3 與基線模型比較

為了評估本文所提模型的有效性，實驗選取了四個不同的模型進行對比。分別是：

PMF：該模型為傳統的推薦模型，通過使用概率矩陣分解的方式對用戶項目潛在因素進行建模。

SocialMF：以矩陣分解為基礎，將社交信息融合考慮，提成對用戶偏好的學習效果。

DeepSoR：以深度神經網絡為基礎使用矩陣分解的方法學習用戶項目潛在表示。

GraphRec：以圖神經網絡為框架結合社交信息，分別建模用戶和項目的潛在特征表示。

本模型與基線模型在兩個數據集Ciao（60%）和Epinions（60%）上的對比結果如圖2、圖3所示。

圖2 在Ciao（60%）數據集上的比較

圖3 在Epinions（60%）數據集上的比較

通過對比可知，與不使用社交關系的模型PMF 相比，通過考慮社交關系的SocialMF 模型具有更好的效果，說明社交關系對推薦效果的提升具有一定的促進作用。除此之外，對于在深度神經網絡框架下的DeepSoR 模型相比僅使用矩陣分解來處理社交關系的SocialMF 模型相比，具有更小的誤差，這表明深度神經網絡比普通的神經網絡具有更強的特征表達能力。針對，社交網絡具有圖的拓撲結構的性質，通過使用GNN 的GraphRec 模型具有比之前都要好的效果，說明圖神經網絡對圖結構的處理具有更強的能力，但該模型僅考慮局部特征的效果影響，本文模型通過在GNN 網絡的結構上考慮全局特征信息的建模，獲得了比以上基準模型更優秀的效果，從而說明本文所提模型在社交推薦中的有效性。

4 結 論

針對現有圖神經網絡社交推薦方法對全局特征信息處理不足的問題，本文通過結合多頭自注意力機制，提出一種基于圖注意力機制優化的社交推薦模型。本研究將多頭自注意力機制在圖神經網絡框架下，分別針對用戶、項目、社交關系的全局特征信息進行處理，增強了模型對全局特征信息在社交圖中的處理能力。通過實驗表明，本文模型在Ciao 和Epinions 兩個數據集上與現有社交推薦模型相比具有更好的預測效果。后續工作將從全局特征出發，考慮更加細粒度的全局特征以增強模型預測效果。