基于GNN的矩陣分解推薦算法

王英博，孫永荻

1.遼寧工程技術大學 創新實踐學院，遼寧 阜新 123000

2.遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105

在信息爆炸的時代，推薦系統因其在緩解信息過載上的特殊能力受到越來越多的關注，被電子商務、在線新聞、社交媒體網站等眾多在線服務機構廣泛采用[1]。推薦系統利用用戶和項目之間的交互信息來深入挖掘用戶的行為偏好，從而預測用戶的興趣偏好，并向需要該項目的特定用戶推薦最合適的項目，這類方法被稱為協同過濾[2-3]。在眾多協同過濾推薦算法中，矩陣分解（MF）[4-5]已成為最受歡迎的推薦算法之一，并引起了廣泛關注。它主要是將用戶和項目嵌入到一個共享的潛在空間中，將用戶和項目用特征潛在向量表示。之后，用戶和項目之間的交互被建模為其潛在特征向量的內積。受Netflix獎的影響，MF 已經成為潛在因素模型推薦的實際方法。許多研究工作致力于改進MF，SoRec[6]提出了一種協因子分解方法，該方法通過評分和社會關系來共享一個共同的潛在用戶特征矩陣。SocialMF[7]通過分解社會信任網絡，將用戶映射到兩個低維空間：信任者空間和受托者空間。近年來，深度神經網絡模型對學習各個領域的有效特征表示產生了很大的影響，如語音識別、計算機視覺（Computer Vision，CV）和自然語言處理（Natural Language Processing，NLP）。最近的一些研究已經將深度神經網絡應用于推薦任務，并取得了令人滿意的結果[8-9]，但大多數研究都使用深度神經網絡來建模音樂的音頻特征，項目的文本描述，以及圖像的視覺內容。此外，NeuMF[10]提出了一個神經協作過濾框架來學習用戶和項目之間的非線性交互作用。DLMF[11]在評級上使用自動編碼器來學習初始化現有矩陣分解的表示。提出了一種兩階段的信任感知推薦過程，利用深層神經網絡對矩陣分解進行初始化，綜合用戶的興趣和信任朋友的興趣以及基于矩陣分解的社區效應的影響。DeepSoR[12]將用戶社會關系的神經網絡集成到概率矩陣分解中，首先使用預先訓練的節點嵌入技術來表示用戶，并進一步利用k近鄰來連接用戶嵌入特征和神經網絡。最近，圖神經網絡（GNN）已經被證明能夠學習圖結構數據[13-14]。在推薦系統的任務中，用戶-項目交互包含了用戶對推薦項目的評價，是一種典型的圖形數據。因此，有人提出了GNN 來解決推薦問題[15-16]。sRMGCNN[17]采用GNN提取用戶和項目的圖嵌入，然后結合遞歸神經網絡進行擴散過程。盡管先前的工作取得了令人矚目的成功，但人們對GNN 的社會推薦關注甚少。本文提出了一種用于社會推薦的圖神經網絡來填補這一空白。

在本文中，探討了如何利用GNN 建模學習用戶潛在特征。這項工作的主要貢獻如下：

（1）提出一種神經網絡架構來建模學習用戶潛在特征，通過用戶項目圖和社交網絡圖發現其內在聯系，并集成到概率矩陣分解上形成推薦。

（2）提出一種在用戶項目圖中將用戶意見和項目交互聯系在一起的方法。

（3）在兩個真實數據集中進行了廣泛的實驗數據集來證明GNN與MF結合的有效性和可行性。

1 相關工作

1.1 矩陣分解

2006 年，在著名的Netflix 大賽[18]中，采用矩陣分解法處理評分預測問題的推薦算法大放異彩。與考慮用戶和項目之間的相似度的基于近鄰協同過濾推薦算法相比，矩陣分解推薦方法更節省內存，更精確。與奇異值分解（SVD）類似，矩陣分解將用戶項目評分矩陣分解為兩個低秩矩陣的乘法，其中可以存儲用戶和項目的潛在因素。因此，矩陣分解可以發現具有相似內容和隱含特征的項目。用戶u和項目i的矩陣分解推薦系統將分別產生用戶向量pu∈Rf和項目向量qi∈Rf，其捕捉用戶u和項目i之間的交互。

矩陣分解的主要難題是在因子向量中找到用戶和項目之間的映射。為了學習因子向量pu和qi，將評級矩陣R中的值作為訓練數據，并分解為，其目標函數：

其中，Iui是指示函數，有評分為1，否則為0。rui為真實評分，為預測評分。λ為防止過擬合的正則化參數。

1.2 圖神經網絡

隨著互聯網技術的快速發展，大量的圖結構數據已經遍布各個領域。例如，微博用戶之間形成社交網絡，淘寶用戶與商品構成電子商務網絡，生物分子網絡以及交通網絡等等[19]。與圖像、文本不同，圖結構是復雜多變的不規則領域。近年來，圖形數據的深度神經網絡技術有了長足的發展。這些深層神經網絡結構被稱為圖神經網絡（GNN）[20]，它被提出學習有意義的圖形數據表示。他們的主要思想是如何使用神經網絡迭代地從局部圖鄰域聚集特征信息。同時，節點信息經過轉換和聚合后可以通過圖來傳播。因此，GNN 自然地整合了節點信息和拓撲結構，并被證明在表示學習方面具有強大的能力。另一方面，社會推薦中的數據可以用兩個圖來表示。這兩個圖包括表示用戶之間關系的社交圖和表示用戶與項目之間交互的用戶項圖。用戶同時參與到這兩個圖中。此外，社交推薦的自然方式是將社交網絡信息納入用戶和項目潛在因素學習。學習項目和用戶的表征是建立推薦系統的關鍵。因此，鑒于GNN 的優勢，GNN為促進社交推薦提供了前所未有的機會。

2 本文算法

2.1 問題描述

設U={u1,u2,…,un}和V={v1,v2,…,vm}分別是用戶集和項目集，其中n是用戶數，m是項目數。假設R∈?n×m是評分矩陣，也稱為用戶項目圖。如果ui給vj評分，rij為評分得分，否則用0 表示從ui到vj的未知評分，即rij=0。觀察到的評分rij可以看作是用戶ui對項目vj的意見。設O={|rij≠0}為已知意見集合，Γ={|rij=0}為未知意見集合。設N(i)為ui直接連接的用戶集，C(i)為ui已交互的項集。此外，用戶之間還可以建立社交關系。用T∈Rn×n表示用戶-用戶社會關系圖，如果uj與ui有關系，則Tij=1，否則為0。在給定用戶項目圖R和社交圖T的情況下，目標是預測R中缺失的評分值。用嵌入向量pi∈Rf表示用戶ui特征，用嵌入向量qj∈Rf來表示項目vj特征，其中f是嵌入向量的長度。

2.2 GNN_MF框架

圖1顯示了GNN_MF概率模型的整體視圖。GNN_MF的目標是找到用戶和項目的潛在模型（U∈Rf×n和V∈Rf×m，其中f是維數），通過(UTV)重建評級矩陣R預測評分。其條件分布可以定義為：

圖1 GNN_MF圖形框架Fig.1 GNN_MF graphics framework

對于概率矩陣分解中的用戶潛在特征向量，有神經圖生成的用戶潛在特征向量向量來近似，如下所示：

其中xi是用戶i的偏好信息，稍后將進行描述。將Netu和噪聲?中的內部權重W（權重和偏差）分別建模為方差為σW2和σU2的零均值高斯分布。因此，定義一個給定W和X的U的條件分布來建模用戶潛在模型，如下所示：

2.3 用戶潛在特征模型

圖2 用戶潛在特征模型Fig.2 User latent feature model

2.3.1 項目聚集

項目聚合的目的是通過考慮用戶ui交互過的項目和用戶對這些項目的評分意見，來學習項目空間用戶潛在因素具體聚合函數如下：

其中C(i)是用戶ui與之交互的項目集，oia是表示用戶ui和項目va之間的意見交互的表示向量，而αia表示歷史交互項目的權重，W和b是神經網絡的權值和偏差。接下來將討論如何定義意見交互向量oia和權重αia。

在用戶-項目交互過程中，用戶可以表達他/她的觀點（或評分分數），用r表示。這些對項目的看法可以捕捉到用戶對項目的偏好，有助于對項目空間用戶潛在因素進行建模。為了建立觀點模型，對于每一類意見r，引入一個意見嵌入向量er∈Rd，它將每個意見r表示為一個稠密向量表示。針對用戶ui與項目va之間的意見r交互，通過多層感知器（MLP）將意見交互表示xia建模為項目嵌入qa和意見嵌入er的組合。

其中⊕表示兩個向量之間的串聯操作。

將項目權重αia參數化為一個兩層神經網絡，稱之為注意網絡。注意力網絡的輸入是交互的意見表示oia和目標用戶ui的嵌入pi。形式上，注意力網絡被定義為：

最后的注意權重通過使用Softmax函數對上述注意得分進行歸一化得到：

2.3.2 社會聚集

根據社會相關理論[6，8]，用戶的偏好與他/她直接聯系的社交朋友相似或受其影響。因此應該結合社會信息來進一步模擬用戶的潛在因素。同時，用戶之間的聯系強度可以從社交圖中進一步影響用戶的行為。換言之，學習社會空間目標用戶的潛在因素應考慮社會關系的異質性優勢。因此，引入了一種注意機制來選擇具有代表性的社交好友來表征用戶的社交信息，并對其信息進行聚合。

為了從這個社會化的角度來表達用戶的潛在因素，提出了社交空間用戶潛在因素，即從社交圖中聚合相鄰用戶的項目空間用戶潛在因素。具體而言，ui的社交空間用戶潛因子是將用戶在ui的鄰居N(i)中的項目空間用戶潛因子聚合起來，如下所示：

如前所述，強關系和弱關系在一個社交網絡中是混合在一起的，用戶可能會與強關系而不是弱關系分享更多相似的偏好。因此，用一個雙層神經網絡來執行一個注意力機制，通過將社會注意力βik與和目標用戶嵌入pi相關聯，提取出這些對ui有重要影響的用戶，并對其關聯強度進行建模，如下所示：

其中βik可以看作是用戶之間的優勢，值越高代表其意見對目標用戶的影響越大。

為了更好地了解用戶潛在因素，需要將項目空間用戶潛在因素和社會空間用戶潛在因素結合起來考慮，因為社會圖和用戶項目圖從不同的角度提供了關于用戶的信息。通過一個標準的MLP將這兩個潛在因素結合成最終用戶潛在因素，其中項目空間用戶潛在因素和社交空間用戶潛在因素在輸入MLP 之前被連接起來。形式上，用戶潛在因素定義為：

2.4 優化GNN_MF模型

為了優化GNN 的用戶潛在模型、權重和偏差變量等變量，使用最大后驗概率（MAP）估計如下：

對于變量ui和vj，使用坐標上升法迭代優化潛在變量，同時固定剩余變量：

2.5 算法步驟

輸入：用戶項目圖、社交網絡圖；

輸出：預測評分。

1.利用矩陣分解生成用戶、項目潛向量U、V。

2.根據公式（6），生成用戶交互意見向量。

3.根據公式（5）（9），生成項目空間和社會空間的用戶特征。

4.根據公式（11），輸出用戶潛在特征。

5.結合步驟1 的物品隱向量和步驟5 的用戶潛在特征向量，最后得到優化函數，式（12）。

6.根據公式（13），更新ui和vj。

7.預測評分。

3 實驗

3.1 數據集

實驗采用兩個具有代表性的數據集Ciao和Epinions，它們來自于社交網站。每個社交網絡都允許用戶對項目進行評分、瀏覽/撰寫評論，并將朋友添加到他們的“朋友圈”中。因此，它們提供了大量的評級信息和社會信息。評分范圍是從1到5。根據{1，2，3，4，5}中的5個分數，用5個不同的嵌入向量隨機初始化意見嵌入。這兩個數據集的統計數據如表1所示。

表1 實驗數據集描述Table 1 Experimental data sets description

3.2 評價指標

為了更加公平地對比算法性能，采用五折交叉驗證來對推薦模型進行訓練與測試。把數據集中用戶對項目的評分數據平均分成5等份，在每次實驗中，隨機選取1組作為測試集，其余4組作為訓練集。5次實驗確保每一組都被測試，最終實驗結果為5次實驗結果的平均值。

利用兩個指標來衡量預測精度，即均方根誤差（RMSE）和平均絕對誤差（MAE），定義為：

從計算公式可以看出，MAE和RMSE越小，預測精度越高，算法越有效。

3.3 結果分析

3.3.1 參數設置

對于所有的神經網絡方法，batch size 和學習率分別在[32，64，128，512]，[0.000 5，0.001，0.005，0.01，0.05，0.1]中搜索。此外，根據經驗將隱藏層的大小設置為嵌入大小，并將激活函數設置為ReLU。隨機初始化模型參數為高斯分布，其中平均值和標準差分別為0和0.1。

對于嵌入大小f，測試[8，16，32，64，128，256]的值。從圖3和圖4可以看出，當為64時效果最好。

圖3 Epinions數據集下不同f 的RMSEFig.3 RMSE of different f under Epinions data set

圖4 Ciao數據集下不同f 的RMSEFig.4 RMSE of different f under Ciao data set

圖5和圖6顯示了不同的λU取值在Epinion數據集和Ciao數據集上RMSE的變化。

圖5 Epinions數據集下λU 的RMSEFig.5 RMSE of λU under Epinions data set

圖6 Ciao數據集下λU 的RMSEFig.6 RMSE of λU under Epinion data set

從圖中可以看出，RMSE 隨λU的變化呈現先減小后增大的趨勢。當λU=10 時RMSE 取得最小值，性能最優，因此將λU設置為10。

圖7和圖8分別給出了在Epinions數據集和Ciao數據集上，λV的取值對本文提出的GNN_MF算法在RMSE上的影響。

圖7 Epinion數據集下λV 的RMSEFig.7 RMSE of λV under Epinion dataset

圖8 Ciao數據集下λV 的RMSEFig.8 RMSE of λV under Ciao data set

從圖7 和圖可以看出，隨λV的增大，RMSE 呈現先減小后增大的趨勢，且在λV=10 的時候取得最小值。故，將λV設置為10。

對比算法的參數采用文獻中的配置，然后仔細地調整以達到最佳性能

3.3.2 算法性能對比

為了驗證基于GNN_MF推薦算法的性能，將本文所提出的算法和PMF、SocislMF、NeuMF 以及DeepSoR 等經典推薦算法進行比較，并對得到的實驗結果進行分析。

PMF[7]：一個典型的潛在因子模型，它對公共子空間[18]中的用戶和項進行因子分解。

SocialMF[6]：它考慮信任信息和信任信息傳播到推薦系統的矩陣分解模型中。

NeuMF[10]：這種方法是一種最先進的神經網絡結構矩陣分解模型，最初的實現是針對推薦排名任務，將其損失調整為損失的平方來進行評級預測。

DeepSoR[13]：該模型利用深度神經網絡從社會關系中學習每個用戶的表示，并集成到概率矩陣因子分解中進行評級預測。

比較了各種方法的推薦性能。表2 顯示了Ciao 和Epinions數據集推薦方法中的總體評級預測誤差RMSE和MAE。

表2 不同推薦推薦算法的性能比較Table 2 Performance comparison of different recommendation algorithms

分析表2，有以下主要發現：

SocialMF 和DeepSoR 的表現總是優于PMF。所有這些方法都是基于矩陣分解的。SocialMF和DeepSoR同時利用評級和社交網絡信息；而PMF只使用評級信息。這些結果支持社會網絡信息是對推薦的評級信息的補充。

NeuMF的性能比PMF好得多。兩種方法都只利用評級信息。然而，NeuMF是基于神經網絡結構的，這表明了神經網絡模型在推薦系統中的強大作用。

DeepSoR的性能優于SocialMF。它們都利用了評級和社交網絡信息。然而，DeepSoR是基于神經網絡體系結構的，這進一步表明了神經網絡模型在推薦中的作用。

本文方法GNN_MF 始終優于所有對比方法。與DeepSoR 相比，GNN_MF 提供了先進的模型組件來集成評級和社會網絡信息。此外，還提供了一種在用戶項圖中同時考慮交互和意見的方法。

4 結束語

本文提出了一種融合PMF 和GNN 的GNN_MF 算法。在PMF的基礎上，通過神經網絡，在用戶項目圖以及社交圖中學習用戶潛在特征，將其與PMF 學習的項目潛在特征進行結合，對推薦系統中的數據稀疏以及冷啟動問題有很大的改善。特別提出一種在用戶項目圖上融合意見和交互的方法。在數據量和稀疏性均不同的Epinions和Ciao數據集上的實驗結果表明，本文算法能有效地提高推薦系統的性能。

目前僅將社交圖納入推薦，而現實世界中的許多行業都與用戶和商品相關的豐富的其他方面的信息。例如，用戶和項目與豐富的屬性相關聯。因此，探索具有屬性的圖神經網絡推薦將是一個有趣的未來方向。除此之外，本文假設評級和社會信息都是靜態的。然而，評級和社會信息自然是動態的，因此，在未來將考慮建立基于動態圖神經網絡的社會動態推薦。