融合協同效應的自適應圖卷積網絡推薦算法

摘" 要： 基于圖神經網絡的協同過濾算法在許多推薦場景中取得了良好的表現，但是現有的圖神經網絡推薦模型在推薦過程中忽略了節點間協同效應與節點?層級的重要性融合表達以及堆疊多層網絡容易存在過平滑問題。為解決上述問題，文中提出一種新的融合協同效應的自適應圖卷積網絡推薦算法。首先，構建用戶?項目二部圖并計算節點間交互率；其次，根據節點局部結構自適應決定節點?層級的融合表達權重；然后，利用第[l]層與第[l+1]層嵌入向量的相似度來緩解圖卷積網絡的過平滑問題；最后，使用協同效應融合自適應圖卷積網絡學習潛在的特征并通過內積作為結果進行推薦。在五個真實數據集上的實驗結果表明，所提模型相比基線模型，在召回率和歸一化折損累計增益兩個評價指標上有明顯提高。

關鍵詞： 圖神經網絡； 協同過濾； 推薦算法； 協同效應； 過平滑； 交互率； 自適應

中圖分類號： TN911?34； TP391" " " " " " " " " " " 文獻標識碼： A" " " " " " " " " "文章編號： 1004?373X（2024）23?0164?07

Adaptive graph convolutional network recommendation

algorithm incorporating collaborative effects

ZHU Yongkang1， JING Mingli1， JIAO Long2， WANG Fei1

（1. School of Electronic Engineering， Xi’an Shiyou University， Xi’an 710065， China;

2. College of Chemistry and Chemical Engineering， Xi’an Shiyou University， Xi’an 710065， China）

Abstract： The collaborative filtering （CF） algorithms based on graph neural networks （GNNs） have shown promising performance in many recommendation scenarios. However， the existing GNN recommendation models overlook the importance fusion expression of collaborative effects among nodes and the node?hierarchy， as well as the potential over?smoothing inherent in stacking multiple layers of networks. In view of the above， a novel adaptive graph convolutional network （GCN） recommendation algorithm that integrates collaborative effects is proposed. A bipartite graph of users and items is constructed and the interaction rate among nodes is calculated. The fusion expression weight of node?hierarchy is determined adaptively based on the local structure of nodes. The over?smoothing of GCNs is mitigated by measuring the similarity between embedding vectors of the [lth] and [（l+1）]th layers. The collaborative effects fused with adaptive GCNs are used to learn the latent features and make recommendation by taking inner products as the results. The results of experiments on five real datasets demonstrate that the proposed model outperforms the baseline models in terms of the evaluation indexes of recall rate and normalized discounted cumulative gain （NDCG）.

Keywords： GNN; collaborative filtering; recommendation algorithm; collaborative effect; over?smoothing; interaction rate; adaptation

0" 引" 言

如今，隨著互聯網技術的快速發展，各種信息層出不窮。雖然這極大地豐富了人們的精神生活，卻也導致了信息過載問題，這一問題使得在海量的信息中很難快速找到需要的關鍵信息或感興趣的內容。為了緩解這一難題，推薦系統[1?3]（Recommender System）應運而生。推薦系統作為實現信息過濾的重要手段，其本質是根據用戶的興趣偏好或需求建模，以實現個性化推薦。

協同過濾（Collaborative Filtering， CF）是推薦系統中最流行的技術之一，其核心在于利用用戶同物品之間的相似度去完成推薦。早期的矩陣分解（Matrix Factorisation， MF）模型（如PMF[4]和SVD[5]）是基于分解用戶和物品之間的交互構建鄰接矩陣，并根據這些分解的向量預測用戶的偏好。上述方法是有效的，但不足以模擬復雜的用戶行為和大數據輸入。與經典CF方法類似，基于神經網絡協同濾波（Neural Collaborative Filtering， NCF）的方法[6?7]以神經網絡協同濾波的方式擴展MF的內積以增加容量，但仍然面臨難以學習數據中高階結構信息的困境。圖卷積網絡[8]（Graph Convolutional Networks， GCNs）在圖結構建模和學習表征方面表現突出。基于GCNs的推薦方法[9?14]，將用戶?項目建模為二部圖，通過重建用戶和項目之間的歷史行為來學習嵌入向量。當數據受噪聲污染，推薦系統也遇到了挑戰，為此提出了SGL[15]，進一步利用對比學習[16]和圖增強來改善模型對噪聲交互的魯棒性。相比之下，通過將交互項目投影到基于GCNs的模型中以捕獲高階鄰居，可以提高性能。

然而，目前的研究大多基于經典圖卷積網絡框架LightGCN[9]進行，使得這些基于GCNs的模型在信息聚合過程中無法實現節點間信息與層級信息融合表達。因此，需要深化圖卷積在推薦任務上的信息聚合效果，優化現有模型對于節點間信息與層級信息重要性的融合表達。另外，圖卷積網絡不能像傳統卷積神經網絡一樣，它存在天然的局限性，即圖卷積網絡不能堆疊多層。過高的圖卷積層數可能會導致輸入的圖信號逐漸被平滑掉，剩下的只有度信息，導致其在實際應用中存在瓶頸。

針對上述問題，本文提出了融合協同效應的自適應圖卷積網絡推薦算法（Adaptive Graph Convolutional Network Recommendation Algorithm Incorporating Collaborative Effect， AGCE）。

1" 相關理論

1.1" 通用交互率

由于推薦任務只考慮有交互的部分，沒有交互的鄰域都將被認為是空，下面介紹兩種計算交互率的方法。

1.1.1" Jaccard相似度

Jaccard（JC）相似度[17]分數是兩個鄰域集之間相似性的經典度量，它被定義為兩個鄰域集的交集與這兩組并集的比率：

[JC（i，j）=Ni?NjNi?Nj] （1）

式中：[Ni]和[Nj]表示關于[i]和[j]的鄰域集。

1.1.2" Salton Cosine相似度

Salton Cosine（SC）相似度[18]分數衡量兩個節點的鄰域集之間的余弦相似度，表達式為：

[SC（i， j）=Ni?NjNi?Nj] （2）

式中：[Ni]和[Nj]表示關于[i]和[j]的鄰域集。

1.2" 殘差細化模塊

殘差細化模塊（Residual Refinement Module， RRM）的整體設計受到ResNet[19]的啟發，其具體框架如圖1所示。

殘差細化模塊是將第[l]層的嵌入與第[l+1]層的嵌入進行相似度計算，以利用相似度來細化提取信息，計算方法見式（3）。

[αl+1=Sim（hl+1，hl）] （3）

式中：[Sim（?）]是一種被廣泛使用的度量方法，用于描述嵌入向量之間的相似程度，由于它是非參數的，不會導致過擬合問題；[h]表示用戶（項目）的嵌入向量，為了簡化表達，對于用戶?項目二部圖的嵌入也可用矩陣[H]表示。

殘差細化模塊有兩個重要作用：一方面，有助于融合當前層與上一層嵌入的特征信息，從而減少節點過平滑的風險；另一方面，它可以加速網絡的訓練過程，促進模型更快的收斂，實現更好的性能表現。

2" AGCE算法實現

2.1" AGCE框架及其實現

本節主要介紹AGCE設計框架，AGCE框架主要由預訓練模塊（Pre?training）、殘差細化模塊（RRM）以及信息聚合模塊三部分組成，整體框架如圖2所示。

AGCE框架具體實現過程：輸入的圖數據根據LightGCN的原始嵌入將邊權重傳遞視為兩個獨立視圖用來捕獲不同類型的交互并轉換成通用交互率，通過引入的協同貢獻系數增強（或削弱）通用交互率高（或低）的鄰居消息。其表示方法如下：

[δij=χi（j），Aijgt;00，Aij=0，" "?i， j∈V] （4）

式中：[χi（j）]表示中心節點[i]與鄰居節點[j]的通用交互率；用[Aij]判斷鄰接矩陣[A]中節點[i]與鄰居節點[j]是否存在邊。然后進行完整卷積操作，實現信息聚合的表達式見式（5）：

[xl+1i=j∈N1iCombγiδijk∈N1iδik，d-0.5id-0.5jxlj，" " "?i∈V] （5）

式中[Comb（?）]是用于結合邊權重和傳播嵌入的函數，可以通過先驗知識設置或參數化應用MLP來保證通用近似。為保證節點的消息總個數不會被影響，設置[γi=k∈Nlid-12id-12k]。

為了在圖卷積過程中實現自適應傳播（Adaptive Propagation），充分利用節點信息隨聚合過程減弱的思想，同時也保證節點間的相似特性。因此，自適應傳播由式（6）實現：

[θ（t（l））=tle-tl！] （6）

式中：[e-t]表示自適應學習函數；[l]表示神經網絡的層數；[t]表示第[l]層的參數，包括用戶和項目的不同參數，具體參數包括[tui]和[tuj]的可學習參數。

在推薦任務中，輸入初始化用戶ID嵌入[h0u]，項目ID嵌入[h0i]，把初始嵌入與預訓練得到的邊權值通過公式（5）卷積操作得到第[l+1]層的嵌入[hl+1u]和[hl+1i]；最后通過計算相似度系數[αl+1]實現信息傳播形成下一層嵌入向量，具體計算方法見式（7）：

[h′ul+1=（αl+1u+ω）u?hl+1uh′il+1=（αl+1i+ω）i?hl+1i] （7）

式中：[ω]表示偏置值；[αl+1u]和[αl+1i]分別表示第[l+1]層用戶嵌入和項目嵌入的節點相似度系數。

通過在聚合過程中使用增強表示，可以將每個嵌入層添加到傳播層中，以挖掘高階連接信息。第[l+1]層用戶[ui]和項目[vj]傳播的最終嵌入表示為：

[hl+1u=l=1Lθ（tl+1ui）?hl+1u+θ（t1ui）?h1uhl+1i=l=1Lθ（tl+1vj）?hl+1i+θ（t1vj）?h1i] （8）

式中：[L]表示神經網絡層數；[θ（tl+1ui）]和[θ（tl+1vj）]分別表示用戶和項目的自適應傳播系數（由于在第一層卷積直接輸出，而不需要進行節點相似性考慮，所以只進行自適應消息傳播）；[θ（t1ui）]表示第[1]層的自適應傳播系數；[h1u]和[h1i]表示經過第一層圖卷積的輸出嵌入向量。

2.2" 采樣方法

AGCE模型使用跳混合負采樣[20]來生成計算BPR損失的負樣本，跳混合負采樣的思想是利用圖神經網絡中的分層聚合方法。具體來說，利用跳數混合生成合成負樣本[v-]和負嵌入[h-v]，對圖神經網絡的每一層嵌入中采樣一個候選嵌入[hv]，然后通過池化操作將每一層的候選嵌入結合后形成一個負樣本集合，跳混合采樣的數學表達為：

[h-v=l=0Lh（l）vx] （9）

式中[h′（l）vx]表示嵌入向量[vx]在[l]層中的采樣。

2.3" 預" 測

為了生成推薦排名來評估模型性能，采用用戶與項目最終表示的內積來定義AGCE模型預測評分。

[r（ui，vj）=hTuihvj] （10）

式中：[hui]和[hvj]分別表示用戶[ui]和項目[vj]的嵌入向量。

2.4" 模型訓練

AGCE采用貝葉斯個性化排序（BPR）損失來實現模型優化，其計算方法如下：

[?=-（ui，vj，vk）∈Olnσ（rui，vj-rui，vk）+λH（0）2] （11）

式中：[O=ui，vj，vk（ui，vj）∈O+，（ui，vk）∈O-]是成對訓練的數據，[O-]是沒有觀察到的交互集合，[O+]是有交互的集合；[σ（?）]是sigmoid function；[λ]是[L2]正則化強度，用于控制訓練避免過擬合。使用Adam優化器并通過小批量方式優化網絡模型。

3" 實" 驗

3.1" 數據集

為了評估AGCE的性能，使用5個具有不同密度、大小的真實公開數據集進行實驗，這些數據集的具體統計信息如表1所示。

3.2" 評估指標

1） Recall：表示在Top?[K]個推薦結果中真實物品的覆蓋率，計算方法如下：

[Recall@K=1Uui∈UT（ui）?R（ui）T（ui）s.t." " "R（ui）=K] （12）

式中：[T（ui）]和[R（ui）]分別是用戶的測試項目集和推薦項目集。

2） NDCG：用于評估排名質量，計算由累計折損增益（DCG）和理想累計折損增益（IDCG）組成。

累計折損增益（DCG）的計算方法如下：

[DCG@K=1Uui∈Uk=1K2（relk，ui）-1log2（2+k）] （13）

式中第[K]個項目（item）與用戶[ui]有交互，則[relk，ui]為1，否則為0。因此，NDCG最終計算方法見式（14）。

[NDCG@K=DCG@KIDCG@K] （14）

3.3" 對比實驗

各代表模型及AGCE模型的平均召回率（Recall）和NDCG的Top?20性能表現具體見表2。使用黑色加粗表示最優結果，下劃線表示排第二的結果。平均改進是基于AGCE所有結果與先前方法的最優結果進行計算之后對其求均值。

3.4" 對比模型

這一節對實驗中的基線模型進行詳細介紹。

1） MF[21]：這是最經典的協同過濾方法，它保留了用戶對交互項目相對于未交互項目的排名。

2） GF?CF[22]：提出了基于圖濾波的協同過濾，并通過圖信號處理的視角證明了在特殊情況下的有效性以及平滑性的重要性。

3） NGCF[10]：這是第一個基于GCNs的協同過濾模型，用于合并用戶項目交互的高階連通性進行推薦。

4） Mult?VAE[8]：這是一種基于變分自動編碼器的項目CF方法。它假設數據是從多項式分布生成的，并使用變分推理進行參數估計。

5） LightGCN[11]：這是最流行的基于GCN的CF模型，通過去除特征變換和非線性激活來擴展NGCF，實現了性能和效率之間更好的權衡。

6） LayerGCN[14]：引入了LayerGCN，是一種在GCN的信息傳播和節點更新過程中細化層表示的模型，根據度敏感概率而非均勻分布來修剪用戶?物品交互圖的邊。

7） ApeGNN[12]：提出了一種新的圖神經網絡框架，即將圖融合過程引入到GCN模型中，解決了多階鄰居重要性分配。

8） CAGCN[13]：這是目前最新的模型之一，提出一種新的推薦拓撲度量——CIR，幫助偏好預測。

3.5" 實驗結果分析

表2展示了AGCE模型與其他基線模型在五個數據集上的實驗結果。實驗結果表明，AGCE模型整體表現優于基線模型。具體來說，發現在Amazon、Yelp2018、Aminer和WorldNews四個數據集上，AGCE模型性能表現明顯優于所有基線模型，這說明了自適應權重融合鄰居間交互率和殘差細化模塊有助于學習更多的節點信息，使得推薦效果更好，這在實際中具有重要應用價值。然而，在Gowalla數據集上，AGCE表現不如個別最新的模型，這可能有以下兩種原因：第一，較稀疏的數據（Gowalla的稀疏度為0.000 84）使得模型不易訓練；第二，模型本身泛化能力存在缺陷。

3.6" 消融實驗

本節旨在通過消融實驗探究模型中殘差細化模塊的作用，從而深入理解模型的設計和性能表現，具體結果如表3所示。

結果表明，模型的殘差細化模塊（RRM）能在一定程度上提升推薦性能。通過實驗進一步認識到模型中殘差細化模塊（RRM）的重要性，這說明將第[l]層的嵌入與第[l+1]層的嵌入進行相似度計算來緩解圖卷積網絡的過平滑是有效的。

3.7" 超參數擾動分析

3.7.1" 網絡層數對結果的影響

為了研究網絡層數對AGCE模型的影響，將AGCE和LightGCN進行詳細對比，表4記錄了不同層數對Recall@20和NDCG@20的影響。使用黑色加粗表示AGCE最優結果，下劃線表示經典模型LightGCN的最優結果。

在所有情況下，AGCE的性能均優于LightGCN。觀察可知，AGCE模型的最優結果通常會有更高的層數，這也從側面說明殘差細化模塊可以緩解過平滑。具體來說，增加層數可以提高性能，但達到一定程度后仍會下降。在大多數情況下，將層數從1增加到4，性能會逐漸提升，并且在3層或4層往往達到最佳表現。然而，在Aminer數據集上，AGCE模型在一層就取得了最佳表現，隨后逐漸下降，這種情況出現的原因是用戶數（5 340）和項目數（14 967）差異大導致的單個用戶平均交互過高。

3.7.2" 正則化系數對結果的影響

正則化系數是一組重要的超參數，用于防止AGCE模型過擬合。選取兩個數據集來分析不同正則化系數對模型的影響，具體如圖3所示。

在模型訓練中，正則化系數對于所使用的數據集都具有很大影響。AGCE模型選擇不同正則化系數進行實驗，結果表明，通常模型在某一個值下得到最優結果，達到最優后開始下降，通過實驗證明相同的數據集在正則化系數取值不同的情況下會產生不同的結果。

3.8" 效率對比

在這一部分主要研究兩個問題：一是模型的訓練時間問題；二是看殘差細化模塊是否加速了模型收斂，提高了訓練效率。特別關注選取數據集在訓練過程中所需的時間，為了方便區分，使用AGCE*表示去掉殘差細化模塊后的AGCE模型。最后，為了更清晰地展示，實驗中記錄取得最優結果時的訓練時間，具體結果如圖4所示。

實驗結果表明：本文設計的模型在所有情況下均表現出更高的效率，訓練時間更短，高效率的同時，性能更優。具體而言，對比其他模型可以證明殘差細化模塊有助于加快模型訓練，提升模型綜合性能。

4" 結" 語

本文針對在目前推薦任務中缺乏考慮節點間協同效應與節點和層級重要性融合表達、堆疊多層網絡容易出現過平滑等問題，提出了一種融合協同效應的自適應圖卷積網絡推薦算法。實驗結果表明，與現有的模型相比，AGCE模型取得了良好的推薦效果。具體來說，AGCE模型在Recall@20和NDCG@20上普遍優于圖神經網絡推薦算法的基線模型，且AGCE模型的訓練時間更短，這在實際應用場景中更有優勢。然而，在實際應用中數據往往是稀疏的，因此在未來的工作中，可以研究如何提升模型在稀疏數據上的泛化能力，例如考慮引入矩陣分解方法、對比學習來改善數據稀疏帶來的推薦能力下降的問題。

注：本文通訊作者為景明利。

參考文獻

[1] GAO C， ZHENG Y， LI N， et al. Graph neural networks for recommender systems： Challenges， methods， and directions [EB/OL]. [2024?08?03]. https：//arxiv.org/abs/2109.12843.

[2] 鐘志峰，周冬平，張艷，等.基于最小二乘法的混合推薦模型研究[J].現代電子技術，2022，45（17）：123?128.

[3] 范鈺，范洪博.基于圖神經網絡的推薦系統模型[J].現代電子技術，2024，47（3）：85?90.

[4] SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization [J]. Advances in neural information processing systems， 2007， 20： 1257?1264.

[5] KOREN Y. Factorization meets the neighborhood： A multifaceted collaborative filtering model [C]// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2008： 426?434.

[6] SEDHAIN S， MENON A K， SANNER S， et al. AutoRec： Autoencoders meet collaborative filtering [C]// Proceedings of the 24th International Conference on World Wide Web. New York： ACM， 2015： 111?112.

[7] HE X N， LIAO L Z， ZHANG H W， et al. Neural collaborative filtering [C]// Proceedings of the 26th International Conference on World Wide Web. [S.l.： s.n.]， 2017： 173?182.

[8] LIANG D W， KRISHNAN R G， HOFFMAN M D， et al. Variational autoencoders for collaborative filtering [C]// Proceedings of the 2018 World Wide Web Conference on World Wide Web. New York： ACM， 2018： 689?698.

[9] KIPF T N， WELLING M. Semi?supervised classification with graph convolutional networks [EB/OL]. [2016?09?09]. https：//arxiv.org/abs/1609.02907.

[10] WANG X， HE X， WANG M， et al. Neural graph collaborative filtering [C]// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. [S.l.： s.n.]， 2019： 165?174.

[11] HE X N， DENG K， WANG X， et al. LightGCN： Simplifying and powering graph convolution network for recommendation [C]// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 639?648.

[12] ZHANG D， ZHU Y F， DONG Y X， et al. ApeGNN： Node?wise adaptive aggregation in GNNs for recommendation [C]// Proceedings of the ACM Web Conference 2023. New York： ACM， 2023： 759?769.

[13] WANG Y， ZHAO Y Y， ZHANG Y， et al. Collaboration?aware graph convolutional networks for recommendation systems [EB/OL]. [2022?12?07]. https：//doi.org/10.48550/arXiv.2207.06221.

[14] ZHOU X， LIN D H， LIU Y， et al. Layer?refined graph convolutional networks for recommendation [C]// 2023 IEEE 39th International Conference on Data Engineering （ICDE）. New York： IEEE， 2023： 1247?1259.

[15] WU J C， WANG X， FENG F L， et al. Self?supervised graph learning for recommendation [C]// Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. [S.l.： s.n.]， 2021： 726?735.

[16] WANG Y， JIN W， DERR T. Graph neural networks： Self?supervised learning [J]. Graph neural networks： Foundations， frontiers， and applications， 2022（1）： 391?420.

[17] LIBEN?NOWELL D， KLEINBERG J M. The link prediction problem for social networks [C]// Proceedings of the 2023 International Conference on Information and Knowledge Management. New York： ACM， 2003： 556?559.

[18] SALTON G. Automatic text processing： The transformation， analysis， and retrieval of information by computer [J]. Reading， Massachusetts： Addison?Wesley， 1989.

[19] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 770?778.

[20] HUANG T L， DONG Y X， DING M， et al. MixGCF： An improved training method for graph neural network?based recommender systems [C]// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： IEEE， 2021： 665?674.

[21] RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feedback [EB/OL]. [2018?08?13]. http：//arxiv.org/abs/1205.2618.

[22] SHEN Y F， WU Y J， ZHANG Y， et al. How powerful is graph convolution for recommendation？ [C]// Proceedings of the 30th ACM International Conference on Information amp; Knowledge Management. New York： ACM， 2021： 1619?1629.

作者簡介：朱永康（2000—），男，陜西漢中人，碩士研究生，研究方向為推薦系統、圖神經網絡。

景明利（1977—），男，陜西西安人，博士研究生，副教授，研究方向為壓縮感知中的稀疏低秩恢復、數值優化算法、圖像處理及機器學習。

焦" 龍（1980—），男，陜西西安人，博士研究生，教授，研究方向為化學計量學、模式識別。

王" 飛（1985—），男，陜西寶雞人，博士研究生，講師，研究方向為圖像處理、信號處理、算法優化。