基于輕量圖卷積和注意力增強的多行為推薦模型

收稿日期：2021-11-11；修回日期：2022-01-09

基金項目：重慶市社會科學規劃項目（2021NDYB101）；國家自然科學基金資助項目（62141201）；巴南區科技局科技項目（2020QC40）

作者簡介：高鈺瀾（1998-），女，重慶人，碩士研究生，主要研究方向為推薦系統；黃賢英（1967-），女（通信作者），重慶人，教授，碩導，碩士，主要研究方向為復雜網絡、輿情傳播（wldsj_cqut@163.com）；陶佳（1997-），女，甘肅武威人，碩士研究生，主要研究方向為推薦系統.

摘 要：近年來，圖卷積網絡被廣泛應用于多行為推薦中，以進一步緩解數據稀疏問題。但目前許多方法都是直接使用圖卷積網絡，使得模型時間復雜度較高，還忽略了鄰域的不同聚合權重和各行為對用戶偏好的不同貢獻。為此，提出一種基于輕量圖卷積和注意力增強的多行為推薦模型（MB-LGCA）。首先根據多行為數據構建用戶—項目二部圖，采用一種輕量圖卷積網絡聚合鄰域特征獲得高階協同信息，同時利用注意力機制融入鄰域權重，增強節點嵌入表示；利用k-階用戶嵌入傳播來獲取各行為對用戶偏好的不同重要性，使模型具有更好的可解釋性；最后合并不同層的嵌入表示進行預測。兩個真實數據集上的實驗結果表明，該模型具有較好的性能。

關鍵詞：推薦系統； 圖卷積網絡； 注意力機制； 多行為

中圖分類號：TP391.1"" 文獻標志碼：A

文章編號：1001-3695（2022）06-026-1753-07

doi：10.19734/j.issn.1001-3695.2021.11.0638

Multi-behavior recommendation model based on light graph convolution and enhanced attention

Gao Yulan， Huang Xianying， Tao Jia

（School of Computer Science amp; Engineering， Chongqing University of Technology， Chongqing 400054， China）

Abstract：In recent years， many researchers take advantage of graph convolution network in multi-behavior recommendation to further alleviate the data sparsity problem. However， most of current works directly use graph convolution network， which makes time complexity of the model relatively high. These works also ignore the different weights of neighbors and the different contributions of each behavior to user’s preference. Therefore， this paper proposed a multi-behavior recommendation model based on light graph convolution and enhanced attention （MB-LGCA）. Firstly， the model constructed a user-item bipartite graph according to the multi-behavior data， and used a light graph convolution network to aggregate the features of neighbors to obtain high-order collaborative information. At the same time， it used attention mechanism to integrate the neighbors’ weights to enhance embedding representations of nodes. It used the k-order user’s embedding propagation to obtain the different importance of each behavior to user’s preference， so that the model had better interpretability. Finally， it combined embedding representations of different layers for prediction. The experimental results on two real datasets show that the model has better performance.

Key words：recommender system; graph convolutional network; attention mechanism; multi-behavior

0 引言

隨著大數據時代的到來，互聯網的數據呈爆炸式增長，用戶在網絡上的行為類型也在不斷增加。推薦系統能夠有效地改善信息過載的問題，幫助用戶從海量數據中快速地找到自己感興趣的內容。但是大多數推薦系統都只利用了一種類型的交互數據（如購買），在實際的推薦場景中，通常會收集到用戶多種類型的交互數據（如點擊、收藏、加入購物車、購買等）。多行為推薦就是利用用戶多種類型的交互數據進行推薦。如圖1所示，r1、r2和r3分別表示點擊、加入購物車和購買三種行為類型，通常將購買行為視為目標行為，點擊、加入購物車等其他類型的行為視為輔助行為，輔助行為和目標行為相結合能夠幫助推薦系統為用戶提供更加準確的推薦。例如，當某個用戶沒有購買的交互數據時，系統就可以根據該用戶點擊和加入購物車等行為下的交互數據進行推薦。因此，引入用戶多種類型的交互數據可以提高目標行為的推薦性能［1］。

早期的一些研究使用矩陣分解的方法從多種類型的交互數據中挖掘用戶的潛在偏好。如Ding等人［2］引入了用戶瀏覽數據，將瀏覽數據作為購買和缺失數據之間的中間反饋。對購買和瀏覽、瀏覽和未瀏覽交互之間的成對關系進行建模，可以更好地區分用戶偏好。另一方面，研究者通常在訓練時改進采樣方法對模型進行優化，以充分利用多種類型的交互數據。如Loni等人［3］設計了一種擴展的采樣方法，在訓練時同時利用不同層次的單一類型反饋，將不同層次的反饋映射到不同的級別，以反映每種類型的反饋在訓練階段的貢獻。

然而上述方法只使用了用戶直接交互的項目信息，無法充分利用高階協同信息。以圖1中用戶u1為例，使用上述方法只能學習到u1和它直接交互的項目（即u1的一階鄰居）i1、i2、i4之間的匹配關系。但是交互過i2的u4還交互了i3，將u1的二階鄰居u4和三階鄰居i3融入到學習u1嵌入表示的過程中，就能發現u1對i3的潛在興趣。因此，一些研究者利用圖卷積網絡（graph convolution network，GCN）能夠捕獲高階鄰域信息的優點將其應用于多行為推薦中，對高階協同信息進行編碼。基于圖卷積網絡的多行為推薦方法通常將用戶和項目的交互信息表示為二部圖，即用戶和項目作為圖中的節點，不同行為下用戶和項目之間的交互作為圖中不同類型的邊。通過在用戶—項目二部圖中建模更高階的關系來挖掘不同用戶間的共同交互關系。如Chen等人［4］利用多種類型的用戶—項目交互數據進行推薦，從而對用戶—項目關系進行細粒度建模，在一定程度上有效緩解了數據稀疏的問題。

盡管上述方法在多行為推薦中具有明顯優勢，但是仍然存在以下三方面的問題：a）圖卷積過程中的特征變換、非線性激活等操作使模型變得復雜，時間復雜度也增大;b）權重更大的鄰域更能反映用戶偏好，為目標用戶、項目提供更有效的鄰域信息，但是上述方法在圖卷積操作中并沒有區分鄰域的聚合權重，這會使得一些更有用的信息丟失;c）在多行為推薦方法中，不同用戶各行為的權重應該是不同的，然而很少有研究重視這一點。針對以上問題，本文提出一種基于輕量圖卷積和注意力增強的多行為推薦模型MB-LGCA（multi-behavior recommendation model based on light graph convolution and enhanced attention，MB-LGCA）。

本文的主要貢獻如下：a）改進了圖卷積網絡，在圖卷積操作中舍棄了特征變換和非線性激活函數，使用一種輕量圖卷積網絡更新節點信息，提高運算效率；b）通過注意力機制賦予鄰域不同的聚合權重，在更新節點的嵌入表示時區分鄰域的不同重要性，以增強節點的嵌入表示；c）在k-階用戶嵌入傳播中利用行為的重要性和用戶交互的項目數量，學習用戶在不同行為下相應的權重，使模型具有更好的可解釋性。

1 相關工作

1.1 協同過濾推薦算法

推薦系統作為解決信息過載的工具，在電子商務、社交網絡、新聞推送等領域發揮了非常重要的作用。在眾多推薦算法中，協同過濾（collaborative filtering）推薦算法是最經典最常用的算法，其通過分析用戶的歷史交互信息預測用戶偏好，為用戶推薦最為感興趣的項目［5，6］。在協同過濾推薦算法中，用戶—項目交互矩陣Y由m×n個元素y11，y12，…，ymn組成，其中m和n分別表示用戶和項目的數量。yui的取值為0或1，yui=1時表示用戶u對項目i有交互，圖1中購買行為下的用戶—項目交互矩陣如圖2（a）所示。

1.2 基于圖的推薦方法

在基于圖的推薦方法中，通常將交互矩陣表示為一個用戶—項目二部圖來預測用戶的潛在偏好。其中節點包含用戶節點和項目節點，用戶和項目的交互由節點之間的邊來表示，如圖2（b）所示。從圖中路徑u1→i2→u4 可以看出，用戶u1和u4可能有相同的興趣愛好，而從路徑u1→i2→u4→i3可以推斷出用戶u1可能對項目i3有潛在的興趣。

最近，由于圖卷積網絡在處理圖數據結構時具有明顯的優勢而受到了越來越多的關注［7］。給定一個圖Euclid Math OneGAp=（Euclid Math OneVAp，Euclid Math OneEAp），其中Euclid Math OneVAp表示節點集合，Euclid Math OneEAp表示邊的集合。GCN的傳播規則如式（1）所示。

Ek+1=σ（－12－12EkWk）（1）

其中：k表示GCN的層數;Ek+1表示第k+1層輸出的特征矩陣。表示鄰接矩陣A對應的自連接矩陣，=A+I，I為單位矩陣。表示對應的度矩陣，Wk表示第k層的權重矩陣，σ（·）表示非線性激活函數。GCN的基本思想是通過迭代聚合鄰域的特征信息，并通過堆疊多個這樣的圖卷積層，以獲得高階的鄰域特征信息，這相比于傳統的模型來說展示了更好的性能。例如Ying等人［8］提出一種可伸縮的圖卷積網絡算法PinSage，用于Pinterest圖像推薦。PinSage結合了隨機游走和圖卷積操作，通過對節點鄰域子圖進行多個卷積操作聚合鄰域特征，生成節點的嵌入表示。但PinSage只使用了最后一層的輸出進行預測，忽略了不同階數的鄰域信息對目標項目的影響。NGCF［9］（neural graph collaborative filtering）遵循標準GCN中的特征變換、鄰域聚合、非線性激活，并通過堆疊更多的嵌入傳播層來探索高階的鄰域信息，應用層聚合機制分別合并每一層的用戶、項目嵌入表示，最后應用內積預測用戶對目標項目的偏好。LightGCN ［10］（light graph convolutional network）在NGCF的基礎上進行改進，舍棄了非線性激活函數和特征變換以簡化GCN設計，減少了模型參數從而降低模型復雜度。但該模型對所有鄰域統一設定了一個固定值，沒有賦予鄰域不同的權重。

1.3 基于多行為的推薦方法

現有推薦方法大多只使用了一種類型的用戶—項目交互數據，如購買。但是在單一類型的推薦方法中，一個新用戶可能沒有產生購買行為，因而存在數據稀疏和冷啟動的問題。這時平臺可以收集用戶點擊、收藏等更加豐富細致的用戶交互數據以及每個行為下用戶交互的物品，精確地捕捉用戶興趣。例如Jin等人［11］基于多種用戶反饋數據構建了一個異構圖，在用戶—項目傳播層將鄰域信息融合到嵌入表示中，并學習了用戶各行為的不同權重。Chen等人［4］提出了一種端到端的異構協同過濾模型GHCF（graph heterogeneous collaborative filtering），通過組合運算聯合了節點（用戶節點和項目節點）和關系的表示，結合圖卷積網絡獲得異構反饋數據之間的高階連通性。

1.4 注意力機制

注意力機制在自然語言處理（natural language processing，NLP）［12］、計算機視覺［13］ （computer vision，CV）等領域取得了巨大的成功。注意力機制的主要優點就是使系統能夠高效地提取重要特征，忽略不太重要的信息，并且賦予的權重越大表示信息越重要。最近，注意力機制也被廣泛運用在推薦領域，取得了較好的效果。如Velikovi等人［14］提出了一種基于注意力機制的節點分類網絡GAT（graph attention network），在圖注意力層通過自注意力策略計算鄰域的注意力系數，在鄰域聚合時將歸一化的注意力系數作為鄰域的聚合權重，使節點特征之間的相關性被更好地融入到模型中。Wang等人［15］提出了一種端到端的框架KGCN（knowledge graph convolutional network），該方法首先從知識圖譜上采樣每個實體固定個數的鄰域，然后使用注意力機制計算用戶—關系得分來表示該關系對于該用戶的重要性，因為不同關系下連接的實體對用戶偏好的預測有不同的貢獻。在聚合給定鄰域時，將用戶—關系得分作為鄰域的聚合權重，有區別地聚合鄰域信息。最后將實體鄰域擴展到多跳，以捕捉知識圖譜中的高階結構信息和語義信息。

2 問題定義

用戶和項目是推薦系統中兩個非常重要的基本組成部分。假設用戶集合為U={u1，u2，…，um}，項目集合為I={i1，i2，…，in}，推薦系統中包含m個用戶和n個項目，用戶和項目分別使用u和i表示。在單個行為下，交互矩陣Ym×n中的元素yui=1時表示用戶u與項目i有交互。對于多種行為，假設行為類型的數量為T，交互矩陣可以表示為{Y1，Y2，…，YT}，每種行為都有其對應的交互矩陣。具體地，若用戶u和項目i在行為t∈{1，2，…，T}下有交互，ytui=1，否則為0。通過輸入目標行為（如購買）的交互矩陣YT和其他輔助行為類型（如點擊、收藏等）的交互矩陣{Y1，Y2，…，YT－1}，得到的輸出為用戶u在目標行為T下與項目i交互的概率。

3 MB-LGCA模型

MB-LGCA模型包括三個部分：a）初始化嵌入層，獲得用戶、項目和關系的初始化嵌入表示;b）k-階嵌入傳播層，在用戶—項目二部圖上利用多種類型的用戶—項目交互數據學習節點和關系的高階嵌入表示，同時學習每個行為的行為權重;c）預測層，用于預測用戶在每種行為類型下和項目交互的可能性。MB-LGCA模型的整體架構如圖3所示。

3.1 初始化嵌入層

初始化嵌入層主要負責對用戶—項目二部圖中的節點和邊進行編碼，節點包括用戶節點和項目節點，邊表示用戶—項目不同類型的交互行為，也稱為關系。在初始化嵌入層中，采用基于序號的one-hot編碼作為輸入，將其轉換為低維的嵌入向量，初始化生成用戶u、關系t和項目i的初始嵌入表示，即e0u、e0rt、e0i。對圖中每個節點和關系進行初始化后，就得到了具有初始化特征的圖卷積層，將其作為k-階嵌入傳播層的輸入。

3.2 k-階嵌入傳播層

k-階嵌入傳播層包括k-階用戶嵌入傳播、k-階項目嵌入傳播和關系嵌入三部分，k-階用戶嵌入傳播和k-階項目嵌入傳播如圖4所示。

3.2.1 輕量圖卷積網絡

在用戶—項目二部圖中，圖卷積網絡的作用就是更新每一層節點和關系的嵌入表示。對于關系圖Euclid Math OneGAp=（Euclid Math OneVAp，Euclid Math OneEAp，Euclid Math OneRAp），其中Euclid Math OneRAp表示關系集合。本文聯合節點嵌入表示與其對應關系的嵌入表示來對某種關系下的用戶—項目交互進行建模。MB-LGCA模型使用的輕量圖卷積網絡的傳播規則如式（2）～（5）所示。

eku，t=∑（i，rt）∈Nu1|Nu||Ni|u（ek－1i，ek－1rt）（2）

u（eki，ekrt）=eki⊙ekrt（3）

eki，t=∑（u，rt）∈Ni1|Nu||Ni|i（ek－1u，ek－1rt）（4）

i（eku，ekrt）=eku⊙ekrt（5）

MB-LGCA在圖卷積操作中去掉了非線性激活函數和特征變換，僅通過聚合鄰居的嵌入表示得到目標節點的嵌入表示，經過k次圖卷積操作后得到第k層的節點嵌入表示。用戶節點嵌入表示的更新如式（2）（3）所示，項目節點嵌入表示的更新如式（4）（5）所示。其中Nu、Ni分別表示用戶u和項目i的鄰居。1/|Nu||Ni|作為對稱歸一化項，可以有效避免嵌入規模隨圖卷積運算的增加而增加［16］。是一個組合函數，表示在GCN聚合時將關系的嵌入表示引入到節點的嵌入表示中［17，18］。考慮到有多種行為類型，即用戶—項目二部圖中存在多種關系，因此分別聚合特定關系下的鄰居。在k-階嵌入傳播層中，節點鄰域擴展到多跳，可以更深入地挖掘用戶的潛在興趣。通過嵌入傳播，將每個節點的鄰域信息融合到嵌入表示中，增強了用戶和項目的嵌入表示，提高了預測效果。

更新了節點的嵌入表示之后，關系嵌入表示為

ekrt=Wkrtek－1rt（6）

其中：Wkrt表示在關系t下第k層的參數矩陣，它將所有關系投影到與節點相同的嵌入空間，并允許在下一個GCN層中使用。ek－1rt為第k-1層關系t的嵌入表示。

3.2.2 融合注意力機制

將（用戶，關系，項目）或（項目，關系，用戶）看做一個三元組，即（頭節點，關系，尾節點）。在圖卷積操作時計算了尾節點和關系的內積作為注意力系數來表示節點之間的權重。以用戶節點為例，其鄰域權重由項目和關系嵌入表示的內積得到。

βki，rt=softmax（g（eki，ekrt））（7）

其中：eki和ekrt分別是項目i和關系t第k層的嵌入表示;函數g（·）表示向量的內積。βki，rt代表項目i在關系t下對用戶u的重要性，也就是節點的聚合權重。計算了鄰居節點之間的注意力系數后，再對鄰域特征進行加權求和，更新節點的嵌入表示：

eku，t=∑（i，rt）∈Nu1|Nu||Ni|βk－1u（ek－1i，ek－1rt）（8）

eki，t=∑（u，rt）∈Ni1|Ni||Nu|βk－1i（ek－1u，ek－1rt）（9）

其中：eku，t和eki，t分別代表在關系t下用戶u和項目i第k階的嵌入表示。在聚合節點的鄰域表示時，將注意力系數作為鄰域的聚合權重，有利于捕捉用戶的高階個性化興趣。

3.2.3 融合多行為

在多行為推薦任務中，不同的行為對預測用戶偏好的貢獻不同，例如與點擊和加入購物車行為相比，購買行為應該具有更大的權重。并且不同用戶在同一行為下的權重也不同。為了更好地利用多行為信息，使模型自動學習每個行為的重要性，在k-階用戶嵌入傳播中為每個用戶的不同行為分配了不同的行為權重。設置每個用戶在不同行為下的權重如式（10）所示。

αu，t=wt×nut∑m∈Nrwm×num（10）

其中：wt是用戶u在行為t下的權重，對所有用戶都是相同的，而nut是用戶u在不同行為t下交互項目的數量，不同的用戶交互項目的數量也不相同。∑m∈Nrnum表示用戶u總的交互數量，且∑t∈Nrαu，t=1。首先將相同行為下交互的項目聚合在一起，對每個行為獲得一個嵌入表示，即行為t下用戶u的嵌入表示為eku，t，因為在相同行為下交互的物品反映了用戶相似的偏好強度。再根據權重αu，t將項目的聚合嵌入表示加權求和，得到第k層用戶的嵌入表示。第k層項目的嵌入表示由每個行為下的嵌入表示求和得到。

eki=∑m∈Nreki，m（11）

eku=∑m∈Nrαu，meku，m（12）

3.3 預測層

在經過L層的傳播之后，得到了用戶u、項目i和關系t的多個表示，即{e0u，e1u，…，eLu}、{e0i，e1i，…，eLi}和{e0rt，e1rt，…，eLrt}，每一層的表示都包含了該層的鄰域信息。將不同層的嵌入表示合并，得到最終的嵌入表示用于預測，如式（13）所示。

eu=∑Ll=01L+1elu，ei=∑Ll=01L+1eli，ert=∑Ll=01L+1elrt（13）

通過L層圖卷積操作，圖中的節點可以聚合來自高階的鄰域特征信息。聚合函數使用均值聚合的方法，這里為每層的嵌入表示設置了統一的權重1/（L+1）。預測用戶u在行為t下對項目i交互的可能性通過式（14）計算。

（t）ui=eTu·diag（ert）·ei=∑djeu，jert，jei，j（14）

其中：diag（ert）表示對角矩陣，其對角線元素相應地等于ert;ert是行為t的嵌入表示;d表示嵌入向量的維度。

3.4 模型優化

為了優化模型，現有的工作往往使用負采樣（negative sampling）策略進行訓練。盡管負采樣策略易于實現，但是最近許多研究［19～21］表明負采樣策略的魯棒性較差，可能會忽略掉重要的訓練樣例從而導致模型很難達到最優。而非采樣策略考慮了所有的樣例，使得模型訓練效果較好。單個的第t個行為的非采樣策略的損失函數為

t（Θ）=∑u∈B∑i∈It+u（（ct+i－ct－i）（t）ui－2ct+i（t）ui）+

∑dj=1∑dk=1（（ert，jert，k）（∑u∈Beu，jeu，k）（∑i∈Ict－iei，jei，k））（15）

其中：B表示一個batch的用戶;I為項目集合;It+u表示用戶u在行為t下交互的項目;ct+i表示正樣例的權重;ct－i表示負樣例的權重。將多個行為的損失函數共同學習，能夠加強模型的魯棒性。最終提出目標函數如下：

L（Θ）=∑Tt=1λtt（Θ）+μ‖Θ‖22（16）

其中：T是用戶行為類型的數量;λt控制第t個行為對聯合訓練的影響。此外，使用L2正則化以防止過擬合。

4 實驗結果與實驗分析

本章將對實驗數據、評價指標和實驗參數設置進行介紹，通過在Beibei（https：//www.beibei.com）和Taobao（https：//tianchi.aliyun.com/dataset/dataDetail？dataId=649）兩個真實數據集上的實驗，對MB-LGCA模型的推薦性能進行評價。實驗中使用數據集來自文獻［4］。實驗內容包括：a）MB-LGCA模型與其他基線模型性能的比較；b）圖卷積操作中不同層數對性能的影響；c）舍棄非線性激活函數和特征變換對性能的影響；d）引入鄰域權重對性能的影響；e）設置用戶不同行為權重對性能的影響；f）多種行為數據對性能的影響。

4.1 數據集描述

Beibei數據集是從國內最大的嬰幼兒產品電商平臺貝貝網獲得的數據集，包括21 716個用戶和7 977個項目的交互數據。Taobao數據集由阿里巴巴提供，包含了淘寶48 749個用戶和39 493個項目的交互數據。這兩個數據集中包含了點擊、加入購物車和購買三種類型的用戶行為，如表1所示。

4.2 實驗參數設置

在實驗中，模型使用TensorFlow實現。本實驗將epoch設置為500，默認學習率設置為0.001，batch_size設置為256，嵌入向量維度d設置為64。使用Adam作為優化器優化所有模型，它的主要優點是能夠自適應學習率。使用Xavier作為網絡參數初始化的方法。Beibei和Taobao的圖卷積操作層數搜索范圍為［1，2，3，4，5］，最終在Beibei數據集上設置圖卷積層數為4，Taobao數據集上設置圖卷積層數為5。推薦列表長度K設置為［10，50，100］。為了防止過擬合，使用了L2正則化，μ為正則化系數。

4.3 模型評價指標

實驗中采用了歸一化折扣累計增益NDCG（normalized discounted cumulative gain）和命中率HR（hit ratio）兩種推薦系統中常用的評價指標來判斷top-K推薦列表的質量。

4.3.1 NDCG

NDCG評估排序結果，強調預測順序的重要性。NDCG值越大，說明排序的結果更符合用戶的偏好，模型的推薦質量更高。計算公式為

DCGu@K=∑Ki=12reli－1log2（i+1）（17）

NDCG@K=1|U|∑u∈UDCGu@KIDCGu@K（18）

IDCGu@K（ideal discounted cumulative gain）是進行歸一化的參數，其取值是DCGu@K最大值［22］，也就是推薦系統為某一用戶返回的最好推薦結果列表。假設返回結果按照相關性排序，最相關的結果放在前面。

4.3.2 HR

HR表示在測試集中，能夠落在推薦列表中的top-K之中的記錄數占總測試記錄數的比例。即推薦的前K個項目中，有多少是能夠命中用戶實際偏好的，其強調預測的準確性。計算公式為

HR@K=NumberofHits@K|GT|（19）

其中：|GT|表示測試集中用戶的總數;NumberofHits@K表示測試集中的項目出現在top-K推薦列表中的用戶數量。

4.4 實驗結果

為了驗證MB-LGCA模型的有效性，選取了基于單行為的ENMF［20］、LightGCN［10］、IMP_GCN［16］ 模型和基于多行為的NMTR［1］、EHCF［19］、GHCF［4］模型作為基準方法進行對比實驗。表2列出了每個模型的預測性能，每個數據集的最佳性能以粗體顯示，最佳基線結果以下劃線顯示。

表2展示了各模型在兩個數據集上的結果，可以觀察到：

a）MB-LGCA模型在Beibei和Taobao兩個數據集上的HR@K和NDCG@K指標都優于最好的基線模型。EHCF使用矩陣分解的方法獲得用戶和項目的嵌入表示，相比于GHCF和MB-LGCA，其提取高階信息的能力不足。這說明基于圖卷積網絡的方法能夠充分利用用戶和項目的高階鄰居，深入挖掘高階協同信息對預測用戶偏好更具有優勢。相比GHCF，其不僅忽略了聚合時的鄰域權重，而且忽略了每個行為對預測用戶偏好的不同貢獻，在推薦時具有一定的局限性。這證明了MB-LGCA引入鄰域權重和用戶行為權重的有效性。

b）基于多行為的推薦模型在推薦效果上都優于單行為的推薦模型，這說明加入多行為信息能夠提高推薦的性能。當一個用戶沒有購買的行為數據時，他的點擊、加入購物車等行為能夠很好地幫助系統為他進行推薦。因此，引入多行為數據是很有必要的。

c）推薦列表長度較短時展現了用戶最為感興趣的內容，推薦效果更好。推薦列表長度較長時，用戶不太感興趣的內容也可能出現在推薦列表中，影響用戶體驗。

4.5 圖卷積層數的影響

為了研究圖卷積網絡層數對推薦性能的影響，設置層數L的搜索范圍為［1，2，3，4，5］，設置推薦列表長度K=50，在Beibei和Taobao兩個數據集上HR@50的實驗結果如圖5所示。

從圖5可以觀察到，在Beibei數據集上圖卷積層數取4的時候效果最好，隨著層數的增加，推薦的效果也在提升，但是層數增加到一定閾值后性能開始下降。在Taobao數據集中圖卷積層數取5的時候效果最好，因為Taobao數據集比Beibei數據集更加稀疏，圖卷積操作的層數更大時能夠獲得更多高階的鄰域信息。這說明引入高階的鄰域信息在更加稀疏的數據集中非常重要。但是經過多次圖卷積操作后所有節點的嵌入表示變得相似，達到一定閾值后，效果不會提升。

4.6 消融實驗

4.6.1 非線性激活函數和特征變換的有效性分析

為了驗證非線性激活函數和特征變換對模型的影響，使用模型的兩個變體MB-LGCAf和MB-LGCAw分別在Beibei和Taobao兩個數據集上進行比較，結果記錄在表3中。其中MB-LGCAf表示MB-LGCA保留了特征變換，去掉了激活函數；MB-LGCAw表示MB-LGCA保留了激活函數，去掉了特征變換，非線性激活函數選擇LeakyReLU。保持Beibei和Taobao兩個數據集圖卷積層數L分別為4和5。

從表3的結果中可以觀察到，在Beibei和Taobao兩個數據集上加入非線性激活函數或特征變換，都會導致模型性能下降。當同時去除特征變換和非線性激活函數時（即MB-LGCA），性能得到了改善，這和LightGCN中的結果是一致的。

在相同的實驗設置下將模型訓練時平均迭代一次所需時間（time）記為1，得出MB-LGCAf和MB-LGCAw平均迭代一次所需時間的對比度，以判斷模型復雜度。實驗結果表明，MB-LGCA運行時間最短，MB-LGCA在兩個數據集上比MB-LGCAf和MB-LGCAw平均迭代一次所需時間分別降低了10.9%、1.1%、22.4%和3%。這表明在圖卷積操作中舍棄特征變換和非線性激活函數不僅減少了模型參數數量，從而降低了模型復雜度，而且有助于提高模型性能。

4.6.2 鄰域權重的有效性分析

為了證明鄰域權重對MB-LGCA模型的有效性，在兩個數據集上比較了MB-LGCA和MB-LGCAn的性能，結果如表4所示。其中MB-LGCAn表示沒有設置鄰域權重的MB-LGCA。

從表4結果中可以觀察到，在兩個數據集上，設置了鄰域權重的MB-LGCA在性能上有顯著提高，這驗證了加入鄰域權重的有效性。在Taobao數據集上效果更加明顯，說明在更加稀疏的數據集上引入鄰域權重具有更好的推薦效果，能夠在一定程度上緩解數據稀疏問題。選取Beibei數據集中的部分數據作為示例，如圖6所示。沒有設置鄰居權重時（如圖6（a）所示），從購買關系下的u0→i1784→u201→i1321、u0→i1784→u1202→i248、u0→i1814→u4→i414和u0→i1814→u25→i2066這四條路徑可以推斷出u0可能對項目i1321、i248、i414和i2066有潛在的興趣。設置鄰居權重后（如圖6（b）所示），不僅可以發現用戶u0對這四個項目的潛在興趣，還可以發現用戶u0對這四個項目的喜愛程度為i1321gt;i248gt;i2066gt;i414。因為路徑上鄰域權重總和越大，用戶對項目的喜愛程度越高。

4.6.3 用戶不同行為權重的有效性分析

為了評估用戶不同行為權重的有效性，在Beibei和Taobao兩個數據集上分別進行了實驗。分別對不同行為下每個用戶設置了統一的權重和不同的權重，結果如表5所示。Beibei和Taobao有三種行為類型（點擊、加入購物車和購買），令三個行為權重分別為w1、w2和w3。設置每個用戶在不同關系下為統一權重時，滿足w1+w2+w3=1，實驗從［0，1/6，2/6，3/6，4/6，5/6，1］中調整這三個值，設置每個用戶在不同關系下為不同權重時，通過式（10）計算。

從表5結果可以觀察到，具有不同行為權重αu，t的模型比具有統一行為權重的模型在Beibei和Taobao數據集上都有提高。這表明每個用戶不同行為下的行為權重應該是不同的。因此，引入用戶不同行為的行為權重對于MB-LGCA模型預測用戶偏好是必不可少的。

選取Taobao數據集中部分數據作為示例，如圖7所示。u117r1i28122r1u384r2i9289和u117r1i28122r1u48559r2i1352路徑中的r1表示點擊，r2表示購買。用戶u117點擊過項目i28122，項目i28122也被用戶u384和u48559點擊過，那么用戶u117也會對用戶u17859、u18026購買過的項目i9289和i1352感興趣。統一權重時，不同用戶在同一行為類型下的權重相同，即圖7（a）中用戶在點擊行為下的權重都是0.167，說明用戶u117對項目i9289和i1352的喜好程度是一樣的。設置不同權重時區分了不同用戶在同一行為類型下的權重，即圖7（b）中，用戶u384和u48559在購買下的行為權重分別為0.68和0.56。并且因為路徑u117r1i28122r1u384r2i9289上的權重總和更大，所以u117喜歡用戶u384購買過的項目i1352的可能性會更大。

4.6.4 多種行為數據的有效性分析

為了證明多種用戶行為數據作為輔助信息的有效性，在兩個數據集上進行了實驗，比較了MB-LGCA和MB-LGCAb、MB-LGCAbv還有MB-LGCAbc的性能。其中：MB-LGCAb表示只使用了購買行為下的交互數據;MB-LGCAbv表示只利用了購買數據和點擊兩種行為下的交互數據;MB-LGCAbc表示只利用了購買數據和加入購物車兩種行為下的交互數據。在兩個數據集上的實驗結果如圖8所示。從圖8可以觀察到，將點擊和加入購物車兩種行為下的交互數據作為輔助信息，結合購買行為下的交互數據一起為用戶生成推薦結果，效果得到了進一步的提高。在Taobao數據集中只引入點擊數據或購物車數據使得推薦效果降低，原因可能是Taobao數據集中只是點擊或加入購物車的用戶購買某項目的概率很低。

5 結束語

本文提出一種基于輕量圖卷積和注意力增強的多行為推薦模型，旨在解決推薦系統中的數據稀疏和冷啟動問題。它通過去除圖卷積操作中的特征變換和非線性激活函數，以減少模型參數從而降低模型復雜度。同時，利用注意力機制賦予鄰域不同的聚合權重，實現了對更重要節點特征的聚焦，能更準確地捕獲用戶偏好。然后為每個用戶學習了各行為的行為權重來反映用戶各行為下的不同偏好強度，更加合理地學習節點和關系的嵌入表示，使模型具有更好的可解釋性。最后，通過堆疊多個圖卷積層挖掘用戶—項目二部圖中的高階協同信息，深入、全面地挖掘用戶的潛在偏好。在Beibei和Taobao兩個數據集上的實驗結果表明，MB-LGCA模型的性能優于比較的推薦模型。

由于圖卷積層數增加到一定閾值后，節點的嵌入表示變得相似，用戶特征缺乏唯一性，導致推薦效果下降。在未來的研究工作中，將針對此類問題對模型進行改進，嘗試以合理有效的方式區分節點的嵌入表示，提取出更重要的節點信息，以更好地理解用戶的個性化偏好并提供可靠的推薦結果。

參考文獻：

[1]Gao Chen， He Xiangnan， Gan Dahua， et al. Neural multi-task re-commendation from multi-behavior data［C］//Proc of the 35th International Conference on Data Engineering.Piscataway，NJ：IEEE Press，2019：1554-1557.

［2]Ding Jingtao， Yu Guanghui， He Xiangnan， et al. Improving implicit recommender systems with view data［C］//Proc of the 27th International Joint Conference on Artificial Intelligence.2018： 3343-3349.

［3]Loni B， Pagano R， Larson M， et al. Bayesian personalized ranking with multi-channel user feedback［C］//Proc of the 10th ACM Conference on Recommender Systems. New York：ACM Press，2016： 361-364.

［4]Chen Chong， Ma Weizhi， Zhang Min， et al. Graph heterogeneous multi-relational recommendation［C］//Proc of the 35th AAAI Confe-rence on Artificial Intelligence.2021：3958-3966.

［5]孫光浩，劉丹青，李夢云.個性化推薦算法綜述［J］.軟件，2017，38（7）：70-78.（Sun Guanghao， Liu Danqing， Li Mengyun. A survey of personalized recommendation algorithms［J］.Software，2017，38（7）：70-78.）

［6]蘇靜，許天琪，張賢坤，等.基于圖卷積與外積的協同過濾推薦模型［J］.計算機應用研究，2021，38（10）：3044-3048.（Su Jing， Xu Tianqi， Zhang Xiankun， et al. Collaborative filtering recommendation model based on graph convolution and cross product［J］.Application Research of Computers，2021，38（10）：3044-3048.）

［7]張屹晗，王巍，劉華真，等.基于知識圖嵌入的協同過濾推薦算法［J］.計算機應用研究，2021，38（12）：3590-3596.（Zhang Yihan， Wang Wei， Liu Huazhen， et al. Collaborative filtering recommendation algorithm based on knowledge graph embedding［J］.Application Research of Computers，2021，38（12）：3590-3596.）

［8]Ying R， He Ruining， Chen Kaifeng， et al. Graph convolutional neural networks for web-scale recommender systems［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press，2018：974-983.

［9]Wang Xiang， He Xiangnan， Wang Meng， et al. Neural graph colla-borative filtering［C］//Proc of the 42nd International ACM SIGIR Conference on Research and development in Information Retrieval.New York：ACM Press，2019：165-174.

［10]He Xiangnan， Deng Kuan， Wang Xiang， et al. LightGCN： simpli-fying and powering graph convolution network for recommendation［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2020：639-648.

［11]Jin Bowen， Gao Chen， He Xiangnan， et al. Multi-behavior recommendation with graph convolutional networks［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in" ""Information Retrieval. New York：ACM Press，2020：659-668.

［12]潘承瑞，何靈敏，胥智杰，等.融合知識圖譜的雙線性圖注意力網絡推薦法［J］.計算機工程與應用，2021，57（1）：29-37.（Pan Chengrui， He Lingmin， Xu Zhijie， et al. Fusion knowledge graph bilinear graph attention network recommendation algorithm［J］.Computer Engineering and Applications，2021，57（1）：29-37.）

［13]劉璟，宋海川，黃建設，等.通道與空間注意力圖像超分辨率網絡［J］.計算機工程與應用，2021，572（2）：209-216.（Liu Jing， Song Haichuan， Huang Jianshe， et al. Channel and spatial attention image super resolution network［J］.Computer Engineering and Applications，2021，57（2）：209-216.）

［14]Velicˇkovic＇ P， Cucurull G， Casanova A， et al. Graph attention networks［EB/OL］.（2017-10-30）.https：//arxiv.org/abs/1710.10903.

［15]Wang Hongwei， Zhao Miao， Xie Xing， et al. Knowledge graph con-volutional networks for recommender systems［C］//Proc of World Wide Web Conference.New York：ACM Press，2019：3307-3313.

［16]Liu Fan， Cheng Zhiyong， Zhu Lei， et al. Interest-aware message-passing GCN for recommendation［C］//Proc of the Web Conference.2021：1296-1305.

［17]Bordes A， Usunier N， Garcia-Duran A， et al. Translating embeddings for modeling multi-relational data［C］//Advances in Neural Information Processing Systems.2013.

［18]Vashishth S， Sanyal S， Nitin V， et al. Composition-based multi-relational graph convolutional networks［EB/OL］.（2019-11-08）.https：//arxiv.org/abs/1911.03082.

［19]Chen Chong， Zhang Min， Zhang Yongfeng， et al. Efficient heterogeneous collaborative filtering without negative sampling for recommendation［C］//Proc of AAAI Conference on Artificial Intelligence.2020：19-26.

［20]Chen Chong， Zhang Min， Zhang Yongfeng， et al. Efficient neural matrix factorization without sampling for recommendation［J］.ACM Trans on Information Systems，2020，38（2）：1-28.

［21]Chen Chong， Zhang Min， Wang Chenyang， et al. An efficient adaptive transfer neural network for social-aware recommendation［C］//Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2019：225-234.

［22]趙向宇.Top-N協同過濾推薦技術研究［D］.北京：北京理工大學，2014.（Zhao Xiangyu. Research on top-N recommendation with collabo-rative filtering［D］.Beijing：Beijing Institute of Technology，2014.）