融入自注意力和對比學習的多行為推薦

摘 要：現有的多行為推薦模型忽略了不同行為之間存在的優化不平衡問題。為解決這一問題，提出了一種融入自注意力和對比學習的多行為推薦模型（multi-behavior recommendation integrating self-attention and contrastive learning，SACL）。首先，根據用戶與商品的交互行為類型構建獨立的交互視圖，通過圖神經網絡挖掘用戶與物品之間的關聯關系，提取用戶的不同行為特征和興趣偏好特征。其次，在行為間與用戶間進行對比學習，捕捉不同行為下的相同用戶特征，增強輔助行為信息的利用率。然后，基于自注意力機制設計出一個多行為優化模塊，根據用戶的多行為特征以及對比學習特征設計定義不同的編碼方式，生成具有行為依賴關系的元知識；設計了一個自注意多行為損失權重網絡，根據元知識平衡不同行為的訓練損失權重，從而區分對目標行為的影響差異并降低輔助行為噪聲。提出的模型在Tmall和IJCAI-Contest數據集上進行的實驗表明，相較于最優基線DPT，SACL的命中率（HR）平均提升了10%，歸一化折損率（NDCG）平均提升了14%，驗證了SACL模型對平衡優化多行為推薦任務的有效性。

關鍵詞： 多行為推薦； 自注意力； 對比學習； 多行為特征； 元知識

中圖分類號： TP391 文獻標志碼： A 文章編號： 1001-3695（2025）02-009-0391-07

doi： 10.19734/j.issn.1001-3695.2024.07.0289

Multi-behavior recommendation integrating self-attention and contrastive learning

Zhang Zhiwei， Sun Fuzhen^’， Sun Xiujuan， Li Pengcheng， Wang Shaoqing

（School of Computer Science amp; Technology， Shandong University of Technology， Zibo Shandong 255049， China）

Abstract：Existing multi-behavior recommendation models ignore the optimization imbalance problem that exists between different behaviors. To solve this problem， this paper proposed a multi-behavior recommendation model integrating self-attention and contrastive learning （SACL）. Firstly， it constructed independent interaction views based on different types of user-item interaction behaviors， and explored correlation relationships between users and items through graph neural networks to extract different behavior characteristics and interest preference features of users. Secondly， it performed contrastive learning between behaviors and users to capture the same user characteristics under different behaviors and enhanced the utilization of auxiliary behavior information. Then， it designed a multi-behavior optimization module based on the self-attention mechanism which defined different encoding methods based on the multi-behavior features and contrastive learning features of users to generate meta-knowledge with behavior dependencies. It designed a self-attentive multi-behavior loss weighting network to balance the training loss weights of different behaviors based on meta-knowledge， thus distinguishing the differences in the impacts on target behavior and reducing the auxiliary behavior noises. Experiments on the Tmall dataset and the IJCAI-Contest dataset show that the proposed model improves the hit rate （HR） of SACL by an average of 10% and the normalized discount rate （NDCG） by an average of 14% compared to the optimal baseline DPT， which verifies the effectiveness of SACL model for balanced optimization of multi-behavior recommendation tasks.

Key words：multi-behavior recommendation; self-attention; contrastive learning; multi-behavior features; meta-knowledge

0 引言

伴隨著互聯網技術的飛速發展，當前網絡平臺呈現多樣化、個性化現象，比如電子商務平臺、音樂、新聞推薦平臺等，而網絡內容的海量增長和多樣性導致了信息過載的問題。推薦系統^{［1， 2］}可以根據用戶的個性化偏好推薦感興趣的物品，從而緩解信息過載的問題^［3］。協同過濾（CF）^{［4， 5］}是當今使用最廣泛的推薦架構，即根據用戶的歷史交互信息，分析用戶的目標行為偏好，結合用戶之間的相似性和物品間的關系為用戶提供個性化的推薦服務。近年來，基于圖神經網絡的協同過濾推薦方法^［6］取得了不錯的效果。然而當出現新用戶和新物品時，由于其歷史交互信息非常稀疏，無法捕捉用戶的興趣偏好，導致無法為新用戶提供準確的推薦服務，產生了冷啟動問題^{［7， 8］}。為解決冷啟動問題，多行為推薦成為研究熱點，解決思路通常為從用戶的不同行為交互中挖掘輔助信息來學習新用戶與新物品的特征表示^［9～11］。

為充分利用多行為信息，早期的多行為推薦研究工作主要通過改進矩陣分解^［12］或者調整采樣策略^［13］的方法來利用輔助行為信息，但由于結構相對簡單，無法捕捉到不同行為交互間復雜的依賴關系。現有的工作致力于設計不同的特征提取方案來學習不同類型的行為嵌入，提高對用戶多行為交互信息的利用率，并通過設計不同方式對行為依賴關系進行建模，以增強對用戶目標行為的表示。例如，MGNN^［14］在多個圖結構中學習節點表示，通過聚合來自不同圖的多行為特征，增強模型的表達能力。NMTR^［15］在神經協同過濾（NCF）框架的基礎上通過級聯的方式將對每種行為類型的預測聯系起來。MBGCN^［16］基于圖卷積網絡模型設計了一種行為感知的嵌入傳播層來捕獲與高階鄰居不同行為交互中的多樣化信息。GHCF^［17］通過構建圖和超圖的結合結構，捕捉更復雜和高階的行為依賴關系。MBGMN^［18］通過圖結構和元學習方法整合并利用用戶多種行為數據。

為更好地聚合用戶多行為特征，進一步提高所學習用戶特征的準確度，學者們開始將注意力機制融入用戶的行為特征提取過程中，通過注意力機制來建模不同行為類型間的依賴關系。例如，MATN^［19］開發了一個基于Transformer的多行為依賴編碼器，采用自注意力機制對不同交互行為的復雜語義進行建模。DIPN^［20］提出了一種分層注意力機制，分別學習行為內部以及行為間的依賴關系。KHGT^［21］引入多頭注意力機制，通過計算不同頭的注意力分數，來捕捉節點之間的不同類型的關系和特征。此外，最近的一項名為CML^［22］的研究設計了一個多行為對比學習框架，通過構建的對比損失來達成用戶特定類型行為表征之間的一致性，進一步增強對用戶的行為依賴建模。

綜上，當前多行為推薦模型已在不同類型的行為嵌入聚合方案以及行為依賴建模方面取得了進展，但是仍存在兩方面問題：a）現有的多行為推薦模型在訓練過程中忽略了輔助行為與目標行為之間權重分配不平衡的問題，導致目標推薦任務的推薦精準度下降；b）不同類型輔助行為對目標行為的貢獻會依據不同用戶的行為偏好而存在差異，現有的研究沒有針對用戶個體進行細粒度區分，導致用戶真實興趣漂移。

針對以上兩方面問題，本文通過計算生成輔助行為和目標行為的訓練損失權重來區分主次關系，提高目標推薦任務的推薦精度；通過將用戶的個性化行為特征編碼為元知識來捕捉不同用戶之間的偏好差異，訓練學習用戶的真實興趣。本文提出了融入自注意力和對比學習的多行為推薦模型（multi-behavior recommendation integrating self-attention and contrastive learning，SACL），將用戶的每種行為都定義為一種單獨類型的交互視圖，在多層圖卷積網絡中學習每種行為視圖下的用戶特征表示，將同一用戶的不同行為特征進行對比學習，獲取用戶不同行為所反映的相同興趣偏好，建模用戶個性化偏好，訓練生成不同行為任務的損失權重，優化模型參數。

本文的主要貢獻總結如下：a）提出了融入自注意力和對比學習的多行為推薦模型SACL，對于每種行為類型構建獨立的交互視圖，結合對比學習捕捉用戶的行為特征；b）針對權重分配不平衡的問題，基于自注意力機制設計了一個多行為權重網絡， 計算用戶不同行為模式的注意力得分，通過權重網絡生成不同訓練任務的行為損失權重；c）針對用戶真實興趣漂移的問題，將用戶的興趣特征及行為間的依賴關系編碼為元知識，訓練自注意多行為權重網絡，細粒度建模用戶個性化偏好。

1 問題定義及符號

在給定的數據集中，定義用戶集U={u₁，u₂，…，u_M}和項目集I={i₁，i₂，…，i_N}，其中，M表示用戶的數量，N表示項目的數量。定義用戶-項目交互圖為G=（V，E），其中V表示節點集，包含用戶集U和項目集I，E表示所觀察到交互的邊集。在具有K種行為類型的多行為交互圖中，交互圖G根據行為類型定義為K個行為子圖{G₁，G₂，…，G_K}，并將各個行為子圖下的用戶-項目交互矩陣定義為{₁，₂，…，_K}，其中K表示行為類型的數量。對于交互矩陣_k，如果用戶u與項目i在第k種類型的行為下存在交互，元素x^k_u，i=1，反之，元素x^k_u，i=0。

融入自注意力和對比學習的多行為推薦模型的任務可形式化定義為給定用戶-項目交互矩陣{₁，₂，…，_K}，生成用戶嵌入e_u和項目嵌入e_i，在輔助行為k′和目標行為k之間進行對比學習，生成對比損失L^k，1_cl，…，L^k，k′_cl，…，L^k，K_cl。自注意多行為權重網絡根據反映用戶個性化行為偏好的元知識編碼Z^k，k′_u生成行為損失權重ω^k，k′_u，結合對比損失L_cl與BPR損失L_bpr聯合訓練優化模型參數，為用戶生成推薦列表。

2 SACL模型

為充分利用用戶-項目交互圖中蘊涵的多行為交互信息，解決模型訓練過程中目標行為與輔助行為優化不平衡的問題，本文提出了融入自注意力和對比學習的多行為推薦模型SACL。模型框架如圖1所示，由多行為圖卷積神經網絡、多行為對比學習、自注意多行為優化三個核心模塊組成。多行為圖卷積神經網絡模塊依據行為類型拆分出不同行為對應的用戶-項目交互圖，從不同交互圖中提取用戶的行為特征。

多行為對比學習模塊通過在行為間與用戶間進行對比學習，選擇性地構造樣本對，將信息語義從輔助行為傳遞到目標行為。自注意多行為優化模塊將用戶特征編碼為元知識，建模用戶的個性化行為偏好，通過多行為權重網絡為不同行為任務生成損失權重，與行為損失函數聯合訓練優化模型參數。

2.1 多行為圖卷積神經網絡

為更加高效地利用輔助行為信息，提取用戶多行為特征，緩解目標行為數據稀疏的問題，本文設計了一個綜合上下文信息傳遞的多行為圖卷積神經網絡。該網絡通過挖掘不同行為子圖中用戶和項目的交互信息來學習用戶和項目的嵌入表示。

首先，為捕捉用戶的多行為交互信息，通過用戶項目之間的交互數據構建出多行為用戶-項目交互圖，并根據行為類型將其劃分為不同的行為交互子圖。根據行為子圖對應的用戶-項目交互矩陣_k得到鄰接矩陣A_k表示為

A_k=0_k

Tk0（1）

然后根據GCN中的多層信息傳播方式，本文在輕量級的圖架構上構建了綜合多行為交互信息的傳遞方案來提取用戶行為特征信息，具體流程如圖2所示，可以表示為

X^（l+1）_k=σ（A^_kX^（l）_kW_k）（2）

A^_k=D^-12_k（A_k+I_k）D^－12_k（3）

其中：A^_k是一個具有自連接的歸一化鄰接矩陣；D_k是第k種行為的|U+I|×|U+I|對角矩陣，D_k中的每個條目表示第k種行為鄰接矩陣中第i行向量中非零項的個數；I_k是一個|U+I|×|U+I|單位矩陣；X^（l）_k是卷積神經網絡第l層中第k種行為下的節點嵌入矩陣；W_k代表模型訓練所需要的參數；σ指的是sigmoid非線性激活函數。

為了使距離較近的鄰居節點比距離較遠的鄰居節點在生成節點嵌入時發揮更大的作用，通過函數f合并所有層的節點嵌入矩陣，并表示為

X_k=f（X^（l）_k）（4）

其中： f函數在神經網絡模型中通常設計為僅應用最后一層，級聯操作和對不同網絡層的節點嵌入進行加權求和，本文采用的是對不同網絡層的節點嵌入進行加權求和的方法；X_k表示第k種行為的節點嵌入矩陣。

然后，根據所得到的節點嵌入矩陣將所有行為子圖的用戶嵌入和項目嵌入進行聚合，生成最終的用戶表示e_u和項目表示e_i：

e_u=σ（W·∑Kk=1x_ukK）（5）

e_i=σ（W·∑Kk=1x_ikK）（6）

其中：σ表示PReLU非線性激活函數；W表示神經網絡權重；x_uk和x_ik分別表示第k個行為子圖中用戶u和項目i的嵌入表示。

2.2 多行為對比學習

為更好地利用多行為圖卷積神經網絡所學習到的用戶的輔助行為特征來對用戶的目標行為作出推薦，本文將不同行為視圖所生成的用戶特征嵌入進行對比學習，在輔助行為k′，k′∈{1，2，…，K-1}與目標行為k=K之間進行對比學習來捕捉該用戶不同行為之間的潛在聯系。盡管用戶通過不同行為與項目進行交互，但都體現了相同的用戶興趣，在對比學習中將其視為正對，表示為{（e^k_u，e^k′_u）|u∈U}。反之，對于不同用戶的視圖，利用對比損失區分他們的行為嵌入，加強不同用戶興趣之間的區別，在對比學習中被視為負對，表示為{（e^k_u，e^k′_v）|u，v∈U，u≠v}。在所設計的多行為對比學習框架中，使用InfoNCE損失函數來衡量不同嵌入之間的距離，通過比較兩個樣本間的距離來測量它們之間的相關性。對所采集到的用戶交互信息，通過最大化對比采樣正對示例之間的一致性和增強區分負對示例之間的差異性，從而更好地捕捉數據中的相關性。基于InfoNCE的對比損失函數表示如下：

L^k，k′_cl=∑u∈U－logexp（?（e^k_u，e^k′_u）/τ）∑v∈Uexp（?（e^k_u，e^k′_v）/τ）（7）

其中：τ表示softmax函數中的溫度超參數；?（·）用來計算兩個嵌入之間的內積，以衡量不同嵌入之間的相似性。

通過式（7）計算得到的輔助行為k′和目標行為k所構成的行為對的對比損失L^k，k′_cl加和得到總對比損失，表示如下：

L_cl=L^k，1_cl+…+L^k，k′_cl+…+L^k，K_cl（8）

2.3 自注意多行為優化

為區分用戶不同類型輔助行為對目標行為造成的影響差異，限制輔助行為噪聲對目標行為推薦產生的干擾。本文設計了一個自注意多行為優化的功能模塊，包括元知識編碼器和自注意多行為權重網絡兩部分。首先使用元知識編碼器對用戶的行為特征進行編碼，捕捉用戶的個性化行為特征。然后自注意多行為權重網絡通過元知識訓練生成特定行為的損失權重，細粒度優化用戶多行為損失。

2.3.1 元知識編碼器

為獲得用戶不同行為類型之間的個性化依賴關系，本文根據用戶的興趣特征、行為特征以及行為間對比損失定義了兩種不同編碼方式的元知識編碼器來提取具有用戶特定行為偏好特征的元知識，如式（9）（10）所示。

Z^k，k′_u，1=（d（L^k，k′_cl）·γ）‖e^k′_u‖e_u（9）

Z^k，k′_u，2=L^k，k′_cl·（e^k′_u‖e_u）（10）

其中：Z^k，k′_u，1和Z^k，k′_u，2表示通過編碼器編碼得到的元知識；d（·）表示能生成與用戶嵌入e_u和用戶輔助行為嵌入e^k′_u維度所對應的值向量的函數，這里定義為復制函數；γ是用來放大值的比例因子；‖表示連接符。

2.3.2 自注意多行為權重網絡

針對平衡優化輔助行為與目標行為訓練任務，降低輔助行為噪聲，本文基于自注意力機制設計了一個用于區分用戶個性化行為偏好差異的權重網絡，將通過編碼器編碼得到的反映用戶個性化偏好的元知識映射為損失權值。鑒于不同的行為之間會通過不同的方式相互交戶，并且行為之間的依賴關系因用戶不同而有差異，本文利用自注意力機制來建模用戶個性化行為偏好損失，對于不同用戶細粒度區分輔助行為對目標任務造成的影響差異。

首先，設計一個注意力模塊通過所得到的元知識生成表現用戶特定行為模式的注意力得分。縮放后的點積注意力定義為

Attention（Q，K，V）=softmax（QK^Td）V（11）

其中：Q代表查詢；K代表鍵；V代表值；d表示用來進行縮放的維數，避免在維數較高的情況下查詢與鍵的內積過大。

受最近一些研究提出的使用相同對象生成查詢、鍵和值的自注意方法^［23］的影響，本文將編碼得到的元知識作為自注意力模塊的輸入，通過線性投影將其轉換為三個矩陣，再對它們進行點積注意力的操作：

S_u=SA （Z^k，k′_u）=Attention（Z^k，k′_uW^Q，Z^k，k′_uW^K，Z^k，k′_uW^V）（12）

其中：W^Q，W^K，W^V∈?^d×d，表示用于線性投影的參數矩陣。這種投影方式可以使模型捕捉到不同行為之間的非對稱交互（如〈查詢k_i，鍵k_j〉與〈查詢k_j，鍵k_i〉），更好地學習行為間的依賴關系。通過自注意力機制可以將所有行為類型的元知識進行自適應聚合，但它仍然只是一個線性模型，因此進一步設計了一個轉換層使其具有非線性性，并將權重函數定義為

F（S_u）=PReLU （S_u·W_F+b_F）（13）

其中：W_F為d×d矩陣，表示投影層；b_F為d維向量，表示偏置項。將該非線性層與PReLU函數結合得到具有用戶個性化行為偏好的多行為損失權重，可表示為

ω^k，k′_u=ω^k，k′_u，1+ω^k，k′_u，2=F（S_u，1）+F（S_u，2）（14）

其中：ω^k，k′_u表示對于用戶u的行為偏好，輔助行為k′對于目標行為k的依賴關系權重。之后基于得到的多行為損失權重，設計生成了基于InfoNCE的自監督損失和基于貝葉斯個性化推薦排名的目標損失兩個損失權重列表。

2.4 模型訓練與優化

本文使用貝葉斯個性化損失^［24］來學習模型參數，將所觀察到的用戶與物品的行為交互視為正對，將未觀察到的交互視為負對，致力于正確地將觀察到交互過的物品排在未觀察到的物品之前。具體地，具有特定行為屬性的BPR損失被定義為

L^k_bpr=∑（u，i⁺，i^-）∈O_k-ln（sigmoid （x^k_u，i+-x^k_u，i^-））+λ‖θ‖²（15）

其中：O_k表示用戶u在第k種行為類型下的訓練樣本對；（u，i⁺）∈R⁺表示所觀察到的用戶u與物品i的交互；（u，i^－）∈R^－表示未被觀察到的交互；θ表示可以學習的模型參數，并引用L₂正則化來緩解過擬合的問題。受文獻［25］所使用的模型訓練策略的影響，本文使用了一種新的方式來對模型進行訓練優化，通過三個階段訓練更新多行為圖卷積神經網絡與自注意多行為權重網絡的參數，優化過程表示為

θ_G=argminθ=Δ∑Kk=1 ∑Bb=1（W（（L^{train∪weight}_cl，k，X，X^k）;θ_W）·L^train_cl，k+W（（L^{train∪weight}_bpr，k，X，X^k）;θ_W）·L^train_bpr，k）（16）

其中：θ_G表示多行為圖卷積神經網絡的參數；θ_W表示自注意多行為權重網絡的參數；K表示用戶行為類型數量；B表示訓練批次大小；X表示用戶所學習到的交叉類型的行為矩陣；X_k表示用戶所學習到的特定類型的行為矩陣。在模型訓練的第一階段，使用整個訓練數據集對多行為圖卷積神經網絡與自注意多行為權重網絡進行聯合訓練，學習初始的模型參數。在第二階段，使用元編碼器編碼得到的元知識數據對自注意多行為權重網絡進行參數更新，生成多行為損失權重。最后，通過更新后的權重網絡參數結合多行為損失權重更新圖卷積神經網絡的參數。通過上述三階段訓練方式，加快參數更新速度，提高模型訓練效率。

2.5 SACL算法偽代碼

算法1 SACL算法

輸入：K種行為類型；用戶集U與項目集I之間K種類型的行為交互矩陣{₁，₂，…，_K}；學習率lr；網絡層數l；網絡維度d。

輸出：經過算法計算后得到的用戶u的top-k推薦。

a） 初始化模型，對數據進行采樣

b） for i=1～k do //多行為圖卷積神經網絡生成嵌入

for j=1～l do

根據式（1）～（3）計算當前層第k種行為對應的節點嵌入矩陣

end for

根據式（4）合并所有層的節點嵌入

end for

根據式（5）（6）聚合得到用戶嵌入e_u和項目嵌入e_i

c） for i=1～k do

獲取每個行為對應的用戶嵌入和正負樣本嵌入

根據式（15）計算L^k_bpr

end for

d） 根據式（7）（8）計算L_cl //多行為對比學習提取用戶特征

e） for u=1～m do //自注意多行為權重網絡分配損失權重

for i=1～k do

根據式（11）～（14）計算BPR行為損失權重和對比學習損失權重

將損失權重與L^k_bpr和L^k，k′_cl相結合

end for

end for

f） 三階段訓練優化模型參數，生成e_u與e_i，計算生成推薦列表

2.6 復雜度分析

本文從模型主要功能模塊的角度進行復雜度分析。SACL模型的復雜度主要表現在多行為圖卷積神經網絡、對比學習模塊以及自注意多行為權重網絡三部分。其中多行為圖卷積神經網絡部分的復雜度為O（K×|M+N|×d²×L），K表示行為類型個數，M表示用戶個數，N表示項目個數，d表示特征嵌入維度，L表示神經網絡傳播層數。對比學習模塊通過基于InfoNCE的對比損失函數進行優化學習，每個epoch的時間復雜度為O（K×|X⁺_k|×S×d），|X⁺_k|表示在第k類行為下用戶-項目交互矩陣中的非零元素個數，S為進行對比學習的樣本數量，用于降低時間復雜度。自注意多行為權重網絡部分的時間復雜度為O（K×|X⁺_k|×d²）。模型總體計算復雜度是上述三部分的代數和，與當下多行為推薦算法（如MBGCN、KHGT、EHCF、CML）具有相當的時間復雜度。

3 實驗與結果分析

3.1 數據集介紹

本文在Tmall和IJCAI-Contest兩個數據集上進行實驗，以評估模型性能，表1中給出了兩個數據集的數據信息。Tmall是一個廣泛用于電子商務研究的大規模數據集，包含四種類型的行為信息，分別為瀏覽、收藏、添加到購物車和購買。IJCAI-Contest數據集由IJCAI15 Challenge提供，所收集的是零售系統中的用戶活動信息，包含四種類型的行為信息，即點擊、收藏、添加到購物車和購買，與Tmall數據集具有相同的行為類型，從不同角度反映用戶對商品的不同意圖。

3.2 指標設置

對于模型的性能評估，選取推薦研究中的兩個代表性研究指標，即命中率（hit rate， HR）以及歸一化折損累計增益（normalized discounted cumulative gain， NDCG）。測試階段所報告評價結果均取自10次實驗的平均值。

命中率用于衡量模型成功識別正例（true positive）的能力，即在所給出的推薦列表中，模型成功預測為正例的比例。

HR@N=1N∑Ni=1 hit（i）（17）

其中：hit（）函數用來判斷模型是否成功識別正例，若為正例，則hit（）的值為1，反之為0。歸一化折損累計增益用于衡量排序模型返回的結果在排名、相關性和多樣性方面的質量。NDCG的值在0～1，其中1表示最佳性能，0表示最差性能。較高的NDCG表示模型在排序結果中更好地考慮了項目的相關性和排名。

NDCG@N=∑Ni=11log（rank_i+1）（18）

其中：rank表示模型推薦的正例在推薦列表中的位置。

3.3 實驗基線

本文將所提出的SACL模型與以下五組最先進的模型進行了比較：單行為推薦模型、異構圖神經網絡推薦模型、多行為推薦模型、基于注意力的多行為推薦模型以及個性化多行為推薦模型。為了體現模型的先進性，保證實驗的有效性，均使用基線模型的默認參數。

1）單行為推薦模型

NGCF^［26］：該模型結合了協同過濾技術和圖神經網絡，通過顯示建模用戶與項目之間的高階連通關系來優化消息傳遞，更好地捕捉用戶偏好。

LightGCN^［27］：該模型是對圖卷積神經網絡推薦模型進行的一種輕量級簡化推薦模型，去除了非線性激活函數以及特征變換操作。

2）異構圖神經網絡推薦模型

HGT^［28］：該模型結合了圖神經網絡和Transformer的優勢，基于元關系建模節點和邊的異構性，并將時間信息加入到網絡中進行學習。

HeCo^［29］：該模型從網絡模式視圖和元路徑視圖對節點進行編碼，創造性地引入了視圖掩碼機制，使這兩個視圖相互補充和監督。

3）多行為推薦模型

NMTR^［15］：該模型結合了多任務學習和協同過濾技術，并通過預先設定的多行為級聯關系來學習用戶交互。

MBGCN^［16］：該模型將圖卷積神經網絡應用于多行為用戶項目交互圖上，在信息傳播過程中學習各行為的權重，捕捉用戶的行為偏好。

4）基于注意力的多行為推薦模型

MATN^［19］：該模型顯示地對多行為依賴關系進行編碼，將跨類型的用戶-項目交互的協作信號注入嵌入過程，并通過注意力機制發現特定類型的行為語義。

KHGT^［21］：該模型設計層級圖注意力網絡，將時間信息融入到多行為建模中，并對跨類型行為的層次依賴關系進行編碼，區分特定類型的貢獻。

5）個性化多行為推薦模型

EHCF^［30］：該模型將每個行為的預測以一種遷移的方式關聯起來，捕捉不同行為之間的復雜關系，不進行采樣，從整個異質數據中學習模型參數。

CML^［22］：該模型將對比學習應用于多行為推薦之中，通過有效利用輔助行為數據緩解目標行為數據稀疏的問題，并使用元學習建模用戶的個性化行為偏好。

DPT^［31］：該模型通過三階段學習范式來減弱輔助行為對目標行為推薦的負面影響，緩解目標行為推薦中多類型行為之間的語義差距。

3.4 參數設置

實驗使用Xavier初始化模型參數，使用Adam作為優化器，結合周期學習率（CyclicLR）策略優化模型參數，驗證集上HR和NDCG指標在連續50個epoch內沒有提升時停止訓練，模型超參數的推薦效果在測試集上進行驗證。學習率在{0.6E^-3，1E^-3，2E^-3，5E^-3}中進行測試，行為感知圖神經網絡的消息傳播層數在{1，2，3，4}中調整，特征維度在{4，8，16，32，64，128}中調整，L₂正則化權重在{1E^-3，5E^-3，1E^-2}中調整。

3.5 對比實驗性能分析

表2為本文方法在不同數據集上與其他模型的性能比較，其中本文模型結果用粗體表示，下畫線所表示的是最優基線的結果。由表中數據可以發現，SACL模型在不同數據集上始終優于所有基線模型。具體地說，對于HR@10和NDCG@10兩個評價指標，在Tmall數據集上，本文的方法比基線中最優的模型效果提升了6.3%和9.4%，在IJCAI-Contest數據集上，更是獲得了14.1%和18.7%的顯著提升。基于表中的實驗數據，將SACL模型與所給出的五組模型進行對比分析：

a）多行為推薦模型（NMTR，MBGCN）在推薦任務上的性能優于單行為推薦模型（NGCF，LightGCN），這表明綜合考慮用戶在多種場景下的不同行為，能夠克服單一行為推薦的局限性。通過有效利用多種行為信息，能夠減輕單一行為數據稀疏的問題，并且能夠更細致地挖掘用戶的興趣模式和行為規律，從而提升推薦精度。

b）融合了注意力機制的多行為推薦模型（MATN，KHGT）又展現出了比多行為推薦模型更好的推薦性能，這表明注意力機制可以細化行為表示間的差異，能夠個性化建模用戶行為偏好，依據用戶偏好捕捉不同行為間的關聯關系，提高信息利用率，從而提升模型的推薦性能。

c）SACL模型在所有情況下的推薦性能都遠超于異構神經網絡（HGT，HeCo），由此驗證了SACL模型針對圖協同過濾框架異構編碼的能力，也驗證了根據多行為交互數據對用戶多行為特征建模可以豐富訓練數據類型，有效緩解數據稀疏問題，提高模型的推薦精度。

d）與最近提出的個性化多行為推薦模型（EHCF、CML、DPT）相比，SACL依舊獲得了最好的推薦結果。這表明SACL能夠更準確地捕捉用戶偏好，細粒度區分不同用戶之間的區別，為用戶提供更精準的推薦。

綜上所述，SACL模型取得性能改進的原因取決于以下兩點：

a）本文通過多行為圖卷積神經網絡從用戶的多行為交互中提取輔助信息來緩解目標行為信息稀缺的情況，更加全面地捕捉學習用戶的特征偏好。通過對比學習挖掘不同行為間的潛在聯系，增強了多行為輔助信息的利用率。

b）元知識編碼有效建模了用戶的個性化行為特征，所設計的自注意多行為權重網絡根據元知識訓練生成行為損失權重，細粒度區分了不同行為之間的差異，提高了模型捕捉用戶特征偏好的準確度。

3.6 消融和有效性分析

為了進一步探究闡明SACL模型的性能改進，驗證模型的關鍵功能模塊對模型性能的影響，使用SACL模型的三個變體w/o MCL、w/o MKE、w/o AWN在Tmall和IJCAI-Contest數據集上進行消融實驗研究，變體模型如下：

w/o MCL：去除用戶目標行為與輔助行為之間的對比學習，僅通過圖神經網絡學習用戶特征。

w/o MKE：取消使用元編碼訓練多行為權重網絡參數，直接對行為損失進行自注意權重分配。

w/o AWN：去除自注意多行為權重網絡，通過統一對各種行為損失平均分配權重的方式來替代。

圖3給出了模塊消融后模型的對比效果。由圖中數據可以看出，SACL的三個變體相較于模型自身的推薦性能均有所降低，表明捕捉用戶多行為交互中的潛在依賴關系、用戶的個性化行為特征均能提高模型的推薦性能，并且通過自注意多行為權重網絡可以有效提高模型對用戶特征的學習能力以及降低輔助行為噪聲，優化模型對于目標行為推薦任務的能力。具體分析如下：

a）w/o MCL實驗結果下降的原因在于模型僅通過圖神經網絡來提取用戶特征，沒有學習不同行為之間的潛在聯系、捕獲其所反映的共同興趣偏好，不能有效地利用行為輔助信息。在目標行為數據稀疏的情況下，容易受到輔助行為特征噪聲的影響，導致提取的用戶興趣特征不準確。

b）w/o MKE實驗結果下降的原因在于SACL模型自定義的用戶行為特征元知識編碼包含了用戶的不同行為特征偏好，使用元編碼訓練多行為權重網絡可以使權重網絡細粒度區分不同用戶的個性化行為偏好，從而幫助多行為權重網絡更好地分配行為損失權重。

c）w/o AWN實驗結果下降的原因在于沒有對不同行為的訓練任務進行區分，在目標行為數據稀疏時，容易導致輔助行為任務主導網絡權重，并且不同的輔助行為對目標行為影響不同，需要區分不同輔助任務對目標任務的貢獻。

3.7 圖神經網絡層數分析

為了研究圖神經網絡層數對于模型推薦性能的影響，本文在兩個數據集上進行了不同網絡層數L的對比實驗。圖4和5展示了Tmall和IJCAI-Contest數據集上不同超參數L對評價指標HR@10和NDCG@10的影響。由數據結果可以看出，當其他參數保持不變時，圖傳播層數越多，模型性能越好，這表明模型傳播層數的增多可以有效捕獲高階鄰居的潛在依賴關系，當圖神經網絡層數為3時，推薦性能最優。當傳播層數進一步增加，可能會對所生成的特征嵌入表示引入噪聲，導致模型性能下降。

3.8 模型維度影響分析

適宜的模型維度能夠使模型更好地學習用戶特征與項目特征，為找到適合的模型維度，本文在兩個數據集上進行了對于隱藏層嵌入向量維度D的參數實驗。本文將不同的嵌入層設置為相同的維度，并在{4，8，16，32，64，128}范圍內調整嵌入向量維度。實驗結果如圖6和7所示，隨著隱藏層嵌入維度的增加，SACL模型能夠更細致地捕捉用戶不同行為之間的潛在聯系，提取用戶特征，并且基于注意力機制的多行為權重網絡能夠更好地區分不同行為之間的差異，降低輔助行為任務產生的噪聲，使推薦性能不斷提升。但隨著維度的升高，模型性能提升的幅度有所減緩，為綜合考慮推薦效率與推薦性能，本文將隱藏層的最優嵌入維度設置為128。

3.9 案例分析

為了更直觀地理解本文所提模型的推薦方法，以用戶u為例，展示了SACL模型的推薦過程。如圖8所示，其中［i₁，i₂，…，i₅］表示用戶u的歷史交互序列。圖8（a）為用戶u的完整交互序列［i₁，…，i₅，i₃］，將購買作為目標行為，瀏覽、喜愛以及添加到購物車作為輔助行為，目標推薦任務為給定歷史交互序列［i₁，i₂，…，i₅］，對下一個購買物品i₃作出預測推薦。圖8（b）為傳統推薦模型的推薦過程，傳統推薦模型大多為單行為推薦模型，只利用目標行為交互數據訓練模型，預測下一個交互物品。本案例中，僅對用戶u歷史交互序列中購買的物品T恤衫、筆記本進行了特征學習，導致所學習到的用戶偏好不準確，錯誤預測了下一個交互物品。圖8（c）為SACL模型的推薦過程，針對用戶每種行為分配特定權重，同時利用輔助行為和目標行為交互信息生成下一個物品的預測推薦。本案例中，依據用戶u的行為特征為瀏覽、喜愛、添加到購物車、購買分配特定的行為權重，結合權重對交互物品進行綜合學習，最終作出了正確推薦。由此可見，SACL模型能夠更好地利用用戶歷史交互信息，捕獲用戶偏好，并更準確地生成下一個項目的推薦預測。這有助于解決僅依靠目標行為導致的推薦不準確的問題。

4 結束語

考慮到多行為推薦算法中存在多行為任務優化不平衡和用戶真實興趣偏移的問題，本文提出了一種基于自注意力和對比學習的多行為推薦模型SACL。該模型依據行為交互圖建立多行為圖卷積神經網絡來提高多行為信息傳遞的高階連通性。通過多視圖間的對比學習捕捉不同行為之間的潛在依賴關系，將用戶特征整合為元知識，利用自注意多行為權重網絡來刻畫行為之間的差異，限制輔助行為噪聲，從而更準確地捕捉用戶的個性化行為偏好。SACL的實驗結果優于所有基線模型，驗證了所提模型的有效性。

圖8 案例分析Fig.8 Case study

下一步，為了更好地利用輔助信息優化目標任務，考慮引用Transformer架構細粒度建模多行為依賴關系，更精準地捕獲用戶的目標行為偏好，從而提升模型性能與泛化能力。

參考文獻：

［1］嚴明時， 程志勇， 孫靜， 等. 基于兩階段學習的多行為推薦 ［J］. 軟件學報， 2024， 35（5）： 2446-2465. （Yan Mingshi， Cheng Zhiyong， Sun Jing， et al. Two-stage learning for multi-behavior recommendation ［J］. Journal of Software， 2024， 35（5）： 2446-2465.）

［2］Gao Chen， Zheng Yu， Li Nian， et al. A survey of graph neural networks for recommender systems： challenges， methods， and directions ［J］. ACM Trans on Recommender Systems， 2023， 1（1）： 1-51.

［3］汪春播， 溫繼文. 基于異構信息網絡的推薦研究綜述 ［J］. 計算機工程與科學， 2023， 45（11）： 2047-2059. （Wang Chunbo， Wen Jiwen. Review of recommendation based on heterogeneous information network ［J］. Computer Engineering amp; Science， 2023， 45（11）： 2047-2059.）

［4］Ren Xubin， Xia Lianghao， Zhao Jiashu， et al. Disentangled contrastive collaborative filtering ［C］// Proc of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press， 2023： 1137-1146.

［5］Wu Le， He Xiangnan， Wang Xiang， et al. A survey on accuracy-oriented neural recommendation： from collaborative filtering to information-rich recommendation ［J］. IEEE Trans on Knowledge and Data Engineering， 2022， 35（5）： 4425-4445.

［6］付峻宇， 朱小棟， 陳晨. 基于圖卷積的雙通道協同過濾推薦算法 ［J］. 計算機應用研究， 2023， 40（1）： 129-135. （Fu Junyu， Zhu Xiaodong， Chen Chen. Two-channel collaborative filtering recommendation algorithm based on graph convolution ［J］. Application Research of Computers， 2023， 40（1）： 129-135.）

［7］Zhu Yu， Lin Jinhao， He Shibi， et al. Addressing the item cold-start problem by attribute-driven active learning ［J］. IEEE Trans on Knowledge and Data Engineering， 2019， 32（4）： 631-644.

［8］Zhou Zhihui， Zhang Lilin， Yang Ning. Contrastive collaborative filtering for cold-start item recommendation ［C］// Proc of ACM Web Conference. New York：ACM Press，2023： 928-937.

［9］方陽， 譚真， 陳子陽， 等. 用于冷啟動推薦的異質信息網絡對比元學習 ［J］. 軟件學報， 2023， 34（10）： 4548-4564. （Fang Yang， Tan Zhen， Chen Ziyang， et al. Contrastive meta-learning on heterogeneous information networks for cold-start recommendation ［J］. Journal of Software， 2023， 34（10）： 4548-4564.）

［10］沈學利， 張榮凱. 聯合自監督學習強化的多行為多任務推薦算法 ［J］. 計算機應用研究， 2023， 40（9）： 2688-2693. （Shen Xueli， Zhang Rongkai. Multi-behavior multi-task recommendation algorithm integrating self-supervised learning enhancement ［J］. Application Research of Computers， 2023， 40（9）： 2688-2693.）

［11］Yan Mingshi， Cheng Zhiyong， Gao Chen， et al. Cascading residual graph convolutional network for multi-behavior recommendation ［J］. ACM Trans on Information Systems， 2023， 42（1）： 1-26.

［12］Tang Liang， Long Bo， Chen B C， et al. An empirical study on re-commendation with multiple types of feedback ［C］// Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Datamining. New York：ACM Press，2016： 283-292.

［13］Loni B， Pagano R， Larson M， et al. Bayesian personalized ranking with multi-channel user feedback ［C］// Proc of the 10th ACM Confe-rence on Recommender Systems. New York：ACM Press，2016： 361-364.

［14］Gao Jianliang， Lyu Tengfei， Fan Xiong， et al. MGNN： a multimodal graph neural network for predicting the survival of cancer patients ［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press， 2020： 1697-1700.

［15］Gao Chen， He Xiangnan， Gan Dahua， et al. Neural multi-task re-commendation from multi-behavior data ［C］// Proc of the 35th IEEE International Conference on Data Engineering. Piscataway， NJ： IEEE Press， 2019： 1554-1557.

［16］Jin Bowen， Gao Chen， He Xiangnan， et al. Multi-behavior recommendation with graph convolutional networks ［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2020： 659-668.

［17］Chen Chong， Ma Weizhi， Zhang Min， et al. Graph heterogeneous multi-relational recommendation ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 3958-3966.

［18］Xia Lianghao， Xu Yong， Huang Chao， et al. Graph meta network for multi-behavior recommendation ［C］// Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2021： 757-766.

［19］Xia Lianghao， Huang Chao， Xu Yong， et al. Multiplex behavioral relation learning for recommendation via memory augmented transformer network ［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2020： 2397-2406.

［20］Guo Long， Hua Lifeng， Jia Rongfei， et al. Buying or browsing？： predicting real-time purchasing intent using attention-based deep network with multiple behavior ［C］// Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York：ACM Press，2019： 1984-1992.

［21］Xia Lianghao， Huang Chao， Xu Yong， et al. Knowledge-enhanced hierarchical graph transformer network for multi-behavior recommendation ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2021： 4486-4493.

［22］Wei Wei， Huang Chao， Xia Lianghao， et al. Contrastive meta lear-ning with behavior multiplicity for recommendation ［C］// Proc of the 15th ACM International Conference on Web Search and Data Mi-ning. New York：ACM Press，2022： 1120-1128.

［23］Chen Deli， Lin Yankai， Li Wei， et al. Measuring and relieving the over-smoothing problem for graph neural networks from the topological view ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2020： 3438-3445.

［24］Rendle S， Freudenthaler C， Gantner Z， et al. BPR： Bayesian personalized ranking from implicit feedback ［EB/OL］. （2012-05-09）. https：//arxiv.org/abs/1205.2618.

［25］Shu Jun， Xie Qi， Yi Lixuan， et al. Meta-weight-net： learning an explicit mapping for sample weighting ［EB/OL］. （2019-09-27）. https：//arxiv.org/abs/1902.07379.

［26］Wang Xiang， He Xiangnan， Wang Meng， et al. Neural graph collabo-rative filtering ［C］// Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2019： 165-174.

［27］He Xiangnan， Deng Kuan， Wang Xiang， et al. LightGCN： simplifying and powering graph convolution network for recommendation ［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press，2020： 639-648.

［28］Hu Ziniu， Dong Yuxiao， Wang Kuansan， et al. Heterogeneous graph transformer ［C］// Proc of Web Conference. New York：ACM Press，2020： 2704-2710.

［29］Wang Xiao， Liu Nian， Han Hui， et al. Self-supervised heterogeneous graph neural network with co-contrastive learning ［C］// Proc of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mi-ning. New York：ACM Press，2021： 1726-1736.

［30］Chen Chong， Zhang Min， Zhang Yongfeng， et al. Efficient heterogeneous collaborative filtering without negative sampling for recommendation ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2020： 19-26.

［31］Zhang Chi， Chen Rui， Zhao Xiangyu， et al. Denoising and prompt-tuning for multi-behavior recommendation ［C］// Proc of ACM Web Conference. New York：ACM Press，2023： 1355-1363.