基于圖生成過程的跨領域推薦

摘要：推薦系統在各方各面得到充分的應用，時刻影響著日常生活。要訓練出一個良好的推薦系統往往需要大量的用戶—商品交互數據，但是實際情況下獲得的數據往往是十分稀疏的，這往往會使得訓練出來的模型過擬合，最后難以獲得理想的推薦效果。為了解決這個問題，跨領域推薦系統應運而生。目前大部分的跨領域推薦系統工作都是借鑒傳統領域自適應的方法，使用基于特征對齊或者對抗學習的思想將領域不變用戶興趣從有豐富數據的源域遷移到稀疏的目標域上，例如豆瓣電影遷移到豆瓣圖書。但是由于不同推薦平臺的網絡結構有所不同，現有方法暴力提取的領域不變的語義信息容易和結構信息耦合，導致錯配現象。而且，現有方法忽略了圖數據本身存在的噪聲，導致實驗效果進一步受到了影響。為了解決這個問題，首先引入了圖數據的因果數據生成過程，通過領域特征隱變量和語義特征隱變量、噪聲隱變量解耦出來，通過使用每個節點的語義隱變量進行推薦，從而獲得領域不變的推薦效果。在多個公開數據集上驗證了該方法，并取得了目前最好的實驗效果。

關鍵詞：解耦；圖神經網絡；領域自適應；推薦系統；因果數據生成過程

中圖分類號：TP399文獻標志碼：A

文章編號：1001-3695（2022）08-016-2333-07

doi：10.19734/j.issn.1001-3695.2022.01.0015

Cross-domain recommendation under graph generation process

Cai Ruichu，Wu Fengzhu，Li Zijian

（School of Computer Science，Guangdong University of Technology，Guangzhou 510006，China）

Abstract：Recommendation systems are widely used everywhere and have a great influence on daily life.Aiming to train an ideal recommendation system，a massive of use-item interactive pairs should be provided.However，the dataset obtained is usually sparse，which might result in an over-fitting model and be hard to obtain the satisfying performance.In order to address this problem，the cross-domain recommendation is raised.Most of the existing methods on cross-domain recommendation systems borrow the ideas of the conventional unsupervised domain adaptation，which employ the feature alignment or adversarial training methods.Hence they can transfer the domain-invariant interests of users from the source to the target domains，e.g.，from the Douban Movies to the Douban Books.However，since the network structures vary with different recommendation platforms，the existing methods on cross-domain recommendation systems straight forwardly extract the domain-invariant representation may entangle the structure information，which may result in the 1 alignment phenomenon.Furthermore，the previous efforts ignore the noise information behind the graph data，which further degenerate the experimental performance.In order to address the aforementioned problems，this paper brought the causal generation process of graph data into the cross-domain recommendation systems，it used the semantic latent variables of each node to calculate the relationships between users and items via disentangling the semantic latent variables，domain latent variables and noise latent variables.Experiments show that the proposed method yields state-of-the-art performance on several cross-domain recommendation system benchmark datasets.

Key words：disentanglement；graph neural networks；domain adaptation；recommendation system；causal generation process

0引言

近年來，隨著深度學習技術的迅速發展，深度學習在各行各業遍地開花，其中的一個應用是推薦系統。推薦系統是為推薦商品而設計的特殊軟件程序，其目標是從海量的候選商品集中預測用戶未來最可能交互（點擊、評價、購買等）的商品。協同過濾（collaborative filtering，CF）[1]方法是推薦系統的基石，它基于用戶過去的交互（如產品評分），對用戶對商品的偏好進行建模。矩陣分解（matrix factorization，MF）[2]是一類CF方法，它通過分解用戶和物品的交互矩陣來學習用戶和物品的潛在因素。神經協同過濾是另一類CF方法，利用神經網絡學習復雜的用戶—物品交互函數[3]。然而，傳統的矩陣分解和神經網絡協同過濾都存在冷啟動和數據稀疏問題。

一個有效的解決方法是轉移相關領域的知識，跨領域推薦[4]技術解決了這類問題。在現實生活中，用戶通常會參與幾個系統來獲得不同的信息服務。例如，用戶在在線視頻網站看電影的同時，從知乎或豆瓣等網站瀏覽書籍評價。本文可以通過跨領域學習來提高目標服務（或所有服務）的推薦性能。如圖1（a）所示，相同用戶在不同平臺的行為是相似的，喜歡看《西游記》書籍的人，也會喜歡看《西游記》的電影。按照上面的例子，本文可以用兩個矩陣分別表示視頻與圖書的瀏覽反饋，通常這兩個矩陣是高度稀疏的，同時學習它們有益于緩解數據稀疏。集合矩陣分解（collective MF，CMF）[5]是這類方法的代表，它通過共享用戶潛在因素來共同分解這兩個矩陣，將目標域的CF和輔助域的CF相結合實現知識轉移。然而，CMF是一個淺層模型，難以學習復雜的用戶—物品交互函數。另一類方法是利用圖神經網絡（graph neural network，GNN）[6，7]建模交互圖的高階連通性信息。圖神經網絡在嵌入空間中構建信息流，利用圖卷積層傳播節點嵌入，并聚合交互過的物品（或用戶）的嵌入來強化用戶（或商品）的嵌入。通過疊加多個圖卷積層，本文可以在節點嵌入中捕獲高階連接中的協同信號，以此緩解數據稀疏的問題。

雖然現有的方法在一定程度上緩解了跨領域推薦問題，但是這些方法大多是簡單地借鑒非圖數據的無監督領域自適應方法，這些方法旨在提取領域不變的信息，但是暴力地采用這些方法提取出來的信息會使得領域特有的結構信息和領域不變的用戶興趣信息耦合，使得不同用戶信息遷移錯誤。如圖1（b）所示，如果領域不變表達中同時語義信息和結構信息耦合，那么會出現不同用戶對齊的現象（如男孩遷移到女孩），最終導致不理想的推薦效果。為了解決這個問題，一個直觀的解決方法是將語義信息和結構信息解耦出來，然后在推薦的時候只使用語義信息，從而可以避免結構信息的干擾。如圖1（c）所示，可以通過舍棄不同推薦平臺數據中的結構信息，使得相同用戶在不同推薦平臺上的行為得到對齊。

為了將語義信息和結構信息解耦出來，本文假設了如圖2所示的針對圖數據的因果數據生成過程。如圖2所示，本文假設d表示不同領域（如不同的推薦平臺），y表示不同用戶/商品，Ao表示不同推薦平臺的噪聲。hsemu、hdomu和hnoiu分別表示結構隱變量、語義隱變量和噪聲隱變量，本文觀測到的圖數據G由這三個隱變量同時生成。

基于上述針對圖數據的數據生成過程，并提取的領域不變的用戶興趣表示，本文提出了一種基于圖生成過程的跨領域推薦方法。本文假設用戶—物品交互圖的生成過程由兩種獨立的潛在變量控制，即語義潛在變量hsemu和域潛在變量hdomu。通過對這兩個潛在變量的重構和分解，本文可以很容易地在hsemu的基礎上進行下游的推薦任務。在技術上，本文采用圖自編碼器來重建這些潛在變量，并利用得分預測器和領域分類器來分解語義和領域潛在變量。大量的實驗研究表明，本文方法在多個公開數據集上的性能優于目前的跨領域推薦方法。

本文提出基于圖生成過程的跨領域推薦系統，其研究意義如下：首先，跨領域推薦能同時利用多個數據源，解決推薦系統中經常面臨的冷啟動問題和數據稀疏問題；其次，目前的跨領域推薦研究大多是針對傳統的深度神經網絡模型，對更復雜的圖網絡探討較少，特別是如何解決領域特有的結構信息和領域不變的用戶興趣信息的耦合，還存在很多這方面的研究空白；最后，本文首次在跨領域推薦中引入了因果知識，通過因果數據生成過程提升了模型的穩定性和魯棒性。

1相關工作

1.1推薦系統

推薦系統旨在從用戶的歷史行為中了解他們對未知物品的偏好。現有的推薦系統可以分為基于內容的推薦（content-based recommendation）[8]與協同過濾（collaborative filtering，CF）[1，9～12]兩大類。基于內容的推薦是基于用戶畫像和物品描述之間的匹配。當缺少關于物品的內容描述時，基于內容推薦的方法難以為每個用戶構建個性化的畫像。協同過濾通過基于用戶與物品交互行為預測用戶偏好，與物品的內容無關，以此緩解內容信息稀缺的問題。潛在因子模型主要基于矩陣分解（matrix factorization，MF）[2]學習用戶和物品的特征向量，且具有概率解釋。分解機（factorization machines，FM）[13]是廣義的矩陣分解，能有效建模多種特征之間的交互。神經協同過濾（neural collaborative filtering，NCF）[3]把深度神經網絡與矩陣分解相結合，學習非線性的特征表示。然而，真實世界的用戶—物品交互數據是高度稀疏的，導致協同過濾模型在訓練時受到數據稀疏性的影響。

跨領域推薦（cross-domain recommendation）[4，14，15]的目的是利用源領域充足的數據，緩解目標領域的用戶行為稀缺的問題。有一類把矩陣分解應用于每個域的跨領域推薦方法，例如集合矩陣分解（collective MF，CMF）[16]。上述淺層的方法，在學習高度非線性的復雜用戶—物品交互關系方面存在困難。此外，DARec[17]借鑒遷移學習中的域自適應技術進行跨領域推薦，TMCDR[18]借助模型無關的元學習解決跨領域的用戶冷啟動問題。

本文通過引入圖數據的因果數據生成過程，將語義隱變量和領域隱變量同時解耦出來，從而避免了由結構引起的用戶信息錯配，獲得更好的遷移效果。

1.2圖神經網絡

另一個相關的研究領域是基于用戶—物品二部圖結構進行推薦，近年來出現的圖神經網絡（graph neural network，GNN）[6，7]廣泛應用于圖結構數據的建模，尤其是高階鄰居，以指導節點表示的學習。早期的研究定義了譜域上的圖卷積，如基于拉普拉斯特征分解和Chebyshev多項式的圖卷積[19]，但這類方法需要計算拉普拉斯矩陣的逆，計算復雜度較高。隨后，圖卷積網絡（graph convolutional network，GCN）[6]和GraphSAGE[7]在空間域中重新定義了基于消息傳遞的圖卷積，即通過聚合鄰居的表示來獲得目標節點的表示。由于其可解釋性和計算高效，它們迅速成為一種流行的圖神經網絡范式并被廣泛應用[20，21]。得益于圖卷積的強大表達能力，大量基于圖網絡的推薦模型被提出[22～29]，如GC-MC[27]、NGCF[28]和LightGCN[29]，使GCN適用于用戶—物品交互圖的建模，捕獲目標節點高階鄰居的協同過濾信號進行推薦。在最近基于圖網絡推薦的研究中，SGL[30]探索了對用戶—物品圖的自監督學習，以提高GCN推薦的多樣性和穩健性；SGCN[31]利用圖的稀疏性和低層次的結構特性，在GCN的每一層都附加了一個可訓練的隨機二進制掩碼，以此提高GCN的推薦性能。

還有一些研究把跨領域推薦與圖神經網絡相結合，例如PPGN[32]構建了一個跨領域偏好矩陣來對不同領域的交互作為一個整體進行建模，以更好地捕捉用戶偏好在交互圖中的傳播方式；CD-GNN[33]在由社交網絡與用戶瀏覽記錄組成的異構圖上學習用戶的表示，然后提取的領域不變特征用于推薦。本文將圖神經網絡應用到圖生成過程中建模，利用圖神經網絡的點聚合能力，學習出不同的隱變量。

2基于圖生成過程的跨領域推薦

2.1問題定義

給定兩個領域，一個源領域（如電影推薦）和一個目標領域（如書籍推薦），兩個領域重合的用戶集合記為Euclid Math OneUAp，源領域和目標領域的物品分別記為Euclid Math OneVAps和Euclid Math OneVApt。每個領域的任務都是隱式反饋的協同過濾問題。對于源領域，本文用一個無向圖Euclid Math OneGAps來描述用戶與物品的交互，圖有Euclid Math OneUAp和Euclid Math OneVAps兩類節點，如果用戶u∈U與物品v∈Euclid Math OneVAps存在交互，則在u與v之間置一條邊。對于目標領域，以同樣的方法構建Euclid Math OneGApt。本文的符號如表1所示。

在商品推薦任務里，每個用戶只對前N個物品感興趣，而物品根據他們的預測評分排序，公式如下：

uv=f（u，v|Θ）（1）

其中：f是交互函數；Θ是模型參數。對于矩陣分解，交互函數是固定的點積，公式如下：

uv=eTuev（2）

其中：eu∈Euclid Math TwoRApd×1和ev∈Euclid Math TwoRApd×d是用戶u與物品v的維嵌入向量；那么模型參數就是由嵌入向量組成的嵌入矩陣U∈Euclid Math TwoRApd×|Euclid Math OneUAp|和V∈Euclid Math TwoRApd×|Euclid Math OneVAp|。在跨領域推薦任務中，本文利用兩個領域的數據協同訓練模型，通過知識遷移來提高模型表現。

在訓練階段的每個批次，本文從Euclid Math OneUAp中均勻采樣一批用戶；對于每個用戶，從源領域的訓練集中隨機采樣一個交互過的物品vs作為正樣本，再從Euclid Math OneVAps中均勻采樣一個未交互過的物品作為負樣本vs′；對目標領域也進行同樣的采樣。

2.2模型設計

本文從生成模型的角度去考慮跨領域推薦問題，模型的實現參考了圖自編碼器[28]，整體上由編碼器與解碼器組成，模型框架如圖3所示。模型由嵌入層、圖卷積層、解耦模塊、領域判別器、源領域得分預測器、目標領域得分預測器和重構模塊這七個部分組成，本文在后續章節中詳細介紹每一個模塊。

2.3嵌入層與圖卷積層

嵌入層負責把節點ID轉換為對應的嵌入向量，具體地，本文輸入用戶u的ID，從跨領域共享的用戶嵌入矩陣U中提取其嵌入向量e（0）u；輸入源領域物品vs的ID，從源領域物品的嵌入矩陣Vs提取其嵌入向量e（0）vs，對于目標領域，以相同方式從Vt提取e（0）vt。所以，嵌入層包含U、Vs、Vt這三組訓練參數。由于源領域與目標領域是對稱的，為了簡化公式，下文用v指代vs與vt。

圖卷積層負責從二部圖上學習節點表示，它接收Euclid Math OneGAps或Euclid Math OneGApt以及目標節點作為輸入，以目標節點為中心，逐層聚合鄰域節點的表示，公式如下：

e（l+1）u=∑v∈Euclid Math OneNApu1|Euclid Math OneNApu||Euclid Math OneNApv|W（l）uv[e（l）u‖e（l）v]（3）

e（l+1）v=∑u∈Euclid Math OneNApv1|Euclid Math OneNApu||Euclid Math OneNApv|W（l）vu[e（l）v‖e（l）u]（4）

hu=‖Ll=0e（l）u（5）

hv=‖Ll=0e（l）v（6）

其中：‖表示向量拼接操作；Euclid Math OneNApu表示節點u的鄰居；W（l）uv∈Euclid Math TwoRApd×2d和W（l）vu∈Euclid Math TwoRApd×2d是第l層圖卷積網絡的可訓練參數。本文用不同的權重矩陣建模以不同節點為中心的聚合函數，希望網絡能學到用戶與物品之間非對稱的關系。本文疊加多層圖卷積，每層圖卷積的輸入是上一層的輸出。最后，將每一層的輸出拼接獲得用戶節點表示hu與物品節點表示hv。

2.4解耦模塊

為了獲得解耦的用戶興趣表示，本文進一步把hu分別輸入隱變量解耦模塊，獲得用戶語義向量hsemu、用戶領域向量hdomu和噪聲向量hnoiu。hsemu表示用戶跨領域的興趣，可用于計算與物品的得分；而hdomu僅包含與領域有關的信息，用于輸入領域判別器預測樣本的領域；hnoiu包含與領域和語義都無關的噪聲。本文用MLP網絡作為語義編碼器與領域編碼器，其公式如下：

hsemu=MLP（hu；θsem）（7）

hdomu=MLP（hu；θdom）（8）

hnoiu=MLP（hu；θnoi）（9）

其中：θsem、θdom和θnoi為MLP網絡的可訓練參數。

2.5領域判別器、源領域得分預測器和目標領域得分預測器

由于推薦任務的語義信息是用戶對物品的評分，本文把hsemu輸入評分預測器，以評分作為監督新號，從hu中提取有關語義的信息。考慮到本文沒有用到除物品ID外的其他特征，本文采用與物品表示的內積作為預測的評分，并采用BPR[29]損失函數進行訓練，公式如下：

uv=〈hsemu，hv〉（10）

Ly=∑u∈Euclid Math OneUAp∑v∈Euclid Math OneNApu∑v′Euclid Math OneNApu-ln σ（uv-uv′）（11）

其中：σ（·）是sigmoid函數；v′是從物品集合中均勻采用的未與用戶交互過的物品，即負樣本。BPR（Bayesian personalized ranking）[34]損失函數并不直接優化預測的得分，而是最大化正樣本與負樣本得分的差值，使模型學到“相比于v′，u更喜歡v”這個偏好。

對應地，本文把用戶領域向量hdomu輸入領域判別器，以領域標簽du作為輸入監督信號，若物品來自源領域，du=0，否則du=1。領域判別器采用一個MLP網絡實現，并采用交叉熵作為損失函數，公式如下：

u=MLP（hdomu；θcls）（12）

Ld=∑u∈Euclid Math OneUApdu log（u）+（1-du）log（1-u）（13）

其中：θcls是領域判別器的可訓練參數。

2.6重構模塊

為了重構輸入的圖結構，從而最大程度地保留圖的結構信息，本文采用了圖自編碼器[28]的做法，用兩個節點表示的內積作為邊存在的概率，以此恢復輸入圖的鄰接矩陣。本文利用一個MLP重新聚合了解耦后的hsemu、hdomu和hnoiu，以此作為用于重構的用戶表示hru。考慮到完整的鄰接矩陣過于龐大，本文僅恢復用戶節點所在網絡的局部結構，并采用word2vec的負采樣技術。重構模塊的公式如下：

hru=MLP（hsemu‖hdomu‖hnoiu；θr）（14）

Lr=∑u∈Euclid Math OneUAp∑v∈Euclid Math OneNApu log（σ（〈hru，hv〉））+∑v′∈Euclid Math OneVAp-Euclid Math OneNApulog（1-σ（〈hru，hv′〉））（15）

其中：θr是可訓練參數，源領域與目標領域的重構模塊共享參數。

2.7模型訓練與測試

在訓練階段，本文分別計算源領域與目標領域的得分損失Lsy和Lty 、領域分類器的損失Ld、源領域與目標領域的重構損失Lsr和Ltr，以及對所有模型參數Θ的L2正則化項‖Θ‖22。模型的總損失函數如下：

L=Lsy+Lty+αLd+β（Lsr+Ltr）+λ‖Θ‖22（16）

其中：α是控制領域損失權重的超參數，默認值為1.0；β是控制重構損失的超參數，默認值為1E-3；λ是控制L2正則化權重的超參數，默認值為1E-5。本文采用Adam優化器優化總損失函數并更新模型參數。

在測試階段，由于本文只關注目標領域的用戶—物品得分，本文僅計算圖卷積層的式（3）～（6）與語義編碼器的式（7）的輸出，然后通過式（10）獲得目標領域的預測得分，其他與目標領域任務無關的模塊不需要計算。

3實驗設計與分析

3.1數據集介紹

Amazon 2018評論數據集（https：//nijianmo.github.io/amazon/ index.html）由Amazon電商平臺上1996年6月～2018年10月的共2.3億條商品評論構成，每條評論包含用戶ID、商品ID、時間戳、評論文本、用戶評分以及商品的元數據（類別、品牌、描述、圖像特征等）。Amazon評論數據集為跨領域推薦提供了一個測試平臺，具體任務是為用戶推薦他可能會交互的商品。為了把顯示反饋的評分轉換為隱式反饋的形式，本文僅保留評分大于等于3的評論作為樣本。然后，本文根據商品類別劃分評論數據集，每個類別商品的評論作為一個領域，選擇其中數據較為豐富的CDs、digital music、movies和books分別作為源領域和目標領域，各個數據集的統計信息如表2所示，其中“ → ”兩邊的數據集分別代表源領域和目標領域。

由表2可知，第一組數據集的源領域CDs與目標領域digital music較為相近，物品語義與交互網絡的稀疏程度都相似；而第二組中，目標領域books的稀疏程度與物品數量都遠超源領域movies，因此比第一組數據集更有挑戰性。關于數據集的劃分，本文采用留一法（leave-one-out）[3]，首先把每個用戶交互過的商品按時間戳升序排序，選擇最后一個商品作為訓練集，倒數第二個商品作為驗證集，剩余的商品作為訓練集。為了保證數據質量，本文僅保留交互次數大于3的用戶和商品，且保證每個用戶在源域和目標域都有交互記錄。最后，關于用戶與商品的特征選擇，本文關注的是結構信息在跨領域推薦的作用，為了公平比較各種方法，輸入特征僅包含用戶ID與物品ID。

3.2實驗設置

對于商品推薦任務，學術界普遍采用的留一法（leave-one-out）進行評估，即保留每個用戶最新的交互用于測試，第二新的交互作為驗證集，用于調整超參數，剩余的交互作為訓練集。在測試時，對于每個用戶，模型為所有的候選物品打分并按照得分降序排序，然后返回得分最高的前N個物品作為該用戶的推薦結果，這種任務被稱為top-N推薦。由于同時考慮所有候選物品的計算量過大，本文參考文獻[3]的策略，隨機采樣500個沒有與用戶交互過的物品作為負樣本，然后評估模型把正樣本（測試物品）排在負樣本前的能力。典型的top-N評估指標有HR（hit rate）和NDCG（normalized discounted cumulative gain）。HR衡量測試物品是否存在于模型輸出的top-N列表中，其定義如下：

HR@N=1|Euclid Math OneUAp|∑u∈Euclid Math OneUApδ（ru≤N）（17）

其中：ru是用戶u的測試物品在返回top-N列表中的排序；δ（·）代表指示函數（indicator function）。NDCG在HR的基礎上考慮了測試物品的具體排名，其定義如下：

NDCG@N=1|Euclid Math OneUAp|∑u∈Euclid Math OneUAplog2log（ru+1）（18）

測試物品在top-N列表中的排名越靠前，則權重越大。對于HR和NDCG，指標越高代表模型表現越好，本文給出N=[5，10]的實驗結果。

本文基于PyTorch（https：//pytorch.org/）和Deep Graph Library（https：//github.com/dmlc/dgl）框架實現了所有的基線模型，并提供可復現的Python代碼（https：//github.com/ryne-wu224/CrossDomainGNNRec）。所有實驗的運行環境為Windows 10系統，RTX 3080Ti GPU，AMD Ryzen7 5800X CPU和64 GB內存。

3.3基線方法

本文與多種基線方法進行對比，其中包括基于協同過濾的方法、基于圖的推薦方法以及跨領域推薦方法。本文設計了兩組對比實驗，表3和4中的單領域表示僅利用目標域的數據訓練模型，跨領域表示利用源域和目標域的數據協同訓練，其中用戶嵌入向量是共享的。

1）基于協同過濾的方法BPRMF[34]是隱因子協同過濾的經典方法，利用用戶向量與物品向量的內積作為推薦任務的得分，并優化BPR損失函數以最大化正樣本得分與負樣本得分的差值。

MLP利用多層感知機（multilayer perceptron）預測用戶與物品之間的得分，各個隱層的維度為[40，20，10，1]，激活函數使用ReLU。

NeuMF[3]結合矩陣分解與多層感知機，引入用戶向量與物品向量的逐元素相乘作為MLP的特征，緩解MLP難以擬合內積函數的問題。

2）基于圖的推薦方法NGCF[28]將GCN應用于協同過濾模型，在聚合領域信息的過程中，額外考慮了用戶與物品之間的相似性。同時，疊加多層圖卷積可以提取用戶—物品二部圖中的高階領域信息。在對比實驗中，本文發現兩層圖卷積的效果最好。

LightGCN[29]是NGCF的改進版本，去除每層圖卷積的特征變換和非線性層，僅聚合領域特征。與NGCF一樣，在對比實驗中本文堆疊兩個圖卷積層。

3）跨領域推薦方法CMF[16] 將兩個領域的數據聯合起來進行矩陣分解，通過共享的中間變量（用戶嵌入矩陣）實現知識遷移的效果。在對比實驗中，本文令源領域與目標領域的損失函數權重相等。

DANN[35]是計算機視覺上經典的領域自適應方法，它利用梯度翻轉層（gradient reverse layer，GRL）和域分類器學習領域無關的語義特征，本文把它適配于推薦任務，語義特征代表用戶的興趣。采用的骨干網絡是兩層LightGCN，由于跨領域的是用戶，用戶表示向量包含領域相關信息，本文在用戶表示上添加梯度翻轉層與域分類器，同時，再加一個全連接層編碼用戶的興趣向量，并利用這個興趣向量進行推薦。

CD-GNN[33]是近期提出的一種用戶跨領域推薦與圖神經網絡結合的方法，它首先用圖神經網絡從社交網絡上提取用戶表示，然后利用一個領域不變層（domain invariant layer）混淆來自不同領域的用戶表示，并附加一個域分類器訓練域不變層。最后，拼接用戶表示與物品表示，用一層全連接網絡預測得分。

對于所有基于圖的算法，本文構建的輸入圖包含所有用戶與商品節點，但邊集僅包含訓練集的邊。因此，輸入圖是異質的，它包含用戶、源域物品、目標域物品這三種節點，以及用戶—源域物品、源域物品—用戶、用戶—目標域物品、目標域物品—用戶這四種邊。

為了進行公平的對比實驗，對于所有的基線方法，本文訓練最多遍歷1 000次數據集，并采用早停止（early stopping）策略，即在目標領域的驗證集誤差未下降的5次迭代后結束訓練，且所有方法均使用Adam優化器進行訓練，學習率為1E-3，L2正則化系數為1E-4，批次大小為1 024，dropout概率為0.2。

3.4超參數敏感性分析

本節探究本文模型中幾個重要超參數的，包括嵌入層維度大小、BPR損失函數的負樣本比例以及L2正則化系數λ。

首先，本文固定了模型的其他超參數，然后采用[10，20，30，40]的嵌入層維度大小進行實驗，結果如圖4所示。在兩個任務中，提升嵌入維度至40依然可以獲得穩定但微弱的提升，與默認維度20的差別過小，可以認為模型容量基本上足夠了，而提升維度導致計算代價幾乎翻倍。因此，本文模型對嵌入層維度大小并不敏感，在實驗中采用的嵌入維度是20。

其次，本文還嘗試不同的BPR損失函數的負樣本比例，取值為[1，5，10，20，50，100]，實驗結果如圖5所示。在CDs→digital music任務上，負樣本比例從1提升到50，模型效果有著顯著且穩定的提升。比例提升到100時，效果略微下降，這可能是大量的負樣本中包含了訓練集中未觀測到的測試樣本導致的。在movies→books任務上，各指標的曲線較為平緩，可能是由目標領域高度稀疏造成的。因此，適當增大負樣本比例是有助于模型訓練的。在實驗中，考慮到性能與計算代價的權衡，本文采用的負樣本比例是10。

最后，本文還嘗試了不同的L2正則化系數，取值為[0，1E-6，1E-5，1E-4，1E-3，1E-2，1E-1]，實驗結果如圖6所示。在CDs→digital music任務上，λ=1E-3取得了最好的效果，而在movies→books任務上，λ=1E-2取得了最好的效果。即使在λ設置為0時，本文的模型對λ也相對不敏感。當λ大于1E-2時，性能下降很快，說明正則化過強會對模型的正常訓練產生負面影響。本文采用的λ是1E-3。

3.5實驗結果

本文給出實驗CDs→digital music與movies→books的結果，如表3和4所示。對于每組實驗，本文分別使用五個不同的隨機種子并計算平均的實驗結果，最好的結果加粗顯示。

與單領域推薦方法相比，本文方法有著巨大的優勢，在所有任務上都獲得了最佳的效果。同時，利用了圖信息的NGCF與LightGCN顯著優于沒有利用圖信息的MF、MLP和NeuMF，說明圖卷積層提取的用戶—物品交互圖的結構信息有助于推薦任務。

在跨領域推薦的實驗上，本文方法同樣優于所有基線方法。首先，跨領域的方法在大多數結果上優于單領域的方法，與單領域版本相比在HR@5上普遍取得1～2個百分點的提升，說明了跨領域知識遷移的有效性。其次，在跨領域情況下，圖卷積方法依舊優于協同過濾方法。此外，DANN的效果在兩個實驗中都與CMF不相上下，效果遠不如其骨干網絡LightGCN，說明了傳統的基于計算機視覺的領域自適應技術并不適用于推薦領域。CD-GNN效果不如CMF的原因可能是，原文利用了社交網絡的信息，但大多數場景不能獲得用戶—用戶關系，且預測評分的單層全連接并不能建模用戶與物品的交互。最后，本文方法好于其他跨領域推薦方法，與最好的基線方法相比，在HR@5上平均提升14.11%，在NDCG@5上平均提升15.32%，說明了解耦模塊能有效地從結構信息中提取用戶興趣。

綜上，本文的模型顯著優于單領域的推薦方法，并相對于現有的跨領域推薦方法有較大提升。

3.6消融實驗

正如前一節所討論的，本文模型比其他基線方法有了顯著的提升。這些改進實際上來自于將兩個新組件整合到推薦模型的設計中：a）解耦模塊，它統一了兩個領域中用戶表示的學習過程，語義編碼器提取用戶的興趣，領域編碼器提取領域相關的噪聲；b）重構模塊，結合用戶與物品表示重構輸入的圖，保證了結構信息不會流失。在本節中，本文進行消融實驗以證明每個組件的重要性，將提出模型與以下變體進行比較：

a）-Gen。在原模型的基礎上，刪除圖重構模塊。

b）-Dom。在原模型的基礎上，刪除領域編碼器與領域分類器。

c）-Disen。在原模型的基礎上，刪除整個解耦模塊。

如表5所示，如果將任何一個模塊從推薦模型中移除，都導致HR與NDCG指標的顯著降低。因此，消融實驗表明，本文模型的優勢實際上來自于這些新模塊，這些新模塊在雙領域協同學習的模型中發揮了重要作用，都有助于提高的跨域推薦性能。

3.7樣例可視化

為了可視化模型的學習結果，本文隨機選擇100個活躍用戶（交互行為大于10），并查詢用戶評價過的源領域物品和目標領域物品，再把訓練后的用戶向量與物品向量拼接，最后用TSNE算法投影到兩維平面。NGCF、LightGCN與本文方法在CDs→digital music數據集上的可視化結果如圖7～9所示。

在圖7～9中，紅點代表投影后的源領域物品向量，藍點代表投影后的目標領域物品向量（見電子版）。可以觀察到，NGCF的物品向量投影較為分散，沒有形成簇狀結構，這表示模型未能捕獲物品對應的用戶興趣；LightGCN的物品向量投影形成了較多的簇，但源領域與目標領域的簇獨立存在，即兩個域的物品向量未能對齊，有礙于表達跨領域不變的用戶興趣；本文方法的物品向量投影在呈現簇結構的同時，源領域與目標領域的物品向量充分融合，這表明本文方法能有效解耦出不隨著領域改變的用戶興趣。

4結束語

本文從圖的生成過程角度對跨領域推薦方法進行了研究，利用圖自編碼器將從用戶—物品二部圖提取的用戶表示解耦為多個獨立的隱變量，并準確提取了目標用戶的跨領域興趣偏好，提出一種基于圖生成過程的跨領域推薦方法。本文在四個真實數據集上進行了大量實驗，結果表明本文方法相對于現有的跨領域推薦方法有較大提升。未來將在圖卷積模塊嘗試更先進的框架，以及考慮多源領域的遷移。

參考文獻：

［1］Hu Yifan，Koren Y，Volinsky C.Collaborative filtering for implicit feedback datasets[C]//Proc of the 8th IEEE International Confe-rence on Data Mining.Piscataway，NJ：IEEE Press，2008：263-272.

[2]Mnih A，Salakhutdinov R R.Probabilistic matrix factorization[C]//Advances in Neural Information Processing Systems.2008：1257-1264.

[3]He Xiangnan，Liao Lizi，Zhang Hanwang，et al.Neural collaborative filtering[C]//Proc of the 26th International Conference on World Wide Web.2017：173-182.

[4]Tang Jie，Wu Sen，Sun Jimeng，et al.Cross-domain collaboration re-commendation[C]//Proc of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2012：1285-1293.

[5]Singh A P，Gordon G J.Relational learning via collective matrix facto-rization[C]//Proc of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.2008：650-658.

[6]Kipf T N，Welling M.Semi-supervised classification with graph convolutional networks[EB/OL].（2016）.https：//arxiv.org/abs/1609.02907.

[7]Hamilton W L，Ying R，Leskovec J.Inductive representation learning on large graphs[C]//Proc of the 31st International Conference on Neural Information Processing Systems.2017：1025-1035.

[8]Pazzani M J，Billsus D.Content-based recommendation systems[M]//Brusilovsky P，Kobsa A，Nejdl W.The Adaptive Web.Berlin：Springer，2007：325-341.

[9]張屹晗，王巍，劉華真，等.基于知識圖嵌入的協同過濾推薦算法[J].計算機應用研究，2021，38（12）：3590-3596.（Zhang Yihan，Wang Wei，Li Huazhen，et al.Collaborative filtering recommendation algorithm based on knowledge graph embedding[J].Application Research of Computers，2021，38（12）：3590-3596.）

[10]張潤蓮，張瑞，武小年，等.基于混合相似度和差分隱私的協同過濾推薦算法[J].計算機應用研究，2021，38（8）：2334-2339.（Zhang Runlian，Zhang Rui，Wu Xiaonian，et al.Collaborative filtering recommendation algorithm based on mixed similarity and diffe-rential privacy[J].Application Research of Computers，2021，38（8）：2334-2339.）

[11]王森，陳莉，張潔.基于項目模糊相似度的協同過濾推薦算法[J].計算機應用研究，2021，38（3）：696-701.（Wang Sen，Chen Li，Zhang Jie.Collaborative filtering recommendation algorithm based on item fuzzy similarity[J].Application Research of Computers，2021，38（3）：696-701.）

[12]蘇靜，許天琪，張賢坤，等.基于圖卷積與外積的協同過濾推薦模型[J].計算機應用研究，2021，38（10）：3044-3048.（Su Jing，Xu Tianqi，Zhang Xiankun，et al.Collaborative filtering recommendation model based on graph convolution and cross product[J].Application Research of Computers，2021，38（10）：3044-3048.）

[13]Rendle S.Factorization machines[C]//Proc of IEEE International Conference on Data Mining.Piscataway，NJ：IEEE Press，2010：995-1000.

[14]陳燕，馬進元，李桃迎.基于共享評級遷移的跨域推薦算法[J].計算機應用研究，2021，38（9）：2662-2666，2672.（Chen Yan，Ma Jinyuan，Li Taoying.Cross domain recommendation algorithm based on shared ratings transfer[J].Application Research of Compu-ters，2021，38（9）：2662-2666，2672.）

[15]柴玉梅，員武蓮，王黎明，等.基于雙注意力機制和遷移學習的跨領域推薦模型[J].計算機學報，2020，43（10）：1924-1942.（Chai Yumei，Yuan Wulian，Wang Liming，et al.A cross-domain recommendation model based on dual attention mechanism and transfer learning[J].Chinese Journal of Computers，2020，43（10）：1924-1942.）

[16]Singh A P，Gordon G J.Relational learning via collective matrix facto-rization[C]//Proc of the 14th ACM SIGKDD International Confe-rence on Knowledge Discovery and Data Mining.New York：ACM Press，2008：650-658.

[17]Yuan Feng，Yao Lina，Benatallah B.DARec：deep domain adaptation for cross-domain recommendation via transferring rating patterns[EB/OL].（2019）.https：//arxiv.org/abs/ 1905.10760.

[18]Zhu Yongchun，Ge Kaikai，Zhuang Fuzhen，et al.Transfer-meta framework for cross-domain recommendation to cold-start users[C]//Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2021：1813-1817.

[19]Defferrard M，Bresson X，Vandergheynst P.Convolutional neural networks on graphs with fast localized spectral filtering[C]//Advances in Neural Information Processing Systems.2016：3844-3852.

[20]Velicˇkovic＇ P，Cucurull G，Casanova A，et al.Graph attention networks[EB/OL].（2017）.https：//arxiv.org/abs/ 1710.10903.

[21]Kipf T N，Welling M.Variational graph auto-encoders[EB/OL].（2016）.https：//arxiv.org/abs/ 1611.07308.

[22]馮興杰，生曉宇.基于圖神經網絡與深度學習的商品推薦算法[J].計算機應用研究，2021，38（12）：3617-3622.（Feng Xingjie，Sheng Xiaoyu.Item recommendation algorithm based on GNN and deep learning[J].Application Research of Computers，2021，38（12）：3617-3622.）

[23]葛堯，陳松燦.面向推薦系統的圖卷積網絡[J].軟件學報，2020，31（4）：1101-1112.（Ge Yao，Chen Songcan.Graph convolutional network for recommender systems[J].Journal of Software，2020，31（4）：1101-1112.）

[24]李宇琦，陳維政，閆宏飛，等.基于網絡表示學習的個性化商品推薦[J].計算機學報，2019，42（8）：1767-1778.（Li Yuqi，Chen Weizheng，Yan Hongfei，et al.Learning graph-based embedding for personalized product recommendation[J].Chinese Journal of Computers，2019，42（8）：1767-1778.）

[25]陳勁松，孟祥武，紀威宇，等.基于多維上下文感知圖嵌入模型的興趣點推薦[J].軟件學報，2020，31（12）：3700-3715.（Chen Jingsong，Meng Xiangwu，Ji Weiyu，et al.POI recommendation based on multidimensional context-aware graph embedding model[J].Journal of Software，2020，31（12）：3700-3715.）

[26]榮沛，蘇凡軍.基于知識圖注意網絡的個性化推薦算法[J].計算機應用研究，2021，38（2）：398-402.（Rong Pei，Su Fanjun.Personalized recommendation algorithm based on knowledge graph attention network[J].Application Research of Computers，2021，38（2）：398-402.）

[27]Berg R，Kipf T N，Welling M.Graph convolutional matrix completion[EB/OL].（2017）.https：//arxiv.org/abs/ 1706.02263.

[28]Wang Xiang，He Xiangnan，Wang Meng，et al.Neural graph collaborative filtering[C]//Proc of the 42nd International ACM SIGIR Confe-rence on Research and Development in Information Retrieval.New York：ACM Press，2019：165-174.

[29]He Xiangnan，Deng Kuan，Wang Xiang，et al.LightGCN：simplifying and powering graph convolution network for recommendation[C]//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2020：639-648.

[30]Wu Jiancan，Wang Xiang，Feng Fuli，et al.Self-supervised graph learning for recommendation[C]//Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2021：726-735.

[31]Chen Huiyuan，Wang Lan，Lin Yusan，et al.Structured graph convolutional networks with stochastic masks for recommender systems[C]//Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval.2021：614-623.

[32]Zhao Cheng，Li Chenliang，Fu Cong.Cross-domain recommendation via preference propagation GraphNet[C]//Proc of the 28th ACM International Conference on Information and Knowledge Management.New York：ACM Press，2019：2165-2168.

[33]Liu Ziqi，Shen Yue，Cheng Xiaocheng，et al.Learning representations of inactive users：a cross domain approach with graph neural networks[C]//Proc of the 30th ACM International Conference on Information amp; Knowledge Management.2021：3278-3282.

[34]Rendle S，Freudenthaler C，Gantner Z，et al.BPR：Bayesian persona-lized ranking from implicit feedback[C]//Proc of the 25th Confe-rence on Uncertainty in Artificial Intelligence.2009：452-461.

[35]Ganin Y，Ustinova E，Ajakan H，et al.Domain-adversarial training of neural networks[J].The Journal of Machine Learning Research，2016，17（1）：2096-2030.

收稿日期：2022-01-06；修回日期：2022-03-04基金項目：國家自然科學基金資助項目（61876043）；國家優秀青年科學基金資助項目（6212200101）；廣州市科技計劃資助項目（201902010058）

作者簡介：蔡瑞初（1983-），男（通信作者），浙江溫州人，教授，博導，主要研究方向為因果關系、機器學習（cairuichu@gmail.com）；吳逢竹（1997-），男，廣東佛山人，碩士研究生，主要研究方向為圖表示學習、遷移學習；李梓健（1994-），男，廣東廣州人，博士研究生，主要研究方向為因果性學習、遷移學習．