基于圖卷積的雙通道協同過濾推薦算法

摘要：在推薦系統中，利用圖卷積網絡等方法提取圖的高階信息緩解了冷啟動問題。為了在此基礎上融合神經網絡協同過濾的深層特征提取能力，提出一種基于圖卷積的雙通道協同過濾推薦算法（GCNCF-2C）。首先，將推薦問題分為上游任務和下游任務；其次，在上游任務中，預訓練編碼器利用包含殘差的一維卷積層和多個圖卷積層在兩個獨立通道中對節點特征和圖高階特征進行分離提取，形成節點的特征表示；最后，解碼器通過節點特征進行評級預測，進行端到端的訓練。在數據集MovieLens-100k和MovieLens-1M上的實驗表明，該算法相比于基線模型在兩個數據集上的RMSE指標平均提高1.72%和1.76%，MAE指標平均提高2.7%和1.98%，同時在基于用戶和項目的冷啟動實驗中RMSE指標平均提高5.9%，具有更好的綜合性能。

關鍵詞：知識圖譜；推薦系統；協同過濾；冷啟動

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2023）01-021-0129-07

doi：10.19734/j.issn.1001-3695.2022.06.0282

Two-channel collaborative filtering recommendation algorithm based on graph convolution

Fu Junyu，Zhu Xiaodong，Chen Chen

（Business School，University of Shanghai for Science amp; Technology，Shanghai 200093，China）

Abstract：In recommender systems，extracting higher order information about the graph using methods such as graph convolutional network alleviates the cold start problem.In order to fuse the deep feature extraction capability of neural network collaborative filtering on this basis，this paper proposed a two-channel collaborative filtering recommendation algorithm（GCNCF-2C） based on graph convolution.Firstly，

it divided the recommendation problem into an upstream task and a downstream task.Se-condly，to form a feature representation of nodes，in the upstream task，a pre-trained encoder extracted node features and higher-order features of the graph using a one-dimensional convolutional layer containing residuals and multiple graph convolutional layers in two independent channels.Finally，the decoder performed end-to-end training by node features for rating prediction.Experiments on the datasets MovieLens-100k and MovieLens-1M show that compared to the baseline models，the algorithm improves RMSE metrics by 1.72% and 1.76% on average and MAE metrics by 2.7% and 1.98%" on average on the two datasets.Meanwhile，it improves" RMSE metrics by 5.9% on average in the cold-start experiments based on users and projects，which shows overall performance.

Key words：knowledge graphs；recommendation system；collaborative filtering；cold start

0引言

在大數據時代，海量數據中蘊涵著豐富的價值與巨大的潛力，這些數據在給人類社會帶來變革性發展的同時，也帶來了嚴重的信息過載問題。推薦系統作為解決這一問題的重要手段，已經成為學術界關注的熱點［1］。

推薦系統的關鍵問題是實現有效的矩陣補全。傳統的協同過濾推薦算法通過常見的用戶偏好和歷史交互進行推薦。矩陣分解（MF）是最流行的一種協同過濾算法，它使用潛在特征向量來表示用戶或項目，將用戶和項目投影到共享的潛在空間中，用戶對項目的交互也被表示為其潛在向量的內積［2］。

首先，深度學習技術在計算機視覺、自然語言處理等領域的廣泛應用，也為協同過濾推薦算法的研究提供了機遇［3］。得益于神經網絡強大的非線性映射能力和對多源異構數據的特征表示能力，隱式反饋的協同過濾中用戶和項目的潛在特征得到有效利用［4］。例如DeepCoNN等［5］，另外Devooght等人［6］提出一種基于RNN的協同過濾序列預測模型，將推薦任務分為長時預測和短時預測。但基于神經網絡模型的協同過濾并沒有解決冷啟動問題，當新用戶或新項目加入到系統時，由于基于神經網絡模型的協同過濾無法挖掘對象之間的高階信息，推薦效果往往有所下降［7］。

另外，基于圖的方法也被應用到推薦系統當中。圖是一種描述實體或概念并使用不同類型的語義關系將它們連接起來的結構［8］。圖數據中存在的圖結構關系為基于知識圖的推薦提供了額外的有價值的信息，以便在節點之間應用推理來發現新的連接，可以被系統用來提高其準確性和增加推薦項目的多樣性［9］，而基于神經網絡的協同過濾推薦往往忽略了這種連接。GNN更大的優勢是對知識庫外實體的預測，通過觀察到的實體聚合知識庫外實體的嵌入［10］，可以有效地緩解冷啟動問題。例如，NGCF模型［11］將GCN引入推薦算法，挖掘用戶和項目之間的高階連接。Li等人［12］考慮不同節點之間的隱式關系，提出自適應圖卷積模型AGCN。但由于過平滑問題的存在，訓練含有深層GCN的模型會變得困難。因為圖的卷積實質上是推動表示相鄰節點相互混合，如果使用無限的層數，所有節點的表示將收斂到一個靜止點，并導致梯度消失［13］。

以上傳統推薦算法中，基于神經網絡的協同過濾具有強大的特征表示能力，但忽略了節點之間的高階信息，沒有解決冷啟動問題?；贕CN的模型能夠有效提取這種潛在特征，但受到平滑問題的限制，無法加大對特征的提取深度。受多通道思想在文本處理等領域的啟發，一些推薦算法也引入了并行結構來完成多重特征提取等任務。Wang等人［14］提出了一種融合多通道CNN新聞語義級和知識級表征的新聞推薦框架，并使用注意力模塊動態計算用戶聚合的歷史表征。Hu等人［15］提出的GNewsRec算法，在利用圖卷積網絡學習用戶和新聞嵌入的同時，通過基于注意力的LSTM模型分析用戶的長期和短期興趣，不僅緩解了數據稀疏問題，也提高了推薦性能。Tai等人［16］利用GCN從實體視圖中細化項目嵌入，提出了多視圖條目網絡MVIN，通過從用戶和實體的獨特混合視圖來描述條目，從而提供更好的推薦。魏紫鈺［17］使用獨立的嵌入層以及TextCNN對用戶、項目原始數據的隱藏特征進行提取，按照時間戳順序對隱藏特征進行拼接，來預測下一時間節點的推薦項目。

綜上所述，多通道或多視圖的方法在以上模型中有很好的效果，但其針對的主要是數據在不同角度的特征，并不能解決推薦系統中的冷啟動問題以及對圖高階信息的挖掘。因此，本文借助多通道結構對多重特征的提取能力提出一種雙通道協同過濾推薦算法GCNCF-2C，其主要貢獻包括：

a）將推薦問題分為上游任務和下游任務，通過預訓練編碼器進行節點特征提取，增強模型的鏈接預測能力。

b）在編碼器中利用傳統深度學習和圖卷積神經網絡，將節點自身特征和節點圖結構特征通過兩個通道進行分離提取，充分挖掘節點的高階信息。

c）通過隨機丟棄的訓練增強模型的歸納預測能力，在大小為100 k和1 M的MovieLens數據集上的對比實驗結果表明，GCNCF-2C具有更高的預測精度和更強的緩解冷啟動能力。

1相關工作

1.1圖卷積網絡關系特征提取

圖卷積網絡利用消息傳遞或某些等效的鄰域聚合函數從節點及其鄰域提取高階特征，假設G=（V，E）表示節點vi∈V，邊（vi，vj）∈E，大小為N的輸入圖。節點特征表示為F={f1，…，fn}∈Euclid Math TwoRApN×C，鄰接矩陣定義為A∈Euclid Math TwoRApN×N，將每個邊（vi，vj）與其元素Aij關聯起來。節點度由d={d1，…，dN}表示，其中di指連接到節點i的邊權值之和。定義D為度矩陣，其對角線元素為d?？傻肎CN的前饋聚合函數為［18］

H（l+1）=σ（H（l）W（l））（1）

其中：H（l+1）={h（l+1）1，…，h（l+1）n}為第L+1層的隱含向量；h（l）i為節點i在L層的隱含特征；A^=D^-12（A+I）D^-12為鄰接矩陣的重新歸一化；D^為A+I對應的度矩陣；σ（·）為非線性激活函數；W（l）∈Euclid Math TwoRApCt×Ct-1為第L層的濾波矩陣。式（1）的一次運算表示為一個圖卷積層（GCL）。上述圖卷積網絡模型可以用于處理同構網絡數據。利用圖卷積網絡處理推薦問題，可將推薦問題看做一個二部圖的鏈接預測［19］，并且需要處理圖中的用戶—項目屬性及用戶—項目關系特征，涉及多節點類型、多邊類型。一些對節點和邊進行一定規劃的方法，例如，GraphSAGE［20］沒有使用完整的鄰居集，而是對固定大小的鄰居集進行統一采樣以聚合信息，提高了模型的歸納分類能力；R-GCN［21］作為一種節點聚合規則，專門用來處理現實知識庫中高度多關系的數據，這種對不同關系的特殊處理更加適用于推薦系統中多樣的用戶—項目評級。所以本文使用R-GCN作為圖的聚合規則，節點在l+1層聚合后的隱藏狀態為

h（l+1）i=σ（∑r∈R∑j∈Nri1ci，rW（l）rh（l）j+W（l）0h（l）i）（2）

其中：r∈R表示異構圖中的|R|種關系類型；Nri表示節點i在關系r∈R下的鄰居索引集合，ci，r=|Nri|是歸一化常數。在R-GCN中不同類型的關系r使用不同的權重W（l）r。針對多關系網絡中權重參數急劇增加的問題，Schlichtkrull等人［21］在R-GCN的構造過程中提出兩種正則化R-GCN權重的方法，即基數分解和塊對角分解。本文在實驗中采用基數分解的方法，其權重矩陣為

W（l）r=∑Bb=1a（l）rbV（l）b（3）

其中：V（l）b為基變換；a（l）rb為系數；權重W（l）r即為V（l）b和a（l）rb的線性組合。在利用R-GCN對推薦問題進行建模時，將user和item看做兩種不同的節點，如果useri和itemj之間有評分記錄則在useri和itemj之間添加邊edgeij來表示關系，另外需要對user和item的信息進行雙向聚合，所以添加的邊edgeij為雙向連接。edgeij上的權值表示useri和itemj之間的評級ratingij，需要利用useri和itemj聚合到的信息擬合ratingij，進而預測沒有評級的user和item，實現矩陣補全。

1.2殘差網絡節點特征提取

在利用深層網絡處理圖像、文本等數據時，隨著網絡層次的增加，一方面可能會出現梯度消失或梯度爆炸的問題導致模型難以收斂；另一方面過深的網絡可能會出現網絡退化問題，導致模型性能降低［22］。在推薦算法中通過神經網絡對用戶、項目特征進行提取，增加網絡層次時同樣可能會出現以上問題。因此為了利用深層網絡進行有效的用戶、項目特征提取，本文在網絡節點特征提取中引入殘差網絡。He等人［22］提出的殘差網絡擬合殘差映射而不是恒等映射，因為殘差映射在實際中往往更容易優化。殘差網絡在很大程度上避免了隨著網絡層數的增加而產生的梯度消失或梯度爆炸問題，這讓在節點特征提取中應用更深的網絡成為可能［23］。殘差網絡由殘差單元構成，殘差單元計算過程為

Xk+1=σ（Xk+F（Xk，Wk））（4）

其中：Xk為第k個殘差單元的輸入；σ（·）為非線性激活函數；F（·）為殘差函數；Wk是F（·）對應的權重參數。

1.3基于隨機丟棄的訓練

提高模型對未見節點嵌入的表達能力和識別能力是緩解推薦系統中冷啟動問題的關鍵之一。提高模型該能力的一種方法是在模型訓練過程中隨機丟棄一定比例的節點輸入表示。隨機丟棄在圖神經網絡模型中已經有了廣泛應用，Zhang 等人［24］在一種堆疊重構圖卷積網絡模型中隨機屏蔽一定百分比的輸入節點，并通過重構來產生新的節點表示以解決冷啟動問題。Rong等人［13］在深度圖卷積網絡中引入DropEdge機制，在每個訓練階段隨機從輸入圖中刪除一定數量的邊，增強圖形數據，從而緩解了訓練過程中的過平滑［13］。

在推薦算法中應用關系圖卷積網絡時，模型會對網絡中的節點和關系特征進行聚合。因此在GCNCF-2C中引入隨機丟棄來緩解冷啟動的主要作用在于強化網絡中用戶與項目之間關系的有效編碼，使模型在推理未見節點時，增強對該節點在原始圖中圖結構特征的側重，減少對節點本身特征的依賴，以此增強對未見節點的預測能力，進而緩解冷啟動。

本文在訓練過程中采用按照一定比例將節點特征進行隨機屏蔽的方法來緩解冷啟動問題，經過屏蔽的節點特征矩陣Fdrop∈Euclid Math TwoRApN×C為

NMASK={R，D}（5）

Fdrop=F×NMASK（6）

其中：F={f1，…，fn}∈Euclid Math TwoRApN×C為輸入的節點特征矩陣；NMASK為屏蔽矩陣，用于將特征矩陣F中一定比例的特征向量清零；在NMASK中，R={r1，…，rN1}∈Euclid Math TwoRApN1×C中每個向量rn的值為1，表示特征向量中需要保留的節點；D={d1，…，dN2}∈Euclid Math TwoRApN2×C中每個向量dn的值為0，表示特征向量中需要屏蔽的節點；Pm=N2N1+N2=N2N為屏蔽比例，每次訓練時隨機生成屏蔽矩陣NMASK。如圖1所示，經過屏蔽處理后一定比例的節點特征被清零。

2GCNCF-2C推薦算法模型

2.1分離上游任務和下游任務

基于模型的協同過濾推薦算法利用神經網絡直接對user和item進行特征提取，然后針對特征進行訓練，獲得鏈接預測模型。與之不同的是，受預訓練模型的啟發，GCNCF-2C將推薦系統中的鏈接預測問題分離為上游任務和下游任務。例如，Shang等人［25］提出一種端到端結構感知卷積網絡SACN，通過利用加權圖卷積網絡作為編碼器學習圖節點嵌入，利用CNN作為解碼器實現連接預測，得到了有效的性能提升。

針對上游任務，構建預訓練模型。預訓練模型是一種節點編碼器encoder，節點編碼器的輸入通常是一個節點的原始數據片段以及該節點在圖中的位置結構，編碼器會利用神經網絡編碼輸入序列，將每個節點編碼成固定長度的向量表示。這個過程可以學習每個節點本身的特征，并且捕捉該節點在圖中的關系結構信息，對上游任務構建預訓練模型為下游任務提供了更好的模型初始化，通常可以帶來更好的泛化性能；其次，預訓練模型有利于緩解訓練過程中的過擬合［26］。

下游任務是通過上游任務產生的節點特征表示，推理出useri和itemj之間的評級ratingij。這個過程通過構建解碼器decoder，將固定長度的user和item特征以特定的方式轉換成評級。綜上所述，GCNCF-2C處理推薦問題時，首先利用編碼器處理上游任務，將user和item編碼成節點特征表示，再利用解碼器進行解碼產生對應的評級預測，完成下游任務。圖2給出了GCNCF-2C的上下游任務流程。

2.2基于R-GCNS和神經網絡的編碼器

本文提出的節點編碼器基于包含一維卷積殘差運算的神經網絡和關系圖卷積網絡R-GCN。將推薦問題轉換為一個二部圖的鏈接預測問題后，每個節點就包含了自身原始特征以及圖結構特征。為了更加完整地提取兩種特征，編碼器通過兩個不同的通道對兩種特征進行分離提取，最后將兩種特征進行拼接處理形成節點的特征編碼向量。

2.2.1節點特征編碼

對于節點user和item的自身原始特征，編碼器在第一個通道利用包含一維卷積殘差運算的神經網絡進行提取，其完整過程如圖3所示。首先需要將user和item的初始信息轉換成數值向量。假設useri的初始信息為ui={vi1，…，vim，wi1，…，win}，itemj的初始信息為ij={vj1，…，vjm，wj1，…，wjn}。其中v為離散數值信息，例如用戶ID、用戶性別、項目類別等信息；w為文本數據信息，例如用戶評論、項目名稱等。

對于離散數值信息，本文將vi和vj分別放入兩個嵌入層，得到特定維度的特征表示。對于較大數據集，如果使用one-hot向量來表示節點特征會帶來數據的稀疏性問題以及過大的參數規模，所以本文使用嵌入層對節點特征進行初步處理，減少參數數量，緩解數據稀疏性。離散數值信息經過嵌入處理后被放入一個全連接層進行進一步維度整理，在全連接層輸出端再依次經過sigmoid激活函數處理和批量歸一化（batch normalization）處理［17］。

對于文本數據信息，本文首先進行數據預處理，使用BERT模型將每個節點的文本數據信息轉換成768維的語句向量。BERT模型由多層堆疊的Transformer encoder構成，并且每層結構中又包括多頭注意力機制和前饋網絡子層［27］。預處理輸出的語句向量和上述離散數值信息一樣先經過一個全連接層整理維度，再經過sigmoid激活函數和批量歸一化處理。

將節點中的每一個離散數值信息v和文本數據信息w進行上述處理后，會對它們進行拼接得到一個完整的向量，即user和item的數值向量。數值向量會被放入一個包含一維卷積殘差運算的網絡進行進一步編碼。數值向量在該網絡中首先經過一個一維卷積層，接下來連接批量歸一化層和最大池化層（max-pooling），池化的目的是緩解卷積層對位置的過度敏感性，同時在一定程度上緩解過擬合。然后串聯兩個殘差塊，每個殘差塊中包含兩次殘差函數處理，同時對每個殘差塊添加一個批量歸一化層和dropout層。兩個串聯殘差塊的輸出會經過一個flatten層以平坦數據維度。最后連接一個全連接層得到完整的節點特征編碼向量。其完整計算過程為

output=dense（flatten（Res（Res（pooling（input）））））（7）

polling（x）=maxpooling（σ（BN（Conv1d（x））））（8）

Res（x）=drop（BN（residual（residual（x））））（9）

其中：input為經過拼接的節點數值向量；BN（·）為批量歸一化層；σ（·）為sigmoid激活函數；maxpooling（·）為最大池化層；dense（·）為全連接層；residual（x）為殘差函數。每個殘差函數包含兩個一維卷積層，所以輸入數值向量一共經過九個一維卷積層和一個全連接層。為了提高模型對未見節點嵌入的表達能力和識別能力，本文在訓練過程中對批量輸出output進行1.3節所述的隨機丟棄處理，得到節點特征編碼。

2.2.2結構特征編碼

在編碼器的第二個通道，GCNCF-2C通過兩層R-GCN提取節點在關系網絡中的結構特征。R-GCN聚合節點在不同等級的近鄰信息，生成節點i在第l+1層的隱藏狀態h（l+1）i。將推薦問題轉換成二部圖的鏈接預測任務后，圖中包含user和item兩種節點，兩種節點相互連接，同一種節點不存在直接連接。如圖4所示，對于節點useri，其初始隱藏狀態h（0）i為其自身節點特征，與其連接的節點集合為{item1，…，item5}，集合中五個節點包含三種關系類型，通過式（2）的聚合函數，{item1，…，item5}的信息將被聚合到節點useri，得到useri在第一層的隱藏狀態h（1）i。

編碼器串聯兩層R-GCN，第一層網絡輸出的節點隱藏狀態即為第二層網絡的節點輸入。節點useri的輸入信息通過兩層R-GCN處理，聚合其近鄰節點的信息，得到節點的隱藏狀態h（2）i，作為節點useri在網絡中的結構特征編碼。

2.3decoder解碼器

編碼器完成上游任務后生成節點useri和itemj的節點特征表示后，需要利用解碼器推理出用戶和項目之間的評級ratingij，完成下游任務。在圖形數據中知識庫存儲的形式為（主語，謂語，賓語）三聯體集合，在推薦問題中引入這種圖神經網絡思想時，推薦對象對應的存儲形式為（用戶，關系，項目）三聯體集合。而解碼器的任務是對三聯體進行補全，通過（用戶，項目）預測關系，推理用戶和項目之間的推薦評級。本文的解碼器采用類似于DistMult［28］的算子模型，分為兩層結構，分別如式（10）（11）所示，第一層將所有輸入投影到相同長度的低維向量，第二層計算輸出一個標量，作為實體之間的評級。

Y1=σ（Wr1fu），Y2=σ（Wr2fi）（10）

rating=（YT1Br1）×（YT2Br2）（11）

其中：fu、fi為用戶和項目經過編碼的特征向量；Wr1、Wr2為投影向量；σ（·）為非線性激活函數；Br1、Br2為線性算子向量，將兩個投影向量轉換成作為評級的標量。

完整的GCNCF-2C結構如圖5所示，節點useri和itemj進入編碼器后被兩個通道分別編碼，將得到的節點特征向量和結構特征向量進行拼接作為編碼器的輸出。最后通過解碼器補全三聯體中的關系評級。

3實驗與結構分析

3.1實驗數據集

本文的評級預測任務在電影評分數據集MovieLens上進行。MovieLens數據集來自明尼蘇達大學的研究項目GroupLens，被廣泛應用于信息過濾、協同過濾以及推薦系統等領域。MovieLens數據集包含不同數量的評級對，即10萬、100萬和1000萬，本文采用數量為10萬和100萬的MovieLens數據集ML-100k和ML-1M。ML-100k和ML-1M的精確統計如表1所示。其中U和I代表兩個數據集的用戶數量和項目數量；R代表數據中的評分類別；C代表評級對數量；D代表用戶平均評分密度，即為每個用戶評分的項目數/總項目數。用戶評分密度分布如圖6所示。

3.2對比模型

GCNCF-2C采用融合圖卷積神經網絡的雙通道結構對節點特征和節點結構特征進行分離提取，為了驗證這種結構在評級預測上的性能，本文選擇了幾種經典且性能優越的推薦算法模型進行對比：R-GCN+DistMult、ConvMF、GC-MC、M-DRAWT、C-DRAWT、HRS-DC。為了對比的全面性，本文選擇的幾種對比模型分別基于神經網絡、矩陣分解和圖卷積神經網絡等推薦算法中的常用理論。另外，為了驗證GCNCF-2C中并行雙通道結構的評級預測效果，本文還構造了一種將GCNCF-2C中節點特征提取部分和節點結構特性提取部分進行串聯的模型GCNCF-2C（in series）加入對比。

a）R-GCN+DistMult［21］：R-GCN關系圖卷積網絡是專門為處理現實知識庫的高度多關系數據特性而開發的一種節點特征聚合方式，R-GCN對獨立實體分類有一定的效果，并且可以通過融合DistMult解碼器作為評級預測的因子分解模型。GCNCF-2C的節點結構特征編碼過程也采用同樣的聚合規則。

b）ConvMF［29］：卷積矩陣分解 ConvMF是一種上下文感知推薦模型，該模型將卷積神經網絡（CNN）與概率矩陣分解（PMF）相結合。ConvMF可以捕獲文檔的上下文信息，并進一步提高評級預測的準確性。

c）GC-MC［30］：GC-MC是一種基于可微信息傳遞的圖自動編碼框架，將交互數據表示為一個用戶項目二部圖，從圖的鏈接預測角度考慮了推薦系統的矩陣補全。

d）M-DRAWT、C-DRAWT［17］：M-DRAWT和C-DRAWT是考慮時序特征的協同過濾推薦算法，對提取出的用戶和項目隱藏特征加入時間戳信息，并分別利用改進后的卷積神經網絡和多層感知機得到最新時刻的推薦項目。

e）HRS-DC［31］：HRS-DC從輔助信息中分別提取出用戶和項目的隱性特征向量，再將特征向量經過改進的神經協同過濾得出新的評分矩陣。

f）GCNCF-2C（in series）：與圖5中GCNCF-2C的并行結構編碼器不同，GCNCF-2C（in series）的編碼器將圖3的節點特征編碼和圖4的節點結構特征編碼過程進行串聯后，再連接解碼器，用于驗證GCNCF-2C中雙通道并行編碼器的效果。

3.3實驗設置

3.3.1實驗任務

為了驗證GCNCF-2C的推薦效果和在冷啟動場景下的表現，本文參照Zhang等人［24］在一種堆疊重構圖卷積網絡中應用的實驗方法，將評級預測任務分為直推評級預測和歸納評級預測。其中，直推評級預測作為傳統的矩陣補全任務，在訓練過程中可以觀察到系統中所有的用戶和項目節點，先前的協同過濾方法，如矩陣分解等，都主要集中在這個任務上；歸納評分預測任務用于評價不同模型在冷啟動問題上的預測能力，在推理過程中，對一些在訓練過程中沒有出現的新用戶或者新項目，模型通過訪問測試圖中與這些新節點連接的一些邊進行評級預測。直推評級預測和歸納評級預測過程如圖7所示，深色方格的值為預測評級。直推評級預測中所有用戶和項目在訓練和推理的過程中都能被觀察到；但在歸納評級預測中，推理過程中的user4和item4在訓練過程中沒有出現。

3.3.2評價指標

本文采用均方誤差（MSE）作為損失函數，均方根誤差（RMSE）和平均絕對誤差（MAE）作為評價指標來檢驗模型效果，RMSE和MAE反映預測評級i與真實評級ri之間的偏差，偏差值越小表明模型預測效果越好。RMSE和MAE的計算公式為

RMSE=1N∑Ni=1（i-ri）2（12）

MAE=1N∑Ni=1|i-ri|（13）

3.3.3參數設置

模型實驗環境基于PyTorch深度學習框架和DGL圖神經網絡模型框架，其中DGL提供了對圖消息傳遞的多功能控制，通過自動批處理和可高度調整的稀疏矩陣內核進行速度優化。模型中的可優化參數采用Xavier方法［32］進行初始化，使輸入和輸出的方差盡量保持一致，避免所有輸出值趨向于0，經過Xavier方法初始化的參數W服從式（14）所示的均勻分布，其中：ni和ni+1分別表示第i層的輸入維度大小和輸出維度大小，訓練階段使用Adam優化器對參數進行優化。

W～U［-6ni+ni+1，6ni+ni+1］（14）

對于數據集的劃分，在基于ML-100k的實驗中，本文將80%的評級數據劃分為訓練集，將20%的評級數據劃分為測試集；在ML-1M的實驗中將90%的評級數據劃分為訓練集，將10%的評級數據劃分為測試集。

為使模型效果達到最佳，本文對相關超參數進行對比實驗，獲得了模型在使用不同隨機丟棄比率、殘差塊數量以及數據輸入批量大小時的表現，選取RMSE最小時的參數作為最終的實驗設置，參數分析結果如圖8所示。

另外，本文對模型中R-GCN的層數設置進行了分析。在一般情況下，疊加使用GCN模型最好的結果是在使用2或3層模型時獲得，由于增加層數后每個節點的有效上下文大小都會隨著其K階鄰域的大小而增加，所以對于超過7層的模型，訓練會變得很困難［18］。因此對于節點結構特征編碼器中串聯R-GCN的層數設置，本文進行了實驗對比，以RMSE為評價指標，測試了使用1～5層R-GCN的GCNCF-2C模型在數據集ML-100k上的表現，結果如圖9所示。使用2和3層R-GCN編碼的模型效果最好，隨著R-GCN層數增加到5層，模型性能開始逐步下降，所以結合模型效果和時間復雜度，本文在最終的GCNCF-2C模型中使用2層R-GCN絡編碼節點結構特征。最后，實驗中所有超參數設置被整理在表2中。

3.4實驗結果與分析

本文針對直推評級預測和歸納評級預測兩個任務，在數據集ML-100k和ML-1M的基礎上對GCNCF-2C和對比模型進行實驗，得到對比結果。

3.4.1直推評級預測

在直推評級預測任務中，本文將ML-100k 20%的評級對和ML-1M 10%的評級對劃分為測試集，測試集中的用戶和項目均在訓練集中出現過，并以100%的數據建立R-GCN中的graph對象。得到RMSE和MAE的對比結果如表3、4所示。

1）RMSE的比較

所有模型在測試集上的RMSE值隨訓練過程中epoch變化的實驗結果如圖10所示。

通過對圖10和表3、4的綜合分析可以得出： GCNCF-2C和基線模型的RMSE值隨著epoch數的增加而下降并收斂，收斂后GCNCF-2C的推薦性能相對表現最好。在數據集ML-100k中，同等條件下，GCNCF-2C相比于GC-MC、R-GCN+DistMult、ConvMF、M-DRAWT和C-DRAWT基準算法在RMSE上的表現分別提升了約0.6%、2.6%、3.5%、2.4%和1.6%；相比串聯模式下的GCNCF-2C（in series） 提升了1.2%，平均提升1.72%。而對于ML-1M上的實驗結果，同等條件下，GCNCF-2C相比于GC-MC、R-GCN+DistMult、ConvMF、M-DRAWT、C-DRAWT和HRS-DC在RMSE上的表現分別提升了約0.4%、4.1%、2.5%、1.2%、0.7%和1.4%；相比串聯模式下的GCNCF-2C（in series） 提升了2%，平均提升1.76%。

2）MAE的比較模型在測試集上的MAE值隨訓練過程中epoch變化的實驗結果如圖11所示。

MAE值在收斂后，GCNCF-2C的推薦性能同樣相對表現最好。在數據集ML-100k中，同等條件下，GCNCF-2C相比于GC-MC、R-GCN+DistMult、ConvMF、M-DRAWT和C-DRAWT基準算法在MAE上的表現分別提升了約1.25%、3.7%、4.4%、3.1%和2%；相比串聯模式下的GCNCF-2C（in series） 提升了1.5%，平均提升2.7%。而對于ML-1M上的實驗結果，GCNCF-2C相比于GC-MC、R-GCN+DistMult、ConvMF、M-DRAWT和C-DRAWT在MAE上的表現分別提升了約1.05%、4.1%、2.24%、1.5%和1.05%；相比串聯模式下的GCNCF-2C（in series） 提升了1.95%，平均提升1.98%。

3）結果分析從GCNCF-2C相比于幾種基準算法在推薦性能指標RMSE和MAE上的顯著提升可以得出，在推薦系統中對節點特征和節點結構特征進行分離提取，可以充分發揮多層神經網絡的非線性映射能力和圖卷積網絡的異構圖結構特征提取能力，進而顯著提高推薦性能；與GCNCF-2C表現最接近的基線模型是基于圖自編碼的GC-MC模型，同樣體現了提取異構圖結構信息對推薦系統性能提升的作用；而GCNCF-2C相比于GCNCF-2C（in series）的提升表明，這種并行雙通道的模型結構對有效結合兩種特征提取方式發揮著重要作用。

3.4.2歸納評級預測

本文在歸納評級預測任務中評價模型緩解冷啟動的能力，使用ML-100k數據集，通過R-GCN+DistMult和GCNCF-2C（in series）與GCNCF-2C進行對比，以RMSE為評價指標。對比結果如表5所示。

同樣，將ML-100k 20%的評級對劃分為測試集，并以100%的數據建立R-GCN中的graph對象，但測試集中的用戶或項目未在訓練集中出現過。在用戶的冷啟動實驗中，本文刪掉訓練集中所有包含測試集用戶的評級對，得到47 533個訓練評級對；在項目的冷啟動實驗中，本文刪掉訓練集中所有包含測試集項目的評級對，得到872個訓練評級對。

歸納評級預測實驗中模型在測試集上的RMSE值隨訓練過程中epoch變化的實驗結果如圖12所示。

1）用戶冷啟動分析在用戶的冷啟動實驗中，本文模擬新用戶在系統中首次出現的場景，實驗結果表明，GCNCF-2C相比于R-GCN+DistMult和GCNCF-2C（in series）在RMSE上的表現分別提升了約1.2%、1.94%。

2）項目冷啟動分析在項目的冷啟動實驗中，本文在訓練過程中對某些項目進行屏蔽，由于去掉訓練集中所有包含測試集項目的評級對后，訓練集大小僅為872，通過圖12可得訓練集過小導致模型訓練時收斂的迭代次數大大增加。GCNCF-2C相比于R-GCN+DistMult和GCNCF-2C（in series）在RMSE上的表現分別提升了約8.3%、12.5%。

3）結果分析通過歸納評級預測實驗結果對比可以得出，在冷啟動場景下，GCNCF-2C和對比模型的表現均出現明顯下滑，但GCNCF-2C仍為表現最佳的模型，與直推評級預測相比，在用戶的冷啟動下RMSE值性能下降3.9%，在項目的冷啟動下RMSE值性能下降27.6%，對比模型中相比直推評級預測性能下降幅度最大的是GCNCF-2C（in series），在用戶的冷啟動下RMSE值性能下降5.95%，在項目的冷啟動下RMSE值性能下降45.9%，說明GCNCF-2C在緩解冷啟動方面有明顯效果，體現了GCNCF-2C的雙通道結構以及節點特征隨機丟棄訓練使模型對未見節點嵌入有很好的表達能力和識別能力；三種模型在項目的冷啟動中的表現相比直推評級預測下降幅度都很大，主要原因是刪除相關評級對后訓練樣本數量過少，模型出現明顯的過擬合；另外，由圖12可得，R-GCN+DistMult作為一種半監督模型，在訓練過程中收斂速度最快，并且取得了相對不錯的表現，也說明了圖卷積神經網絡對緩解推薦冷啟動有顯著效果。

4結束語

本文提出了一種分離上下游任務的端到端協同過濾推薦算法GCNCF-2C。在上游編碼器中利用神經網絡的非線性映射能力和關系圖卷積網絡的高階信息提取能力，通過兩個通道將圖中節點特征和高階鄰域特征進行分離提取，充分挖掘推薦數據中的潛在信息，緩解冷啟動問題。此外，在節點特征提取過程中融合殘差和隨機丟棄的訓練，進一步增強模型對未見節點的識別能力。實驗表明，在兩個真實數據集MovieLens-100k、MovieLens-1M中，本文算法優于傳統只基于卷積神經網絡或者圖卷積網絡的模型，并通過歸納評級預測實驗，驗證了GCNCF-2C緩解冷啟動的效果。在未來的研究中，將考慮時間因素在推薦過程中的影響，并進一步降低模型的時間復雜度，節約計算資源。

參考文獻：

［1］黃立威，江碧濤，呂守業，等.基于深度學習的推薦系統研究綜述［J］.計算機學報，2018，41（7）：1619-1647.（Huang Liwei，Jiang Bitao，Lyu Shouye，et al.Survey on deep learning based recommender system［J］.Chines Journal of Computers，2018，41（7）：1619-1647.）

［2］He Xiangnan，Liao Lizi，Zhang Hanwang，et al.Neural collaborative filtering［C］//Proc of the 26th International Conference on World Wide Web.2017：173-182.

［3］王星凱，鄧浩江，盛益強.基于深度學習的智能推薦系統綜述［J］.網絡新媒體技術，2021，10（1）：1-11，36.（Wang Xingkai，Deng Haojiang，Sheng Yiqiang.A review of intelligent recommendation system based on deep learning［J］.Journal of Network New Media，2021，10（1）：1-11，36.）

［4］Zhang Shuai，Yao Lina，Sun Aixin，et al.Deep learning based recommender system：a survey and new perspectives［J］.ACM Computing Surveys（CSUR），2019，52（1）：1-38.

［5］Zheng Lei，Noroozi V，Yu P S.Joint deep modeling of users and items using reviews for recommendation［C］//Proc of the 10th ACM International Conference on Web Search and Data Mining.New York：ACM Press，2017：425-434.

［6］Devooght R，Bersini H.Long and short-term recommendations with recurrent neural networks［C］//Proc of the 25th Conference on User Modeling，Adaptation and Personalization.New York：ACM Press，2017：13-21.

［7］Gope J，Jain S K.A survey on solving cold start problem in recommender systems［C］//Proc of International Conference on Computing，Communication and Automation .Piscataway，NJ：IEEE Press，2017：133-138.

［8］Zhang Ziwei，Cui Peng，Zhu Wenwu.Deep learning on graphs：a survey［J］.IEEE Trans on Knowledge and Data Engineering，2020，34（1）：249-270.

［9］Chicaiza J，Valdiviezo-Diaz P.A comprehensive survey of knowledge graph-based recommender systems：technologies，development，and contributions［J］.Information，2021，12（6）：232.

［10］Zhou Jie，Cui Ganqu，Hu Shengding，et al.Graph neural networks：a review of methods and applications［J］.AI Open，2020，1：57-81.

［11］Wang Xiang，He Xiangnan，Wang Meng，et al.Neural graph collaborative filtering［C］//Proc of the 42nd International ACM SIGIR Confe-rence on Research and Development in Information Retrieval.New York：ACM Press，2019：165-174.

［12］Li Ruoyu，Wang Sheng，Zhu Feiyun，et al.Adaptive graph convolutional neural networks［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence.Palo Alto：AAAI Press，2018：3546-3553.

［13］Rong Yu，Huang Wenbing，Xu Tingyang，et al.Dropedge：towards deep graph convolutional networks on node classification［EB/OL］.（2019-07-25）.https：//arxiv.org/ 1907.10903.

［14］Wang Hongwei，Zhang Fuzheng，Xie Xing，et al.DKN：deep know-ledge-aware network for news recommendation［C］//Proc of World Wide Web Conference.2018：1835-1844.

［15］Hu Linmei，Li Chen，Shi Chuan，et al.Graph neural news recommendation with long-term and short-term interest modeling［J］.Information Processing amp; Management，2020，57（2）：102142.

［16］Tai Changyou，Wu Mengru，Chu Yunwei，et al.MVIN：learning multi-view items for recommendation［C］//Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2020：99-108.

［17］魏紫鈺，朱小棟，徐怡.結合時間特征的協同過濾深度推薦算法［J］.計算機工程與應用，2022，58（23）：67-73.（Wei Ziyu，Zhu Xiaodong，Xu Yi.Collaborative filtering deep recommendation algorithm based on time feature［J/OL］.Computer Engineering and Applications，2022，58（23）：67-73.）

［18］Kipf T N，Welling M.Semi-supervised classification with graph convolutional networks［EB/OL］.（2016）.https：//arxiv.org/ 1609.02907.

［19］徐冰冰，岑科廷，黃俊杰，等.圖卷積神經網絡綜述［J］.計算機學報，2020，43（5）：755-780.（Xu Bingbing，Cen Keting，Huang Junjie，et al.A survey on graph convolutional neural network［J］.Chines Journal of Computers，2020，43（5）：755-780.）

［20］Hamilton W，Ying Z，Leskovec J.Inductive representation learning on large graphs［EB/OL］.（2017-06-07）.https：//arxiv.org/abs/1706.02216.

［21］Schlichtkrull M，Kipf T N，Bloem P，et al.Modeling relational data with graph convolutional networks［C］//Proc of European Semantic Web Conference.Berlin：Springer，2018：593-607.

［22］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual learning for image recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：770-778.

［23］郭玥秀，楊偉，劉琦，等.殘差網絡研究綜述［J］.計算機應用研究，2020，37（5）：1292-1297.（Guo Yuexiu，Yang Wei，Liu Qi，et al.Survey of residual network［J］.Application Research of Computers，2020，37（5）：1292-1297.）

［24］Zhang Jiani，Shi Xingjian，Zhao Shenglin，et al.STAR-GCN：stacked and reconstructed graph convolutional networks for recommender systems［EB/OL］.（2019）.https：//arxiv.org/1905.13129.

［25］Shang Chao，Tang Yun，Huang Jing，et al.End-to-end structure-aware convolutional networks for knowledge base completion［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence.Palo Alto：AAAI Press，2019：3060-3067.

［26］陳華鈞，張文，黃志文，等.大規模知識圖譜預訓練模型及電商應用［J］.大數據，2021，7（3）：97-115.（Chen Huajun，Zhang Wen，Huang Zhiwen，et al.Large scale pre-trained knowledge graph model and e-commerce application［J］.Big Data Research，2021，7（3）：97-115.）

［27］Devlin J，Chang M W，Lee K，et al.BERT：pre-training of deep bidirectional transformers for language understanding［EB/OL］.（2018）.https：//arxiv.org/ 1810.04805.

［28］Yang Bishan，Yih W，He Xiaodong，et al.Embedding entities and relations for learning and inference in knowledge bases［EB/OL］.（2014）.https：//arxiv.org/ 1412.6575.

［29］Kim D，Park C，Oh J，et al.Convolutional matrix factorization for document context-aware recommendation［C］//Proc of the 10th ACM Conference on Recommender Systems.New York：ACM Press，2016：233-240.

［30］Berg R，Kipf T N，Welling M.Graph convolutional matrix completion［EB/OL］.（2017）.https：//arxiv.org/ 1706.02263.

［31］劉振鵬，尹文召，王文勝，等.HRS-DC：基于深度學習的混合推薦模型［J］.計算機工程與應用，2020，56（14）：169-175.（Liu Zhenpeng，Yin Wenzhao，Wang Wensheng，et al.HRS-DC：hybrid recommendation model based on deep learning［J］.Computer Enginee-ring and Applications.2020，56（14）：169-175.）

［32］Glorot X，Bengio Y.Understanding the difficulty of training deep feedforward neural networks［J］.Journal of Machine Learning Research，2010，9：249-256.

收稿日期：2022-06-17；修回日期：2022-08-03基金項目：上海高校智庫內涵建設計劃（戰略研究）項目（1022303001）；國家自然科學基金面上項目（71871144）

作者簡介：付峻宇（1999-），男，山東臨沂人，碩士研究生，主要研究方向為圖神經網絡、推薦系統；朱小棟（1981-），男（通信作者），安徽太湖人，副教授，碩導，博士，主要研究方向為數據挖掘與深度學習、電子商務（zhuxd@usst.edu.cn）；陳晨（1993-），女，江蘇鹽城人，講師，博士，主要研究方向為信息管理與信息系統、平臺商業模式．