融合評論文本特征和評分圖卷積表示的推薦模型

馮海林，張瀟，劉同存

（浙江農林大學數學與計算機科學學院，浙江 杭州 311300）

0 引言

互聯網的迅速發展帶來了信息過載問題，這使用戶從海量的信息中獲取自己需要的信息極其困難，推薦系統作為解決信息過載的重要工具，可以幫助用戶發現他們感興趣的內容。推薦系統的評分預測可看作矩陣補全任務，即基于矩陣中已有的數據來填補矩陣中缺失的部分，然而觀測到的用戶行為數據是極其稀疏的，如何根據極其稀疏的觀測數據來較準確地預測未觀測數據一直以來都是推薦系統研究的關鍵課題。早期的方法主要是利用矩陣分解技術，僅僅利用用戶對商品的評分來推斷[1-2]，但用戶的反饋行為不僅有評分，還包含豐富的評論信息，這些評論文本能夠體現出用戶的購物偏好以及商品的屬性吸引性，可以加強對用戶和商品的表征學習能力，從而提高推薦系統的推薦質量[3]。

近年來，深度學習技術所具備的較強特征提取能力[4-7]使其在推薦系統中得到了廣泛應用，也在一定程度上緩解了用戶評分的稀疏性問題[8-9]。但是現有的基于深度學習的方法仍然存在可以改進的地方，比如在評分數據的處理上，脫離傳統的矩陣分解方法，以其他方式學習評分特征可能會提升推薦模型的精準度；另外，不同的評論所包含的語義信息不同，如何對重要的評論進行選取和建模，也需要進行進一步的研究分析。

本文對以上提出的可改進的部分加以研究，提出了融合評論文本和評分圖卷積表示（CRRG，combining review’s feature and rating graph convolutional representation）的推薦模型。該模型利用圖卷積編碼學習用戶和商品的評分特征表示，首先獲取用戶-商品評分集（用戶對商品的評分數據），根據用戶對商品的評分等級，在用戶-商品二部圖上進行信息傳遞；然后獲取用戶評論集（用戶對商品的評論信息）和商品評論集（商品中各個用戶的評論信息），通過卷積神經網絡分別提取用戶和商品的文本卷積特征，引入注意力機制，利用用戶（商品）在評分上的特征表示區分評論重要性，從而獲取更準確的評論文本特征；最后將評論文本特征和評分特征拼接融合，將得到的用戶和商品最終特征表示輸入隱因子模型中產生推薦結果。本文所提CRRG模型的貢獻可以總結為以下3 點。

1)本文提出的模型結合卷積神經網絡和圖卷積編碼器對用戶及商品評論文本以及評分數據進行聯合建模，學習用戶和商品的特征表示。

2)在評分數據上使用圖卷積編碼器并結合注意力機制對用戶和商品特征進行表示，使模型在評論建模時可以區分評論的重要性，融合用戶和商品評分特征及相應的評論文本特征，通過增強用戶和商品的信息交互提升模型精度。

3)在亞馬遜公共數據集上進行了對比實驗，結果表明本文提出的CRRG 模型在評分預測上的均方誤差（MSE，mean square error）低于現有的相關模型，證明了本文提出的模型的有效性。

1 相關工作

1.1 基于主題建模的推薦

早期的研究工作主要使用主題建模技術從用戶的評論文本中進行語義分析，提取語義特征，將潛在的語義主題整合到學習模型中進行推薦。文獻[10]提出了最早期的基于用戶的評論數據進行推薦的方法，分別使用用戶和商品的評論數據進行評分的預測；文獻[11]使用每個用戶對某個具體商品的評論建模，并且用不同的關聯機制將用戶和商品的表示和學到的主題模型進行關聯；文獻[12]將文本信息上的降噪自編碼器（SDAE，stacked denoising autoencoder）[13]與隱式評分矩陣的概率矩陣分解（PMF，probabilistic matrix factorization）[1]緊密耦合，從文本中學習可解釋的潛在因素。這些方法都優于僅依賴用戶商品評分數據交互的模型，但是都屬于詞袋模型，忽略了單詞順序和局部上下文信息，導致評論中重要信息的丟失。

1.2 基于深度學習的推薦

國內外研究者提出了許多方法對評論的上下文信息進行建模，顯著提高了推薦精度。例如，Kim等[4]提出了卷積矩陣分解（ConvMF，convolutional matrix factorization）模型，使用卷積神經網絡從商品描述中提取商品特征，將上下文信息合成為連續的實值矢量表示；文獻[14]模型從用戶和商品文檔中提取特征，利用該特征來校準學習模型中的潛在因子；深度協同神經網絡（DeepCoNN，deep cooperative neural network）[5]模型使用并行的卷積神經網絡從用戶和商品文檔中發現語義特征。這些方法的推薦效果優于基于詞袋的方法，但它們僅以靜態和獨立的方式學習用戶和商品的潛在特征向量，忽略了不同評論的重要性差異，以及評論內部不同單詞的重要性差異。

最近的許多工作利用注意力機制從文本信息中學習上下文感知的潛在表示。例如，文獻[15]利用Local和Global 這2 個注意力機制來識別評論文檔中的重要單詞；文獻[16]利用基于指針的共同注意力方法，選出重要的評論及重要的單詞；Chen等[8]提出NARRE（neural attentional regression model with review-level explanation）模型，通過評論級別的注意力機制來刻畫每一條評論的權重，選擇有用的評論進行評分預測；文獻[17]應用詞注意力機制對商品文本進行編碼，從而更好地理解商品的內容；Zhou 等[18]提出了雙頭注意力融合自動編碼器模型，應用早期融合模塊，利用注意力機制選擇與推薦任務相關的評論；Liu 等[19]提出一種個性化的注意力模型NRPA（neural recommendation with personalized attention），為不同的用戶或商品選擇不同的重要單詞和評論；梁順攀等[20]提出 SACR（self-attention capsule network rate）模型，通過自注意力膠囊網絡來挖掘用戶評論文檔，對低質量評論進行編號標記。這些基于注意力機制的推薦研究考慮到單詞或評論的重要性，更準確地學習到用戶或商品特征表示，取得了較好的推薦效果。另外，還有一些基于深度學習的推薦方法，馮興杰等[21]以及李昆侖等[22]提出的推薦算法都使用了預訓練的雙向編碼器表示（BERT，bidirectional encoder representation from transformer）模型提取評論文本信息，構造評論文本的特征表示，提升了模型對同一單詞在不同語義環境下具體含義的理解能力。

近年來，多視圖的結構也被應用到推薦中，Gao等[23]構建了一個深度可解釋網絡的初始結構，利用注意力多視圖學習對深度可解釋網絡中每層的參數進行優化，通過無監督的方式分析了用戶是對低層特征感興趣還是對高層特征整體感興趣；圖卷積矩陣補全（GC-MC，gragh convolutional matrix completion）模型[24]設計了一種對矩陣進行補全的圖自編碼器框架，將評分作為用戶-商品圖的鏈接邊，通過在用戶和商品的交互圖上進行信息傳遞學習節點的嵌入，但是該模型并沒有結合評論文本信息；Gao 等[25]將評論的輔助信息混合，提出了集合-序列-圖的多視圖方法，采用3 種方式編碼器架構，共同學習用戶和商品的表示形式。雖然這些研究在一定程度上提升了推薦的準確度，但在獲取重要性評論方面仍然可以進行進一步的研究，并且可以繼續探究融合評論文本和評分數據對推薦模型優化的有用性。

2 推薦模型

本文提出的CRRG 模型架構如圖1 所示。CRRG模型共包括4 個模塊：1)文本向量化，將用戶和商品評論集分別通過嵌入層輸出評論文本的嵌入向量；2)特征工程，首先將評論文本的嵌入向量通過卷積層利用卷積神經網絡獲取文本的卷積特征，再將用戶-商品評分集通過圖卷積編碼獲取用戶和商品在評分上的特征表示；3)特征交互，通過注意力層將用戶和商品的文本卷積特征與評分特征進行交互，得到用戶和商品最終的評論文本特征，再通過連接操作和內積運算得到融合特征；4)評分預測，利用隱因子模型計算用戶對商品的預測評分。

圖1 CRRG 模型架構

2.1 文本向量化

對于用戶u的評論集，合并所有評論形成用戶文檔Du=[w1，w2，…，wm]，其中m表示用戶u的評論數量，然后將文檔中每條評論的單詞進行嵌入表示，使用word2vec 進行詞向量的預訓練，得到用戶u的評論文本向量化表示Eu為

其中，Eu，j∈?c×d表示用戶u第j條評論的嵌入矩陣，c表示該條評論的長度，d表示單詞嵌入維度。同樣地，可以用類似的方式獲得商品v的評論文本向量化表示，其中n表示商品v的評論數量。

2.2 特征工程

2.2.1 卷積神經網絡

首先，基于用戶和商品的評論文本向量化表示，利用卷積神經網絡提取用戶和商品的評論文本卷積特征。卷積層由α個神經元組成，每一個神經元與卷積濾波器F∈?h×d關聯，其中h表示滑動窗口，該濾波器通過在嵌入矩陣上應用卷積運算產生卷積特征。第k個神經元產生的局部特征zk表示為

其中，bk∈?h表示偏置，*表示卷積運算符號，ReLU表示激活函數。

然后，執行最大池化操作，得到第k個神經元產生的最終特征ok，把α個神經元產生的特征根據滑動窗口h的維度進行連接，得到用戶u第j條評論的文本卷積特征ou，j∈，最后得到用戶u的所有評論文本卷積特征Ou∈，該過程表示為

其中，z1，z2，…，表示第k個神經元在滑動窗口h上產生的特征。同樣地，也可以生成商品v的所有評論文本卷積特征，其中，，ov，n∈表示商品v第n條評論的文本卷積特征。

2.2.2 圖卷積編碼

給定用戶-商品評分集，構建圖編碼模型獲取用戶和商品的評分特征，相比于將評分矩陣分解為2 個低維矩陣的乘積，只能提取模型的淺層次特征，構建圖編碼模型可以在用戶-商品二部圖上進行信息傳遞，用戶（商品）節點可以由與其交互過的商品（用戶）進行表示。具體來說，將用戶-商品評分集轉換為評分矩陣M∈，其中，Nu表示用戶數量，Nv表示商品數量，Mi，j表示用戶i對商品j的評分。用戶-商品的評分交互數據可以用二部圖G=(?，?，?)表示，其中，?表示用戶節點ui∈?u，i∈ {1，…，Nu}和商品節點vj∈?v，j∈{1，…，Nv)的集合，(ui，r，vj)∈?表示二部圖的邊，攜帶表示評分等級的標簽，如r∈{1，…，R}=R，R表示評分等級的最大值。本文借鑒GC-MC[24]的圖編碼模型進行編碼，表示為

圖編碼模型可以有效利用圖形中各個位置之間的權重分配，并為每種評分類型r∈{1，…，R}分配單獨的處理通道。局部圖卷積可以看作信息傳遞，其中特征值的信息被沿著圖的邊傳遞和轉換，即用戶可以用被它交互過的商品來表示，因此這里在二部圖上進行信息傳遞，獲取用戶節點的評分邊類型特征信息，表示為

其中，accum(·)可以表示為向量總和sum(·)，也可以表示為向量串聯stack(·)；σ表示激活函數ReLU。通過一個全連接層獲取用戶i的評分特征，即

2.3 特征交互

用戶和商品評分交互數據經過圖卷積編碼后，能夠獲取到更準確的用戶和商品的評分特征，將其和評論文本卷積特征相交互，對于辨別評論信息的有用性會更有效。因此對于商品建模來說，在輸入商品v的第l條評論文本卷積特征ov，l后，結合該評論的用戶評分特征pu，l，計算每條評論的重要性，即

在獲得每條評論的注意力權重后，將商品v的特征向量計算為加權總和，通過一個全連接層，則經過注意力操作的商品v的評論文本特征可表示為

對于得到的用戶u的評論文本特征以及評分特征，將2 個特征相連接，得到用戶u的最終特征表示，類似地，計算獲取商品v的最終特征表示，將用戶和商品的最終特征表示通過內積運算進行組合得到，如式(13)所示。

其中，⊙表示內積符號。

2.4 評分預測

在評分預測層利用隱因子模型（LFM，latent factor model）來完成最終評分的預測。LFM 是一種基于矩陣分解的算法，可獲得用戶u對商品v的預測評分，表示為

其中，W0∈表示參數，bu、bv、γ分別表示用戶的偏置、商品偏置、全局偏置，將W0設置為1 即可恢復標準的隱因子模型。

本文的評分預測可以看作回歸任務，使用MSE構建損失函數，表示為

其中，Γ表示模型訓練數據集，Ru，v表示用戶u對商品v的評分的真實值。為了優化目標函數，本文采用自適應矩估計（Adam，adaptive moment estimation）作為優化器，它是一個尋找全局最優點的優化算法，引入了二次梯度校正，相對于其他算法有一定的優越性。

3 實驗

3.1 數據集和評估方法

本文在亞馬遜公開的5-core 評論數據集上進行實驗，選用亞馬遜網站的用戶ID、商品ID、評論信息和評分數據信息，其中評論數據中每個用戶和商品至少有5 條評論，本次實驗采用其中4 種類別的數據集，分別是Musical Instruments（MI）、Patio Lawn and Garden（PLG）、Automotive（Auto）以及Amazon Instant Video（AIV）。表1 顯示了這4 種數據集的統計信息。

表1 數據集統計信息

實驗采用MSE 作為模型的評估方法，這是一種常用的回歸算法的評價指標，并且在相關文獻中被廣泛使用。在獲取評分預測結果Ru，v后，求得其與真實值Ru，v誤差的平方和再與所有測試實例數目N的比值，如式(16)所示。在本文實驗中，MSE 的值越低，表示模型的預測評分越準確，模型的推薦性能越好；反之，表示模型的推薦性能越差。

3.2 對比模型

本文將提出的CRRG 模型和以下推薦模型進行比較，檢驗模型的推薦效果。表2 展示了實驗的對比模型使用的輸入數據以及方法類型。

表2 模型比較

1)PMF[1]。經典的概率矩陣分解模型，只輸入了評分數據。

2)LFM[2]。隱因子模型，通過矩陣奇異值分解（SVD，singular value decomposition）的方法預測商品評分，同樣只輸入了評分數據。

3)ConvMF[4]。利用卷積神經網絡提取商品的評論文本特征，和PMF 模型相結合完成推薦任務，沒有使用用戶的評論文本信息。

4)DeepCoNN[5]。使用2 個并行的卷積神經網絡，分別從用戶和商品的評論文本中提取相應的特征表示來進行推薦。

5)NARRE[8]。在DeepCoNN 模型的基礎上，考慮到不同評論的重要性不一致，在對評論文本進行建模的時候，引入了注意力機制，將用戶和商品的ID 嵌入作為注意力分數計算的輔助信息來獲取相對重要的評論。

6)GC-MC[24]。基于用戶-商品的二部圖，設計了一種圖自編碼器框架，從鏈路預測的角度解決推薦系統中的評分預測問題，僅輸入了評分數據。

3.3 實驗設置

實驗在每個數據集上隨機選取80%作為訓練集，10%作為驗證集，10%作為測試集。對于需要輸入評論文本的模型，使用GoogleNews 預訓練的300 維詞向量；對于使用卷積神經網絡的模型，本文使用了基準模型DeepCoNN和NARRE中大部分參數設置，其中CNN 的卷積核大小在{3，4，5}中選取，每種卷積核個數為100，并對參數進行微調，在{4，8，16，32}中遍歷尋找最佳的隱因子個數，選取最優結果進行展示。

3.4 結果分析

本文提出的CRRG 推薦模型和現有的幾個模型在4 種數據集上MSE 的對比實驗結果如表3 所示。

表3 MSE 的對比實驗結果

通過分析以上對比實驗，可以得出以下結論。①只考慮評分數據的推薦模型（PMF、LFM、GC-MC）的預測結果不如使用評論文本的推薦模型（DeepCoNN、NARRE、CRRG）效果好，因為評論文本中含有豐富的語義信息，可以對評分數據進行補充，更有可能得到相對準確的評分預測結果；②根據PMF、LFM、ConvMF 模型與GC-MC 模型的對比實驗結果，使用圖卷積編碼對模型性能可以有實質性的提升，這是因為圖卷積編碼在用戶-商品二分圖上讓節點進行信息傳遞，使用戶和商品的特征表示更加具體；③使用了注意力機制的模型（NARRE、CRRG）比DeepCoNN 模型的推薦性能更優，因為注意力機制可以區分評論文本的重要性，獲取更深層次的語義信息；④本文提出的CRRG模型在NARRE 模型的基礎上，使用圖卷積編碼的方式對評分數據進行特征表示學習，從多維度特征交叉角度學習用戶和商品的特征表示，增強了用戶和商品的交互，獲取了最好的評分預測結果。

3.5 模型性能優化

本文在模型的圖卷積編碼過程中，將式(8)中的函數accum(·)設置為向量求和函數sum(·)或者向量串聯函數stack(·)，以2 種不同的方式獲取用戶和商品節點的評分特征表示。實驗為了優化模型性能，并且分析模型參數中的隱因子數量給模型帶來的影響，分別比較了不同的隱因子個數在2 個不同的數據集上使用sum(·)或stack(·)給模型性能帶來的影響，結果如圖2所示，其中CRRG-ST 表示使用了向量串聯函數，CRRG-SU 表示使用了向量求和函數。

通過圖2 可以看出，在不同的隱因子數量下，模型的預測結果有很大的差別。在PLG和MI 這2 個數據集上，使用CRRG-ST和CRRG-SU 算法的預測結果表現最好時的隱因子數量也是不一樣的，但是從 2 種算法最好的表現效果來看，使用CRRG-SU算法總體上比CRRG-ST算法得到的誤差更小，表明使用向量求和函數比向量串聯函數更好，因此，CRRG 模型在式(8)中最好使用向量求和函數。另外，隨著隱因子數量的增加，使用CRRG-SU 算法得到的誤差逐步上升，這可能是由于參數過多導致的過擬合現象。

圖2 不同隱因子數量下函數accum(·)設置對模型性能的影響

3.6 消融實驗

為了驗證圖卷積編碼在評分特征表示學習上的有效性，本文在CRRG 模型基礎上進行消融實驗，設計了以下變體算法。

1)CRRG-G1。在注意力層進行注意力分數計算時，將對應評論的用戶或商品特征改為它們的ID嵌入特征。

2)CRRG-G2。在最后進行評論文本特征和評分特征的融合時，將通過圖卷積編碼獲取的評分特征改為相應的用戶或商品的ID 嵌入特征。

在2 個不同的數據集上對CRRG-ST、CRRG-SU、CPPG-G1、CPPG-G2 以及沒有引入評分圖卷積表示的NARRE 模型進行對比實驗，實驗結果如圖3 所示。

通過圖3 可以看出，雖然在不同的數據集上變體算法的表現不盡相同，但是總體都比NARRE 模型效果更好。通過分別比較CRRG-G1、CRRG-G2變體算法和NARRE 的實驗結果可知，圖卷積編碼獲取的評分特征能夠提高判斷用戶和商品重要性評論的準確性，對融合評論文本特征的有效性也有所提升。另外，將通過圖卷積得到的評分特征在注意力層和最后的融合部分與評論文本特征都進行交互，能夠最大程度地發揮作用，提升推薦效果。

圖3 消融實驗

4 結束語

本文提出了融合評論文本和評分圖卷積表示的推薦模型CRRG，該模型使用卷積神經網絡以及圖卷積編碼分別學習用戶和商品的評論文本與評分的特征表示，并通過注意力機制結合2 種特征獲取更有效的評論信息，融合評論文本特征和評分圖卷積表示的特征得到了用戶和商品更準確的表示。在亞馬遜公開數據集上進行對比實驗，實驗表明本文提出的推薦模型能夠進一步降低評分預測的誤差，提升推薦效果。今后的研究可以探索通過用戶和商品的其他交互行為，比如用戶對商品時序偏好、點擊率等來提升推薦性能。