基于評論文本圖表示學習的推薦算法

楊粟森，劉 勇，張舉勇

（1.中國科學技術大學 數學科學學院，合肥 230000；2.南洋理工大學及英屬哥倫比亞大學百合卓越聯合研究中心，新加坡 639798）

0 概述

隨著網絡信息量的爆炸式增長，推薦系統在諸如電商平臺、在線多媒體平臺等場景中發揮著越來越重要的作用。推薦系統通過分析用戶過往的購買或觀看行為，推斷用戶的喜好并為他們推薦感興趣的項目。傳統推薦算法［1］的性能受限于用戶行為的稀疏度，針對這一問題，各種輔助信息被引入到推薦系統中。評論文本作為一種重要的輔助信息，能夠描述用戶對項目在不同方面的興趣愛好。

目前，基于評論文本的推薦方法主要包括基于主題建模的方法［2-4］和基于深度學習（如卷積神經網絡、循環神經網絡）的方法［5-7］，盡管這些方法已經取得了一定的性能提升，但是仍然存在一些局限。基于主題建模的方法僅能捕捉全局水平的文本語義信息，忽略了文本中重要詞序和詞的上下文信息；基于深度學習的方法雖然可以有效捕捉相鄰詞的上下文信息，但是在捕捉詞與詞之間長期、全局和非連續的依賴關系時存在一定的局限性。例如，對用戶在多條評論中出現的同一個詞而言，無法同時考慮到這個詞在不同評論中的相鄰詞信息（全局和非連續依賴）。除此之外，近年來出現的基于注意力機制的方法［8-10］對評論文本中每個詞、句子或者評論賦予重要性權重，但是該類方法只考慮用戶或者項目側的單一靜態喜好，無法捕捉交互水平的喜好特性。例如，對于用戶的“運行速度快”這一評論，在預測用戶對平板電腦的評分時的重要性程度高于預測同一用戶對鼠標的評分時的重要性程度。

針對上述問題，本文提出基于評論文本圖表示學習的推薦算法RGP。將每個用戶或項目的所有評論集構建成一個評論圖，圖中的節點為評論中的詞，邊為詞與詞之間的共現和詞序關系。通過圖的拓撲結構來捕捉評論文本中詞與詞之間長期、全局和非連續的依賴關系。使用基于連接關系的圖注意力網絡聚合每個節點的鄰接點信息，同時考慮詞序關系。在此基礎上，使用基于交互關系的注意力機制加權融合圖中所有節點的表征，得到最終的圖表征。將用戶和項目ID 的嵌入表征以及其評論圖表征耦合輸入并采用因子分解機（Factorization Machine，FM）［11］進行評分預測。

1 相關工作

1.1 基于評論文本和主題建模的推薦方法

基于文本主題建模的方法對評論文本應用主題建模技術學習用戶和項目的潛在特征分布。文獻［2］提出HFT 模型，通過LDA 主題模型［12］從評論文本中學習用戶和項目的特征表示。文獻［13］將主題模型和混合高斯模型相結合，提高推薦精度。文獻［14］利用非負矩陣分解法導出評論文本的主題分布，并使用轉換函數將主題分布和相應的用戶或項目的潛在特征因子對齊。文獻［3］提出一種將評論文本與用戶喜好相結合的評分提升方法，該方法能獲得更準確的主題分布。

1.2 基于評論文本和深度學習的推薦方法

深度學習的快速發展推動了其在基于評論文本的推薦模型中的應用。文獻［15］使用堆疊的去噪自編碼器（SDAE）學習評論文本的深度特征，并利用概率矩陣分解預測評分，SDAE 使得模型擁有自適應學習特征的能力，但其未考慮文本中的詞序和局部相關性。文獻［5］提出DeepCoNN 模型，利用卷積神經網絡從評論文本中提取語義信息，使用因子分解機捕捉用戶和項目表征之間的交互信息，卷積神經網絡可以在提取文本特征時考慮詞與詞的先后順序和相關性，但是其不具備對文本更細粒度的特征融合和可解釋性。

近年來，研究人員使用注意力機制來進一步提高推薦的準確性。文獻［7］通過聯合矩陣分解和基于注意力機制的門控循環網絡（GRU），從評論和評分中學習用戶和項目的表征，在捕捉詞序的同時使用注意力機制提高了模型的可解釋性。文獻［8］在DeepCoNN 的基礎上，通過注意力機制對每個評論進行評分，從而學習更豐富和更細粒度的語義信息。但是，上述2 種模型在提取文本特征時都僅考慮用戶或項目單一側的文本信息，并未在交互水平上捕捉用戶和項目的相關性。為此，文獻［16］提出CARL 模型，其綜合考慮用戶和項目的評論，通過注意力機制來重點關注用戶和項目之間更相關的評論內容。文獻［17］提出基于對偶的交互注意力機制，以捕捉用戶和項目評論的相關性，但其忽略了句子層面的細粒度信息和用戶的個性化喜好。為了捕捉更細粒度的語義，文獻［18］應用3 個注意力網絡依次學習句子、評論和用戶與項目的表征。為了考慮用戶或項目本身的個性化喜好，文獻［10］應用基于用戶/項目的注意力機制從評論文本中學習用戶/項目的個性化表征，但其缺乏對交互水平喜好特性的捕捉。除此之外，一些基于評論特性（aspect）的推薦方法［19-21］近年來被提出，這些方法通過應用基于特性的表示學習來自動檢測評論的不同特性，聯合學習特性、用戶與項目的表征。

不同于上述基于深度學習的推薦方法，本文借助圖表示的優良性質，將每個用戶或項目包含的全部評論表示成一個圖，以更好地挖掘詞與詞之間的依賴關系，從而進行更精確的評分預測和項目推薦。

2 基于評論文本圖表示學習的推薦模型

本文基于評論文本圖表示學習的推薦算法RGP 網絡結構如圖1 所示，其包含3 個模塊：用戶模塊（圖1 的左兩列）；項目模塊（圖1 的右兩列）；基于FM 的預測模塊。用戶模塊和項目模塊網絡架構相同，分別用來學習用戶和項目表征，預測模塊以用戶和項目表征為輸入，計算用戶對項目的評分。

圖1 RGP 算法網絡結構Fig.1 RGP algorithm network structure

用戶（項目）模塊包含3 個組成部分：構建評論文本圖的部分將每個用戶（項目）的評論文本集構建成一個圖；圖表示學習部分應用基于連接關系的圖注意力網絡和基于交互關系的注意力機制提取整個圖的表征；表征融合部分耦合用戶（項目）ID 的嵌入表征及其圖表征得到最終用戶（項目）的表征。用戶模塊及項目模塊的網絡架構相同，下文只介紹用戶模塊的各部分細節。

2.1 評論文本圖構建

本文利用文獻［22］的方法構建評論文本圖，在評論文本中若2 個詞共同出現在大小為ω的窗口中（即2 個詞的距離小于ω），則連接這2 個詞，本文在此基礎上保存詞序信息。對用戶u的評論文本集Su，首先使用諸如句子分詞、介詞清理的文本預處理技術挑選Su中每條評論的關鍵詞；然后將所有評論構建成一個有向圖，圖中的節點為評論文本的關鍵詞，圖中的邊描述了詞與詞之間在一個固定大小為ω的滑動窗口內的共現關系。

評論文本的詞序關系在反映文本語義時顯得十分重要。例如，“不是非常好”和“非常不好”傳遞了不同水平的消極情緒。為在圖中保留詞序信息，本文定義前向關系ef、后向關系eb、自連接關系es這3 種類型的連接關系。以評論集Su中的一條評論為例，若挑選的關鍵詞（即節點）x2在中出現在關鍵詞x1前，并且x2和x1的距離在原評論中小于ω，則在圖中建立從x2到x1的一條邊E(x2,x1)，此邊的連接關系為ef。同時，建立從x1到x2的一條邊E(x1,x2)，此邊的連接關系為eb。若x2在x1前面和后面同時出現（較少見），則將邊的連接關系隨機設置為ef或eb。此外，為考慮詞本身的信息，圖中的每個節點增加一條連接到自身的邊（例如E(x1,x1)）并將其連接關系定義為es。圖2 展示了將評論“朋友喜歡這個好看耐用的鼠標”構建成圖的例子，評論中“朋友”“喜歡”“好看”“耐用”“鼠標”均被挑選成關鍵詞，“這個”詞被去除，并將窗口大小ω設置成3，關鍵詞“好看”在評論中和3 個關鍵詞（“喜歡”“耐用”“鼠標”）的距離小于3，則建立3 條雙向邊并根據詞序定義邊的類型。以此類推，構建評論文本圖。

圖2 評論文本圖示例Fig.2 Review text graph example

對用戶u，本文用Gu={Xu,Eu}表示其對應的評論文本圖，Xu為節點（即關鍵詞）集，Eu為節點-邊-節點的三元組集(xh,r,xt)，r為節點xh到xt的連接關系（上述3 種關系之一）。通過同樣的方式可以構建項目i的評論文本圖Gi={Xi,Ei}。

2.2 圖表示學習

2.2.1 嵌入層

用戶ID、項目ID、詞ID、連接關系ID 作為嵌入層的輸入，分別被映射到不同的嵌入空間，得到對應的低維嵌入特征。本文分別用表示用戶u、項目i、詞x、連接關系r的低維嵌入特征，其中，d0為嵌入空間的向量維數。

2.2.2 基于連接關系的圖注意力網絡

在評論文本中，詞的信息并不獨立，一個詞的語義信息可以被其周圍的詞所豐富。為了聚合鄰接詞的信息，本文提出基于連接關系的圖注意力網絡。假設輸入圖為Gu={Xu,Eu}，對于圖中的節點xh，用Nh={xt|(xh,r,xt)∈Eu}表示xh的鄰接點，其中Nh包含xh本身。假設當前處于圖注意力網絡的第l層，鄰接點xt的重要性權重計算方式為：

重要性權重描述了鄰接點的重要程度，根據此權重，融合鄰接點的向量表征，得到xh的輸出向量表征為：

其中：Tanh 為激活函數。通過堆疊多層圖注意力網絡，傳播式地捕捉評論文本中詞與詞的長期依賴關系。假設堆疊層數為L，可得到對應L個xh的輸出向量表征為

2.2.3 基于交互關系的注意力機制

當圖Gu的所有節點經過L層基于連接關系的圖注意力網絡后，本文提出基于交互關系的圖注意力機制，聚合節點表征得到整個圖的表征。該注意力機制根據用戶u和項目i的信息，為圖中的每個節點賦予交互水平的重要性權重。假設對上述第l層的圖注意力網絡的輸出節點表征進行聚合，節點xh權重的計算方式為：

2.2.4 表征融合

為提高模型的表達能力，首先對基于用戶ID 的低維嵌入特征eu應用一層非線性變換：

按照同樣的流程，可以得到項目i的最終表征qi。

2.3 評分預測

本文使用因子分解機計算用戶對項目的評分。首先拼接用戶和項目的最終表征：

其中：b0、bu、bi分別為全局偏差、用戶偏差、項目偏差量；w∈R1×d′為權重向量，且d'=2(L+1)d1；vn、vm∈R1×k為對應于z的第n維、第m維元素的潛在因子向量；zn為z第n維元素的值；為內積操作。

為學習整個模型的參數Θ，本文定義模型的損失函數如下：

其中：λ為正則化系數。整個模型可以通過端對端的后向傳播算法進行高效訓練。

2.4 算法流程

RGP 算法流程如下：

算法1RGP 算法

Vanavanan等[15]對年齡為30～79歲無心血管疾病史的一般人群，進行了一項為期11.7年的前瞻性研究，結果顯示隨著sdLDL的四分位分組增高，其心血管疾病風險也隨著增加。

2.5 算法時間復雜度

假設每個用戶或項目的評論文本所挑選關鍵詞的數量為Nw，則構建評論圖的時間復雜度為O(ωNw)，圖的構建可在訓練外離線進行。基于連接關系的圖注意力網絡的時間復雜度為，L為堆疊層數。基于交互關系的注意力機制的時間復雜度為綜上可知，RGP 算法的總時間復雜度為

3 實驗和結果分析

3.1 實驗設置

3.1.1 實驗數據

本次實驗使用亞馬遜評論公開數據集Amazon 5-score 中的3 個子類別數據集Instant Video、Tools and Home Improvement、Baby。3 個數據集均包含用戶對項目1～5 之間的顯示評分以及來自Amazon 網站的用戶真實評分。表1 所示為3 個數據集的統計信息。

表1 數據集統計信息Table 1 Datasets statistics

3.1.2 實驗設定和度量指標

本文將每個數據集隨機劃分成訓練集（80%）、測試集（20%），隨機取訓練集的10%作為驗證集。為驗證本文所提算法的預測準確度，實驗均采用均方差（MSE）來衡量預測評分和真實評分的差異，MSE計算公式如下：

其中：Dtest為測試集。MSE 值越小，表示模型預測結果越準確。

3.1.3 對比算法

本文將RGP 算法與以下5 個基準算法進行對比：

1）PMF［1］是經典的概率矩陣分解模型，未用到評論文本信息。

2）DeepCoNN［5］通過卷積神經網絡CNN 提取評論文本集的語義特征，用來計算用戶對項目的評分。

3）NARRE［8］使用注意力機制計算每條評論的重要性分數，并為預測評分提供評論水平的解釋性。

4）NRPA［10］使用基于個性化注意力機制的評論表征編碼器和用戶/項目表征編碼器，依次得到評論表征和用戶/項目表征。

5）DAML［17］使用局部注意 力機制過濾評論 信息，使用交互注意力機制學習用戶和項目評論的互相關性。

3.1.4 超參數設置

對于RGP 算法，通過網格搜索法尋找最佳的超參數：嵌入空間和表征空間的向量維數d0和d1在｛8，16，32，48，64｝中選取，學習率r在｛0.005，0.001，0.000 5｝中選取，正則化系數λ在｛1，0.5，0.1，0.01｝中選取，訓練批次大小和堆疊層數L分別在｛64，128，256｝和｛1，2，3，4｝中選取。對比算法均根據原文獻進行參數初始化，通過微調使其達到最佳性能。

3.2 性能比較

本文RGP 算法和對比算法的實驗結果如表2 所示。從表2 可以看出，與僅基于評分數據的PMF 算法相比，利用評論文本的算法（DeepCoNN、NARRE、NRPA、DML、RGP）具有更好的推薦性能，因為評論文本中包含的用戶偏好和項目屬性信息可以對評分數據進行補充；在同樣利用評論文本的推薦算法中，使用注意力機制的算法（NARRE、NRPA、DAML、RGP）相較未使用注意力機制的算法（DeepCoNN）具有更優的性能，這是因為注意力機制可以識別每個詞、句子或評論的重要性，針對評分行為更加細致地捕捉評論文本的語義信息；在所有基準算法中，DAML 算法表現最佳，其融合CNN 和交互的注意力機制探索用戶和項目評論文本自身以及相互的相關性，可以捕捉到更加豐富的有關用戶喜好和項目特性的信息。

表2 不同推薦算法的性能對比結果Table 2 Performance comparison results of different recommendation algorithms

本文RGP 算法在3 個數據集上的性能都優于對比算法：和使用注意力機制的NARRE、NRPA 算法相比，RGP 中基于交互關系的注意力機制更能捕捉用戶對不同項目的不同喜好；和使用交互注意力機制的DAML 相比，RGP 通過將評論文本表示成圖并應用堆疊的圖注意力網絡，可以在捕捉交互水平喜好特性的同時有效捕捉評論中詞與詞之間長期、非連續和全局的拓撲與依賴信息。

3.3 消融實驗

為了進一步驗證RGP 算法各個部分的有效性，本文進行消融實驗以評估以下4 個RGP 變種算法的性能：

1）RGP-T 算法：從RGP 算法中去除評論圖中的邊的連接關系，即不考慮詞序信息。

2）RGP-A 算法：從RGP 算法的圖注意力網絡中去除注意力機制，即直接對鄰接點的表征做均值聚合。

3）RGP-G 算法：從RGP 算法中去除堆疊的圖注意力網絡，對初始嵌入表征經一層非線性變換后輸入到基于交互關系的注意力機制中。

4）RGP-I 算法：從RGP 算法中去除基于交互關系的注意力機制，直接對圖的節點表征做均值聚合。

5 種算法在Instant Video 數據集上的實驗結果如圖3 所示（在其他2 個數據集上的結果與圖3 所示結果類似）。從圖3 可以看出：原始RGP 算法的性能優于4 個變種算法，說明在RGP 算法中，基于連接關系的圖注意力網絡和基于交互關系的注意力機制對性能提升均起到積極作用；在變種算法中，RGP-G 算法的性能最差，驗證了將評論文本表示成圖的有效性。

圖3 在Instant Video 數據集中的消融實驗結果Fig.3 Ablation experimental results in the Instant Video dataset

3.4 參數敏感度實驗

為分析超參數對模型性能的影響，本文進行2 組參數分析實驗，2 個超參數分別是表征空間的向量維數d1和基于連接關系的圖注意力網絡層的堆疊數量L。

針對不同的表征空間向量維數｛8，16，32，48，64｝，在Instant Video 數據集上進行實驗的結果如圖4 所示（在其他2 個數據集上的結果與圖4 所示結果類似）。從圖4 可以看出：當維數設置為16 時，模型推薦性能最佳，更高的維數不僅不會提升性能，還會造成時間和空間復雜度提升；對于不同的數據集，最佳維數不是固定不變的；當數據集的訓練樣本足夠時，應適當提高維數以增強模型的擬合能力，而當訓練樣本較少時，應適當減少維數以避免模型過擬合。

圖4 表征空間的向量維數對模型性能的影響Fig.4 Effect of vector dimensions of representation space on model performance

針對不同的圖注意力網絡堆疊層數｛1，2，3，4｝，在Instant Video 數據集上進行實驗的結果如圖5 所示（在其他2 個數據集上的結果與圖5 所示結果類似）。從圖5 可以看出：當層數設置為3 層時，模型推薦性能最佳，這是因為當層數太少時，模型無法從評論文本中捕捉足夠的有效信息；而當層數太多時，模型會由于參數過多導致過擬合。

圖5 圖注意力網絡堆疊層數對模型性能的影響Fig.5 Effect of stack layers of graph attention network on model performance

3.5 注意力機制分析

為驗證模型中注意力機制所發揮的作用，本文提取一對在Instant Video 測試集中的用戶（ID 為742）和項目（ID 為1551）的交互記錄（評分為5），并提取模型在此用戶和項目的評論文本圖中所計算的注意力分數。

基于連接關系的圖注意力網絡在用戶和項目的評論文本圖中所計算的注意力分數分別如圖6、圖7所示。由于真實評論文本圖的節點數和鄰點數過多，此處只呈現了部分有說明性的重要節點。可以看出，不同的鄰點擁有不同的注意力權重，并且能夠表達用戶或項目特性的鄰點權重相對更高。例如，在圖6節點“great”的鄰點中，“storyline”（權重0.099 2）和“show”（權重0.098 1）更能表達用戶喜歡視頻的劇情和故事線，則對應的權重更高一些，而鄰點“job”（權重0.056 3）的權重更低一些。圖7 的情況與圖6 類似。因此，基于連接關系的圖注意力網絡可以有效捕捉不同鄰點對中心節點的重要性程度，從而實現過濾信息的作用。

圖6 用戶的部分評論文本圖和注意力分數Fig.6 User’s partial review text graph and attention scores

圖7 項目的部分評論文本圖和注意力分數Fig.7 Item’s partial review text graph and attention scores

基于交互關系的注意力機制在用戶和項目的評論文本圖中所計算的注意力分數（括號中的數值）如表3 所示，這里只呈現和圖6、圖7 相關并且更能說明用戶和項目特性的節點詞。可以看出，在注意力機制中，更能體現其特性的詞的注意力權重更高，而一些無關詞的權重相對較低。如在用戶評論圖中，“characters”和“storyline”的權重更高，說明用戶比較注重視頻的演員和劇情；項目評論圖中“actors”和“story”的權重更高，并且伴有正向評價，說明此視頻的劇情和演員都不錯。因此，用戶對此視頻的評分為5 分，說明喜歡該視頻。基于交互關系的注意力機制可以使得模型更加注重評論中意義豐富的詞，從而實現動態捕捉用戶和項目特性的目的。

表3 部分詞及其對應的基于交互關系的注意力分數Table 3 Partial words and their corresponding attention scores based on interaction

4 結束語

本文提出一種基于評論文本圖表示學習的推薦算法RGP，其能有效融合評論文本和圖表示學習的性能優勢。引入基于連接關系的圖注意力網絡和基于交互關系的注意力機制，可以更加充分地捕捉詞與詞、交互行為與評論文本之間的相關信息。在Amazon 數據集上的實驗結果表明，相對PMF、DAML等算法，RGP 算法可有效提高推薦精度。下一步將嘗試引入更多的非評分輔助信息，以建立更為準確的用戶偏好和項目特征分布，從而提高推薦精度。