融合評論文本層級注意力和外積的推薦方法*

邢長征，趙宏寶，張全貴，郭亞蘭

遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島125105

1 引言

推薦系統(tǒng)是解決信息過載問題的有效方法，并在許多領(lǐng)域取得成功。傳統(tǒng)的推薦主要包括基于協(xié)同過濾的推薦、基于內(nèi)容的推薦和混合推薦。矩陣分解作為協(xié)同過濾推薦的主要方法，利用用戶和物品的潛在因子交互信息來預(yù)測評分，經(jīng)常出現(xiàn)數(shù)據(jù)稀疏性問題。混合推薦利用互聯(lián)網(wǎng)中大量的多源異構(gòu)輔助信息（side information），例如圖像、評論文本和用戶社交關(guān)系[1]，并與協(xié)同過濾推薦結(jié)合，可有效緩解評分矩陣的數(shù)據(jù)稀疏性問題。由于輔助信息中存在一些復(fù)雜特征，如何有效地與協(xié)同過濾推薦算法融合是該類型推薦模型的難點問題[2]。

在輔助信息中，評論文本由于隱含豐富的用戶偏好和物品屬性信息，受到研究人員的廣泛關(guān)注。許多研究工作提出基于主題模型的方法[3-7]來提取評論文本中的主題信息。Wang 等人提出CTR（collaborative topic regression）[3]模型，將潛在狄利克雷概率模型（latent Dirichlet allocation，LDA）、概率矩陣分解（probabilistic matrix factorization，PMF）[8]和協(xié)同過濾方法結(jié)合，用于科學(xué)文章推薦。McAuley 等人[4]提出HFT（hidden factors as topics）模型，使用主題建模技術(shù)來發(fā)現(xiàn)物品或用戶評論的潛在主題。在TopicMF（topic matrix factorization）模型[5]中遵循類似的方法，主要區(qū)別在于它同時為用戶和物品的評論建模。RMR（ratings meet reviews）方法[6]在物品評論文本上應(yīng)用主題建模技術(shù)，并將主題與基于評分的混合高斯模型相結(jié)合來提高評分預(yù)測準(zhǔn)確度。JMARS（jointly modeling aspects，ratings and sentiments）模型[7]基于協(xié)同過濾和主題建模，先挖掘評論文本中用戶和物品的情感主題信息，再和評分聯(lián)系起來。上述研究的局限性是用于評論文本處理的詞袋表示（bag-of-words，BOW）方法，只能對評論文本進(jìn)行淺層理解，忽略掉評論文本中單詞的上下文語義信息。

為克服詞袋表示的缺陷，一些研究方法采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)評論文本中低層特征，并進(jìn)行稠密的高層特征表示[9-12]。Kim 等人[9]提出卷積矩陣因子分解模型（convolutional matrix factorization，ConvMF），采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）處理評論文本，捕獲局部的上下文信息，并與概率矩陣分解（PMF）相結(jié)合，來緩解評分矩陣稀疏性問題。為了同時利用評論文本中隱含的用戶偏好和物品屬性信息，Zheng 等人[10]提出深度協(xié)作神經(jīng)網(wǎng)絡(luò)模型（deep cooperative neural networks，DeepCoNN），為用戶評論集和物品評論集分別建立文本偏好矩陣，用卷積神經(jīng)網(wǎng)絡(luò)分別提取用戶特征和物品特征，最后在共享層采用矩陣分解的方法來預(yù)測評分。Chen等人[11]在此基礎(chǔ)上對用戶評論集和物品評論集采用注意力機(jī)制來挑選有用的評論文本，但在利用CNN進(jìn)行文本卷積處理時，采用了最大池化操作，丟失了評論文本中一些關(guān)鍵信息，從而不能有效地提取評論文本中的語義信息。此外，該模型將評論文本中內(nèi)容的不同部分視為同等重要，忽略了評論文本中的不同主題（aspect）信息對評論文本語義表示的重要性。HAUP（hierarchical attention model for rating prediction by leveraging user and product reviews）[12]模型在DeepCoNN 的基礎(chǔ)上，采用雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)（bidirectional gated recurrent unit，Bi-GRU）構(gòu)建評論的文檔表示，在單詞級和語句級應(yīng)用注意力機(jī)制來識別評論文檔中最重要的部分，但沒有考慮到評論集合中單條評論的有效性。此外，文本情感分析對利用文本中的觀點信息有一定幫助作用。文獻(xiàn)[13]利用詞向量表示文本，以及利用雙向長短期記憶網(wǎng)絡(luò)（bidirectional long short-term memory，Bi-LSTM）為文本的單詞建立上下文依賴關(guān)系，并通過注意力機(jī)制，提取出文本中不同的主題信息。

受上述研究工作啟發(fā)，為了標(biāo)記評論文本中重要的主題信息和有效的評論信息，本文提出融合評論文本層級注意力和外積的推薦模型。采用基于Bi-LSTM 的主題級注意力關(guān)注評論文本中的主題信息，采用評論級注意力關(guān)注有效的評論文本，從而在兩方面充分提取評論文本的語義信息。采用外積對潛在因子模型（latent factor model，LFM）進(jìn)行改進(jìn)，充分考慮用戶和物品特征交互的高階交互關(guān)系。在對比實驗結(jié)果上展示出本文提出模型的有效性。

2 相關(guān)理論

2.1 評論文本的層級注意力

評論文本的層級注意力包括兩部分，分別是對評論文本內(nèi)容應(yīng)用的Bi-LSTM 主題級注意力和對評論集應(yīng)用的評論級注意力。

2.1.1 Bi-LSTM 主題級注意力

在Bi-LSTM 主題級注意力表示層中，采用文本情感分析[13]類似的方法處理評論文本。該表示層的輸入為評論文本單詞序列，輸出為評論文本主題級注意力嵌入（embedding）向量O。圖1 給出了Bi-LSTM 主題級注意力表示層的架構(gòu)。

采用詞嵌入方法將評論中的每個單詞映射到d維向量，將給定評論文本轉(zhuǎn)換為具有固定長度為n的嵌入向量。單詞嵌入采用Glove 在維基百科語料庫中預(yù)訓(xùn)練嵌入。對于一條評論文本V，假定它有n個單詞，用一系列單詞嵌入表示：

其中，wn是一個d維嵌入向量，代表評論文本中第n個單詞。序列V表示為2D 矩陣，將所有單詞嵌入連接起來，其大小為n×d。

此時序列V中的每個單詞向量彼此獨立。為了在單個評論文本中獲得相鄰單詞之間的某種依賴關(guān)系，使用兩個單向的長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）處理評論文本：

假設(shè)評論文本由r個部分組成，每一部分的主題信息可以用一些重要的單詞或者短語表示。為了提取評論文本不同部分的主題信息，采用自注意力機(jī)制（self-attention）對評論文本表示向量H執(zhí)行r次關(guān)注，得到評論文本的主題級注意力向量表示A，如下表示：

其中，A的大小為r×n，Ws1和Ws2是權(quán)重矩陣，Ws1∈，da是可以任意設(shè)置的超參數(shù)，tanh是非線性激活函數(shù)。函數(shù)沿其輸入的第二維執(zhí)行歸一化。可以將式（6）視為兩層沒有偏置項的多層感知器（multi-layer perception，MLP），其隱藏單位數(shù)是da，參數(shù)是{Ws2,Ws1}。

將主題級注意力矩陣A和Bi-LSTM 隱藏狀態(tài)H相乘，得到評論文本注意力嵌入矩陣Mat：

其中，嵌入矩陣Mat對應(yīng)的維度為r×2u。

上述得到的文本特征嵌入矩陣2D 結(jié)構(gòu)，很適合CNN 網(wǎng)絡(luò)來處理，可以保持嵌入矩陣的上下文信息。若采用MLP，需要將矩陣轉(zhuǎn)化為一維向量結(jié)構(gòu)，再進(jìn)行特征表示和映射。由于MLP 對應(yīng)的網(wǎng)絡(luò)層參數(shù)較多，造成網(wǎng)絡(luò)要訓(xùn)練和優(yōu)化的參數(shù)增多，增加網(wǎng)絡(luò)的學(xué)習(xí)負(fù)擔(dān)。此外，Bi-LSTM 處理得到的特征矩陣的列維度較大，CNN 網(wǎng)絡(luò)可對其進(jìn)行局部卷積，以此達(dá)到降維的目的，降低模型學(xué)習(xí)難度，減少冗余維度對模型建模的影響。為了降低嵌入矩陣的維度，在CNN 網(wǎng)絡(luò)中采用和嵌入矩陣列維度相同寬度的卷積核進(jìn)行處理，壓縮列維度特征。在此處的CNN網(wǎng)絡(luò)不采用池化層（pooling layers），比如最大池化（max pooling）、平均池化（mean pooling），因為池化層在對嵌入矩陣進(jìn)行下采樣過程只會保留局部接收域的最大值（或平均值），丟失特征矩陣的關(guān)鍵信息。因此，對嵌入矩陣Mat采用卷積層來進(jìn)一步提取特征。卷積層由m個神經(jīng)元組成，每個神經(jīng)元與卷積核K∈?τ×2u相關(guān)聯(lián)，對嵌入矩陣Mat應(yīng)用卷積運算，第j個神經(jīng)元產(chǎn)生的局部特征zj為：

其中，biasj是偏置項，?是卷積運算，ReLU 是非線性激活函數(shù)。

卷積層的最終輸出將m個神經(jīng)元的輸出串聯(lián)，得到評論文本的特征向量O：

2.1.2 評論級注意力

本文采用文獻(xiàn)[11]提出的評論級注意力方法挑選評論集中有效的評論文本。以物品評論集為例（用戶評論集處理與其類似），評論級注意力表示的目標(biāo)是在物品i的評論集中選擇有代表性的評論特征，并將這些特征進(jìn)行線性組合來表示物品i。在評論集中，應(yīng)用雙層網(wǎng)絡(luò)來計算注意力分?jǐn)?shù)ail。注意力網(wǎng)絡(luò)的輸入中包含物品i的第l個評論的特征向量(Oil)和用戶ID（ID 嵌入表示，uil）。添加用戶ID 用來標(biāo)記填寫評論的用戶，這有助于識別始終編寫無效評論的用戶。注意力網(wǎng)絡(luò)為：

在獲得每個評論的注意力之后，物品i的特征向量被計算為以下加權(quán)和：

其中，s為物品評論集中評論文本的個數(shù)；Ori為基于評論級注意力的輸出向量，通過區(qū)分每條評論的貢獻(xiàn)，并在向量空間中表示物品i的特征。

將Ori傳遞到具有權(quán)重矩陣和偏置項的全連接層，計算物品評論集的k維特征向量表示Yi：

2.2 LFM 潛在因子模型和外積運算

潛在因子模型（LFM）是一類基于矩陣分解的算法，用于預(yù)測用戶u對物品i的評分如下[11]：

其中，全局平均評分為μ，用戶偏置項為bu，物品偏置項為bi以及用戶和物品的交互為。此外，pu和qi分別是表示用戶偏好和物品特征的k維因子。

在協(xié)同過濾的經(jīng)典模型中，將用戶和物品表示為潛在因子向量，用兩者的交互作為用戶向量和物品向量之間的內(nèi)積。矩陣分解采用內(nèi)積作為交互函數(shù)。內(nèi)積交互函數(shù)如下[14]：

在內(nèi)積隱含假設(shè)中，向量維度間需相互獨立，然而這種假設(shè)并不符合實際情況，向量維度可以解釋為物品的某些屬性，它們不一定相互獨立[15]。利用外積[16-17]顯式地為向量維度之間的成對關(guān)系建模，得到一個2D 矩陣，記為特征交互圖（interaction map）E0，表示為：

其中，E0是k×k矩陣，其中每個元素被評估為。

矩陣中的對角線部分表示內(nèi)積操作，通過考慮不同向量維度之間的相關(guān)性，它比矩陣分解方法包含更多高階的特征表示。

3 融合評論文本層級注意力和外積的推薦方法

3.1 模型體系結(jié)構(gòu)

Fig.2 Neural network architecture of RHAOR圖2 RHAOR 的神經(jīng)網(wǎng)絡(luò)架構(gòu)

本文提出模型——融合評論文本層級注意力和外積的推薦方法（review text hierarchical attention and outer product for recommendation method，RHAOR）的體系結(jié)構(gòu)如圖2 所示。該模型由兩個并行的神經(jīng)網(wǎng)絡(luò)組成，一個用于用戶建模(Netu)，另一個用于物品建模(Neti)。在兩個網(wǎng)絡(luò)的頂部，添加外積交互層和多卷積隱藏層以構(gòu)建和提取用戶和物品的潛在因子的外積交互特征表示，并在預(yù)測層計算模型的最終預(yù)測評分。

由于Netu和Neti僅在模型的輸入中有所不同，本文將重點詳細(xì)說明Neti的過程。對具有相似結(jié)構(gòu)的Netu應(yīng)用相同的處理過程。在Neti的第一階段，提出的模型需要分別處理物品i的每條評論。首先，將每個評論轉(zhuǎn)換為單詞向量矩陣，將其表示為Vi1,Vi2,…,Vis。其次，應(yīng)用Bi-LSTM 主題級注意力，從輸出中獲得物品評論集的一組特征向量，記為Oi1,Oi2,…,Ois。最后，對Neti的物品評論集中應(yīng)用評論級注意力，獲得物品評論集的特征表示Yi。同理可得，用戶評論集的特征表示為Xu。

3.2 外積交互層

近年來，Zhang 等人提出CoupledCF（neural useritem coupling learning for collaborative filtering）方法[17]為用戶/項目的多屬性信息建立成對的外積交互矩陣來學(xué)習(xí)顯式的嵌入特征表示，并用于深度協(xié)同過濾推薦任務(wù)。受其啟發(fā)，本文采用外積交互層處理用戶評論和物品評論的多主題間依賴關(guān)系建立外積交互表示。因此，在同一向量空間中，將用戶ID 嵌入和用戶評論集特征聯(lián)合表示用戶特征，將物品ID 嵌入和物品評論集特征聯(lián)合表示物品特征，分別得到用戶特征向量P和物品特征向量Q：

其中，pu和qi分別是用戶ID 嵌入和物品ID 嵌入，用來唯一標(biāo)識參與評分預(yù)測的目標(biāo)用戶和物品。Xu和Yi分別是用戶評論集特征和物品評論集特征。

對用戶特征向量P和物品特征向量Q進(jìn)行外積

交互，得到一個外積特征交互圖E，如下：其中，?表示兩向量元素的外積交互操作，k為外積預(yù)測因子。特征交互圖E的大小為k×k。

采用外積交互表示具有如下優(yōu)勢：（1）基于內(nèi)積交互的矩陣分解方法只包含外積交互矩陣的對角元素信息，忽略了不同特征維度間的依賴關(guān)系。而外積交互表示得到的外積交互矩陣不僅包含內(nèi)積交互信息，還會考慮不同特征維度間的高階交互信息。（2）此外，外積交互表示可提高深度學(xué)習(xí)模型在稀疏數(shù)據(jù)上的泛化能力，提高模型推薦性能。

3.3 多卷積隱藏層

在外積特征交互圖上是多卷積隱藏層（multiconvolution hidden layer），其目標(biāo)是從交互圖中提取更高抽象級別的特征表示。特征交互圖的結(jié)構(gòu)很適合采用多層CNN 網(wǎng)絡(luò)來處理，特征交互圖的處理過程與圖像的像素矩陣處理類似，可以用多個卷積核將特征圖進(jìn)行下采樣，不斷提取特征圖的局部信息，構(gòu)建特征圖的全局上下文信息，經(jīng)過多層卷積網(wǎng)絡(luò)處理，得到外積特征點。與MLP 相比，網(wǎng)絡(luò)隱層權(quán)重參數(shù)相對較少，模型訓(xùn)練過程中需要優(yōu)化的參數(shù)較少，模型訓(xùn)練時間短。為了能夠從交互特征圖中提取到有效的外積表示，本文采用和文獻(xiàn)[16]中相同的方式，采用特定的卷積網(wǎng)絡(luò)結(jié)構(gòu)，處理2D 特征交互圖。其中，輸入特征圖E的維度為k×k，卷積隱藏層個數(shù)為lbk，卷積核大小為2×2，步長為2，指定卷積核K′的個數(shù)為nc=32。第c個卷積隱藏層中的特征映射表示為2D 矩陣Ec，第c個隱藏層的所有特征圖表示為3D 張量εc。給定輸入交互圖E，經(jīng)過卷積處理，第c層的特征圖表示如下：其中，K′表示卷積核，?表示卷積操作，表示第c層的偏置項。

最后一層輸出大小為1×1×nc的張量，經(jīng)過維度調(diào)整得到長度為nc的向量Vece，傳遞到具有權(quán)重矩陣We∈?1×nc和偏置項be∈?1的全連接層來計算多卷積隱藏層的最終輸出g。

3.4 評分預(yù)測層

在評分預(yù)測層中，受文獻(xiàn)[14]和文獻(xiàn)[16]的啟發(fā)，本文對LFM 進(jìn)行改進(jìn)，將外積交互和多卷積隱藏層引入LFM 中，最終將多卷積隱藏層的輸出值g傳遞給改進(jìn)的LFM 以得到實值評分：

其中，bu、bi和μ分別表示用戶偏置項、物品偏置項和全局偏置項。bu和bi分別反映不同用戶和不同物品對評分?jǐn)?shù)據(jù)的影響，μ是全部評分?jǐn)?shù)據(jù)的平均值，反映不同數(shù)據(jù)集用戶平均評分差異。外積交互g反映用戶對物品的局部偏好，而偏置項反映全局偏好，即全部用戶對物品的群體意見（全局偏好）。因此，用戶對物品的最終偏好評分預(yù)測由局部偏好和全局偏好共同決定。

3.5 目標(biāo)函數(shù)優(yōu)化

由于本文所關(guān)注的任務(wù)是評分預(yù)測，常用的目標(biāo)函數(shù)是均方誤差（mean square error，MSE）[4,11,18]：

其中，T表示訓(xùn)練實例的集合，而Ru,i是用戶u指定給物品i的真實評分。是懲罰項，即模型的參數(shù)向量Δ的L2 范數(shù)，描述模型參數(shù)的復(fù)雜度。λΔ是L2 正則化參數(shù)，可以調(diào)整均方誤差和懲罰項之間的關(guān)系。如果模型發(fā)生過擬合，懲罰項會變得很大，通過調(diào)整正則化參數(shù)的大小，可以對懲罰項大小進(jìn)行約束。

模型網(wǎng)絡(luò)中所有的參數(shù)在訓(xùn)練過程中采用后向傳播技術(shù)進(jìn)行優(yōu)化。此外，模型還采用Dropout 防止過擬合，Dropout 在訓(xùn)練過程中通過隨機(jī)丟棄神經(jīng)網(wǎng)絡(luò)中的一些神經(jīng)元以及連接權(quán)重，提高模型的泛化能力。而在模型測試過程中進(jìn)行評分預(yù)測時，Dropout 設(shè)置為不可用狀態(tài)，即對測試網(wǎng)絡(luò)中的參數(shù)不進(jìn)行丟棄。為了優(yōu)化目標(biāo)函數(shù)，采用Adam 作為優(yōu)化器。它的主要優(yōu)點是學(xué)習(xí)率可以在訓(xùn)練階段自動調(diào)整，并獲得比隨機(jī)梯度下降法（stochastic gradient descent，SGD）更快的收斂速度。

4 實驗

本文實驗是在單機(jī)下進(jìn)行操作的，系統(tǒng)為Ubuntu16.04 LTS，Intel?Corei7-6800K@3.40 GHz CPU，16 GB 內(nèi)存，使用Python3.6 語言和Tensorflow 1.12.0深度學(xué)習(xí)庫實現(xiàn)。使用Yelp 和Amazon 的公開數(shù)據(jù)集來評估提出的模型。本章將介紹這些數(shù)據(jù)集以及具體的實驗設(shè)置。

4.1 數(shù)據(jù)集

本文使用4 個來自不同域的公開數(shù)據(jù)集驗證模型的性能。3 個數(shù)據(jù)集來自Amazon 的5-core 商品評論數(shù)據(jù)集（http://jmcauley.ucsd.edu/data/amazon），分別是Amazon Instant Video、Grocery and Gourmet Food和Toys and Games。另一個數(shù)據(jù)集來自Yelp Challenge 2013 的餐廳評論數(shù)據(jù)集（https://www.kaggle.com/c/yelp-recsys-2013/data）。同時，對Yelp 2013 數(shù)據(jù)集進(jìn)一步處理，確保所有用戶和物品至少有5 個評分。上述4 個數(shù)據(jù)集的評分范圍是1～5 分。表1 總結(jié)了這些數(shù)據(jù)集的相關(guān)信息。

Table 1 Related information of datasets表1 數(shù)據(jù)集的相關(guān)信息

4.2 評價指標(biāo)

當(dāng)評分預(yù)測結(jié)果為實值，采用廣泛使用的均方根誤差[11,18-19]（root mean square error，RMSE）來衡量算法在評分預(yù)測中的準(zhǔn)確性。一個較小的均方根誤差代表較好的性能。RMSE 定義為：

其中，N表示所有測試實例的數(shù)目。

4.3 對比模型

將提出的模型與以下傳統(tǒng)的模型進(jìn)行對比。

（1）PMF 模型[8]。通過引入高斯分布為用戶和物品的潛在因子建模。

（2）HFT 模型[4]。使用矩陣分解和LDA 為評分和評論文本建模。

（3）ConvMF 模型[9]。將CNN 與PMF 結(jié)合，并使用CNN 來提取物品評論文檔的潛在特征。

（4）自適應(yīng)主題注意力模型A3NCF（adaptive aspect attention-based neural collaborative filtering）[18]。能夠捕獲用戶對物品不同主題的注意力，并通過構(gòu)建主題模型從評論文本中提取用戶偏好和物品特征。

（5）DeepCoNN 模型[10]。采用兩個并行的CNN網(wǎng)絡(luò)來對評論文本中用戶行為和物品屬性進(jìn)行建模。

（6）NARRE（neural attentional regression model with review-level explanations）模型[11]。通過引入注意力機(jī)制來探索評論文本的有效性，并在評分預(yù)測過程中提供評論級的解釋。

4.4 參數(shù)選取

將數(shù)據(jù)集隨機(jī)切分成訓(xùn)練集（80%）、驗證集（10%）和測試集（10%）。驗證集用來調(diào)整超參數(shù)，而最終的算法性能比較在測試集中進(jìn)行。對比算法的參數(shù)按照對應(yīng)的論文初始化，然后經(jīng)過微調(diào)實現(xiàn)最優(yōu)性能。對于PMF，設(shè)置潛在因子數(shù)量為10。對于HFT，設(shè)置主題數(shù)量為5。對本文提出的算法RHAOR，采用網(wǎng)格搜索方法尋找最優(yōu)參數(shù)。學(xué)習(xí)率在{0.000 02,0.000 20,0.002 00,0.020 00,0.200 00}范圍中查找。為防止過擬合，L2 正則化參數(shù)λΔ在{0.001,0.010,0.100,1.000,10.000}中查找，將Dropout 在{0.1,0.3,0.5,0.7,0.9}中進(jìn)行查找。每次處理的數(shù)據(jù)量大小（Batch size）在{16,32,64,128}中查找。Bi-LSTM 的隱層神經(jīng)元數(shù)量在{16,32,64,128}中查找。外積交互層預(yù)測因子數(shù)量在{8,16,32,64}中查找。主題級注意力超參數(shù)da在{20,30,40,50}中查找，超參數(shù)r在{10,20,30,40}中查找。在參數(shù)調(diào)整好以后，主題級注意力處理模塊中CNN 網(wǎng)絡(luò)的卷積核大小設(shè)置為（3,64），對應(yīng)卷積核個數(shù)設(shè)置為32。多卷積隱藏層中各卷積隱層的卷積核大小設(shè)置為（2,2），對應(yīng)各層卷積核個數(shù)設(shè)置均為32。此外，本文使用預(yù)訓(xùn)練的Glove 詞嵌入維度為100。經(jīng)過多次調(diào)整，選取一組最優(yōu)模型參數(shù)，如表2 所示。

在驗證集上來探索模型參數(shù)設(shè)置。在Amazon Instant Video 和Toys and Games 數(shù)據(jù)集上，通過多次實驗，選擇不同預(yù)測因子k對RMSE的影響，如圖3所示。為驗證RHAOR外積交互的有效性，將RHAOR進(jìn)行擴(kuò)展，將評分預(yù)測階段的3 個網(wǎng)絡(luò)層（外積交互層、多卷積隱藏層和評分預(yù)測層）替換為基于LFM 的評分預(yù)測層[11]，得到變體模型RHAOR_I。

Table 2 Model parameter setting表2 模型參數(shù)設(shè)置

Fig.3 Effect of different predictive factors on rating performance圖3 不同預(yù)測因子對評分性能的影響

探討預(yù)測因子的數(shù)量，預(yù)測因子分別取[8,16,32,64]。本文提出的RHAOR 算法隨著預(yù)測因子k的增加一直優(yōu)于對比算法。RHAOR、DeepCoNN和NARRE均在k=32 時性能達(dá)到最佳。

4.5 實驗結(jié)果與分析

實驗1（推薦準(zhǔn)確度）本文模型和現(xiàn)有模型在所有數(shù)據(jù)集上的RMSE值在表3 給出。RHAOR_I 為本文模型RHAOR 的變體，采用的是矩陣分解的點積交互預(yù)測評分，分析得出如下結(jié)論：

（1）考慮評論文本的方法（HFT、ConvMF、A3NCF、DeepCoNN、NARRE 和RHAOR）推薦性能優(yōu)于僅考慮評分的協(xié)同過濾模型（PMF）。評論信息比評分信息豐富，能夠提高潛在因子的表示能力。因此，高質(zhì)量的建模有助于更好地學(xué)習(xí)用戶偏好和物品特征，提高評分預(yù)測準(zhǔn)確率。

（2）采用深度學(xué)習(xí)技術(shù)（ConvMF、A3NCF、Deep-CoNN、NARRE 和RHAOR）的方法通常優(yōu)于基于主題模型的方法（HFT）。原因如下：文獻(xiàn)[10]顯示，在評論文本分析方面上，和主題模型（比如LDA）相比，神經(jīng)網(wǎng)絡(luò)擁有更強大的特征提取能力。深度學(xué)習(xí)用非線性方式對用戶和物品進(jìn)行建模[14]，這是傳統(tǒng)基于協(xié)同過濾模型的局限性。基于深度學(xué)習(xí)的方法可以采用Dropout、正則化等技術(shù)手段來避免模型訓(xùn)練過程過擬合，增強模型的魯棒性。

（3）如表3 所示，本文方法（RHAOR）始終優(yōu)于現(xiàn)有的對比方法，這驗證了提出模型的有效性。RHAOR采用主題級注意力和評論級注意力，挖掘評論文本中的語義信息，緩解了評分?jǐn)?shù)據(jù)稀疏性問題。并為用戶潛在表示和物品潛在表示建立外積交互，以及采用多卷積隱藏層提取高階交互關(guān)系，以達(dá)到提高評分預(yù)測準(zhǔn)確率的目的。

（4）與傳統(tǒng)的點積預(yù)測模型（RHAOR_I）相比，基于外積預(yù)測的模型（RHAOR）展示出更好的性能。驗證了外積交互層和多卷積隱層的有效性，即外積交互能夠構(gòu)建關(guān)于用戶和物品之間的嵌入維度的多種非線性交互的信息，多卷積隱層能夠進(jìn)一步提取外積交互矩陣的高階非線性特征，兩者共同提高了算法的評分預(yù)測性能。

實驗2（不同層級注意機(jī)制的有效性分析）當(dāng)不使用評論級注意力時，將為每條評論文本分配標(biāo)準(zhǔn)化的恒定權(quán)重；當(dāng)不考慮主題級注意力時，主題級注意力退化為正常的Bi-LSTM 文本處理模塊。本文將RHAOR 進(jìn)行不同程度的更改以得到變體模型，以驗證不同層級注意力對文本處理語義分析的影響。將僅考慮主題級注意力的模型命名為RHAOR_A，將僅考慮評論級注意力的模型命名為RHAOR_R，將不使用主題級和評論級注意力的模型命名為RHAOR_N。應(yīng)用不同級注意力的比較結(jié)果如圖4 所示。

Table 3 Performance comparison of all methods on 4 datasets (RMSE)表3 所有方法在4 個數(shù)據(jù)集上的性能比較(RMSE)

Fig.4 Effcet of different level attention mechanisms圖4 不同層級注意力機(jī)制的影響

從圖4 中可以看出，當(dāng)應(yīng)用注意機(jī)制時，與不采用注意力相比，評分預(yù)測的性能得到顯著改善。此外，層級注意方法可以進(jìn)行更精確的預(yù)測，從而驗證了本文方法的有效性。從主題級注意力方法的較好表現(xiàn)來看，與評論級相比，其對模型性能提升有更多的貢獻(xiàn)。

5 結(jié)束語

本文方法利用層級注意力來關(guān)注評論文本不同主題信息和評論文本的有效性，進(jìn)一步提高評分預(yù)測的精度和可解釋性。采用Bi-LSTM 表示評論文本中上下文和單詞序列的語義信息，并同時考慮評論文本的主題級和評論級注意力，標(biāo)記評論文本中的多主題語義信息和有效的評論文本。采用外積交互表示用戶偏好和物品特征的高階非線性交互關(guān)系。該方法通過在Amazon 和Yelp 數(shù)據(jù)集上的實驗進(jìn)行驗證，與現(xiàn)有方法相比，提出方法通過細(xì)粒度挖掘評論文本的多層次語義信息，顯著提高了評分的預(yù)測水平。今后的研究將考慮用戶和物品多屬性信息和評論文本信息的結(jié)合，評論文本和社交關(guān)系結(jié)合對推薦結(jié)果的影響。并嘗試采用中文語料庫，探索融合評論文本的推薦方法在中文語境下的應(yīng)用。