基于評(píng)論個(gè)性化多層注意力的商品推薦算法

馮興杰 曾云澤

(中國(guó)民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 天津 300300)

0 引 言

推薦系統(tǒng)是一種在電商平臺(tái)中十分常見(jiàn)的信息過(guò)濾系統(tǒng)，它能基于用戶(hù)的歷史記錄來(lái)學(xué)習(xí)用戶(hù)的興趣和愛(ài)好，進(jìn)而推測(cè)用戶(hù)的偏好和對(duì)商品的評(píng)分。

近年大量推薦算法被相繼提出，其中預(yù)測(cè)用戶(hù)對(duì)未知商品的評(píng)分是一個(gè)主要分支。特別是作為工業(yè)界中極其流行的一種技術(shù)——協(xié)同過(guò)濾，其中很多都是僅使用評(píng)分?jǐn)?shù)據(jù)的矩陣分解方法，但其性能主要受評(píng)分?jǐn)?shù)據(jù)天然的稀疏性所制約。使用評(píng)論文本來(lái)對(duì)用戶(hù)偏好和商品特點(diǎn)進(jìn)行建模，是緩解數(shù)據(jù)稀疏的有效途徑[1,4]。例如：ConvMF[1]將CNN結(jié)合到概率矩陣分解，能同時(shí)挖掘評(píng)分?jǐn)?shù)據(jù)和商品描述文本數(shù)據(jù)；ANR[4]利用注意力機(jī)制，將評(píng)論與用戶(hù)不同方面的偏好相結(jié)合來(lái)提高推薦性能。

盡管各種推薦算法性能的提高越來(lái)越顯著，但是對(duì)于不同用戶(hù)或商品時(shí)，提取評(píng)論信息所使用的模型是相同的，忽略了用戶(hù)和商品的個(gè)性化特征。例如，假設(shè)用戶(hù)A更關(guān)注價(jià)格問(wèn)題，用戶(hù)B更關(guān)心質(zhì)量問(wèn)題，他們同時(shí)寫(xiě)了一條相似的評(píng)論：該平板電腦價(jià)格高昂、質(zhì)量不錯(cuò)。用戶(hù)A由于價(jià)格的問(wèn)題給出了一個(gè)不滿(mǎn)意的評(píng)分，而用戶(hù)B則給出了滿(mǎn)意的評(píng)分。因此，對(duì)于不同的用戶(hù)或商品，意思相近的一條評(píng)論將會(huì)有不同具體含義。特別是在學(xué)習(xí)用戶(hù)偏好和商品特點(diǎn)的時(shí)候，要求模型學(xué)習(xí)出個(gè)性化的評(píng)論含義顯得尤為重要。

本文提出基于個(gè)性化的多層注意力推薦算法PMAR(Personalized Multiple Attention Recommender)。具體地，PMAR包含兩個(gè)模塊：個(gè)性化評(píng)論編碼器和個(gè)性化用戶(hù)(商品)編碼器。在個(gè)性化評(píng)論編碼器中，先使用雙向GRU對(duì)評(píng)論進(jìn)行編碼，使單詞編碼能考慮評(píng)論中的前后向上下文信息，然后基于單詞級(jí)別的個(gè)性化注意力找出與當(dāng)前用戶(hù)(商品)最相關(guān)的單詞，進(jìn)而匯聚得到個(gè)性化的評(píng)論的隱表示；在個(gè)性化用戶(hù)(商品)編碼器中，基于評(píng)論級(jí)別的個(gè)性化注意機(jī)制，將個(gè)性化評(píng)論隱表示匯聚成用戶(hù)(商品)隱向量。最后為了綜合考慮用戶(hù)隱因子和商品隱因子對(duì)最終評(píng)分的影響，設(shè)計(jì)了一種融合門(mén)機(jī)制將二者融合成一條隱向量，并將該隱向量送入因子分解機(jī)進(jìn)一步挖掘不同隱因子間二階組合影響，從而預(yù)測(cè)出最終用戶(hù)對(duì)商品的評(píng)分。

1 相關(guān)工作

目前結(jié)合評(píng)論文本進(jìn)行評(píng)分預(yù)測(cè)任務(wù)的相關(guān)工作眾多，它們主要分為兩類(lèi)：基于主題模型的方法，基于深度學(xué)習(xí)的方法。

1.1 基于主題模型的方法

在傳統(tǒng)自然語(yǔ)言處理領(lǐng)域，主要的文本數(shù)據(jù)特征提取器為主題模型LDA，基于評(píng)論文本的推薦算法也都是基于LDA來(lái)完成推薦任務(wù)。首個(gè)采用評(píng)論數(shù)據(jù)進(jìn)行推薦的工作是HFT[5]，其將以往的矩陣分解與LDA相結(jié)合。隨后同樣將LDA作為文本編碼器的工作有RMR[6]和TopicMF[7]。RMR將LDA與混合高級(jí)模型相結(jié)合進(jìn)一步提高評(píng)分預(yù)測(cè)精度。TopicMF通過(guò)非負(fù)矩陣分解得到評(píng)論的隱主題，并使得主題分布與用戶(hù)(商品)隱因子建立映射關(guān)系。

隨著自然語(yǔ)言處理技術(shù)的不斷進(jìn)步，CNN、RNN已經(jīng)逐漸取代LDA，發(fā)展成為最主流的文本編碼器，因而近年來(lái)基于深度學(xué)習(xí)的推薦算法已經(jīng)成為研究熱點(diǎn)。

1.2 基于深度學(xué)習(xí)的方法

最初使用深度學(xué)習(xí)組件CNN來(lái)提取評(píng)論信息進(jìn)行推薦任務(wù)的是ConvMF，其能從評(píng)論文本中提取出用戶(hù)和商品更深層的隱表達(dá)。而且CNN能夠捕獲卷積窗口內(nèi)的局部上下文信息，ConvMF比基于LDA的方法取得一定的提升。隨后同樣基于CNN所做的改進(jìn)工作如下：(1) DeepCoNN[2]指出ConvMF只使用了商品評(píng)論的信息，而忽略了用戶(hù)評(píng)論，因而DeepCoNN采用并行的兩個(gè)CNN同時(shí)提取用戶(hù)評(píng)論和商品評(píng)論的信息；(2) TransNet[8]指出DeepCoNN在訓(xùn)練過(guò)程中保留待預(yù)測(cè)用戶(hù)-商品對(duì)的評(píng)論是不合理的，因此其通過(guò)一個(gè)特制層使得模型能預(yù)測(cè)出待預(yù)測(cè)用戶(hù)-商品對(duì)的評(píng)論的隱表達(dá)；(3) DRMF[9]在并行雙CNN之后添加上一層雙向GRU，達(dá)到捕獲評(píng)論間交互信息的目的，其可以算作首個(gè)嘗試運(yùn)用RNN進(jìn)行推薦的模型；(4) NARRE[3]同樣采用雙CNN結(jié)構(gòu)，是首次通過(guò)注意力機(jī)制考慮評(píng)論對(duì)建模貢獻(xiàn)的模型，其性能有著大幅度的提升。

上述研究表明，采取何種文本編碼器對(duì)最終的模型性能并不能起到?jīng)Q定性作用。要取得進(jìn)一步的性能提升，需要從編碼過(guò)程如何結(jié)合實(shí)際的用戶(hù)(商品)個(gè)性化信息著手。MPCN[10]采用Co-Attention機(jī)制，將用戶(hù)評(píng)論的編碼過(guò)程與商品評(píng)論的編碼過(guò)程產(chǎn)生交互，這可以看作是在用戶(hù)評(píng)論編碼的過(guò)程引入了商品個(gè)性化信息，在商品評(píng)論編碼過(guò)程引入了用戶(hù)個(gè)性化信息。ANR是首個(gè)考慮評(píng)論不同方面(Aspect)編碼的模型，因此對(duì)于同一條評(píng)論能編碼出在不同方面下所對(duì)應(yīng)的評(píng)論隱向量，能更好地從不同方面擬合用戶(hù)的個(gè)性化信息。

盡管上述不同方法都能從不同方向進(jìn)行改進(jìn)，但是它們都忽略了用戶(hù)單詞級(jí)別、評(píng)論級(jí)別的個(gè)性化信息。因此，本文主要從這兩個(gè)方面研究和實(shí)現(xiàn)了不同注意力機(jī)制來(lái)解決該問(wèn)題。另外，用戶(hù)和商品隱向量的最終融合交互方式是能影響模型性能的部分，因此本文提出了一種基于門(mén)控機(jī)制的融合策略。

2 本文模型

圖1 模型整體示意圖

圖2 用戶(hù)評(píng)論網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)圖

2.1 個(gè)性化評(píng)論編碼器

在用戶(hù)評(píng)論網(wǎng)絡(luò)，給定一個(gè)用戶(hù)u的評(píng)論集Ru={r1,r2,…,rc}，其中c表示用戶(hù)評(píng)論集的最大評(píng)論數(shù)。特別地，每條評(píng)論rk都僅保留c′個(gè)單詞。

由于每個(gè)用戶(hù)(商品)都具有一個(gè)唯一的ID，本文先使用第一個(gè)全連接層(Multilayer Perceptron,MLP)將該ID映射成一個(gè)低維向量uw∈Rn，該向量用于捕獲該用戶(hù)單詞級(jí)別的個(gè)性信息，其表達(dá)式為：

uw=ReLU(W1uid+b1)

(1)

式中：W1表示第一個(gè)MLP的權(quán)重；b1是偏倚項(xiàng)；uid為用戶(hù)u的ID。

每個(gè)用戶(hù)發(fā)表評(píng)論時(shí)的用詞習(xí)慣及詞語(yǔ)所表達(dá)的極性都具有個(gè)性化特性，為了使得單詞隱向量具有個(gè)性化特性，這里首先需要學(xué)習(xí)出針對(duì)某用戶(hù)u的單詞級(jí)別的注意力向量，其具體計(jì)算如下：

(2)

(3)

2.2 個(gè)性化用戶(hù)(商品)編碼器

考慮到R中并不是所有信息都有利于構(gòu)建用戶(hù)偏好向量，其存在少量不相關(guān)信息。因此，在匯聚c條評(píng)論前，本文添加一個(gè)門(mén)控機(jī)制來(lái)控制信息流。具體地，門(mén)控機(jī)制的輸入為R，其輸出為一個(gè)門(mén)控權(quán)重矩陣g∈Rc×2o：

g=σ(RWg+bg)

(4)

式中：σ為sigmoid函數(shù)；Wg∈R2o×2o為權(quán)重矩陣；bg為偏倚項(xiàng)。接下來(lái)使用g來(lái)控制R中各維度能流入下一層的信息量：

Rg=R*g

(5)

式中：*是對(duì)應(yīng)元素的乘法，使得R和g中對(duì)應(yīng)元素相乘，得到調(diào)整后的c條評(píng)論的表達(dá)為Rg∈Rc×2o。

現(xiàn)實(shí)中同一種表達(dá)方式或相似的評(píng)論，對(duì)于不同的用戶(hù)將會(huì)產(chǎn)生出不同的情感極性。為了能基于用戶(hù)的個(gè)性化信息來(lái)將匯聚c條評(píng)論用戶(hù)的偏好向量，這里首先使用第二個(gè)MLP將用戶(hù)ID映射成評(píng)論級(jí)別的低維向量ur∈Rn：

ur=ReLU(W2uid+b2)

(6)

式中：W2為第二個(gè)MLP的權(quán)重矩陣;b2為偏倚項(xiàng)。由于不同評(píng)論對(duì)用戶(hù)偏好的建模貢獻(xiàn)程度都不一樣，這里需要學(xué)習(xí)出評(píng)論級(jí)別的個(gè)性化注意力向量：

(7)

(8)

以上介紹了在用戶(hù)評(píng)論網(wǎng)絡(luò)中從用戶(hù)評(píng)論集到用戶(hù)偏好向量U的處理過(guò)程。同理，在商品評(píng)論網(wǎng)絡(luò)中，從商品評(píng)論集同樣可以得到商品特點(diǎn)向量I∈R1×2o。

2.3 個(gè)性化評(píng)分預(yù)測(cè)

在獲取到用戶(hù)偏好向量U和商品特點(diǎn)向量I后，以往的工作都是將二者拼接后送入因子分解機(jī)[12](Factorization Machines,FM)中回歸出預(yù)測(cè)評(píng)分。FM的優(yōu)點(diǎn)是能挖掘特征向量中二階組合的影響。然而，本文認(rèn)為通過(guò)拼接的方式來(lái)融合U和I的信息是相對(duì)樸素的手段，因此本文采用了一種基于門(mén)控機(jī)制的融合層，其能在維度層級(jí)進(jìn)行向量間的融合[11]：

G=σ(UWG1+IWG2+bG)

(9)

Z=G*U+(1-G)*I

(10)

(11)

式中：b是全局偏倚項(xiàng)；wi是一次項(xiàng)的權(quán)重；〈vi,vj〉表示向量?jī)?nèi)積，其用于捕獲二階項(xiàng)交互的權(quán)重。

2.4 模型訓(xùn)練

本文模型的任務(wù)是預(yù)測(cè)出評(píng)分，實(shí)際上屬于回歸任務(wù)，常用的目標(biāo)函數(shù)為評(píng)分損失函數(shù)：

(12)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集和評(píng)估指標(biāo)

本文實(shí)驗(yàn)使用的是公開(kāi)的亞馬遜評(píng)論數(shù)據(jù)集，其中包含24個(gè)類(lèi)別的子集，本文選取其中3個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，它們分別為T(mén)ools and Home(TH)、Sports and Outdoors(SO)和Automotive(AT)。數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示。

表1 數(shù)據(jù)集信息

模型的性能評(píng)估指標(biāo)使用的是MSE(均方誤差)，其值越小代表模型預(yù)測(cè)得越準(zhǔn)確，計(jì)算公式如下：

(13)

3.2 對(duì)比模型

本文模型主要是使用評(píng)論數(shù)據(jù)作為輸入來(lái)預(yù)測(cè)評(píng)分，用作對(duì)比的經(jīng)典模型有LFM[14]、NueMF[15]、ConvMF[1]、DeepCoNN[2]和NARRE[3]。其中評(píng)分?jǐn)?shù)據(jù)指的是用戶(hù)ID或商品ID，評(píng)論貢獻(xiàn)指的是模型是否有區(qū)分評(píng)論集中各條評(píng)論的貢獻(xiàn)。表2為對(duì)比模型比較。

表2 對(duì)比模型比較

(1) LFM：最經(jīng)典的矩陣分解算法，其僅用到評(píng)分?jǐn)?shù)據(jù)，推薦性能?chē)?yán)重受數(shù)據(jù)稀疏所影響。

(2) NeuMF：可以看作是LFM的深度學(xué)習(xí)版本。在LFM的基礎(chǔ)上，添加深層的MLP來(lái)進(jìn)行評(píng)分預(yù)測(cè)。

(3) ConvMF：首個(gè)使用文本信息進(jìn)行評(píng)分預(yù)測(cè)的工作，采用CNN提取文本信息，并融入到概率矩陣分解中。

(4) DeepCoNN：首個(gè)將評(píng)論數(shù)據(jù)劃分為用戶(hù)評(píng)論集和商品評(píng)論集的模型，采用兩個(gè)CNN分別提取二者的信息來(lái)進(jìn)行評(píng)分預(yù)測(cè)。

(5) NARRE：在DeepCoNN的基礎(chǔ)上進(jìn)行改進(jìn)，首次提出需要使用注意力機(jī)制來(lái)區(qū)分各條評(píng)論的貢獻(xiàn)。

3.3 實(shí)驗(yàn)方案和模型超參數(shù)

為了實(shí)驗(yàn)的公平性，參照對(duì)比模型的文獻(xiàn)，采取相同的劃分策略：隨機(jī)將實(shí)驗(yàn)數(shù)據(jù)集劃分為訓(xùn)練集(80%)、驗(yàn)證集(10%)和測(cè)試集(10%)。在實(shí)驗(yàn)中，NeuMF采用三個(gè)全連接層，采用塔式結(jié)構(gòu)，即從第一層到第三層的神經(jīng)元為64、32、16。ConvMF、DeepCoNN和NARRE這三個(gè)基于CNN的模型，其卷積核個(gè)數(shù)都設(shè)置為50，卷積核大小為3。ConvMF、DeepCoNN、NARRE和本文模型都使用50維的Glove預(yù)訓(xùn)練詞向量[15]。每個(gè)模型取得最優(yōu)結(jié)果時(shí)，所需的用戶(hù)(商品)特征向量的隱因子數(shù)都不同，因此實(shí)驗(yàn)中的隱因子個(gè)數(shù)在[5,10,15,20,25]五個(gè)數(shù)中遍歷，選取最優(yōu)結(jié)果進(jìn)行輸出。

3.4 性能對(duì)比

表3為各種算法在三個(gè)數(shù)據(jù)集上的對(duì)比結(jié)果。

表3 各種算法在三個(gè)數(shù)據(jù)集上的結(jié)果

總體來(lái)看，僅使用評(píng)分?jǐn)?shù)據(jù)的模型(LFM，NeuMF)的性能遠(yuǎn)不如使用評(píng)論數(shù)據(jù)的模型，僅使用評(píng)論數(shù)據(jù)的模型(ConvMF，DeepCoNN)性能不如同時(shí)使用評(píng)分?jǐn)?shù)據(jù)和評(píng)論數(shù)據(jù)的模型(NARRE，PMAR)。另外，由于NARRE考慮了每條評(píng)論對(duì)建模的貢獻(xiàn)，能夠抑制無(wú)用評(píng)論對(duì)模型的影響，從而比不考慮評(píng)論貢獻(xiàn)的模型(ConvMF，DeepCoNN)的性能有較大幅度的提升。然而上述模型在對(duì)評(píng)論文本編碼的過(guò)程中，都忽略了個(gè)性化編碼，即使兩個(gè)不同的用戶(hù)發(fā)表了一模一樣的評(píng)論，該評(píng)論編碼出來(lái)的隱表達(dá)是相同的。針對(duì)該問(wèn)題，本文PMAR算法分別引入了單詞級(jí)別的個(gè)性化注意力機(jī)制，使得評(píng)論編碼的過(guò)程中引入了用戶(hù)(商品)的個(gè)性化信息。相比NARRE，PMAR在考慮評(píng)論貢獻(xiàn)的基礎(chǔ)上，引入了評(píng)論級(jí)別的個(gè)性化注意力，使得從評(píng)論隱表達(dá)匯集成用戶(hù)(商品)隱向量的過(guò)程中引入了個(gè)性化信息，因此取得了最好的性能。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證PMAR單詞級(jí)別、評(píng)論級(jí)別的個(gè)性化注意力、門(mén)控機(jī)制的影響，本節(jié)設(shè)置了如下變體算法進(jìn)行對(duì)比實(shí)驗(yàn)。

(1) PMAR-W：在PMAR的基礎(chǔ)上，消除了單詞級(jí)別個(gè)性化注意力機(jī)制。即將各個(gè)單詞的貢獻(xiàn)視為等同。具體的做法是將式(3)中的sw設(shè)置為sw=softmax(w)，其中w=1，w∈Rc×c′×1中的各個(gè)元素的值都為1。

(2) PMAR-R：在PMAR的基礎(chǔ)上，消除了評(píng)論級(jí)別個(gè)性化注意力機(jī)制，即將各條評(píng)論的貢獻(xiàn)視為等同。具體的做法是將式(3)中的sr設(shè)置為sr=softmax(w)，其中w=1，w∈Rc×1中的各個(gè)元素的值都為1。

(3) PMAR-WR：在PMAR的基礎(chǔ)上，同時(shí)消除了單詞、評(píng)論級(jí)別個(gè)性化注意力機(jī)制，將各單詞、各評(píng)論的貢獻(xiàn)視為等同。

(4) PMAR-G：用戶(hù)偏好向量U和商品特點(diǎn)向量I后，都是直接將二者拼接來(lái)達(dá)到融合特征的目的。為了驗(yàn)證PMAR的門(mén)控融合機(jī)制，該變體采用拼接策略代替門(mén)控融合機(jī)制，即將式(10)修改為Z=U⊕I，其中⊕表示拼接操作。

各種變體算法和PMAR算法在3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖3所示。變體PMAR-WR由于不考慮各個(gè)單詞、各條評(píng)論的貢獻(xiàn)，且不具有個(gè)性化編碼的特性，其性能最差。PMAR-W和PMAR-R由于不考慮單詞級(jí)別或評(píng)論級(jí)別的貢獻(xiàn)，都受到一定程度的影響，性能都不如標(biāo)準(zhǔn)的PMAR。另外，PMAR-W總會(huì)比PMAR-R更差，本文認(rèn)為這是由于PMAR-W取消的單詞級(jí)別注意力機(jī)制更接近模型的輸入層，不僅影響了單詞的編碼也影響了評(píng)論的編碼，其影響的覆蓋范圍比評(píng)論級(jí)別注意力更大。為了探究門(mén)控融合機(jī)制的影響，將其取代為DeepCoNN和NARRE所使用的拼接策略，結(jié)果表明，本文采用的門(mén)控融合機(jī)制能進(jìn)一步提升模型性能。

圖3 各種變體算法的性能

3.6 可解釋性實(shí)驗(yàn)

近年的模型對(duì)評(píng)論文本進(jìn)行處理，將用戶(hù)偏好和商品特點(diǎn)映射到相應(yīng)的子空間，進(jìn)而預(yù)測(cè)出用戶(hù)和商品之間的契合程度(用戶(hù)對(duì)商品的評(píng)分)。但是，僅基于預(yù)測(cè)的評(píng)分進(jìn)行推薦面臨可解釋性差的問(wèn)題。因此本文設(shè)置了單詞級(jí)別和評(píng)論級(jí)別的注意力機(jī)制，要求模型得出預(yù)測(cè)評(píng)分的同時(shí)，找出能體現(xiàn)用戶(hù)偏好和商品特點(diǎn)的單詞和評(píng)論。在最理想的情況下，如果預(yù)測(cè)出的評(píng)分低，則能體現(xiàn)用戶(hù)偏好的單詞與最能體現(xiàn)商品特點(diǎn)的單詞將相矛盾；如果預(yù)測(cè)出的評(píng)分高，則能體現(xiàn)二者特性的單詞將相匹配。

表4展示了數(shù)據(jù)集 Tools and Home的四個(gè)不同用戶(hù)-商品對(duì)的評(píng)論，其中前兩個(gè)評(píng)論對(duì)是高評(píng)分，后兩個(gè)評(píng)論對(duì)是低評(píng)分。對(duì)于每一個(gè)評(píng)論對(duì)，表中展示了其用戶(hù)評(píng)論集中注意力得分最高的一條評(píng)論(最能體現(xiàn)用戶(hù)偏好的評(píng)論)和商品評(píng)論集中注意力得分最高的一條評(píng)論(最能體現(xiàn)商品特點(diǎn)的評(píng)論)。同時(shí)，黑色選中的單詞是評(píng)論中注意力得分高的單詞，顏色越黑代表注意力分值越高。

表4 注意力分值可視化

觀察前兩個(gè)預(yù)測(cè)評(píng)分高的評(píng)論對(duì)，在用戶(hù)568的評(píng)論中，看出該用戶(hù)比較注重“comfortable”方面，這與商品52的“comfortable”的特點(diǎn)所匹配；在用戶(hù)2272的評(píng)論中，知道該用戶(hù)比較注重商品“easy”“setup”等易用性方面，這與商品5090中“setup”“no issues”等相匹配。相反，對(duì)于后兩個(gè)預(yù)測(cè)評(píng)分低的評(píng)論對(duì)，用戶(hù)619要求不能太重而商品1175則太重，用戶(hù)29傾向價(jià)格實(shí)惠而商品1052則價(jià)格過(guò)高。

實(shí)驗(yàn)驗(yàn)證了本文模型能夠從評(píng)論和單詞級(jí)別提高預(yù)測(cè)評(píng)分的可解釋性。特別是在給用戶(hù)推薦商品的同時(shí)，通過(guò)展示注意力得分高的評(píng)論和單詞給用戶(hù)，更好地提高用戶(hù)對(duì)推薦系統(tǒng)的信任度，并促進(jìn)用戶(hù)體驗(yàn)。

4 結(jié) 語(yǔ)

針對(duì)相關(guān)工作中忽略了單詞、評(píng)論個(gè)性化信息的問(wèn)題，本文提出單詞級(jí)別、評(píng)論級(jí)別的個(gè)性化注意力機(jī)制，進(jìn)一步提高推薦結(jié)果的可解釋性。另外為了確保用戶(hù)和商品隱向量之間的交互，本文設(shè)計(jì)出一種基于門(mén)控機(jī)制的融合策略，能取代以往工作中相對(duì)簡(jiǎn)單的拼接策略，進(jìn)一步提高評(píng)分預(yù)測(cè)性能。

未來(lái)將采用目前最先進(jìn)的文本編碼器(BERT、CapsuleNet)，并結(jié)合Co-Attention機(jī)制引入更高級(jí)的用戶(hù)和商品的交互。