融合短文本層級注意力和時(shí)間信息的推薦方法

邢長征，郭亞蘭，張全貴，趙宏寶

遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島125105

互聯(lián)網(wǎng)和信息技術(shù)的突飛猛進(jìn)，使用戶和項(xiàng)目數(shù)量、種類大規(guī)模增長，同時(shí)也使信息過載問題日益嚴(yán)重，而推薦系統(tǒng)的出現(xiàn)能夠有效緩解信息過載問題，在購物、醫(yī)療和教育等領(lǐng)域被廣泛應(yīng)用。

在推薦系統(tǒng)中，如何準(zhǔn)確學(xué)習(xí)用戶和項(xiàng)目表示對于推薦項(xiàng)目是非常重要的[1]。經(jīng)典的協(xié)同過濾推薦算法基于用戶歷史記錄（顯性評分、點(diǎn)擊率等信息）為用戶和項(xiàng)目進(jìn)行建模[2-5]。但協(xié)同過濾算法在推薦過程中不具有可解釋性且存在冷啟動問題，因此，通過用戶對項(xiàng)目的顯性評分等信息為用戶和項(xiàng)目準(zhǔn)確建模存在一定的困難。

互聯(lián)網(wǎng)和信息技術(shù)的發(fā)展使越來越多的數(shù)據(jù)能夠被感知獲取。包含圖像、文本、標(biāo)簽在內(nèi)的多源異構(gòu)數(shù)據(jù)蘊(yùn)含著豐富的用戶行為信息及個(gè)性化需求信息，融合了多源異構(gòu)輔助信息的混合推薦方法由于能夠緩解傳統(tǒng)推薦系統(tǒng)中的數(shù)據(jù)稀疏和冷啟動問題，越來越受到重視[6]。用戶對項(xiàng)目的評論包含豐富的信息，不僅能夠反映項(xiàng)目的部分特征，還能夠表達(dá)用戶偏好。不同用戶在同一項(xiàng)目下的評論能夠反映出該項(xiàng)目的特征；同一用戶對不同項(xiàng)目的評論文本潛在地包含用戶的偏好，提供用戶的豐富信息，因此，當(dāng)用戶對項(xiàng)目顯性評分?jǐn)?shù)據(jù)稀疏時(shí)，用戶對項(xiàng)目的評論文本可以顯著加強(qiáng)用戶和項(xiàng)目的表示學(xué)習(xí)，對提高推薦系統(tǒng)的性能是非常有幫助的[7]。

神經(jīng)網(wǎng)絡(luò)可以對評論文本進(jìn)行深層次理解，保留評論文本的上下文語義信息。因此，整合評論文本為用戶和項(xiàng)目建模做推薦的深度學(xué)習(xí)技術(shù)已經(jīng)引起了越來越多的關(guān)注[7-12]。其中，Zheng 等人[7]提出的DeepCoNN（deep cooperative neural networks）模型，Chen 等人[8]提出的NARRE（neural attentional regression model with review-level explanations）模型，Seo 等人提出的D-Attn[9]模型（dual attention based model）和Wang等人提出的WCN[10]模型（word-driven and context-aware networks），具有優(yōu)越的推薦性能，但是仍然存在一些缺陷：（1）DeepCoNN[7]、NARRE[8]、D-Attn[9]和WCN[10]將多條評論文本連接成一個(gè)長文檔，采用基于局部視野的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼，丟失的長距離特征較多。（2）DeepCoNN[7]、D-Attn[9]、WCN[10]模型將文檔中的不同單詞、評論視為同等重要；NARRE[8]模型應(yīng)用評論級注意力來區(qū)分不同評論對用戶和項(xiàng)目建模的重要性。實(shí)際上，不同的單詞、評論在用戶和項(xiàng)目建模時(shí)有不同的貢獻(xiàn)。（3）現(xiàn)有的神經(jīng)網(wǎng)絡(luò)推薦模型，對用戶嵌入和項(xiàng)目嵌入通過簡單的連接或逐元素的乘積，只考慮了用戶和項(xiàng)目屬性的低階交互關(guān)系。（4）上述模型都忽略了時(shí)間因素對用戶偏好預(yù)測和項(xiàng)目特征提取的影響，隨著時(shí)間的變化，用戶的興趣、偏好以及項(xiàng)目的特征也會不斷變化。

基于以上幾點(diǎn)原因，本文提出基于深度學(xué)習(xí)的推薦模型，融合短文本層級注意力和時(shí)間信息的推薦方法（recommendation method integrating review text hierarchical attention with time information，RHATR）。該方法具體內(nèi)容如下：

（1）充分利用用戶對項(xiàng)目的評分和短文本信息，短文本信息可展示用戶對項(xiàng)目所有特征中某個(gè)特征的喜歡與否；評分信息可以反映用戶對某一項(xiàng)目的感興趣程度。通過對單條評論文本應(yīng)用單詞級注意力，挖掘單條評論文本中情感詞和關(guān)鍵詞等有效信息，學(xué)習(xí)用戶和項(xiàng)目表示；對含有時(shí)間因素的用戶評論集和項(xiàng)目評論集分別應(yīng)用評論級注意力，提取有效的評論，進(jìn)一步學(xué)習(xí)用戶和項(xiàng)目動態(tài)表示。

（2）將交互建模為用戶嵌入和項(xiàng)目嵌入的點(diǎn)積用外積代替。外積運(yùn)算過程中，不僅包含內(nèi)積結(jié)果，還含有更多的特征。充分考慮了用戶屬性和項(xiàng)目特征的高階交互相關(guān)性，使得交互更具有表達(dá)性和語義上的合理性。

1 相關(guān)工作

最近幾年，通過用戶對項(xiàng)目的評分信息為用戶做推薦的方法有基于矩陣分解和深度學(xué)習(xí)兩種。矩陣分解是主流的協(xié)同過濾方法[2,5,13-14]，例如，Koren 等人[2]提出了基于奇異值（singular value decomposition，SVD）矩陣分解，從用戶和項(xiàng)目的評分矩陣來學(xué)習(xí)用戶和項(xiàng)目的潛在表示。Salakhutdinov 等人[5]提出基于概率的矩陣分解模型（probabilistic matrix factorization，PMF），將評分矩陣分解為兩個(gè)低維矩陣的乘積，分別表示用戶屬性和項(xiàng)目屬性。由于用戶和項(xiàng)目之間的關(guān)系由簡單的幾個(gè)因素線性組合決定，只能提取模型的淺層次特征。李婷等人[15]提出了一種將用戶歷史行為歸一化為用戶對項(xiàng)目的評分的方法，從而緩解顯性評分稀疏性問題，使用改進(jìn)的皮爾遜相關(guān)系數(shù)（Pearson correlation coefficient，PCC）計(jì)算用戶之間的相似性，并利用增量更新算法計(jì)算當(dāng)前用戶和其他用戶之間的相似性，而不是所有的用戶。該方法很好地應(yīng)用在個(gè)性化網(wǎng)站上。但是基于用戶的增量協(xié)同過濾算法只能提取用戶偏好的淺層次特征。

隨著深度學(xué)習(xí)的發(fā)展，為了挖掘模型的深層次特征，基于深度學(xué)習(xí)的推薦方法被廣泛應(yīng)用于推薦系統(tǒng)。Wu 等人[16]提出一種協(xié)同去噪自動編碼器（collaborative denoising auto-encoders，CDAE），該模型利用可見層和隱藏層兩層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)用戶和項(xiàng)目的分布式表示，為神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)中的應(yīng)用提供了廣闊前景。Li 等人[17]提出邊緣化去噪自動編碼器（marginalized denoising auto-encoder，MDA），將深度學(xué)習(xí)和矩陣分解相結(jié)合，來提取用戶和項(xiàng)目的深層次特征。

上述方法僅利用用戶對項(xiàng)目的評分?jǐn)?shù)據(jù)，從評分矩陣中來學(xué)習(xí)用戶和項(xiàng)目的表示，忽略了隱含豐富語義信息的評論文本。信息技術(shù)的發(fā)展造成了評分?jǐn)?shù)據(jù)的稀疏性問題，該問題制約著協(xié)同過濾模型的推薦性能。大型商務(wù)網(wǎng)站的用戶和項(xiàng)目數(shù)量非常龐大，用戶對項(xiàng)目的評分一般不超過項(xiàng)目總數(shù)的1%，兩個(gè)用戶共同評分的項(xiàng)目更是少之又少，數(shù)據(jù)稀疏性問題是影響推薦系統(tǒng)性能的關(guān)鍵因素。為了緩解數(shù)據(jù)稀疏性問題，利用評論文本進(jìn)一步加強(qiáng)用戶和項(xiàng)目表示，可以有效提高推薦系統(tǒng)性能。

融合評論文本為用戶和項(xiàng)目建模成為近年來的研究熱點(diǎn)。從評論文本中學(xué)習(xí)用戶和項(xiàng)目表示已經(jīng)引起了越來越多的關(guān)注[1,7-9,18-22]。許多現(xiàn)有方法從評論中提取主題為用戶和項(xiàng)目建模。例如，McAuley 和Leskovec[18]提出隱因子作為主題的方法，使用主題模型技術(shù)狄利克雷概率模型從評論中去發(fā)現(xiàn)用戶和項(xiàng)目的潛在方面。最近幾年，一些基于深度學(xué)習(xí)的方法從評論文本中學(xué)習(xí)用戶和項(xiàng)目表示做推薦[1,7-9,19-21]。Zheng 等人[7]提出的深度協(xié)作神經(jīng)網(wǎng)絡(luò)（DeepCoNN）模型，由兩個(gè)并行卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）組成，分別從用戶評論集和項(xiàng)目評論集挖掘用戶偏好和項(xiàng)目特征，從而學(xué)習(xí)用戶和項(xiàng)目表示，很大程度上提高了推薦系統(tǒng)的性能。DeepCoNN模型的用戶（項(xiàng)目）評論集是由評論連接得到的一個(gè)長文檔，訓(xùn)練中要擬合目標(biāo)用戶對目標(biāo)項(xiàng)目的評分時(shí)，目標(biāo)用戶對目標(biāo)項(xiàng)目的評論包含在文檔中。實(shí)際中，預(yù)測目標(biāo)用戶對目標(biāo)項(xiàng)目的評分時(shí)，一般是得不到目標(biāo)用戶對目標(biāo)項(xiàng)目的評論，存在一定的不合理性。Catherine和Cohen[19]在DeepCoNN 模型的基礎(chǔ)上提出TransNets方法（transformational neural networks）來學(xué)習(xí)用戶和項(xiàng)目表示，TransNets 方法在擬合目標(biāo)用戶對目標(biāo)項(xiàng)目的評分時(shí)，將目標(biāo)用戶對目標(biāo)項(xiàng)目的評論從文檔中刪去，利用卷積神經(jīng)網(wǎng)絡(luò)得到用戶特征向量和項(xiàng)目特征向量表示。這些模型將同一個(gè)用戶/同一個(gè)項(xiàng)目的評論文本連接成一個(gè)文檔，將文檔中的不同評論視為同樣重要，忽略了文檔中不同單詞、不同評論對語義表示的重要性。實(shí)際上，不同的單詞、評論在用戶和項(xiàng)目建模時(shí)往往有不同的貢獻(xiàn)。Chen 等人[8]提出的NARRE 模型，對同一個(gè)用戶/同一個(gè)項(xiàng)目的評論集采用注意力機(jī)制挖掘有效的評論，但在利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行文本卷積處理時(shí)，采用最大池化操作，丟失了評論文本中一些重要信息，因此評論文本中的語義信息不能有效提取。另外，張祖平等人[23]提出了一種基于用戶歷史行為融合TextRank 和Word2Vec 的推薦方法，通過深度學(xué)習(xí)技術(shù)挖掘用戶行為序列間的相似關(guān)系，但Word2Vec對用戶行為進(jìn)行訓(xùn)練時(shí)，相似語境中的單詞具有相似的語義信息，訓(xùn)練結(jié)果不受單詞上下文順序的影響，不考慮句法和語法信息。邢長征等人[24]在DeepCoNN和NARRE 的基礎(chǔ)上提出了RHAOR 模型（recommendation method integrating review text hierarchical attention with outer product），該模型利用兩個(gè)并行的神經(jīng)網(wǎng)絡(luò)通過主題級和評論級注意力網(wǎng)絡(luò)對用戶和項(xiàng)目評論集進(jìn)行處理。上述方法忽略了用戶偏好和項(xiàng)目特征會隨時(shí)間而變化。

用戶興趣和項(xiàng)目特征并不是一成不變的，文獻(xiàn)[25]指出用戶未來的興趣偏好主要受其近期興趣的影響，也有文獻(xiàn)[26]指出用戶的部分偏好在時(shí)間的影響下，具有季節(jié)性或者周期性的特征，根據(jù)時(shí)間和用戶歷史行為的不同為用戶進(jìn)行動態(tài)推薦是有助于提高推薦系統(tǒng)的性能的。因此，考慮用戶的時(shí)間信息特征，根據(jù)時(shí)間和用戶狀態(tài)的不同進(jìn)行動態(tài)推薦是有必要的。

信息種類的不斷更新，使用戶偏好隨著時(shí)間的變化也在不斷變化，用戶的偏好包括長期偏好和短期偏好。長期偏好反映用戶的真實(shí)興趣[27]，短期偏好常與最新更新的項(xiàng)目相關(guān)聯(lián)。時(shí)間因素對用戶偏好和項(xiàng)目特征存在一定影響，如圖1 所示，某用戶在2010 年9 月7 日對電影Gator Girl的評分為1 分，而該用戶在2010 年11 月8 日對同一部電影的評分為5分。用戶在不同的時(shí)間觀看同一部電影給出了不同的評分和評論，因此在為用戶做推薦時(shí)，應(yīng)考慮時(shí)間因素對用戶偏好的影響。粗略統(tǒng)計(jì)，同一用戶在不同時(shí)間對同一項(xiàng)目進(jìn)行了不同的評分和評論的數(shù)據(jù)在Movies_and_TV 數(shù)據(jù)集中占7.2%。由此可見，在提取用戶偏好的時(shí)候，應(yīng)該考慮時(shí)間因素的影響。

Fig.1 Examples of original reviews圖1 原始評論示例

為了進(jìn)一步加強(qiáng)用戶和項(xiàng)目的表示學(xué)習(xí)，捕捉用戶偏好和項(xiàng)目特征的動態(tài)變化，從而提高推薦系統(tǒng)性能，本文提出融合短文本層級注意力和時(shí)間信息的推薦方法（RHATR），對單條評論文本應(yīng)用單詞級注意力，來提取單條評論文本中的情感詞和關(guān)鍵詞等有效信息。對帶有時(shí)間因素的用戶評論集和帶有時(shí)間因素的項(xiàng)目評論集分別應(yīng)用評論級注意力網(wǎng)絡(luò)，來關(guān)注近期有效的評論文本。將交互建模為用戶嵌入和項(xiàng)目嵌入的點(diǎn)積用外積代替，挖掘用戶和項(xiàng)目屬性的高階交互關(guān)系。

2 融合短文本層級注意力和時(shí)間信息的推薦方法（RHATR）

2.1 評論文本的層級注意力

評論文本的層級注意力包括兩部分：第一部分是對單條評論文本中的單詞應(yīng)用單詞級注意力，最終得到單條評論文本的編碼；第二部分是對用戶評論集和項(xiàng)目評論集分別應(yīng)用評論級注意力，來獲取用戶對評論文本的偏好和項(xiàng)目與評論文本之間的相關(guān)性，并通過時(shí)間信息挖掘時(shí)間因素對用戶偏好和項(xiàng)目與特征的影響，最終得到用戶和項(xiàng)目編碼。整體網(wǎng)絡(luò)架構(gòu)圖如圖2。

2.1.1 評論文本編碼

評論文本編碼單元用來從單詞中學(xué)習(xí)評論文本表示。從圖2 中可以看出，評論文本編碼單元主要有三層。第一層為單詞嵌入，將單條評論文本中的單詞轉(zhuǎn)化為序列表示；第二層為單詞級注意力網(wǎng)絡(luò)，采用自注意力機(jī)制對單條評論文本中的每個(gè)單詞向量表示執(zhí)行關(guān)注，得到單條評論文本的單詞級注意力向量表示；第三層為兩個(gè)單向的長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM），為了在單詞級注意力向量表示中獲得相鄰單詞間的某種依賴關(guān)系，最終得到評論文本表示向量。

第一層為單詞嵌入層，將單詞序列轉(zhuǎn)換為包含這些單詞語義信息的低維稠密向量。單條評論文本r由M個(gè)單詞[w1,w2,…,wM]組成，其中wM表示第M個(gè)單詞。通過采用GloVe 在維基百科語料庫中預(yù)訓(xùn)練嵌入，M個(gè)單詞組成的單條評論文本r用單詞嵌入表示：

其中，eM是D維嵌入向量，詞嵌入矩陣E∈RM×D,表示為2D矩陣，其中M表示每條評論文本中的單詞個(gè)數(shù)，D表示單詞嵌入維度。

第二層為單詞級注意力網(wǎng)絡(luò)。在為用戶和項(xiàng)目建模時(shí)，每條評論文本中，不同的單詞包含的信息量以及重要性不盡相同。例如，在Amazon Instant Video數(shù)據(jù)集中的一條評論文本“Enjoyed some of the comedians，it was a joy to laugh after losing my father whom I was a caregiver for”，“Enjoyed”和“comedians”這兩個(gè)單詞明顯比類似“I”和“for”等單詞更具有信息量，更能反映出用戶對項(xiàng)目的主觀意見以及項(xiàng)目的特性。因此，為了用戶和項(xiàng)目建模更加有效，利用單詞級注意力機(jī)制來選擇和關(guān)注重要的單詞。

Fig.2 Network architecture diagram圖2 網(wǎng)絡(luò)架構(gòu)圖

對于由M個(gè)單詞組成的單條評論文本，每一個(gè)單詞對于用戶和項(xiàng)目建模的重要性不同。為了提取評論文本的重要信息，采用自注意力機(jī)制對單詞嵌入表示向量E執(zhí)行R次關(guān)注，得到單條評論文本的單詞級注意力向量表示A：

其中，A表示通過注意力網(wǎng)絡(luò)的計(jì)算得到每個(gè)單詞在每條評論文本中的重要性，大小為R×M。W1∈RV×D，W2∈RR×V是權(quán)重矩陣，V是可以任意設(shè)置的超參數(shù)。tanh()和softmax()函數(shù)均為非線性激活函數(shù)。F表示保存對每個(gè)單詞的關(guān)注度不變的情況下，降低對不相關(guān)單詞的關(guān)注，F(xiàn)∈RR×D。

第三層為兩個(gè)單向的長短期記憶網(wǎng)絡(luò)（LSTM）。針對循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，RNN）在長序列訓(xùn)練過程中存在梯度爆炸和梯度消失問題，LSTM 由于其自身設(shè)計(jì)的特點(diǎn)，適用于對具有時(shí)序和依賴性的文本類數(shù)據(jù)進(jìn)行建模。對于評論文本中每個(gè)單詞都不是孤立存在的，都依賴單詞的上下文信息。而LSTM 能夠有效捕捉整條語句的上下文信息，加強(qiáng)對上下文的理解。本文應(yīng)用LSTM 獲取單條評論文本中相鄰單詞間的某種依賴關(guān)系，將矩陣F表示為[f1,f2,…,fR]，使用兩個(gè)單向的長短期記憶網(wǎng)絡(luò)處理評論文本：

其中，H為評論文本表示向量，H∈RR×2I。

BI-LSTM 很好地利用了評論文本的上下文信息進(jìn)行處理，但得到的特征矩陣H的列維度較大，包含的信息過多。通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行降維處理，從而找出關(guān)鍵特征。因此，采用CNN 來處理不僅可以保持嵌入矩陣的上下文信息，而且可以對矩陣H進(jìn)行局部卷積，從而達(dá)到降維目的，減少冗余維度，即非關(guān)鍵信息對模型建模的影響，使模型學(xué)習(xí)難度降低。

最近幾年，許多基于深度學(xué)習(xí)的文本處理方法比傳統(tǒng)的方法取得更好的性能，例如TextCNN 和TextRNN。本文在DeepCoNN 模型上進(jìn)行改進(jìn)，在DeepCoNN 中，CNN 采用池化層，由于池化層在對嵌入矩陣進(jìn)行下采樣的過程中，僅僅保留了局部接受域的最大值，會丟失特征矩陣的關(guān)鍵信息。因此，本文利用CNN 對評論文本向量H進(jìn)一步提取特征時(shí)不采用池化層，而采用卷積層。

設(shè)卷積層由m個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元與卷積核K∈Rτ×2I相關(guān)聯(lián)，對嵌入矩陣H進(jìn)行卷積運(yùn)算，第j個(gè)神經(jīng)元產(chǎn)生的局部特征zj表示為式（8）：

其中，bj是偏置項(xiàng)，*是卷積操作，relu 是非線性激活函數(shù)。

其中，W∈R1×(R-τ+1)表示權(quán)重矩陣，bj∈R1表示偏置項(xiàng)。

將m個(gè)神經(jīng)元的輸出串聯(lián)，得到單條評論文本的特征向量[o1,o2,…,om]。同理，最終得到用戶評論集的特征向量α：

其中，ouP表示用戶u的第P條評論的特征向量。

2.1.2 用戶/項(xiàng)目編碼

用戶/項(xiàng)目編碼單元是基于用戶評論/項(xiàng)目評論表示，用來進(jìn)一步加強(qiáng)用戶/項(xiàng)目表示。在為用戶和項(xiàng)目建模時(shí)，同一個(gè)用戶/同一個(gè)項(xiàng)目的不同評論往往能夠反映出不同的用戶偏好和項(xiàng)目特征。而且用戶的偏好和項(xiàng)目與評論文本之間的相關(guān)性會隨時(shí)間的改變而變化。

因此，本文通過對含有時(shí)間因素的用戶評論集和項(xiàng)目評論集采用評論級注意力網(wǎng)絡(luò)來進(jìn)一步加強(qiáng)用戶和項(xiàng)目表示。采用文獻(xiàn)[8]提出的評論級注意力方法挑選評論集中有效的評論文本。以用戶評論集為例，用戶/項(xiàng)目表示的目標(biāo)是在用戶u的評論中選擇關(guān)鍵評論特征，并將這些特征線性組合來表示用戶u。注意力網(wǎng)絡(luò)的輸入包括用戶u的第P條評論的特征向量、第P條評論的時(shí)間和項(xiàng)目ID。添加項(xiàng)目ID 用來標(biāo)記被用戶評論過的項(xiàng)目。

為了衡量時(shí)間因素對用戶偏好的影響，使用文獻(xiàn)[28]提出的自適應(yīng)指數(shù)遺忘函數(shù)來定義用戶評論的新穎性，如式（12）：

其中，α為調(diào)整新穎性下降速度的超參數(shù)，times(u,r)返回一個(gè)非負(fù)整數(shù)。

對考慮時(shí)間信息的用戶評論集，注意力網(wǎng)絡(luò)表示為式（13），得到用戶評論集中用戶對每條不同評論文本的偏好程度：

其 中，Wo∈Rl×m，Wi∈Rl×m,b1∈Rl×1,h∈Rl×1和b2∈R1×1屬于模型參數(shù)，l為注意力網(wǎng)絡(luò)的中間層大小，β為用于調(diào)整時(shí)間因素對用戶和評論文本相關(guān)性影響的超參數(shù)，XuP表示第P條評論對用戶u的特征集貢獻(xiàn)。

在獲得每個(gè)評論的注意力之后，用戶u的特征向量加權(quán)和表示為式（14）：

其中，P為用戶評論集中評論文本的個(gè)數(shù)。Ou為基于評論級注意力的輸出向量，通過區(qū)分每條評論的貢獻(xiàn)，并在向量空間中表示用戶u的特征。

將Ou傳遞到全連接層，計(jì)算用戶評論集的k維特征向量表示Xu：

其中，權(quán)重矩陣Wo∈Rk×m，b0∈Rk。

2.2 評分預(yù)測

對于得到的用戶和項(xiàng)目表示Xu、Xi，采用外積交互層型[29]來獲取不同特征維度間的高階交互信息，得到用戶特征向量和項(xiàng)目特征向量的外積特征交互圖；在外積交互圖上利用多卷積隱藏層來提取更高抽象級別的特征表示；最后采用基于矩陣分解算法的潛在因子模型進(jìn)行評分預(yù)測。

外積交互層：已知得到的用戶評論集特征向量Xu和項(xiàng)目評論集特征向量Xi，在同一向量空間中，將用戶ID 嵌入、項(xiàng)目ID 嵌入分別與用戶評論集特征Xu、項(xiàng)目評論集特征Xi聯(lián)合來表示用戶特征嵌入Pu和項(xiàng)目特征嵌入Qi，如式（16）、式（17）：

其中，pu和qi分別表示用戶ID 嵌入和項(xiàng)目ID 嵌入，用來唯一標(biāo)識參與評分預(yù)測的目標(biāo)用戶和項(xiàng)目。Xu和Xi分別表示用戶評論集特征和項(xiàng)目評論集特征。

對用戶特征嵌入Pu和項(xiàng)目特征嵌入Qi進(jìn)行外積交互，得到一個(gè)外積交互圖E，如式（18）：

其中，E是k×k的矩陣。

多卷積隱藏層：本文采用多卷積隱藏層來從上述矩陣中挖掘更抽象級別的特征表示。對E進(jìn)行卷積處理，第i層的如下：

其中，K′表示卷積核，*表示卷積運(yùn)算，bi′表示第i層的偏置項(xiàng)。

最終輸出的張量大小為1×1×n，通過調(diào)整維度得到向量V。經(jīng)過式（21）計(jì)算多卷積隱藏層的輸出z。

其中，We表示權(quán)重矩陣，大小為1×n；be表示偏置項(xiàng)，大小為1×1。

評分預(yù)測層：本文利用基于矩陣分解算法的潛在因子模型，來預(yù)測用戶u對項(xiàng)目i的評分Ru,i，如式（22）：

其中，z表示多卷積層的輸出，反映用戶對項(xiàng)目的局部偏好，bu和bi分別表示用戶和項(xiàng)目的偏置項(xiàng)，反映了不同用戶、不同項(xiàng)目對評分?jǐn)?shù)據(jù)的影響；μ表示全局偏置項(xiàng)，為所有評分?jǐn)?shù)據(jù)的平均值，反映了在不同數(shù)據(jù)集上，用戶評分的差異。

2.3 網(wǎng)絡(luò)模型訓(xùn)練

本文的主要目標(biāo)是進(jìn)行評分預(yù)測，將其視為回歸任務(wù)，均方誤差（mean square error，MSE）用于網(wǎng)絡(luò)模型訓(xùn)練。目標(biāo)函數(shù)如式（23）：

當(dāng)模型欠擬合時(shí)，只需要調(diào)節(jié)正則化因子λ，調(diào)小甚至置零；過擬合時(shí)將其調(diào)大。

3 實(shí)驗(yàn)

本文實(shí)驗(yàn)環(huán)境的操作系統(tǒng)是Ubuntu16.04，顯卡GTX1080Ti，CPU 型號E5-2673v3 48 核64 GHz。通過tensorflow-gpu1.14.0 和python3.6 的深度學(xué)習(xí)庫來實(shí)現(xiàn)。

3.1 數(shù)據(jù)集

本文使用包括用戶評論、評論時(shí)間和評分信息的4 個(gè)公開數(shù)據(jù)集來驗(yàn)證模型的性能。其中3 個(gè)數(shù)據(jù)集來自Amazon 的5-core 項(xiàng)目評論數(shù)據(jù)集（http://jmcauley.ucsd.edu/data/amazon），分別是Amazon_Instant_Video、Toys_and_Games、Kindle_Store。另一個(gè)數(shù)據(jù)集來自Yelp Challenge 2017（https://www.yelp.com/dataset_challenge）的餐廳評論數(shù)據(jù)集。實(shí)驗(yàn)僅保留每個(gè)用戶的9 條評論和每個(gè)項(xiàng)目的36 條評論。表1 總結(jié)了每個(gè)數(shù)據(jù)集的用戶總數(shù)、物品總數(shù)、評論總數(shù)。這些數(shù)據(jù)集的評分在區(qū)間[1,5]，每條評論均有相應(yīng)的用戶評論時(shí)間。

Table 1 Related information of datasets used in experiments表1 本文實(shí)驗(yàn)數(shù)據(jù)集的相關(guān)信息

3.2 評價(jià)指標(biāo)

實(shí)驗(yàn)采用均方根誤差（RMSE）作為評價(jià)指標(biāo)。當(dāng)評分預(yù)測結(jié)果為實(shí)值，均方根誤差為評分預(yù)測值Ru,i與真實(shí)值誤差的平方和與所有測試實(shí)例數(shù)目N比值的平方根，如式（25）。均方根誤差用來反映推薦算法在評分預(yù)測中的準(zhǔn)確性。均方根誤差越小，模型的性能越好；反之，均方根誤差越大，誤差的離散度較高，模型的性能越差，反映了在評分預(yù)測中，評分預(yù)測值偏離真實(shí)值較大。

3.3 性能評估

將提出的模型與以下傳統(tǒng)的模型進(jìn)行對比。

（1）概率矩陣分解模型（PMF）[5]：僅利用用戶對項(xiàng)目的評分信息，通過矩陣分解為用戶和項(xiàng)目的潛在因子建模。

（2）非負(fù)矩陣分解模型（non-negative matrix factorization，NMF）[4]：僅利用評分矩陣信息，考慮用戶對項(xiàng)目的評分均為正值，主要特征在于分解后的矩陣元素都是正的，來學(xué)習(xí)用戶和項(xiàng)目表示。

（3）HFT 模型（hidden factors as topics）[22]：利用評論文本和評分共同推薦，通過評分矩陣分解和LDA（latent Dirichlet allocation）為用戶和項(xiàng)目建模，沒有捕捉單詞的上下文語義和語序。

（4）卷積矩陣因式分解模型（convolutional matrix factorization，ConvMF）[30]：有效利用項(xiàng)目評論文本的上下文信息，將卷積神經(jīng)網(wǎng)絡(luò)（CNN）融合到概率矩陣分解（PMF），使用CNN 來提取項(xiàng)目評論文檔的上下文特征。

（5）深度協(xié)作神經(jīng)網(wǎng)絡(luò)模型（DeepCoNN）[7]：同時(shí)利用用戶和項(xiàng)目評論文本信息，采用兩個(gè)并行的CNN 網(wǎng)絡(luò)分別從用戶評論集和項(xiàng)目評論集中來學(xué)習(xí)用戶偏好和項(xiàng)目特征。

（6）Attn+CNN 模型[21]：基于注意力的CNN，利用評論文本和評分信息做推薦，使用CNN 并對評論文檔中的單詞施加注意力來學(xué)習(xí)用戶和項(xiàng)目的表示。

（7）NARRE 模型[8]：利用用戶對項(xiàng)目的評分和評論文本信息進(jìn)行推薦。該模型在DeepCONN 模型的基礎(chǔ)上，考慮到不同的評論對于用戶和項(xiàng)目建模重要性不同，將注意力機(jī)制引入到模型探索評論文本的有效性，并且選取有效的評論來提供模型的可解釋性。

3.4 實(shí)驗(yàn)設(shè)置和參數(shù)選取

實(shí)驗(yàn)中，單詞的嵌入采用GloVe 在維基百科語料庫中預(yù)訓(xùn)練嵌入來初始化詞嵌入矩陣。每個(gè)數(shù)據(jù)集隨機(jī)選擇80%的用戶-項(xiàng)目對用于訓(xùn)練，10%用于驗(yàn)證，10%用于測試。每個(gè)實(shí)驗(yàn)獨(dú)立重復(fù)3 次，每次取RMSE 的最優(yōu)值。最后結(jié)果為3 次實(shí)驗(yàn)RMSE 最優(yōu)值的平均值。參數(shù)的調(diào)整范圍如表2 所示。

Table 2 Search range of model parameters表2 模型參數(shù)查找范圍

實(shí)驗(yàn)中，利用網(wǎng)格搜索的方法尋找能夠使模型達(dá)到最優(yōu)的參數(shù)，在驗(yàn)證集上對參數(shù)經(jīng)過多次調(diào)整，得到的最優(yōu)參數(shù)如表3 所示。

Table 3 Selection of model parameters表3 模型參數(shù)選取

3.5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)1整體推薦準(zhǔn)確度比較

本文提出的模型和現(xiàn)有的模型在4個(gè)數(shù)據(jù)集上的RMSE值如表4所示。通過分析，可以得出以下結(jié)論：

（1）僅考慮用戶對項(xiàng)目評分信息的傳統(tǒng)推薦方法（例如PMF 和NMF 模型），沒有使用評論文本信息的其他方法HFT、DeepCoNN、Attn+CNN、NARRE 的推薦效果好。可見，利用輔助信息評論文本可以提供用戶偏好和項(xiàng)目屬性的豐富信息，對于為用戶和項(xiàng)目建模非常重要。

Table 4 Performance comparison of different methods on 4 datasets(RMSE)表4 不同方法在4 個(gè)數(shù)據(jù)集上的性能比較（RMSE）

（2）同時(shí)考慮評分和評論文本信息的模型中，基于深度學(xué)習(xí)技術(shù)的DeepCoNN、Attn+CNN、NARRE 模型優(yōu)于無法捕獲上下文語義和單詞順序的HFT模型。

（3）無論是只對評論文檔中單詞施加注意力機(jī)制的Attn+CNN 模型還是僅對評論文檔中評論文本施加注意力機(jī)制的NARRE 模型，其推薦性能均優(yōu)于沒有施加注意力機(jī)制的其他方法。

實(shí)驗(yàn)2不同層級注意力的有效性

本文通過實(shí)驗(yàn)2 驗(yàn)證不同層級注意力，包括單詞級注意力、評論級注意力的有效性。比較本文提出的模型RHATR 與其變體RHATR_W（僅包含單詞級注意力）、RHATR_R（僅包含評論級注意力）在4 個(gè)數(shù)據(jù)集上的RMSE，如圖3 所示。

Fig.3 Effectiveness of different level attention on different datasets圖3 在不同數(shù)據(jù)集上不同層級注意力的有效性

圖3 驗(yàn)證了單詞級注意力和評論級注意力對于提升推薦系統(tǒng)性能是有效的。在單條評論文本中，不同的單詞對于學(xué)習(xí)用戶和項(xiàng)目表示有不同的貢獻(xiàn)，因此對評論文本施加單詞級注意力有助于識別重要單詞，對于評論文本編碼是有效的；同樣，用戶對每條評論文本的偏好程度不同，項(xiàng)目與評論文本之間的相關(guān)性也有差異，為用戶評論集和項(xiàng)目評論集應(yīng)用評論集注意力對于推薦系統(tǒng)的性能提升是有幫助的。相比于RHATR_W，評論文本的重要性對于用戶和項(xiàng)目建模的準(zhǔn)確性優(yōu)于單詞的重要性。

實(shí)驗(yàn)3時(shí)間因素的有效性

為了驗(yàn)證時(shí)間因素的有效性，將式（12）去掉，表示用戶在不同時(shí)間的評論對于用戶偏好和項(xiàng)目特征建模是同等重要的。式（13）改為進(jìn)行實(shí)驗(yàn)。用RHATR_NT 表示。表5展示了實(shí)驗(yàn)結(jié)果。

Table 5 Effectiveness of time information on different datasets(RMSE)表5 在不同數(shù)據(jù)集上時(shí)間信息的有效性（RMSE）

從表5 中可以看出，引入時(shí)間信息的模型在均方根誤差上的結(jié)果小于沒有考慮時(shí)間因素的模型。對于用戶而言，用戶隨著年齡的增長，興趣偏好會不斷改變。通過式（12）和式（13）來說明時(shí)間信息對于用戶偏好和項(xiàng)目特征影響的重要程度。將時(shí)間信息考慮在內(nèi)，對用戶進(jìn)行動態(tài)推薦是有必要的。因此，聯(lián)合用戶的評論文本和時(shí)間因素對用戶偏好和項(xiàng)目特征進(jìn)行建模對推薦性能的提升是有效的。

4 總結(jié)與展望

本文利用用戶對項(xiàng)目的評分、評論文本以及時(shí)間因素等信息，提出了融合短文本層級注意力和時(shí)間信息的推薦方法。RHATR 通過從單條評論文本中提取關(guān)鍵詞、情感詞等信息為用戶和項(xiàng)目建模；并對引入時(shí)間因素的用戶評論集和項(xiàng)目評論集應(yīng)用評論級注意力來進(jìn)一步學(xué)習(xí)用戶和項(xiàng)目的動態(tài)表示，挖掘用戶和項(xiàng)目的動態(tài)屬性，從而為用戶進(jìn)行精準(zhǔn)推薦。各種對比實(shí)驗(yàn)表明，本文方法在預(yù)測評分誤差上均低于其他方法。考慮到本文使用的GloVe 預(yù)訓(xùn)練詞向量屬于靜態(tài)編碼，同一個(gè)單詞在不同的評論中具有相似的語義，可能會曲解單詞在上下文語境中的含義。例如，Movies_and_TV 數(shù)據(jù)集中的兩條評論文本中的語句“I watch this movie hoping for a enjoyment to watch.This moving was boring and I didn't finish it.”和“This enhances,rather than detracts from,the film's enjoyment because it creates an emotional aura of mystery and sacredness to the subject.”。前者評論文本中的單詞“enjoyment”表示了用戶的負(fù)面評價(jià)，而后者的“enjoyment”表示用戶的正面評價(jià)，而在本文中具有相同的含義。未來的工作將考慮每個(gè)單詞的表示需要根據(jù)評論文本的不同上下文環(huán)境而動態(tài)變化，來提高推薦性能。