基于BiLSTM自動(dòng)生成個(gè)性化評(píng)論

張晶晶 高永兵

摘要：該文對(duì)用戶及產(chǎn)品信息進(jìn)行分析，并嘗試建立一個(gè)評(píng)論寫作助手以幫助用戶撰寫評(píng)論。使用編碼器-解碼器框架以及注意力機(jī)制，通過編碼用戶歷史評(píng)論、產(chǎn)品標(biāo)題以及評(píng)級(jí)，經(jīng)注意力增強(qiáng)的解碼器解碼，最終達(dá)到生成個(gè)性化評(píng)論的效果。在亞馬遜電子產(chǎn)品數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，我們的模型相比現(xiàn)有的基準(zhǔn)模型在各項(xiàng)指標(biāo)上都有所提升，且能夠生成準(zhǔn)確、個(gè)性化的評(píng)論。

關(guān)鍵詞：編碼器-解碼器模型;自動(dòng)生成評(píng)論;注意力機(jī)制

中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）23-0227-02

1 引言

由于越來越多的在線網(wǎng)站允許用戶通過撰寫評(píng)論來表達(dá)他們對(duì)產(chǎn)品的看法，例如亞馬遜、淘寶和Yelp。然而，人工編寫評(píng)論過于煩瑣且浪費(fèi)人力。因此，評(píng)論生成受到了研究人員的廣泛關(guān)注，成為熱點(diǎn)話題。

評(píng)論生成的目標(biāo)是生成語言描述性能與人類語言相媲美的文本。此前，Lipton、Tang及Wang等團(tuán)隊(duì)提出了有關(guān)自動(dòng)生成評(píng)論的方法。但是，他們只考慮數(shù)字上下文，如評(píng)級(jí)、用戶ID或產(chǎn)品ID;又或者在解碼時(shí)加入復(fù)制機(jī)制，從用戶偏好詞中復(fù)制一個(gè)詞進(jìn)行評(píng)論的生成。由于已提出的方法提供的信息有限，傾向于生成機(jī)械相似的評(píng)論，這導(dǎo)致在為不同的用戶或產(chǎn)品生成評(píng)論時(shí)缺乏多樣性 ，難以吸引顧客的注意。

因此，除了對(duì)用戶的歷史評(píng)論進(jìn)行信息提取，以生成帶有用戶評(píng)價(jià)習(xí)慣的評(píng)論;我們還引入了產(chǎn)品標(biāo)題信息，以生成更加多樣化的評(píng)論。

2 相關(guān)工作

評(píng)論生成的目的是在特定的背景下生成現(xiàn)實(shí)的評(píng)論，這是一種文本生成。有一些關(guān)于評(píng)論生成的工作。Liption等人[7]使用字符級(jí)串聯(lián)輸入遞歸神經(jīng)網(wǎng)絡(luò)（RNN）作為生成模型來預(yù)測評(píng)論的評(píng)級(jí)和類別。而Tang等人[6]為了將用戶ID、產(chǎn)品ID和評(píng)級(jí)三者結(jié)合在一起，提出了一種基于編碼器-解碼器的框架，該框架首先將上下文編碼為向量，然后對(duì)其進(jìn)行解碼以生成評(píng)論。我們的模型采用了與Tang等人[6]相似的框架，且在模型中使用了注意機(jī)制，能夠在每個(gè)時(shí)間步驟中注意不同的上下文。此外，我們的任務(wù)還涉及用戶個(gè)性化。Wang等[1]提出了一種用戶偏好感知的評(píng)論生成模型（UPRG）， 利用用戶偏好詞來提高生成評(píng)論的多樣性，在解碼過程中引入用戶偏好詞，以生成不同的評(píng)論。我們則從用戶的歷史評(píng)論中分析了用戶的評(píng)價(jià)習(xí)慣，提取了用戶偏好詞，豐富了用戶相關(guān)信息。同時(shí)，利用了產(chǎn)品標(biāo)題，豐富了產(chǎn)品相關(guān)信息。我們的方法可以為每個(gè)用戶生成更準(zhǔn)確、更個(gè)性化以及多樣化的評(píng)論。

3 模型

我們將評(píng)論生成任務(wù)描述如下。給定一個(gè)用戶u的歷史評(píng)論[R=（r1，r2，…，rn）]，評(píng)級(jí)，項(xiàng)目i的產(chǎn)品標(biāo)題[X=（x1，x2，…，xm）]，我們的目標(biāo)是生成與用戶u和項(xiàng)目i一致的評(píng)論[Y=（y1，y2，…，yt）]。我們提出的模型結(jié)構(gòu)如圖1所示，詳細(xì)闡述如下。

我們的模型基于通用序列到序列（Seq2Seq）模型的編碼器 - 解碼器框架。編碼器通過雙向長短期記憶網(wǎng)絡(luò)（BiLSTM）將用戶歷史評(píng)論[R=（r1，r2，…，rn）]編碼為隱藏狀態(tài)（[hR1，hR2，…，hRn]），將產(chǎn)品標(biāo)題[X=（x1，x2，…，xm）]編碼為隱藏狀態(tài)（[hX1，hX2，…，hXm]）;并通過用戶歷史評(píng)論和產(chǎn)品標(biāo)題的隱藏狀態(tài)來獲取標(biāo)題上下文向量[cRt]和[cXt];最后，上下文向量[ct]是[cXt]和[cRt]的串聯(lián)，以便提供更全面的信息。評(píng)級(jí)從1-5轉(zhuǎn)換為5個(gè)整數(shù)級(jí)別。評(píng)級(jí)被表示為一個(gè)one-hot向量a。

解碼器將先前解碼的單詞[e（yt-1）]，上下文向量[ct]和評(píng)級(jí)上下文向量a嵌入作為輸入以更新其狀態(tài)[st]。最后，解碼器從輸出概率分布中抽取一個(gè)單詞[yt]。該模型通過最大化地真值[Y*=（y*1，…，y*n）]的對(duì)數(shù)似然來訓(xùn)練。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)

我們使用來自亞馬遜的真實(shí)電子數(shù)據(jù)集評(píng)估我們的模型。我們將單詞的出現(xiàn)次數(shù)保持為詞匯的10倍，過濾掉少于兩個(gè)和超過100個(gè)詞的評(píng)論，并刪除評(píng)論和產(chǎn)品標(biāo)題中具有低頻率的單詞。我們將數(shù)據(jù)集分為訓(xùn)練集（80%），驗(yàn)證集（10%）和測試集（10%）。

4.2 結(jié)果

我們?cè)谖鍌€(gè)評(píng)價(jià)指標(biāo)上與基線模型Attr2Seq進(jìn)行了比較。比較結(jié)果如表1所示。

由上表可知，我們的模型在各項(xiàng)指標(biāo)上都獲得最佳性能。并且，可以觀察到Attr2Seq模型的Distinct指標(biāo)非常低，是因?yàn)樵谏蛇^程中沒有考慮產(chǎn)品信息，從而導(dǎo)致生成的評(píng)論缺乏多樣性。相比之下，我們的模型有效地利用了產(chǎn)品信息，提高了生成結(jié)果的準(zhǔn)確性和多樣性。

4.3 生成示例

我們的樣本生成示例如圖2所示。

5 結(jié)論

在本文中，我們介紹了自動(dòng)生成個(gè)性化評(píng)論的任務(wù)。我們利用用戶的歷史評(píng)論以生成個(gè)性化的評(píng)論;同時(shí)，利用評(píng)級(jí)、產(chǎn)品標(biāo)題信息豐富上下文，最終生成滿足用戶需求的評(píng)論。評(píng)估結(jié)果表明，我們的模型超越了基線模型，且能夠生成多樣化、個(gè)性化的評(píng)論。

參考文獻(xiàn)：

[1] Wang W， Zheng H T， Liu H.User Preference-Aware Review Generation[C].? Macau：Springer， 2019： 225-236.

[2] Li P， Tuzhilin A. Towards Controllable and Personalized Review Generation[C].Hong Kong：Association for Computational Linguistics， 2019： 3235-3243.

[3] Ni J， Mcauley J. Personalized Review Generation By Expanding Phrases and Attending on Aspect-Aware Representations[C]. Melbourne：Association for Computational Linguistics， 2018： 706-711.

[4] Dong L， Huang S， Wei F， et al. Learning to Generate Product Reviews from Attributes[C].Valencia：Association for Computational Linguistics， 2017： 623-632.

[5] He R， Lee W S， Ng H T， et al. An Unsupervised Neural Attention Model for Aspect Extraction[C]. Vancouver：Association for Computational Linguistics， 2017： 388-397.

[6] Tang J， Yang Y， Carton S， et al. Context-aware Natural Language Generation with Recurrent Neural Networks.[J]. arXiv： Computation and Language， 2016.

[7] Lipton Z C， Vikram S， Mcauley J， et al. Capturing Meaning in Product Reviews with Character-Level Generative Text Models[J]. arXiv： Computation and Language， 2015.

【通聯(lián)編輯：代影】