基于BiLSTM自動生成個性化評論

張晶晶 高永兵

摘要：該文對用戶及產品信息進行分析，并嘗試建立一個評論寫作助手以幫助用戶撰寫評論。使用編碼器-解碼器框架以及注意力機制，通過編碼用戶歷史評論、產品標題以及評級，經注意力增強的解碼器解碼，最終達到生成個性化評論的效果。在亞馬遜電子產品數據集上的實驗結果表明，我們的模型相比現有的基準模型在各項指標上都有所提升，且能夠生成準確、個性化的評論。

關鍵詞：編碼器-解碼器模型;自動生成評論;注意力機制

中圖分類號：TP311? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）23-0227-02

1 引言

由于越來越多的在線網站允許用戶通過撰寫評論來表達他們對產品的看法，例如亞馬遜、淘寶和Yelp。然而，人工編寫評論過于煩瑣且浪費人力。因此，評論生成受到了研究人員的廣泛關注，成為熱點話題。

評論生成的目標是生成語言描述性能與人類語言相媲美的文本。此前，Lipton、Tang及Wang等團隊提出了有關自動生成評論的方法。但是，他們只考慮數字上下文，如評級、用戶ID或產品ID;又或者在解碼時加入復制機制，從用戶偏好詞中復制一個詞進行評論的生成。由于已提出的方法提供的信息有限，傾向于生成機械相似的評論，這導致在為不同的用戶或產品生成評論時缺乏多樣性 ，難以吸引顧客的注意。

因此，除了對用戶的歷史評論進行信息提取，以生成帶有用戶評價習慣的評論;我們還引入了產品標題信息，以生成更加多樣化的評論。

2 相關工作

評論生成的目的是在特定的背景下生成現實的評論，這是一種文本生成。有一些關于評論生成的工作。Liption等人[7]使用字符級串聯輸入遞歸神經網絡（RNN）作為生成模型來預測評論的評級和類別。而Tang等人[6]為了將用戶ID、產品ID和評級三者結合在一起，提出了一種基于編碼器-解碼器的框架，該框架首先將上下文編碼為向量，然后對其進行解碼以生成評論。我們的模型采用了與Tang等人[6]相似的框架，且在模型中使用了注意機制，能夠在每個時間步驟中注意不同的上下文。此外，我們的任務還涉及用戶個性化。Wang等[1]提出了一種用戶偏好感知的評論生成模型（UPRG）， 利用用戶偏好詞來提高生成評論的多樣性，在解碼過程中引入用戶偏好詞，以生成不同的評論。我們則從用戶的歷史評論中分析了用戶的評價習慣，提取了用戶偏好詞，豐富了用戶相關信息。同時，利用了產品標題，豐富了產品相關信息。我們的方法可以為每個用戶生成更準確、更個性化以及多樣化的評論。

3 模型

我們將評論生成任務描述如下。給定一個用戶u的歷史評論[R=（r1，r2，…，rn）]，評級，項目i的產品標題[X=（x1，x2，…，xm）]，我們的目標是生成與用戶u和項目i一致的評論[Y=（y1，y2，…，yt）]。我們提出的模型結構如圖1所示，詳細闡述如下。

我們的模型基于通用序列到序列（Seq2Seq）模型的編碼器 - 解碼器框架。編碼器通過雙向長短期記憶網絡（BiLSTM）將用戶歷史評論[R=（r1，r2，…，rn）]編碼為隱藏狀態（[hR1，hR2，…，hRn]），將產品標題[X=（x1，x2，…，xm）]編碼為隱藏狀態（[hX1，hX2，…，hXm]）;并通過用戶歷史評論和產品標題的隱藏狀態來獲取標題上下文向量[cRt]和[cXt];最后，上下文向量[ct]是[cXt]和[cRt]的串聯，以便提供更全面的信息。評級從1-5轉換為5個整數級別。評級被表示為一個one-hot向量a。

解碼器將先前解碼的單詞[e（yt-1）]，上下文向量[ct]和評級上下文向量a嵌入作為輸入以更新其狀態[st]。最后，解碼器從輸出概率分布中抽取一個單詞[yt]。該模型通過最大化地真值[Y*=（y*1，…，y*n）]的對數似然來訓練。

4 實驗

4.1 實驗數據

我們使用來自亞馬遜的真實電子數據集評估我們的模型。我們將單詞的出現次數保持為詞匯的10倍，過濾掉少于兩個和超過100個詞的評論，并刪除評論和產品標題中具有低頻率的單詞。我們將數據集分為訓練集（80%），驗證集（10%）和測試集（10%）。

4.2 結果

我們在五個評價指標上與基線模型Attr2Seq進行了比較。比較結果如表1所示。

由上表可知，我們的模型在各項指標上都獲得最佳性能。并且，可以觀察到Attr2Seq模型的Distinct指標非常低，是因為在生成過程中沒有考慮產品信息，從而導致生成的評論缺乏多樣性。相比之下，我們的模型有效地利用了產品信息，提高了生成結果的準確性和多樣性。

4.3 生成示例

我們的樣本生成示例如圖2所示。

5 結論

在本文中，我們介紹了自動生成個性化評論的任務。我們利用用戶的歷史評論以生成個性化的評論;同時，利用評級、產品標題信息豐富上下文，最終生成滿足用戶需求的評論。評估結果表明，我們的模型超越了基線模型，且能夠生成多樣化、個性化的評論。

參考文獻：

[1] Wang W， Zheng H T， Liu H.User Preference-Aware Review Generation[C].? Macau：Springer， 2019： 225-236.

[2] Li P， Tuzhilin A. Towards Controllable and Personalized Review Generation[C].Hong Kong：Association for Computational Linguistics， 2019： 3235-3243.

[3] Ni J， Mcauley J. Personalized Review Generation By Expanding Phrases and Attending on Aspect-Aware Representations[C]. Melbourne：Association for Computational Linguistics， 2018： 706-711.

[4] Dong L， Huang S， Wei F， et al. Learning to Generate Product Reviews from Attributes[C].Valencia：Association for Computational Linguistics， 2017： 623-632.

[5] He R， Lee W S， Ng H T， et al. An Unsupervised Neural Attention Model for Aspect Extraction[C]. Vancouver：Association for Computational Linguistics， 2017： 388-397.

[6] Tang J， Yang Y， Carton S， et al. Context-aware Natural Language Generation with Recurrent Neural Networks.[J]. arXiv： Computation and Language， 2016.

[7] Lipton Z C， Vikram S， Mcauley J， et al. Capturing Meaning in Product Reviews with Character-Level Generative Text Models[J]. arXiv： Computation and Language， 2015.

【通聯編輯：代影】