運用NLP算法和BP神經網絡系統(tǒng)分析商品評論數(shù)據(jù)

謝易宏

（上海師范大學，上海 200234）

1 新技術應用的必要性

隨著科技的發(fā)展，網購已經成為人們主流的購物方式之一，據(jù)聯(lián)合國貿易和發(fā)展會議（United Nations Conference on Trade and Development，UNCTAD）2019年3月29日發(fā)布的數(shù)據(jù)顯示，2017年全球電子商務（Electronic Commerce，EC）交易額比上年增加13%，達到29.367萬億美元。通過網購獨有的評級、評論、幫助性評級和評論時間等，來提出在線銷售戰(zhàn)略，確定潛在的重要設計特征，以增強產品的吸引力，成了公司線上銷售部所必須要解決的問題之一。

自然語言處理在實體抽取，情感分析等任務上的準確度不斷提高[1]，為精確處理評論數(shù)據(jù)提供了可能。通過對評論的關鍵詞提取以及情感分析，可以有效地從大量的評論數(shù)據(jù)中獲取有效信息，從而獲得對商品的有效反饋，可以針對性地改進產品質量，制定營銷策略。

2 模型設計

2.1 模型概覽

模型首先通過爬蟲在電商平臺上獲取相應的評論數(shù)據(jù)，再利用自然語言處理工具（Natural Language Toolkit，NLTK）對數(shù)據(jù)依次進行清洗、分詞，根據(jù)詞頻——逆文本頻率指數(shù)（Term Frequency-Inverse Document Frequency，TF-IDF）算法對關鍵信息進行抽取，最后同樣利用NLTK對關鍵信息進行情感標注，獲取情感傾向。對于時域上的評論數(shù)量的變化，利反向傳播（Back Propagation，BP）神經網絡對未來的數(shù)據(jù)進行預測，從而有效地對評論數(shù)據(jù)進行分析和預測，如圖1所示。

2.2 數(shù)據(jù)來源

本數(shù)據(jù)集來自美國亞馬遜電商平臺，文章利用Python中的request包爬取了2004——2019年吹風機和奶嘴商品的11 417條評論記錄。評論數(shù)據(jù)按照商品編號、購買時間、星級、評論文本存儲在MySQL數(shù)據(jù)庫中。

2.3 關鍵詞提取

NLTK是一套基于Python的自然語言處理工具集，能實現(xiàn)分詞、詞性標注、詞頻分析、情感分析等豐富的功能[3]。將數(shù)據(jù)導入程序，進行文本清洗，分句和分詞處理后，對相應的分詞進行詞形歸一化，去除標點以及去除停用詞，以最大程度地保留有用數(shù)據(jù)。隨后采用TF-IDF算法進行關鍵信息提取。

TF指詞頻，表示在一段文本中單詞出現(xiàn)的頻繁程度。假設在一段文本W={w1，w2，…，wn}中，共n個詞，其中單詞x出現(xiàn)了m次，那么單詞x的詞頻就是：

IDF指逆文檔頻率，表示在所有文本中單詞出現(xiàn)的不頻繁程度。假設N代表語料庫中所有的文本，N（x）表示語料庫中包含詞x的文本總數(shù)，那么該詞x的IDF為：

在得到TF和IDF之后，一個詞x的TF-IDF值計算為：通過在scikit-learn中使用TfidfVectorizer實現(xiàn)TF-IDF，從而得到相應的文本關鍵詞。

2.4 情感標注

情感分析或觀點挖掘是通過計算來識別作者對某段文本的態(tài)度是積極、消極還是中性的過程[2]。此反饋可能很有用，比如在自然語言評論中挖掘對某款產品或服務的觀點時。NTLK包含一個簡單的基于規(guī)則的情感分析模型，其中組合了詞匯特征來識別情感強度[3-4]。導入必要模塊（包括Vader情感分析器），創(chuàng)建一個函數(shù)來接受某個句子并呈現(xiàn)情感分類。該函數(shù)首先對SentimentIntensityAnalyzer執(zhí)行實例化，然后使用傳遞的句子來調用polarity_scores方法。結果是一組浮點值，表示輸入文本的正或負價態(tài)。這些浮點值是為4個類別（正、中性、負和表示一個聚合分數(shù)的化合態(tài)）而發(fā)出的。該腳本最后調用傳遞的參數(shù)來識別情感，最終得到每一條評論對應的情感指數(shù)。

2.5 數(shù)據(jù)預測

BP神經網絡具有任意復雜的模式分類能力和優(yōu)良的多維函數(shù)映射能力，解決了簡單感知器無法解決的排他性OR，XOR和其他一些問題。在結構上，BP網絡有輸入層、隱藏層和輸出層。本質上，BP算法以網絡的平方誤差作為目標函數(shù)，采用梯度下降法計算目標函數(shù)的最小值[5]。

模型統(tǒng)計每一年的評論數(shù)量并繪制趨勢圖，再利用BP神經網絡對數(shù)據(jù)進行擬合，從而可以對未來的數(shù)據(jù)進行預測。

3 實驗部分

3.1 關鍵詞提取

通過TF-IDF算法，得到了相應的關鍵詞，從中抽去了20條并根據(jù)出現(xiàn)頻率進行排序，命名后存入txt文檔中，如圖2所示。

圖2 關鍵詞提取

3.2 情感標注

針對每一條評論，分別給出其相應的情感指數(shù)，其中正數(shù)代表正向情感，負數(shù)相反。指數(shù)越接近1，說明傾向性越顯著，如圖3所示。

圖3 情感標注

3.3 趨勢預測

針對按年統(tǒng)計的評論數(shù)量，劃分出訓練數(shù)據(jù)和測試數(shù)據(jù)，并對數(shù)據(jù)進行了擬合，結果顯示出不錯的擬合效果，如圖4所示。

圖4 擬合效果

4 結語

該模型較好地對商品評論數(shù)據(jù)進行了分析處理，同時也存在以下一些缺點：（1）情感分析的粒度相對粗糙，缺乏層次分析和對情感因素的深層探討。（2）數(shù)據(jù)量相對較少，容易出現(xiàn)過擬合現(xiàn)象，難以對更長時間的數(shù)據(jù)進行準確預測。