基于深度學習的電商評論情感分析研究

（喀什大學 計算機科學與技術學院，新疆 喀什 844000）

0 引言

隨著電商平臺的完善，越來越多的人選擇通過電商平臺購物，并對產品做出評價.通過分析和挖掘這些評論信息，可以及時了解產品的性能、存在的問題以及用戶的真實需求，為提升產品性能和服務質量提供決策依據[1].由于數據量龐大，無法用人工手段分析這些評論數據，只能依靠計算機程序處理和分析.文本情感分析涉及語言學、計算機、數學、人工智能等多個領域，是當前比較熱門的研究領域[2].

文本情感分析根據研究目標的不同可分為粗粒度情感分析和細粒度情感分析.粗粒度情感分析，又稱為文本傾向性分析，研究目標是判斷文本所表達的情感是正面還是負面；細粒度情感分析的研究目標是提取情感對象和情感詞，判斷情感傾向等.文本情感分析根據研究對象的不同可分為詞語級別的情感分析、句子級別的情感和篇章級別的情感分析.本文研究的是句子級別的粗粒度情感分析.文本情感分析的研究方法有基于規則的情感分析方法、基于傳統機器學習算法的情感分析方法和基于深度學習的情感分析方法.基于規則的情感分析方法利用人工構造的情感詞典和語法規則，判斷文本情感傾向.該方法的特點是算法簡單，程序的執行速度快，但是過度依賴情感詞典，不能根據數據及時調整規則，無法識別網絡上新出現的情感詞.基于傳統機器學習算法的情感分析方法通過在大規模情感語料庫上訓練傳統機器學習模型，判斷文本情感傾向.該方法的特點是模型復雜度不高、訓練速度快，但是需要人工提取特征，而且性能不如基于深度學習的情感分析方法.Pang 等[3]利用最大熵、樸素貝葉斯和支持向量機等傳統機器學習算法分析電影評論的情感傾向，并對這幾個算法作比較，發現支持向量機的性能最好.熊樂等[4]根據電商評論的特點，結合基于規則的方法和基于機器學習的方法分析電商評論情感，提出了ESDTL 方法，并得到了較好的效果.基于深度學習的情感分析方法將特征提取和判斷文本傾向結合在一起，不需要人工提取特征，準確率較高.鈕成明等[5]利用深度學習分析微博文本情感傾向，實驗結果表明深度學習的準確率比傳統機器學習方法更高，但是模型訓練時間較長.本文利用卷積神經網絡（Convolutional Neural Network，CNN）和雙向長短期記憶神經網絡（Bidirectional Long Short-term Memory Network，BiLSTM）分析電商評論的情感傾向，并對這兩個模型作對比，找出對電商評論情感分析最優的模型.

1 深度學習模型

1.1 CNN 模型

CNN 模型最初是為解決計算機視覺問題而設計的，而且在計算機視覺領域得到了廣泛的使用.Kim 等[6]利用CNN 模型對短文本進行分類，得到了較好的效果，由此CNN 模型開始用于自然語言處理領域.本文設計的CNN 模型的示意圖如圖1 所示.輸入的文本經過嵌入層后，每個字轉換為100 維的向量，實現文本的數字化.卷積層中分別用大小為2×100，3×100，4×100 的濾波器，進行特征提取，間接實現Unigram，Bigram，Trigram 和4 Gram 模型，自動識別情感詞和表達情感的短語.每一種濾波器有100 個，總共300 個濾波器.卷積層的結果進入池化層（Max Pooling），提取最能表達文本傾向的特征.將各個濾波器池化層的結果連接起來組成大小為300×1的向量，最后和輸出層連接起來，得到最后的預測結果.為避免和降低模型過擬合，在輸出層和池化層之間添加了Dropout 策略.

1.2 BiLSTM 模型

循環神經網絡（Recurrent Neural Network，RNN）能夠解決序列問題，但是存在梯度消失和梯度爆炸問題.LSTM 模型通過三個門結構有效解決以上問題，性能比普通RNN 模型更高[7].LSTM 模型的內部結構圖如圖2 所示，LSTM引入的三個門結構分別是控制輸入的輸入門it、控制遺忘的遺忘門ft和控制輸出的輸出門ot.各個控制門和輸出的計算公式如下：

其中，Ct-1表示上一層狀態，Ct表示本層的狀態，xt表示本層輸入，ht-1表示上一層的輸出，ht表示本層的輸出表示本層狀態的更新；σ表示Sigmoid 函數，tanh 表示雙曲正切函數，W 和b 表示各層之間的權重和偏置.BiLSTM模型由前向LSTM 和反向LSTM 組成，利用雙向的LSTM 模型，可以提取有效的語義特征，更好地捕捉上下文信息.本文設計的基于BiLSTM 的文本情感分析模型的示意圖如圖3所示.輸入層的文本經過嵌入層后，每一個字符轉換為100 維的向量，即實現文本的數字化.數字化后的向量經過兩層雙向長短期記憶神經網絡后連接到全連接層和輸出層.為避免和降低過擬合，采用Dropout 策略，激活函數使用ReLU 函數.

圖2 LSTM 內部框架圖

圖3 基于BiLSTM 的情感分析模型結構圖

2 實驗與結果分析

2.1 實驗環境與實驗數據

本文實驗在百度AI Studio 平臺上進行，環境配置如下：8核CPU，32GB內存，Tesla V100 GPU，16GB 顯卡內存.本實驗的開發語言為Python 語言，深度學習框架為Pytorch，開發工具為Jupyter Notebook.實驗所使用的數據集是電商平臺的評論數據，該數據集共包含62511 條評論，覆蓋手機、平板、水果、洗發水、熱水器、蒙牛、衣服、計算機、書籍和酒店等10 個領域.其中表達正面情感的數據為31622 條、表達負面情感的數據為30889 條，數據集基本平衡.在實驗中將數據集的20%作為測試集，剩余的80%為訓練集.

2.2 預處理及實驗參數

由于評論文本中含有大量的噪音數據，因此首先需要去除數字、標點符號（除感嘆號和問號以外）、停用詞等沒有情感信息的字符.為了降低模型的復雜度，直接用字創建字典，將文本轉換為數字.字典中包含4000個常用漢字和兩個特殊字符.兩個特殊字符分別為‘〈unk〉’（表示未出現在字典中的字符）和‘〈pad〉’（表示填充字符）.本實驗預處理、構建模型以及訓練模型中重要的參數如表1 所示.

表1 實驗參數

2.3 實驗結果

本文實驗中將準確率作為模型性能指標.準確率的計算公式如下：

上式中，Accuracy 表示準確率，TP 表示被正確預測為正面的文本數量，TN 表示被正確預測為負面的文本數量，FP 表示被錯誤預測為正面的文本數量，FN 表示被錯誤預測為負面的文本數量.

CNN 模型的準確率隨迭代次數的變化如圖4 所示，損失隨迭代次數的變化如圖5 所示.隨著訓練迭代次數的增加，CNN 模型出現過擬合的現象.CNN 模型在迭代訓練11 次后，性能最佳，此時的準確率為0.924.BiLSTM模型的準確率隨迭代次數的變化如圖6 所示，損失隨迭代次數的變化如圖7 所示.BiLSTM 模型在迭代訓練19 次后，性能最佳，此時的準確率為0.936.CNN 模型的訓練速度比BiLSTM 模型更快，是BiLSTM 模型訓練速度的4 倍.為比較深度學習模型與傳統機器學習模型的性能，在實驗數據集中利用傳統機器學習模型訓練并預測情感傾向，實驗結果如表2 所示.實驗結果表明，深度學習模型性能高于傳統機器學習模型.

圖4 CNN 模型的準確率變化曲線圖

圖5 CNN 模型的損失變化曲線圖

表2 傳統機器學習模型的性能

圖6 BiLSTM 模型的準確率變化曲線圖

圖7 BiLSTM 模型的損失變化曲線圖

3 結論

本文利用卷積神經網絡和雙向長短期記憶神經網絡對電商評論數據進行了情感分析研究.實驗結果表明，卷積神經網絡最高的準確率為0.924，雙向長短期記憶神經網絡的最高準確率為0.936.雖然雙向長短期記憶神經網絡的準確率高于卷積神經網絡的準確率，但是在本文所使用的實驗環境中前者的訓練時間是后者的4 倍.卷積神經網絡能夠提取文本的局部語義特征，雙向長短期記憶神經網絡能夠利用文本的上下文信息，兩種模型都能有效解決電商評論的情感傾向判別問題.