基于雙通道融合和BiLSTM-attention的評論文本情感分類算法

顏禮蓉， 朱小棟， 陳 曦

（上海理工大學 管理學院，上海 200093）

電子商務的在線評價作為由消費者主動發起的評論商品質量和服務等的言論，對潛在消費者作出購買決定起著一定的作用，也直接影響了電商平臺的用戶使用黏性。挖掘這些評論的褒貶態度，從而識別人們對某種商品的購買傾向，這個過程被稱為情感分析（sentiment analysis，SA）。情感分析是一種使用自然語言處理（natural language processing, NLP）以及文本挖掘（text mining）技術的分析方法，通過分析大量信息來理解人們對一件事情的看法。在自然語言處理中，文本情感分析是一個重要的應用領域。

1 相關研究

為了更充分地挖掘網民的觀點和立場，使用機器學習的方法進行情感分析成為了自然語言處理的一個新興的研究方向。在早期，情感分析是通過使用傳統的機器學習方法構造分類器來解決的。Pang等[1]首次提出利用機器學習算法包括樸素貝葉斯（NB），最大熵分類（ME）和支持向量機（SVM）來解決情感分類問題，他們利用n-grams模型和詞性提取電影評論的特征。Liu等[2]利用基于情感特征的細顆粒度情感分析方法，主要貢獻是通過句法分析提取相應特征，并與TF-IDF基準模型進行對比實驗，其提出的模型在積極/消極評價中的精確率（precision）、召回率（recall）和F1-Score上都有所提升。Lin等[3]通過詞嵌入word2vec方法提取中國酒店評論的特征，并放入分類器樸素貝葉斯（NB）、支持向量機（SVM）和卷積神經網絡（CNN）中進行對比，其中支持向量機（SVM）在分類中表現最好。利用詞嵌入的方式可以有效地從評論文本中提取到詞語的信息（例如某個詞在文本中出現與否或是出現的頻數）和詞語的層次信息（主要是指上下文的信息），但是無法提取出詞語中所表示情感的信息。因而將情感詞典與詞嵌入的方法融合可更全面地表達出評論中的信息。

近幾年，由于深度學習方法在自然語言處理方面取得了較好的研究成果，許多學者對于深度學習模型應用于情感分析十分熱衷，將不斷改進的經典深度學習模型應用于這個領域，甚至為了解決這個領域中的問題而提出新的深度學習模型。Kim[4]較早提出了textCNN模型，利用卷積神經網絡（CNN）算法處理句子分類的問題，在7項任務中，有4項得到了比以往研究更好的結果（包括情感分類任務）。Zhao等[5]利用Glove提取特征，放入非常深的CNN模型中做Twitter的情感分類實驗，實驗結果表明其模型準確性和F1值都比基準模型要高。除了CNN以外，深度學習中的長短期記憶網絡（LSTM）算法被認為能更好地學習文本的上下文信息，也被學者們應用于情感分類這個問題上。Hassan等[6]利用LSTM替換CNN中的池化層，進行二分類以及五分類的實驗，結果比之前提出的模型準確率更高。

除此之外，現有許多學者將文本中的多種特征融合起來，達到更好的分類效果。Lazib等[7]通過句法分析得到文本的特征，將CNN和BiLSTM模型結合到同一個模型進行分類。相比其他同類型實驗來說，提出特征的方法更節省時間并且有更好的效果。Abdi等[8]融合了詞嵌入特征、情感信息（詞典）特征和語言知識特征，并根據相關的策略克服了詞嵌入的缺點，其模型與其他經典方法相比具有優勢。

以往的研究證明了對文本不同特征的融合可以為分類器提供更多的信息量，然而，要如何通過構造詞嵌入方式和分類器的結構，并融合不同的特征，使提出的模型有更好的分類效果，這是本文研究的一個重點。也就是說，在判斷句子的情感極性時，不僅要考慮結合更多的文本詞信息，還要考慮構造分類器結構，更好地提取出文本中的不同特征。

在此基礎上，首先提出了一種構造詞嵌入拼接機制，這種機制不僅能夠將文本中的詞向量表示出來，還能將詞性標注信息作為句子表征的一個特征嵌入其中。此外，提出了一種信息并行注意機制，使用BiLSTM計算的并行結構時序信息特征，通過門控機制更新存儲單元。CNN模型能夠更好地提取到某一類的詞性（比如形容詞、副詞、名詞等），這些詞性對于情感的表達具有更顯著的作用。在此基礎上，加入attention機制進一步強化分類結果，可以理解為在一句話中，有一些詞為這句話的重點詞，而在這里attention機制就是為了幫助提取這一類重點，更好地將特征中的重點“表現”出來。實驗結果表明，與其他基準模型相比，該方法具有更好的分類準確率和F1指標。

2 模 型

由于詞嵌入模型無法很好地包含詞語的情感信息，本文提出了PWCNN模型和PW2CNN模型來應用詞性特征相結合的方式使特征包含的信息更加豐富。而單一卷積神經網絡模型無法很好地捕捉到一句話的時序信息，本文使用循環神經網絡模型中的雙向長短期記憶模型進行實驗，加入注意力機制，提出并行分類算法PW2CNN&BiLSTMatt模型。

2.1 Word2vec + CNN模型

TextCNN經典模型是由Kim[4]提出的，每一個詞是一條一維的向量，一句話組成一個矩陣。通過不同的卷積核進行卷積操作，再通過池化操作進行降維，最后利用sigmoid函數進行二分類。

早先，詞袋模型（bag of words, BOW）表示每句話的詞頻向量，該方法是把文檔中所有的詞做成一個詞袋并構建對應的詞典（dictionary），使生成的向量與詞典相互對應且能夠把詞的頻率表現出來。在較長的句子集中，這種方法會使生成的矩陣非常稀疏，而且喪失了語序關系的信息。詞嵌入模型word2vec能夠更好地考慮到詞語位置的關系，并且解決用One-Hot編碼對詞進行向量化時過于稀疏的問題。

詞嵌入模型的提出是為了更好地在一個大型數據集上快速、準確地學習出詞表示，利用將高維詞向量嵌入到低維空間的想法，使相鄰意思的詞具有更近的空間距離。本文模型中使用的是連續詞袋模型（continuous bag-of-word model, CBOW），生成的每條文本矩陣為256×128維。每個詞設置使用128維表示，而詞與詞之間拼接起來便形成了特征向量矩陣，假如一句話不超過256個詞則用0進行填充。

Word2vec + CNN 模型對 TextCNN 經典模型進行了修改，模型的CNN結構對每句話的特征矩陣上通過多個不同的4×4卷積核進行卷積操作。輸入文本矩陣X∈RN×N和濾波器W∈RU×V，二維卷積的公式如下：

式（1）表示用一個窗口大小為U×V的濾波器W，作用在xi,j到xi?u+1,j?v+1上，將文本矩陣X中元素xij和卷積核矩陣W中元素wuv相乘，得到特征cij的過程，最后得到多個特征矩陣。

圖1中第一層為輸入層，最后一層為輸出層，而夾在中間的幾層代表的是卷積神經網絡模型的結構。這個卷積神經網絡模型有兩個卷積層，一個池化層。第一個卷積層有32個卷積核，都是4×4的矩陣，激活函數為ReLu函數。第二個卷積的卷積核有16個，卷積核的大小為4×4，同樣使用ReLu函數。采用ReLu函數的原因是因為其計算量較其他激活函數更小，并能起到較好的防止過擬合作用。這里的第三層是最大池化層，設置的池化核大小為2×2。池化層和全連接層之間加入了dropout，其取值為0.25。該全連接層與輸出層之間同樣加了dropout，值為0.5，最后使用的是sigmoid函數進行二分類。

圖1 Word2vec + CNN模型中卷積神經網絡模型Fig.1 Convolution neural network in Word2vec+CNN model

2.2 PWCNN模型

在這個實驗中，Word2vec + CNN基準模型是單以word2vec作為輸入的單通道卷積神經網絡模型，并且與PWCNN模型雙通道模型中的卷積神經網絡模型的結構一樣，不同的是特征的輸入。兩個特征分別是詞嵌入word2vec模型矩陣（256×128×1 維）和詞性標注（part-of-speech, POS）特征輸入矩陣（220×56×1 維）。

詞性標注（part-of-speech，POS）是在分詞的基礎上，判斷每個詞在該句話中的詞性標注。使用詞性特征可以有效地消除歧義，例如“工作”這個詞既可以做名詞也可以做動詞，在中文里面這樣的詞還有很多。并且詞嵌入模型無法很好地表達一句話的情感信息，因而這里利用詞性特征作為補充，能夠較好地提供語句中的情感信息。模型比較關注的重要詞性有形容詞、副詞和動詞，因為這些詞性的詞能夠比較好地表達出評論者的主觀感受。另外，一句話中標點符號也很重要，起著判斷情感極性的作用，因而在進行分詞并給出對應分詞的詞性時，不考慮去除標點符號。模型詞性特征提取是先由分詞后的每一句話生成一個詞性的列表，再根據詞性字典，生成對應的特征矩陣（原理和詞袋模型一樣）。

PWCNN模型將詞嵌入word2vec模型訓練的詞向量與詞性向量（POS）進行了“上下”拼接，包括兩種拼接方式，如圖2和式（2）所示。

圖2 詞嵌入模型訓練的詞向量與詞性向量拼接圖Fig.2 Mosaic diagram of word vector and part-of-speech vector trained by the word embedding model

式中：XW表示詞嵌入word2vec模型矩陣；XP表示詞性標注特征輸入矩陣。

另外，每句話的POS特征和word2vec特征是一一對應拼接起來的，這樣拼接出來的整個特征矩陣才具有意義。然后再將拼接的特征向量放入和word2vec + CNN模型一樣的單通道卷積神經網絡模型中進行訓練，這主要是為了將特征融合的單通道模型和基準模型的實驗結果直接進行對比。考慮到CNN模型結構與經典的textCNN模型結構的不同，選擇這種“上下”拼接而不是“左右”拼接的方式，但是“左右”拼接也非常值得嘗試。通過實驗結果證明，拼接的特征含有更加豐富的信息，因此分類效果更好。與此同時，通過對比實驗，發現這兩種拼接方式對實驗結果沒有顯著的影響，對于卷積神經網絡來說無差別。

將融合特征的詞向量放入與上文相同結構的卷積中進行實驗，并且其中激活函數和參數的設定都保持一致。通過兩層的卷積層把特征向量中的信息提取出來，再通過池化層進一步降維、匯總信息，這里通過隨機dropout進行全連接處理，為了進一步防止過擬合（減少參數），在該flatten層后面加入dropout，最后進行分類。實驗模型如圖3所示。

圖3 PWCNN模型Fig.3 PWCNN model

該實驗與word2vec + CNN模型情況作對比，可以清楚地判斷POS特征在這個分類實驗中是否能夠起到一定的作用。實驗證明加入POS特征的輸入矩陣的確有更好的分類效果。下一步就是在此單通道的基礎上，進一步考慮雙通道的CNN模型，探索相同的特征分別進入相同結構的CNN模型時是否受到影響。

2.3 PW2CNN模型

雙通道模型（并行）與單通道模型的輸入不同，單通道模型的輸入是通過拼接不同的特征而形成的融合特征，而并行模型中則是通過分別輸入不同的特征進行相關實驗的。并且不同的特征可以進入到不同的神經網絡模型中，最后可以通過矩陣拼接的方式達到融合的效果。雙通道CNN模型中一邊輸入的是POS特征的矩陣，另一邊輸入的是word2vec模型的矩陣。兩個特征矩陣分別經過CNN處理（兩個卷積層、一個池化層以及設置了dropout層，值為0.25），在過渡層中將處理后的兩個特征進行“壓平”操作（將多維數據變成一維的過程），“左右”拼接在一起，形成一條矩陣，這樣做的目的也是為了同時保留兩邊的信息。

式中：C1表示輸入為POS特征的卷積特征矩陣；C2表示輸入為word2vec模型的矩陣卷積特征矩陣。

將二維數據變成一維后拼接，將拼接層以全連接的方式連接到最后的輸出層，其中設置dropout層，值為0.5。整體的模型的結構如圖4所示。

圖4 PW2CNN模型Fig.4 PW2CNN model

為了確保模型之間的可對比性，雙通道與單通道的CNN結構基本保持一致，通過實驗結果的對比發現，其驗證集上的正確率和F1值改進的效果并不明顯。但是，當把模型雙通道一邊的CNN換成BiLSTM時，結果發生了顯著的變化，說明影響整體結果的不僅僅在于特征的選取（信息的選取），還在于分類器的選取。當一邊輸入的是POS特征時，利用CNN能夠很好地提取局部的特性。而當另一邊輸入為word2vec模型時，使用能夠考慮上下文語境的BiLSTM模型，因為詞嵌入特征本身就具備詞本身的信息。綜上所述，這樣的分類器有更好的實驗結果，也是本文提出該模型的原因。

2.4 PW2CNN&BiLSTMatt模型

本文提出的PW2CNN&BiLSTMatt模型詞嵌入部分使用word2vec模型，分類器選用CNN和BiLSTM模型，并且加入注意力機制。

由于 RNN（recurrent neural network）在輸入時間序列不斷增加的情況下，經過多次傳播后會出現梯度消失或梯度爆炸的現象，從而喪失學習長期信息的能力，即存在長期依賴問題。為此，在模型設計中引入長短時記憶網絡（long short-term memory, LSTM），這是一種特殊類型的 RNN，能夠學習長期的依賴關系。LSTM通過門結構來實現向細胞狀態中移除或添加信息。

雙向長短期記憶網絡（bi-directional long shortterm memory, BiLSTM）是由兩個普通的 LSTM 所組成，一個正向的LSTM可以利用句子中過去的信息，一個逆向的LSTM可以利用句子中未來的信息。這樣一來，模型就可以實現對上下文信息的提取了，因此，雙向LSTM的預測結果會更加精確。對于文本的情感分類問題來說，該模型非常的適用，因為其包含了句子中的前向和后向的所有信息。

式中：σ表示使用sigmoid函數作為激活函數；Wi，Wf，Wc，Wo表 示 函 數 訓 練 出 來 的 權 重 ；bi，bf，bc，bo表示函數訓練出來的偏置。LSTM網絡引入一個新的內部狀態（internal state）ct∈ RD進行信息傳遞，同時輸出信息給隱藏層的外部狀態ht∈ RD， 其 中ft∈[0, 1]D、it∈[0, 1]D和ot∈ [0, 1]D為3個門（gate）來控制信息傳遞的路徑；⊙為向量元素乘積；ct?1為上一時刻的記憶單元；c?t∈ RD是通過tanh函數得到的候選狀態。

注意力機制（attention mechanism）的靈感來自于人本身的認知功能，在大量信息中提取接收小部分重要的信息，忽略其他信息，這樣的能力叫作人的注意力。類似地，注意力機制的本質就是關注輸入的某些關鍵部分，給予更高的權重。基于attention機制的LSTM模型在任一時刻的隱藏狀態不僅取決于當前時刻的隱藏層狀態和上一時刻的輸出，還依賴于上下文的特征，這個上下文特征是通過所有時刻的隱藏狀態加權平均得到的。計算公式為：

a.計算注意力分布。

b.根據注意力分布來計算輸入信息的加權平均。

計算注意力分布就是計算在給定查詢向量q和輸入X下，選擇第i個輸入向量的概率ai。其中：z∈[1,N]為注意力變量，表示被選擇信息的索引位置，即z=i表示選擇了第i個輸入向量；ai為注意力分布；s(xi,q)為注意力打分函數。注意力分布ai可以解釋為在給定任務相關的查詢q時，第i個輸入向量受關注的程度，根據ai來計算輸入信息的加權平均，對輸入信息進行匯總。

模型分類器分別選用CNN和BiLSTM作為并行的結構，通過CNN模型能夠很好地提取到某一類的詞性（比如形容詞、副詞、名詞等），這些詞性對于情感的表達具有更顯著的作用。而BiLSTM更適合抓取時序信息特征。加入attention機制進一步強化分類結果，可以理解為在一句話中，有一些詞為這句話的重點詞，而在這里attention機制就是為了幫助提取這一類重點，更好地將特征中的重點“表現”出來。整體的模型結構如圖5所示。

圖5 PW2CNN&BiLSTMatt模型Fig.5 PW2CNN&BiLSTMatt model

CNN模型用到的設定參數，與前文保持一致，這樣可以更好地對比這些模型結構性能的優劣。而另一邊是加入注意力機制的長短期記憶模型，其中，在BiLSTM上使用attention機制的示意圖如圖6所示。

圖6 BiLSTM上使用attention機制的示意圖Fig.6 Schematic diagram of applying attention mechanism on BiLSTM

與前文所提到的基于attention機制的LSTM模型類似，雙向的LSTM中當前狀態也應與上下文特征有關，通過attention機制將所有時刻的隱藏狀態加權平均后輸入當前狀態，從而影響輸出。根據輸出結果與真實情況的差異，調整attention機制中的權值。實際上，通過本實驗可以證明，與基準模型相比，這個并行模型的分類效果最好，它不僅充分利用了不同的特征信息，也發揮了不同神經網絡模型的優勢。而相比起雙通道的CNN模型，該模型的分類結果更佳，說明加入attention機制的BiLSTM模型在其中發揮了重要作用。

3 實驗研究

3.1 數據集

實驗所用數據集為海信、小米、飛利浦、TCL和創維5個品牌的電視機評論數據，來源于京東電商平臺。將網頁中的好評和差評分開爬取，從而解決文本數據的標簽問題。表1給出了本文爬取的文本評論數據的數量信息。

表1 爬取的文本數據信息Tab.1 Crawled text data information

模型使用的文本數據是所有的好評論（21790條）和差評論（9340條），在訓練過程中的訓練集和驗證集的比例設為7∶3。換句話說，訓練集中好評的數量為15253條，差評的數量為6538條。驗證集中好評的數量為6537條，差評的數量為2802 條。

3.2 實驗環境

為了有效驗證模型的性能指標，對比實驗環境設置如下：操作系統為Windows 64，內存為32 GB，處理器為 Intel（R）Xeon（R）CPU E5-2650 v4 @ 2.20 GHz（2 處理器），模型使用的是 keras深度學習框架。

3.3 損失函數（loss function）

損失函數是一個非負實數函數，用來量化模型預測和真實標簽之間的差異。本文實驗中的損失函數用的是交叉熵損失函數（binary cross entropy），公式如下：

式中：yi為真實的離散類別；y?i為預測類別標簽的條件概率分布。

3.4 實驗參數

本文的卷積神經網絡模型上的超參數設置如表2所示。

表2 卷積神經網絡的參數設置Tab.2 Parameter setting of convolutional neural network

PW2CNN&BiLSTMatt模型將長短期記憶模型放入并行結構中，并且加入了attention機制，該并行結構中的長短期記憶模型中attention層的激活函數為Softmax函數，中間輸出層的激活函數為Relu函數，attention層的dropout值為0.3。本文的并行結構模型，拼接之后是全連接層以及輸出層，全連接層及輸出層激活函數分別為Relu函數和Sigmoid函數，其中全連接層設置的dropout值為0.5。

對于不是并行結構的模型，在卷積神經網絡后面也同樣跟著如上參數設置的全連接層和輸出層，主要是為了保持多個模型中的一致性。除了以上提到的參數設置外，在上述4個不同的對比實驗中，訓練過程中所設置的細節如下：損失函數為交叉熵函數，優化器選擇Adam方法，Batch size設置為64。前期進行多個30次epoch的實驗后往往在前10次epoch已經收斂了，而訓練過多epoch次數只會使模型趨向于過擬合的狀態，因此最終對比實驗epoch設置為10。而實驗次數越多越具有科學性，為避免偶然性的誤差，本文的實驗結果都是以10次實驗的平均數記錄并對比的。

3.5 實驗結果及分析

通過前文提到的方法，對4個模型10次實驗結果進行比較。實驗結果如圖7和圖8所示。圖中 BASELINE 基準模型為 word2vec + CNN 模型，PWCNN為特征融合的CNN模型，PW2CNN模型為雙通道CNN模型，PW2CNN&BiLSTMatt模型為并行的CNN和BiLSTM模型（加入了attention）模型。

圖7 不同實驗模型的F1值Fig.7 F1 values of different experimental models

圖8 不同實驗模型的準確率Fig.8 Accuracy of different experimental models

3.6 不同模型之間的顯著性檢驗

t檢驗是一種顯著性檢驗的方法，以小概率反證法進行邏輯推理，判斷假設是否成立。這種檢驗方法可以用于檢驗兩個樣本平均值差異程度，其主要是通過t分布理論來推斷差異發生的概率，進而判斷兩個平均數是否存在顯著差異。這里使用t檢驗的原因是用來檢驗不同模型的實驗結果是否存在顯著差異。表3為4個模型之間的t檢驗值。

表3 4個模型間的t檢驗Tab.3 t test among four models

當顯著性水平為0.001時，PW2CNN&BiLSTMatt模型對BASELINE模型、PWCNN模型和PW2CNN模型的t檢驗的p-value值（ 2.8009×10?9、3.5968×10?7和 0.00024）均小于0.001。因此，PW2CNN&BiLSTMatt模型與BASELINE模型、PWCNN模型和PW2CNN模型之間均存在顯著性差異。換句話說，在顯著性水平為0.001的條件下，PW2CNN&BiLSTMatt模型顯著優于BASELINE模型、PWCNN模型和PW2CNN模型。此外，當顯著性水平為0.05時，PWCNN模型對BASELINE模型t檢驗的p-value 值（0.00339）均小于 0.05。因此，PWCNN模型與BASELINE模型之間存在顯著性差異。換句話說，在顯著性水平為0.05的條件下，PWCNN模型顯著優于BASELINE模型。

3.7 實例分析

對實驗結果（分類過的評論）進行具體的分析，從不同角度對好評和差評進行數據分析。評論數據的標簽是通過PW2CNN&BiLSTMaat模型分類出來的結果（好評/差評），對分類后的評論進行相應的分詞處理并且統計其出現的次數，再將好評和差評中有意義的高頻詞選出來進一步分析。可以利用去停用詞的方法將“電視”/“電視機”或品牌名稱等無意義的詞去掉，再通過統計數量的多少進行從大到小的排列，將前面的高頻詞和詞頻數保留下來。好評論和壞評論的詞頻統計圖如圖9和圖10所示。

圖9 好評高頻詞統計圖Fig.9 Statistical chart with high word frequency in positive reviews

圖10 差評高頻詞統計圖Fig.10 Statistical chart with high word frequency in negative reviews

可以看出，“安裝”對于顧客滿意度有重要影響，其次就是對于“畫面”/“畫質”的滿意程度，也是顧客關注的重點。另外還有“送貨”/“物流”方面，也是顧客所重點關注的問題。因此，商家在實際情況下，為了得到更多的好評，這幾個方面是不能忽視的。

4 結束語

對評論文本的情感進行挖掘和分析，提出一種對在線電商評論情感分類的PW2CNN&BiLSTMatt模型，同時使用了詞向量以及POS特征向量。這兩個特征是本文針對文本數據信息提取的兩種方式，主要考慮到了詞本身的特性和含情感信息的特征特性。通過BASELINE模型和PWCNN模型的對比，驗證了詞性特征在模型中的作用。與此同時，對這兩個特征的融合方式提出了兩種方案，一種是兩個向量直接拼接的融合方式，另一種是通過并行結構神經網絡模型的方式進行“融合”。

對卷積神經網絡和加入attention機制的雙向長短期記憶網絡進行了對比，并通過實驗結果證明了哪個模型更適合。卷積網絡擅長抓取局部特征，而長短期模型更適合含有“時間”信息的特征，因此什么樣的特征用什么樣的深度學習算法模型至關重要。

本文不足之處在于未進行多種參數的設定嘗試。此外，關于并行結構也可以進一步作不同嘗試，對此類研究將在未來繼續展開。