一種基于CNN與雙向LSTM融合的文本情感分類方法

張翠　周茂杰

摘? 要： 現在文本情感分類普遍采用深度學習的方法。卷積神經網絡可以較好地提取局部特征，但是缺少對上下文的理解。長短記憶網絡可以有效記憶較長距離的信息，有較強的全局性。為實現全局特征與局部特征的有效融合，研究了一種融合兩種特征的深度學習方法，構建深度學習網絡模型。利用互聯網中獲取的文本作為訓練語料及測試語料，在百度開源平臺PaddlePaddle上進行實驗。實驗結果顯示，該算法與傳統CNN和LSTM模型算法相比，識別的準確率分別提高了2.65和1.87個百分點，說明該模型算法在文本情感分類的性能上有所提高。

關鍵詞： 卷積神經網絡; 雙向長短記憶網絡; 融合; 情感分類

中圖分類號：TP311? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）12-38-04

A text emotion classification method based on CNN and bidirectional LSTM fusion

Zhang Cui1， Zhou Maojie2

（1. BowenCollege of Management， Guilin University of Technology， Guilin， Guangxi 541006， China; 2. Guilin University of Technology）

Abstract： Nowadays， deep learning is widely used in text emotion classification. CNN （convolutional neural networks） can extract local features well， but it lacks the understanding of context. LSTM （long and short memory networks） can effectively memorize long-distance information and have a strong global character. In order to achieve the effective integration of global and local features， this paper studies a deep learning method with the fusion of the two， and constructs a deep learning network model. Using the text obtained from the Internet as training corpus and testing corpus， experiments are carried out on Baidu open source platform PaddlePaddle. The experiment results show that compared with the traditional CNN and LSTM models， the recognition accuracy of the proposed algorithm is improved by 2.65 and 1.87 percentage points respectively， which shows that the performance of this model in text emotion classification is improved.

Key words： convolutional neural networks; bidirectional long-short memory networks; fusion; emotion classification

0 引言

隨著互聯網的高速發展，自媒體時代已經到來，人們可以隨時隨地發表觀點和評論，互聯網中的文本呈爆炸式增長。如何在網絡文本中挖掘有價值的信息，這是當前一個重要的課題。網絡文本具有一定語義，同時帶有情感傾向，對于如何評價一類文本，人們更關心的是這條信息屬于正面還是負面，也就是情感極性，而不是具體的評論細節，只要了解評論的極性就實現了文本的價值，進而可以通過大量的評價數據做出正確的決策。由于網絡文本較多，我們很難通過人工分析來完成所有的文本情感分類。機器學習方法能自動完成文本的情感分析，為文本的情感分類提供了便利。

近年來，深度學習取得了較大的進展。深度學習首先是在圖像處理及音頻識別領域中取得了成功，一些學者將此方法推廣應用到文本處理上，經過多年的應用實踐，證明深度學習方法用在文本處理上是可行的。與傳統的文本分類算法相比，深度學習算法能自動提取特征，加快處理速度，顯著提高分類效果。

深度學習的核心是利用多重非線性變換結構對數據進行高階抽象，并最終完成數據特征識別的一種算法[1]。神經網絡是深度學習中重要的模型之一，經過多年的發展，產生了多個變種，每種神經網絡都有自己的優勢。卷積神經網絡（CNN）利用卷積核進行移動計算，可以較好的提取局部特征[2-4]，但利用CNN進行文本識別，不能解決長文本的上下文依賴。

循環神經網絡（RNN）以序列形式輸入數據[5]，輸出數據要對當前數據及前后數據都有所依賴，可以提取全局特征，LSTM（Long Short-Term Memory）是循環神經網絡的一種，利用三門設計方法，解決了長期依賴導致的梯度消失和梯度爆炸問題[6]。

本文設計一種CNN與LSTM結合的深度學習模型，發揮CNN的局部特征提取優勢，并且從全局上理解文本的情感特征。首先利用CNN提取局部特征，利用LSTM獲取上下文相關信息，然后將兩種特征信息的向量進行拼接，拼接后的特征向量作為文本的特征向量，將兩種神經網絡有機結合，在文本情感識別上取得較好效果。

1 相關工作

情感分析的原理是通過對情感文本的分析，挖掘出文本所表達情感的極性和強烈程度。目前，情感分類主要是通過規則、情感詞典和機器學習兩種方法。近年來，機器學習方法取得了較大進步，情感分類的效果也大大改善。

機器學習方法中用得最多的是卷積神經網絡（CNN）和循環神經網絡（RNN）。Kalchbrenner等提出了利用CNN來進行自然語言處理[7]，提出了動態卷積神經網絡（DCNN） 模型，適應不同長度的文本，對不規則文本的處理效果較好;Kim在利用詞向量與卷積神經網絡結合實現了句子級的分類任務[8]。卷積神經網絡在文本分類應用中取得了較大的進步，但是它更關注局部特征，忽略了上下文的關系，文本的語義和情感都對上下文有較強的依賴作用，所以在文本的語義情感分類中，準確率有一些影響。

循環神經網絡以序列形式接受文本中的詞向量輸入，不但有當前位置上的信息，而且有臨近位置的信息，可以有效地解決上下文依賴問題[9]。長短記憶網絡模型是循環神經網絡的一個子類，它在神經網絡單元中加入三個門，可以避免長距離依賴產生的梯度消失問題，同時具有更強的記憶功能，對文本的識別能力更強。

2 情感模型研究

2.1 CNN模型

卷積神經網絡利用卷積核與原始數據相乘，提取局部特征，因為在一個卷積神經網絡中可以采用多個不同類型的卷積核，從而提取多個局部特征，因此具有較強的局部特征提取能力。因為相鄰的詞之間具有一定的修飾關系，并可以表達出情感傾向，所以本文在進行文本情感識別時，首先利用word2vec方法將文本構造成向量集，在文本的向量集合中采用卷積運算，進行局部特征提取，經過池化層后得到用于分類的輸出向量，最后利Softmax函數進行數據分類。

例如，句子分詞后得到n個詞，表示為：[S=w1，w2，…，wn]，其中wi表示句中第i個詞，向量化后可得[wi=Vwi]，其中[Vwi∈Rn*d]，表示S由組成n個詞構成，每個詞轉化為d維向理，構成了向量矩陣。

在分類時，把詞向量當作獨立的個體，所以采用Fk=k*d維卷積核與向量矩陣進行卷積計算，分別表k個詞之間的局部聯系，特征提取如公式⑴所示。

⑴

Ci表示經過一次卷積計算得到的局部特征值，f表示一個RELU函數，Fk表示k*d維濾波器，b表示偏置值，經過卷積核在矩陣上滑動計算一輪后得到完成的一個完整的局部特征向量C，記為：

⑵

為了降低向量維度，采用最大池化函數對C進行池化操作，。其中m為池化寬度。

⑶

di為卷積所提取特征，將所有的特征向量送到全連接層，最后的用Softmax激活函數的輸出層。可以根據輸出數據判斷出輸入詞向量的情感極性。

2.2 LSTM模型

1997年，Hochreiter首先提出了長短記憶網絡LSTM（Long Short-Term Memory）[7]，它是一種特殊循環神經網絡（RNN），它可以有效解決RNN的梯度消失或梯度爆炸的問題，能夠學習到長期的依賴關系。與RNN相比，LSTM對神經單元（Cell）的控制器進行了設計，能夠判斷信息是否有用，Cell控制單元如圖1所示。

在 LSTM模型中的控制單元由一個用于記錄狀態的記憶單元C和3控制數據流向的門（輸入門i、輸出門o和遺忘門f）組成。在時間節點t，數據進入控制單元后，通過計算，LSTM可以選擇記住或者遺忘某些信息，控制信息輸出，并將這些狀態信息傳遞到下一時刻t+1，各控制信息計算方法如式⑷至式⑻所示。

其中，ft表示t時間遺忘門信息，it表示t時刻輸入門信息，ot表示t時刻輸出門信息，用于控制信息的更新，達到信息增加和減少的目的，Ct表示對記憶單元的更新，表示遺忘多少信息以及當前輸入信息哪些需要更新到當前的記憶單元中。ht產生當前的輸出結果，由輸出門決定哪些信息最終輸出。在以上公式中[σ]表示sigmoid函數，Wf、Wt、Wo，bf、bi、bo分別表示三個門的權重以及偏置值。

利用LSTM解決了對當前詞的前文的依賴問題，但不能利用當前詞之后的信息。一個詞的語義和情感不僅與之前的歷史信息有關，還與當前詞之后的信息有著密切關系，所以本文利用采用雙向LSTM，一組詞向量分別作為正向和反向LSTM網絡的輸入，兩個LSTM的輸出合并之后，采用Softmax函數進行分類。如圖2所示。

2.3 CNN與LSTM融合模型

為了更好的利用文本的局部信息和全局信息，將兩種特征融合在一起，作為文本情感識別的判別依據。系統模型采用分層結構，第一層為已經進行了預處理的詞向量，可以直接在系統中使用，第二層中包括一個CNN神經網絡和一個LSTM網絡。第三層為特征融合層，先對兩個輸出值拼接，接到一個全連接層上。第四層為輸出層，采用softmax函數計算出文本的情感詞性。CNN與LSTM融合模型如圖3所示。

3 實驗分析

本文采用百度paddlepaddle開源實平臺及并利用AIStudio提供的計算資源進行實驗，所配置的環境是雙核CPU和8G內存。

實驗數據集采用網絡中獲取的文本資料，一共10000條，包括：政治、經濟、文學、體育、美食五個大類，每類數據2000條。

首先采用結巴分詞將這些語料進行分詞操作，然后采用word2vec轉化成詞向量，導入paddlepaddle系統模型中，對本文構建的系統模型進行訓練，并進行調參操作，通過固定參數的方法，取100維詞向量，滑動窗口大小比較2、3、4，滑動窗口數量分別取40、80、120，在學習率為0.01時效果最佳。實現結果如表1所示。

4 總結

本論文采用CNN與雙向LSTM結合的方法進行文本情感分類，結合到了CNN的局部特征提取能力及LSTM的上下文依賴能力，在PaddlePaddle開源平臺上進行實驗，利用Python語言實現此模型的構建，利用同一數據集作為輸入，對本文設計的模型與CNN模型，以及LSTM模型進行實驗，輸出文本情感識別的準確率，比較識別效果，本文算法均有所提高。接下來的研究，可以增加LSTM網絡的堆疊層數及改變融合方式，增加注意力機制，以達到進一步提高情感識別效果的目的。

參考文獻（References）：

[1] Qi Fang，Heng Li，et al.A deep learning-based method for detecting non-certified work onconstruction sites [J].Advanced Engineering Informatics 35 （2018） 56–68

[2] LIU C Y，SUN W B，CHAO W H，et al.Convolution neural network for relation extraction[C]// International Conference on Advanced Data Mining and Applications. 2013.

[3] ZENG D J，LIU K，CHEN Y B，et al. Distant supervision for relation extraction via piecewise convolutional neural networks[C]// The 2015 Conference on Empirical Methods in Natural Language Processing. 2015.

[4] KALCHBRENNER N，GREFENSTETTE E，BLUNSOM P. A convolutional neural network for modelling sentences [J/OL] arXiv preprint，2014，2014：arXiv：1404.2188[2014-04-08].https： //arxiv.org /abs /1404.2188.

[5] EBRAHIMI J，DOU D. Chain based RNN for relation classification. [EB/OL].[2014-09-03]. http//www.aclweb.org/anthology/N/N15/N15-1133.pdf.

[6] HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J].Neural Computation，1997，9（8）：1735 -1780

[7] KIM Y. Convolutional neural networks for sentence classification[EB/OL].[2014-09-03]. http：//emnlp2014.org/papers/pdf/EMN-LP2014181.pdf.

[8] ZHANG S， ZHENG D Q， HU X C， et al. bidirectional long short-term memory networks for relation classification[C]// PACLIC. 2015.

[9] CHO K， van MERRIENBOER B， CULCEHRE C，et al. Learning phrase representions using RNN encoder decoder for statistical machine translation[EB/OL].[2014-09-03].http：//www.aclweb.org/antology/D/d14/d14-1179.pdf.