CNN-BiGRU網(wǎng)絡中引入注意力機制的中文文本情感分析

王麗亞 劉昌輝 蔡敦波 盧濤

.

摘 要：傳統(tǒng)卷積神經(jīng)網(wǎng)絡（CNN）中同層神經(jīng)元之間信息不能互傳，無法充分利用同一層次上的特征信息，缺乏句子體系特征的表示，從而限制了模型的特征學習能力，影響文本分類效果。針對這個問題，提出基于CNN-BiGRU聯(lián)合網(wǎng)絡引入注意力機制的模型，采用CNN-BiGRU聯(lián)合網(wǎng)絡進行特征學習。首先利用CNN提取深層次短語特征，然后利用雙向門限循環(huán)神經(jīng)網(wǎng)絡（BiGRU）進行序列化信息學習以得到句子體系的特征和加強CNN池化層特征的聯(lián)系，最后通過增加注意力機制對隱藏狀態(tài)加權(quán)計算以完成有效特征篩選。在數(shù)據(jù)集上進行的多組對比實驗結(jié)果表明，該方法取得了91.93%的F1值，有效地提高了文本分類的準確率，時間代價小，

具有很好的應用能力。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡;雙向門限循環(huán)神經(jīng)網(wǎng)絡;注意力機制;中文文本情感分析

中圖分類號：TP391.1

文獻標志碼：A

Abstract： In the traditional Convolutional Neural Network （CNN）， the information cannot be transmitted to each other between the neurons of the same layer， the feature information at the same layer cannot be fully utilized， making the lack of the representation of the characteristics of the sentence system. As the result， the feature learning ability of model is limited and the text classification effect is influenced. Aiming at the problem， a model based on joint network CNN-BiGRU and attention mechanism was proposed. In the model， the CNN-BiGRU joint network was used for feature learning. Firstly， deep-level phrase features were extracted by CNN. Then， the Bidirectional Gated Recurrent Unit （BiGRU） was used for the serialized information learning to obtain the characteristics of the sentence system and strengthen the association of CNN pooling layer features. Finally， the effective feature filtering was completed by adding attention mechanism to the hidden state weighted calculation. Comparative experiments show that the method achieves 91.93% F1 value and effectively improves the accuracy of text classification with small time cost and good application ability.

Key words： Convolutional Neural Network （CNN）; Bidirectional Gated Recurrent Unit （BiGRU）; attention mechanism; Chinese text sentiment analysis

0 引言

隨著互聯(lián)網(wǎng)的飛速發(fā)展，神經(jīng)網(wǎng)絡迎來夢寐以求的大數(shù)據(jù)時代，其中，文本情感分析[1]是一個重要的研究方向，能有效地分析文本所包含的情感信息，同時具有很高的商業(yè)價值。

文本情感分析是自然語言處理（Natural Language Processing， NLP）領(lǐng)域的一個重要研究方向，主要目的是從原始文本中提取出評論人的主觀情感，即對某個對象是積極還是消極的態(tài)度。主要分析方法可分為三類：基于有監(jiān)督的學習、基于語言學和基于深度學習的方法[2-3]。Pang等[4]針對電影評論，通過詞袋模型分別加上貝葉斯、最大熵、支持向量機等各種分類器取得較好的分類效果。Bengio等[5]最早使用神經(jīng)網(wǎng)絡構(gòu)建語言模型。Mikolov等[6-7]2013年在Log-Bilinear模型[8]的基礎上提出了word2vec技術(shù)。Kalchbrenner等[9]提出動態(tài)卷積神經(jīng)網(wǎng)絡（Dynamic Convolutional Neural Network， DCNN）的模型處理長度不同的文本，將卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network， CNN）應用于NLP。Kim[10]對比了不同詞向量構(gòu)造方法，利用提前訓練的詞向量作為輸入，通過CNN實現(xiàn)句子級的文本分類。但傳統(tǒng)CNN無法深度學習池化后的特征，本文采用CNN-BiGRU聯(lián)合網(wǎng)絡進行特征學習。

Lee等[11]利用基于循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network， RNN）和CNN訓練文本的向量，通過普通人工神經(jīng)網(wǎng)絡（Artificial Neural Network， ANN）實現(xiàn)文本分類，說明了添加文本序列信息可以提高分類的準確率。普通RNN可以有效地利用近距離的語義特征[12-13]，但存在梯度消失的不足，

為解決這一問題，RNN出現(xiàn)了多個變種循環(huán)神經(jīng)網(wǎng)絡模型。長短時記憶網(wǎng)絡（Long Short-Term Memory，LSTM）[14]，在文本上可以提取長距離的語義特征。

Zhou等[15]提出C-LSTM進行文本分類，但忽略了文本上下文的特征聯(lián)系。雙向長短時記憶網(wǎng)絡（Bidirectional LSTM， BiLSTM）[16]則由前向傳播和后向傳播的兩個LSTM組合而成，提取全局特征彌補了LSTM的不足;但網(wǎng)絡結(jié)構(gòu)復雜，所需參數(shù)多，時間代價大。Cho等[12]提出了門限循環(huán)單元（Gated Recurrent Unit，GRU），GRU網(wǎng)絡結(jié)構(gòu)相對LSTM更加簡單，能有效縮短模型訓練時間。雙向門限循環(huán)神經(jīng)網(wǎng)絡（Bidirectional Gated Recurrent Unit， BiGRU）則是由正向GRU、反向GRU、正反向GRU的輸出狀態(tài)連接層組成的神經(jīng)網(wǎng)絡。

綜上，BiGRU相對于BiLSTM的網(wǎng)絡結(jié)構(gòu)較為簡單，時間代價小。因此，本文采用BiGRU學習CNN池化后的特征得到句子體系的特征表示。

Bahdanau等[17]最早提出了注意力機制理論，并將其應用到機器翻譯領(lǐng)域。Mnih等[18]在RNN模型上使用了注意力機制來進行圖像分類，使得注意力機制真正意義上流行了起來。Xu等[19]展示了如何使用學習得到的注意力機制為模型生成過程提供更多可解釋性;Luong等[20]提出了全局、局部兩種注意力機制，促進了基于注意力機制的模型在NLP的應用。胡榮磊等[21]將LSTM和前饋注意力模型相結(jié)合，提出了一種文本情感分析方案。王偉等[22]提出BiGRU-Attention模型進行情感分類。陳潔等[23]提出了基于并行混合神經(jīng)網(wǎng)絡模型的短文本情感分析方法，

以上結(jié)合注意力機制進行情感分析的模型，皆說明了通過引入注意力機制能有效地提高了情感分類的準確度。

由于利用傳統(tǒng)CNN或BiGRU網(wǎng)絡進行特征學習時，CNN在局部特征提取上較BiGRU具有優(yōu)勢，但缺乏句子體系的特征表示，而一個模型對特征的學習能力會直接影響文本分類效果，所用本文提出聯(lián)合網(wǎng)絡引入注意力機制的模型進行情感分析。

本文的主要工作如下：

1）針對中文文本，提出了CNN-BiGRU聯(lián)合網(wǎng)絡模型學習文本特征，充分利用CNN局部特征的強學習能力，使用BiGRU網(wǎng)絡獲取此層次前后向特征，提取句子體系的特征表示，從而提高文本情感分析的準確率，并在時間代價上驗證了此網(wǎng)絡的有效性。

2）在聯(lián)合網(wǎng)絡模型上引入注意力模型，獲取文本中的重點特征，降低噪聲特征的干擾，從而進一步提高文本情感分析的準確率。

1 詞向量

本文實驗采用谷歌開源工具word2vec來構(gòu)建文本詞向量。word2vec技術(shù)包括兩種模型：連續(xù)詞袋模型（CBOW）和Skip-gram模型。CBOW模型根據(jù)上下文預測一個詞，而Skip-gram模型正好相反，是利用當前詞來預測周圍的詞。本文使用Skip-gram模型。

Skip-gram模型分為輸入層、投影層和輸出層，模型結(jié)構(gòu)如圖1所示。

如果上下文窗口大小設置為4，且設當前詞W（t）所對應的向量形式為V（W（t）），其周圍4個詞所對應的向量形式為V（W（t+2））、V（W（t+1））、V（W（t-1））、V（W（t-2）），則Skip-gram模型通過中間詞預測周圍詞，是利用中間詞向量V（W（t））的條件概率值來求解，如式（1）所示：

2 聯(lián)合網(wǎng)絡引入注意力機制模型本文提出了CNN-BiGRU聯(lián)合網(wǎng)絡引入注意力機制（C-BG-A）的文本情感分析方法。

結(jié)構(gòu)主要可分為CNN-BiGRU聯(lián)合網(wǎng)絡特征學習和CNN-BiGRU-Attention特征篩選。

2.1 CNN-BiGRU聯(lián)合網(wǎng)絡特征學習本文利用CNN提取局部短語特征。CNN是一種前饋神經(jīng)網(wǎng)絡，模型結(jié)構(gòu)主要包括輸入層、卷積層、池化層、全連接層和輸出層五部分，CNN的網(wǎng)絡結(jié)構(gòu)如圖2所示。

1）輸入層。將嵌入層的輸出作為輸入，句子中每個詞的詞向量為xi∈Rn×d，其中n是詞數(shù)，d是向量維度，本文定為100維。

2）卷積層。通過設置好大小的濾波器來完成對輸入文本句子特征的提取，如式（2）所示：

其中：ω是卷積核;h是卷積核的尺寸;

xi：i+h-1是i到i+h-1個詞組成的句子向量;b是偏置項;通過卷積層后，得到特征矩陣c=[c1，c2，…，cn-h+1]。

3）池化層。通過對卷積層之后得到的句子局部特征矩陣c進行下采樣，求得局部值的最優(yōu)解Mi。這里采用MaxPooling技術(shù)，如式（3）所示：

由于BiGRU輸入必須是序列化結(jié)構(gòu)，池化將中斷序列結(jié)構(gòu)c，所以需要添加全連接層，將池化層后的向量Mi連接成特征矩陣U，如式（4）所示：

將新的連續(xù)高階窗口U作為BiGRU的輸入。BiGRU由正向GRU、反向GRU、正反向GRU的輸出狀態(tài)連接層組成，網(wǎng)絡結(jié)構(gòu)如圖3所示。

若記t時刻正向GRU輸出的隱藏狀態(tài)為t，反向GRU輸出的隱藏狀態(tài)為t，則BiGRU輸出的隱藏狀態(tài)ht，其具體的計算過程如式（5）～（7）所示：

GRU是對LSTM的一種改進，它也存在一個貫穿始終的記憶狀態(tài)單元（Memory Unit），該記憶單元用更新門代替原來LSTM中的遺忘門和輸入門，即在網(wǎng)絡結(jié)構(gòu)上要比LSTM更為簡單，且所需參數(shù)減少，從而能夠提高模型訓練速度。GRU的原理如圖4所示。其具體的計算過程如式（8）～（11）所示：

其中：wz、wr、w為權(quán)值矩陣;zt為更新門;rt為重置門;t為備選激活函數(shù);ht為激活函數(shù);Ut為t時刻GRU的輸入;

σ為sigmoid激活函數(shù)。

2.2 CNN-BiGRU-Attention特征篩選

注意力機制通過對文本向量的語義編碼分配不同的注意力權(quán)重，以區(qū)分文本中信息的重要性大小，提高分類的準確率。本文使用前饋注意力模型，注意力模型結(jié)構(gòu)如圖5所示。

1）生成目標注意力權(quán)重vt，如式（12）所示：

其中：σ是一種注意力學習函數(shù)tanh;ht是CNN-BiGRU網(wǎng)絡輸出的特征向量。

2）注意力權(quán)重概率化，通過softmax函數(shù)生成概率向量pt，如式（13）所示：

3）注意力權(quán)重配置，將生成的注意力權(quán)重配置給對應的隱層狀態(tài)語義編碼ht，使模型生成的注意力權(quán)重發(fā)揮作用，αt是ht的加權(quán)平均值，權(quán)值是pt，如式（14）所示：

2.3 C-BG-A模型

C-BG-A模型網(wǎng)絡結(jié)構(gòu)如圖6所示。主要包括三個部分：一是CNN+BiGRU的網(wǎng)絡構(gòu)建;二是引入注意力模型;三是用sigmoid分類器進行分類。

下面針對C-BG-A模型進行詳細介紹：

1）將文本輸入到word2vec模型中訓練，句子中每個詞的詞向量為xi∈Rn×d，其中n是詞數(shù)，d是向量維度，則句子矩陣S可表示為

2）添加CNN層，利用式（2）～（3）得到局部短語特征矩陣Mi。

3）添加全連接層，利用式（4）將局部短語特征Mi拼接成序列結(jié)構(gòu)U。

4）添加BiGRU層，利用式（5）～（11）學習序列U得到句子特征表示Hct。

5）引入注意力機制，利用式（12）～（14）得到Hct的加權(quán)平均值Act。

6）經(jīng)過dropout層后，得到特征向量A。

7）添加Dense層，參數(shù)為1，激活函數(shù)為sigmoid函數(shù)，對文本特征進行分類：

p（y|A，w，b）=sigmoid（w·A+b）

8）模型損失函數(shù)定為對數(shù)損失函數(shù)，模型會通過更新參數(shù)權(quán)值矩陣w和偏置向量b，從而達到優(yōu)化模型的效果。

2.4 模型訓練本文將情感分析問題看成一個二分類的問題，分類函數(shù)選為sigmoid函數(shù)，如式（15）所示：

其中：樣本是{x， y}， y是消極0或者積極1，x是樣本特征向量;ω代表可訓練參數(shù)。

模型訓練的目標實質(zhì)就是最小化損失函數(shù)。本文在編譯模型時，損失函數(shù)為對數(shù)損失函數(shù)，一般是與sigmoid相對應的損失函數(shù)。

訓練模型參數(shù)ω如式（16）所示：

其中：yi為輸入xi的真實類別，hω（xi）為預測輸入xi屬于類別1的概率。

模型的優(yōu)化器選為Adam（Adaptive moment estimation），Adam優(yōu)化算法是一種計算每個參數(shù)的自適應學習率的方法，結(jié)合了AdaGrad和RMSProp兩種優(yōu)化算法的優(yōu)點。參數(shù)的更新不受梯度的伸縮變換影響，變化平穩(wěn)，如式（17）～（21）所示：

評價函數(shù)為accuracy函數(shù)，用于評估當前訓練模型的性能。

3 實驗與分析在帶有情感標簽的中文購物評論文本上，對提出的C-BG-A模型情感分析方法進行驗證與分析。實驗環(huán)境配置數(shù)據(jù)如表1所示。

3.1 實驗環(huán)境與數(shù)據(jù)

實驗數(shù)據(jù)來自網(wǎng)絡購物的評論，數(shù)據(jù)內(nèi)容對象類型有酒店、牛奶、書籍、手機等。評論情感標簽分為兩類[0，1]，消極的情感為0，積極的情感為1。例如：“地理位置優(yōu)越，交通方便，飯店環(huán)境好，服務優(yōu)良，洗衣迅捷”，情感為積極，“手機系統(tǒng)差，容易壞.部分按鍵不靈活，半年后就會出現(xiàn)在大問題.”，情感為消極。數(shù)據(jù)集設置為：總數(shù)21105條，訓練集16884條，驗證集2000條，測試集2221條。

3.2 參數(shù)設置參數(shù)設置會直接影響后續(xù)模型的分類效果，具體的參數(shù)設置如表2所示。

3.3 評價指標

準確度（Accuracy）、精確度（Precision）、召回率（Recall）、F值（Fθ）這4個模型評測指標是NLP模型評估的常用標準。設總的測試集個數(shù)為TP+TN+FP+FN，其具體含義如表3所示。

3.4 對比實驗設置實驗設置以下多組對比實驗，包括傳統(tǒng)機器學習算法支持向量機（Support Vector Machine，SVM）與深度學習網(wǎng)絡的比較，單一網(wǎng)絡與聯(lián)合網(wǎng)絡的比較，及與引入注意力模型的網(wǎng)絡對比。網(wǎng)絡輸入均是利用word2vec訓練的詞向量。

1）SVM[24]：采用傳統(tǒng)機器學習算法SVM進行情感分析。

2）BiLSTM[16]：單一的BiLSTM網(wǎng)絡。

3）BiGRU：單一的BiGRU網(wǎng)絡。

4）CNN[25]：單一的CNN網(wǎng)絡。

5）CNN+BiLSTM：先添加一個CNN網(wǎng)絡，再添加一個BiLSTM網(wǎng)絡。

6）CNN+BiGRU：先添加一個CNN網(wǎng)絡，再添加一個BiGRU網(wǎng)絡。

7）CNN+BiLSTM+Attention（CNN+BiLSTM+Att）：先添加一個CNN網(wǎng)絡，再添加一個BiLSTM網(wǎng)絡，最后引入Attention機制。

8）CNN+BiGRU+Attention（C-BG-A）：先添加一個CNN網(wǎng)絡，再添加一個BiGRU網(wǎng)絡，最后引入Attention機制。

3.5 實驗結(jié)果分析

實驗在測試集上計算出Accuracy值、Precision值、Recall值、F1值，對比結(jié)果如表4所示。

從表4顯示的8組模型對比結(jié)果可看出：從兩個綜合評測指標Accuracy、F1上來看，C-BG-A準確率達到92.03%，F(xiàn)1值達到91.93%，均優(yōu)于對比模型。SVM雖然取得較好的分類效果，但基于深度學習的7組模型明顯優(yōu)于SVM。第5、6與之前3組模型的對比，體現(xiàn)出本文提出的CNN-BiGRU聯(lián)合網(wǎng)絡提取特征的優(yōu)勢，因為CNN對文本特征的強學習能力有助于聯(lián)合模型對深層次特征的學習，而雙向循環(huán)神經(jīng)網(wǎng)絡對序列化特征前后的學習能力，在聯(lián)合模型對CNN提取的特征進行再加工時，起到正影響的作用。第7、8與5、6組的對比，可知在聯(lián)合模型的基礎上添加注意力機制能有效地提高模型分類的準確度，因為注意力機制分配給特征不同的權(quán)重，讓模型學習到了特征之間的輕重不同之分，有助于模型快速掌握重要的特征。第8與7組的比較，說明利用BiGRU學習CNN池化后的特征較BiLSTM效果更佳。

為了更直觀地反映基于深度學習的7組模型的優(yōu)劣，本文選擇繪畫驗證集的準確率（val_acc）和損失率（val_loss）變化圖。準確率的變化如圖7所示，損失率的變化如圖8所示。

從圖7可看出：總體上7組模型準確度都不斷上升，第二次迭代后均達86%以上，其中C-BG-A模型的準確度均達90%以上，且趨勢平穩(wěn)，不如其余6組模型波動性大?？梢奀-BG-A模型在提取文本特征上更為優(yōu)秀和穩(wěn)定，在短時間內(nèi)準確度可達較高水平且趨勢穩(wěn)定，即在迭代次數(shù)較少的情況下也可以達到較高的準確度，在第5次迭代時達到最高值92.93%。

從圖7中也可發(fā)現(xiàn)，有BiGRU參與的模型準確度都能快速達到較高水平且波幅較平穩(wěn)，相對與BiLSTM表現(xiàn)更好。模型損失率是越小越好。從圖8中可看出：CNN模型的波動最大，其余6組都較為集中;細看可發(fā)現(xiàn)，C-BG-A模型的損失率第1次迭代結(jié)果就達到0.2552，第2次迭代結(jié)果為最低值0.2051，且趨勢平穩(wěn)。綜合圖7～8的分析結(jié)果，C-BG-A模型具有收斂性快、準確度高、穩(wěn)定性強的特點，相比較其他6組模型在文本分類上更具有優(yōu)勢。

為了量化模型的優(yōu)劣，本文在測試集上進行預測，樣本總數(shù)為2221。實驗統(tǒng)計了預測結(jié)果的TP值、FP值、TN值、FN值、Right值、Wrong值，Right為模型預測正確的樣本數(shù)，Wrong為模型預測錯誤的樣本數(shù)。輸出結(jié)果為預測樣本是1概率，為方便統(tǒng)計，將值大于0.5的定為1，其余為0。預測值統(tǒng)計的結(jié)果如表5所示。

表5中，C-BG-A模型預測正確最多，錯誤最少，可見C-BG-A模型最優(yōu)。

針對模型的時間代價分析，本文給出5組對比模型完成每次迭代所需時間的對比圖，如圖9所示。

實驗盡可能統(tǒng)一其運行條件，在減少因各方面因素不同對其影響的情況下進行統(tǒng)計。從圖9模型的時間代價來看，單模型迭代所用時間均為最少，其中，BiGRU所用時間最短，因為其網(wǎng)絡結(jié)構(gòu)最為簡單。C-BG-A多數(shù)保持在117s/epoch。在時間代價上，C-BG-A比CNN+BiLSTM+Attention更有優(yōu)勢，說明選擇BiGRU模型能有效地縮短模型的訓練時間，具有高效性。

利用模型對真實單句進行預測，展示了模型真實的運用功能。選句子時要避免與原數(shù)據(jù)中的句子相同，否則會影響評估模型性能。為方便了解輸出結(jié)果含義，將值大于0.5的定為positive，其余定為negative。單句測試結(jié)果如表6所示。

預測結(jié)果句子情緒從表6單句測試結(jié)果上來看，C-BG-A模型對隨機所選的單句的預測結(jié)果都是正確的，從而更加直觀地說明了C-BG-A能在中文文本分類問題上的成功應用。

綜上，針對本文所用數(shù)據(jù)集，利用CNN-BiGRU聯(lián)合模型提取特征優(yōu)于單模型CNN或BiGRU，再引入注意力機制能進一步地提高文本分類的準確率，且模型具有高效性和很好的應用能力。

4 結(jié)語

本文提出了一種C-BG-A模型的中文文本情感分析方法。利用CNN局部特征的強學習能力，提取短語體系的特征。再利用BiGRU深度學習CNN中池化后連接組成的特征，加強短語特征之間的聯(lián)系，從而使模型學習到更深層次的句子體系特征表示。最后引入注意力機制進行特征篩選，降低噪聲干擾。

在中文網(wǎng)絡購物評論文本上進行訓練和測試，實驗結(jié)果表明本文模型有效地提高了文本情感分類準確率，且時間代價小。但由于本文模型使用的CNN網(wǎng)絡深度不夠，如何使用更深的CNN網(wǎng)絡作為聯(lián)合對象進一步提高分類準確率，是下一步工作的目標。

參考文獻（References）

[1] 魏韡， 向陽， 陳千. 中文文本情感分析綜述[J]. 計算機應用， 2011， 31（12）： 3321-3323. （WEI W， XIANG Y， CHEN Q. Survey on Chinese text sentiment analysis[J]. Journal of Computer Applications， 2011， 31（12）： 3321-3323.）

[2] TURNEY P D. Thumbs up or thumbs down？： semantic orientation applied to unsupervised classification of reviews[C]// Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2002： 417-424.

[3] NI X， XUE G， LING X， et al. Exploring in the weblog space by detecting informative and affective articles[C]// Proceedings of the 16th International Conference on World Wide Web. New York： ACM， 2007： 281-290.

[4] PANG B， LEE L， VAITHYANATHAN S. Thumbs up？： sentiment classification using machine learning techniques[C]// Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2002： 79-86.

[5] BENGIO Y， DUCHARME R， VINCENT P， et al. A neural probabilistic language model[J]. Journal of Machine Learning Research， 2003， 3： 1137-1155.

[6] MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space[EB/OL]. [2017-08-04]. http：//www.surdeanu.info/mihai/teaching/ista555-spring15/readings/mikolov2013.pdf.

[7] MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality [EB/OL]. [2019-01-10]. http：//papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf.

[8] MNIH A， HINTON G E. A scalable hierarchical distributed language model[C]// Proceedings of the 21st International Conference on Neural Information Processing. New York： Curran Associates Inc.， 2008： 1081-1088.

[9] KALCHBRENNER N， GREFENSTETTE E， BLUNSOM P. A convolutional neural network for modelling sentences[C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2014： 655-665.

[10] KIM Y. Convolutional neural networks for sentence classification[C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Proceeding. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1746-1751.

[11] LEE J Y， DERNONCOURT F. Sequential short-text classification with recurrent and convolutional neural networks[C]// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2016， 515-520.

[12] CHO K， van MERRIENBOER B， GULCEHRE C， et al. Learning phrase representions using RNN encoder-decoder for statistical machine translation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing.Stroudsburg， PA： Association for Computational Linguistics， 2014： 1724-1734.

[13] EBRAHIMI J， DOU D. Chain based RNN for relation classification[C]// Proceedings of the 2015 Annual Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1244-1249.

[14] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997， 9（8）： 1735-1780.

[15] ZHOU C， SUN C， LIU Z， et al. A C-LSTM neural network for text classification[EB/OL].[2019-01-09].https：//arxiv.org/abs/1511.08630.

[16] XIAO Z， LIANG P. Chinese sentiment analysis using bidirectional LSTM with word embedding[C]// Proceedings of the 2016 International Conference on Cloud Computing and Security， LNSC 10040. Berlin： Springer， 2016： 601-610.

[17] BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate[EB/OL]. [2018-03-20]. https：//arxiv.org/pdf/1409.0473v7.pdf.

[18] MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014： 2204-2212.

[19] XU K， BA J， KIROS R， et al. Show， attend and tell： neural image caption generation with visual attention[EB/OL]. [2018-03-20]. https：//arxiv.org/pdf/1502.03044.pdf.

[20] LUONG M PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation[C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1412-1421.

[21] 胡榮磊， 芮璐， 齊筱， 等. 基于循環(huán)神經(jīng)網(wǎng)絡和注意力模型的文本情感分析[J/OL]. 計算機應用研究， 2019， 36（11）. [2018-12-10]. http：//www.arocmag.com/article/02-2019-11-025.html. （HU R L， RUI L， QI X， et al. Text sentiment analysis based on recurrent neural network and attention model[J/OL]. Application Research of Computers， 2019， 36（11）. [2018-12-10]. http：//www.arocmag.com/article/02-2019-11-025.html.）

[22] 王偉， 孫玉霞， 齊慶杰， 等. 基于BiGRU-Attention神經(jīng)網(wǎng)絡的文本情感分類模型[J/OL]. 計算機應用研究， 2018， 36（12） [2018-12-10]. http：//www.arocmag.com/article/02-2019-12-045.html （WANG W， SUN Y X， QI Q J， et al. Text sentiment classification model based on BiGRU-Attention neural network[J/OL]. Application Research of Computers， 2018， 36（12）[2018-12-10]. http：//www.arocmag.com/article/02-2019-12-045.html.）

[23] 陳潔， 邵志清， 張歡歡， 等. 基于并行混合神經(jīng)網(wǎng)絡模型的短文本情感分析[J/OL]. 計算機應用， 2019. [2018-12-10]. http：//kns.cnki.net/kcms/detail/51.1307.TP.20190329.1643.008.html. （CHEN J， SHAO Z Q， ZHANG H H， et al. Short text sentiment analysis based on parallel hybrid neural network model[J/OL]. Journal of Computer Applications， 2019. [2018-12-10]. http：//kns.cnki.net/kcms/detail/51.1307.TP.20190329.1643.008.html.）

[24] 常丹， 王玉珍. 基于SVM的用戶評論情感分析方法研究[J]. 棗莊學院學報， 2019， 36（2）： 73-78. （CHANG D， WANG Y Z. Research on the method of user comment sentiment analysis based on SVM[J]. Journal of Zaozhuang University， 2019， 36（2）： 73-78.）

[25] 王煜涵， 張春云， 趙寶林， 等. 卷積神經(jīng)網(wǎng)絡下的Twitter文本情感分析[J]. 數(shù)據(jù)采集與處理， 2018， 33（5）： 921-927. （WANG Y H， ZHANG C Y， ZHAO B L， et al. Sentiment analysis of twitter data based on CNN[J]. Journal of Data Acquisition and Processing， 2018， 33（5）： 921-927.）