基于CNN-BiLSTM 網絡引入注意力模型的文本情感分析

王麗亞，劉昌輝，蔡敦波，趙彤洲，王 夢

武漢工程大學計算機科學與工程學院，湖北 武漢 430205

情感分析［1］是自然語言處理領域的一個重要研究方向，文本情感分析的主要目的是從原始文本中提取出說話人的主觀情緒，包括其針對某個對象的立場是褒揚還是貶損，其對某事件的態度是積極還是消極等等。

情感分析方法主要是基于有監督學習、基于語言學和基于深度學習的三類方法［2］。隨著深度學習在圖像處理和語音識別領域的成功應用，便逐漸將其應用到自然語言處理領域，其中情感分析就是一個很重要的研宄方向。Bengio 等［3］最早使用神經網絡構建語言模型。Mikolov 等［4-5］于2013 年提出了word2vec 技術，推動了詞向量的快速發展。Kim 等［6］對比了不同詞向量構造方法，利用提前訓練的詞向量作為輸入，通過卷積神經網絡（convolutional neural network，CNN）實現句子級的文本分類。Lee 等［7］利用基于循環神經網絡（recurrent neural network，RNN）和CNN 訓練文本的向量，通過普通人工神經網絡（ANN）實現文本分類，證明了添加文本序列信息可以提高分類的準確率。普通RNN 可以有效地利用近距離的語義信息［8-9］，RNN 有多種變種循環神經網絡模型，長短時記憶網絡（long short-term memory，LSTM）［10-11］，可以捕捉較遠距離的兩個文本元素之間的相互關系，獲取更多文本序列信息。雙向長短時記憶網絡（bidirectional long short-term memory，BiLSTM）［12］，由兩個LSTM 組合而成，一個前向傳播、一個后向傳播，可以有效地利用文本的上下文語義信息。Bahdanau 等［13］最早提出了注意力機制理論，并將其應用到了機器翻譯領域。Mnih 等［14］在RNN 模型上使用了注意力機制來進行圖像分類，使得注意力機制真正意義上流行了起來。類似圖片，文本中重點信息也會出現分布不均的情況，可以利用注意力機制（Attention）通過對文本向量的語義編碼分配不同的注意力權重，以區分文本中信息的重要性大小，提高分類的準確率。

胡榮磊等［15］提出了LSTM 添加注意力機制的方法，證明了添加注意力機制較傳統的機器學習方法和單純的長短期記憶網絡的方法有明顯的優勢。Zhou 等［16］提出C-LSTM 模型，將CNN 與LSTM以鏈接的方式構建網絡模型，增強了模型特征學習能力從而改進了模型分類效果。

但是單LSTM 只能學習前向特征，忽略了后向特征的學習，不能很好的利用上下文語義特征，從而限制了文本分類性能。本文采用CNN 基礎上添加BiLSTM，并證明了BiLSTM 的添加對模型的分類效果起到正影響，而且彌補LSTM 的不足，再在此網絡基礎上添加注意力機制，在豐富特征信息的同時減少了噪聲干擾。通過實驗證明了此網絡模型對提高文本分類準確率的有效性和高效性。

由于本文模型中CNN 和BiLSTM 是鏈式鏈接關系，存在鏈接次序影響的問題，所以實驗部分給出了CNN-BiLSTM 網絡聯合次序的有效性分析。

1 CNN-BiLSTM網絡引入注意力模型

通過學習已有的神經網絡模型，為了提高文本情感分析的準確率，本文提出了CNN-BiLSTM 網絡引入注意力模型的文本情感分析方法。模型網絡結構如圖1 所示。

其主要包括兩個部分：一是CNN-BiLSTM 網絡構建，本文后面將進行CNN 網絡與BiLSTM 網絡連接方式的有效性分析。二是引入注意力模型。實驗主要流程為：首先獲取大規模語料訓練而成的詞向量矩陣，生成詞索引，通過嵌入層，將其輸出作為CNN-BiLSTM 網絡的輸入，然后引入注意力模型，再添加全連接層，最后通過softmax 分類器進行情感分類，其中采用dropout技術防止過擬合。

圖1 模型的網絡結構圖Fig.1 Network structure diagram of model

1.1 模型表示

1.2 卷積神經網絡模型

利用 提取局部特征。CNN 是一種前饋神經網絡，其模型結構主要包括輸入層、卷積層、池化層、全連接層和輸出層幾部分。

將嵌入層的輸出作為輸入，句子中每個詞的詞向量為xi，xi∈Rn×d，其中n 是詞數，d 是向量維度，本文定為200 維。

卷積操作，主要完成特征提取的工作，通過設置好的濾波器來完成對輸入文本句子特征的提取：

其中，ω 是卷積核，g 是卷積核的尺寸，xi:i+g-1是i 到i+g-1 個詞組成的句子向量，b 是偏置項，通過卷積層后，得到特征矩陣 J ，。

池化層，通過對卷積層之后得到的句子局部特征矩陣C 進行下采樣，求得局部值的最優解。這里采用MaxPooling 技術，如式（3）所示：

由于BiLSTM 輸入必須是序列化結構，池化將中斷序列結構J，所以需要添加全連接層，將池化層后的Mi向量連接成向量Q：

將新的連續高階窗口Q 作為BiLSTM 的輸入。

1.3 BiLSTM 模型

LSTM 是RNN 的一個變種，它存在一個貫穿始終的記憶狀態單元（Memory Units），該記憶單元遺忘、記憶、輸出，由通過上個時刻的隱藏狀態ht-1和當前輸入xt計算出來的遺忘門ft、記憶門it、輸出門ot來控制，保留重要的信息，遺忘不重要的信息，消除了循環神經網絡存在的梯度爆炸（Gradient Explosion）或梯度消失問題。其原理圖如圖2所示。

計算遺忘門ft，根據ht-1和xt計算，如式（5）所示：

根據ht-1和xt計算，計算記憶門it：

圖2 長短時記憶單元模型的網絡結構圖Fig.2 Network structure of LSTM model

根據ht-1和xt計算，計算臨時記憶狀態C~t：

計算當前記憶狀態Ct，根據ft、it、C~t和上一時刻記憶Ct-1計算：

計算輸出門ot，根據ht-1和xt計算，如式（9）所示：

計算當前時刻隱藏狀態ht，根據ot和Ct計算，如式（10）所示：

其 中Wf，Uf，Wi，Ui，Wc，Uc，Wo，Uo均 為 權 值矩陣；bf，bi，bc，bo均為偏置向量；tanh：激活函數；logistic：激活函數。

BiLSTM 由正向LSTM 與反向LSTM 結合而成，若記t 時刻正向LSTM 輸出的隱藏狀態為，反向LSTM 輸出的隱藏狀態為，則BiLSTM 輸出的隱藏狀態：

1.4 注意力模型

注意力模型是用來表示文本句子中的詞與輸出結果之間的相關性，該模型最先被應用于機器翻譯的任務中。注意力模型通過對文本向量的語義編碼分配不同的注意力權重，以區分文本中信息的重要性大小，提高分類的準確率。本文使用前饋注意力模型。

生成目標注意力權重vt，ht是CNN-BiLSTM網絡輸出的隱藏狀態：

注意力權重概率化，通過softmax 函數生成概率向量pt，如式（13）所示：

注意力權重配置，將生成的注意力權重配置給對應的隱層狀態語義編碼ht，使模型生成的注意力權重發揮作用，at是ht的加權平均值，權值是pt，如式（14）所示：

2 實驗部分

實驗針對帶有情感標簽的電影評論和推特評論對提出的情感分析方法進行有效性驗證。其中，實驗所用的嵌入矩陣是glove 已訓練好的詞向量glove.6B.200d。

2.1 實驗數據

數據集來自IMDB 電影評論和Twitter 用戶評論，IMDB 電影評論情感類別是類似豆瓣網站的星級評分制度，最差1 分至最好10 分，本文將其分為2 類，即1～5 分歸為消極情感0，6～10 歸為積極情感1。Twitter 用戶評論情感標簽直接為2 類，消極為0，積極為1。實驗所用數據集的設置如表1 所示。

表1 實驗數據設置Tab.1 Experimental settings 條

2.2 參數設置

實驗所用的嵌入矩陣是glove 已訓練好的詞向量glove.6B.200d，詞向量維度設置為200，嵌入索引中找不到的單詞將全部為零。卷積神經網絡的濾波器窗口大小均分別為3，4，5，激活函數選擇relu 函數。雙向長短時記憶網絡的隱藏狀態向量維度設置均為200，Dense 層，為2 分類，激活函數為softmax，Dropout 參數設置分別為0.3，0.2，0.25。模型的優化器optimizer=‘adam’，采用fit 函數進行訓練，其中訓練批次長度batch-size=32。

2.3 有效性分析

本文提出的方法是在CNN-BiLSTM 聯合網絡上引入注意力模型，所以在構建聯合網絡時會有CNN、BiLSTM 網絡聯合次序的影響，這里針對實驗數據集，設置對比實驗，進行CNN-BiLSTM 聯合次序的有效性分析。

聯合次序對比實驗結果如表2 所示。對表2中實驗結果進行分析：在Twitter 數據集上，CNN-BiLSTM 的連接方式比BiLSTM-CNN 的連接方式，Acc 指標高約1.01%，RMSE 指標優化了約0.32%。在IMDB 數據集上，前者比后者Acc 指標高約0.18%，RMSE 指標優化了約1.20%。說明了CNN-BiLSTM 的連接方式比BiLSTM-CNN 的連接方式，在引入注意力模型后，分類效果上有所提高。

表2 聯合次序對比實驗結果Tab.2 comparison experimental results in different model-combining order

從驗證集的準確率（val_acc）上來看，Twitter的val_acc 變化如圖3 所示，本文模型val_acc 值均在BiLSTM-CNN-Attention 模型之上。IMDB 的val_acc 變化如圖4 所示，本文模型val_acc 本文模型多數高于對比模型，且波動性平穩，說明了CNN-BiLSTM 的連接方式在模型分類效果上更具有優勢，更加穩定。

圖3 Twitter訓練時val_acc 的變化圖Fig.3 val_acc plots in Twitter training

圖4 IMDB 訓練時val_acc 的變化圖Fig.4 val_acc plots in IMDB training

整體上，針對2 組數據集，訓練中迭代次數均設置為10 次，且模型訓練結果均取得較好的分類效果，說明了本文模型在短時間內有很好的收斂性，即能高效地提高文本分類準確率。

再從時間代價上來看，2 組模型的時間代價如圖5～圖6 所示，橫坐標是模型訓練的迭代次數，縱坐標是模型訓練時每次迭代所用時間，時間單位均為s。針對Twitter 數據，BiLSTM-CNN-Attention模型的訓練速度都在360 s 以上波動，本文模型的訓練速度均在20 s 左右波動，總體對比實驗模型要比本文模型約慢1 倍。即在時間代價上，CNN-BiLSTM 的連接方式耗時少，有利于加快模型的訓練速度。

圖5 Twitter的時間代價圖Fig.5 Epoch-time plots of Twitter

圖6 IMDB 的時間代價圖Fig.6 Epoch-time plots of IMDB

在IMDB 數據上，BiLSTM-CNN-Attention 模型的訓練速度均超過1 800 s，而本文模型的訓練速度均在800 s 附近波動，總體本文模型要比對比實驗模型快1 倍多。說明了CNN-BiLSTM 的連接方式在訓練速度上保持了高效性。

由于Twitter 數據集的最大文本長度為40，且文本長度多數分布在4 到26 之間，而IMDB 數據集的文本長度集中于長度為400 以內，約是Twitter數據集單句評論文本的10 倍。可見，在短文本中相對較長的文本數據集上，CNN-BiLSTM-Attention 模型比BiLSTM-CNN-Attention 模型的總體訓練速度更有明顯的優勢。

綜上所述，針對本文實驗所用數據集，CNN-BiLSTM 的連接方式在文本分類上更具有高效性和有效性，所以本文選擇在CNN-BiLSTM 的連接方式上引入注意力模型。

2.4 實驗結果分析

實驗針對數據集IMDB、Twitter 進行情感分析，并設置了以下多組對比試驗，包括SVM 與深度學習方法的比較，單一網絡與CNN-BiLSTM 聯合網絡的比較，及與引入注意力模型的網絡對比。網絡輸入均是利用word2vec 訓練的詞向量。

SVM［17］：采用傳統機器學習算法SVM 進行情感分析；

BiLSTM［18］：單一的BiLSTM 網絡

CNN［19］：單一的CNN 網絡。

CNN-BiLSTM：先添加一個CNN 網絡，再添加一個BiLSTM 網絡。

CNN-BiLSTM-Attention：先 添 加 一 個CNN 網絡，再添加一個BiLSTM 網絡，最后引入Attention機制。

表3 對比實驗結果Tab.3 Comparison experimental results

多組對比實驗結果如表3 所示，從模型評價的結果上來看，深度學習模型結果明顯優于傳統SVM 方法。在Twitter 數據集上，CNN-BiLSTM 的聯合網絡比單BiLSTM 網絡，Acc 指標高約2.03%，RMSE 指標優化了約0.58%。CNN-BiLSTM 的聯合網絡比單CNN 網絡，Acc 指標高約1.19%，在RMSE上優化了約2.76%。在IMDB 數據集上，聯合網絡比單BiLSTM 網絡，Acc 指標高約3.64%，RMSE 指標優化了約8.55%。聯合網絡比單CNN 網絡，Acc指標高約1.99%，在RMSE 上優化了約2.28%。綜上，CNN-BiLSTM 的聯合網絡比單模型的效果要好，這是由于CNN 在提取局部特征上更有優勢，利用CNN 可以很好的提取文本中局部重要信息，而BiLSTM 網絡不但能捕捉上文長時間隔的特征，也能很好的利用下文特征，從而利用文本的語序和語法信息，而文本語序不同，表達的含義就會相差甚遠，從而影響文本情感分析的準確度，CNN-BiLSTM 的聯合網絡綜合了二者的優點。

在Twitter 數據集上，CNN-BiLSTM 網絡引入注意力模型比CNN-BiLSTM 的聯合網絡，Acc 指標高約3.63%，RMSE 指標優化了約1.19%。在IMDB 數據集上，前者比后者，Acc 指標高約2.41%，RMSE指標優化了約3.15%。這是由于注意力模型通過對輸入的向量編碼，分配不同的注意力權重，區分重要性大小，以獲取重要的局部特征。即在提取文本特征時，加強了有關情感的語義特征權重，同時弱化了情感不相關的語義特征權重。結果表明，基于CNN-BiLSTM 的聯合網絡，添加注意力模型，可以提高分類的準確率。

3 結 語

本文提出了一種CNN-BiLSTM 網絡引入注意力模型的文本情感分析方法。通過利用BiLSTM學習CNN 池化后連接而成的特征，解決了單CNN缺乏利用文本上下文信息的問題，同時避免了簡單RNN 帶來的梯度爆炸或梯度消失，最后引入注意力模型篩選特征，降低了噪聲干擾，從而提高文本情感分類的準確率。實驗結果證明了CNN-BiLSTM 網絡引入注意力模型的方法的有效性和CNN-BiLSTM 網絡聯合次序的高效性。但聯合網絡中CNN 網絡的深度不夠，今后研究如何利用深度更深的CNN 網絡來提高分類準確率，是下一步工作的目標。