雙通道混合神經網絡的文本情感分析模型

楊長利，劉 智，魯明羽

大連海事大學 信息科學技術學院，遼寧 大連116026

1 引言

文本情感分析是自然語言處理（Natural Language Processing，NLP）領域一個重要的分支，通過對含有情感傾向的文本評論進行分析，幫助研究機構、信息咨詢組織和政府部門掌握社會情緒動態。

傳統的文本情感分析方法主要是基于情感詞典的方法和基于機器學習的方法。昝紅英等[1]將支持向量機與規則方法相結合并在KNN 和Bayes 分類器上進行對比實驗，證明其有效性；王志濤等[2]通過利用統計信息和點間互信息增加新感情詞擴充已有情感詞典來識別微博新詞并理解其情感含義，并提出了基于詞典和規則集的方法利用附加信息輔助文本情感分析；Turney 等[3]提出一種半監督方法，即標記一部分種子詞，通過計算一個詞與種子詞同時出現的概率來決定情感傾向。基于機器學習的算法相較于基于情感詞典的方法有了一定的進步，但需要人工和領域知識對文本特征進行標記，特征擴展性不靈活。

深度學習（Deep Learning，DL）在不同領域都取得了優異成績[4-9]，卷積神經網絡（Convolutional Neural Networks，CNN）和循環神經網絡（Recurrent Neural Networks，RNN）是深度學習中的兩大主流應用。隨著膠囊網絡在圖像處理領域表現出的良好性能[10]，Zhao等[11]首次將膠囊網絡應用在情感分析任務上，減少了CNN在池化層的特征信息丟失，分類性能超過了CNN[12]；Cho等[13]提出了GRU的基本結構，解決了長距離依賴問題，消除了梯度爆炸或梯度消失的問題，而且模型結構較LSTM 更加簡單，訓練速度更為快速，BiGRU 能夠獲得雙向上下文信息。

本文提出雙通道混合神經網絡（Two-Channel Hybrid Neural Network，TC-HNN）的文本情感分析模型。混合神經網絡將基于注意力機制的膠囊網絡和Bi-GRU拼接融合，通過注意力機制關注文本關鍵信息，結合提取局部特征和全局特征的優勢，將兩種不同的詞向量經過混合神經網絡的結果進一步進行拼接融合。

2 相關工作

近年來，隨著深度學習技術在計算機視覺方面取得巨大成功，也成為文本情感分析的主流技術。Kim[12]利用word2vec 預訓練的詞向量，通過單層卷積神經網絡來處理文本情感分析取得了較好的成績。Lai等[14]提出使用雙向卷積神經網絡提取上下文的信息，不需要通過設定窗口大小來決定對上下文的依賴長度。CNN 和RNN在文本情感分析方面各有優勢，將兩者結合使用，取兩者的優勢，也逐漸成為流行的方法，Lai 等[14]使用RNN 捕捉上下文信息，然后用CNN 來捕獲文本中的關鍵信息；Zhang等[15]利用單詞級CNN來提取每個單詞的特征，同時用BiGRU獲得語境的語境信息和語義分布，分類性能得到提升；王汝嬌等[16]提出了卷積神經網絡與多特征融合的方法大大提高了情感分類的準確性。

基于注意力機制的神經網絡模型在各項任務中都取得了較好的結果，文本情感分析也不例外。Bahdanau等[17]將注意力機制與循環神經網絡結合應用到機器翻譯的任務，是NLP領域的第一次嘗試；Wang等[18]提出了基于注意力機制的LSTM，加強了提取特征信息的能力；Yang等[19]在字詞層面和句子層面分別使用注意力機制，給予重要程度不同的字詞和句子以不同關注程度。

本文用膠囊網絡、BiGRU、注意力機制和雙通道模式來進行文本情感分析，膠囊網絡提取文本局部空間信息，減少CNN池化層信息的丟失，BiGRU提取文本全局空間信息，并利用注意力機制捕獲關鍵信息，將兩個結果拼接。同時，使用兩種不同的詞向量表示，將其經過混合神經網絡的結果在融合層進行拼接融合，從而獲得更多的文本特征，提高分類準確性。

3 雙通道混合神經網絡模型

為了進一步提高情感分類準確性，本文提出雙通道混合神經網絡的文本情感分析模型。先將文本序列向量化，用Glove和Fasttext兩種預訓練的詞向量作為混合神經網絡的輸入，分別將經過基于注意力的膠囊網絡和BiGRU 的結果進行拼接輸出，再將兩種不同詞向量經過混合神經網絡的結果進行拼接，進一步豐富文本輸入特征，提高文本情感分析效果。

TC-HNN的文本情感分析模型結構如圖1所示。

圖1 雙通道混合神經網絡模型

3.1 詞向量

首先，將文本內容表示成深度學習能夠處理的形式。離散表示（One-hot Representation）將文本中的每個單詞用一個長向量表示，向量的維度就是詞表的大小，但這種表示方式無法反映詞之間的聯系，忽略了單詞的上下文語義，而且還會導致特征空間非常大。分布式表示（Distributed Representation）則考慮了單詞的上下文語義信息和刻畫語義之間的相似度，并且是維度較低的稠密向量表示，常用的詞向量表示有Word2Vec、Glove和Fasttext等。

為了豐富文本特征，本文采用雙通道輸入策略，將Glove 和Fasttext 詞向量分別放入本文提出的混合神經網絡，將得到的兩個結果進行拼接融合，從而達到豐富輸入特征的目的。

3.2 混合神經網絡模型

混合神經網絡結構結合了膠囊網絡和BiGRU的優點在學習局部特征的同時還可以學習上下文信息，并且通過注意力機制進一步提取文本的關鍵信息，提高情感分類的準確度。

3.2.1 膠囊網絡

原始CNN池化層會丟失大量的信息使得文本特征大大減少，并且神經元節點只是一個標量。而在膠囊網絡（Capsule Network，CapsNets）中使用矢量“膠囊”來替換表示傳統神經網絡的神經元節點，并通過動態路由來學習單詞之間的上下文語義關系。

其中，vj是膠囊j 的矢量輸出，sj是膠囊j 的輸入，Squash()是非線性激活函數將向量sj轉化成vj，是預測矢量，ui是上一層膠囊的輸出，cij為耦合系數，用來預測上層膠囊和下層膠囊之間的相關性，值越大表示相關性越強，反之，值越小表示相關性越弱。bij在膠囊i 連接到更高級別膠囊的所有耦合系數的新值之前進行更新。從而得到局部特征：

3.2.2 BiGRU模型

GRU 相對LSTM 來說結構更加簡潔、參數更少、收斂性更好。GRU中更新門控制前一時刻的狀態信息被帶入到當前狀態中的程度。重置門控制忽略前一時刻的狀態信息的程度。具體結構如圖2所示。

圖2 GRU模型結構

GRU模型的更新方式如下：

其中，xt表示t 時刻給定的輸入，ht-1表示在(t-1)時刻隱藏層狀態，zt表示t 時刻的更新門，rt表示t 時刻的重置門，是控制信息選擇性通過的機制，由一個Sigmoid神經網絡層和一個向量點乘組成。表示需要更新的信息，ht表示t 時刻隱藏層狀態，W WzWr表示權重矩陣，σ 和tanh 為激活函數。

給定文本中單詞wi，i ∈[ ]1,L ，L 是文本長度，文本單詞向量化xi=We?wi,i ∈[1 ,L] ，

3.2.3 注意力機制

在文本評論中，并非所有的單詞對文本意思的表達同等重要，對于重要的語義信息給予更多的注意力，反之，其他部分分配相對較少的注意力。例如，“well，it was nice while it lasted.”中的單詞“nice”，它對文本意思的表達相對于其他單詞來說更加重要，要對其給予更多的注意力。因此引入注意力機制（Attention Mechanism）從大量信息中選擇對當前目標更為重要的信息。公式如下：

經過一層MLP（Multi-Layer Perception）得到hi的隱藏層表示ui，Wwbw是注意力的權重和偏置項。通過Softmax函數獲得每個單詞的標準化權重ai，最后通過加權計算得到文本表示r 。將BiGRU和CapsNets結果作為輸入經混合神經網絡分別得到：

3.3 融合層

混合神經網絡中將基于注意力的膠囊網絡和BiGRU模型結果進行融合，既能夠提取局部特征、減少池化層的信息丟失，又有處理文本序列全局特征的能力，兼顧兩者的優勢。

⊕表示將結果進行拼接。

用不同的詞向量來表示文本內容，可以對文本特征進行補充，將混合神經網絡的輸出進行融合，從而豐富輸入特征。將兩種不同的詞向量Glove 和Fasttext 作為輸入，經過混合神經網絡得到H'g和H'f，再將結果進行拼接。

3.4 輸出層

將融合層的結果H 輸入到輸出層，利用Softmax函數對輸入進行相應的計算，進而進行文本分類，計算方式如下：

4 實驗結果與分析

4.1 數據集

本文采用三個標準英文數據集：MR、Subj和MPQA對模型進行評估，基本信息如表1所示。

表1 數據集信息

C 為類別個數，L 為文本平均長度，N 為數據集大小， ||V 為詞匯數量，CV表示10-foldCV。

MR（Movie Reviews）：電影評論語句極性數據集v1.0，每個評論一句話。它包含從Rotten Tomatoes網站頁面提取的5 331個正片段和5 331個負片段。

Subj：主觀性數據集包括主觀評論和客觀情節摘要。主觀性數據集是將文本分類為主觀或客觀。

MPQA：MPQA數據集的意見極性檢測的子任務。

4.2 神經網絡模型參數設置

神經網絡模型的參數設置如表2所示。

表2 參數設置

4.3 結果分析

本文所提方法的分類準確率與其他方法的比較如表3所示，“—”表明該模型未在該數據集上評估。

實驗結果如表3 所示，從表中可以看出，本文提出的基于深度學習的模型相對基于傳統機器學習算法的模型顯著提高了分類效果。在上述深度學習網絡中，CNN-rand 取得相對較低的分類效果，這是因為忽略了詞的上下文含義和詞之間的前后依賴關系，而Capsule取得相對CNN 較好的分類效果，說明Capsule 比CNN有更好的提取特征的能力，準確率分別提高了5.2%和3.7%。ACNN（BiGRU）有很好的效果，既能獲得長距離的依賴信息，雙向結構又能很好地包含每一個單詞的上下文信息。本文提出的模型準確率達到86.65%、95.39%、94.0%，與其他模型最高準確率相比提高了3.25%、1.19%、3.20%，可以看出本文提出的模型結構在三種數據集上的實驗結果，較其他基準模型和先進模型有較大幅度的提升，實驗結果也證明了本文模型有效性。

表3 實驗結果對比（準確率-Accuracy）%

為了進一步證明本文所提出的雙通道融合模型的有效性，設置模型對比實驗，進行分類性能驗證。將本文所提模型TC-HNN 與基于Glove 混合神經網絡的單通道模型和基于Fasttext混合神經網絡的單通道模型進行對比實驗。比較結果如表4所示。

表4 各對比實驗結果（準確率-Accuracy）%

由表4可知，本文提出的雙通道融合模型在三個數據集上，較基于Glove混合神經網絡的單通道模型分別提高了0.58%、0.09%、0.48%，較基于Fasttext 混合神經網絡的單通道模型分別提高了1.32%、0.97%、10.77%，由此說明本文所提出的雙通道融合模型比單個模型能夠提取更多的文本特征，提高文本情感分類的效果。

用混淆矩陣對實驗結果進一步分析，數據集實際分類情況如圖3所示。

圖3縱向表示文本的實際類別，橫向表示模型預測文本的類別，右混淆矩陣右側的顏色深淺表示文本的數量多少。TN（True Negative）表示本身是負樣本，被分類為負樣本的樣本數，TP（True Positive）表示本身是正樣本，被分類為正樣本的樣本數，本文將標記1 表示為正樣本，標記0 表示為負樣本。由圖3 可知，TN 值為486，占比93.8%，TP 值為531，占比96.9%，可以很清楚地看出兩者差距較小，證明了該方法的有效性。

圖3 MR測試集實際分類效果

5 結束語

本文提出了TC-HNN 模型。混合神經網絡利用膠囊網絡處理CNN 池化層丟失特征信息的問題，更好地提取局部文本特征，BiGRU 模型能夠有效地提取全局文本特征，分別在膠囊網絡和BiGRU 后引入注意力機制，進一步提取文本的關鍵信息，用并行的方式結合兩種模型，將結果進行拼接融合，取兩者優勢，豐富特征信息。用不同的詞向量來表示文本內容，可以對文本特征進行補充，將兩種不同的詞向量經過混合神經網絡的結果進行融合，從而達到豐富輸入特征的目的，實驗結果證明了本文模型的有效性。下一步研究工作將對模型進一步優化，在保證精度的同時縮短模型運行時間，以便適應大規模的文本情感分析。