基于注意力機制的交互式神經網絡模型在細粒度情感分類中的應用

楊 鵬 楊 青 李志斌 王 揚

1(國網天津市電力公司信息通信公司 天津 300010)2(國網天津市電力公司 天津 300010)

0 引 言

細粒度情感分類是情感分析領域中的一個重要任務，其目標是在給定意見句與評價方面(即評價對象)的基礎上，結合句子上下文，識別評價方面的情感極性[1]。例如：給定意見句“這家餐廳飯菜很好，但是環境一般，服務很糟糕！”，以及句子中包含的三個評價方面“飯菜”、“環境”、“服務”，綜合評價方面與上下文的語義可知，三個評價方面對應的情感極性分別為正向、中性、負向。

細粒度情感分類是自然語言處理領域中一項基礎性的工作，近年來受到國內外學者的廣泛關注[4-9]。該任務的研究成果可以進一步應用于自動問答[2]、推薦系統[3]等。傳統的方法通常會構建情感詞典或情感特征，并在此基礎上采用SVM等機器學習方法進行情感分類[7-8]。但是，人工構建情感特征或情感詞典通常需要投入大量的人力，進而導致模型的靈活性與泛化性較差，限制模型的性能。近年來，隨著深度學習的發展，許多研究工作開始設計并使用神經網絡結構來自動學習評價方面與上下文的低維語義表示[9-11]，相關的研究工作已經在細粒度情感分類的任務中取得了可觀的效果。

結合細粒度情感分類的任務目標可知，為了得到更好的分類性能，必須充分挖掘評價方面以及其上下文的語義信息。Jiang等[7]指出：40%的細粒度情感分類的錯誤是由于沒有考慮評價方面而造成的。因此，近年來的研究工作更多地關注于如何在進行上下文語義建模的同時考慮評價方面的影響。Vo等[9]將整個意見句分成三個組成部分，即評價方面、上文和下文，然后利用情感詞典和池化函數來生成與評價方面相關的上下文特征。Tang等[11]以評價方面為中心將句子分成兩個部分，并使用兩個長短期記憶模型(LSTM)對兩部分分別進行語義建模，然后將兩部分的語義表示進行組合，并用于情感分類。Wang等[10]對評價方面設計了特殊的詞向量，并將其與原始的詞向量進行拼接，利用LSTM網絡和注意力機制生成最終的語義表示。

上述研究工作已經意識到評價方面的重要性，并在建模上下文語義表示的過程中融合評價方面的語義，但都忽略了如何在不同上下文語境下對評價方面的語義進行建模。本文認為，只有同時對評價方面和上下文進行語義建模并實現語義相互增強才能真正提升情感分類的效果。例如，給定意見句“這臺顯示器的分辨率很高，但是價格也很高?！?，當“高”形容“分辨率”時，情感極性是正向，但形容“價格”時，情感極性則是負向。由此，如何聯合建模評價方面和上下文的語義是本文主要解決的問題。一方面，考慮到評價方面和上下文的語義表示具有較強的相關性，本文分別對評價方面和上下文單獨地建模語義，并結合注意力機制對兩部分的語義進行交互學習；另一方面，考慮到評價方面和上下文通常由多個詞語組成，而不同詞語對最終的語義表示具有不同的貢獻度，本文利用注意力機制，分別計算評價方面與上下文中詞語的注意力權重，捕獲重要詞語的語義信息。

基于以上兩方面的分析，本文提出了一種基于LSTM和注意力機制的交互式神經網絡結構(簡稱：基于注意力機制的交互式神經網絡模型)。首先，模型使用LSTM網絡分別對評價方面和上下文分別進行語義建模；隨后，利用兩個注意力機制分別捕獲上下文中與評價方面有關的語義，以及評價方面中與上文相關的語義；最后，模型將評價方面和上下文的語義表示進行拼接，用于判斷情感極性。為了證明模型的效果，本文在SemEval 2014的數據集上進行了實驗。實驗結果表明，本文模型可以更準確地建模評價方面和上下文語義，并取得最優的性能。

1 相關工作

細粒度情感分類是情感分析中的一個重要分支，相關的研究方法主要可以分為兩類：基于機器學習的方法和基于神經網絡的方法。

在基于機器學習的方法中，細粒度情感分類通常被視為文本分類問題。因此，諸如SVM[12]等的文本分類方法可以在不考慮評價方面的情況下，進行情感極性的判斷。這些方法主要關注如何提取情感詞典、情感特征等來訓練情感分類器[8,13]。盡管這些方法取得了一定的效果，但其性能在很大程度上依賴于手工特征的有效性，這極大地限制了模型的靈活性與泛化性。

近年來，隨著神經網絡的發展，遞歸神經網絡[14]、循環神經網絡[15]、層次LSTM[16]等結構在情感分析領域取得了可觀的效果。然而，這些方法僅使用上下文語義進行情感分類，而沒有考慮評價方面的語義對情感分類的直接影響。

針對這一問題，Jiang等[7]首次強調了評價方面在情感分類中的重要性，其認為40%的情感分類錯誤是由于沒有考慮評價方面造成的。為考慮評價方面的語義，Tang等[15]設計了兩個依賴于評價方面的LSTM分別對評價方面的上文和下文進行語義建模，進而自動考慮評價方面的語義信息。此外，Tang等[11]還設計了由多個計算層組成的深度記憶網絡實現對評價方面語義信息的整合，每一層都是一個基于上下文和基于位置的注意力模型，它先學習每個上下文中詞語的重要性權重，再利用這些信息計算上下文的語義表示。Wang等[10]在細粒度情感分類中探討了評價方面與情感極性之間的潛在相關性，并設計了一種基于注意力的LSTM，在給定不同的評價方面時，捕捉上下文中最相關的語義信息。

雖然上述方法均在一定程度上考慮了評價方面對上下文語義的影響，但并未對評價方面的語義進行單獨建模。因此，本文構建了一個基于注意力機制的交互式神經網絡模型，同時對評價方面和上下文的語義信息進行學習。由此，本文模型可以得到更恰當的用于細粒度情感分類的語義表示。

2 基于注意力機制的交互式神經網絡模型

2.1 問題介紹

給定一段長度為n的意見句C={c1,c2,…,cn}，其中ci表示意見句中的第i個詞，以及一個長度為k的評價方面T={t1,t2,…,tk}，其中ti表示評價方面中的第i個詞。細粒度情感分析的目標為根據上下文判斷給定的評價方面的情感極性s。

2.2 模型結構

基于注意力機制的交互式神經網絡模型的整體模型圖如圖1所示。

圖1 基于注意力機制的交互式神經網絡模型

為了獲取詞語的語義表示，本文首先將輸入意見句和評價方面中的每個單詞映射到一個低維稠密的詞向量e中，具體如下式所示：

(1)

(2)

式中：M∈Rv×d表示詞向量的詞典，v和d分別代表詞典大小與詞向量維數。

(3)

(4)

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

首先，對LSTM得到的隱藏狀態進行平均池化，得到上下文和評價方面的初始整體表示，分別記為cavg和tavg。

(13)

(14)

(15)

在計算注意力權重的基礎上，利用下式可以得到上下文和評價方面的最終語義表示，該表示包含了有助于判斷情感極性的重要信息。

(16)

(17)

最后，將評價方面向量rt和上下文向量rc進行拼接，得到向量d，并將此向量輸入到上層的分類器中，用于情感極性的判斷。如下式所示，本文使用非線性層將d投影到一個維度與情感極性種類數相同的向量空間中。

x=tanh(Wl·d+bl)

(18)

式中：Wl和bl分別代表權重矩陣和偏置向量。最后，通過下式計算情感極性的概率分布。

沿海岸線地理位置特殊，它一般位于海陸生態系統交替地帶，脆弱并敏感，復合型的生態環境使得對該區域項目開發的要求也在不斷提高。雖然海洋有自我調節、修復功能，但人為的破壞和不合理的開發超過自我修復水平時，那么該區域的生態平衡就會被打破?，樶獚u作為正在開發的島嶼，就應協調并考慮好開發與保護之間的平衡，只有做到合理規劃，保護好生態環境和優化功能區分，才能保證整個島嶼可持續發展的前提。目前，瑯岐海岸線景觀規劃能力相對比較落后，部分海岸線的開發還未經過合理的規劃設計，還只是憑借原有環境下的傳統景觀，這樣不僅會造成自然資源浪費，還會對原有的基礎建筑物和生態環境造成破壞，給后期海岸線的整體規劃造成阻礙。

(19)

式中：C為情感極性的類別數。在測試過程中，模型將選取概率最大的標簽作為最終的結果。

2.3 模型訓練

為進行模型參數優化，本文選取基于l2范式的交叉熵作為損失函數，如下式所示。

(20)

(21)

式中：λl為學習率。為了避免過擬合，本文采用dropout策略。

3 實 驗

3.1 數據集

為了驗證模型的有效性，本文使用SemEval 2014任務4中的數據集進行實驗。該數據集包含兩類評論數據，分別為：餐館評論數據和筆記本評論數據。數據集中包含的情感極性分別為正向、負向和中性。數據集的基本統計情況如表1所示。

表1 數據集統計

3.2 實驗設置

本文實驗中，詞向量由預訓練的詞向量GloVe初始化。模型中所有的權重矩陣通過對均勻U(-0.1,0.1)分布采樣進行初始化，所有的偏移量均設置為0。詞向量維度設置為300， LSTM隱藏層和注意力向量的維度都設置為400。在訓練過程中，本文使用Momentum方法訓練參數，并將損失函數中l2歸一化系數設置為10-5，dropout比例設置為0.3。

3.3 對比方法

為了全面評估模型的性能，本文將提出的模型與如下對比方法進行比較：

多數法：多數法是一種基本的對比方法，它簡單地將訓練集中出現次數最多的情感極性分配給測試集中的每個樣本。

LSTM模型[10]：模型僅使用一個LSTM網絡對上下文進行建模，并獲取每個單詞的隱藏表示。然后將所有詞隱藏狀態的平均值作為最終表示，輸入Softmax函數進行情感極性的分類。

TD-LSTM模型[15]：模型采用兩個LSTM網絡分別對評價方面的上文和下文進行建模，并將兩部分的隱藏表示進行拼接，輸入Softmax函數進行情感極性的預測。

AE-LSTM模型[10]：模型首先使用LSTM網絡對上下文中的單詞進行建模，并使用方面嵌入向量來表示評價方面。隨后，模型將上下文的隱藏狀態與方面嵌入向量相結合，并結合注意力機制生成面向方面的語義表示，最終將該表述輸入Softmax層進行情感分類。

ATAE-LSTM模型[10]：模型是在AE-LSTM模型的基礎上進行構建的，其通過將方面嵌入附加到每個單詞嵌入向量中來表示上下文來進一步增強方面嵌入的效果。

3.4 評價指標

為了對情感分類的性能進行評估，本文采用準確度作為評價指標。準確度的公式定義如下：

(22)

式中：T代表預測正確的樣本的數量，N代表樣本的總數。準確度衡量的是所有樣本中預測正確樣本的百分比。一般來說，準確度越高的模型，性能越好。

3.5 實驗結果

表2展示了本文模型與其他對比方法的性能比較?？梢姡鄶捣ǖ男阅茏畈睿摲椒ǖ慕Y果也側面地反映了在餐館和筆記本的測試集中，出現次數最多的極性分別占了53.5%和65.0%。而其他方法均以LSTM模型為基礎，并在性能上明顯優于多數法，這說明LSTM可以自動學習句子中與情感相關的語義特征，進而為情感分類帶來提升。

表2 本文模型與對比方法的性能比較

此外，LSTM方法是所有基于神經網絡的方法中性能最差的一種方法，因為它同等地對待上下文和方面詞，而并沒有充分地考慮方面信息。由于TD-LSTM是從標準的LSTM模型發展起來的，并使用評價方面來對左右上下文進行編碼，因此在兩個數據集上，TD-LSTM模型的性能分別比LSTM高出1%以上。

進一步地，由于注意力機制的引入，AE-LSTM模型和ATAE-LSTM模型的性能均超過了TD-LSTM模型。它們可以在評價方面的監督下更好地捕獲上下文中的重要信息，為細粒度情感分類生成更合理的上下文表示。此外，AE-LSTM和ATAE-LSTM通過引入方面嵌入進一步增強了對評價方面的建模，這也是性能提升的原因之一。與AE-LSTM相比，ATAE-LSTM通過詞向量拼接增強了上下文與方面詞之間的交互作用，因此具有更好的性能。

本文模型通過交互式學習評價方面和上下文表示，進一步提升了評價方面的重要性。從表2可以看到，本文模型在所有對比方法中取得了最好的性能。與ATAE-LSTM模型相比，本文模型在兩個數據集上的性能分別提高了2.7%和2.9%。本文模型取得性能提升的主要原因是模型使用兩個相互影響的注意力網絡對評價方面和上下文進行建模，得到特定的語義表示，并將結果進行拼接用于情感分類。通過這種方法，模型可以更恰當地得到結合評價方面語義的上下文表示。

3.6 模型分析

為了進一步分析本文模型的性能，我們對LSTM隱藏層維度，以及評價方面和上下文的初步整體表示的生成方法進行分析。

表3展示了隱藏層維度對模型性能的影響。由表可見，模型的性能隨著隱藏層維度的增加呈現出先上升后下降的趨勢，這說明LSTM可以很好地學習句子的語義信息，并且隨著隱藏層維數的增加，LSTM可學習的特征也變得更加豐富，進而使得模型性能得到提升。但是當維度增加超過一定的范圍，LSTM捕獲的特征會變得冗余，使得模型性能降低。

表3 LSTM維度對模型性能的影響

此外，也可以選取多種方法獲取評價方面和上下文的初步整體表示。表4展示了平均池化和選取最后一個隱藏表示作為整體表示的結果。由表可見，兩種方法的性能相差不多，但是平均池化的方法取得了更好的性能。總體來看，不論采用哪種方法，模型的性能總是優于對比方法。

表4 初步整體表示的生成方法比較

綜上，本文模型在一定程度上提升了細粒度情感分類的性能。

4 結 語

本文針對細粒度情感分類的任務開展相關研究，并提出基于注意力機制的交互式神經網絡模型。該模型主要使用了兩個注意力機制來交互式地學習評價方面和上下文的語義，并捕捉兩部分中與情感分類有關的重要語義。為了驗證模型性能，本文在兩個數據集上進行了實驗。實驗表明，本文方法取得了最優的性能，這很好地說明了評價方面對細粒度情感分類任務中的重要性，以及交互式地生成融合方面信息的上下文語義和融合上下文的方面語義對提升情感分類性能的重要作用。