基于多注意力長短時記憶的實體屬性情感分析

支淑婷 李曉戈 王京博 王鵬華

摘 要：屬性情感分析是細粒度的情感分類任務。針對傳統神經網絡模型無法準確構建屬性情感特征的問題，提出了一種融合多注意力和屬性上下文的長短時記憶（LSTM-MATT-AC）神經網絡模型。在雙向長短時記憶（LSTM）的不同位置加入不同類型的注意力機制，充分利用多注意力機制的優勢，讓模型能夠從不同的角度關注句子中特定屬性的情感信息，彌補了單一注意力機制的不足;同時，融合雙向LSTM獨立編碼的屬性上下文語義信息，獲取更深層次的情感特征，有效識別特定屬性的情感極性;最后在SemEval2014 Task4和Twitter數據集上進行實驗，驗證了不同注意力機制和獨立上下文處理方式對屬性情感分析模型的有效性。實驗結果表明，模型在Restaurant、Laptop和Twitter領域數據集上的準確率分別達到了80.6%、75.1%和71.1%，較之前基于神經網絡的情感分析模型在準確率上有了進一步的提高。

關鍵詞：屬性情感分析;多注意力機制;上下文語義特征;神經網絡;自然語言處理

中圖分類號： TP391.1; TP18

文獻標志碼：A

Abstract： Aspect sentiment analysis is a fine-grained task in sentiment classification. Concerning the problem that traditional neural network model can not accurately construct sentiment features of aspects， a Long Short-Term Memory with Multi-ATTention and Aspect Context （LSTM-MATT-AC） neural network model was proposed. Different types of attention mechanisms were added in different positions of bidirectional Long Short-Term Memory （LSTM）， and the advantage of multi-attention mechanism was fully utilized to allow the model to focus on sentiment information of specific aspects in sentence from different perspectives， which could compensate the deficiency of single attention mechanism. At the same time， combining aspect context information of bidirectional LSTM independent coding， the model could capture deeper level sentiment information and effectively distinguish sentiment polarity of different aspects. Experiments on SemEval2014 Task4 and Twitter datasets were carried out to verify the effectiveness of different attention mechanisms and independent context processing on aspect sentiment analysis. The experimental results show that the accuracy of the proposed model reaches 80.6%， 75.1% and 71.1% respectively for datasets in domain Restaurant， Laptop and Twitter. Compared with previous neural network-based sentiment analysis models， the accuracy has been further improved.

Key words： aspect sentiment analysis; multi-attention mechanism; contextual semantic feature; neural network; Natural Language Processing （NLP）

0 引言

情感分析又稱觀點挖掘，指利用數據挖掘和自然語言處理技術，對有情感傾向的主觀性文本進行信息的處理、分析和抽取的過程[1]。屬性情感分析是細粒度的情感分類任務，旨在識別給定文本中特定屬性的情感傾向[2]。例如句子“Great food， but the service was dreadful”對于屬性“food”是積極情感，而對于屬性“service”則是消極情感。不同屬性的情感傾向不僅依賴文本的上下文信息，還依賴特定屬性的特征信息[3]。對于多屬性文本，如果忽略屬性信息，則很難準確識別文本的情感傾向。Jiang等[4]手工評估了Twitter數據集的情感分類，結果表明約40%的情感分類錯誤源于沒有考慮屬性。

近年來，深度學習技術在自然語言處理領域取得了重大突破，越來越多的研究者利用深度學習技術來解決屬性情感分析問題。Qian等[5]和Socher等[6]構建了基于句法樹的遞歸神經網絡，Tai等[7]用句法樹改進標準長短時記憶（Long Short-Term Memory， LSTM）網絡，提出了Tree-LSTMs網絡模型，都在情感分類任務中有較好的表現，但上述模型的構建依賴依存句法分析等外部知識且模型的結構相對復雜。Ruder等[8]提出的層級雙向LSTM網絡模型，利用不同層次的雙向LSTM對輸入文本進行句內和句間的特征學習，判別屬性的情感極性，但該模型主要針對的是單屬性句子，對多屬性句子的情感識別有一定的困難。Vo等[9]和Tang等[10]將文本劃分為屬性、屬性上文和屬性下文三部分，將一個屬性作為一個目標來改善屬性情感分類的效果。Bahdanau等[11]將注意力機制和循環神經網絡結合提高了機器翻譯的準確率，隨后，注意力機制在文本摘要[12]和閱讀理解[13]等自然語言處理領域中都取得了很好的效果。從眾多信息中選擇出特定目標的關鍵信息，使其也成為了優化情感分類任務的有效機制。Wang等[14]提出了ATAE-LSTM（ATtention-based LSTM with Aspect Embedding）模型，在標準LSTM中加入了基于屬性特征的注意力機制。Huang等[15]提出了AOA（Attention-Over-Attention）模型，將注意力機制與屬性詞序列結合，同時計算了aspect-to-text和text-to-aspect注意力，這些模型的提出表明了注意力機制與LSTM結合的有效性。

上述模型僅依賴內容注意力機制無法從多個角度關注屬性的情感特征，同時缺乏對特定屬性上下文語義信息的挖掘，為此本文提出了一種融合多注意力和屬性上下文的LSTM（Long Short-Term Memory with Multi-ATTention and Aspect Context， LSTM-MATT-AC）網絡模型。其中，多注意力機制包括：1）位置注意力機制。以屬性為中心，計算句中其他詞和屬性間的相對位置關系，表示每個詞對屬性的影響程度。2）內容注意力機制。將屬性詞向量與句中其他詞的特征向量通過運算獲得注意力權重值，表示每個詞與屬性的語義關聯程度。3）類別注意力機制?；谟柧殧祿懈黝悇e的數據量進行計算，來解決類別數據量不均衡引起的模型偏置問題。其中屬性上下文部分明確區分屬性的上下文，通過前向和反向LSTM獨立編碼屬性上下文語義特征。本文模型從不同的角度學習了多特征信息，更準確地生成了特定屬性的情感特征向量。本文采SemEval2014 Task4的競賽數據集[16]以及Twitter領域數據集[17]作為模型的評測數據集。

1 屬性情感分析模型——LSTM-MATT-AC

本文提出了一種融合多注意力和屬性上下文的LSTM（LSTM-MATT-AC）網絡模型。通過三種作用在雙向LSTM不同位置的注意力機制和獨立編碼屬性上下文的處理方式來更加充分地學習特定屬性的情感特征信息。如圖1所示，模型LSTM-MATT-AC主要由輸入層、雙向LSTM層、屬性內容選擇層、屬性上下文層、特征融合層、輸出層等6部分組成。

1.1 任務定義

對于長度為n的句子s={w1，w2，…，wl，…，wr，…，wn}，其中{wl，wl+1，…，wr}表示句子中存在的某個屬性，是一個單詞或短語。屬性情感分析任務的目標是判別句子中特定屬性的情感極性。例如“Great food， but the service was dreadful”，對于屬性“food”來說，情感極性是positive;而對于屬性“service”來說，情感極性是negative。本文將數據集中的單詞映射為低維度、連續的實值向量，也稱詞向量，每個單詞是wi表示的詞向量vi∈Rdw的詞向量wi是向量、矢量嗎？還是其中的某一個具體數值，請明確，所有的詞向量構成了一個詞向量矩陣L∈Rdw×|V|，其中：dw表示詞向量的維度，|V|表示詞典的大小。

1.2 模型概述

1.2.1 輸入層

1.2.2 雙向LSTM層

1.2.3 屬性內容選擇層

1.2.4 屬性上下文層

1.2.5 特征融合層

1.2.6 輸出層

1.3 多注意力機制概述

1.3.1 位置注意力機制

在屬性級情感分析任務中，單詞和屬性之間的相對位置隱含著很重要的信息[18]。距離屬性越近的單詞通常情況下對屬性的影響程度越大。圖2所示的句子中，單詞“Great”是屬性“food”正確的情感詞，同時“Great”比情感詞“dreadful”距離屬性“food”的相對位置更近，但對于屬性“service”來說，它與正確情感詞“dreadful”的相對位置和錯誤情感詞“Great”的相對位置相同。這種現象的存在，導致簡單的位置權重計算存在弊端。通過對數據集的觀察后發現存在該現象的句子中往往會使用標點符號來分隔不同屬性的情感表達，針對這一規律，本文提出了一種基于標點符號的權重梯級衰減算法來計算句子中單詞與屬性之間的相對位置權重，如算法1所示。

其中：式（10）中b=bL或bR表示屬性的左右邊界下標，tmax表示句子的實際長度。式（11）中countL或countR表示左右兩側標點符號的計數器值， β和γ分別是衰減控制參數。本文通過對比多次參數實驗結果后設定參數β=0.2，γ=0.05。上述位置權重算法在單詞和屬性相對位置的基礎上，考慮了標點符號的影響，計算出句子中每個單詞的位置權重，有效地表示了不同單詞對特定屬性的影響程度。

1.3.2 內容注意力機制

在屬性情感分析任務中，注意力機制通過訓練學習，能夠讓網絡模型主動關注與當前屬性關系密切的數據信息，從而生成更準確的屬性情感特征。例句“Great food， but the service was dreadful.”中單詞“Great”與屬性“food”的關系密切，而單詞“dreadful”則與屬性“service”的關系更密切。為了充分利用注意力機制的優勢，本文引入了內容注意力機制來提升模型的效果。

1.3.3 類別注意力機制

在訓練數據中，不同類別數據量的不均衡在訓練過程中會引起模型的偏置問題[19]。對于待分類的句子，偏置模型會傾向于預測數據量大的情感類別，為此本文將類別注意力機制應用到模型損失函數的計算中來克服這一弊端。對于數據量偏小，模型無法充分學習情感特征導致誤分類的類別，通過懲罰其損失函數，來引導模型更深層次的挖掘該類別的特征信息。本文引入平滑因子φ來增強類別注意力計算的魯棒性。統計訓練數據中各類別的數據量，通過式（14）的運算來獲得不同類別的注意力權重：

其中：c表示記錄了各類別數據量的列表;ci表示某個類別的數據量。本文通過對比多次參數實驗結果后設定SemEval2014 Task4中Restaurant和Laptop領域φ=0，Dong等[17]文獻17的作者不是Dong，請對語句進行相應調整。注意，要保證文獻在正文中的依次引用順序收集標注的Twitter領域φ=0.1。

1.4 模型訓練

本文情感分析模型的訓練采用端到端的反向傳播算法，損失函數采用交叉熵代價函數，同時為了避免過擬合問題，加入了L2正則化。通過最小化損失函數來優化模型，完成屬性級情感分類任務：

其中：yji表示句子中特定屬性正確的情感類別;ji表示句子中特定屬性預測的情感類別;i表示句子的索引; j表示情感類別的索引;λ表示L2正則化的權重;θ表示神經網絡中的訓練參數。

2 實驗結果及分析

將本文模型LSTM-MATT-AC在3個不同領域的數據集上進行實驗，解決屬性級情感分析任務。在本文實驗中，詞向量采用Pennington等[20]文獻20的作者不是Pennington，請對語句進行相應調整。注意，要保證文獻在正文中的依次引用順序提出的預訓練Glove詞向量，其中詞向量維度為300維，詞典的大小為1.9MB。對于未登錄詞，采用均勻分布U（-ε，ε）來隨機初始化詞向量，其中ε設置為0.01。對于單個詞構成的屬性，直接取相應的詞向量作為屬性詞向量，例如“food”“staff”等;對于多個詞組成的屬性，取相應詞向量矩陣的平均值作為屬性詞向量，例如“battery life”等。該情感分析模型運行在Tesla K80服務器，CentOS Linux 7.3.1611系統，運行環境為tensorflow 1.5。

2.1 實驗數據

本文采用的英文數據是SemEval2014 Task4的競賽數據集[16]和Dong等[17]收集標注的Twitter標準數據集。其中SemEval2014 Task4是國際語義評測比賽Task4的數據集，包含Restaurant和Laptop兩個領域的用戶評論。3個數據集的評論中共包含積極、中性和消極三種情感極性。表1給出了本文實驗所用數據的統計。

2.2 實驗參數設置

句子中詞向量的維度、屬性詞向量的維度以及雙向LSTM輸出的特征向量連接后的維度都是300。三種注意力機制的維度和句子的長度保持一致。雙向LSTM的層數設置為1。模型中所有的參數都采用均勻分布U（-ε，ε）來隨機初始化值，其中ε設置為0.05。通過每個batch中25個樣本的方式進行模型的訓練，Adam優化算法的初始學習率為0.001，衰減率為0.95，L2正則化的權重設置為0.001。模型中的dropout設置為0.2。

2.3 實驗對比

將本文提出的模型LSTM-MATT-AC和以下5種模型在3個不同領域的數據集上進行實驗。

1）TD-LSTM（Target-Dependent LSTM）。Tang等[10]提出的TD-LSTM，通過前向和反向LSTM網絡分別獨立地編碼特定屬性的上下文信息，連接兩個LSTM最后隱藏層輸出的特征向量進行情感分類。該模型將不同的屬性作為不同的目標，編碼不同的屬性上下文信息，改善了情感分類的效果。

2）TC-LSTM（Target-Connection LSTM）。Tang等[10]在TD-LSTM模型的基礎上進行了改進。將屬性詞向量矩陣與句子的上下文詞向量矩陣連接后作為模型的輸入，能夠讓模型更好地學習屬性的信息。

3）AT-LSTM（Attention-based LSTM）。Wang等[14]在標準LSTM中引入了基于屬性詞向量的注意力機制，能夠讓模型選擇性關注與當前屬性關聯密切的內容信息，從而生成更準確的屬性情感特征向量。

4）ATAE-LSTM（ATtention-based LSTM with Aspect Embedding）。Wang等[14]在AT-LSTM輸入層引入了屬性連接組件，將屬性詞向量連接到輸入詞向量中，讓模型能夠在雙向LSTM編碼過程中學習更多與屬性相關的語義特征信息。

5）AOA-LSTM（Attention-Over-Attention LSTM）。Huang等[15]提出的AOA-LSTM模型，通過雙向LSTM分別構建了句子和屬性的特征向量矩陣，之后計算了基于屬性的句子注意力矩陣（target-to-text）和基于句子的屬性注意力矩陣（text-to-target），最后將兩個注意力矩陣進行疊加融合來構建特定屬性的情感特征向量。該模型將屬性序列化處理，通過上下文編碼和注意力計算讓模型能夠關注屬性序列中的重要信息，從而輔助句子向量挖掘更深層次的情感特征信息。

2.4 結果分析

本文采用準確率來評估屬性情感分類的效果[21]，定義如式（16）所示：

其中：numcor表示情感分類正確預測的句子數;numall表示數據集總共的句子數。評估指標acc表示模型在數據集中預測正確情感類別的百分比。準確率acc越高，模型的性能越好。

本文將6種模型在SemEval2014 Task4的Restaurant和Laptop數據集[16]以及Dong等[17]收集標注的Twitter數據集上進行訓練。表2給出了6種模型在3個不同領域數據集上情感極性三分類結果。

從表2的結果可以看出，對于三分類任務，本文模型LSTM-MATT-AC在3個不同領域的數據集上都取得了不錯的情感分類效果。模型TC-LSTM和ATAE-LSTM的分類效果分別優于模型TD-LSTM和AT-LSTM。兩組實驗結果的對比說明，在模型的輸入層引入屬性詞向量連接組件，能夠更好地挖掘特定屬性和不用單詞之間的語義關聯信息，幫助模型更準確地學習特定屬性的情感特征。在Restaurant和Twitter兩個不同領域的數據集上，模型ATAE-LSTM分別比模型TC-LSTM的分類準確率提高了1.18%和0.15%，驗證了注意力機制在屬性情感分類任務中的有效性，但由于模型ATAE-LSTM僅在單向LSTM中引入了注意力機制，所以情感分類的準確率比模型TC-LSTM的提升幅度不大。

模型LSTM-MATT-AC在輸入層引入屬性詞向量連接組件的同時，在句子的詞向量矩陣中引入了位置注意力機制，將位置加權的詞向量矩陣與屬性詞向量矩陣進行連接，讓模型能夠更好地關注不同位置的單詞對屬性的影響程度。相比模型ATAE-LSTM采用單向LSTM，本文模型通過采用雙向LSTM能夠更好地學習句子的上下文特征信息;同時，屬性內容注意力機制的引入讓模型能夠選擇性地關注與屬性語義內容關聯密切的數據信息，從而構建更準確的屬性情感特征。在Restaurant、Laptop和Twitter三個不同領域的數據集上，本文提出的模型分別比ATAE-LSTM的情感分類準確率提高了4.4%、9.32%和4.41%，驗證了模型LSTM-MATT-AC在不同領域數據集上屬性情感分類的有效性。

對比本文提出的模型LSTM-MATT-AC和Huang等[1215]文獻12的作者不是Huang，請對語句進行相應調整。注意，要保證文獻在正文中的依次引用順序提出的模型AOA-LSTM可以看出，在Restaurant數據集上，AOA-LSTM的分類準確率高于LSTM-MATT-AC。這說明將屬性序列化處理，通過上下文編碼和注意力計算等方式能夠讓模型更深層次地挖掘屬性序列中的重要信息，而本文模型僅僅對屬性詞序列進行了平均運算，但在Laptop數據集上，本文模型的分類效果卻優于AOA-LSTM模型。對比Restaurant和Laptop兩個數據集后發現，Restaurant數據集中存在較長序列的屬性，比如“chocolate souffle with rasberry mint sorbet”和“lamb glazed with balsamic vinegar”等，而Laptop數據集中屬性詞序列的單詞個數控制在4個以內。這說明在長序列屬性比例大的數據集中，AOA-LSTM模型的情感分類效果優于LSTM-MATT-AC模型，但在整體屬性詞序列較短的數據集上，本文提出的模型存在一定的優勢，能夠取得較高的情感分類準確率。

為了進一步比較本文提出的模型LSTM-MATT-AC和其他模型在屬性級情感分析任務中的分類效果，本文只保留了3個數據集中積極和消極的樣本數據來進行二分類的實驗，實驗結果如表3所示。

從表3的結果可以看出，除去中性數據后，5個模型情感分類的準確率都有了明顯的提升。通過觀察3個不同領域數據集的中性情感句子后發現，中性情感的句子絕大多數都是對某個屬性的客觀描述，并沒有包含評論者對該屬性的情感傾向表達。例如“It took about 2 hours to be served our 2 courses .”對于屬性“courses”來說，例句中并不存在評論者對屬性“courses”的情感表達。另一個發現是一些積極或消極情感的句子由于對應屬性情感的表達過于含蓄或句子結構復雜等原因，導致模型無法準確捕獲該屬性的情感特征信息，從而將屬性誤分類到中性情感類別中。綜上所述，中性情感句子內容的客觀性和類別界限的模糊性導致中性情感極性數據的加入會降低模型在情感分類任務的準確率。通過實驗結果的對比，模型ATAE-LSTM在Laptop數據集上的分類準確率最高，為87.6%。本文模型在Restaurant和Twitter兩個數據集上的分類準確率都高于其他模型，分別為91%和86.8%。在Laptop數據集上的分類準確率為87%，與87.6%的最高準確率相比，僅相差0.6個百分點。這說明本文模型能夠較好地解決不同領域的屬性情感分析任務。

模型LSTM-MATT-AC在輸入層的詞向量矩陣中加入了位置注意力機制，為了驗證位置注意力機制的有效性，本文去掉了位置注意力機制構建了模型LSTM-NP-AC。在3個不同領域的數據集上進行了二分類實驗，實驗結果如圖3所示。從圖3的結果可以看出，在輸入層的詞向量矩陣中加入位置注意力機制后，模型LSTM-MATT-AC在3個不同領域數據集上的情感分類效果都有提升。其中，Restaurant、Laptop和Twitter領域分別提高了2.25%，2.0%和1.4%。這說明在輸入層加入位置注意力后，雙向LSTM在訓練過程中會結合不同單詞與屬性之間的相對位置來編碼特定屬性的上下文信息，讓模型能夠有效地關注不同單詞對屬性的影響程度，從而挖掘出更多有利于屬性情感分類的特征信息。

在訓練數據中，不同情感類別的數據量存在不均衡的現象，圖4給出了二分類任務中3個不同領域的數據統計。為了驗證類別注意力機制對屬性情感分類的有效性，本文去掉了類別注意力機制，構建了模型LSTM-NC-AC。在3個不同領域的數據集上進行了二分類的實驗，實驗結果如圖5所示。

圖4的數據統計說明，相比Twitter領域的數據集，Restaurant和Laptop領域的數據集存在類別數據量不均衡的問題。圖5的實驗結果表明，加入類別注意力機制后，Restaurant和Laptop領域的分類準確率分別提高了1.56%和0.81%，Twitter領域的分類準確率維持不變。綜合分析圖4的數據統計結果和圖5的實驗結果后發現，在類別數據量不均衡的Restaurant和Laptop領域的情感分類模型中加入類別注意力會有效地提高分類的準確率;而Twitter領域的數據集，由于積極和消極情感類別的數據量相當，所以類別注意力的加入并未影響模型的分類準確率。以上分析說明，將類別注意力權重作為懲罰項加入到模型損失函數的計算中，會引導模型均衡地學習不同類別的情感特征信息，從而提高情感分類的準確率，增強模型的魯棒性。

Vo等[9]和Tang等[10]提出的模型明確地區分了不同屬性的上下文信息，并通過實驗結果驗證了該處理方式的有效性，為此本文模型LSTM-MATT-AC在多注意力雙向LSTM網絡的基礎上組合了屬性上下文層，明確區分出特定屬性的上下文，分別通過前向和反向LSTM來獨立編碼屬性的上下文信息。為了驗證屬性上下文層對屬性情感分類的有效性，本文提出了模型LSTM-MATT-1和LSTM-MATT-2。其中，模型LSTM-MATT-1用（hfn‖hbn）替換了屬性上下文層，而模型LSTM-MATT-2用（hfn‖hb1）替換了屬性上下文層。將3個模型在3個不同數據集上進行二分類實驗，結果如圖6所示。

從圖6的實驗結果可以看出，在3個不同領域的數據集上，模型LSTM-MATT-2的分類準確率普遍高于模型LSTM-MATT-1。表明（hfn‖hb1）比（hfn‖hbn）編碼了更豐富的句子上下文信息，即反向LSTM生成的hb1比hbn編碼了更豐富的單詞下文語境信息;同時，也驗證了LSTM利用門限機制能夠有效地學習句子中長距離的語義依賴。模型LSTM-MATT-AC的情感分類準確率又普遍高于模型LSTM-MATT-2，在Restaurant、Laptop和Twitter領域分別提高了1.79%、0.58%和1.4%。這說明區分不同屬性的不同上下文，將一個屬性作為一個目標，通過LSTM的上下文獨立編碼能夠讓模型更加充分地學習到屬性的上下文語義特征，從而達到更好的情感分類效果。

為了進一步分析位置注意力機制和類別注意力機制對模型屬性情感分類效果的影響，本文從Restaurant領域數據集中抽取了一個樣本，將模型LSTM-MATT-AC分別同模型LSTM-NP-AC和LSTM-NC-AC生成的單詞注意力權重值進行比較，更深層次地分析不同注意力機制對模型情感分類結果的影響[22]。表4展示了不同模型中句子單詞的注意力權重的分配結果。對于屬性“service”來說，一方面未添加位置注意力機制的模型LSTM-NP-AC同時賦予了情感詞“Great”和“dreadful”較大的權重，而模型LSTM-MATT-AC能夠準確識別正確的情感詞“dreadful”，并將其權重值從0.4606提高到0.8691。這說明加入位置注意力機制的模型能夠學習到單詞與屬性之間相對位置的特征信息，有效地捕獲句子中不同單詞對屬性的影響程度，增強模型的內容注意力層識別正確情感詞的能力，從而通過更加合理的權重分配來生成更準確的屬性情感特征信息。另一方面由于Restaurant領域數據集的積極情感類別的句子數量約是消極情感類別數量的2.4倍，存在情感類別數量不均衡的現象。對于例句中情感極性屬于消極的屬性“service”，從表4中可以看出模型LSTM-NC-AC對其所在子句“but the service was dreadful！”中各單詞的權重值分配較平均，且分配給該子句的總權重值0.5169遠低于模型LSTM-MATT-AC分配給子句的總權重值0.9969，這說明訓練數據類別不均衡的模型會存在偏置問題。從注意力權重分配的角度分析，可以發現模型會因某個類別數據量的不足而無法深層次地挖掘該類別數據中隱含的特征信息，從而降低對該類別子句的關注度，賦予較低的權重值，且易造成權值平均化的結果。通過深層次地分析句子中單詞的注意力權重，能夠有力地論證本文模型采用的位置注意力機制和類別注意力機制在屬性情感分析任務中的有效性。

2.5 可視化注意力機制

為了更好地理解本文的注意力機制，分析句子中不同單詞對特定屬性情感極性的影響程度，本文從Restaurant和Laptop領域數據集中抽取出四個典型的樣本，可視化了句子中不同單詞的注意力權重。圖7展示了注意力可視化的結果，其中，顏色的深度表示注意力權重等級，顏色越深表明單詞的權重值越大，對屬性情感極性的影響程度越大[23]。圖7（a）和7（b）的例句“Great food ， but the service was dreadful！”中對于屬性“food”來說，情感極性是積極;但對于屬性“service”來說，情感極性是消極，兩個情感極性相反的子句通過“but”連接。本文模型能夠在識別轉折句的基礎上，分別準確地找到屬性“food”和“service”的正確情感詞“Great”和“dreadful”，從而預測出不同屬性正確的情感類別。圖7（c）的例句“I highly recommend it for not just its superb cuisine ， but also for its friendly owners and staff .”中屬性“cuisine”的情感極性是積極。雖然句子中“cuisine”的前面存在否定詞“not”，但本文模型能夠判別出“not”在該句中并不表示否定的含義，從而準確預測出該屬性正確的情感類別。圖7（d）“The technical support was not helpful as well .”中屬性“technical support”的情感極性是消極，相比圖7（c）中的例句，本文模型能夠識別出單詞“not”是對正面情感詞“helpful”的否定，從而準確判別出該屬性正確的情感類別。

通過對圖7可視化結果的分析可以看出，本文模型能夠很好地解決不同類型句子的屬性情感分析問題。在正確識別轉折詞、否定詞等語義的基礎上，模型通過注意力機制能夠動態地偵測到句子中不同屬性對應的正確情感詞，從而準確地判別屬性的情感極性。

3 結語

針對屬性級情感分析任務，本文提出的模型LSTM-MATT-AC融合了多注意力機制和屬性的上下文信息來構建情感特征。通過多注意力機制讓模型能夠從多個角度關注句子中不同單詞與屬性之間的聯系，準確地表示出不同單詞對屬性的影響程度，挖掘句子更深層次的情感信息;同時，由于不同屬性詞的上下文存在差異，模型通過雙向LSTM獨立地編碼了特定屬性的上下文信息。將多注意力機制選擇性關注的特征信息和屬性的上下文語義信息進行融合，有效地判別了句子中不同屬性的情感極性。通過在3個不同領域評測數據集上的對比實驗表明，本文提出的模型比基于單注意力機制的神經網絡模型在屬性情感分類的準確率上有了進一步的提升，從而很好地解決了屬性情感分析任務。

本文提出的模型采用平均化方式來處理屬性詞序列，導致無法捕獲到屬性詞序列中的重要特征信息，如何利用注意力機制來實現屬性詞序列的特征融合是下一步工作的重點，以后將針對屬性詞序列的處理問題對模型進行改進。

參考文獻 （References）

[1] 趙妍妍，秦兵，劉挺.文本情感分析[J].軟件學報，2010，21（8）：1834-1848.（ZHAO Y Y， QIN B， LIU T. Sentiment analysis[J].Journal of Software，2010，21（8）：1834-1848.）

[2] 劉新星，姬東鴻，任亞峰.基于神經網絡模型的產品屬性情感分析[J].計算機應用，2017，37（6）：1735-1740.（LIU X X， JI D H， REN Y F. Product property sentiment analysis based on neural network model [J].Journal of Computer Applications，2017，37（6）：1735-1740.）

[3] 梁斌，劉全，徐進，等.基于多注意力卷積神經網絡的特定目標情感分析[J].計算機研究與發展，2017，54（8）：1724-1735.（LIANG B， LIU Q， XU J， et al. Aspect-based sentiment analysis based on multi-attention CNN[J].Journal of Computer Research and Development，2017，54（8）：1724-1735.）

[4] JIANG L， YU M， ZHOU M， et al. Target-dependent Twitter sentiment classification [C]// Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2011：151-160.

[5] QIAN Q， TIAN B， HUANG M， et al. Learning tag embeddings and tag-specific composition functions in recursive neural network [C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015：1365-1374.

[6] SOCHER R， PERELYGIN A， WU J Y， et al. Recursive deep models for semantic compositionality over a sentiment treebank [C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2013：1631-1642.

[7] TAI K S， SOCHER R， MANNING C D. Improved semantic representations from tree-structured long short-term memory networks [C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1556-1566.

[8] RUDER S， GHAFFARI P， BRESLIN J G. A hierarchical model of reviews for aspect-based sentiment analysis [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016：999-1005.

[9] VO D T， ZHANG Y. Target-dependent twitter sentiment classification with rich automatic features [C]// Proceedings of the 25th International Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2015：1347-1353.

[10] TANG D， QIN B， FENG X， et al. Effective LSTMs for target-dependent sentiment classification [C]// COLING 2016： Proceedings of the 26th International Conference on Computational Linguistics： Technical Papers. Osaka， Japan： [s.n.]， 2016：3298-3307.

[11] BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate [C]// ICLR 2015： Proceedings of the 3rd International Conference on Learning Representations. San Diego， CA： [s.n.]， 2015：1-15.

[12] RUSH A M， CHOPRA S， WESTON J. A neural attention model for abstractive sentence summarization [C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015：379-389.

[13] HERMANN K M， KOCISKY T， GREFENSTETTE E， et al. Teaching machines to read and comprehend [C]// NIPS15： Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015：1693-1701.

[14] WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 606-615.

[15] HUANG B， OU Y， CARLEY K M. Aspect level sentiment classification with attention-over-attention neural networks [C]// Proceedings of the 11th International Conference on Social Computing， Behavioral-Cultural Modeling， and Prediction Conference and Behavior Representation in Modeling and Simulation. Berlin： Springer， 2018： 197-206.

[16] （1） 參考文獻的順序排列有誤，導致文獻在正文中的排列順序有誤。現修改為：原來標號[20]的參考文獻應調整到標號[16]的位置處，相應的原來標號[16]-[19]的依次更改為[17]-[20]。

PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. SemEval-2014 Task 4： aspect based sentiment analysis [C]// Proceedings of the 8th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2014：27-35.

[17] DONG L， WEI F， TAN C， et al. Adaptive recursive neural network for target-dependent twitter sentiment classification [C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2014：49-54.

[18] CHEN P， SUN Z， BING L， et al. Recurrent attention network on memory for aspect sentiment analysis [C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2017：452-461.

[19] BAZIOTIS C， PELEKIS N， DOULKERIDIS C. DataStories at SemEval-2017 task 4： deep LSTM with attention for message-level and topic-based sentiment analysis [C]// Proceedings of the 11th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2017：747-754.

[20] PENNINGTON J， SOCHER R， MANNING C. Glove： global vectors for word representation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014：1532-1543.

[21] MA D， LI S， ZHANG X， et al. Interactive attention networks for aspect-level sentiment classification [C]// Proceedings of the 26th International Joint Conference on Artificial Intelligence. Melbourne， Australia： [s.n.]， 2017：4068-4074.

[22] TANG D， QIN B， LIU T. Aspect level sentiment classification with deep memory network [C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016：214-224.

[23] 胡朝舉，梁寧.基于深層注意力的LSTM的特定主題情感分析[J/OL].計算機應用研究， 2019，36（5）：1-3[2018-03-10]. http：//www.arocmag.com/article/02-2019-05-008.html.（HU C J， LIANG N. Deeper attention-based LSTM for aspect sentiment analysis[J/OL]. Application Research of Computers，2019，36（5）：1-3[2018-03-10]. http：//www.arocmag.com/article/02-2019-05-008.html.）