基于注意力網絡的屬性級別情感分析

摘 要： "傳統的屬性級別情感分析方法缺乏對屬性實體與前后文之間交互關系的研究，導致情感分類結果的正確率不高。為了有效提取文本特征，提出了一種利用多頭注意力機制學習屬性實體與前后文之間關系的屬性級別情感分析模型（intra amp; inter multi-head attention network，IIMAN），從而提高情感極性判斷結果。該模型首先利用BERT預訓練完成輸入語句的詞向量化；通過注意力網絡中的內部多頭注意力與聯合多頭注意力學習屬性實體與前后文以及前后文內部間的關系；最后通過逐點卷積變換層、面向屬性實體的注意力層和輸出層完成情感極性分類。通過在三個公開的屬性級別情感分析數據集Twitter、laptop、restaurant上的實驗證明，IIMAN相較于其他基線模型，正確率和 F "1值有了進一步的提升，能夠有效提高情感極性分類結果。

關鍵詞： "屬性級別； 情感分析； 多頭注意力； BERT

中圖分類號： "TP391 """文獻標志碼： A

文章編號： "1001-3695（2022）02-015-0411-06

doi：10.19734/j.issn.1001-3695.2021.07.0297

Aspect-based sentiment analysis based on attention network

Shen Bina，b， Fang Yiquana，b， Cai Yuana， Cheng Huab， Zhong Yeb

（a.Informatization Office， b.School of Information Science amp; Engineering， East China University of Science amp; Technology， Shanghai 200237， China）

Abstract： ""Traditional aspect-based sentiment analysis methods lack the research on the interaction between aspect object and its context，which leads to the low accuracy of sentiment analysis.In order to effectively extract richer text features，this paper proposed an aspect-based sentiment analysis model（IIMAN） to improve the effect of sentiment polarity judgment，which used multi-head attention mechanism to learn the interaction between aspect object and its context.Firstly，the model used the BERT pre-training model to complete the word vectorization of the input sentences.Then，it used the intra multi-head attention network and the inter multi-head attention network in the attention network to learn the interaction between aspect object and its context，as well as the internal interactions within the context.Finally，it realized the sentiment polarity classification through the pointwise convolution transfer layer，the aspect object attention layer and the output softmax layer.Through the experiments on three public aspect-level sentiment analysis datasets：Twitter，laptop and restaurant，the results show that，compared with other baseline mo-dels，IIMAN model achieves better effect in accuracy and "F "1 value，improves the results of the sentiment polarity classification.

Key words： "aspect-based； sentiment analysis； multi-head attention； BERT

情感分析是指從包含情感信息的主觀性文本中識別用戶對事物或人的意見、情感、情緒和態度等信息［1］，根據任務知識來處理數據之間復雜的依賴關系。情感分析因其廣泛的適用性，在計算機、商學、社會學等領域受到了極大的重視。

情感分析可以細化為屬性級別情感分析任務、 句子級別情感分析任務和文檔級別情感分析任務，分別處理屬性、句子和文檔［2］。其中屬性級別情感分類是情感分析領域中最細粒度的任務［3］，找出用戶感興趣的屬性，對該對象進行觀點分析并得出該對象的情感極性，為情感分析提供更加準確的數據支持。

屬性級別情感分析的主要方法有基于情感詞典、基于機器學習和基于深度學習三類［4］。 其中：基于情感詞典的方法通過構建的情感詞典來計算情感分數；基于機器學習的方法通過抽取部分數據集進行訓練，將提取的特征輸入分類器，得到分類結果；基于神經網絡系統的情感分析［5～9］通過學習文本內容的情感極性與前后語義關系等特征獲得最終的情感分析分類結果。

在現有屬性級別情感分析研究中，常用的模型為循環神經網絡與注意力機制相結合的神經網絡模型，這類模型具有處理長文本依賴的優勢，同時能模仿人類閱讀時的注意力機制，利用注意力機制從句中捕獲給定屬性實體的情感極性相關信息。而其中絕大多數研究并沒有對屬性實體進行單獨建模，忽略了屬性實體和前后文的交互關系，導致情感分類結果的正確率始終無法令人滿意。

為解決以上問題，本文考慮充分利用注意力機制計算文本中各個詞匯之間的關聯性，提出了基于注意力網絡的屬性級別情感分析模型（IIMAN）。本文的主要貢獻如下：a）為解決屬性級別情感分析任務提出了一種有效的基于注意力機制的模型IIMAN，該模型可靈活地利用BERT預訓練模型完成輸入文本的詞向量化；b）在IIMAN模型中引入了多頭注意力機制，采用聯合多頭注意力計算屬性實體與其前后文之間的關系，以及內部多頭注意力計算前文自身、后文自身的注意力權重。

1 相關研究

情感分析是NLP領域中長期存在的一項任務，深度學習的發展大大提高了情感分析任務的準確率。Socher等人［5］采用遞歸神經網絡提高文本分析的準確性。在傳統的循環神經網絡模型基礎上，Tang等人［6］構建了篇章級循環神經網絡模型，在情感分類任務中取得了很好的成效，并在文獻［7］中提出綜合用戶和產品信息的UPNN方法作用于文檔級別的情感分類。在屬性級別情感分析任務上，Dong等人［8］利用句子的結構信息并通過自適應遞歸神經網絡用于屬性級別的情感分析。Tang等人［9］通過構建長期記憶網絡和雙target模型從屬性詞的上下文對詞或短語編碼，將兩個網絡模型的最后輸出結果連接起來作為最終短語編碼情感表達。文獻［10］利用循環神經網絡獲取文檔每個詞的上下文表示，通過最大池化得到最佳特征表示，在情感分析任務中也有不錯的效果。Zhang等人［11］主要是對文本中語句的句法、語義以及屬性詞上下文語義門限神經網絡進行建模。注意力機制的提出是為了優化改進傳統的神經網絡模型， 其顯著特點是計算注意力的概率分布以及突出語句中關鍵性輸入。2015年，Bahdanau等人［12］首次將注意力機制應用于自然語言處理領域并取得了出色的效果。注意力機制有許多衍生模型，如全局注意力、局部注意力、自注意力等。Yang等人［13］將層級注意力網絡模型應用于文本情感分類，取得了明顯的分類效果。Pavlopoulos等人［14］在對用戶評論審核時提出了深層注意力機制，最終取得的效果比處理序列數據的神經網絡更好。在自然語言處理領域，將注意力機制與神經網絡相結合，能夠讓句子中的關鍵部分在模型中更加突出。

最近提出了使用多種基于注意力機制的改進神經網絡模型來處理屬性級別情感分析任務［15～23］。Wang等人［15］引入注意力機制建立了ATAE-LSTM模型，對隱藏層輸出進行注意力計算，并將分析結果與屬性詞向量實施拼接從而獲得了具備屬性詞的情感極性表達。Tang等人［16］在研究過程中引入注意力機制構建了MemNet模型，在模型訓練過程中利用注意力機制著重學習輸入語句中突顯情感極性的詞向量構成外部記憶，在計算注意力分布過程中，每一層都要對上一層的情感輸出結果重新計算，然后借助于深度網絡所特有的抽象能力對每層注意分布微調，最終得到給定屬性詞在任務中的情感極性。Chen等人［18］提出的RAM模型是將不同注意力層中關鍵的情感信息進行非線性擬合，通過多層抽象給予特定屬實體一定的情感傾向。文獻［19］利用多粒度注意力機制來捕捉方面與其上下文之間的詞級交互。文獻［23］設計了一個雙重注意力網絡來識別相互矛盾的意見。此外，預訓練模型BERT［24］在包括屬性級別情感分析在內的許多NLP任務中取得了優異的表現。文獻［25］通過構建輔助句子將屬性級別情感分析任務轉換為句子對分類任務。文獻［26］在BERT上提出了一種后訓練方法，以提高屬性級別情感分析任務在微調階段的性能。

受注意力機制與預訓練模型啟發，本文方法通過預訓練模型BERT與多頭注意力機制相結合，能更好地獲得屬性實體和屬性實體的前后文之間的依賴關系，進一步提升情感分析的準確性。

2 IIMAN模型

2.1 多頭注意力

多頭注意力是自注意力的一種特殊構造方式，由Google團隊于2017年提出［27］。多頭注意力的內在機制與點積計算的注意力機制類似，但加入了縮放因子，使得內積不至于太大，可以使用高度優化的矩陣乘法代碼來實現注意力的計算，更節省空間的運行。多頭注意力的計算過程對查詢（Q）、鍵（K）、值（V）映射，使用放縮點積注意力計算得到一個輸出矩陣，對這個過程重復多次，將這些過程連接起來通過再次投影得到最終注意力值，如圖1所示。

多頭注意力通過多通道機制進行特征選擇，可以更有效地獲取文本片段更多的語義信息，有助于計算各個文本片段的內部關系以及各文本片段之間的依賴關系。多頭注意力每一個注意力頭的參數矩陣獨立不共享，因此多頭注意力比普通注意力機制可以訓練更多的參數，使模型可以關注到更多不同位置的信息。參數不共享使得多頭注意力可以計算更多的表示子空間，對文本而言，不同子空間的表示含義是不相同的，例如有的子空間表示文本的句法信息，有的子空間表示文本的語義信息，有的子空間可以表示文本的依存關系，不同子空間的信息結合提升了多頭注意力機制在文本特征提取中的表現力。

本文采用對屬性實體以及屬性實體前后文單獨建模的方式，因此多頭注意力可以充分計算文本內及文本之間的關聯性。構建了如下兩種多頭注意力：a）內部多頭注意力，對屬性實體的前后文片段序列自身內部建模，內部多頭注意力可以獲取前后文內部的文本結構以及特征信息；b）聯合多頭注意力，對屬性實體和屬性實體的前后文之間的交互建模，聯合多頭注意力為了獲取屬性實體和前后文之間的關聯性。

2.2 BERT預訓練模型

BERT模型使用雙向深度Transformer作為主要結構［24，28］，需要Transformer中作為特征抽取器的編碼器部分。其基本框架包括預訓練和微調，這讓BERT可以適用特定任務。預訓練過程利用未被標記的語料，通過幾個不同的預訓練任務進行模型訓練；微調過程使用預訓練得到的參數初始化BERT模型，利用下游任務中的標記數據對所有參數微調，從而獲得下游任務的穩健參數。BERT已在17個不同的NLP任務上取得了顯著的提升［29］，包括SQuAD（優于人類的表現）、GLUE（7.7%的絕對提升）、MNLI（4.6%的絕對提升）等。

在屬性級別情感分析中，詞向量的正確表達具有重要意義，考慮BERT預訓練模型的重要作用，本文使用BERT預訓練模型獲得詞向量表示，旨在獲取更深層的文本特征信息。

2.3 注意力網絡模型

本文設計的基于注意力網絡的屬性級別情感分析模型（IIMAN）將預訓練語言模型BERT應用于詞向量預訓練任務中，通過注意力機制獲得屬性實體和屬性實體前后文之間的依賴關系以及注意力權重，再由輸出層得到屬性情感極性。模型結構包括詞向量預訓練層、注意力網絡（多頭注意力層、逐點卷積變換層、面向屬性實體的注意力層）和輸出層，如圖2所示。

2.3.1 詞向量層

根據給定的屬性實體在文本中的位置，詞向量層將文本切分成屬性實體和屬性實體前文、后文三個部分。BERT詞向量使用預先訓練的BERT模型生成序列的詞向量，為了便于BERT模型的訓練和微調，將給定的前后文和屬性實體進行如下轉換：a）以屬性實體為分隔的前文：［CLS］+前文內容+［SEP］；b）屬性實體：［CLS］+實體內容+［SEP］；c）以屬性實體為分割的后文：［CLS］+后文內容+［SEP］。其中，［CLS］表示文本是否用于分類語句，［SEP］用來進行文本分割，通常作為對應文本的最后一個詞。將上述的屬性實體和屬性實體前后文經過BERT網絡后，得到了對應的詞向量，如下所示：

屬性實體前文詞向量 e "F=［e1 F，e2 F，…，ef F］

屬性實體詞向量 e "M=［e1 M，e2 M，…，em M］

屬性實體后文詞向量 e "B=［e1 B，e2 B，…，eb B］

預訓練語言模型BERT為雙向預訓練方法，雙向預訓練的優勢在于可以獲得與文本上下文相關的文本特征，從而豐富了輸出結果的特征信息，使得后續的情感分析判斷更加準確。

2.3.2 多頭注意力層

注意力機制將一個鍵序列 k={k 1，k 2，…，k n} 和一個查詢序列 q={q 1，q 2，…，q m} 映射到一個輸出序列 o 。

o =attention （k，q） =softmax （f s（k，q））k ""（1）

其中： f s 為對齊函數，該函數可以學習 q j 和 k i 之間的語義相關性［27］。

f s（k i，q j）= tanh （［k i：q j］W att） ""（2）

其中： W att∈"Euclid Math TwoRAp

2d hid 是一個可學習的權重，在模型的訓練過程中進行更新迭代。多頭注意力機制可以在并行的子空間中學習 n 個不同的權重，將該 n 個輸出拼接并映射到指定的隱藏維度 D hidden ，計算方法如下：

MHA （k，q） =concat （o1，o2，…，on）W mh ""（3）

oi =attention i（k，q） ""（4）

其中：concat表示對不同對注意力的連接； W mh∈"Euclid Math TwoRAp

d hid×d hid；oi={oi 1，oi 2，…，oi m} 為多頭注意力中第 i 個的輸出， i∈［1，n］ 。

在本文模型中，提出了內部多頭注意力（intra multi-head attention）與聯合多頭注意力（inter multi-head attention）。其中，內部多頭注意力用于前文與自身以及后文與自身的計算，從而能得到相應的注意力權重，聯合多頭注意力則用于計算屬性實體與前后文之間的注意力權重，如圖2所示。多頭注意力通過對注意力中每個注意力頭的參數矩陣計算更新，提高了整體模型的參數量，使得模型在訓練過程中可以學習到更多文本特征，從而提取更多的文本特征信息。本文多頭注意力的線性變化層有八個，放縮點積注意力為八個，即八個多頭。

此外由于每個頭之間的參數并不共享，使得模型能夠更加關注特定位置的注意力計算，不同注意力頭所關注和表達的文本特征信息各有不同，多頭注意力可以綜合以上所有的文本特征信息，較大程度地提升了注意力機制的性能，從而使得最終情感分析結果的正確率得到提升。

內部多頭注意力是為了計算前文自身、后文自身的自關注，其鍵序列和查詢序列相同，即 q=k ，可以注意到序列內部單詞的依賴關系。對于給定一個詞向量矩陣 e i ，內部多頭注意力表示為

rintra= MHA（ e i， e i） ""（5）

其中： rintra={rintra 1，rintra 2，…，rintra n} 。對于給定屬性實體的前文、后文所對應的詞向量（ e F， e B） ，計算如下：

rintra F= MHA（ e F， e F） ""（6）

rintra B= MHA（ e B， e B） ""（7）

學習到前文表示 rintra F={rintra F 1，rintra F 2，…，rintra F n}和后文表示rintra B={rintra B 1，rintra B 2，…，rintra B n} 。

與內部多頭注意力不同，聯合多頭注意力的鍵序列和查詢序列不同，即 q≠k ，可以注意到序列之間的交互關系，關注屬性實體的相關詞，更準確地注意其情感極性。通過給定一個屬性實體前文或后文詞向量矩陣 e c 以及一個屬性實體詞向量矩陣 e M ，聯合多頭注意力機制可以計算出前后文以及屬性實體相互關系表示 rinter ，計算如下：

rinter= MHA（ e c， e M） ""（8）

其中： rinter={rinter 1，rinter 2，…，rinter m} 。在本模型中，將前文的詞向量 e F和后文的詞向量 e B 分別與屬性實體的詞向量矩陣進行計算：

rinter F= MHA（ e F， e M） ""（9）

rinter B= MHA（ e B， e M） ""（10）

學習到前文與實體的關系表示 rinter F 及后文與實體的關系表示 rinter B 。

2.3.3 逐點卷積變換層

逐點卷積變換層（PCT）可以轉換多頭注意力機制收集到的文本信息。逐點卷積內核尺寸為1，并且對于各輸入采用相同的轉換形式。對于輸入序列 r ，逐點卷積變換層計算如下：

h= PCT （r）=f（rW1 pc+b1 pc）W2 pc+b2 pc ""（11）

其中： f 表示ELU激活函數；*表示卷積操作； W1 pc∈"Euclid Math TwoRAp

d hid×d hid和W2 pc∈"Euclid Math TwoRAp

d hid×d hid是兩個卷積核中可以迭代更新的權重系數；b1 pc∈"Euclid Math TwoRAp

d hid和b2 pc∈"Euclid Math TwoRAp

d hid 是兩個卷積核中能夠更新的偏置項。

對于給定的內部多頭注意力，逐點卷積變換層可以獲得內部多頭注意力機制的隱變量 hintra F={hintra F 1，hintra F 2，…，hintra F n}、hintra B={hintra B 1，hintra B 2，…，hintra B n} ，對于給定的聯合多頭注意力，逐點卷積變換層可以獲得聯合多頭自注意力機制的隱變量 hinter F={hinter F 1，hinter F 2，…，hinter F m}、hinter B={hinter B 1，hinter B 2，…，hinter B m} ，變換方式如下：

hintra F =PCT （rintra F） ""（12）

hintra B =PCT （rintra B） ""（13）

hinter F =PCT （rinter F） ""（14）

hinter B =PCT （rinter B） ""（15）

逐點卷積的計算方法相較于加性方法，其對于參數矩陣的計算速度更快，即可以更好地利用矩陣特性進行乘積計算，從而提高了運算效率。

2.3.4 面向屬性實體的注意力層

在這一層網絡中，利用前文結果輸入另一個獨立的多頭注意力機制來獲得面向屬性實體的前文表示和面向屬性實體的后文表示。這一過程計算如下：

htsc F= MHA （hintra F，hinter F） ""（16）

htsc B= MHA （hintra B，hinter B） ""（17）

其中： htsc F={htsc F 1，htsc F 2，…，htsc F m} 、 htsc B={htsc B 1，htsc B 2，…，htsc B m} 。

這一層采用的多層注意力機制獨立于第二層的多頭注意力機制之外，使用的是獨立的參數。

2.3.5 輸出層

輸出層獲得以屬性實體作為分隔的前文表示 hintra F 、以屬性實體作為分隔的后文表示 hintra B 、結合前文內容的屬性實體表示 hinter F 、結合后文內容的屬性實體表示 hinter B 以及面向屬性的實體的前后文表示 htsc F 和 htsc B 后，將它們平均池化，并連接成為最終的表示，使用softmax函數將結果分成 K 類，使模型能夠最終輸出一個預測的類別，計算過程為

= concat （hintra F，hintra B，hinter F，hinter B，htsc F，htsc B） ""（18）

α= ""T "o ""+ """o ""（19）

y= softmax （α）= "exp （α） ∑ K k=1 "exp （α） """（20）

其中： ""表示拼接得到的特征向量；y∈"Euclid Math TwoRAp

K 表示情感極性分布結果； """o∈"Euclid Math TwoRAp

1×K和 """o∈"Euclid Math TwoRAp

K 分別是權重矩陣和偏置向量。

3 實驗設計

3.1 實驗數據集

本文采用了屬性級別情感分析任務中常用的三個公開基準數據集Twitter、 laptop和restaurant進行情感分析判斷，數據集的具體分類信息如表1所示 。

Twitter數據集由Dong等人［8］構建，該數據集中搜集了推特上對公司、產品以及名人等屬性所發表的評論推文。在這個數據集中共有積極、消極以及中性三種標簽，一共有6 940條樣本，其中6 248條樣本為訓練數據，692條樣本為測試數據，數量最多的標簽是積極類型。restaurant和laptop數據集是SemEval 2014任務4——aspect based sentiment analysis所采用的測評數據［30］，這兩個數據集中分別包含了用戶對于筆記本電腦和餐館的評價句子。數據集包括積極、消極、中性以及沖突四個標簽。由于沖突標簽所對應的樣本極少，為了保持數據集中標簽數量的平衡性，本文將沖突標簽去除。restaurant數據集一共有4 728條樣本，其中3 608條樣本為訓練數據，1 120條樣本為測試數據。laptop數據集一共有2 966條樣本，其中2 328條樣本為訓練數據，638條樣本為測試數據。這兩個數據集中數量最多的標簽是積極類型。

三個實驗數據集分別來自不同的三個領域，可以驗證本文模型的泛化性。其中，Twitter數據集來自于社交網絡，其中錯別字、病句等不規范的表述更多。

3.2 實驗參數

實驗將數據集中20%的數據劃分為驗證集，用于后續調參工作。在對比實驗中，詞向量層分別采用了GloVe詞向量、BERT-base模型和BERT-large模型，三種詞向量層的參數如下：a）GloVe詞向量，300維的詞向量；b）BERT-Base模型，有12層的雙向Transformer網絡結構，使用768維的詞向量， 12頭的注意力機制，有110 M的參數量；c）BERT-Large模型，有24層的雙向Transformer網絡結構，使用1 024維詞向量，16 頭的注意力機制，有340 M的參數量。表2為模型的超參數及參數設置情況，其中，Dim emb為詞向量維度，Dim hid為隱藏向量維度，在所有模型中都設置為400。MaxSeqlen 代表模型接收句子的最大長度，laptop和restaurant數據集是評論數據集，句子長度較長，設置為100；而Twitter數據集簡短，設置為80。batchSize是每個批次中處理的最多樣本數量，GloVe、BERT-base、BERT-large參數數量是遞減的，因此batchSize的尺寸也是遞減的，分別為32、16、8。模型訓練的輪數均設置為10；采用dropout 技術來達到緩解過擬合的目的，均設置為0.1。

3.3 實驗對比

為了驗證本文模型的有效性，實驗中所對比的模型如下：

a）Majority，基本的基線模型，將訓練集中最大的情感極性分配給測試集中的每個樣本。

b）Feature-based SVM［31］，通過傳統的特征提取方法，從數據中獲得所需要的一系列特征，通過支持向量機實現分類操作。

c）Rec-NN［8］，使用規則對依賴樹轉換，將目標屬性放在根節點上，使用遞歸神經網絡通過語義組合對目標學習句子的表示實現分類。

d）MemNet［16］，利用句子中上下文詞的詞向量構建記憶矩陣，進而構建多注意力層模型，并利用上一層的結果促進下一層能夠捕獲更加精確的注意力分布。

e）LSTM［9，32］，使用一個LSTM神經網絡模型對文本編碼獲取語義信息。

f）TD-LSTM［9］，兩個LSTM網絡分別連接屬性短語和它的前文后文。

g）ATAE-LSTM［15］，在LSTM中引入注意力機制，并將屬性短語向量連接到每個單詞的輸入向量中。

h）AF-LSTM［33］，在LSTM中引入循環卷積和循環相關層。

i）IAN［17］，使用兩個LSTM和一個交互式的注意力機制來生成屬性與句子的表示。

j）BILSTM-ATT-G［34］，基于AE-LSTM將屬性短語向量連接到每個單詞的輸入向量中。

k）RAM［18］，使用多個注意力和記憶網絡來學習句子的表示。

l）MGAN［19］，設計了一個多顆粒度的注意力機制來捕捉屬性和上下文之間的詞級交互。

m）ASGCN［35］，首次提出使用圖神經網絡（GCN）來進行屬性級別情感分析。

n）kumaGCN［36］，使用GCN進行屬性級別情感分析，并采用隱藏圖結構補充句子特征。

o）IMAN，本文提出的注意力網絡模型。

在實驗中采用的評價指標分別為正確率（Acc）和 F "1值（召回率與精確率的調和平均數）［37］。

3.4 實驗結果與分析

實驗結果如表3所示，表中模型后綴加“*”的表示該結果來自于相關的文獻中，而“-”表示沒有獲得該實驗在該評價指標上的結果。所有模型使用的是相同數據集，指標最高的分數用加粗標出。

從表3可知，IIMAN模型的性能優于對比模型。在Twitter數據集中，性能最佳的是使用BERT-base詞向量的模型（IIMAN-BERT-base），正確率達到了73.3%， F "1值達到了72%，性能超過其他對比算法。在laptop數據集中，性能最佳的是使用了BERT-large詞向量的模型（IIMAN-BERT-Large），正確率達到了77.1%， F "1值達到了73.1%，性能依舊超過其他算法。在restaurant數據集中，通過使用BERT-large詞向量的模型（IIMAN-BERT-Large）情感分類能夠取得很好的效果，正確率高達85.2%， F "1值達到了78.8%。

可以得出結論，注意力網絡模型對于屬性級別的情感分析任務有一定的提升，結合BERT預訓練模型與注意力機制對文本特征的提取有著優秀的表現。詞向量技術可以將文本的單詞信息映射到連續的向量空間中得到單詞的向量表示，因此詞向量可以作為深度學習的輸入向量，分別采用GloVe、BERT-base、BERT-large三種詞向量進行算法驗證。

本文方法中三種詞向量對分類精度的影響如圖3所示。其中，橫坐標是Twitter、laptop、restaurant三個數據集，縱坐標是正確率的數值信息。

由圖3可知，在正確率上，restaurant數據集相對于其他兩個數據集效果更好，原因是restaurant數據集蘊涵的語義較為簡單，而Twitter數據集上效果要差一點，因為Twitter數據集上存在著文本語言過短、信息復雜等特點。在Twitter數據集中，三個模型的正確率沒有太大差距，IIMAN-GloVe、IIMAN-BERT-base、IIMAN-BERT-large分別為72.8%、73.3%、72.7%，IIMAN-BERT-base在該數據集上的效果最佳，原因是Twitter數據集本身數據量更大，IIMAN-BERT-base模型在微調的過程中可以更加適應數據，而不會導致過擬合現象的產生。在laptop數據集中，IIMAN-GloVe、IIMAN-BERT-base、IIMAN-BERT-large三個模型的正確率分別為73.5%、76.3%、77.1%，可以看出使用BERT語言模型后，模型正確率有了較大提升。

在restaurant數據集中，與laptop數據集有相似的展現，使用BERT詞向量的模型效果要顯著高于使用GloVe詞向量的模型，IIMAN-GloVe、IIMAN-BERT-base、IIMAN-BERT-large三個模型的正確率性能分別為81%、84.4%、85.2%，依舊是深層次的IIMAN-BERT-large性能最好。

圖4是三種詞向量對模型 F "1值的影響，大致趨勢與正確率相同，但是該指標體現了各模型之間效果的差距。在Twitter數據集上，IIMAN-GloVe、IIMAN-BERT-base、IIMAN-BERT-large 模型得到的 F "1值分別為69.8%、72%、71.2%；在laptop數據集上，三個模型的 F "1值分別是 69%、72.2%、73.1%，依舊是IIMAN-BERT-large的 F "1值性能最高；在restaurant數據集中，三個模型的 F "1值分別是71.9%、76.8%、78.8%，與正確率一致，IIMAN-BERT-large同樣獲得該數據集最好的性能效果。

3.5 案例分析

為了進一步研究并驗證IIMAN模型的性能，選取restaurant數據集中某一樣本進行具體的案例分析。IIMAN與基于LSTM的注意力權重相比，在針對文本中屬性實體和情感極性詞距離稍長問題時能獲取更精準的情感極性詞。可視化結果如圖5所示，顏色越深表示對應的單詞越重要。

在文本“Great food，but the service is dreadful.”中，當屬性實體“service”前后都有情感極性詞語且單詞距離較遠時，基于LSTM的注意力模型計算得到的“Great”和“dreadful”注意力權重相近；而IIMAN則能在長距離的文本中，針對屬性實體“service”，通過比較得到了更契合該屬性實體的情感詞“dreadful”。基于循環神經網絡的算法在對文本進行計算時，其本質是截斷的時序反向傳播，影響了模型捕獲長距離依賴的能力，而注意力網絡在對每一個詞編碼時可以關注到整個句子，模型結構中多頭注意力能夠一次計算全部序列，且計算過程高度并行，因此更好地解決了長距離依賴問題。

4 結束語

本文提出了基于注意力網絡的屬性級別情感分析模型。該模型首先使用了BERT預訓練詞向量，并利用注意力網絡對詞向量編碼。與現有模型相比，IIMAN模型可以有效地提取文本特征，在模型中設計的多頭注意力機制可以更好地計算文本中的長距離依賴關系，從而使得本文模型能夠更加準確地得到情感極性判斷結果。實驗結果表明，IIMAN能夠有效地捕捉文本特征，實現屬性級別情感分析，明顯提高了正確率和 F "1值，在屬性級別情感分析任務中具有更高的性能。為了進一步驗證本文模型的效果，下一階段還需要對文本語言為中文以及其他非拉丁語系的文本情感分類任務進行實驗和研究。同時還需要充分考慮詞向量層對IIMAN造成的性能影響，在后續的工作中考慮更有效的預訓練模型。

參考文獻：

［1］ "Zhang Lei，Liu Bing.Sentiment analysis and opinion mining［M］//Encyclopedia of Machine Learning and Data Mining.Boston：Springer，2017：1152-1161.

［2］ 蘇瑩，張勇，胡珀，等.基于樸素貝葉斯與潛在狄利克雷分布相結合的情感分析［J］.計算機應用，2016， 36 （6）：1613-1618. （Su Ying，Zhang Yong，Hu Po， et al .Sentiment analysis research based on combination of naive Bayes and latent Dirichlet allocation［J］. Journal of Computer Applications， 2016， 36 （6）：1613-1618.）

［3］ 施寒瀟.細粒度情感分析研究［D］.蘇州：蘇州大學，2013. （Shi Hanxiao.Research on fine-grained sentiment analysis［D］.Suzhou：Soochow University，2013.）

［4］ 黃時友.微博情感分析研究綜述［J］.新西部：理論版，2014， 4 （10）：99. （Huang Shiyou.Overview on sentiment analysis of Microblog［J］. New West， 2014， 4 （10）：99.）

［5］ Socher R，Perelygin A，Wu J Y， et al .Recursive deep models for semantic compositionality over a sentiment treebank［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2013：1631-1642.

［6］ Tang Duyu，Qin Bing，Liu Ting.Document modeling with gated recurrent neural network for sentiment classification［C］//Proc of Confe-rence on "Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：1422-1432.

［7］ Tang Duyu，Qin Bing，Liu Ting.Learning semantic representations of users and products for document level sentiment classification［C］//Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：1014-1023.

［8］ Dong Li，Wei Furu，Tan Chuanqi， et al .Adaptive recursive neural network for target-dependent Twitter sentiment classification［C］//Proc of the 52nd Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2014：49-54.

［9］ Tang Duyu，Qin Bing，Feng Xiaocheng， et al .Effective LSTMs for target-dependent sentiment classification［C］//Proc of the 26th International Conference on Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2016：3298-3307.

［10］ 來斯惟.基于神經網絡的詞和文檔語義向量表示方法研究［D］.北京：中國科學院大學，2016. （Lai Siwei.Word and document embeddings based on neural network approaches［D］.Beijing：University of Chinese Academy of Sciences，2016.）

［11］ Zhang Meishan，Zhang Yue，Vo D.Gated neural networks for targeted sentiment analysis［C］//Proc of the 30th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2016：3087-3093.

［12］ Bahdanau D，Cho K，Bengio Y.Neural machine translation by jointly learning to align and translate［C］//Proc of International Conference on Learning Representations.2015：124-135.

［13］ Yang Zichao，Yang Diyi，Dyer C， et al .Hierarchical attention networks for document classification［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2016：1480-1489.

［14］ "Pavlopoulos J，Malakasiotis P，Androutsopoulos I.Deeper attention to abusive user content moderation［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2017：1136-1146.

［15］ Wang Yequan，Huang Minlie，Zhu Xiaoyan， et al .Attention-based LSTM for aspect-level sentiment classification［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2016：606-615.

［16］ Tang Duyu，Qin Bing，Liu Ting.Aspect level sentiment classification with deep memory network［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2016：214-224.

［17］ "Ma Dehong，Li Sujian，Zhang Xiaodong， et al .Interactive attention networks for aspect-level sentiment classification［C］//Proc of the 26th International Joint Conference on Artificial Intelligence.2017：4068-4074.

［18］ Chen Peng，Sun Zhongqian，Bing Lidong， et al .Recurrent attention network on memory for aspect sentiment analysis［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2017：452-461.

［19］ Fan Feifan，Feng Yansong，Zhao Dongyan.Multi-grained attention network for aspect-level sentiment classification［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2018：3433-3442.

［20］ Huang Binxuan，Ou Yanglan，Carley K M.Aspect level sentiment classification with attention-over-attention neural networks［C］//Proc of International Conference on Social Computing，Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation.Cham：Springer，2018：197-206.

［21］ Gu Shuqin，Zhang Lipeng，Hou Yuexian， et al .A position-aware bidirectional attention network for aspect-level sentiment analysis［C］//Proc of the 27th International Conference on Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2018：774-784.

［22］ "Li Lishuang，Liu Yang，Zhou Anqiao.Hierarchical attention based position-aware network for aspect-level sentiment analysis［C］//Proc of the 22nd Conference on Computational Natural Language Learning.Stroudsburg，PA：Association for Computational Linguistics，2018：181-189.

［23］ Tan Xingwei，Cai Yi，Zhu Changxi.Recognizing conflict opinions in aspect-level sentiment classification with dual attention networks［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2019：3426-3431.

［24］ Devlin J，Change M W，Lee K， et al .BERT：pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：4171-4186.

［25］ Sun Chi，Huang Luyao，Qiu Xipeng.Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：380-385.

［26］ Xu Hu，Liu Bing，Shu Lei， et al .BERT post-training for review reading comprehension and aspect-based sentiment analysis［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：2324-2335.

［27］ Vaswani A，Shazeer N，Parmar N， et al .Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

［28］ Sun Xia，Gao Yi，Sutcliffe R， et al .Word representation learning based on bidirectional GRUs with drop loss for sentiment classification［J］. IEEE Trans on Systems，Man，and Cybernetics：Systems ，2021， 51 （7）：4532-4542.

［29］ Han Xu，Zhang Zhenyan，Ding Ning， et al .Pre-trained models：past，present and future［J/OL］. AI Open， 2021.（2021-08-26）.https：//doi.org/10.1016/j.aiopen.2021.08.002.

［30］ Pontiki M，Galanis D，Pavlopoulos J， et al .SemEval-2014 task 4：aspect based sentiment analysis［C］//Proc of the 8th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computational Linguistics，2014：27-35.

［31］ Kiritchenko S，Zhu Xiaodan，Cherry C， et al .NRC-Canada-2014：detecting aspects and sentiment in customer reviews［C］//Proc of the 8th International Workshop on Semantic Evaluation.Stroudsburg，PA：Association for Computational Linguistics，2014：437-442.

［32］ Hochreiter S，Schmidhuber J.Long short-term memory［J］. Neural Computation ，1997， 9 （8）：1735-1780.

［33］ Tay Y，Tuan L A，Hui S C.Learning to attend via word-aspect associative fusion for aspect-based sentiment analysis［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：5956-5963.

［34］ Liu Jiangming，Zhang Yue.Attention modeling for targeted sentiment［C］//Proc of the 15th Conference of the European Chapter of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2017：572-577.

［35］ "Zhang Chen，Li Qiuchi，Song Dawei.Aspect-based sentiment classification with aspect-specific graph convolutional networks［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2019：4568-4578.

［36］ Chen Chenhua，Teng Zhiyang，Zhang Yue.Inducing target-specific latent structures for aspect sentiment classification［C］//Proc of Confe-rence on Empirical "Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2020：5596-5607.

［37］ 顏仕雄，朱焱，李春平.基于多頭注意力機制的社交網絡符號預測［J］.計算機應用研究，2021， 38 （5）：1360-1364. （Yan Shixiong，Zhu Yan，Li Chunping.Social network sign prediction based on multi-head attention mechanism［J］. Application Research of Compu-ters ，2021， 38 （5）：1360-1364.）