基于雙層詞性感知和多頭交互注意機制的方面級情感分析

摘 要：在方面級情感分析研究中，現有工作往往忽略不同類型詞性貢獻程度以及局部特征和全局特征的交互作用會影響分類準確率的問題。為此，提出了一種基于雙層詞性感知和多頭交互注意機制的方面級情感分析模型DPMHA。首先，使用BERT預訓練模型獲取包含上下文信息的詞向量；其次，提出了雙層詞性感知的局部特征提取層，重點關注方面詞周圍具有重要詞性詞的特征，降低噪聲詞的影響；接著，在局部特征和全局特征之間設計了多頭交互注意力機制，充分挖掘局部特征和全局特征之間重要的交互特征；最后，提出了動態特征融合層和softmax層獲取情感分析的結果。在三個公開數據集上的實驗結果表明，與現有的方面級情感分析模型相比，提出的DPMHA模型在restaurant14、laptop14、restaurant15數據集上MF1值分別提升了2.41%、1.24%、2.39%，準確率分別提升了1.34%、0.78%、0.37%。

關鍵詞：BERT模型；雙層詞性感知；交互特征；動態特征融合

中圖分類號：TP309 文獻標志碼：A

文章編號：1001-3695（2022）03-010-0704-07

doi：10.19734/j.issn.1001-3695.2021.08.0340

基金項目：國家重點研發計劃資助項目（2018YFC0807105）

作者簡介：薛芳（1990-），女（通信作者），江蘇高郵人，碩士研究生，主要研究方向為數據挖掘、情感分析（18017863747@163.com）；過弋（1975-），男，江蘇無錫人，教授，博導，博士，主要研究方向為文本挖掘、知識發現和商業智能會化；李智強（1997-），男，山東菏澤人，碩士研究生，主要研究方向為文本分類、情感分析；王家輝（1995-），男，上海人，博士研究生，主要研究方向為圖數據挖掘、異常檢測．

Aspect-level sentiment analysis based on double-layer part-of-speech-aware and multi-head interactive attention mechanism

Xue Fang^1?，Guo Yi^1，2，3，Li Zhiqiang¹，Wang Jiahui¹

（1.Dept.of Computer Science amp; Engineering，East China University of Science amp; Technology，Shanghai 200237，China；2.Business Intelligence amp; Visualization Research Center，National Engineering Laboratory for Big Data Distribution amp; Exchange Technologies，Shanghai 200436，China；3.Shanghai Engineering Research Center of Big Data amp; Internet Audience，Shanghai 200072，China）

Abstract：In aspect-level sentiment analysis research，previous work often ignores the problem that the contribution of different types of parts of speech and the interaction of local and global features affects the classification accuracy.This paper proposed an aspect-level sentiment analysis model DPMHA based on double-layer part-of-speech-aware and multi-head interactive attention mechanism.Firstly，this paper used BERT pre-training model to obtain word vectors of contextual information.Secondly，this paper creatively proposed two part-of-speech-aware local feature extraction layers，which could focus on these words around aspect words with important parts of speech and reduce the influence of noise words.Then，this paper designed a multi-head interactive attention mechanism between local features and global features to fully explore the important interactive features between them.Finally，this paper also proposed a dynamic feature fusion layer and softmax layer to obtain the results of sentiment analysis.Experiments on three public data set show that compared with the existing aspect-level sentiment analysis model，the DPMHA model increases the MF1 value of the restaurant14，laptop14，and restaurant15 datasets by 2.41%，1.24% and 2.39% respectively，and the accuracy rate increases by 1.34%，0.78% and 0.37% respectively.

Key words：BERT model；double-layer part-of-speech-aware；interactive features；dynamic feature fusion

0 引言

方面級情感分析是自然語言處理（natural language processing，NLP）中一種細粒度的任務，是文本情感分析中的一個熱門的且具有重要研究價值的分支^［1］。早期的文檔級情感分析^［2］和句子級情感分析^［3］，是假設一個文檔/句子僅包含一種情感極性，即消極、積極和中性，這是一種粗粒度的情感分析任務。值得注意的是，一段文檔或句子可能會包含多個評價方面，而多個評價方面可能具備著截然不同的情感極性。例如，“The location of this restaurant is convenient and the food is delicious，but the serving speed is too slow”這句話從“location”“food”“serving speed”等多個方面對餐廳進行了評價。其中，“location”和“food”的情感極性是積極的，“serving speed”的情感極性是消極的。顯然，這種情況下粗粒度的情感分析方法無法充分捕獲文本中表達的不同方面的情感。因此，方面級情感分析^［4］具有更深遠的研究意義和更廣泛的應用價值。

近幾年，預訓練語言模型在文本分類、閱讀理解等多個領域取得了先進的成果，越來越多的研究者將BERT預訓練模型引入到方面級情感分析任務中來優化情感分析的性能。例如，文獻［5］將預訓練BERT模型應用到端到端的情感分析任務中，發現即使后接一個簡單的線性層，基于BERT的模型都會優于當時最先進的結果。文獻［6］設計了一個注意編碼網絡來繪制目標詞與語境詞之間的隱藏狀態和語義交互，并把預訓練的BERT模型運用到方面級情感分析中，該模型分析效果大幅超出了以往網絡模型的效果。這些研究重點考慮了方面詞、位置信息和上下文之間的語義關系，但忽略了由方面詞和周圍詞組成的局部信息的重要性。針對上述問題，文獻［7］提出使用局部聚焦機制來生成方面詞的局部信息，即越靠近方面詞的信息越重要，但是忽視了局部信息中并非所有的詞都是重要的，存在的噪聲詞會非常影響模型的性能。

以上模型都是從詞的層面提取文本的語義信息，未考慮其他的語義特征，模型很難充分使用文本信息。在語言學中，詞性是詞的基本語法特征，不同詞性的詞對句子的語義表達貢獻程度不一樣，如果在模型訓練的過程中引入詞性特征，可以起到豐富文本語義特征的作用。本文認為方面詞局部信息、全局信息、交互信息、相對位置信息和詞性信息都是影響方面級情感分析效果的關鍵因素。然而，目前尚未有模型充分考慮上面五大關鍵因素。本文綜合考慮方面級情感分析這五大關鍵因素，提出了一種新的基于雙層詞性感知和多頭交互注意機制的文本情感分析模型（DPMHA）。本文主要的貢獻如下：

a）針對局部信息中的噪聲詞會限制模型性能的問題，將詞性的信息作為模型的額外輸入，使用淺層詞性感知和深層詞性感知機制，重點關注方面詞局部具有重要情感傾向詞的特征（如形容詞、動詞、副詞、情態動詞等），弱化無情感傾向詞的特征（如連詞、助詞等），從而降低冗余信息對模型預測效果的影響。此外，本文對方面詞和其他名詞加以區分，減少除特定方面詞外的其他名詞的干擾。

b）考慮到全局信息有更多方面詞的描述信息，更加全面。局部信息融入了詞性特征和上下文距離特征，更具有針對性。為了充分挖掘局部特征和全局特征之間共同關注的重要交互特征，本文在兩者之間設計了多頭交互注意機制來提取重要的交互特征。

c）考慮到模型不同組件輸出特征的差異，本文對局部特征、全局特征和交互特征之間采用動態權重的方法進行特征融合，獲取對情感分析更優的特征。

1 相關工作

目前，方面級情感分析領域主要有基于情感詞典的方法^［8］、基于機器學習的方法^［9］和基于深度學習的方法^［10］三種主流技術。基于情感詞典的方法需要將文本與情感詞典進行數據匹配，找到每個詞的情感分值。這種方法雖然簡單，但是過于依賴情感詞典的質量，很難具有普適性。基于機器學習的方法需要人工提取特征，然后使用機器學習的算法訓練模型，如支持向量機（support vector machines，SVM）、樸素貝葉斯（naive Bayes，NB）等方法。這種方法雖然容易實現，但是它不能夠捕捉文本特征和情感極性之間復雜的非線性關系。

基于深度學習模型不僅可以自動提取文本特征，還可以處理復雜的非線性關系，在情感分析領域受到了廣泛的關注。循環神經網絡（recurrent neural networks，RNN）的變體，如長短期記憶網絡（long short-term memory，LSTM）被廣泛應用于方面級情感分析任務。Tang等人^［11］擴展LSTM，提出了目標相關的長短期記憶網絡TD-LSTM和目標連接的長短期記憶網絡TC-LSTM。TD-LSTM分別使用兩個單向LSTM對目標詞的左上下文和右上下文進行建模。TC-LSTM在TD-LSTM的基礎上，在輸入端引入目標詞。然而，這些模型在處理信息的時候有一個顯著的問題，即它們會對無關信息進行了編碼。注意力機制^［12］可以很好地解決這一問題，這種機制能夠聚焦句子的重要部分，非常適合應用在方面級情感分析領域。Gu等人^［13］強調位置信息對方面級情感分析的重要性，提出了用于方面級情感分析的位置感知雙向網絡，在考慮位置信息的同時，使用注意力機制關注方面詞和句子之間的語義關系。但是該模型將句子中的每個詞拼接位置信息后取平均，是一種粗粒度的注意力，因為句子中的不同單詞對方面詞的影響是不同的。Long等人 ^［14］引入聯合句子和方面級情感分析來捕捉兩個任務之間的有效信息，實驗表明BERT模型實現了聯合情感分析的最佳性能。Wu等人^［15］提出了一種新的相對位置編碼層，有效地整合特定方面詞的位置信息，并使用方面注意力機制來充分考慮方面詞和上下文詞之間的語義關系。

另一部分研究人員指出僅使用字、詞級別的特征無法充分捕捉原始文本信息，并提出將詞性信息引入神經網絡模型中，可以有效地幫助模型學習更有利于情緒表達的特征。文獻［16］使用Jieba分詞工具獲取每個單詞的詞性，再將中文文本的字、詞和詞性分別輸入三個雙向LSTM層中，采用相加和點乘的方法融合字的特征和詞的特征，進而提高情感分析的分類效果。文獻［17］將每個詞的詞向量與詞性拼接，組成的word-pos向量和詞向量分別輸入雙通道的卷積神經網絡中，從而達到詞性消歧的作用。

不同于以上提到的模型，本文將BERT預訓練模型與多頭注意力機制相結合，通過使用雙層詞性感知機制降低局部信息中噪聲詞對分類性能的影響，引入多頭交互注意機制充分提取局部特征和全局特征之間的重要交互特征，使用動態權重的方法融合全局特征、局部特征和交互特征，提出了基于雙層詞性感知和多頭交互注意機制的文本情感分析模型DPMHA。

2 DPMHA模型

2.1 任務定義

本文方面級情感分類任務可以視為一個三分類任務。給定一個文本序列Xs={x₁，x₂，x₃，…，xn}，xi表示序列中第i個詞，n表示序列的長度，方面詞Xa={xm，…，xm+j}，其中，1≤m≤m+j≤n，0≤j≤n-m，方面詞可能由一個詞組成，也可能由多個詞組成，且這些方面詞均出現在給定的序列中。本文任務是預測文本序列中每個方面詞的情感標簽yi∈{+1，0，-1}，其中，+1表示積極情感，0表示中性情感，-1表示消極情感。

2.2 DPMHA模型結構

本文DPMHA模型框架主要由嵌入層、淺層詞性感知局部特征提取層、深層詞性感知局部特征提取層、特征學習層、特征融合層和輸出層六個部分組成。具體的模型框架如圖1所示。

2.2.1 嵌入層

1）詞嵌入

NLP任務中常用的分布式詞嵌入方法有CBOW、skip-gram和GloVe等，但是這些方法最大的缺點是它們將一個詞表示成一個向量，無法適用于一詞多義的現象。因此，本文使用BERT預訓練模型對文本中的詞進行建模。BERT預訓練模型是雙向的transformer模型，可以同時使用前后兩個方向的信息，它有足夠的能力挖掘文本中更加豐富的語義信息。Devlin^［18］表示BERT的層數（transformer的塊數）為L，隱藏層的大小為H，自注意力的頭數為A。基于它的大小，BERT模型有兩個變體，即BERT-BASE（L=12，H=768，A=12）和BERT-LARGE（L=24，H=1024，A=16）。本文使用的BERT模型為BERT-BASE。

為了便于BERT模型的訓練和微調，本文將給定的上下文和方面詞分別轉換為“［CLS］+上下文+［SEP］”和“［CLS］+上下文+［SEP］+方面詞+［SEP］”，作為兩個獨立BERT模型的輸入，經過BERT模型輸出的特征分別表示為Xl和Xg，其中，Xl∈?^d₁^×n₁，Xg∈?^d₁^×n₁，d₁表示詞嵌入的維度，n₁表示文本序列的長度。

在BERT嵌入結構中，每一個詞由詞向量（token embedding）、段向量（segment embedding）和位置向量（position embedding）三個嵌入向量組成。三個向量疊加形成了BERT輸入。BERT原理可以通過式（1）來解釋。

其中：e⁰ⁱ、e^li分別表示第i個令牌第0層的向量表示和第l層的向量表示。

2）詞性嵌入

在語言學中，詞性是詞的基本語法屬性，具有一定的語義信息。本文使用自然語言工具包（NLTK）對原始句子中的每個單詞進行詞性標注。采用隨機初始化的方法來初始化詞性向量ep∈?^d₂^×n₂ 。其中，d₂表示詞性嵌入的維度，n₂為詞性的類別數m+1，m為重點關注的詞性類別數。在本文模型中，詞性將被劃分為形容詞、動詞、副詞、情態助詞和其他詞五個不同的種類。表1為詞性標注的一個實例。

2.2.2 淺層詞性感知局部特征提取層

淺層詞性感知局部特征提取層的作用是采用局部聚焦機制，以方面詞為中心，計算出語義相對范圍，采用上下文特征動態加權技術更多地關注相對語義范圍內的局部上下文詞，降低相對語義范圍外的噪聲詞的影響。由于不同詞性的詞對方面詞的情感影響不同，如果在建模的過程中同等對待所有詞性的詞，會引入冗余信息，干擾模型的訓練。因此，本文引入詞性信息來調整方面詞上下文詞的權重，增強重點關注詞性詞的權重，降低非重點關注的詞性詞的權重。本文將單個文本序列分成了方面詞區域A₁、臨近區域A₂和其他區域A₃三個區域，如圖2所示。

根據式（2），當di≤0 時，為方面詞區域；當0lt;dilt;λ時，為臨近區域；當digt;λ時，為其他區域，其中，λ 為臨近區域的長度。

其中：i表示句子中詞的位置；oa表示方面詞的中心位置；la表示方面詞的長度。針對其他區域和臨近區域，di表示左邊的上下文詞距離方面詞最左邊詞的距離以及右邊的上下文詞距離方面詞最右邊詞的距離。

對于方面詞區域A₁，不管什么詞匯，本文認為都很重要，所以權重系數都是1。對于臨近區域A₂的詞和其他區域A₃的詞，隨著di的增大，上下文詞的權重系數是動態衰減的。但A₂和A₃的策略會有所差異，在A₂區域，如果上下文詞的詞性存在P中，P={形容詞，動詞，副詞，情態動詞}則權重系數乘以系數α（αgt;1）進行額外增強。如果上下文詞的詞性不存在P中，則不對其進行額外增強。對于A₃區域的詞，所有的詞都會進行額外衰減，衰減系數β（0lt;βlt;1），以上策略如式（3）所示。

其中：E∈?^d₁^×1是一個維度為d₁的單位列向量；wi∈?^d₁^×1是經過淺層詞性感知層調整后的文本序列權重向量。

其中：W∈?^d₁^×n₁是經過淺層詞性感知層調整后的文本序列權重矩陣；Ll∈?^d₁^×n₁是局部淺層感知層的輸出。

2.2.3 深層詞性感知局部特征提取層

如2.1.1節中2）所述，本文使用隨機初始化的方法初始化詞性向量ep∈?^d₂^×n₂。首先定義一個初始化的詞性向量e₀∈?^1×n₂，對e₀進行嵌入，嵌入的維度為d₂，ep=[p₁，p₂，…，pn₂]∈?^d₂^×n₂，其中p₁是其他類別詞的詞性嵌入向量，剩下的為重要詞性的詞嵌入向量。

式（6）根據詞性嵌入向量，計算第i個詞嵌入向量對應的詞性深層特征，其中：H₁∈?^d₂^×d₂，H₂∈?^d₂^×d₂是模型待訓練的超參數矩陣;v₁∈?^d₂^×1，v₂∈?^d₂^×1是模型待訓練的超參數向量；ip代表的是第i個詞的詞性。式（7）將式（6）計算的權重組成詞性深層特征向量。式（8）將詞性深層特征向量，經過softmax獲得詞性深層權重向量，其中E∈?^d₁^×1是單位列向量，作用是進行嵌入維度上的拓維，獲得深層詞性感知的權重矩陣。式（9）是將詞性深層權重向量作用于每個嵌入詞向量上，獲得該層的輸出，輸出的是經過雙層詞性感知層提取的局部重要特征。

深層局部詞性感知層進一步強化具有重要詞性詞的特征，降低非重要詞性的詞的特征。區別于淺層局部詞性感知層，詞性深層特征向量在訓練過程中是不斷被優化，因此它的優化效果會比淺層詞性感知層更好，在本文的消融實驗中可以體現。

2.2.4 特征學習層

為了進一步提取局部上下文的深層語義特征，并且緩解上下文中遠距離詞的負面影響。本模塊使用多頭自注意力機制從不同的角度提取不同的局部關鍵特征，計算公式為

為了充分挖掘局部特征和全局特征共同關注的重要交互信息，本模塊使用多頭交互注意力機制從不同的角度提取重要交互特征。其中，局部—全局交互特征計算如式（13）～（15）所示。

2.2.5 特征融合層

經過雙層詞性感知提取的局部特征和經過局部—全局交互注意力機制提取的交互特征可以獲得更具針對性的重要詞性的局部關鍵特征。然而，這兩部分的特征會忽視一部分非重要詞性的上下文特征。因此，本文考慮使用BERT提取出的全局特征對其進行補充，來增強特征整體質量，提升分類效果。不同于傳統的對多個特征進行簡單拼接，本文對局部關鍵特征H^（l）MHSA、全局特征H^（g）以及局部—全局的交互特征H^（c）MSA采用動態權重自適應拼接，如式（16）所示。

其中：WL1、WL2、WL3表示模型可學習的超參數；H^（g）=Xg表示BERT提取出的全局特征；ε、η、1-ε-η分別是對H^（l）MHSA、H^g、H^（c）MSA輸出的三個特征分配的動態權重；O是特征融合層的輸出。

2.2.6 輸出層

本文使用線性層對經過融合層的特征進行線性變化，再使用softmax層來預測最終方面詞情感極性的分布概率，如式（17）所示。

其中：Wo表示權重系數矩陣；bo為偏置向量；y^為預測的情感值。

本文模型采用交叉熵為損失函數，并引入L₂正則化項防止模型出現過擬合現象，如式（18）所示。

3 實驗

為了全面評估和分析DPMHA模型的性能，本文將DPMHA模型與七個基線模型進行了性能對比。此外，設計了四個消融實驗來研究DPMHA模型不同組件在提高情感分類準確率和宏觀F₁方面的不同影響，還設計了三個輔助實驗來研究不同參數和詞性組合對于模型性能的影響。最后，本文對一些具體案例進行預測分析。

3.1 實驗環境

實驗環境如表2所示。

3.2 數據集介紹

為了驗證本文模型的有效性，本文使用了三個公開數據集，restaurant14和laptop14數據集來源于SemEval-2014Task4^［19］，restaurant15數據集來源于SemEval-2015Task12^［20］。這些數據集包含餐廳評論數據和筆記本評論數據，且數據集中的每條評論信息都包含一個或多個方面詞，且每個方面詞都有對應的情感極性，即積極、中性和消極。表3列出了這三個數據集的詳細分布情況。

3.3 實驗參數

DPMHA模型部分超參數設置如表4所示。

3.4 評價指標

為了評估DPMHA模型的效率，本文使用了兩個評價指標：a）傳統分類任務評價指標準確率Acc，它表示的是樣本正確分類的百分比，即正確分類的正樣本數和負樣本數之和占總樣本數的比例，如式（19）所示；b）多分類任務中的評價指標MF1，它表示的是模型在不同類別的平均表現情況，如式（20）所示。

其中：TP表示的是正確分類的正樣本數；TN表示的是正確分類的負樣本數；FP表示的是錯誤分類的正樣本數；FN表示的是錯誤分類的負樣本數；N表示的是樣本總個數。

其中：C代表情感類別的總個數；Pi代表每個情感類別對應的準確率，表示的是每個情感類別中預測正確的正樣本數占預測正樣本總數的比例；Ri代表每個情感類別對應的召回率，表示的是每個情感類別中預測正確的正樣本數占實際正樣本數的比例。

3.5 對比實驗

為了驗證DPMHA模型的有效性，本文在實驗中比較了以下七種深度神經網絡模型：

a）RAM^［21］。Chen等人在2017年提出在記憶網絡上添加多個注意力機制來捕捉遠距離的情感特征，用于預測最終的情感極性。

b）MGAN^［22］。Fan等人在2018年提出多粒度注意力網絡，將雙向的粗粒度特征與細粒度特征拼接用于最終的情感極性判斷。

c）BERT-PT^［23］。Xu等人在2019年提出后訓練BERT模型的方法可以增強微調BERT模型的性能，并將后訓練BERT模型應用于方面級情感分析任務中。

d）AEN-BERT^［6］。Song等人在2019年針對RNN很難并行化的問題，設計了一個注意編碼網絡來繪制目標詞與語境詞之間的隱含狀態，并且提出了標簽不可靠性問題，在損失函數中增加了標簽平滑正則化項。

e）BERT-SPC^［6］。Song等人在2019年提出了將情感分析視為句子對的分類任務，輸入的文本序列表示為“［CLS］+上下文詞+［SEP］+方面詞+［SEP］”。

f）LCF-BERT-CDW^［7］。Zeng等人在2019年首次提出了局部上下文動態權重層，強調方面詞附近詞的重要性，使用多頭自注意力機制分別捕獲上下文的局部特征和全局特征。

g）MSAGCN-BERT^［24］。陳佳偉等人在2020年在對句子進行依存句法分析后加上圖卷積神經網絡來獲取詞的依存關系，使用目標嵌入的門控單元來獲取目標的情感信息。

觀察表5實驗結果可以發現，在restaurant14、laptop14、restaurant15數據集上，本文DPMHA模型無論是準確率還是MF1值均優于基線模型。這是由于DPMHA模型充分提取了詞性特征，更有能力提取對情感分析貢獻較大的關鍵特征。所有的基線模型中，TD-LSTM的效果最差，原因是TD-LSTM對方面詞的左右兩邊的上下文分別建模，僅僅簡單地考慮到方面詞信息，未考慮方面詞與上下文詞之間的語義信息。RAM、MGAN整體效果也不太理想，原因是GloVe詞嵌入只把一個詞表示成一個詞向量，沒有辦法區分一個詞在不同語境下的不同含義，從而影響模型的分類效果，這充分說明文本表征方法的重要性。

對比其他BERT模型，本文DPMHA獲得了更好的性能。AEN-BERT和BERT-SPC相比LCF-BERT-CDW 模型，其性能相對較差。原因可能是AEN-BERT對方面詞和上下文詞分別進行詞嵌入，BERT-SPC是將上下文和方面詞表示為句子對的形式，輸入給BERT模型進行情感分類，這兩個模型均未能充分挖掘方面詞附近詞的重要特征，導致模型性能欠佳。BERT-PT在restaurant14數據集上性能優于AEN-BERT，但在laptop14數據集上性能較差，其原因是筆記本數據集中存在較多一個句子中包含多個方面詞的情況，而BERT-PT模型處理一個句子包含兩個方面詞，且方面詞的情感相反時會存在錯誤預測。本文模型在restaurant15數據集上優于LCF-BERT-CDW模型，在restaurant14和laptop14數據集上均優于LCF-BERT-CDW和MSAGCN-BERT模型，其原因主要是LCF-BERT-CDW和MSAGCN-BERT模型均未考慮引入詞性特征來提取局部關鍵特征，也未考慮挖掘局部和全局的交互特征來提升情感分類的準確率。實驗結果進一步證明了本文基于雙層詞性感知和多頭交互注意機制的模型在方面級情感分析任務中能取得更好的效果。

3.6 消融實驗

本文設計了四個消融實驗來驗證DPMHA模型各個組件的重要性，如表6所示。從表6中可以看出，淺層詞性感知和深層詞性感知均對模型的性能有不同程度的影響。顯然，將詞性作為先驗知識融入模型是很有用的。由于淺層詞性感知是淺層融合詞性，深層詞性感知是深度融合詞性，所以深層詞性感知機制對模型的分類性能貢獻更大。 移除多頭交互注意機制，模型的性能會降低，這充分說明了局部信息和全局信息共同關注的重要交互信息對于模型的性能提升是十分重要的。局部信息、全局信息和兩者之間的交互信息三者相互補充，可以提供方面詞更準確和完整的上下文表示。去除動態權重融合后，模型采用的是固定權重融合，實驗結果表明動態權重融合的效果更優，這是由于全局信息、局部信息和兩者之間的交互信息對模型分類性能的作用是不一樣的。采用動態權重融合更能幫助模型獲取對方面詞情感分析更準確的特征。

3.7 參數分析

3.7.1 臨近區域的長度λ

臨近區域的長度λ是影響局部特征提取的重要因素。本文通過實驗討論了臨近區域的長度λ對laptop14、restaurant14和restaurant15數據集的影響。從圖3、4中可以看出，當λ＜4時，laptop14、restaurant14和restaurant15數據集上的準確率和MF1值呈現振蕩上升趨勢，這說明了方面詞附近重要詞性的詞對于情感極性的判斷極為重要。當λ=4時，laptop14、restaurant14和restaurant15數據集上的準確率和MF1值達到最佳。當λgt;4時，laptop14、restaurant14和restaurant15數據集上的準確率和MF1值呈現振蕩下降趨勢，這說明當臨近區域的長度λ超出最優值繼續增大時，會引入額外的噪聲信息，降低模型的性能。因此，本文將臨近區域的長度λ設置為4。

3.7.2 詞性組合對模型性能的影響

為了進一步說明本文選擇的詞性組合的有效性，本文在考慮動詞、形容詞、副詞的情況下，對比了增加情態動詞的效果，模型的輸出結果對比如表7所示。其中，{動詞，形容詞，副詞，其他詞}組合記為DPMHA-I，{動詞，形容詞，副詞，情態動詞，其他詞}組合記為DPMHA-Ⅱ。

從表7中可以得知，DPMHA-I組合在restaurant14的數據集上準確率和MF1值分別達到了85.18%、77.04%，在laptop14數據集上準確率和MF1值分別達到了78.06%、73.71%，在restaurant15數據集上準確率和MF1值分別達到了83.76%、69.33%。而DPMHA-Ⅱ組合在restaurant14數據集上準確率和MF1值分別達到了87.23%、81.49%，在laptop14數據集上準確率和MF1值分別達到了80.72%、77.55%。在restaurant15數據集上準確率和MF1值分別達到了85.06%、72.60%。顯然，DPMHA-Ⅱ組合的效果更優，準確率提升了約1.8%～2.6%，MF1值提升了約3.2%～4.4%。這說明了挖掘情態動詞的語義信息有助于提升方面級情感分析的性能。常見的情態動詞有must、can、might、will等，這類詞通常包含著評價者當時的情緒和語氣。經統計分析，在評論文本中常會出現這類詞，比如：laptop14數據集中情態動詞出現近700次，restaurant14數據集中情態動詞出現超出750次，restaurant 15數據集中情態動詞出現近250次。本文認為將情態情態動詞、動詞、形容詞、副詞與其他類別詞加以區分，可有效降低噪聲詞的干擾，從而提升情感分析模型的性能。

3.7.3 多頭交互注意機制頭的影響

在提取局部特征和全局特征之間的重要交互特征時，多頭交互注意力頭數的選擇對模型的準確率和MF1值至關重要。本文在laptop14、restaurant14和restaurant15數據集上針對交互多頭注意機制的頭數展開了實驗，頭數的取值分別設置為1、2、3、4、5、6、7、8。

從圖5、6中可以看出，當交互注意力的頭數小于4時，DPMHA模型在restaurant 14、laptop14和restaurant15數據集上的性能呈振蕩上升趨勢，這表明多個注意力頭能較好地獲取局部信息和全局信息之間的交互特征，同時，也說明了交互特征可以很好地豐富方面詞的上下文表示。當交互注意力的頭數等于4時，模型在restaurant14、laptop 14和restaurant15數據集上均可以獲得最高的準確率（87.23%，80.72%，85.06%）和最高的MF1值（81.49%，77.55%，72.6%）。當交互注意力頭數大于4時，模型的精確率和MF1值都會降低，這是由于注意力頭數的增加會引入大量參數，導致模型出現過擬合現象，所以本文將交互注意力頭數設置為4。

3.8 案例研究

使用AEN-BERT、BERT-SPC、LCF-BERT-CDW和本文模型DPMHA分別對restaurant14測試集中的五個樣本案例進行預測，預測結果如表8所示。

第1個樣本案例中，方面詞chili signed food items是一個由四個單詞構成的短語，面對此類較長方面詞的情況，本文DPMHA和LCF-BERT-CDW模型作出了正確的預測。這可能是由于本文DPMHA和LCF-BERT-CDW模型使用了局部聚焦機制CDW。局部聚焦機制CDW的原理是以方面詞為中心，采用上下文特征動態加權技術更多地關注方面詞外部臨近區域的局部上下文詞，而不受方面詞內部詞本身的干擾。所以本文DPMHA和LCF-BERT-CDW模型預測方面詞短語時具備更好的性能。

第2、3樣本案例中，對于極性是中性的方面詞，本文模型更具優勢，這可能是由于方面詞臨近區域中沒有包含情感傾向的詞，而整個句子中，名詞的占比非常高。考慮到名詞本身不能表達情感信息，本文模型對名詞進行了權重衰減，因此，本文模型能更好地識別中性方面詞的情感極性。

第4個樣本案例中，包含三個方面詞，四個模型對方面詞waiter都進行了正確的預測。但是，對方面詞manager作出了錯誤的預測，這表明當句子中包含多個方面詞時，模型在預測情感極性方面仍有著提升空間。第5個樣本案例中，發現對于3x這種人為定義的詞匯，四種模型都無法作出正確的預測，說明對于該類詞匯的兼容性，還有待繼續研究。

4 結束語

針對方面級情感分析任務，本文提出了一種新的基于雙層詞性感知和多頭交互注意機制的文本方面級情感分析模型DPMHA。為了降低局部信息中噪聲詞對模型性能的影響，本文使用雙層詞性感知機制將重要詞性信息與上下文信息充分融合，準確地提取局部特征中與方面詞情感強相關的重要詞的特征。為了捕獲更豐富的情感特征，本文使用多頭交互注意機制充分挖掘局部信息和全局信息之間的重要交互特征。為了得到更優的情感特征，本文使用動態權重特征融合方法，選擇性地關注對情感分析更有效的特征。實驗結果表明，與其他的神經網絡模型對比，本文DPMHA模型在方面級情感分析任務中取得了更優的性能。接下來將繼續探索設計輔助任務來提升本文模型的性能。

參考文獻：

［1］張嚴，李天瑞.面向評論的方面級情感分析綜述［J］.計算機科學，2020，47（6）：200-206.（Zhang Yan，Li Tianrui.Review of comment-oriented aspect-based sentiment analysis［J］.Computer Science，2020，47（6）：200-206.）

［2］Bhatia P，Ji Yangfeng，Eisenstein J.Better document-level sentiment analysis from RST discourse parsing［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2015：2212-2218.

［3］Fu Xianghua，Liu Wangwang，Xu Yingying，et al.Long short-term memory network over rhetorical structure theory for sentence-level sentiment analysis［C］//Proc of the 8th Asian Conference on Machine Learning.2016：17-32.

［4］Lyu Yanxia，Wei Fangna，Cao Lihong，et al.Aspect-level sentiment analysis using context and aspect memory network［J］.Neurocomputing，2021，428：195-205.

［5］Li Xin，Bing Lidong，Zhang Wenxuan，et al.Exploiting BERT for end-to-end aspect-based sentiment analysis［C］//Proc of the 5th Workshop on Noisy User-Generated Text.2019：34-41.

［6］Song Youwei，Wang Jiahai，Jiang Tao，et al.Targeted sentiment classification with attentional encoder network［C］//Proc of International Conference on Artificial Neural Networks.Berlin：Springer，2019：93-103.

［7］Zeng Biqing，Heng Yang，Xu Ruyang，et al.LCF：a local context focus mechanism for aspect-based sentiment classification［J］.Applied Sciences，2019，9（16）：3389.

［8］Lipenkova J.A system for fine-grained aspect-based sentiment analysis of Chinese［C］//Proc of ACL-IJCNLP 2015 System Demonstrations.2015：55-60.

［9］Mubarok M S，Adiwijaya K，Aldhi M D.Aspect-based sentiment analysis to review products using Nave Bayes［C］//Proc of International Conference on Mathematics：Pure，Appplied and Computation：Empowering Engineering Using Mathematics.2017：020060.

［10］Zhang Haoliang，Xu Hongbo，Shi Jinqiao，et al.Word level domain-diversity attention based LSTM model for sentiment classification［C］//Proc of the 5th International Conference on Data Science in Cyberspace.Piscataway，NJ：IEEE Press，2020：164-170.

［11］Tang Duyu，Qin Bing，Feng Xiaocheng，et al.Effective LSTMs for target-dependent sentiment classification［C］//Proc of the 26th International Conference on Computational Linguistics：Technical Papers.2016：3298-3307.

［12］Cai Yi，Huang Qingbao，Lin Zejun，et al.Recurrent neural network with pooling operation and attention mechanism for sentiment analysis：a multi-task learning approach［J］.Knowledge-Based Systems，2020，203：105856.

［13］Gu Shuqin，Zhang Lipeng，Hou Yuexian，et al.A position-aware bidirectional attention network for aspect-level sentiment analysis［C］//Proc of the 27th International Conference on Computational Linguistics.2018：774-784.

［14］Long Mai，Bac L.Joint sentence and aspect-level sentiment analysis of product comments［J］.Annals of Operations Research，2021，300（2）：493-513.

［15］Wu Chao，Xiong Qingyu，Gao Min，et al.A relative position attention network for aspect-based sentiment analysis［J］.Knowledge and Information Systems，2021，63（2）：333-347.

［16］趙富，楊洋，蔣瑞，等.融合詞性的雙注意力Bi-LSTM情感分析［J］.計算機應用，2018，38（S2）：103-106，147.（Zhao Fu，Yang Yang，Jiang Rui，et al.Sentiment analysis based on double-attention Bi-LSTM using part-of-speech［J］.Journal of Computer Applications，2018，38（S2）：103-106，147.）

［17］何鴻業，鄭瑾，張祖平.結合詞性特征與卷積神經網絡的文本情感分析［J］.計算機工程，2018，44（11）：209-214，221.（He Hongye，Zhang Jin，Zhang Zuping.Text sentiment analysis combined with part of speech features and convolutional neural network［J］.Computer Engineering，2018，44（11）：209-214，221.）

［18］Devlin J，Chang Mingwei，Lee K，et al.BERT：pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.2019：4171-4186.

［19］Pontiki M，Galanis D，Pavlopoulos J，et al.SemEval-2014 task 4：aspect based sentiment analysis［C］//Proc of the 8th International Workshop on Semantic Evaluation.2014：27-35.

［20］Pontiki M，Galanis D，Papageorgiou H，et al.SemEval-2015 task 12：aspect based sentiment analysis［C］//Proc of the 8th International Workshop on Semantic Evaluation.2015：486-495.

［21］Chen Peng，Sun Zhongqian，Bing Lidong，et al.Recurrent attention network on memory for aspect sentiment analysis［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing.2017：452-461.

［22］Fan Feifan，Feng Yansong，Zhao Dongyan.Multi-grained attention network for aspect-level sentiment classification［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2018：3433-3442.

［23］Xu Hu，Liu Bing，Shu Lei，et al.BERT post-training for review reading comprehension and aspect-based sentiment analysis［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.2019：2324-2335.

［24］陳佳偉，韓芳，王直杰.基于自注意力門控圖卷積網絡的特定目標情感分析［J］.計算機應用，2020，40（8）：2202-2206.（Chen Jiawei，Han Fang，Wang Zhijie.Aspect-based sentiment analysis with self-attention gated graph convolutional network［J］.Journal of Computer Applications，2020，40（8）：2202-2206.）