嵌入不同鄰域表征的方面級情感分析模型

劉 歡，竇全勝，2*

（1.山東工商學院 計算機科學與技術(shù)學院，山東 煙臺 264005；2.山東省高等學校協(xié)同創(chuàng)新中心：未來智能計算，山東 煙臺 264005）

0 引言

隨著科技的發(fā)展，社交網(wǎng)絡(luò)變得日益繁榮，如何從海量文本信息中挖掘用戶所表達的情感，即文本情感分析，引起學者們的廣泛關(guān)注，成為自然語言處理（Natural Language Processing，NLP）領(lǐng)域的研究熱點。情感分析可分為文檔級、語句級和方面級三類：文檔級和語句級情感分析分別將整篇文檔或文檔中的具體句子作為分析對象，常用于產(chǎn)品評價［1］、影評［2］等場景的文本內(nèi)容情感識別；方面級情感分析（Aspect-Based Sentiment Analysis，ABSA）將句子中的單詞或短語（通常稱之為“方面”（Aspect））作為分析對象，判斷其在特定上下文中的情感極性［3］。

本質(zhì)上，三類情感分析屬不同粒度的分類問題，與文檔級和語句級情感分析相比，方面級情感分析的粒度更細，通過語句或文檔中不同方面的情感極性，可以更細膩分析句子或文檔所蘊含的不同情感。方面級情感極性依賴于上下文語境，同一方面在不同上下文語境中的情感極性未必相同。例如，在以下兩個例句：“It is a great size and amazing Windows 8 included！”和“Lastly，Windows 8 is annoying.”中都包含方面“Windows 8”，在第一個例句中，其情感極性是積極的，而在第二個例句中卻是消極的。同時，在同一上下文中，不同方面的情感極性也未必相同。考察以下語句：“The food，though served with bad service，is actually great”，句中方面“food”的情感極性是積極的，而方面“service”則是消極情感。從以上兩個例子可以看出，方面情感極性與方面詞所處的上下文及相應語法結(jié)構(gòu)高度相關(guān)，如何在模型中利用這些信息進行有效表征，對分析結(jié)果有著重要影響。

隨著深度學習的發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的方面級情感分析已經(jīng)成為研究的主流，常用的方法通常以循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［4］、長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)［5］和門控遞歸單元（Gated Recursive Unit，GRU）［6］等為基礎(chǔ)，可以將先前模型處理的信息傳遞到后續(xù)處理中。事實證明，這類模型對于一些簡單的時序任務(wù)是有效的，但很難有效捕捉復雜自然語句內(nèi)在的句法結(jié)構(gòu)和相應的鄰域信息，而這些信息往往是決定方面情感極性的關(guān)鍵。

本文提出一種嵌入不同鄰域表征（Embedding Different Neighborhood Representation，EDNR）的方面級情感分析模型，在BiGRU 編碼基礎(chǔ)上，加入鄰域表征融合層（Neighborhood Representation Fusion Layer，NRF）。通過對方面詞上下文的短距離約束獲得方面詞的鄰域信息，同時構(gòu)造并利用依存句法樹，提取評論語句的句法信息，以縮短方面詞與描述詞之間的距離。融合這兩個模塊得到的鄰域信息以提高情感分析模型的分類性能。在5 個數(shù)據(jù)集上的結(jié)果表明，本文方法的分類性能有明顯提高，其中在14Lap 數(shù)據(jù)集獲得的準確率和F1 值分別為77.08%和73.41%，相較于以往研究中的聚合圖卷積網(wǎng)絡(luò)-最大值函數(shù)（Aggregated Graph Convolutional Network-MAX，AGCN-MAX）模型提高了2.47 和2.83 個百分點。

1 相關(guān)工作

情感分析是NLP 領(lǐng)域的重要研究內(nèi)容，作為情感分析中最具挑戰(zhàn)的問題，方面級情感分析一直廣受關(guān)注。研究初期的代表性工作包括：Han 等［7］提出了一種新的特定領(lǐng)域情感詞典生成方法和一個基于詞典的情感分析框架，該框架使用所提出的特定領(lǐng)域情感詞典生成方法生成特定領(lǐng)域情感詞典。Chen 等［8］在已有情感詞典基礎(chǔ)上，利用主題模型獲取新詞并擴充情感詞典，在情感分析任務(wù)中的幾個測試數(shù)據(jù)集上，使用擴充后情感詞典的分析結(jié)果有了不同程度的性能提升。早期方法多以情感詞典為基礎(chǔ)，通過模式匹配或傳統(tǒng)機器學習方法實現(xiàn)情感分類，但由于自然語言上下文結(jié)構(gòu)復雜，構(gòu)建相對完備的情感詞典并不容易，同時，在某一領(lǐng)域數(shù)據(jù)上構(gòu)建的情感詞典無法適用于其他領(lǐng)域，制約了這些方法在現(xiàn)實中的應用。

近年來，深度學習被廣泛應用在NLP 領(lǐng)域，取得了令人矚目的效果。方面級情感分析的深度模型通常以LSTM 網(wǎng)絡(luò)為基礎(chǔ)，代表性工作如下。

1.1 基于LSTM的方面情感分析模型

Tang 等［9］將給定的目標方面視為特征，提出基于目標依賴的長短期記憶（Target-Dependent LSTM，TD-LSTM）神經(jīng)網(wǎng)絡(luò)和基于目標關(guān)聯(lián)的長短期記憶（Target-Connection LSTM，TC-LSTM）神經(jīng)網(wǎng)絡(luò)，該方法將目標方面與上下文特征連接起來進行方面級情感分析，獲得了比LSTM 更好的實驗結(jié)果。Ruder 等［10］提出了一種層次雙向LSTM（Hierarchical Bidirectional LSTM，H-LSTM）分析模型，單詞嵌入被輸入到句子級雙向LSTM 中，前向和后向LSTM 的最終狀態(tài)與方面嵌入連接在一起。在每一個時間步，LSTM 正向和反向的輸出被串聯(lián)并饋送到最后一層，該層輸出情緒的概率分布。

從結(jié)果上可知，這類模型可以對含有序列信息的句子進行有效表達，但句子不是簡單序列，影響方面情感極性的關(guān)鍵點并不一定是離方面詞較近的上下文特征。

1.2 基于注意力機制的方面情感分析模型

在最近研究中，注意力機制也常被用于情感分析任務(wù)中以改善基于LSTM 模型的不足，將注意力集中在句子的關(guān)鍵部分可在一定程度上增強句子表達能力。Ma 等［11］提出了一種交互式注意力網(wǎng)絡(luò)（Interactive Attention Network，IAN），使用兩個注意力網(wǎng)絡(luò)以獲得正確判斷方面級情感極性的重要特征。Tang 等［12］提出了深度記憶網(wǎng)絡(luò)模型，該模型包括具有共享參數(shù)的多個計算層，每個層是基于上下文和位置的注意力機制模塊，在推斷某個方面的情感極性時，捕捉并利用該方面上下文信息，進而提高情感極性決策的準確性。李苑等［13］提出基于注意力的卷積-遞歸神經(jīng)網(wǎng)絡(luò)模型，以解決詞語在不同上下文中的差異問題。

基于注意力機制的方面情感模型可以關(guān)注給定目標的特征信息，針對不同目標可以有效調(diào)整神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)。然而由于高度關(guān)注給定目標自身信息，這類模型通常無法對長度較短的自然語句進行有效判別。

1.3 基于卷積神經(jīng)網(wǎng)絡(luò)的方面情感分析模型

針對上述注意力模型的不足，Xue 等［14］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和門控機制的網(wǎng)絡(luò)模型，其門控Tanh-ReLU 單元（Gated Tanh-ReLU Unit，GTRU）可以根據(jù)給定方面或?qū)嶓w選擇性地輸出情感特征，該架構(gòu)比現(xiàn)有模型中使用的注意力層簡單。劉全等［15］提出一個深度分層網(wǎng)絡(luò)模型，通過區(qū)域CNN 獲得句子的時序關(guān)系，運用分層LSTM 獲取句子內(nèi)部之間的關(guān)系，以提高模型分類結(jié)果。趙亞歐等［16］提出了一種融合詞嵌入和多尺度CNN 的情感分析模型，采用預訓練的字符向量初始化ELMo（Embeddings from Language Models）嵌入層，并利用多尺度卷積神經(jīng)網(wǎng)絡(luò)對特征進行深層提取。

對于長度較短的語句，這類基于CNN 的方面情感分析模型可有效提取局部特征，并運用多種方法將方面信息嵌入到句子表示中，但是卻容易忽略句子的句法結(jié)構(gòu)，即當方面詞與其情感描述詞相距較遠時，很難確定其情感極性。

1.4 基于其他方法的方面情感分析模型

針對上述問題，現(xiàn)有的其他情感分析模型引入了語句的語法信息或其他輔助信息。主要工作有：Sun 等［17］為判斷方面詞的情感極性，構(gòu)造針對方面詞的輔助句，將方面級情感分析任務(wù)轉(zhuǎn)換為句子對分類任務(wù)，利用BERT（Bidirectional Encoder Representations from Transformers）模型并進行微調(diào)，在數(shù)據(jù)集SentiHood 和SemEval2014 Task 4 上取得較好的結(jié)果。針對現(xiàn)有方法難以有效捕捉長距離的依賴性，Zhao等［18］提出聚合圖卷積網(wǎng)絡(luò)（Aggregated Graph Convolutional Network，AGCN）以增強目標節(jié)點的表示能力。AGCN 引入了均值聚合函數(shù)和最大聚合函數(shù)來更新節(jié)點的特征表示，并采用注意力機制來獲得不同節(jié)點的依賴信息。在中文和英文數(shù)據(jù)集上的實驗結(jié)果表明，AGCN 的分類結(jié)果優(yōu)于其他基于GCN 的模型。

受上文啟發(fā)，本文提出嵌入不同鄰域表征（EDNR）的方面級情感分析模型：結(jié)合將近鄰策略和CNN 捕捉方面鄰域信息，并引入語法信息，通過圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network，GCN）獲取句法鄰域信息。將這兩種鄰域信息融合后，運用屏蔽機制，與隱層輸出向量做注意力機制，即可預測方面情感極性。

2 EDNR模型

不妨用S=s1s2…sn表示由n個單詞構(gòu)成的任意自然語句，其中si(i=1，2，…，n) 為S中的第i個單詞，且句子中一段連續(xù)且具有單一具體語義的單詞子串A=sk…sk+m(m≥0)被稱為方面（Aspect）。S的低維嵌入記，其中dim是詞向量的嵌入維度。

利用自然語言處理庫spaCy 容易獲得S的語法分析樹TreeS，例如句子“The food，though served with bad service，is actually great.”的語法樹如圖1 所示。

圖1 依存關(guān)系示例Fig.1 Example of dependency

在TreeS中，稱與單詞si對應節(jié)點相連接邊的個數(shù)di為節(jié)點si的度，由TreeS容易獲得語句S的語法鄰接矩陣WS=中任意元素由下式定義：

顯然WS與S語法結(jié)構(gòu)有關(guān)，它反映的是S中任意兩個單詞si與sj在語法層面上的聯(lián)系，與單詞在句中的位置無直接關(guān)系。

WS為語句S的語法鄰接矩陣，稱κS為S的信息評估系數(shù)。由式（2）可知，κS系數(shù)可用來評估語句中上下文信息或語法依賴信息對方面情感極性的影響。

上述所得語句S的低維嵌入E和關(guān)系矩陣WS作為EDNR 的輸入，利用BiGRU 獲得語句的序列化信息表示，通過融合方面局部信息和語法結(jié)構(gòu)上的信息特征，獲取方面詞在不同層面的鄰域信息，最終可獲得S中某一具體方面A的情感極性分布概率。EDNR 模型整體架構(gòu)如圖2 所示，由信息表示層、鄰域表征融合層、特征提取層和決策輸出層構(gòu)成。以下就EDNR 模型每個層次結(jié)構(gòu)細節(jié)及信息處理過程進行描述。

2.1 信息表示層

EDNR 模型的信息表示層采用雙向門控循環(huán)單元（Bidirectional Gated Recurrent Unit，BiGRU）將低維詞嵌入向量[e1，e2，…，en]進行序列化表示，并將得到的特征向量H傳遞給鄰域表征融合層進行下一步處理。

2.2 鄰域表征融合層

在方面情感分析任務(wù)中，僅依靠上下文信息不能滿足分析的需要，自然語句通常具有更加復雜結(jié)構(gòu)，判斷方面情感極性的關(guān)鍵點是捕捉語句中描述方面的單詞特征，本文的EDNR 模型不僅考慮方面鄰域的特征信息，同時融合句子在語法結(jié)構(gòu)中相鄰節(jié)點的鄰域特征，獲取了方面詞在物理層面和語法結(jié)構(gòu)上的鄰域依賴信息，提高了文本的特征表達能力。鄰域表征融合層包括方面鄰域表征模塊和語法鄰域表征模塊，處理過程如下：

2.2.1 方面鄰域表征模塊

方面鄰域表征（Aspect Neighborhood Representation，ANR）模塊是利用CNN 提取句子更深層的局部特征信息，將信息表示層的輸出特征H輸入到CNN 之前，先對其使用近鄰策略（Nearest Neighbor Strategy，NeNS），以捕捉方面鄰域信息，使得離方面詞較近的關(guān)鍵信息可獲得較大的權(quán)重，具體實施細則如下所示。

設(shè)語句S=其 中A=sk…sk+m為方面，則S中任意非方面詞si(i?[k，k+m])對A的影響權(quán)值ui可通過式（4）計算：

通過近鄰策略可得到方面詞與其他詞位置關(guān)系的權(quán)重大小，且將其與表示層特征信息進行融合，即如下所示：

其中：hi為BiGRU 模型編碼后的輸出表示；符號*表示乘積運算；vi是使用近鄰策略后的特征向量表示。

在使用近鄰策略得到方面詞與上下文單詞的相對位置編碼后，利用CNN 進一步抽取得到的特征信息，計算公式如式（6）所示：

該模塊不僅使用近鄰策略獲取方面詞與上下文之間的位置關(guān)系，且利用CNN 模型提取更深層的特征信息，以提高方面情感極性的分類結(jié)果。

2.2.2 語法鄰域表征模塊

若僅依賴方面鄰域信息并不能解決語句中方面詞與其描述詞相距較遠的情況，因而語法鄰域表征（Syntax Neighborhood Representation，SNR）模塊利用依存句法樹為語句生成相應鄰接矩陣WS，可有效縮短方面詞和其描述詞之間的距離，且使用l層GCN 對文本數(shù)據(jù)進行表示。

GCN 將BiGRU 輸出H和S的鄰接矩陣WS作為網(wǎng)絡(luò)輸入，在第l=0 層時，圖卷積網(wǎng)絡(luò)輸入的節(jié)點信息為=hj，則第l+1 層的第i個神經(jīng)元的輸出由式（7）確定：

其中：Wl是參數(shù)矩陣是第l層第j個神經(jīng)元的輸出表示；bl是偏置項；φ(·)是一個非線性激活函數(shù)；GCN 最終輸出G=

語法鄰域表征模塊是通過依存句法樹獲取評論語句的語法信息，且將生成的鄰接矩陣作為GCN 的輸入，并捕捉單詞在語法結(jié)構(gòu)上的鄰域信息。

將兩個模塊的輸出表示進行點積操作，點積可用于測量方面A和句子中其他單詞si的語義相關(guān)性，如式（8）所示：

由式（8）得兩個模塊融合后的特征向量為λ=[λ1；λ2；…；λn]，λ融合句子中給定方面詞的鄰域信息和單詞的語法結(jié)構(gòu)信息。

令1A為與方面詞A相關(guān)的位置標記向量，且滿足如下定義：

為了減少非方面詞對情感分析任務(wù)的影響，在得到λ之后，加入Mask 機制，以屏蔽掉非方面詞的隱藏狀態(tài)向量，如式（10）所示：

鄰域表征融合層融合ANR 模塊和SNR 模塊捕捉的文本信息，并使用一個位置標記向量，避免非方面詞的相關(guān)信息影響方面情感極性的判斷。

2.3 特征提取層

特征提取層使用注意力機制，并為句子中每個單詞設(shè)置相應的注意力權(quán)重使所產(chǎn)生的向量γt從隱藏狀態(tài)向量H中提取與方面詞A語義相關(guān)的重要信息，如式（11）是每個單詞注意力權(quán)重的計算公式。

其中τt是計算后每個單詞的注意力權(quán)重，最終的向量表示如式（12）所示。

由式（12）可知，ht是信息表示層的編碼輸出，f是EDNR模型中特征提取層的最終表示。

2.4 決策輸出層

決策輸出層將最終文本表示f輸入到Softmax 函數(shù)進行分類，如式（13）所示，即可得到評論語句中所對應目標方面情感極性的輸出。

本文的損失函數(shù)由訓練時預測和真實標簽分布的交叉熵定義，如式（14）所示。

其中：N為數(shù)據(jù)集樣本量；C為標簽數(shù)量；yiμ是真實標簽；為情感極性預測的結(jié)果。

上述是對EDNR 模型的整體結(jié)構(gòu)描述，其中鄰域表征融合層提取文本中給定方面詞的不同鄰域信息，旨在提高方面級情感分析模型的分類結(jié)果。下面在5 個數(shù)據(jù)集上進行實驗，以驗證EDNR 模型的有效性。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集

將EDNR 模型在5 個公共數(shù)據(jù)集上進行實驗，其中14Lap 和14Rest 來自SemEval 2014 task 4［19］，15Rest 和16Rest分別來自SemEval 2015 task 12［20］和SemEval 2016 task 5［21］，第5 個是Twitter 數(shù)據(jù)集［22］。5 個數(shù)據(jù)集的統(tǒng)計情況如表1 所示。這些數(shù)據(jù)集主要用于細粒度情感分析，大體可分為三個領(lǐng)域的用戶評論數(shù)據(jù)，其中每一條評論數(shù)據(jù)包括評論語句、目標方面項和其目標方面對應的情感極性。情感極性主要分為積極的（Positive）、消積的（Negative）和中立的（Neutral），可在數(shù)據(jù)樣本中用1、-1 和0 進行表示。

表1 數(shù)據(jù)集按類別標簽分類的分布情況Tab.1 Distribution of datasets classified by class labels

3.2 參數(shù)設(shè)置和評價指標

文中使用300d GloVe［23］預訓練模型初始化單詞嵌入，實驗參數(shù)設(shè)置如表2 所示。由表2 可知，隱藏狀態(tài)向量的維數(shù)設(shè)置為300，批量大小設(shè)置為32；本文采用Adam 對模型進行優(yōu)化，學習率設(shè)置為0.001；Dropout 層丟失率設(shè)置為0.6；將迭代次數(shù)設(shè)置為50，并在隨機初始化的情況下進行5 次相同的實驗，根據(jù)實驗結(jié)果計算測試集上所有指標的平均最大值。

表2 參數(shù)設(shè)置Tab.2 Parameter setting

本文選取正確率（Accuracy，Acc）和F1 值（F1）作為評價指標，正確率是指預測正確的樣本數(shù)與總樣本數(shù)的比值，F(xiàn)1值可以對模型進行綜合衡量。具體計算如下所示：

其中：Ttrue指預測正確的樣本數(shù)，Ssum指總的樣本數(shù)；pre表示精度，即預測為正例的樣本中實際也是正例的比例；rec表示召回率，即預測的樣本中有多少個正例被預測為是正例的比例。

為研究GCN 層數(shù)對情感分析任務(wù)的影響，在Twitter 和14Lap 數(shù)據(jù)集上根據(jù)正確率和F1 值確定GCN 在EDNR 模型的合理層數(shù)，實驗結(jié)果如圖3 所示。

從圖3 可知，實驗設(shè)置GCN 層數(shù)范圍從1 到10，當l為3時，這兩個數(shù)據(jù)集在指標正確率和F1 值上均達到最大值，即EDNR 模型獲得最佳性能。當l較小時，這兩個指標都呈現(xiàn)緩慢增長的趨勢，但模型可能無法獲得更加全面的語句信息；當l＞3 時，這兩個指標都呈現(xiàn)出下降趨勢，主要原因可能是由于模型層數(shù)增多、參數(shù)量增大而變得難以訓練或出現(xiàn)過擬合現(xiàn)象。

圖3 GCN層數(shù)對EDNR模型的影響Fig.3 Influence of GCN layers on EDNR model

3.3 實驗結(jié)果及分析

3.3.1 消融實驗及分析

為了驗證EDNR 模型中每個組成部分對情感分析任務(wù)的有效性，在5 個數(shù)據(jù)集上進行相應的消融實驗，實驗結(jié)果如表3 所示。其中：“BA”表示本文模型去掉NRF 層的基線模型；“+SNR”表示基于BA 模型添加SNR 模塊；“+ANR”代表基于BA 模型添加ANR 模塊。

表3 消融模型在5個數(shù)據(jù)集上的實驗結(jié)果對比 單位：%Tab.3 Comparison of experimental results of ablation models on five datasets unit：%

由表3 可知，相較于其他3 個模型，EDNR 模型的正確率和F1 值有明顯提高。在數(shù)據(jù)集14Lap 上，添加SNR 模塊后的模型正確率提升了4.78 個百分點，F(xiàn)1 值提升了5.87 個百分點，表明SNR 模塊將語句的語法信息與GCN 結(jié)合，可以捕捉單詞在特定語境中的依存關(guān)系，以獲得更好的句子表示。添加ANR 模塊后，在數(shù)據(jù)集14Rest、15Rest、14Lap 和Twitter上，該模型的正確率和F1 值都有所提高，而在數(shù)據(jù)集16Rest上有所下降，這表明模塊ANR 對于數(shù)據(jù)集中包含較多的目標方面詞與情感描述詞相近的句子，可以充分捕捉方面詞鄰近語境的特征信息，且近鄰策略對判斷目標方面的情感極性也產(chǎn)生一定的重要影響，而對于數(shù)據(jù)集16Rest 中的語句可能對方面詞的鄰域特征信息不夠敏感，導致正確率和F1 值有所下降。EDNR 模型將模塊SNR 和模塊ANR 的表征信息進行融合，以有效提取方面和語句在句法結(jié)構(gòu)中的鄰域信息，提升文本表達能力，提高方面級情感分析模型的分類結(jié)果。

3.3.2 對比實驗及分析

在5 個不同數(shù)據(jù)集上進行情感分析任務(wù)的實驗中，將以下所列基線模型與本文的EDNR 模型進行對比實驗，以正確率與F1 值作為評價指標，實驗結(jié)果如表4 所示。

表4 不同模型在5個數(shù)據(jù)集上的實驗結(jié)果對比 單位：%Tab.4 Comparison of experimental results of different models on five datasets unit：%

1）TD-LSTM［9］：在細粒度情感分析任務(wù)中，將單詞按語序輸入到模型中，利用兩個LSTM 分別對方面的左側(cè)和右側(cè)上下文進行建模，以預測給定方面的情感極性。

2）TNet-LF（Transformation Networks-Lossless Forwarding）［24］：利用雙向LSTM 模型進行上下文的表示，并實現(xiàn)一種上下文保存變換（Context-Preserving Transformation，CPT）機制來獲得特定方面的單詞表示，以保存和加強語境信息，并使用CNN獲得句子表示。

3）IAN［11］：將詞嵌入作為輸入，利用兩個LSTM 網(wǎng)絡(luò)對目標方面和句子上下文進行特征表示，然后分別使用目標方面對上下文和上下文對目標方面的注意力機制，捕獲重要特征信息，最終通過Softmax 函數(shù)預測情感極性。

4）MemNet［12］：引入深度記憶網(wǎng)絡(luò)來實現(xiàn)注意力機制，以學習上下文單詞與方面詞的相關(guān)性，并根據(jù)最后的輸出表示預測情感傾向。

5）BERT-pair-QA-M［17］：將方面級情感分析轉(zhuǎn)換為句子對分類任務(wù)，并對預訓練模型BERT 進行微調(diào)，提高模型的分類結(jié)果。

6）AGCN［18］：引入兩個聚合函數(shù)來表示節(jié)點的鄰域信息，并使用注意力機制捕獲節(jié)點之間的依賴關(guān)系。其中，兩種聚合函數(shù)分別為均值（MEAN）聚合函數(shù)和最大（MAX）聚合函數(shù)。

實驗分析如下：

1）與性能較優(yōu)的模型TNet-LF 相比，在數(shù)據(jù)集14Lap 上，EDNR 模型的正確率提升了2.47 個百分點，F(xiàn)1 值提升了3.27 個百分點，表明EDNR 模型中將不同鄰域信息融合后對情感分析任務(wù)的有效性。

TD-LSTM 模型可以提取與語序高度相關(guān)的上下文信息，但在方面級情感分析任務(wù)中缺乏判斷方面情感極性的關(guān)鍵內(nèi)容信息。TNet-LF 模型在可以獲得雙向語序信息的BiLSTM 基礎(chǔ)上，加入了給定方面的特征表示，并使用CNN 提取方面的顯著特征，但未能考慮到語法信息對于判斷方面級情感極性的影響。EDNR 模型提出的鄰域表征融合層可有效解決上述問題，而且從實驗數(shù)據(jù)中可知，本文的EDNR 模型在5 個公共數(shù)據(jù)集上的正確率和F1 值都取得了比上述兩個模型更好的結(jié)果。

2）在5 個公共數(shù)據(jù)集上，EDNR 比MemNet 模型和IAN 模型在正確率上高了2.01～6.44 個百分點，在F1 值上提高了1.99～16.62 個百分點，而模型MemNet 和IAN 的正確率和F1值不相上下。

MemNet 模型將目標方面與它的上下文的單詞嵌入做注意力機制，關(guān)注方面詞在單詞嵌入向量中的重要特征。IAN模型通過LSTM 分別用來獲取目標方面和上下文的注意力權(quán)重，以獲得一個交互注意網(wǎng)絡(luò)，提高模型分類結(jié)果。這類模型特別關(guān)注方面詞的上下文信息，能在一定程度上取得較好效果，但無法應對目標方面和描述詞較遠的句子或者語句較短的情況。本文的EDNR 模型將不同層面的鄰域信息進行融合，并與隱層向量做注意力機制來進行情感分類，表明了不同鄰域信息對方面級情感分析任務(wù)的有效性。

3）由表4 可知，與模型BERT-pair-QA-M、AGCN-MEAN 和AGCN-MAX 相 比，EDNR 模型在數(shù)據(jù)集14Rest、16Rest 和Twitter 上獲得了最優(yōu)的結(jié)果，相較于次優(yōu)結(jié)果正確率提高了0.29～0.65 個百分點，F(xiàn)1 值提高了0.32～1.4 個百分點。BERT-pair-QA-M 模型在數(shù)據(jù)集15Rest 和14Lap 相較于次優(yōu)結(jié)果正確率提升了1.13～1.27 個百分點，F(xiàn)1 值提升了0.15～2.41 個百分點，驗證了BERT-pair-QA-M 模型和本文EDNR模型在方面級情感分析任務(wù)中的有效性。BERT-pair-QA-M構(gòu)造了一個輔助句，并微調(diào)BERT 模型來提取語句的深層特征信息，但由表5 可知，相較于其他模型，該模型擁有最高的參數(shù)量，這會導致預訓練模型需要更高的硬件設(shè)備和內(nèi)存，也會在訓練中花費較長時間，而本文EDNR 模型參數(shù)量少，且在方面級情感分析任務(wù)中取得了較好的結(jié)果。在數(shù)據(jù)集Twitter 上，AGCN-MEAN 模型的F1 值獲得了次優(yōu)結(jié)果。模型AGCN-MAX 在數(shù)據(jù)集15Rest 的正確率獲得次優(yōu)結(jié)果。在數(shù)據(jù) 集14Rest、14Lap 和16Rest 上，模型EDNR 相較于模 型AGCN-MEAN 和模型AGCN-MAX 取得了較優(yōu)的實驗結(jié)果。總的來說，模型EDNR 與模型AGCN-MEAN 和AGCN-MAX 的整體性能相當。

表5 不同模型在數(shù)據(jù)集15Rest上的參數(shù)量大小對比Tab.5 Comparison of parameter sizes of different models on dataset 15Rest

3.3.3κS系數(shù)對模型的特征評價

為了研究上述信息評估系數(shù)（κS）對EDNR 模型和去掉GCN 后模型正確率的影響。15Rest 的測試集中，本文根據(jù)每個樣本的鄰接矩陣計算出κS系數(shù)，并設(shè)置8 個區(qū)間，求得每個區(qū)間的中位數(shù)，使其為橫坐標刻度，且為每個區(qū)間隨機挑選10 個樣本，計算樣本正確率的平均值，實驗結(jié)果如圖4所示。

圖4 中，隨κS系數(shù)增長，折線圖為樣本在EDNR 模型和去掉GCN 后模型上的正確率變化情況，柱狀圖則是兩條折線的數(shù)值差距。由圖4 可知：當κS系數(shù)比較小時，刪除GCN后的模型正確率較低，與EDNR 模型的正確率數(shù)值差距較大；而當κS系數(shù)較大時，兩個模型的正確率數(shù)值幾乎相近。由此可得，κS系數(shù)較小時，評論語句的語法信息對于判斷情感極性的正確與否影響較大；而當κS系數(shù)較大時，情感極性的判斷更多依賴于語句的上下文信息。

圖4 κS系數(shù)對不同模型的影響Fig.4 Influence of κS coefficient on different models

4 結(jié)語

在情感分析任務(wù)中，某些評價語句的描述詞與方面詞的距離不定，導致判斷情感極性時，可能會將方面與不相關(guān)的特征信息關(guān)聯(lián)起來，難以捕獲有效信息。針對上述問題，本文提出了一種嵌入不同鄰域表征的方面級情感分析模型。模型中利用鄰域表征融合層來獲取方面和句法鄰域信息，并通過注意力機制捕捉文本數(shù)據(jù)的關(guān)鍵信息，提高了方面級情感分析模型性能。實驗結(jié)果表明，EDNR 模型在5 個數(shù)據(jù)集上確實能夠提高情感分析任務(wù)的性能。在今后的工作中，可將特定領(lǐng)域的相關(guān)信息作為外部知識嵌入到本文方法中，進一步提高模型的分類性能。