基于關系特征交互的方面級情感分類方法

趙 振，朱振方*，王文玲

(1.山東交通學院 信息科學與電氣工程學院，山東 濟南 250357；2.魯東大學 文學院，山東 煙臺 264025)

0 引 言

隨著互聯網的迅速發(fā)展，越來越多的用戶熱衷于在網絡上發(fā)表評論，產生了大量帶有情感傾向的評論文本，挖掘并分析這些文本所對應的情感極性，可以幫助政府、商家等做出正確的決策。若要逐個分析文本中多個評價對象的情感傾向，則需要用到基于方面的情感分析(Aspect-Based Sentiment Analysis，ABSA)[1]技術。

基于方面的情感分析主要涉及兩個任務，即確定句子的所有方面和計算特定方面的情感極性(如正面、負面、中性)。對于第二個任務，即基于方面的情感分類，常用的方法是通過縮短方面詞與觀點詞之間的單詞距離，從而更有效地將觀點詞傳播到方面詞。

在ABSA領域，情感文本的組成元素包括評論者、評論主體、體現評論者情感的情感詞等，各個組成元素之間存在著各種依存關系，如主謂關系、動賓關系等，利用這些聯系，能夠更直接地通過句法結構的規(guī)則約束篩選出文本中的觀點詞和方面詞，豐富文本的特征表示，進一步提高情感分類的準確率。

句法依存分析是自然語言處理中的關鍵技術之一，其中“句法”指句子的結構方式，它以詞作為基本單位；“依存”指詞與詞之間支配與被支配的關系，這種關系具有方向。應用該技術可生成具有單詞節(jié)點和節(jié)點關系的句法依存樹，它在形式上可看作是一種圖結構，并具有以下特點：(1)縮短了句子各個方面與目標方面之間的距離；(2)可以捕捉每個單詞之間的句法關系；(3)為依存關系樹中的信息傳播提供句法識別路徑。這種結構有助于使目標方面更接近其相關上下文，從而促進特征表示，對方面情感分類具有一定的輔助作用。

在最近的ABSA任務中，諸多學者對句法依存樹進行了研究，取得了優(yōu)越的成果。他們的方法是將依存樹視為鄰接矩陣，使用圖卷積網絡(Graph Convolutional Network，GCN)[2]或圖注意力網絡(Graph Attention neTwork，GAT)[3]根據這些矩陣對輸入句子進行編碼。例如，Sun等[4]提出了用于編碼句法依存特征的圖卷積網絡，以建立目標和上下文之間的信息交換；Bai等[5]研究了一種集成類型化句法依存信息的關系圖注意力網絡，從而可以有效地對句法特征進行編碼，實驗結果表明了該方法的有效性。然而，之前的研究對單詞間的依存關系利用并不充分，忽略了單詞之間的依存關系類型信息，從而導致模型可能出現丟失重要情感信息的問題。

為了解決上述問題，該文提出一種關系交互圖注意力網絡(Relational Interaction Graph Attention Network，RIGAT)模型，該模型將關系特征融入到注意力機制中，使用一個新的擴展注意力來引導信息從目標方面的句法上下文傳播到目標方面本身。首先，模型采用圖注意力網絡來學習依存樹中單詞節(jié)點的向量表示，并捕獲其局部位置；其次，使用關系感知網絡對依存樹中每個單詞節(jié)點之間的依賴關系進行特征表示，使模型更多地關注方面詞；最后，將圖注意力網絡與關系感知網絡的最終表示進行融合，然后通過分類函數計算并輸出對應方面的情感極性。實驗結果表明，該模型在基于方面的情感分類任務上取得了較高的準確率，進一步驗證了模型的有效性。

1 相關工作

近年來，隨著深度學習技術的發(fā)展，注意力機制逐漸開始應用于方面級情感分析任務。例如，馬遠等[6]提出一種融合左右雙邊注意力機制的文本情感分析模型，通過內部注意力機制來處理方面詞，并根據方面詞和上下文詞設計了雙邊交互注意力機制，最后將上述注意力的處理結果進行級聯并分類；程艷等[7]提出一種基于注意力機制的多通道CNN和BiGRU的神經網絡模型，該模型通過注意力機制對情感極性分類重要的詞語進行關注，并使用CNN與BiGRU分別提取文本的局部特征和上下文語義特征，獲得了較好的效果；馮超等[8]提出使用層次注意力機制和門機制處理方面級情感分類任務，層次注意力機制負責更新方面詞與上下文詞的表示，門機制選擇出對于方面詞有用的上下文信息，實驗結果進一步證明了該方法的有效性。

然而，基于注意力機制的情感分類方法并未考慮到文本的句法依存信息，忽略了文本句法結構對情感分類的重要性。已有學者對注意力機制與句法依存信息做了進一步研究，例如，Lu等[9]提出了一個交互式規(guī)則注意力網絡，通過模擬句子的句法功能，并使用注意力網絡從上下文中學習注意力信息，來考慮句法規(guī)則對情感的影響；張文軒等[10]提出一種將注意力機制與句法知識相結合的新方法，他利用依存句法關系和位置關系為每個句子建立面向方面的依存樹，然后利用其對注意力權重進行監(jiān)督，從而在利用語義和句法信息的同時減輕對依存樹的依賴程度；Ke等[11]提出了一種新的基于句法依賴的注意力網絡，該模型首先對每個單詞和方面之間的依賴路徑進行建模，隨后將生成的句法表示輸入注意力層，以進一步推斷情感預測的依賴權重。

最近的研究利用圖神經網絡對句法結構進行編碼，它解決了CNN和RNN無法處理非結構化數據的問題，同時對節(jié)點信息與結構信息進行端到端學習，從而有效地提取空間特征，增強方面情感分類的性能。例如，Zhang等[12]提出了一個特定于方面的圖卷積網絡，它將句法信息和長距離單詞依賴性納入分類模型，解決了由于缺乏相關句法約束和長距離詞依賴而導致的模型對觀點詞判斷錯誤問題；Wang等[13]提出了一個關系圖注意力網絡來編碼依存樹結構，他們以目標方面為根，重塑和修剪依存樹來定義一個面向方面的依存樹結構；Li等[14]提出了一種雙圖卷積網絡模型，該模型同時考慮了句法結構和語義的互補性，進一步解決了由于依賴解析結果的不準確性以及文本的非正式表達所帶來的問題；王光等[15]提出一種句法信息感知的方面級情感分類模型，該方法使用注意力機制，結合記憶文本語義、詞性、方面與位置信息的記憶網絡，以及基于依存句法分析樹的圖卷積神經網絡，從而更準確地建立了方面詞與觀點詞之間的聯系；夏鴻斌等[16]提出了一種結合圖卷積網絡和注意-過度注意網絡的方面級情感分類模型，他們通過在每個句子的依賴樹上建立相應的圖卷積網絡，并利用注意力機制捕獲方面詞與上下文之間的交互和表示，實驗結果證明了其優(yōu)越性。

受以上方法啟發(fā)，該文使用雙向門控循環(huán)單元、圖注意力網絡和注意力機制來完成方面級文本情感分類任務，將文本的句法依存關系融合到上下文的語義信息中，再通過注意力機制學習方面詞及其上下文之間的交互信息，從而進一步提高情感分類任務的性能。

2 關系交互圖注意力網絡

對于該文所提模型，每個訓練實例由三個組件組成：目標方面、句子和句子的依賴樹。形式上，可將這些組件表示為三元組：(a,s,d)，其中a={wi,wi+1,…,wi+m-1}表示方面詞序列，s={w1,w2,…,wi,…,wi+m,…,wn}表示句子序列，a和s的長度分別是m和n，d={V,A,R}表示句子s上的一個依存樹，V包含所有的單詞節(jié)點，A表示一個鄰接矩陣，其中Aij=1表示詞wi和wj之間存在依賴關系，否則Aij=0，R表示一個標簽矩陣，它記錄A中相對應的關系。方面情感分類的目標是通過給定的句子s和方面詞a，預測情感極性y={-1,0,1}，其中-1、0、1分別表示消極、中性、積極。

RIGAT模型的整體結構如圖1所示，主要由三部分組成：

圖1 模型框架

(1)雙向門控循環(huán)單元：它將句子上下文編碼進行特征學習。

(2)圖注意力層與關系感知層：前者側重于將句法信息與上下文信息進行建模，生成上下文感知的單詞嵌入；后者側重于捕獲詞與詞之間的依存關系，生成關系感知的單詞嵌入。

(3)特征融合與分類：它用于動態(tài)組合上下文和句法表示，并使用簡單的池化函數進行特征融合。

2.1 雙向門控循環(huán)單元

該文使用雙向門控循環(huán)單元對上下文信息進行雙向建模，該結構將具有n個有序詞嵌入的句子s作為輸入，將上下文信息集成到詞嵌入中。其中，輸入特征由GloVe嵌入vi、詞性嵌入ti和位置嵌入pi組成，因此，一個單詞就可以被表示為wi=[vi;ti;pi]。

若給定一個詞嵌入序列s={w1,w2,…,wn}，前向與后向GRU可以分別學習到詞嵌入s傳播的隱藏狀態(tài)h1與h2，這就可以在向前的方向上捕獲上下文信息。最后，將前向和后向GRU建模的并行嵌入連接成更高維的表示h={h1;h2}。

2.2 圖注意力層與關系感知層

與標準的GAT相比，該文所提出的RIGAT模型還可以利用標簽關系，從而產生更多的信息表示。對于未使用標簽關系的GAT，其依存樹形式表示為d={V,A}，它使用相鄰的矩陣作為結構信息，因此忽略了依賴特性。RIGAT擴展了原始GAT，將關系特征融入到注意力計算和聚合過程中，使其能對有標簽關系的依存樹d={V,A,R}進行建模。

(1)

其中，hi表示節(jié)點i的最終狀態(tài)；ρ是激活函數；W是線性權重；A表示圖G的一個鄰接矩陣。

對于關系感知層，該文將依存樹中兩個詞wi和wj之間的關系Rij轉換成一個與依存關系維度一致的向量rij。在計算節(jié)點之間的注意力權重時，考慮了節(jié)點特征和關系特征，其中第l層節(jié)點感知的注意力權重eN和關系感知的注意力權重eR的計算公式分別如下：

(2)

(3)

(4)

通過這種方式，模型得到的注意力分數同時包含了節(jié)點特征和關系特征。

2.3 特征聚合與分類

ha=φ°ht+(1-φ)°hg

(5)

其中，°是元素正交運算，φ是由上下文和句法感知表示共同加權并經激活函數σ計算所得：

φ=σ(Wφ[hg;ht]+bφ)

(6)

分類器是一個全連接網絡，它將融合表示ha作為輸入，并計算每個情感類別c的概率：

(7)

其中，W和b為模型的可調參數，C表示所有情感類別的集合。

2.4 模型訓練

該文在損失優(yōu)化部分，使用的訓練方法是L2正則化的交叉熵損失：

(8)

其中，N表示訓練案例數；I表示指標函數；λ表示正則化超參數；θ表示模型可調參數的集合。同時，該文采用了自正則化非單調函數Mish[17]，其定義為：

F(x)=xtanh(ln(1+ex))

(9)

與常見的激活函數ReLU[18]相比，Mish的梯度更平滑，可以更好地讓信息穿透神經網絡，從而獲得更高的準確性。

3 實驗及結果

3.1 實驗設置與評估指標

該文在四個公開數據集上進行實驗，包括SemEval 2014的Restaurant和Laptop數據集[1]、Twitter提供的推文數據集[19]和一個大規(guī)模多方面多情感(MAMS)數據集[20]，它們的情感極性可分為正面、負面和中性。表1顯示了這些數據集中每個樣本類別的統計信息，以及訓練集、測試集的劃分情況。

表1 數據集統計信息

在實驗參數設置方面，該文采用300維的Glove[21]向量，其中包括8 400億個詞嵌入向量，依存關系向量為30維，這些向量在訓練過程中會被調整。Batch Size設置為32，學習率設置為0.001，優(yōu)化器使用Radam[22]，句子的依存樹使用Stanford[23]解析工具生成。同時，該文在所有公開數據集上使用固定的隨機種子進行訓練，以盡可能避免隨機數對模型的影響。

該文使用準確率對模型性能進行評估，準確率的定義如下：

(10)

其中，P∈[0,1]為模型預測的準確程度，TP表示預測正確的樣本數，FP表示預測錯誤的樣本數。

3.2 基線模型

為了驗證RIGAT的性能，該文與使用相同數據集的最新模型進行了比較，包括：

(1)CapsNet[20]：利用一種基于膠囊網絡的模型來學習方面和上下文之間的復雜關系。

(2)G-ATT[24]：提出一種帶有記憶融合的圖注意力網絡，通過給邊緣分配不同的權重來擴展GCN。

(3)R-GAT[13]：通過對普通的依賴解析樹進行重塑和剪枝，定義了一個基于目標方面的依賴樹結構。

(4)RGAT[5]：提出一種新的關系圖注意力網絡，通過集成類型化的句法依賴信息，有效地提高了情感分類性能。

(5)UP-CNN[25]：提出一種基于先驗知識的方面檢測網絡，并通過方面掩碼來構建具有方面感知的上下文表示。

(6)SPRN[26]：提出一種基于方面的語義感知和細化網絡，該方法采用了雙門控多通道卷積來獲取句子中的方面相關語義特征。

(7)GL-GCN[27]：提出一種全局和局部依賴引導的圖卷積網絡，通過利用句法依賴結構和句子序列信息來挖掘句子的局部結構信息，通過對整個語料庫構圖，挖掘單詞之間的全局依賴信息。

(8)AFGCN[28]：通過引入依賴樹和依賴位置圖來增強每個實例的句法依賴，并使用圖卷積網絡將兩者融合以生成交互情感特征。

3.3 結果分析

將該文所提模型與上述基線模型進行對比，以驗證方法的有效性。實驗結果的準確率如表2所示，其中“-”表示未找到對應數據。

分析表2的對比結果可以發(fā)現，RIGAT在四個數據集上的表現均優(yōu)于其他基線模型，準確率分別達到了85.92%、79.37%、76.65%、83.56%。相較于目前性能最好的RGAT模型，該文所述方法在Laptop數據集上的性能提升最小，原因可能是由于Laptop數據集內的隱式情感表達樣本較多，且數據量較少，導致模型不能很好地捕捉并分析方面與觀點詞之間的內在關系；而對于MAMS數據集，模型的性能提升最大，說明模型可以更好地捕獲長距離單詞間的依存關系。

表2 RIGAT模型與基線模型在不同數據集下的分類準確率 %

與其他基線模型相比，文中提出的RIGAT模型可以更好地對句法依存關系進行交互，考慮到英文文本具有時序性，通過句法解析的方式縮短了單詞之間的依存路徑，進一步簡化了句子結構。同時，句法關系和注意力機制的融入進一步提高了句法信息的可靠性，使得模型可以更好地對每個單詞進行權重分配，并在不同層次之間進行信息傳播，從而得到更為準確的情感傾向。

3.4 消融實驗

3.4.1 句法關系信息對模型的影響

為探究句法關系信息對情感預測的有效性，該文使用傳統GAT，去除句法關系信息，僅對方面和上下文進行建模。實驗結果如圖2所示，相較于僅使用傳統的圖注意力網絡，RIGAT不僅考慮到了方面詞與上下文之間的交互信息，而且充分地利用了單詞與單詞之間的句法關系信息，其在Restaurant數據集上的準確率分別提高了3.28百分點、2.16百分點、2.61百分點和3.44百分點。可見將句法關系信息融入到上下文信息之中，能有效提升情感預測的準確率。

圖2 GAT與RIGAT在數據集上的準確率比較

3.4.2 RNN、LSTM與GRU的性能比較

將GRU分別替換為LSTM、RNN網絡，以驗證GRU在所提模型中的優(yōu)越性。實驗結果如圖3所示，可以發(fā)現相較于傳統的LSTM，GRU在四個Restaurant和Laptop數據集上更具優(yōu)勢，分別提高了2.06百分點和3.37百分點，可能的原因是GRU使用了更新門與重置門存儲并過濾信息，這種方式更適合于文本情感分類任務。

圖3 LSTM、RNN、GRU分別在數據集上的準確率比較

3.4.3 模型層數的影響

分別調整圖注意力網絡與關系感知網絡的層數，檢查對RIGAT準確率的影響。實驗結果如圖4、圖5所示。綜合結果分析，可以發(fā)現準確率曲線呈現出上下波動的趨勢，并且往往在一開始就表現出最高分數。對于Restaurant和Twitter數據集，它們都在圖注意力網絡和關系感知網絡層數為1時表現出最高的準確率；對于Laptop和MAMS數據集，當圖注意力網絡和關系感知網絡層數為2時，模型的準確率最高。

圖4 不同數量的圖注意力層在數據集上的準確率

圖5 不同數量的關系感知層在數據集上的準確率

4 結束語

該文提出一種基于關系交互圖注意力網絡的情感分類研究方法，利用圖注意力網絡與句法關系感知相交互的方式，共同提取句子的語義和句法信息，旨在充分利用文本間的句法依存特性，進一步提高方面情感分類的準確率。在公開數據集的實驗結果表明，該文所提出的RIGAT模型相對于基線模型有更優(yōu)越的表現。

盡管該文在情感分類任務上取得了不錯的效果，但仍具有進一步改進的空間。一方面，由于該文只著重于公開數據集上的性能提升，而忽略了對模型的魯棒性研究，在未來的研究中，模型需要結合更多的對抗性文本進行訓練，以提升在方面情感分類上的魯棒性能。另一方面，目前的研究僅局限于英文文本的情感分類研究，而忽視了中文情感文本，下一步將探索模型在中文文本上的可能性。