基于BiLSTM-CNN-ATT 的方面級情感分析

成 璐，曹小鳳

（太原工業學院計算機工程系，山西太原 030008）

0 引言

隨著社交網絡和電商網站的快速發展，網上產生了大量評論文本，如何從這些評論文本中挖掘用戶的情感信息成為研究熱點。

方面級情感分析（Aspect-Based Sentiment Analysis，ABSA）作為細粒度情感分析［1］，可以挖掘用戶更深層次的情感信息。給定一個句子和所涉及的方面，方面級情感分析旨在預測句子中關于不同方面的情感極性（如積極、消極、中立）。方面級情感分析包含兩個子任務：①ACSA（As?pect-Category Sentiment Analysis，ACSA），方面類別預先給定，預測句子中與方面類別相關的情感極性［2］；②ATSA（Aspect-Term Sentiment Analysis，ATSA），方面實體屬于句子的一部分，預測句子中關于方面實體的情感極性，如“The pizza was pretty good and huge”，該句子對于給定方面類別“food”的情感極性為積極，句子中方面實體“pizza”的情感極性為積極。

在過去的研究中，通常采用傳統的機器學習方法進行方面級情感分析，如SVM［3-5］，這類方法往往依賴復雜的特征工程，費時費力。隨著神經網絡的出現，其強大的自主學習和特征表示能力［6］使得它在方面級情感分析中備受青睞。循環神經網絡（Recurrent Neural Network，RNN）在方面級情感分析應用中最為普遍，如Tang 等［7］提出TC-LSTM和TD-LSTM 模型，利用長短期記憶網絡（Long short Term Memeroy，LSTM）進行目標依賴情感分析，通過LSTM 獲取上下文語義信息，但其無法識別上下文中與特定方面相關的情感詞的關聯程度，容易造成梯度爆炸或消失問題。之后注意力機制（Attention Mechanism）應用于方面級情感分析，其可以加強文本中情感詞的關注度，提高情感分析準確率。如Wang［8］等提出ATAE-LSTM 模型，利用基于注意力機制的LSTM 進行方面級情感分析。但是基于詞級特征的注意力可能引入噪聲及降低預測精度［9］，如“This dish is my favorite and I always get it and never get tired of it”中對“never”“tired”的關注會影響“dish”的情感預測。

方面級情感極性往往由某些局部情感特征決定，卷積神經網絡（Convolutional Neural Network，CNN）可以有效捕獲這些特征，因此在方面級情感分析中CNN 受到關注［10］。Xue 等［11］提出GCAE 模型，利用門控卷積神經網絡進行方面級情感分析，但CNN 不像LSTM 那樣充分挖掘文本全局語義信息。

針對上述問題，本文提出一種基于注意力并結合雙向LSTM（BiLSTM）和CNN 的網絡模型（BiLSTM-CNN-ATT）進行情感分析。本文主要創新點如下：

（1）提出一種新的方面級情感分析模型BiLSTM-CNNATT。在ACSA 任務中，首先，利用BiLSTM 獲取上下文語義信息；其次，分別利用注意力機制和自注意力機制對特定方面和上下文進行優化，這樣可以獲取特定方面與上下文之間的依賴關系和上下文的內部特征信息；最后，將優化后的上下文和特定方面進行拼接，通過CNN 進行情感分析，有效捕獲局部情感特征。ATSA 中不同于ACSA 的地方在于，利用BiLSTM 獲取方面實體語義信息，另外在上下文優化過程中融入方面實體的位置信息。

（2）使用方面級情感分析領域廣泛使用的SemEval 2014 任務4 的Restaurant 和Laptop 數據集對模型進行性能評估。實驗結果表明，在ACSA 和ATSA 中，本文提出的BiLSTM-CNN-ATT 模型均取得了較好效果。

1 相關工作

1.1 方面級情感分析

方面級情感分析的目標是識別句子中關于特定方面的情感極性［12］。早期大多數研究采用傳統的機器學習方法，通過監督的方式建立情感分類器從而進行情感預測。這些方法需要人工設計特征，過程繁瑣且普適性差，在不同數據集上性能差別很大。

Mikolov 等［13］提出的分布式向量表示模型可以有效捕獲句法和語義關系，推進了神經網絡在情感分析中的應用，隨之多種神經網絡模型應用到方面級情感分析中。Dong 等［14］采用自適應遞歸神經網絡模型AdaRNN 在Twit?ter 數據集上進行特定目標情感分析，根據依存句法分析得到不同目標的遞歸結構信息，從而輔助模型提高情感分析的準確率；近年來基于RNN 的網絡模型在方面級情感分析中取得了較好效果。Zhang 等［15］采用雙向門控神經網絡對上下文和目標建模，采用三路門控神經網絡獲取目標和上下之間的交互信息后進行情感分析；在RNN 的基礎上引入注意力機制可以挖掘更多的隱藏特征，取得更好的情感分類效果。Tang 等［16］提出基于注意力機制的MemNet 模型，該模型由多個計算層組成，每個計算層包含一個基于內容和位置的注意力模塊，通過注意力模塊計算每個上下文單詞的權重，并利用這些權重信息計算句子的文本表示，將最后一層的文本表示作為特征向量進行情感分析。

在方面級情感分析中，CNN 近幾年頗受關注。Huang等［17］提出參數化卷積神經網絡模型PG-CNN，利用參數化過濾器抽取方面特征，作為門控制的一部分輸入CNN 網絡進行情感分析。

1.2 長短期記憶網絡

LSTM 被廣泛應用于自然語言處理（Natural Language Processing，NLP）中，它是一種特殊的RNN，在情感分析中可以有效獲取文本語義信息，解決文本的長程依賴問題。

LSTM 由一系列神經元組成，每個神經元包括3 個門控單元：忘記門ft、輸入門it、輸出門ot，以及一個記憶單元ct。LSTM 中神經元對輸入信息的計算如式（1）-（6）所示：

其中，wt為t時刻的輸入，ht-1為t-1 時刻隱藏層狀態，為新的記憶信息，Wf、Wi、Wo、Wc為LSTM 的權重矩陣，bf、bi、bo、bc為LSTM 的偏置量，δ(?)為激活函數sigmoid，?為點乘運算。

LSTM 只能通過上文推測下文信息，而BiLSTM 同時考慮上下文語境，在情感分析中可以更好地捕捉雙向的語義依賴，提高模型準確率。BiLSTM 在t時刻的隱藏狀態h t包含前向的和后向的，如式（7）-（9）所示：

1.3 注意力機制

注意力機制近年成為深度學習領域研究熱點［18］。注意力機制最早在計算機視覺領域被提出。Mnih 等［19］利用注意力機制進行圖像識別；Bahdanau 等［20］使用注意力機制進行機器翻譯，這是注意力機制在NLP 領域的首次應用，之后注意力機制被廣泛應用于各種NLP 任務。注意力機制本質上可以理解為一個查詢（Q，query）序列和一系列鍵—值（K-V，key-value）對的映射。2017 年Vaswani 等［21］提出縮放點積注意力機制，可以減少高維度計算帶來的損失，計算公式如下：

其中，Q∈Rn×d，K∈Rm×d，V∈Rm×d。當K=Q=V時，稱為自注意力機制（Self-Attention mechanism）。

1.4 卷積神經網絡

CNN 最早被應用于計算機視覺領域。2014 年Kim［22］首次利用CNN 獲取文本特征并進行文本分類。CNN 主要通過卷積層和池化層來學習輸入的局部特征，提取重要的特征信息［23］。CNN 結構如圖1 所示，它主要由輸入層、卷積層、池化層和全連接層組成。輸入層為句子的向量表示，對于長度為n的句子，輸入矩陣可以表示為：E∈Rn×d，其中d為詞向量維度。卷積層使用不同的卷積核對輸入矩陣進行卷積操作，提取局部特征，得到卷積層特征矩陣，如式（11）所示：

Fig.1 CNN model圖1 CNN 模型

其中，W為權重矩陣，b為偏置量，f為卷積函數。之后，通過池化層對卷積層特征矩陣進行降采樣，提取重要的特征信息。最后，全連接層利用池化層的輸出進行分類，得到分類結果。

2 BiLSTM-CNN-ATT 模型

本文借鑒LSTM 和CNN 的優點，提出BiLSTM-CNNATT 模型并在ACSA 和ATSA 任務上進行情感分析。

2.1 BiLSTM-CNN-ATT on ACSA

給定一個句子，如果句子中第i個單詞用詞向量表示為wi∈Rde，de為詞向量維度，則句子詞向量矩陣表示為S=[w1,w2,...,wn]，S∈Rn×de，n為句子長度。在ACSA任務中特定方面為給定的方面類別，通常只包含一個單詞，給定方面詞向量矩陣表示 為A=[a]，A∈R1×de。BiLSTM-CNNATT 在ACSA 上的應用模型如圖2 所示。

Fig.2 Application of BILSTM-CNN-ATT model in ACSA圖2 BiLSTM-CNN-ATT 模型在ACSA 上的應用

為了獲取更豐富的上下文語義信息，將句子詞向量矩陣S=[w1,w2,…,wn]輸入BiLSTM，得到上下文矩陣Hs=，dh為隱藏層輸出維度。

2.1.1 方面優化模塊

由于特定方面缺少對句子信息的關注，為了得到包含句子信息的特定方面表示，采用注意力機制優化給定方面。對A 進行線性變換，得到，其中，Qa=Hs，依據公式（10）得到優化后的特定方面矩陣Ao如下：

其中，Ao∈Rn×2dh。

2.1.2 上下文優化模塊

為了使上下文中包含特定方面信息，在上下文優化模塊中，通過上下文矩陣和方面矩陣點乘操作，獲取兩者之間的相關性矩陣如下：

其中，C∈Rn×2dh。之后再將上下文矩陣和相關性矩陣和進行拼接，得到新的句子矩陣Es=[Hs;C]，Es∈Rn×4dh。

為了獲取上下文內部元素之間的相關性，同時加強對上下文自身語義理解，采用自注意力機制對上下文進行優化。首先對上下文矩陣Es進行線性變換，得到Qs、Ks、Vs，計算公式如式（14）-（16）所示：

其中，Wq、Wk、Wv∈R4dh×4dh為線性變換參數矩陣。之后得到優化后的上下文Eo，如式（17）所示：

其中，Eo∈Rn×4dh。

2.1.3 CNN 模塊

由于特定方面的情感往往與上下文的某些局部情感信息緊密相關，因此通過CNN 網絡來抽取這些局部情感信息，從而更好地進行情感分析。

首先，優化后的上下文矩陣和方面矩陣進行拼接得到輸入矩陣E=(Eo;Ao)，E∈Rn×6dh；其次，利用公式（11）進行卷積操作，得到卷積后的特征矩陣C；最后，通過最大池化降采樣，提取C中的最終特征：=max(C)。若卷積核的個數為k，則最終得到特征向量為。

2.1.4 輸出層

其中，D為訓練集，C為數據的類別數,為實際類別，y為待分類句子的預測類別，為正則項。

2.2 BiLSTM-CNN-ATT on ATSA

BiLSTM-CNN-ATT 模型在ATSA 上的應用如圖3所示。

在ATSA 任務中，特定方面為句子中出現的方面實體，且方面實體通常包含一個或多個單詞，方面實體向量矩陣為A=[a1,a2,…,am]，S∈Rm×de，m為特定方面的長度。不同于ACSA，在ATSA 中將方面實體詞向量矩陣A=[a1,a2,…,am]輸入BiLSTM，得到方面實體矩陣，Ha∈Rm×2dh，之后再進行特定方面的優化。

在上下文優化模塊中，由于句子中方面實體的情感通常由它附近的情感詞表達，因此融入位置信息有著重要意義。首先計算方面實體中各個詞位置的平均數，如式（20）所示：

其中，、為方面實體第一個詞和第m個詞所在的位置。之后，計算上下文中每個詞與方面實體的距離系數，如式（21）-（22）所示：

類似于ACSA，將優化后的特定方面和上下文進行連接輸入CNN，獲取最終特征表示并進行情感分類。

借鑒德國垃圾管理“避免垃圾產生—最大可能回用利用（先直接利用，再循環利用）—能源回收利用—最終處理處置”的整體思路，完善國家、省級和市級3個層面垃圾管理法規政策；落實生產者責任制，制定專業性法規，建立押金制度、雙軌回收制度等；制定明確的獎勵和懲罰措施，且嚴格執行，有效引導政府的垃圾管理行為、公眾的垃圾投放行為和企業的垃圾處理行為；逐步實施垃圾按量或按質收費，根據前端垃圾分類品質和需要最終處置的垃圾量收取費用。

Fig.3 Application of BILSTM-CNN-ATT model in ATSA圖3 BiLSTM-CNN-ATT 模型在ATSA 上的應用

3 實驗

3.1 實驗數據

為了驗證BiLSTM-CNN-ATT 模型的有效性，本文在SemEval2014 任務4 的公開數據集上進行測試。SemEval 2014 任務4 包含Laptop 和Restaurant 兩個數據集，其中Lap?top涉及ATSA 子任務，Restaurant涉及ATSA 和ACSA兩個子任務。Laptop 和Restaurant 中數據樣本包括積極、消極和中性、沖突4 種情感極性。本文去除沖突樣本，只考慮積極、消極和中性3 種極性。實驗數據統計如表1 所示。

Table 1 Experimental data statistics表1 實驗數據統計

3.2 實驗參數設置

本文采用斯坦福大學公開的預訓練Glove 詞向量。初始化實驗數據中的詞向量，其中每個詞向量的維度為300維，詞典大小為1.9MB［24］。BiLSTM 隱藏層維度為50，CNN卷積核窗口大小為［3，4，5］，batch 的大小為25，dropout 為0.75，學習率為0.001，L2 正則化參數為0.000 1。本文實驗環境及其配置如表2 所示。

Table 2 Experimental environment and configuration表2 實驗環境及配置

3.3 對比實驗

將本文提出的BiLSTM-CNN-ATT 模型和比較典型的方面級情感分析模型在數據集上對ACSA 和ATSA 兩個子任務進行對比實驗，驗證模型的有效性。

（1）LSTM：使用標準的LSTM 網絡模型。該模型將句子作為輸入，可以獲取前向時序特征，但由于沒有考慮特定方面信息，因此分類效果較差。

（2）BiLSTM：使用雙向LSTM 網絡模型。該模型考慮句子的雙向時序特征，能夠更好地獲取上下文語義特征。

（3）TD-LSTM：該模型通過兩個LSTM 對特定目標上文和下文分別建模，并分別和特定方面進行拼接，之后進行情感分析。該模型未考慮特定方面和其上下文之間的關聯信息。

（4）ATAE-LSTM：該模型將上下文和特定方面進行拼接，通過LSTM 得到隱藏層輸出和特定方面拼接，之后通過注意力機制獲取上下文中重要特征進行情感分析。該模型注重對上下文的優化，但忽略對特定方面的優化。

（5）CNN：將句子作為卷積神經網絡的輸入，可有效獲取句子的關鍵特征，但是無法有效獲取句子時序特征，同時未考慮特定方面信息，分類效果較差。

（6）GCAE：該模型在CNN 的基礎上引入門控單元，根據給定的不同方面有選擇地輸出情感特征，從而達到較好的分類效果。

（7）TDMNPG［25］：提出了一個對目標敏感的深度記憶網絡模型用于ATSA 的情感分析。該模型利用交互模塊獲取上下文和特定目標的交互信息，并將上下文信息和交互信息融合成分類特征進行情感分析。

（8）BiLSTM-CNN：首先通過BiLSTM 獲取句子語義特征，再通過CNN 網絡獲取局部重要特征，最后再進行情感分析。

3.4 實驗結果與分析

本文采用準確率作為評價指標，衡量模型在ACSA 和ATSA 兩個子任務的三分類和二分類中的效果。本文中基線模型TD-LSTM、ATAE-LSTM、GCAE 均采用論文中聲明的實驗效果。

ACSA 中，各模型的準確率如表3 所示，通過表3 可以看出：

（1）LSTM 模型和BiLSTM 模型進行比較：在兩個數據集上的三分類和二分類中，BiLSTM 模型的準確率均高于LSTM。這是因為LSTM 只能獲取句子前向語義特征，而BiLSTM 可以從上文和下文同時獲取雙向語義特征，因此BiLSTM 獲取的句子語義信息更豐富，準確率更高。

Table 3 Accuracy of different models on ACSA task表3 不同模型在ACSA 任務上的準確率 （%）

（2）LSTM、TD-LSTM 和ATAE-LSTM 模型比較：3 個模型均采用LSTM 獲取句子語義特征，不同的是TD-LSTM 考慮特定目標在情感分析中發揮的作用，簡單將特定目標和特定目標的上下文拼接，因此TD-LSTM 模型在三分類中的準確率高于LSTM。在ATAE-LSTM 中，不僅將上下文和特定方面進行拼接，同時通過注意力機制優化上下文，因此，ATAE-LSTM 較LSTM、TD-LSTM 的準確率要高。

（3）CNN 和GCAE 模型比較：GCAE 在三分類中準確率高于CNN，主要是因為GCAE 在CNN 的基礎上采用門控機制進行特征選擇。

（4）BiLSTM、CNN、BiLSTM-CNN 模型比較：BiLSTMCNN 模型結合BiLSTM 和CNN 優點，準確率高于BiLSTM 和CNN，但由于缺少對上下文和方面的優化，效果提升不明顯。

（5）BiLSTM-CNN-ATT和其他模型比較：BiLSTMCNN-ATT 模型采用BiLSTM 對句子和特定方面進行編碼，并通過注意力機制優化上下文和特定方面，最終通過CNN獲取和特定方面相關的局部有效特征，性能明顯優于其他模型。

ATSA 中，各模型的準確率如表4 所示。通過表4 可以看出，BiLSTM-CNN-ATT 模型性能最優。其中與TDMN?PG 模型相比，BiLSTM-CNN-ATT 模型在Restaurant 和Lap?top 數據集的三分類中，準確率分別提升1.49%和0.99%。這是由于TDMNPG 模型在上下文表示中，未考慮上下文內部的語義依賴關系，另外缺乏局部信息對特定目標影響的考慮。

3.5 CNN 層數影響

由于CNN 可以獲取針對特定方面的局部重要特征，本文考慮到單層CNN 不能充分獲取這些特征的可能性，故通過實驗驗證CNN 層數對方面情感分析的影響，實驗結果如表5 所示。

從表5 可以看出，當CNN 層數為1 時，模型在ATSA 的Laptop 數據集的三分類上效果最佳。當CNN 層數為2 時，模型在ACSA 和ATSA 的Restaurant 數據集上的三分類和二分類以及Laptop 的二分類上效果最佳。表明CNN 為1 時，在多數數據集上對局部特征抽象不夠。CNN 層數為3 時，模型效果不佳的原因可能是CNN 層數增多會產生更多的參數，使模型變得復雜，容易產生過擬合。

Table 5 Influence of CNN layers on accuracy表5 CNN 層數對準確率的影響 （%）

3.6 位置對ATSA 的影響

在ATSA 中，特定方面的情感與它附近的情感詞密切相關。為了驗證位置信息對特定方面情感極性的影響，本文對不含位置信息和融入位置信息兩種情況做了對比，實驗結果如表6 所示。

Table 6 Influence of location on ATSA task表6 位置對ATSA 的影響 （%）

從表6 可以看出，在Restaurant 數據集上，融入位置信息后，準確率分別提升0.54%和0.54%。在Laptop 數據集上準確率分別提升2.68%和0.77%，說明位置信息對情感分析效果的提升起到一定作用。

4 結語

本文提出了一種基于注意力結合BiLSTM 和CNN 的BiLSTM-CNN-ATT 模型進行方面級情感分析。該模型通過BiLSTM 獲取上下文語義信息，并分別通過注意力機制和自注意力機制對特定方面和上下文進行優化，最后通過CNN 獲取重要特征信息。通過對比試驗，驗證了本文模型在ACSA 和ATSA 上的有效性。

本文模型雖然針對句子特定方面的情感分析取得較好效果，但其仍然具有局限性。由于本文采用的數據集中大多數句子只包含一個方面或者包含多個相同情感的方面，這樣會使方面級情感分析任務退化成句子級別的情感分析任務。而現實中一個句子可能包含多個方面的多種情感，僅使用方面級情感分析模型無法有效解決該問題。因此，在未來的工作中，將進一步研究更細粒度的情感分析任務來解決該問題。