融合多層注意力的方面級情感分析模型

袁 勛，劉 蓉，劉 明

1.華中師范大學 物理科學與技術學院，武漢430079

2.華中師范大學 計算機學院，武漢430079

情感分析是自然語言處理領域的重要研究內容之一[1]。情感分析的主要任務是對人們生活中所獲取到的各種文本信息進行提取、分析和總結。然而，當一個句子包含多個方面的情感極性時，傳統的情感分析模型將無法判斷情感極性，方面級情感分析會更加適合此類任務[2]。

方面級情感分析是一項更加具體的情感分類問題，可以針對不同的目標挖掘更細膩的情感信息。例如句子“這家餐廳的菜品味道不錯就是太貴了”，在同一個句子中出現了“味道”和“價格”兩個方面，同樣也有正向和負向兩個不同的方面極性。早期的方面情感分析為自定義規則方法或構建情感詞典結合支持向量機來實現[3-4]。這種方法嚴重依賴領域專家，費時費力，且只在所構建的專業領域有效，泛化能力和魯棒性都比較弱。近年來，隨著機器學習特別是深度學習[5-6]的快速發展，深度學習方法逐漸應用在情感分析領域，并取得了顯著的成果。Kim[7]采用類似多元語法的方法提取多個卷積神經網絡（Convolutional Neural Network，CNN）特征進行拼接，得到多個文本局部特征，從而增強了模型的特征感知能力。Johnson 等[8]用類似圖像卷積的思路設計了一種高維度文本卷積方法，使用深層次卷積方法將文本詞向量與遠距離單詞進行交互，在情感分析任務上取得了不錯的結果。Wang 等[9]提出一種結合注意力機制的LSTM（Long Short-Term Memory）網絡結構，利用方面嵌入注意力機制分別關注句子中的不同部分。結果表明，注意力機制能夠顯著提升方面情感分析模型的性能。在此基礎之上，Ma 等人[10]提出了一種細粒度交互式注意力網絡（Interactive Attention Networks，IAN），他們認為目標方面與文本應該具有交互性，而以往模型將二者分開建模。該網絡使用兩個LSTM 網絡分別對句子和方面信息進行建模，經過池化層來獲取方面信息的注意力，利用注意力完成句子和方面信息的交互操作。然而，上述模型由于缺乏海量訓練數據，雖然取得了一定的成績，但卻缺乏基本的語法邏輯。

預訓練模型解決了語法邏輯問題[11-13]。預訓練任務可以通過自監督學習從大規模數據中獲得與具體任務無關的預訓練模型，從而得到某個詞在特定上下文中的語義表征。在此基礎之上，Sun 等[14]通過構造輔助句的方式融合文本與方面信息，利用自注意力獲取方面信息。Xu 等[15]提出了一種基于BERT（Bidirectional Encoder Representations from Transformers）[13]的后訓練方法，將閱讀理解技術用于網絡評論分類，利用領域知識來提高相關任務目標方面的注意力權重。Liu 等[16]提出的MT-DNN（Multi-Task Deep Neural Networks）模型將多任務學習與預訓練任務結合起來，利用關聯任務有標簽的數據協助訓練，通過外部數據來外加注意力層，利用兩種數據進行互補，表現出更好的遷移效果。Gao等[17]抽取特定位置編碼來提升方面信息注意力，將評論句作為第二句加入BERT，用類似閱讀理解的方法增強方面信息注意力。Song 等[18]認為以往的BERT 結構沒有利用中間層編碼信息，丟失了大量語義知識，他們將BERT中間層表征向量線性組合起來，在內部每一層都用自注意力機制來獲取文本權重，最后使用LSTM來整合BERT內部隱藏層表征向量，在方面級情感分析任務中取得了很好的效果。

受以上方法啟發，本文基于BERT提出一種融合多層注意力的方面級情感分析模型（BERT and Multi-Layer Attention，BMLA）。首先將句子信息和方面信息構造為句子對的形式輸入BERT，將編碼后的方面信息與BERT 隱藏層表征向量融合，設計了多層方面注意力，然后將多層方面注意力與編碼輸出文本進行級聯，補全文本原始特征，最后通過卷積神經網絡增強句子與方面詞之間的長依賴關系。通過提高方面詞與上下文間的交互，增強了情感文本對方面信息的感知力，從而使模型達到了更好的分類性能。

1 模型

本文通過提取BERT隱藏層多層注意力進行融合，并與上下文進行交互，更深層地挖掘目標情感極性與方面詞之間的聯系。BMLA模型由網絡輸入層、多層注意力層和輸出層三部分構成，總體結構如圖1所示。

圖1 BMLA模型整體框架Fig.1 Overall framework of BMLA model

1.1 網絡輸入層

輸入層的主要任務是將語言文字映射為低維字向量，本文使用預先訓練好的BERT 來獲得字嵌入矩陣。BERT的輸入方式可以為單個句子或句子對。受Sun等人[14]啟發，文章通過構造輔助句子的方式將方面詞與原始句子合并為句子對輸入BERT，輸入方式為：

其中，Sentence為帶有情感傾向的文本語句，Aspect為方面信息。

1.2 多層注意力網絡

注意力機制本質是一種資源分配的機制，分配的過程體現在權重系數的計算上，即權重代表了信息的重要性。在本文模型中，當句子經過BERT 自注意力層[12-13]編碼后，每個隱層張量都含有對其他所有單元的注意力權值。以往的方法[14-17]都是單一地提取表征向量，這樣做只考慮了額外增加的標志位對全文本的注意力，忽略了方面詞對應的隱層張量對整個句子本身所具有的依賴關系。基于此，本文設計了一種多層方面注意力網絡，以解決方面注意力不足的問題。

1.2.1 方面注意力網絡

方面注意力網絡提取隱藏層表征向量與方面信息融合，增強方面信息的權重，以此來提升模型的抗干擾能力。與文獻[18]相似，為了更有效地利用中間層的語義信息，將一個句子分為三部分，狀態位部分、句子部分和方面詞部分。將文本與預定義的方面類別聯合輸入預訓練模型，經雙向Transformer[12]轉換得句子表征向量、句子編碼與方面信息編碼，表征向量[CLS]位是為了方便分類任務額外添加的標志位，以[CLS]作為分類向量屬于從外部視角看待整個句子。如“路人”看待“我在這家飯店吃飯”并評論“位置不好但飯菜可口”，隨后根據方面詞“地理位置”來判斷極性“不好”。然而，將方面詞和句子作為句子對輸入模型，可以直接從方面詞“地理位置”來判斷情感為“不好”而非“可口”。因此從方面詞的視角來計算整體文本的情感極性是有必要的。方面注意力權重以預訓練模型為基礎，將BERT隱藏層方面詞編碼表征向量融合，再經過LSTM層增強表征向量與方面向量之前的前后關系，可提高方面信息注意力權重。方面注意力網絡如圖2所示。

圖2 方面注意力網絡Fig.2 Aspect attention network

注意力層采用雙向自注意力機制，計算公式如下：

其中，Q、K、V為輸入單詞詞嵌入矩陣經過線性變換所得，dk是Q、K矩陣的向量維度，為防止QKT內積過大，加入放縮因子dk，從而使得訓練過程中梯度值保持穩定。

假設語義輸入層為T={t1,t1,…,tn}，BERT 內部結構為l為內部隱藏層的層數，則第l層的隱層張量可表示為。將表征向量與方面注意力融合，一個注意力單元可整合為：

BERT 模型所有隱藏層都含有語義信息，每一層都在上一層的基礎上經過雙向自注意力計算，因此更靠后的隱藏層含有更加深層次的注意力權重。為了簡化計算參數，提高計算效率，本文只取最后三層的方面注意力張量，然后經過LSTM 網絡進行融合，在不丟失信息的情況下提高方面特征注意力。計算過程如下：

其中，lout表示經過1層LSTM池化層后的結果，L表示隱藏層最后一層，I3表示后三層經過LSTM的結果。

1.2.2 全局注意力網絡

上述網絡強化了方面注意力權重信息，為了更好地捕獲方面信息與句子間的長依賴關系，還要將方面信息與全局信息進行融合，并通過深度卷積網絡獲取方面詞與長距離情感文本關聯。卷積操作可表示為：

其中，x為輸入文本長度，q、p為卷積核的大小，w為卷積核權重，v為卷積滑塊對應文本當前位置的值，使用ReLU函數激活。將方面注意力層與輸出層Pout拼接：

將BERT輸出層與方面注意力層級聯，使用雙層堆疊式等長卷積對級聯結果進行卷積，卷積核大小為[3×1]，卷積核數量為250。為保證卷積前后等長，每次卷積之后使用“0”在文本左右進行PAD 填充，然后使用ReLU函數進行激活，卷積堆疊兩次用以提高每個詞位的詞嵌入感知大小。

經過上述卷積后，再與max pooling 負采樣進行合并形成一個堆疊block。max pooling 的步長為2，每次負采樣文本長度減半，因此簡稱1/2 池化層。單個文本每經過一個1/2 池化層，其能感知到的文本片段就比之前長了一倍。堆疊block感知野如圖3所示。

圖3 卷積層和池化層堆疊blockFig.3 Convolutional layer and pooling layer stacking blocks

輸入序列的長度會隨著block數量的增加呈指數級減少，導致序列長度隨著網絡加深呈現金字塔（Pyramid）[19]形狀。每一次堆疊加深一次深度，形成深層次循環卷積網絡，不斷擴大感知野，從而捕獲方面信息與句子間的長依賴關系。

深度卷積網絡會產生梯度彌散問題，為解決此問題，將block堆疊后的數據與max pooling負采樣殘差組合[20]，再將未經過卷積層的無損數據傳遞至網絡前端，可有效緩解梯度消失問題。將卷積和殘差鏈接過程循環往復，可以增強方面信息對上下文的感知注意力，整個過程可表示為：

其中，P表示池化結果，Sout表示卷積結果。將上述過程交替循環直至語義維度整合為1，最終得到的Sout可用作情感分類。

1.3 輸出層

在經過注意力網絡之后，將最終輸出送入一個全連接層，通過softmax 分類器獲得待分類樣本在每個方面情感極性的概率p，并預測該方面的情感極性，計算過程如下：

其中，Wc和bc為訓練的權重和偏差。模型通過最小化交叉熵來進行訓練，損失函數loss如下：

其中，C為分類類別，y為真實標簽。

2 實驗與分析

2.1 實驗數據集

為了驗證本文模型的情感分類效果，在公開數據集SemEval2014 Task4[21]和AI Challenger 2018[22]上進行對照實驗。SemEval2014 Task4數據集包含兩個子數據集，一個為筆記本電腦評論，另一個為餐館評論。每條數據都由評論語句、目標方面、方面極性組成，句子最大長度不超過100，情感極性分為樂觀、中立、消極。數據集統計信息如表1所示。

表1 SemEval2014 Task4數據集Table 1 SemEval2014 Task4 database

AI Challenger 2018為細粒度用戶評論情感分析數據集，共包含6 大類20 個細粒度要素的情感傾向，每個細粒度要素的情感傾向有4 種狀態：正向、中性、負向、未提及。使用[1,0,－1,－2]4 個值對情感傾向進行描述。訓練集共10.5 萬個句子，每個句子20 個細粒度情感，共201 萬個標簽，測試集共1.5 萬個句子，每個句子20 個細粒度情感，共30 萬個標簽。數據集統計信息如表2所示。

表2 AI Challenger 2018數據集Table 2 AI Challenger 2018 database

為了更好地學習兩個領域數據集，需要分別對兩個數據集進行參數預設。實驗操作系統是centOS7，配備Tesla V100 32 GB 顯卡，開發環境是python3.6 和pytorch1.7.0。其中SemEval2014 Task4 中的Restaurant與Laptop數據集因為數據類型相似，所以參數一致，這里用SemEval2014 Task4統一表示。實驗配置如表3所示。

表3 實驗配置Table 3 Experimental configuration

2.2 對比實驗

為了評估模型的性能，本文列舉了其他研究的方面情感分析模型與之進行對比。度量指標統一使用準確率（ACC）和Macro-F1，在數據樣本不均衡時，F1指標具有更好的評估性能。

DPCNN[8]：深層金字塔卷積網絡。使用多個固定位置的卷積核分層提取文本所有鄰接詞的語義特征，并隨著網絡的加深不斷跳向更高層的語義空間，最后經過線性變換來獲取目標情感極性。

ATAE-LSTM[9]：基于注意力的LSTM。它將給定的Aspect嵌入與每個單詞嵌入一起作為LSTM的輸入，并在LSTM層上有一個注意層，利用注意力對模型結果進行加權分配，提高模型對方面詞的權重。

IAN[10]：模型在LSTM 結果上交互式學習方面詞與文本內容，得到結果與注意力結合輸入線性層獲得預測結果。

BERT-pair[14]：通過構造輔助句的方式，將文本和方面詞以句子對的形式輸入BERT，再經過softmax函數將單一向量轉為預測結果。

BERT-TextCNN[7，14]：在文本經BERT 編碼之后，利用多尺寸卷積濾波器對文本片段進行卷積操作，最后將詞嵌入結果輸入線性層進行分類得到文本情感極性。

BERT-LSTM[18]：利用BERT內部所有的中間隱層的表征向量，將其輸入LSTM，增加了文本信息的利用深度，最終結果輸入全連接層獲取分類信息。

2.3 實驗結果分析

在SemEval2014 Task4 數據集上各模型實驗結果如表4所示。

表4 SemEval2014 Task4上各模型實驗結果Table 4 Experimental results of each model on SemEval2014 Task4 %

表4展示了BMLA模型在SemEval2014 Task4數據集兩個領域上與其他基準模型的準確率與F1-score 比較。實驗結果證明，BERT-MLA取得了比其他模型更好的分類效果，其Laptop和Restaurant數據集F1值分別為71.50%和74.91%，比BERT-LSTM模型提升了2.13個百分點和2.39個百分點，驗證了本文提出方法的有效性。

在AI Challenge 2018數據集上各模型實驗結果如表5所示。

表5 AI Challenger 2018上各模型實驗結果Table 5 Experimental results of each model on AI Challenger 2018 %

從表5可以看出，BMLA模型在AI Challenge 2018數據集上的準確率和F1值分別為87.42%和77.65%，相比于BERT-LSTM模型，無論是準確度還是F1指數都有所提升。其他模型由于對方面詞本身的注意力不足，當句子出現多個方面極性時，會對當前所研究方面產生干擾，從而導致分類效果并不理想。相比之下，本文融合了多層注意力網絡來增強方面信息權重，提高了模型的抗干擾能力，因此，實驗結果表現出更好的分類效果。

3 結束語

本文提出了一種融合多層方面注意力的方面級情感分析模型。該網絡的核心思想是提高方面注意力權重以增強方面信息與方面情感文本的交互。對于擁有多個方面詞的文本來說，每個方面極性都可能會對所研究方面產生干擾，本文模型更深層地挖掘了方面詞和文本之間的語義關系，同時將方面融合結果與上下文進行交互，增強了情感文本與方面類別之間的關聯，提高了模型的抗干擾能力。不同數據集對比實驗表明，本文模型擁有比其他模型更好的性能。但目前方面情感分類研究都是基于顯性方面的情感分析，而真實情況可能需要檢測隱性方面的情緒，因此如何將領域知識與方面情感任務結合是未來的研究方向。