基于ERNIE2.0-BiLSTM-Attention的隱式情感分析方法

黃山成，韓東紅，喬百友，吳 剛，王國仁

1(東北大學 計算機科學與工程學院，沈陽 110819) 2(北京理工大學 計算機學院，北京 100081) E-mail：handonghong@cse.neu.edu.cn

1 引 言

文本情感分析又被稱之為意見挖掘，是指通過計算機技術對文本的主客觀性、觀點、情緒、極性的挖掘和分析，對文本的情感傾向做出分類判斷[1]，涉及包括自然語言處理、計算語言學、機器學習等多個領域.文本的語言表達層面依據是否出現顯式情感詞，將情感分析分為顯式情感分析和隱式情感分析.其中隱式情感分析被定義為“不含有顯式情感詞，但表達了主觀情感的語言片段(句子，從句或短語)”[2].人們對客觀事物的認知、體驗各不相同，由此所觸發的情感豐富而抽象，情感表達上也往往比較委婉含蓄，如采用某種修辭手法或客觀陳述而不含情感詞的方式進行情感表達.隱式情感根據表達方式的不同可分為事實型和修辭型，其中修辭型又可細分為比喻型、反問型和反諷型.研究表明，多種社交網絡平臺產生的文本中隱式本中隱式情感表達約占15%-20%.下面以新浪微博中的博文為例分析其隱式情感類型，如表1所示.

表1 隱式情感文本示例Table 1 Examples of implicit sentiment text

微博E1和E2均不包含情感詞，僅陳述客觀事實但也蘊含了某種情感.這種無顯式情感詞的客觀陳述句就是事實型隱式情感句.微博E3則通過比喻的修辭手法表達消極情緒.可以看出，此類情感因缺少顯式情感詞作為情感線索，表達含蓄內斂，隱晦難懂，因此隱式情感分析也已然成為自然語言處理中的核心難題之一.

顯式情感分析作為自然語言處理領域的基礎性研究，技術已相對成熟，而隱式情感分析則剛剛起步，研究成果鮮有問世.相比于顯式情感研究，隱式情感分析面臨以下挑戰[3]：1)情感表達沒有顯式情感詞，使得基于情感詞典的方法一再失效，而且隱式情感句用詞相對客觀中立，致使基于詞袋模型的文本表示無法進行有效區分；2)由于表達方式的委婉含蓄，使得文本語義表示和理解更加困難；3)隱式情感往往與情感持有者的個人主觀認知有密切關系，缺乏統一界定標準.

研究表明，隱式情感特征與句中情感實體、上下文語境之間存在著重要聯系，并且外部知識的使用也是分析隱式情感的重要手段.首先，情感實體本身可能體現隱式情感，如E1中實體“新型冠狀病毒”自身體現消極情感；而E2中的“百年老店”則暗含一種積極的情感.其次，隱式情感句特別是修辭型情感句往往需要借助外部知識進行分析，例如一些句子中含有“紅豆”、“月亮”、“柳樹”等象征性詞匯，借助外部知識可知其分別帶有“相思”、“思念”、“送別”等含義，由此可見，外部知識可輔助隱式情感分類.此外，上下文情感信息同樣有助于進行隱式情感分類[3].如對E1進行情感分類，由于該句屬于事實型陳述且無顯式情感詞，易被預測為中性情感.若該句的上下文中有“我很擔憂”這種顯式情感句，則可以輔助該句的情感極性判別.

綜上所述，本文圍繞社交網絡文本的隱式情感分析，以預訓練語言模型ERNIE2.0為基礎捕捉隱式情感句詞義、語義及語法特征[4]，并融合BiLSTM(Bi-directional Long Short-Term Memory)和Attention注意力機制對社交網絡文本進行隱式情感分析研究，最后提出一種基于ERNIE2.0-BiLSTM-Attention(EBA)的隱式情感分析模型.本文的主要貢獻點如下：

1)因預訓練語言模型ERNIE2.0具有實體識別功能且經過外部知識訓練，本文利用其進行文本表示并捕獲底層語義、語法信息[4]；

2)針對如何捕捉隱式文本上下文信息的問題，利用BiLSTM神經網絡對文本進行編碼，再融合注意力機制進行情感權重計算；

3)最后在SMP2019“拓爾思杯”中文隱式情感分析評測數據集進行實驗，本文所提出模型(EBA)和最新方法相比，性能均有明顯提高.

2 相關工作

雖然隱式情感分析是自然語言處理領域的核心子任務之一，面向中文的相關研究剛剛興起.本節將圍繞文本隱式情感分析及表示學習方法，介紹國內外研究動態.

情感分類研究方法大致可以分基于情感知識的方法和基于機器學習的方法兩種.機器學習中的深度學習方法因其結構靈活、易于特征融合等特點在情感分析領域中取得了廣泛的應用.卷積神經網絡(Convolutional Neural Networks)和循環神經網絡(Recurrent NeuralNetworks)，在文本表示方面取得了很好的效果；長短期記憶模型LSTM[5]被引入到 RNN模型中，旨在解決其處理過長的文本序列時容易出現梯度消失或爆炸問題；GRU模型[6]是對LSTM 進行簡化的神經網絡，僅使用更新門和重置門兩種門控單元以減少模型復雜度.利用LSTM或者GRU對句子進行建模存在一個問題：無法編碼從后到前的信息，于是在此基礎上提出的的BiLSTM可以更好的捕捉雙向的語義依賴，具有更強的表示能力.

以往關于隱式情感分析的研究主要針對隱喻識別[3]，Lakoff[7]將其定義為隱喻表達的源域與目標域在認知、常識等方面的沖突映射.Mason等人[8]依據目標動詞在不同領域所表達含義不同，建立源域到目標領域的映射關系，提出能夠實現自動識別特定領域間“源域—目標域”映射的CorMet模型.Shutova等人[9]研究隱喻概念的分布并提出隱喻模式識別算法，在多語言文本的隱喻句上具有較好識別性能.Zhang等人[10]研究發現使用一些領域名詞以及名詞短語能夠隱晦表達情感，一般而言，包含它們的句子表達了某種隱式情感傾向.Greene等人[11]分析隱式情感句的語法結構，進行語言驅動的特征和隱式情感關聯性分析，并利用相似度計算提升文本情感分類的效果.隱式情感的識別通常還需要引入其他的特征和知識以便于情感分析，Balahur等人[12]使用常識知識庫，從同為隱式情感句的上下文中準確推斷句子的情感.

近幾年隱式情感分析在國內取得新的進展，學者開始利用深度學習方法進行隱式情感研究.廖健[3]采用多層語義融合的表示學習方法對事實型情感分析進行語言建模，即分析事實型隱式情感句特征，并將情感目標、上下文顯式情感語義信息融入到構建的卷積神經網絡中，充分利用上下文語義特征和情感目標兩大重要特征進行隱式情感分類中.潘東行等人[13]分析隱式情感句中重要的上下文語境特征，提出一種融合上下文特征的中文隱式情感分類模型.趙容梅等人[14]提出一種CNN-BiLSTM-Attention的中文隱式情感分析方法.EnguangZuo[15]提出一種上下文特定異構圖卷積網絡(CsHGCN)，利用圖卷積神經網絡構建上下文表示框架.JiyaoWei等人[16]分析情感極性特征差異提出一種基于多極正交注意力的BiLSTM隱式情感分析方法，該方法同時使用了BERT預訓練語言模型.

近幾年多項自然語言處理任務均利用預訓練語言模型使得性能得到提升.其中ERNIE2.0[4]是一種知識增強的語義表示模型，用海量數據和相關先驗知識持續構建無監督預訓練任務，并通過多任務學習增量地更新模型，從而幫助模型高效地學習詞匯、句法和語義表征.

由此可知，隱式情感句缺少顯式情感詞作為情感線索，隱式情感識別亟需新的特征與表示方法，另一方面，隱式情感通常與情感實體、外部知識、上下文情感信息等密切相關.基于此，本文預訓練部分采用ERNIE 2.0語言模型，充分利用其外部知識和實體信息；并且采用融合BiLSTM+Attention的混合神經網絡以捕捉上下文顯式情感信息，旨在提高隱式情感分類效果.

3 隱式情感分析EBA模型

3.1 問題定義

隱式情感分類任務即對不帶顯式情感詞的隱式情感句進行情感識別，本文將其視為3分類問題，并做如下定義：模型的輸入為隱式情感句S={W1，W2，…，WT}，其中T代表句子中包含的詞數，Wt表示第t個詞.輸出為對應的情感標簽yt，yt∈L，L={0，1，2}.其中0，1，2分別代表中性、積極、消極情感標簽.

3.2 模型結構

ERNIE2.0-BiLSTM-Attention(EBA)為本文所提出的隱式情感分析方法，即采取利用海量外部知識訓練的模型ERINE2.0并融合BiLSTM+Attention混合神經網絡，以提取高效隱式情感特征，旨在提高隱式情感分析模型的性能.EBA模型包括輸入層、預訓練語言模型層、BiLSTM層、注意力機制層、全連接層和輸出層.模型結構圖如圖1所示.

圖1 EBA模型結構圖Fig.1 Structure diagram of EBA model

3.2.1 輸入層

在輸入層中，句子中的每個詞Wt通過獨熱編碼的表示法表示為一個索引嵌入，表示為et∈Rd，將索引嵌入et傳輸到預訓練層，其中d表示語料庫詞匯集大小.

3.2.2 預訓練語言模型層

ERNIE 2.0用海量數據和相關先驗知識進行預訓練時，能夠不斷地引入大量的預訓練任務，以提升模型在詞匯、句法和語義上的表征能力，本文利用該模型的外部知識進行隱式情感分析.另外，與BERT[17]相同的是ERNIE 2.0也需要隱蔽一些詞匯，而且ERNIE 2.0還隱蔽實體詞匯，因此訓練后具有實體識別功能.

ERNIE 2.0模型采用一個多層Transformer[18]作為編碼器.Transformer通過自注意力機制捕獲每個詞向量在文本序列中的上下文信息，并生成上下文語境表征嵌入.對于給定的序列，其起始位置是預定義的分隔符[CLS]；對于輸入為多段的任務，不同段之間用預定義的[SEP]分隔.

本文在預訓練層使用ERNIE2.0模型，編碼更多的語義信息、詞匯信息、語法信息，得到包括[CLS]標記的特征向量E∈Rde.其中de表示詞向量維度.再將E輸入全連接層后得到該層輸出xt，并將其作為BiLSTM層的輸入，計算公式如公式(1)所示:

xt=Wa·E+ba

(1)

式中，Wa∈Rde×da，da為偏置向量ba的維度.

3.2.3 BiLSTM層

BiLSTM模型中基本的LSTM單元由3個門和保存每個神經元狀態的傳送帶組成，通過門控機制控制信息傳輸的路徑.BiLSTM由兩個基本LSTM組成，可以有效捕捉上下文信息用于隱式情感分析.每個LSTM單元的狀態計算公式表示為公式(2)-公式(7):

ft=σ(Wf·[ht-1，xt]+bf)

(2)

it=σ(Wi·[ht-1，xt]+bi)

(3)

(4)

(5)

ot=σ(Wo·[ht-1，xt]+bo)

(6)

ht=ot·tanhct

(7)

其中ft，it和ot分別表示遺忘門，輸入門和輸出門；ct是內部信息狀態；ht為時間t的輸出；Wf，Wi，Wo∈Rdh×dk權重矩陣，bf，bi，bc，bo∈Rdh為偏置；dh為LSTM隱藏層中的單元數；xt∈Rda表示來自預訓練層的單詞嵌入；dk=da+dh，σ是sigmoid函數；·和⊙分別表示矩陣乘法和元素乘法.

(8)

V={v1，…，vt，…，vT}

(9)

3.2.4 注意力機制層

注意力機制通過注意力描述目標輸出與原輸入數據之間的依賴關系，即文本句子中的詞與輸出結果之間的相關性，使用注意力機制可以捕獲重要文本情感信息.注意力機制層會為各個輸入分配合適的權重進行加權輸出，該層輸入為V.R為權重分配后注意力機制層的輸出，則其公式如公式(10)-式(12)所示:

M=tanh(Wm·V+bm)

(10)

α=softmax(WT·M)

(11)

R=V·αT

(12)

其中Wm作為注意力機制層的權重矩陣，bm為偏置向量，WT為隨機初始化的參數矩陣，α為輸入分配的權重.

3.2.5 全連接層

在全連接層，將極性相關的融合分布式特征表示映射到實例標簽空間，起分類器的作用.將注意力機制層的輸出R輸入到全連接層，輸出為Y，計算公式如公式(13)所示:

Y=tanh(Ws·R+bs)

(13)

其中Ws表示全連接層權重矩陣，bs是偏置向量.

3.2.6 輸出層

在輸出層，采用softmax函數進行歸一化，并將全連接層的輸出Y轉換為每個情感極性類別的近似概率值y，計算如公式(14)所示:

y=softmax(A·Y+b)

(14)

其中，A表示輸出層參數矩陣，b為偏置向量.

4 實驗和分析

4.1 數據集

本文所采用的數據集為SMP2019“拓爾思杯”中文隱式情感分析評測數據集，該數據集由山西大學提供.數據主要來源于社交網絡媒體，包括微博、旅游網站、產品論壇，主要領域/主題包括但不限于：春晚、霧霾、樂視、國考、旅游、端午節等.

數據集分為訓練集和測試集，情感標簽分為積極、消極和中性3種，數據標注詳情如表2所示.

表2 實驗數據統計Table 2 Statistics of experimental data

由表2可知，隱式情感表達中情感傾向更多的是中性情感，占比47.3%，積極情感和消極情感分別占25.9%和26.8%的比例.積極性情感數據集數量占比最少，可知微博用戶進行積極性情感表達時更側重于顯示表達，另一方面也能推斷出利用深度學習方法識別積極性隱式情感更有難度.

4.2 參數設置

將整個訓練樣本分成若干個Batch，Batch Size為每個batch中訓練樣本的數量；LSTM hidden_size1和LSTM hidden_size2分別為BiLSTM兩層LSTM的隱藏層維度；Epoch是一個完整數據集通過神經網絡正向傳播一次并進行反向傳播一次的過程.實驗參數設置如表3所示.

表3 參數設置Table 3 Parameter settings

4.3 評價方法

實驗采用準確率P、召回率R以及F1 值共 3個指標評價模型的性能，其計算如公式(15)-公式(17)所示:

(15)

(16)

(17)

4.4 實驗結果

本文將隱式情感分類視為三分類問題，情感傾向類別分別為積極、消極和中性3種.

實驗中，將本文提出的EB(ERNIE2.0+BiLSTM)和EBA(ERNIE2.0+BiLSTM+Attention)模型方法，分別與2020年發表的兩篇關于隱式情感分析的論文進行性能對比，這兩種方法均使用到神經網絡和注意力機制.BiLSTM with Multi-Polarity Orthogonal Attention[17]在論文中的實驗評價指標只有F1值.實驗結果如表4所示.

從表4可知，積極類別的隱式情感相較于其它2類情感識別起來更加困難.本文提出的EB模型和EBA模型均能較好地識別積極性隱式情感，其中EB模型在積極類別的隱式情感識別中取得最優效果；EBA模型方法能夠提升中性和消極隱式情感識別的準確率，并取得最佳整體性能.其中BiLSTM with Multi-Polarity Orthogonal Attention方法使用到了BERT+BiLSTM+Attentin，與之對比能說明在隱式情感分析上，ERNIE2.0比BERT效果要好.總之本文提出的隱式情感分類模型在各項評價指標上均取得顯著提升.

表4 不同隱式情感分析模型的性能對比Table 4 Performance comparison of different implicit affective analysis models

為了更加直觀地體現模型整體性能，本文做了一些基礎性分類模型實驗以及消融實驗，評價指標為平均準確率、平均召回率和平均F1值，實驗結果如表5所示.由表5可知，本文所提出的EB模型和 EBA模型方法在整體分類效果上優于其他方法.其中EB模型和EBA模型均在P上取得最優值，EB在R上取得最優值，EBA在F1值上取得最優值.

表5 各模型整體效果Table 5 Overall effect of each model

本文進行的眾多基礎性分類模型實驗表明，單純使用深度神經網絡進行訓練時，GRU網絡效果最佳，這是因為GRU擁有長期記憶能力并較之于LSTM，其減少一個門函數并且參數更少.根據LSTM與LSTM+Attention、BiLSTM與BiLSTM+Attention兩組對比實驗可知，在使用神經網絡時，對顯示情感分類效果具有顯著提升的Attention注意力機制在隱式情感分類效果上反而有所降低.加上具備實體識別功能的ERNIE2.0后，各分類模型性能均顯著提高.這進一步表明，利用大量外部知識進行預訓練的ERNIE2.0具有強大文本表示性能.本文還使用BERT進行微調實驗，實驗效果同樣顯著，說明了預訓練模型對隱式情感具有很好的識別能力.EBA與BERT相比，實驗效果有明顯提升，充分體現出本文語言模型結合神經網絡的優勢.根據表5和表4還能發現，EBA模型較EB模型使用了Attention，雖在整體分類效果上并未產生明顯效果，但卻提高了中性、消極情感識別準確率.

5 結束語

圍繞社交網絡文本的隱式情感分析任務，針對句中缺少顯式情感詞的問題，本文考慮情感實體信息、外部知識和上下文語境，提出了一種基于ERNIE2.0+BiLSTM+Attention(EBA)的隱式情感分析方法.首先，本文采用帶有豐富外部知識的ERNIE2.0預訓練模型進行文本表示，以準確捕捉隱式情感句詞性特征、語義特征及語法特征；其次將其文本表示輸入到BiLSTM+Attention混合網絡中，更好抽取上下文語義信息，旨在提高情感預測性能.最后在隱式情感分析公開數據集上的實驗結果表明，在各項評價指標上，本文所提出的EB和EBA模型都優于已有的基礎模型.與2020年最新的實驗結果進行對比，本文提出的模型性能更好.盡管本文的工作提升了分類模型的預測效果，但在情感實體信息的利用方面仍然具備一定的局限性.所以，接下來的工作將利用知識圖譜進行實體增強語義信息，著重研究實體對隱式情感的深層次影響，以達到更好的分類效果.