基于上下文和位置交互協同注意力的文本情緒原因識別

徐 秀，劉德喜

(江西財經大學 信息管理學院，江西 南昌 330013)

0 引言

文本情緒分析是自然語言處理領域的重要研究方向之一，它主要研究文本所蘊含的情緒及與情緒相關的深層信息。文本情緒分析的研究大多集中在情緒類別和情緒對象識別等方面，在實際應用中，若忽略更加深入和豐富的情緒信息，將影響分析的效果。挖掘文本中造成情緒的原因，可以為輿情監控、經濟預測、公眾意見挖掘、產品設計等應用提供可用信息，還可以幫助有關部門及時且有針對性地介入控制，有利于重大政策的決策。文本情緒原因識別(emotion cause detection，ECD)旨在發現文本中某一情緒表達背后的潛在原因。

傳統基于規則的方法[1-4]耗費人工且規則構建復雜，而基于統計與機器學習的方法[5-10]在特征抽取上存在主觀性過強的問題。近年來，深度學習方法[11-25]在文本情緒原因識別任務上取得了較好的效果，但現有工作中仍存在一些不足。例如，Li等人[13]提出了一種基于協同注意力神經網絡的情緒原因識別方法(Co-Attention Neural Network，CANN)，借助協同注意力機制來捕獲每個候選原因子句和情緒子句之間的交互關系，但忽略了文本中候選原因子句的上下文語義信息。考慮子句的相對位置信息，Xia等人[16]將相對位置嵌入向量連接到子句的表示中，這種方法對相對位置信息的利用較弱，對候選原因子句的分類影響較小，且增加了特征維數，可能會導致過擬合。

為了解決語義和相對位置信息利用不充分的問題，本文在CANN方法的基礎上提出一種基于上下文和位置交互的協同注意力神經網絡模型(CPC-ANN)，該模型先將相對位置信息編碼到子句的每個詞向量中，利用雙向長短時記憶網絡(Bi-Directional Long Short-Term Memory，Bi-LSTM)、Transformer網絡來捕捉子句的語義信息，以幫助產生更好的子句表示。然后，引入上下文子句信息，采用注意力機制捕獲候選原因子句和情緒子句之間的語義關系。最后，利用卷積神經網絡(Convolutional Neural Network，CNN)對候選原因子句進行分類(識別)。

本文的主要貢獻包括：

(1) 提出了一種新的CPC-ANN模型，該模型通過Bi-LSTM和Transformer來提取更深層次的子句語義信息。

(2) 將子句的相對位置信息通過相加的方式編碼到詞向量中，以增強子句相對位置信息的影響。

(3) 在候選原因子句中融合其上下文子句，以提供更多的語義信息。

(4) 在一個公共基準情緒原因數據集上驗證了CPC-ANN模型的效果。本文還通過消融實驗，證實了不同模塊的有效性。

本文的組織結構如下： 引言部分介紹研究背景；第1節總結相關研究現狀；第2節介紹CPC-ANN模型及其各層的搭建與作用；第3節介紹實驗結果和案例；最后，對全文進行總結并提出下一步的工作。

1 相關工作

文本情緒原因分析是從情緒出發，探索產生情緒背后的原因，屬于情緒的深層次分析。在早期，很多學者采用基于規則的方法來研究文本情緒原因識別問題。Lee等人[1]首次給出了情緒原因識別的正式定義，并構建了基于人工標注方案的中文情緒原因注釋語料庫，同時歸納了提取情緒原因的語言學線索詞。基于該語料庫，Lee等人[2]設計了基于語言學線索構建的兩套特征，利用系統自動提取特征和手動提取特征相結合的方式來檢測情緒原因。此外，許多學者將基于規則的方法擴展到微博等非正式文本。Li等人[3]提出了一種識別微博情緒原因的方法，通過引入社會學等其他領域的知識和理論來抽取情緒原因。Gao等人[4]以情緒認知模型為基礎提出了一個基于規則的情緒原因認知模型，從事件的主體、客體和動因來識別微博文本中情緒的原因。

為了解決人工耗費大的問題，一些學者使用基于統計與機器學習的方法。Russo等人[5]采用聚類的方法，通過基于相關語言模式和常識庫來識別情緒原因，并在其標注的意大利語語料庫上進行實驗。Xu等人[6]提出了一種基于學習排序的情緒原因識別方法，通過提取大量情緒依賴特征和情緒獨立特征，對候選原因子句排序。一些學者將情緒原因識別看作分類任務，即判別文本中的每一個子句是否是情緒原因。Chen等人[7]將文本情緒原因識別視為一個多標簽分類問題，基于最大熵分類構建多標簽情緒原因識別模型，該模型不僅可以識別多個情緒原因，還可以捕獲遠距離句子信息。Gui等人[8]則提出了一種基于多核支持向量機(support vector machines，SVM)分類模型，借助樹結構表示事件，來確定事件是否表達了情緒原因。

雖然分類模型的構建相對容易，并且取得了較好的識別效果，但是其難以捕捉文本中子句之間的關系。為解決此問題，一些學者將情緒原因識別問題看作序列標注問題。其中，李逸薇等人[9]利用條件隨機場(Conditional Random Field，CRF)來識別情緒原因，不僅能很好地融合多種統計特征，還能夠充分考慮文本上下文之間的特征信息。Ghazi等人[10]則利用CRF來預測子句級別的情緒原因，并通過FrameNet構建了包含情緒和情緒原因的英文數據集。

受到深度學習方法的啟發，神經網絡模型和注意力機制在情緒原因識別任務中得到了廣泛的應用。慕永利等人[11]采用集成的CNN模型，來判別一個子句是否包含情緒原因信息。考慮子句與情緒詞的關系，Gui等人[12]采用深度記憶網絡的方法，將情緒原因提取作為一項問答任務，來識別文本情緒原因。Li等人[13]提出了協同注意力神經網絡，通過注意力機制捕捉子句與情緒詞的關系，并進一步利用CNN來進行情緒原因識別。考慮到情緒詞周圍的語境可以提供重要線索，Li等人[14]提出了一種基于多注意力神經網絡的方法，該方法結合情緒詞與情緒語境，以及情緒子句與候選原因子句之間的相互作用，來進行情緒原因的提取。

以上工作[11-14]大多將情緒原因識別任務視為對多個子句獨立的分類任務，這導致一篇文本中被識別為情緒原因的子句可能不存在或者存在多個。為解決此問題，Ding等人[15]提出了一個基于神經網絡架構的模型，將情緒原因識別任務從一個獨立預測問題轉化為包含動態全局標簽信息的排序預測問題。Xia等人[16]提出了一個基于循環神經網絡(Recurrent Neural Networks，RNN)和Transformer的層次結構網絡，通過建模文本中多個子句之間的關系，并結合編碼相對位置和全局預測信息，在一個聯合框架中對多個子句進行同步分類。巫繼鵬等人[17]提出了一種結合規則蒸餾和層級注意力網絡的方法，采用殘差結構的層級注意力網絡和基于對抗學習的知識蒸餾框架，實現結合深度神經網絡和語言學規則的情感原因發現。

除此之外，文本的語篇結構信息、文本中多個子句之間的語義關系也能為情緒原因識別提供重要線索。Yu等人[18]提出了一種基于多級層次網絡的子句選擇方法，將詞的位置、不同層次的語義信息以及多個子句之間的語義關系都考慮在內，進行情緒原因的提取。Fan等人[19]結合文本語篇結構信息、先驗知識(情緒詞、相對位置信息等)的規則，提出了一個正則化的層次神經網絡，來進行情緒原因分析。Liang等人[20]在Bi-LSTM-CRF模型上，通過兩種注意力機制來編碼情緒表達與候選子句、相對位置與候選子句之間的相互影響。Diao等人[21-22]提出了一種多粒度雙向注意流網絡，利用雙向注意流機制獲得情感詞與上下文之間的潛在語義信息，以提高情緒原因識別的性能。此外，他們還提出了一種基于增強表示的注意力卷積上下文網絡，通過增強表征和注意力機制來提取深層情緒語義信息，同時引入層次上下文信息，從而更好地識別情緒原因。Hu等人[23]提出一種基于子句間依存關系的圖卷積網絡，通過構造一個在子句級別編碼依賴的圖，來融合語義和結構信息，有效地進行情緒原因分析。

為了增強原因和情緒之間的隱含聯系，Xia等人[24]將情緒原因提取任務擴展為情緒-原因對提取任務，即通過情緒子句和原因子句的相互學習，提取出文本中的情緒-原因對。Ding等人[25-26]則提出了一個2D一體化方法，將文本中的所有子句都看作情緒子句和原因子句來進行兩兩組合配對，以提高情緒原因識別性能。

2 CPC-ANN模型

文本情緒原因識別的主要目的是從一段包含情緒的文本中識別情緒產生的原因信息，示例如表1所示。

一般地，待識別的文本中只標注一個情緒子句和至少一個與之對應的情緒原因子句。文本情緒原因識別任務即： 給定文本中的情緒子句C0，從C-3到C+2六個子句中識別出情緒原因子句C-1。

基于上下文和位置交互協同注意力神經網絡模型(CPC-ANN)如圖1所示。CPC-ANN模型主要分為五層： 相對位置嵌入層、Bi-LSTM層、Transformer層、注意力層以及CNN輸出層。下面分別對模型的五個模塊進行介紹。

2.1 相對位置嵌入層

在CPC-ANN模型中，相對位置被定義為當前子句和情緒子句之間的相對距離。例如，情緒子句左邊最近子句的相對位置是-1，情緒子句右邊最近子句的相對位置是+1，等等。

給定一個包含情緒和情緒原因的文本D={c1,c2,…,ck}， 該文本由k個子句組成，假設文本中包含唯一一個情緒子句ce和至少一個對應的情緒原因子句ca，子句ci={w1,w2,…,wn}由n個詞組成。對于子句ci，1≤i≤k， 首 先通 過Word2Vec將每個單詞wt，1≤t≤n， 映射到一個d維向量ut∈Rd， 并計算出子句ci相對于情緒子句ce的相對位置pi。

為了增強相對位置信息的作用，將子句的相對位置信息通過相加的方式嵌入到子句的每個詞向量中，其計算方法如式(1)所示。

因此，子句ci可以表示為一個特征映射Xi={x1,x2,…,xn}。 特別地，將情緒子句ce和情緒候選原因子句ca的特征映射分別記為Xe={x1e,x2e,…,xne}和Xa={x1a,x2a,…,xna}。

對訓練語料中的原始輸入序列長度進行統計，將所有輸入序列用占位符補充至最大長度，將統一了長度的輸入序列輸入到模型中。

2.2 Bi-LSTM層

CPC-ANN模型用Bi-LSTM編碼子句中詞的上下文信息。將子句ci的向量表示Xi輸入到Bi-LSTM中獲得兩個方向的隱藏層輸出信息，如式(2)、式(3)所示。

其中，xt為子句Xi的第t個詞wt的嵌入向量，通過Bi-LSTM得到該詞的隱變量表示如式(4)所示。

最后，將子句ci中所有詞的隱變量表示拼接起來，得到ci的上下文嵌入矩陣Hi∈Rn×2h， 其中，h為隱藏單元數。特別地，情緒子句Xe和候選原因子句Xa通過Bi-LSTM編碼表示記為He和Ha。

2.3 Transformer層

為挖掘子句內詞語之間的關系，獲得更深層的文本語義信息，CPC-ANN模型采用Transformer對子句進行編碼。Transformer主要包括多頭自注意力機制和前饋神經網絡。

多頭自注意力機制的目的是得出句子中其余部分對所關注部分的影響，其計算過程可以表示為將查詢Q、關鍵字K和值V映射到輸出上，表示如式(5)～式(7)所示。

其中，WQ、WK和WV分別是查詢、關鍵字和值的可學習權值矩陣。

然后，計算出子句的注意力表示Zi，如式(8)、式(9)所示。

在注意力子層之后是一個前饋神經網絡子層，其計算如式(11)所示。

多頭自注意力層和前饋神經網絡層都使用殘差連接，然后在輸出處使用歸一化。

最后，得到子句向量Hi的輸出向量oi。特別地，情緒子句表示為oe，候選原因子句表示為oa。

2.4 注意力層

CPC-ANN模型借助注意力機制捕獲情緒子句與候選原因子句之間的語義關系，為子句的詞序列語義特征分配不同的權重。

首先，將上下文語義信息融入到候選原因子句中，如式(13)所示。

其中，of、ob是候選原因子句上下文子句的向量表示。

如果候選原因子句的上下文子句為空，即當前候選原因子句為文本的第一個子句或最后一個子句，則只融入其下文子句或上文子句，如式(14)所示。

其次，構造注意力矩陣A∈Rn×n來測量候選原因子句和情緒子句之間的語義關系，其計算如式(15)所示。

其中，score為余弦距離，Ai,j表示候選原因子句o的第i個詞向量oi與情緒子句oe的第j個詞向量oje之間的語義關系強度。

然后，將注意力矩陣用于子句的原始向量表示，獲得兩個子句的最后的輸出，如式(16)、式(17)所示。

2.5 CNN輸出層

CPC-ANN模型利用CNN從子句中獲取局部上下文特征，經過多次卷積運算，將這些局部特征形成一個全局特征向量。將兩個子句序列化輸出Ca和Ce送入CNN層，應用三個長度分別為2、3、4的卷積濾波器和最大池化操作， 以選 擇信息最豐富的特性。將3個卷積操作得到的輸出結果進行拼接，其候選原因子句Ca的計算如式(18)～式(20)所示。

其中，cnn2,3,4為卷積操作，poolmax為最大池化操作，WC為全連接層的權重。

同理，情緒子句最后通過CNN層生成特征向量Oe，將它們連接起來通過一層全連接層并送入softmax層來進行分類。最后，模型的訓練過程采用反向傳播方法進行參數調整，損失函數采用交叉熵損失函數，計算方法如式(21)、式(22)所示。

3 實驗與結果分析

3.1 數據集和實驗設置

CPC-ANN模型是在Gui等人[8]標注的中文情緒原因數據集上進行的實驗，數據集的統計信息如表2所示。

表2 中文情緒原因語料庫的統計信息

模型的參數設置： 詞向量的維度d設為30，文本子句最大字數n為42。實驗過程中，隨機將數據集的90%作為訓練集，10%作為測試集，重復實驗15次，求取各個衡量指標的平均值。模型超參數設置如表3所示。

實驗評估使用精確率P(Precision)、召回率R(Recall)以及F1值。其計算如式(23)～式(25)所示。

表3 模型超參數設置

其中，Ccauses是模型預測的正例與真實正例重疊部分的數量，Pcauses是模型預測為正例的數量，Acauses為樣本中真實正例的數量。

3.2 對比模型

為了驗證CPC-ANN模型的有效性，將CPC-ANN模型與以下幾組方法進行比較：

(1) 基于規則和常識的方法：

① 基于規則的方法(RB)[1]。

② 基于常識的方法(CB)[5]。

(2) 基于機器學習方法：

③ Multi-kernel[8]。

(3) 基于深度神經網絡的方法：

④ ConvMS-Memnet[12]： 卷積多插槽深度記憶網絡模型。

⑤ CANN[13]： 協同注意力神經網絡模型。

⑥ HCS[18]： 多層次神經網絡模型。

⑦ RTHN[16]： 基于RNN和Transformer的層次神經網絡模型。

⑧ MANN[14]： 基于多注意力的神經網絡模型。

⑨ RHNN[19]： 基于知識正則化方法的層次神經網絡模型，該方法為當前已知最佳性能方法。

⑩ CPC-ANN： 本文提出的基于上下文及位置交互的協同注意力模型。

3.3 實驗結果分析

各模型的實驗結果如表4所示。

表4 CPC-ANN模型實驗結果

由表4可以看出，總體上，CPC-ANN模型在各個評測指標上都顯著優于其他模型，P、R和F1值分別為0.845 5、0.796 2和0.820 1，其中，F1值比目前最先進的方法RHNN提升了2.87%。

在基于規則和常識的方法中，RB精確率較高，而CB的召回率較高。主要原因是該類方法主要依賴于規則和線索詞來識別情緒原因，規則準確但覆蓋受限，常識詞典有更高的覆蓋但過濾不夠精準，而RB+CB則利用了二者的互補關系。

在基于機器學習方法中，Multi-kernel通過句法結構來表示引起情緒的事件，提升了模型的性能。然而該方法依賴于昂貴的人工成本，缺乏對不同數據集的可擴展性。

在基于深度神經網絡方法中，CANN和HCS在數據集上的性能相近，均比ConvMS-Memne的F1值提升了3.1%，其中CANN能夠捕捉情緒子句與每個候選原因子句之間的相互關系，HCS則通過學習不同層次的語義信息以及多個子句之間的語義關系，來進行情緒原因的提取。RTHN比HCS在F1值上提升了4.08%，說明考慮子句的相對位置信息以及全局標簽信息有利于情緒原因的識別。MANN模型比CANN在F1值上提升了4.40%，說明多注意力機制的有效性。而RHNN在數據集上有更好的表現，是因為其可以捕捉到更多的情緒線索。

本文所提出的CPC-ANN模型進一步提高情緒原因識別的性能。具體來說，與MANN相比，CPC-ANN在F1值上提升了4.95%，這表明Transformer在提取子句語義特征上具有優越性，子句的相對位置信息對情緒原因識別有輔助作用。與RHNN相比，CPC-ANN在F1值上提升了2.87%，原因是CPC-ANN融合了候選原因子句的上下文語義信息，可以使注意力機制在捕捉每個候選原因子句和情緒子句之間的語義關系時獲得更多的語義信息。

3.4 消融實驗

為了驗證CPC-ANN模型各個模塊的作用，本節對其進行消融實驗。以CPC-ANN模型為基準，在模型參數不變的前提下，分別減少相對位置嵌入層中子句的相對位置信息(Relative Position，-RP)、注意力層中的原因子句上下文語義信息(Contextual Information，-CI)以及Transformer層(-TR)。其實驗結果如表5所示。

表5 消融實驗結果

從表5可以看出，去掉相應模塊后，CPC-ANN模型的效果都有不同程度的下降，從而驗證了各個模塊的有效性。實驗結果顯示，子句的相對位置信息(-RP)對模型的影響最大，去掉RP后，CPC-ANN的F1值下降了6%。

除相對位置信息外，去掉候選原因子句的上下文語義信息(-CI)，模型的F1值下降了1.74%，這表明上下文信息是理解情緒原因的重要輔助線索。最后Transformer層對模型的性能有一定的影響，這表明相對使用Bi-LSTM提取語義，Transformer在提取文本語義信息上有優越性。

3.5 位置平衡數據集上的實驗

Gui等人[8]標注的中文情緒原因數據集中，情緒原因相對位置嚴重不平衡，如表6所示。對數據的統計顯示，相對位置為“0”或“-1”的原因子句很普遍，占比高達78%。這種位置不平衡可能是導致深度神經網絡模型表現出高性能的重要原因[26]，或者說，模型的優異表現可能并不是建立在對語義充分理解的基礎上，而是充分利用了位置信息。

表6 原因子句相對位置分布情況 (單位：%)

為了驗證CPC-ANN模型在學習深層語義信息方面的能力，本文構建一個具有平衡位置分布的數據集。該數據集通過隨機選擇子句位置為“-1”“0”“-2”的子句，將其比例降低到與相對位置為“1”的子句對等的比例，同時保持其他相對位置的子句數量不變，從而構建一個新的具有792個實例的相對位置平衡數據集，其位置分布如表6所示。各模型在位置平衡數據集上的識別結果如表7所示。

表7 位置平衡數據集上情緒原因識別結果

由表7可以看出，在使用了位置平衡數據集后，CPC-ANN模型的F1值從0.820 1下降到0.694 8，F1值下降比例為15.27%，小于CANN在F1值上的下降比例，表明CPC-ANN能夠獲得更多的語義信息來識別情緒原因。RTHN模型與位置信息相關性更強，其性能受位置偏差影響最大，下降比例達到24.37%。RHNN由于引入了基于位置和情緒的知識正則化約束項，當位置不再起重要作用時，模型傾向于將更高的概率分配給那些與情感詞有關的子句，增強了學習特征與預測之間的因果聯系，因此在位置平衡數據上的F1值下降比例最小。與RHNN相比，CPC-ANN下降比例高于RHNN，但總體上的F1值仍優于RHNN，說明在語義信息的利用上，CPC-ANN也較RHNN更有優勢。

3.6 案例分析

本節通過一些案例，來分析CPC-ANN模型的優勢與不足。

3.6.1 正確示例分析

CPC-ANN模型是對CANN模型的改進。除此之外，RHNN模型是當前已知性能最佳的模型。因此本節通過案例對比這三種模型。

(1)各模型對示例1的識別結果。如表8所示，CANN模型識別錯誤，而RHNN模型和CPC-ANN模型識別正確。其中，CPC-ANN模型融入了候選原因子句相對情緒子句的位置信息，RHNN模型則引入了基于位置的知識正則化約束項。這個示例證明了子句的相對位置信息能為情緒原因識別提供有效線索。

表8 各模型對示例1的識別結果

(2)各模型對示例2的識別結果。如表9所示，CANN模型和RHNN都識別錯誤，而CPC-ANN模型識別正確。其中，CPC-ANN模型采用了Bi-LSTM以及Transformer來提取子句特征，同時融入了候選原因子句的上下文信息，使模型能更好地學習子句的深層語義信息來識別情緒原因。

表9 各模型對示例2的識別結果

3.6.2 錯誤示例分析

CPC-ANN模型雖然取得了不錯的實驗效果，但有些情緒原因子句并不能很好地被識別。其錯誤的主要原因如下：

(1) 真實的情緒原因子句太短，使得可利用的語義信息太少，不能很好地建模候選原因子句與情緒子句之間的關系。如表10所示，示例3中，CPC-ANN模型對“-1”子句語義建模效果不好，導致CPC-ANN模型識別錯誤。

表10 CPC-ANN模型對示例3的識別結果

續表

(2) 在模型訓練的過程中，位置信息被過多地融入模型中，使得模型對距離情緒子句較遠的情緒原因子句有較低的識別敏感度。如表11所示，示例4中，“-5”位置子句相對于情緒子句“0”距離較遠，導致CPC-ANN模型識別錯誤。

表11 CPC-ANN模型對示例4的識別結果

4 總結展望

本文提出上下文及位置交互的協同注意力模型CPC-ANN，利用Transformer得到深層語義的子句表示，增強子句的相對位置信息，引入候選原因子句上下文信息，使得模型對于文本情緒原因特征的學習更加深入，大幅提高了情緒原因識別的準確性。實驗結果表明，本文方法在公開的數據集上達到了最先進的性能，案例分析也證實了充分利用子句相對位置信息和上下文信息的有效性。

在未來的研究中，可以從以下幾個方面對模型進行改進。首先，可以擴充中文情緒原因的數據集，解決標注語料庫情緒原因的位置分布不平衡的問題。其次，可以考慮文本的語義結構關系，探索如何將篇章信息融入文本情緒原因識別任務中，以進一步提高情緒原因識別的性能。