基于圖依存分析的情感原因對抽取任務

摘 要： 情感原因對抽取是情感分析任務中的子任務，旨在抽取出給定文檔中的所有情感子句以及引起該情感所對應的原因子句。先前的研究在生成情感子句與原因子句表示時忽略了情感子句與原因子句之間的相互聯系。為了解決上述問題，基于圖依存分析的思想并融入了圖注意力機制，提出了GAT-ECPE模型。該模型在獲取到情感子句表示與原因子句表示時，將句向量作為節點輸入圖注意力層從而學習到子句之間關系的信息，而后進行雙仿射映射得到情感原因對的編碼表示。并且設置了多任務來將情感抽取與原因抽取任務建立聯系。在ECPE數據集上的實驗結果證明，該模型相較于先前的一系列模型，在評估指標上有所提升。

關鍵詞： 情感原因對抽取； 圖依存分析； 圖注意力機制； 多任務

中圖分類號： TP393.04"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-007-1324-06

doi：10.19734/j.issn.1001-3695.2021.10.0448

Task of emotion cause pair extraction based on graph-based dependency parsing

Gao Dechen1， Zhang Benwen2， Zhao Rongmei1， Ju Shenggen1

（1.College of Computer Science， Sichuan University， Chengdu 610065， China； 2.College of Science amp; Technology， Sichuan Minzu College， Kangding Sichuan 626000， China）

Abstract： Emotion cause pair extraction is a subtask in the sentiment analysis task，which aims to extract all emotion clauses in a given document and the cause clauses corresponding to the emotion.The previous work ignores the interrelationship between the emotion clause and the cause clause when generating the expression of the emotion clause and the cause clause.In order to solve the problem，based on the idea of graph-based dependency parsing and incorporating the graph attention mechanism，

this paper proposed the GAT-ECPE model.When the model obtained the expression of the emotion clause and the reason clause，it used the sentence vector as a node into the graph attention layer to learn the information about the relationship between the clauses，and then performed biaffine transform to obtain the encoding of the emotion cause pair expression.And it set up a multi-task to establish a relationship between the extraction of emotions and causes.The experimental results on the ECPE data set prove that compared with the previous series of models，this model has improved evaluation indicators.

Key words： emotion cause pair extraction； graph-based dependency parsing； graph attention mechanism； multi-task

0 引言

情感分析是自然語言處理領域中的熱門任務，先前對于情感分析的研究主要集中于情感分類任務。情感分類任務主要是對情感極性進行分類，但是隨著自然語言處理技術的不斷發展，僅對情感進行分類的任務已經不能夠滿足現實生活中的需求，所以研究者們將目光轉向到研究情感背后的原因。隨著互聯網技術的發展，用戶們可以較為方便地在網上發表評論，而用戶評論對于廠商來說是極其重要的信息。例如在消費者評論挖掘中，可以根據用戶評論中所表達的不滿情緒，找出原因來對產品的不足進行改進；又或是對于輿論監控，一旦在網絡上發現傳遞著與工作單位相關的負面輿情，需要在事情發生初期及時處理，根據網上的負面情緒找到對應的原因，從而采取相應的措施。而如今社交網絡為人們提供了一個可以隨時隨地發表評論的平臺，這就產生了海量數據，僅依靠人工不足以完成以上的任務，因此情感原因抽取任務也逐漸成為熱門研究對象。

情感原因抽取任務是由Lee等人［1］最先提出，并將其定義為詞級別的序列標注任務，其旨在提取出給定情感所對應的原因句子。早期的研究主要是通過人工構建規則的方法來解決該任務，但是人工構建規則在面對較大數據集時很難考慮到所有情況，所以后續研究開始使用機器學習的方法。而后Gui等人［2］發現單個詞的影響跨越了整個文檔中的子句，于是將詞級別的任務轉變為子句級的任務。隨著深度學習技術的出現與發展，越來越多的研究者將深度學習技術運用到子句級的情感原因抽取任務當中。Xia等人［3］提出了情感原因對抽取任務，并且提出一個兩步驟的模型，通過第一步驟將情感子句與原因子句全部抽取出來，再通過第二步驟進行情感子句與原因子句的配對，并通過所訓練的過濾器得到最終的情感原因對。該方法解決了先前工作中需要預先進行人工情感標注的不足，從而節省人力，但也存在著錯誤傳播的缺陷。后續的研究基本基于端到端的框架來解決錯誤傳播問題，如文獻［4，5］，但該模型還存在著不足。首先對于情感原因對抽取任務而言，情感子句與原因子句之間的因果關系對于抽取潛在的情感原因對是十分重要的，但是先前的模型中忽視了子句之間相互關系的信息，并且作為鏈接預測問題，其用Bi-LSTM網絡對節點表示進行建模的方法不能識別出高階信息；其次，先前模型中將子句的情感抽取與原因抽取作為兩個相互獨立的輔助任務，而對于同一句話而言，該句是否為情感子句或原因子句存在著關聯。

針對以上問題，基于文獻[6～8]，本文提出GAT-ECPE模型，基于圖依存分析的思想，在生成情感子句表示與原因子句表示時通過圖注意力網絡進一步學習子句間相互關系信息，并且設計了多任務來交互子句的情感抽取與原因抽取，并在ECPE數據集上對GAT-ECPE模型的F1值、準確率和查全率進行了驗證。

1 相關工作

文獻［1］首次提出了ECE（emotion cause extraction）即情感原因抽取任務，目的是找到所標記的情感產生的原因，并將該任務視做詞語級序列標記任務，同時基于中文微博構建了一個小規模的中文情感原因語料庫，并且在語料庫中標注了情感與原因的跨度。

文獻［9，10］基于相同的任務設置，使用基于規則的方法在各自的語料庫上進行情感原因抽取的研究，由于人工制定的規則很難覆蓋所有的情況，所以一些研究者開始將機器學習方法應用到情感原因抽取之中。文獻［2］使用了文獻［1］中使用手動編譯的規則作為特征，并選擇機器學習模型，如SVM和CRF分類方法，來檢測情感原因。Ghazi等人［11］則使用CRF來提取原因，但是局限于情感必須與原因處于同一個子句中。

Chen等人［12］對文獻[1]所構建的語料庫進行分析，發現約有14%的情感原因是包含多個子句的復雜情況，對于多子句的復雜情況，子句相較短語可能是更適合發現原因的單元，并提出了多標簽分類的方法，該方法可以更好地捕獲遠程信息來進行情感原因提取。Gui等人［13］發現在詞語級上處理情感原因抽取任務時，每個詞語在一個原因中的影響是可以跨越整個文檔段落的，將詞語級情感原因抽取轉變為子句級情感原因抽取任務，并且基于新浪微博重新構建了一個情感原因語料庫。隨著深度學習模型的興起與發展，一些研究開始利用神經網絡來完成該任務且效果相較之前有了較大幅度的提升。Cheng等人［14］將情感原因抽取任務分為特征提取以及分類兩個任務，利用LSTM來對上下文進行建模，提高了模型的性能。Chen等人［15］提出一種用于情感原因抽取的分層卷積神經網絡模型（Hier-CNN），該模型先通過子句級編碼器提取子句中的局部特征，再通過子推文級編碼器將局部特征視為序列，通過卷積神經網絡（CNN）來為每個子句提取序列特征，這種分層式的模型在后續也得到了廣泛的應用。覃俊等人［16］提出了一個基于子句的自注意力機制的神經網絡模型，模型中結合了子句的相對位置關系去尋找情感原因子句。Li等人［17］指出情感詞的上下文詳細描述了情感，并且是情感原因的線索，但先前文獻并沒有重視，因此Li等人［17］在將情感詞以及它的上下文作為一個整體并設計了一種新穎的共注意力神經網絡模型（co-attention）。受到多任務信息的啟發，Chen等人［18］則注重了情感分類任務與情感原因抽取任務兩者之間的相關性，并且注意到情感句與原因句的抽取需要不同的特征，提出了聯合編碼器與訓練器，使得模型可以針對兩個任務分別進行學習。

上述的情感原因抽取任務都是在給定文本段情感句的情感注釋的前提下進行，即必須人工對文本段中情感句的情感進行標注，而這需要耗費大量的資源，在現實中的應用也受到了限制。為了更好地在實際生活中進行應用，Xia等人［3］將情感原因抽取任務改進成不需要對文檔進行情感標注的情感原因對抽取任務，并為該任務提出了一個兩步驟分層結構網絡。盡管Xia等人［3］注重了情感與原因之間的相互關系，但所設計的兩步驟的模型結構還是存在著錯誤傳播的問題。Wei等人［8］對原有的兩步驟模型進行了改進，采用端到端的框架，從排序的角度處理情感原因對提取，即對給定文檔中的候選子句對進行排序，與之前的兩步解決方案不同，可以直接從文檔中提取情感原因對。代建華等人［19］參考了基于CNN的閱讀理解式回答模型，通過在數據集上對情感原因關鍵字進行標注，融入了情感特征的情感膨脹門控CNN，更好地進行情感原因對的抽取。Song等人［5］則參考了鏈接預測的方法，提出了一種端到端的多任務學習模型，并且在模型中加入了兩個輔助任務，即子句的情感抽取與原因抽取，旨在進一步增強中間層的情感表示與原因表示。

Song等人［5］借助了Dozat等人［6］提出的圖的依存分析思想。其中句法依存分析問題是自然語言處理中的關鍵技術之一，基于圖的依存分析任務是由McDonald等人提出，將解析視為基于搜索的結構化預測問題，其目標是學習依賴樹的評分函數，以便正確的樹得分高于所有其他樹。后續文獻［20］使用Bi-LSTM作為編碼器，在基于圖的依存分析任務中取得出色的結果。基于這項工作，Dozat等人［6］提出了一種簡單有效的基于雙仿射的圖依存分析器，并在各種數據集上取得最好的結果。Dozat等人［6］指出，原先的編碼器中，每個節點只會獲得一個向量表示，但是由于依賴樹的邊為有向邊，所以當一個節點為有向邊的頭部或者尾部時應該具有不同的向量表示。

Song等人［5］將情感原因對抽取任務視做鏈接預測問題，即預測是否有從情感子句到原因子句的有向邊，與依存分析方法相比，情感原因對抽取任務中節點兩個向量表示分別為情感表示與原因表示。并且在模型中加入了情感抽取與原因抽取作為輔助任務，旨在進一步增強中間情感表示和原因表示。但是，在Song等人的模型中，雖然將情感抽取與原因抽取作為輔助任務，但是將兩個任務視做獨立的兩個子任務，而情感與原因之間是有著相互指認的關系，兩個任務之間存在著緊密的聯系。

Wei等人［8］提出情感原因對的情感子句與原因子句之間存在因果關系，因此文檔中子句之間相互關系的信息有利于提取潛在的情感原因對。而針對圖的依存分析問題，Ji等人［7］指出原先基于RNN或是Bi-LSTM來學習節點表示的方法不足以捕獲復雜句子結構的相互信息。Ji等人[7]提出用圖神經網絡（GNN）來生成節點表示，通過堆疊GNN網絡層，利用GNN的迭代更新，即每次更新時會考慮到鄰接節點的信息，所以GNN能自然地捕獲到多跳（即高階關系）關系。近年來，圖神經網絡也逐漸成為情感分析任務中的研究熱點，而圖注意力網絡的提出則解決了GCN中不容易分配不同的學習權重給不同的鄰居節點的問題。相較于Bi-LSTM，GAT能夠對相鄰的節點進行權重分配從而學習到節點之間的相互關系，而對于依存分析任務，通過堆疊GAT層，利用GAT的迭代更新，能夠自然地在節點更新時考慮到鄰接節點的信息，并學習到多跳信息，即可以學習并處理高階關系信息。

從上述研究可以得知，先前基于鏈接預測的端到端框架模型還存在著問題：a）在生成情感子句表示與原因子句表示時，沒有考慮到子句之間的相互關系；b）先前的任務忽略了子句的情感抽取與原因抽取任務之間的相互關聯。

2 GAT-ECPE模型

本文的情感原因對抽取的任務是給定一段文本，文本當中包含著情感子句以及引起該情感的原因子句，從中抽取出情感子句與對應的原因子句，而在本文中將情感原因對抽取任務視做鏈接預測任務，即預測是否存在從情感子句到原因子句的定向鏈接，將有定向鏈接的視做正確的情感原因對。本文使用Xia等人［3］構建的ECPE數據集，情感原因對抽取任務實例如圖1所示。

在圖1中展示了情感原因對抽取任務的例子，在這個例子中，按照標點符號劃分，分為七個子句。因為情感詞匯“贊揚”包含在了第三個子句中，所以將其稱為情感子句，代表包含情感的句子。而與其對應的原因則分別在：第一個子句“對于魯女士遇見老人跌倒后立刻出手相助”以及第二個子句“還陪著老人一起等民警的行為”。本文將這兩個句子稱做原因子句，即引起情感的原因所在的句子。從圖1中的例子可以看出，根據上下文的相關信息，情感原因對提取任務是要從文本中找出該文本中包含情感的子句（該數據集的每個文檔僅包含一個情感子句），并找出與該情感子句相對應的原因子句。

整個任務的輸入為整個文本段D=（c1，c2，…，c|D|），其中|D|表示該文檔中包含多少子句。對于每個子句ci，還可以細分成詞語級別，即ci=（wi1，wi2，…，wi|ci|），|ci|表示該句子中包含多少個詞語。任務的輸出為分值超過了所設置閾值的情感原因對P={（ce，cc）}，其中：ce代表情感子句，cc代表原因子句。

本文模型基于端到端的框架，編碼層的設計采用了分層的結構，分為詞級別編碼、子句內信息編碼以及子句間信息編碼。針對先前模型中忽視了情感與原因之間的相互關系的不足，設計了輔助任務，將同一子句進行情感抽取與原因抽取的兩個任務進行交互。并且為了增強情感子句與原因子句表示中的相互關系，基于圖的依存分析的思想，將情感子句表示作為依賴項，將原因子句表示作為被依賴項，預測是否有從情感子句到原因子句的邊。并在先前模型的基礎上，加入了圖注意力網絡，使得模型能更好地學習到子句之間的相互關系信息，設計出GAT-ECPE模型。

GAT-ECPE采取一個分層的結構來對不同粒度進行建模，如圖2所示，大致可以分為四個模塊：第一個模塊是詞編碼層，目的是獲取詞的表示；第二、三個模塊是子句內編碼層和子句間編碼層，將上一步的詞的表示轉換為包含上下文的子句表示；第四個模塊是雙仿射注意力層，它對情感子句與原因子句之間的交互進行編碼后輸出位置權重矩陣。

3 實驗

3.1 實驗設置

1）數據集 本文使用的情感原因對數據集為Xia等人［3］發布的用于情感原因對抽取任務的公開數據集，該數據集是在先前ECE數據集基礎上加以改進得到的，是現在ECPE任務的基準數據集。其中每個文檔僅包含一種情感以及相應的一個或多個原因，具有兩種或多種情感的文檔被分為多個文檔，使得每個文檔僅包含一種情感（及一個情感子句）。為了更好地滿足情感原因對抽取任務的要求設置，將具有相同文本內容的文檔整合到一個文檔中。而根據統計總共有1 945篇文段，包括了2 167對情感原因對，并且僅有一對情感原因對的文檔數占據了總文檔數的89.77%。數據集統計信息如圖5、6所示。

2）實驗參數 本文實驗條件為一個GTX 2080Ti，使用PyTorch框架；詞向量用的word2vec在微博上訓練的詞向量來初始化單詞嵌入，嵌入維度設置為200；單向LSTM的隱狀態的維度為300，并且過濾器數量設為50；為了避免過擬合，將dropout設置為0.5。全連接層維度為100，最后二分類的閾值η設置為0.3，batch-size為16，學習率為10-3，l2正則化的系數λ為10-5，損失函數中的權衡輔助任務的系數β設置為0.5。位置權重矩陣的平滑項ε設置為1。

3）評估指標 選取了準確率P、查全率R和F1值作為任務的評估指標。

P=∑模型正確預測的情感原因對∑模型預測的情感原因對的總數

R=∑模型正確預測的情感原因對∑數據中實際情感原因對的總數

F1=2×P×RP+R

而對于子任務中情感子句與原因子句的抽取同樣是用準確率、查全率以及F1值來評估，僅僅是將上面的情感原因對替換成情感子句與原因子句即可。

3.2 基線模型

為了更好地驗證本文GAT-ECPE模型的有效性，以下面模型作為基線模型：a）文獻［3］提出的基于Bi-LSTM，兩步驟方式的Indep模型，以及在Indep模型的基礎上改進的Inter-CE和Inter-EC模型；b）文獻［5］提出的使用端到端的架構的鏈接預測的E2EECPE模型；c）文獻［21］提出的在兩步驟提取的基礎上，通過自蒸餾方法提升子句的情感抽取與原因抽取的結果的MAM模型。

3.3 實驗結果與分析

3.3.1 實驗結果對比

在表1中給出了準確率、查全率以及F1值三項數據的結果。由表1可知，GAT-ECPE模型三項任務的F1值均能夠明顯高于三種基線模型，在情感原因對抽取任務上相較于E2EECPE模型增長了1.7%，相較于MAM模型增長了3.6%，證明了模型的有效性。GAT-ECPE與MAM模型相比較，在MAM模型中，對于子句的情感抽取與原因抽取采用了輔助任務，并且設定了自蒸餾方法來對抽取結果進行進一步提升，而本文模型的結果仍優于MAM，說明對于同一個子句而言，其是否為情感或原因子句之間有著相互指認的關系，提供其中一個的結果有助于另一個的抽取。

GAT-ECPE與E2EECPE模型相比較可以得知，在三項任務中，本文模型都優于E2EECPE模型結果。首先對于子句的情感抽取與原因抽取而言，由于本文采用了輔助任務的方法，將子句的情感抽取與原因抽取相結合，從而使得兩個任務的結果有所上升。而對于情感原因對抽取，同樣采用了基于鏈接預測的任務設定，本文加入了圖注意力網絡來生成子句的情感表示與原因表示，相較于僅使用Bi-LSTM來獲得子句表示，圖注意力網絡能夠更好地學習子句間信息，所以效果有所提升。

3.3.2 圖注意力網絡與多任務的消融實驗

為了能更好地了解圖注意力網絡和多任務對于模型效果的影響，對GAT-ECPE任務進行了消融實驗。分別從GAT-ECPE模型中消融圖注意力網絡以及多任務，將消融圖注意力網絡的模型稱為ECPE-LSTM，將消融多任務的模型稱為ECPE-only。

從表2可以得知，將ECPE-LSTM與GAT-ECPE比較，在情感原因對抽取任務上的結果有所下降，原因可以解釋為：子句之間的相互信息有助于抽取出對應的情感原因對，缺少圖注意力網絡來對子句表示進行子句間關系信息的更新，使得對于情感原因對定向鏈接的預測準確度有著一定的影響。并且GAT-ECPE相較于ECPE-LSTM模型，通過堆疊兩層圖注意力網絡層，每層通過聚合來自鄰居的信息來獲得節點的表示，能夠更好地建模子句間關系。

將ECPE-only與GAT-ECPE相比較，可以說明兩點：a）模型在情感子句抽取與原因子句抽取任務上都有所下降，說明對于同一句子句來說，它是否為情感子句或原因子句，兩者之間是存在著相互指認的關系，即提供情感抽取的結果有助于幫助該子句的原因抽取，反之亦然，設置輔助任務則能夠將子句的情感抽取與原因抽取構成聯系；b）對于情感原因對抽取結果上略有下降，原因是生成情感原因對表示的情感子句與原因子句的表示在通過輔助任務獲得對應的原因抽取以及情感抽取的結果時，由于缺少輔助任務，兩者的情感抽取與原因抽取結果受到影響，而后續導致錯誤傳遞使得情感原因對抽取的結果也有所下降。

3.3.3 不同的閾值η對F1值造成的影響

在對閾值η設置的時候，本文無法準確地知道哪個閾值是最為合適的，因此，通過更改閾值并根據不同閾值所對應的結果來進行閾值的設置。從圖7中可以得出結論，閾值為0.3左右時是最為合適的，隨著閾值的進一步增加，雖然準確率有所上升，但是查全率的下降會造成F1值的下降，這意味著抽取情感原因對時，正確的情感原因對可能被篩選出去。而由于最佳的閾值不是在0.5附近，原因可能是在通過sigmoid激活函數后，整體期望數值會進一步下降。

3.4 具體案例分析

在表3的兩個案例中，案例2與正確結果相符，而案例1中，預測結果中多預測了從子句2到1的情感原因對，潛在的原因是將“氣死了”視做情感，從而將子句2視做情感子句找到其對應的原因子句1。這一部分可能是數據集存在的不足，子句2是否定義為情感子句有些模棱兩可。

4 結束語

情感原因對抽取任務相較以前的情感原因抽取任務來說是一項更具有挑戰性的任務。由于文檔中的情感不是預先標注好的，需要通過訓練模型識別并抽取出情感句；此外，進行情感原因對篩選的過程中也需要考慮到較多方面的信息。為了克服這些困難推動了情感原因對抽取任務的發展，如今基于鏈接預測的框架能較好地得到情感原因對，但不論是子句的情感抽取與原因抽取的相互聯系還是情感子句與情感子句之間的相互聯系，都沒有得到過多的重視。本文利用圖注意力機制，對原本的子句表示形式進行了進一步的更新，使得模型可以更好地學習情感子句與原因子句之間的相互關系，并且設置了多任務來建立情感抽取與原因抽取任務之間的關聯，提高了抽取的結果。而根據對文檔中數據的統計，在處理單個情感子句對應多個原因子句的任務時，效果相較單對單的任務有所下降，接下來的任務會集中于處理單個情感子句對應多個原因子句的抽取情況。

參考文獻：

［1］Lee S Y M，Chen Ying，Huang Churen.A text-driven rule-based system for emotion cause detection［C］//Proc of NAACL HLT 2010 Workshop on Computational Approaches to Analysis and Generation of Emotion in Text.2010：45-53.

［2］Gui Lin，Yuan Li，Xu Ruifeng，et al.Emotion cause detection with linguistic construction in Chinese Weibo text［M］//Zong C，Nie J Y，Zhao D，et al.Natural Language Processing and Chinese Computing.Berlin：Springer，2014：457-464.

［3］Xia Rui，Ding Zixiang.Emotion-cause pair extraction：a new task to emotion analysis in texts［EB/OL］.（2019-06-04）.https：//arxiv.org/abs/ 1906.01267.

［4］Wei Penghui，Zhao Jiahao，Mao Wenji.Effective inter-clause modeling for end-to-end emotion-cause pair extraction［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.2020：3171-3181.

［5］Song Haolin，Zhang Chen，Li Qiuchi，et al.End-to-end emotion-cause pair extraction via learning to link［EB/OL］.（2021-05-09）.https：//arxiv.org/abs/2002.10710.

［6］Dozat T，Manning C D.Deep biaffine attention for neural dependency parsing［EB/OL］.（2017-03-10）.https：//arxiv.org/abs/1611.01734.

［7］Ji Tao，Wu Yuanbin，Lan Man.Graph-based dependency parsing with graph neural networks［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics.2019：2475-2485.

［8］Wei Penghui，Zhao Jiahao，Mao Wenji.Effective inter-clause modeling for end-to-end emotion-cause pair extraction［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.2020：3171-3181.

［9］Neviarouskaya A，Aono M.Extracting causes of emotions from text［C］//Proc of the 6th International Joint Conference on Natural Language Processing.2013：932-936.

［10］Gao Kai，Xu Hua，Wang Jiushuo.A rule-based approach to emotion cause detection for Chinese micro-blogs［J］.Expert Systems with Applications，2015，42（9）：4517-4528.

［11］Ghazi D，Inkpen D，Szpakowicz S.Detecting emotion stimuli in emotion-bearing sentences［C］//Proc of International Conference on Intelligent Text Processing and Computational Linguistics.Berlin：Sprin-ger，2015：152-165.

［12］Chen Ying，Lee S Y M，Li Shoushan，et al.Emotion cause detection with linguistic constructions［C］//Proc of the 23rd International Conference on Computational Linguistics.2010：179-187.

［13］Gui Lin，Wu Dongyin，Xu Ruifeng，et al.Event-driven emotion cause extraction with corpus construction［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2016：1639-1649.

［14］Cheng Xiyao，Chen Ying，Cheng Bixiao，et al.An emotion cause corpus for Chinese microblogs with multiple-user structures［J］.ACM Trans on Asian and Low-Resource Language Information Processing，2017，17（1）：1-19.

［15］Chen Ying，Hou Wenjun，Cheng Xiyao.Hierarchical convolution neural network for emotion cause detection on microblogs［C］//Proc of International Conference on Artificial Neural Networks.Berlin：Sprin-ger，2018：115-122.

［16］覃俊，孟凱，劉晶，等.子句級別的自注意力機制的情感原因對抽取模型［J］.中南民族大學學報：自然科學版，2021，40（1）：64-73. （Qin Jun，Meng Kai，Liu Jing，et al.Emotion cause extraction model based on clause self-attention mechanism［J］.Journal of South-Central University for Nationalities：Natural Science Edition，2021，40（1）：64-73.）

［17］Li Xiangju，Song Kaisong，Feng Shi，et al.A co-attention neural network model for emotion cause analysis with emotional context awareness［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2018：4752-4757.

［18］Chen Ying，Hou Wenjun，Cheng Xiyao，et al.Joint learning for emotion classification and emotion cause detection［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2018：646-651.

［19］代建華，鄧育彬.基于情感膨脹門控 CNN 的情感-原因對提取［J］.數據分析與知識發現，2020，4（8）：98-106. （Dai Jianhua，Deng Yubin.Extracting emotion-cause pairs based on emotional dilation gated CNN［J］.Data Analysis and Knowledge Discovery，2020，4（8）：98-106.）

［20］Kiperwasser E，Goldberg Y.Simple and accurate dependency parsing using bidirectional LSTM feature representations［J］.Trans of the Association for Computational Linguistics，2016，4：313-327.

［21］Yu Jiaxin，Liu Wenyuan，He Yongjun，et al.A mutually auxiliary multitask model with self-distillation for emotion-cause pair extraction［J］.IEEE Access，2021，9：26811-26821.