基于聯合標注和全局推理的篇章級事件抽取

仲偉峰，楊 航，，陳玉博，劉 康，趙 軍

(1. 哈爾濱理工大學 自動化學院，黑龍江 哈爾濱 150080；2. 中國科學院 自動化研究所 模式識別國家重點實驗室，北京 100190)

0 引言

當今社會，互聯網已成為大部分人日常生活中不可或缺的一部分，在為人們的生活、學習、工作帶來極大方便的同時,互聯網中海量的非結構化文本也給用戶帶來信息冗余繁多的困擾。面對日益增長的非結構化文本數據，如何幫助人們理解并快速獲取文本中的知識，顯得尤為重要，而信息抽取技術的提出正是為了解決這個問題。作為自然語言處理(Natural Language Processing, NLP)技術中的關鍵任務，信息抽取在知識獲取中扮演著重要的角色。Grishman等[1]將信息抽取定義為： 從自然語言文本中抽取指定類型的實體、關系、事件等事實信息，并形成結構化數據輸出的文本處理技術。而面向非結構化文本的事件抽取是信息抽取領域中的關鍵任務和重要的研究方向(其余還有實體抽取、關系抽取等)，主要應用于事件知識圖譜的構建、事件信息獲取和輔助其他自然語言理解任務。

事件是個復雜的概念，在不同研究領域有不同的定義。事件抽取領域最具有影響力的評測會議——自動內容抽取(Automatic Content Extraction, ACE(1)http://projects.ldc.upenn.edu/ace/)評測會議將事件定義為： 事件是發生在某個特定時間或時間段、某個特定地域范圍內，由一個或多個角色參與的一個或多個動作構成的事情或狀態的改變。事件中的相關術語具體定義如下：

實體(entity)： 用戶感興趣的語義對象，通常是一個名詞(例如，“人物”)；

事件觸發詞(event trigger)： 觸發事件的核心詞，通常是動詞或者名詞(例如，“喪生”或“拍賣”)；

事件元素角色(event argument)： 實體在事件中所扮演的角色，即事件的參與者；

事件描述(event mention)： 描述事件的一句話或者一個字段，通常會包含觸發詞和事件元素；

事件類別(event type)： 事件觸發詞和事件角色共同決定了事件的類別。

具體如圖1所示(數據來源ACE2005(2)https://catalog.ldc.upenn.edu/LDC2006T06)。

圖 1 ACE2005事件標注實例

如圖1實例所示，事件觸發詞和實體描述進行了特殊標記，有下劃線的字段代表實體及其類別(例如，“10月31號”，時間)，加粗字段代表觸發詞及其事件類別(“喪生”，死亡)。虛線連接觸發詞和實體，其上面文字代表實體在該事件中所扮演的角色。在本實例中，“喪生”觸發一個死亡事件，“10月31號”“桃園中正國際機場”“82人”在該事件中分別扮演時間、地點和受害者的事件角色，從而組成一個完整的事件，而實體“新加坡航空”在該事件中不扮演任何角色。由ACE中事件的定義及圖1實例可得，事件的組成要素主要包括事件的發生時間及地點，事件的參與角色以及與之相關的動作或狀態(觸發詞)。在現實世界中，每天都有各式多樣的不同場景、不同類型、不同粒度的事件發生，信息描述多樣化的同時也給事件抽取任務帶來難度。

作為自然語言處理中具有挑戰的任務，事件抽取主要研究如何從非結構化的文本信息中抽取出用戶感興趣的事件，并以結構化的形式呈現出來。目前事件抽取的研究主要集中在兩個子任務上： 事件識別和事件元素識別。

事件識別： 識別文本中的由事件觸發詞引導的事件實例，并根據當前觸發詞和上下文信息判斷當前觸發的預定義事件類型。

事件元素識別： 若某句被判定為特定事件類型的事件描述，需判斷句中實體和事件觸發詞之間的關系，這里的關系即為實體在該事件中所扮演的角色。

上述事件抽取定義主要是針對句子級別的，而現有的事件抽取框架按照文本粒度可分為句子級事件抽取和篇章級事件抽取。句子級事件抽取焦點集中于識別句子中每個詞可能提及的單個事件，以及判斷句子實體在該事件中扮演的角色。雖然句子級抽取考慮的事件類型足夠通用(ACE2005中定義了33種事件)，但對于總結文檔內容來說，句子級抽取粒度太細了?，F實場景中，一篇文檔通常包含一個或者多個事件，這些事件對于整體的重要性各不相同，而同一事件也可能會在文檔中被多次提及。篇章級事件抽取以文本中描述的主要事件為中心，用簡潔、結構化的形式呈現給用戶。其在現實世界中直接面向用戶也具有明顯的適用性，它允許用戶快速獲取文檔中的事件內容、地點和時間，而不需要通讀全文。難點在于，篇章事件抽取需要高質量的句子級抽取結果以及相同事件不同事件描述之間事件元素的融合，考慮以下例句：

例1： 根據奧地利救災組織的統計，在阿爾卑斯山登山纜車失火慘劇中有155名乘客喪生。

例2： 奧地利一處滑雪勝地的登山纜車11號在阿爾卑斯山隧道發生纜車失火慘劇，受害者中包括有1999年世界女子花式滑雪冠軍施密特。

例1和例2是描述同一災難事件的不同句子，分布在原文檔中不同的段落當中。例1中包含該災難事件的死亡人數和事故來源，例2中包含事件發生的時間和地點。事件描述例1和例2中的結構化事件信息需要融合才能得到完整的篇章級事件信息，其結構化信息如表1所示。

從表1可以看出，篇章級事件抽取依賴于句子級抽取結果和跨句子的事件元素融合。從理論出發，為了獲取篇章級事件的結構化信息，需要句子級事件抽取結果和事件共指關系判斷。目前針對篇章事件抽取研究較少，還沒有統一的統計學模型能從篇章中直接抽取出篇章的事件信息。相反，句子級事件抽取的研究日趨成熟，在句子級抽取結果的基礎上進行全局推斷提高篇章事件抽取的整體性能是本文研究的方向。

表1 句子級與篇章級事件結構化信息對比

本文采用管道(Pipeline)的方法將篇章級抽取問題分為3個子問題： ①利用序列標注模型對句子進行實體和事件的聯合標注；②采用多層感知機對事件描述中的實體進行分類，判斷實體在該事件中所扮演的角色；③基于整數線性規劃做全局推理，得到篇章級結構化事件信息。在整個流程圖中不借助標注語料中的其他信息和外部資源。總的來說，本文的貢獻在于以下3點：

(1) 提出了實體和事件的聯合標注模型，此模型可以更好地利用上下文中的實體和事件的相互依賴關系。

(2) 提出利用整數線性規劃的方法進行全局推理得到篇章事件抽取結果。

(3) 在ACE2005中文語料上進行實驗，實驗結果驗證了模型的有效性。

1 方法

近年來，已經證明了神經網絡方法在自然語言處理領域的有效性。Zeng等[2]，Chen等[3]最先將深度學習的方法應用于關系抽取和事件抽取中，并取得了很好的效果。相對于傳統特征表示的方式，神經網絡將詞向量(Word embedding)作為輸入，避免了傳統特征提取過程過分依賴詞性標注、句法分析等自然語言處理工具。在本節中，我們將介紹本文篇章級事件抽取采取的方法，主要包括實體和事件聯合標注、事件元素識別、全局推理。篇章級事件抽取模型整體框架如圖2所示。

圖2 篇章級事件抽取模型整體框架

1.1 實體和事件聯合標注

如圖1描述，實體和事件是緊密關聯的，兩者的表示相互依賴，但現有的事件抽取通常都對實體和事件分別建模。在目前事件抽取任務中，研究者一般將事件抽取分為3步： ①實體識別： 利用外部工具或者單一模型抽取句中的實體；②事件識別： 抽取句中的觸發詞并判斷事件類型；③元素分類： 判斷實體在事件中扮演的角色。實體識別和事件識別分開處理是常用的技術手段，但會忽略實體和事件觸發詞之間相互依賴的關系。例如，在例句“奧巴馬離開白宮，迎接新的挑戰”中，“離開”作為觸發詞，觸發了一個離職類別的事件而不是運輸類別的事件。只分析“離開”一詞，會存在歧義，但在已知句中其他實體及其類別后(“白宮，組織機構”；“奧巴馬，人名”)，更易判斷“離開”觸發離職事件；相反，當已知“離開”觸發離職事件，更易判斷“白宮”的實體類別是組織機構而不是地理位置。如何有效利用實體和事件觸發詞的依存關系，是本文提出聯合標注模型的出發點。本文采用序列標注模型從句中聯合標注實體和觸發詞，同時判斷它們的類別，并將其抽取結果作為事件元素標注的輸入。為了更好地建模上下文的關聯關系，我們將自注意力機制(self-attention)[4]加到模型中。

目前有很多統計學習方法可以對中文文本中的詞進行識別并分類，但利用詞作為輸入需要先借助外部分詞工具，而序列標注方法能夠很好地解決中文詞間無間隔的問題。在自然語言處理中，很多基礎問題都可以用序列標注模型解決，比如中文分詞、詞性標注以及命名實體識別等。序列標注不僅能捕獲詞的邊界，同時也可以判斷當前詞的歸屬類別。不同于文本分類，序列標注模型將輸入的句子看作一個序列，輸出是一個等長的符號序列，每個符號對應特定的含義。具體來講，序列標注模型給句子中的每個字符打上BIO的標簽，B表示字段開始(beginning)，I表示字段中間(inside)，O表示其他字段(outside)，標簽后面跟的type表示字段的分類結果，例如，B-PER表示人名的起始字符，I-Attack表示觸發攻擊事件詞的中間字段。隨著深度學習在自然語言處理中的應用日趨成熟，利用神經網絡的方法表示字符特征，能更好地捕獲字以及上下文的信息。在神經網絡中，目前主流的兩個方法是循環神經網絡(Recurrent Neural Networks, RNN)和卷積神經網絡(Conventional Neural Networks, CNN)。相比之下，RNN比CNN更適合給序列進行建模，因為RNN的隱層既有當前時刻的輸入，也有前一時刻的隱層輸出，這使得它能通過循環反饋連接看到前面的信息，并且還具備非線性的擬合能力，因此利用RNN對序列到序列的建模是NLP中常用的手段。而長短期記憶網絡(Long Short-Term Memory, LSTM)能將過去和將來的序列考慮進來，使得上下文信息充分被利用[5]。在LSTM后加入條件隨機場(Conditional Random Fields, CRF)能更多地考慮整個句子的局部特征的線性加權組合，計算聯合概率，優化了整個序列。同時，我們將自注意力機制加到模型中，主要目的是學習句子內部字符之間的依賴關系，捕獲句子的內部結構和語義信息，模型如圖2所示。

1.2 事件元素識別

文檔中每個句子經過上述的實體和事件聯合標注后，可獲得句中的實體及其實體類型和事件觸發詞及其事件類型。為得到句子級的事件結構化信息，需要進一步標注實體在事件中扮演的角色，即實體和觸發詞之間的關系(例如，判別實體“155名乘客”在“死亡”事件類型中扮演了“受害者”的角色)。為了充分利用實體特征和句子中的事件信息，本文利用一個多層感知機實現實體的分類從而實現事件元素識別。輸入特征包括觸發詞、觸發詞類別、實體、實體類別、實體和觸發詞之間的位置信息以及當前句子通過LSTM的向量化表示。

1.3 全局推理

在文檔文本中，重要的事件通常會被多次提及，即同一事件會有多個事件描述。經過上述句子級事件抽取，可獲得篇章中的一系列結構化事件信息。為獲得篇章級的事件信息，需要判斷多個事件描述是否指代同一事件，從而得到完整的事件信息。如圖2所示，事件描述例1和例2分別通過“喪生”和“受害”觸發“死亡”事件類型，通過文本描述的相似程度可以進一步判斷例1和例2指代了同一事件，從而將兩者的事件元素進行融合得到篇章級的事件結構化信息。為了充分利用文本信息進行事件共指的判斷，本文采用整數線性規劃的方法進行全局推理，將獲取更好的事件共指判斷作為優化目標，將文本相似度作為優化目標的重要系數，在條件約束下，得到篇章級事件抽取的最優結果。

2 模型

本節主要介紹上述方法所用的模型，包括基于自注意力機制的實體事件聯合標注模型、基于感知機的事件元素識別模型和基于整數線性規劃的全局推理。

2.1 基于自注意力機制的序列標注模型

輸入： 句子中每個字符的字向量表示。輸入句子以字符為單位可表示為s={c1,c2,c3,…，ci,…，cn}，其中n表示該句中字符個數。利用預訓練的詞向量將句中的字ci映射到低維稠密的字向量wi，得到句子的向量表示s={w1,w2,w3,…，wi,…，wn} 作為神經網絡的輸入。

上下文表示： Bi-LSTM生成字符的向量表示，具體來說，LSTM是由式(1)到式(6)所確定的一類循環神經網絡變種。

自注意力機制(self-attention)： 學習字符表示之間的依賴關系，捕獲句子的內部結構，利用Softmax得到規整化的權重，如式(7)所示。

(7)

使用得到的權重進行加權求和，得到當前字符的經過Attention后的隱層表示。

Self-attention即如式(9)所示，每個字符的表示都會與句中所有的字符進行Attention計算。

全連接層: 得到網絡輸出P，如式(10)所示。

條件隨機場： 從式(10)中，得到全連接層的輸出為P，其中Pi,j表示當前字符ci映射到第j個標簽tagj的非歸一化概率。CRF層中有一個轉移概率矩陣A，Aij表示的是從第i個標簽tagi到第j個標簽tagj的轉移得分，該矩陣的功能是為一個位置進行標注的時候可以利用此前已經標注過的標簽。當已知序列s={c1,c2,c3,…，ci,…，cn}的對應的輸出標簽結果為y={y1,y2,y3,…，yi,…，yn}，我們定義當前序列得分如式(11)所示。

其中，整個序列的打分score(x,y)等于各個位置的打分之和，而每個位置的打分由兩部分得到，一部分是由網絡層的輸出P決定，另一部分則由CRF的轉移矩陣A決定。利用Softmax得到歸一化后的概率，如式(12)所示。

模型通過最大化對數似然函數進行訓練，式(13)給出了對一個訓練樣本(x,y)的對數似然。

模型在預測過程(解碼)時使用動態規劃的Viterbi算法來求解最優路徑，如式(14)所示。

2.2 事件元素識別

利用多層感知機能很好學習各個特征對結構影響的權重參數，是簡單高效的神經網絡結構。

輸入： 實體，實體類別，事件觸發詞，觸發詞類別，文本表示和位置特征。如圖2中間部分所示，多層感知機的輸入，由各個特征構成，每個特征的具體含義如表2所示。

表 2 分類器輸入的特征名稱及其含義

將上述特征向量化并拼接作為模型的輸入，如式(15)所示。

將上述特征作為全連接層的輸入，如式(16)所示。

對所有的元素角色類型利用Softmax分類器進行分類，如式(17)所示。

采用交叉熵作為模型的目標函數，利用梯度下降的方法進行優化，具體目標函數如式(18)所示。

2.3 全局推理

輸入： 篇章文本中抽取出的句子級事件信息(包含事件文本描述和結構化事件信息)

Events={e1,e2,e3,…,ei,…,el}。

模型： 目標函數如式(19)所示。

式(19)中，sim(ei,ej)表示ei和ej兩個事件的共指程度，依賴事件描述的向量相似度(句子向量化表示后的余弦相似度)和實體的共現程度(句中包含實體的TF-IDF余弦相似度)。sim(ei,ej)為上述兩者的線性組合，最終取值[-1，1]。var_referi,j表示變量。約束函數如式(20)所示。

約束： 若ei和ej的事件類別不同，則它們一定不是同一事件的描述。

在式(20)的約束條件下，最大化式(19)中的目標函數，得到篇章事件結構化信息。

3 實驗

3.1 數據

本文利用ACE評測發布的公開語料ACE2005中的中文語料作為實驗數據集。數據集中標注的實體類別包括： PER(Person，人物)、ORG(Organization，組織機構)、GPE(Geo-Political Entity，政治或人文地理區域)、LOC(Location，地理位置)、FAC(Facility, 含有設施的場所)、VEH(Vehicle， 運輸工具)、WEA(Weapon, 武器)以及VALUE(值)和TIME(時間)。ACE2005中預定義33個事件子類別，每個事件類別都由不同的事件角色構成。本文參照Chen 和Ji等進行數據的劃分[6]，其中569/64/64/篇文檔分別被用作訓練集/測試集/驗證集。利用P(Precision, 精確率)、R(Recall, 召回率)、F1值評價句子級的實體抽取和事件識別性能。參照Reichart等[7]采用的篇章級事件抽取評價方式，對于每篇文檔，將學習到的結構化事件信息和標準進行最大匹配,然后利用P、R和F1進行篇章級事件抽取性能的評測。

3.2 參數

模型的一些實現細節如下： 輸入的embedding為100維的詞向量，是通過在維基百科中文語料進行預訓練得到的。LSTM隱層維度為200，batch設定為50，學習率為0.000 1，droupout為0.5，最終采用Adam作為優化器。

3.3 實驗結果

3.3.1 實體和事件聯合標注性能

目前中文事件抽取研究較少，且集中在事件識別上。為了證明實體和事件聯合抽取的有效性，我們采用相同的模型和基礎參數獨立進行實體抽取和事件抽取的實驗。表3給出了基線模型的性能指標和本次實驗的評價結果。

表 3 句子級實體標注和事件識別評價結果

MEMM[6]： 運用最大熵馬爾可夫模型進行文本序列標注任務；

FBRNN： Ghaeini等[8]提出前后向RNN網絡進行字符級中文文本事件抽??；

C-BiLSTM[9]： 該方法結合CNN和LSTM去捕獲文本和詞匯信息從而提升中文事件抽取的性能；

BiLSTM-CRF： 采用雙向LSTM和CRF序列標注的方法進行字符級中文文本事件抽取。

本文提出的實體事件聯合標注的方法取得良好的實驗效果，并在P/R/F1上都超過了獨立進行實體抽取和事件識別模型的性能，驗證了該方法的有效性。在加入自注意力機制后，實體標注的F1值提升1.92%，事件識別的F1值提升1.19%，該結果驗證了利用自注意力機制可增強實體和事件的相互依賴程度，有助于提高實體和事件聯合標注的性能。

3.3.2 篇章級事件抽取性能

目前事件抽取的研究大多集中在句子級事件抽取，在篇章事件抽取方面，并沒有相關工作在ACE2005上進行實驗。本文在得到句子級抽取結果的基礎上，通過全局推理得到篇章級的結構化信息，選用基線(baseline)如下：

Base1： 將觸發相同事件類別的事件描述看成同一事件；

Base2： 將事件觸發詞相同的事件描述看成同一事件。

對于每篇文檔，將抽取出的結構化事件信息(事件類別和實體在事件中扮演角色)和標準進行最大化匹配。然后利用P、R和F1進行篇章級事件抽取性能的評測。表4給出了實驗的評價結果。

表 4 篇章級事件抽取評價結果(%)

可以看出，基于整數線性規劃的模型在篇章級事件抽取結果各項指標上均超過了基線模型。但由于整個模型是基于Pipeline的方法，篇章級抽取性能會受到句子級事件抽取結果的影響，造成最終性能指標偏低。

4 相關研究

當前事件抽取按照研究方法可分為兩大類： 基于模式匹配和基于統計模型。模式匹配的方法在特定領域能取到較好的精確度，典型的基于模式匹配的事件抽取系統有： ExDisco[10]和FSA[11]。但該方法需要大量人工進行模板撰寫，而且普適性差，只適用于小規模的特定領域?；诮y計學習的方法，在特征選取上又可分為兩類： 基于傳統特征選取和基于神經網絡自動學習特征。傳統特征提取主要通過自然語言處理工具獲取各種有效的詞匯、句法和語義等特征，然后利用傳統分類模型(例如，最大熵模型和支持向量機模型)進行分類[12-14]。隨著深度學習證明了其在NLP中的有效性，Chen等[3]率先將CNN應用到事件抽取中，并利用了距離信息來建模實體和觸發詞的位置關系；Nguyen等[15]提出一種基于RNN的模型進行事件識別和角色分類的聯合學習。針對語料缺、不平衡等問題，Liu等[16]借助外部語義資源進行事件識別；Chen等[17]利用遠程監督的方法擴充訓練語料提高了事件抽取性能；Yang等[18]借助篇章信息進行事件和實體的聯合抽取，并將其分為3個子問題： 學習事件內部結構、學習事件與事件關系、學習實體抽??；Liu等[19]利用雙語資源提高事件抽取的性能。這些方法在英文事件抽取數據集上取得了很好的效果。

中文事件抽取方面，詞級的不匹配問題嚴重影響了漢語信息抽取中詞級模型的性能。為了解決該問題，Chen 和Ji等[6]提出了基于特征的字符級BIO標注；Li等[20]定義了中文觸發詞的人工模板，這些方法都高度依賴于人工構建的模板和特征。

從文本粒度看，目前事件抽取的相關研究主要針對句子級別的抽取，即識別句中觸發詞，并判斷實體在事件中所扮演的角色。但現實世界的文本大多是以篇章的形式出現，用戶更關心的是從篇章中獲得結果化的事件知識。最早的事件抽取系統FRUMP[21]采用事件模板匹配的方法進行篇章事件抽取。Huang等[22]采用基于模式分類的方法，將篇章抽取看成兩個子問題： ①角色槽填充；②句子關聯模型。Yang等[23]采用基于句子抽取結果以及文本特征發現主事件描述，并利用上下文元素補齊策略得到篇章事件結構化信息的方法，在中文金融事件抽取數據集上取得不錯的效果?？偟膩碚f，目前篇章事件抽取的研究主要集中在特定的領域，高度依賴人工規則，很難推廣到新的領域。而句子級事件抽取方法應用于更廣泛的領域，但生成的輸出粒度太細，無法提供好的文檔級事件信息。

5 總結和展望

本文討論了事件抽取對于知識獲取的重要性，并闡述了句子級事件抽取和篇章級事件抽取的差異。相比句子級事件抽取的細粒度結果，篇章級事件抽取的結果能反映出完整的事件信息，具有更好的現實意義和實用價值。

為了從文本中獲取篇章級事件信息，本文采用深度學習的方法抽取句子級事件信息，其模型由兩部分組成： 基于序列標注的事件實體聯合抽取和基于多層感知機的事件元素識別。在句子級事件抽取基礎上，采取整數線性規劃進行全局推斷得到篇章級事件結構化信息。本文在ACE2005數據集上的實驗結果證明了方法的有效性。

然而，基于Pipeline的方法不可避免地會帶來誤差的傳遞。如何利用端到端的模型，從篇章文本中直接抽取出事件結構化信息，提升篇章級事件抽取整體性能，是下一步主要研究方向和內容。