Event relation classification based on Tri-Training

DING Si-yuan,HONG Yu,ZHU Shan-shan,YAO Jian-min,ZHU Qiao-ming

(Provincial Key Laboratory of Computer Information Processing Technology,Soochow University,Suzhou 215006,China)

?

Event relation classification based on Tri-Training

DING Si-yuan,HONG Yu,ZHU Shan-shan,YAO Jian-min,ZHU Qiao-ming

(Provincial Key Laboratory of Computer Information Processing Technology,Soochow University,Suzhou 215006,China)

Abstract:As one of natural language processing techniques, event relation detection aims at exploring logical relationship between pairwise events. To solve the problem of lacking enough training data in event relation detection tasks, we propose a novel approach based on Tri-Training to augment the training corpus. We firstly use labeled training data to learn three different classifiers, and then exploit majority voting method to expand training corpus with higher confidence samples, iteratively optimize the model and eventually improve the performance of event relation classification. Experimental results show that compared to other methods, the Tri-Training based method achieves 64.3% F1-score over four general semantic relations.

Key words:event relation;frame;semi-supervised learning;Tri-Training

1引言

事件關系是指事件與事件之間相互依存和關聯，且具有客觀性和規律性的邏輯形式。事件關系檢測以事件為主體元素，通過分析事件文本的結構信息及語義特征，挖掘事件之間深層的邏輯關系，進而輔助事件的衍生、發展以及信息的推理與預測。事件關系檢測包含事件關系識別和事件關系判定兩個部分。本文只研究事件關系判定任務，將事件關系判定看作分類問題。

Figure 1　Structure of event relations圖1　事件關系體系結構圖

目前，針對事件關系分類的研究相對較少，仍缺乏完善的事件關系體系定義。而與事件關系較為類似的篇章關系研究已然獲得更多關注，相關任務定義和研究方法也得到一定程度的驗證和實踐。基于此，楊雪蓉等[1]通過分析事件關系檢測與篇章關系檢測的異同點，建立一套基于篇章關系分析的事件關系體系。本文延續楊雪蓉等[1]提出的事件關系檢測研究方法，以篇章關系為橋梁，借助篇章關系的任務定義，輔助指導事件關系分類。事件關系類型分成兩層(如圖1所示)：第一層包含四種主要關系：Expansion(擴展關系)、Contingency(偶然關系)、Comparison(對比關系)和Temporal(時序關系)；第二層關系針對第一層的事件關系進行細分，共包含10種關系。本文主要研究第一層的四種主要事件關系。圖2為包含四種事件關系類型的文本實例，其中E1~E4為四個相關的事件片段(EventArg)。

Figure 2　Instances of four top event relations圖2　四種事件關系實例圖

此外，事件關系研究尚缺乏權威的標注語言學資源，為解決該問題，楊雪蓉等[1]標注了部分事件關系樣例，然而該樣例的數量仍不足以解決事件關系研究中語料不足的問題。針對該問題，本文提出一種基于Tri-Training的事件關系分類方法，該方法旨在利用少量的已標注事件關系樣本訓練三個不同的分類器，通過分類器之間的協同合作，從大規模未標注數據資源中挖掘錯誤率較小的未標注數據，進而擴充訓練樣本，以提高分類器的分類性能。具體實現過程中，本文首先從大規模語言學資源GIGAWORD紐約時報新聞語料(LDC2003T05)中挖掘包含Golden連接詞(Golden連接詞：指向某一事件關系概率大于96%的連接詞，如連接詞“now”指向時序關系的概率為100%。)的“事件對”，借助框架語義知識庫(FrameNet)[2]過濾不具備事件特征的樣本，然后將Golden連接詞所對應的事件關系作為未標注事件對的先驗關系類別，以此構造未標記事件關系數據集。其次，基于Tri-Training方法在小規模人工標注事件關系數據集上訓練三個不同的分類器，在協同訓練過程中，每個分類器新增的訓練樣本均由其余兩個分類器協作投票提供，以此對少量人工標注的事件關系數據集進行擴充，最終達到提高事件關系分類性能的目的。圖3為事件關系分類任務框架，輸入為待測事件關系片段對EventArg1和EventArg2，輸出則為具體的事件關系類型。

Figure 3　Task framework of event relation classification 圖3　事件關系分類任務框架

本文的組織結構如下：第2節介紹相關工作；第3節介紹框架語義知識庫及未標注樣本數據的獲取；第4節給出基于Tri-Training的事件關系樣本擴展方法；第5節給出實驗結果與分析；最后總結全文并展望未來工作。

2相關工作

由于事件關系檢測的研究剛剛起步，仍缺少權威的事件關系體系，相關研究工作主要集中于某種特定事件關系類型的判定[3~5]，主流的研究方法大致可以分為模板匹配法和元素分析法。

(1)模版匹配法。事件關系檢測的主要方法之一是借助事件特征的模式匹配法。例如，利用事件觸發詞(Trigger)的關系模式匹配，根據人工定義的模板，對文本中符合模板的事件關系進行抽取。 Chklovski T等[4]首先定義六種時序關系：“similarity”(“相似”關系)，“strength”(“加強”關系)，“antonymy”(“相反”關系)，“enablement”(“支持”關系)，“happens”(“發生”關系)和“before”(“前”關系)，再利用人工收集的詞-句匹配模板LSP(Lexcial-Syntactic Pattern)抽取包含這六種時序關系的“事件對”,并將抽取的結果形成稱為“VerbOcean”的知識庫。人工定義的事件關系模板往往受數量限制，造成關系檢測的低召回率問題。Pantel P[5]提出利用Espresso算法進行自動模板的構建，該算法根據給定的少量關系實例，通過機器學習方法對現有模板進行迭代擴展，在一定程度上提高了模板匹配方法的召回率。

(2)元素分析法。以事件元素為線索的研究大都繼承了Harris[6]的分布假設。Harris分布假設指出，處在同一上下文環境中的詞語往往具有相同或相似的含義。Lin D[7]提出了一種結合Harris分布假設和建立依存樹思想的無監督方法，稱為DIRT算法。該算法將所有事件構造成依存樹形式，樹中的每條路徑表示一個事件，路徑的節點表示事件中的詞語，若兩條路徑的詞語完全相同，則這兩條路徑所表示的事件相同或者相似。

Figure 4　Same frame semantic meanings between Event 1&2 圖4　Event1與Event2中相同的框架語義

(3)其它。楊雪蓉等[1]在2014年的工作中，通過分析事件關系檢測與篇章關系檢測的異同點，建立了一套基于篇章關系分析的事件關系檢測體系，同時提出了基于跨場景推理的事件關系檢測方法。該方法通過構建事件場景向量，計算待測事件對與已挖掘到的包含連接詞的事件對之間的事件場景向量相似度，將最相似的事件對所指派的事件關系作為該待測事件對的最終關系類別。但是，這種通過計算相似度的方法，不僅要求語料規模足夠大，而且，僅僅根據Golden連接詞的映射獲取事件關系的方法很難保證準確性。

針對事件關系分類中語料不足的問題，本文提出一種基于Tri-Training事件關系分類方法。該方法根據已有的少量人工標注的事件關系數據集，利用Tri-Training方法，從挖掘到的大量未標注數據集中選擇高置信度的樣本擴充訓練語料，繼而提高事件關系分類性能。

3框架語義知識庫及未標注樣本數據獲取

3.1　框架語義知識庫

框架語義知識庫(FrameNet)是由美國加州大學伯克利分校構建的基于框架語義學 (Frame Semantics)的詞匯資源，知識庫通過框架(即詞語背后隱藏的概念結構和語義等信息)描述單詞的釋義，對詞語意義和句法結構研究提供一種理論框架。該語言學資源共標注1 028個框架語義，其中能夠觸發事件屬性的框架語義共540個。

在框架語義知識庫中，對句子的框架語義標注是一種類似于“謂詞-論元”結構的“目標詞-框架語義(Target-Frame)”結構。每個句子可能包含一個或多個“目標詞-框架語義”結構。從圖4中可以看出，在兩個事件實例Event1和Event2中，Amy和lady對應的框架語義為Person，code與password對應Message框架語義，而anesthetic和wine對應Drag框架語義。雖然兩個事件具有不同的語義描述，但卻存在相同的框架語義。這就說明，通過框架語義，能夠有效地挖掘語義相近的事件，輔助事件關系推理。

3.2　未標注樣本集合數據獲取

本文使用的外部數據資源為GIGAWORD紐約時報新聞語料(LDC2003T05)，共包含4 111 240篇文本。本文從該語料中抽取符合下述要求的未標注事件關系樣例：

條件1切分后的文本由事件片段1(EventArg1)和事件片段2(EventArg2)組成；

條件2事件片段2中包含Golden連接詞，借此將Golden連接詞對應的事件關系作為未標注事件片段對的先驗知識，通過后續方法進一步提高標注準確率；

條件3事件片段對中須包含能觸發事件的框架語義，從而保證挖掘到的未標注樣本是一個事件樣本。

例1EventArg1:ThisisagreatawardhereinSweden,

EventArg2:[so]wewillrememberitallourlives.

例1為符合挖掘規則的未標注事件關系樣例，該樣例為一個事件關系對，且包含兩個具有獨立語義信息的文字片段，兩者之間通過連接詞“so”進行關聯。圖5給出挖掘到的以Golden連接詞為關系類別先驗知識的各事件關系類型樣本分布比例。從圖5中可以看出，四種事件關系類型中，Expansion與Comparison關系類型分布比例較大，而Temporal關系的分布比例較小。

Figure 5　Distribution of four relations using Golden connections as prior knowledge圖5　以Golden連接詞對應的關系作為先驗知識的各關系類型樣本分布

4基于Tri-Training的事件關系樣本擴展方法

圖6給出了本文基于Tri-Training的事件關系分類方法流程圖。該方法以GIGAWORD語言學資源(LDC2003T05)作為外部數據資源，從中挖掘包含Golden連接詞的事件關系對，將Golden連接詞對應的關系類別作為先驗知識。在此基礎上，抽取框架語義、事件觸發詞、觸發詞詞性和事件類別四種特征生成未標注事件關系數據集。在對少量人工標注的事件關系數據集抽取相同的特征后生成已標注集。本文將其中一半的已標注集作為訓練集，另一半作為測試集。然后，利用Tri-Training的方法從未標注集中選取較高置信度的事件對加入到訓練集中，不斷迭代訓練模型，直到未標注集為空或未標注集大小不再變化為止。最后，根據學習好的模型對測試集進行分類，生成最終的分類結果。

Figure 6　Flow chart of event relation classification based on the Tri-Training圖6　基于Tri-Training的事件關系分類方法流程圖

Tri-Training算法旨在對少量已標注數據集進行重復采樣，訓練三個不同的分類器X，Y，Z，通過三個分類器之間的一致性判斷，對大量未標注樣本數據進行分類標注。詳細而言，在訓練過程中，任意一個分類器(例如分類器X)所獲得的新標記樣本由另外兩個分類器(分類器Y和分類器Z)協作判定，如果兩個分類器對同一個未標記樣本x給出相同的分類標簽L，Y(x) = Z(x)，那么就將該未標記樣本加入當前分類器X中。該方法的主要優點是無需使用不同的分類方法，就可以實現大量未標注樣本的標注任務[8]。由于本文的已標注事件關系集很小，可重復采樣效果并不是很好。因此，本文將GoldmanS和ZhouY[9]的Co-Training思想應用到Tri-Training方法上，即在同一份已標注集上，使用三種不同算法訓練三個不同類型的分類器。以下是基于Tri-Training的事件關系樣本擴展流程：

初始化:

準備實驗數據，將已標注的數據集按照一定比例分為訓練集L和測試集T，對于未標注數據，根據連接詞標上先驗關系，記作U。

訓練：

(1)根據訓練集L分別訓練三個分類器C1、C2和C3;

(2)分別用分類器C1、C2和C3對未標注數據集U進行預測，得到預測結果R1、R2和R3；

(3)對R1、R2和R3采取多數投票的方式得到帶有標記的樣本，若該樣本類別與先驗關系類別一致，則將其加入到第三個分類器的訓練集中；

(4)重復(1)~(3)操作，直到U為空，或者U的大小不再變化訓練停止。

值得注意的是，在第(3)步中，對于一個未標注事件關系對，在兩個分類器給出的分類結果相同的情況下，還需滿足與先驗關系類別相同的條件，該事件對才會被加入到第三個分類器的訓練集中。例如，某未標注事件對先驗關系類別為Expansion，而分類器C1與C2給出的類別均為Expansion，那么該事件對就會被加入到已標注集合L中，并且將類別標記為Expansion，否則就不加入L中。

5實驗與分析

5.1　實驗數據集

本文選取楊雪蓉等[1]在2014年標注的事件關系語料作為已標注數據集，該語料是以FrameNet-1.5中的新聞語料作為標注集，由兩名具有一定領域知識的標注人員，對每篇新聞中描述的事件以及事件關系類型進行標注，標注結果的Kappa值為0.78。該語料共包含968個事件對，各關系分布情況如表1所示。本文主要研究第一層四種關系類型，包括Comparison(Com)、Contingency(Con)、Expansion(Exp)和Temporal(Tem)。其中，本文將468個關系樣例作為訓練集，剩余的500個樣例作為測試集，具體實驗數據分布情況如表2所示。

本文并未將挖掘到的全部外部資源作為實驗的未標注集，而是根據四種關系的分布比例，從各關系中隨機等分布地選取一定數目的事件對，作為最終的未標注集。未標注集中各關系的分布如表2所示。所采用的評價方法是標準的準確率(Precision)、召回率(Recall)和F1值。

Table 1　Distribution of annotated relations

Table 2　Distribution of training sets and test sets

5.2　分類特征

本文選用框架語義(Frame)、事件觸發詞(Trigger)、觸發詞詞性(Trigger POS)和事件類別(Event Type)作為分類特征。下面分別對這四種特征予以介紹。

(1)框架語義(Frame)：即本文在3.1節中介紹的框架語義，其中具有事件屬性的框架語義共540個。本文選擇具有事件屬性的框架語義作為特征之一。

(2)事件觸發詞(Trigger)：事件觸發詞直接引發事件的產生，是決定事件類別的一個重要特征。根據ACE(Automatic Content Extraction)2005[10]中對觸發詞的定義，本文選擇觸發詞作為分類特征之一。

(3)觸發詞詞性(Trigger POS)：根據事件觸發詞抽取對應的詞性(POS)，并且將其作為分類特征。

(4)事件類別(Event Type)：ACE2005定義了8種事件類別以及33種子類別。本文將事件類別與事件子類別統稱為事件類別，并將此作為一種分類特征。

本文通過SEMAFOR(http://www.ark.cs.cmu.edu/SEMAFOR)工具抽取框架語義特征，根據Li Q等[11]提出的基于結構化感知機制的聯合事件抽取方法分析一個事件的觸發詞、觸發詞詞性及事件類別。例如，對于事件片段EventArg:Fifteen people died in the traffic accident.所抽取的各特征如表3所示。

Table 3　Extracted features of EventArg

5.3　實驗系統

為了驗證本文所提方法的有效性，本文設計如下6個實驗系統。詳細介紹如下，

(1)Baseline1：不使用Golden連接詞所對應的事件關系作為先驗知識，按比例隨機從未標注集中抽取事件對作為最終的擴充樣本，訓練LIBSVM(http://www.csie.ntu.edu.tw/~cjlin/libsvm)分類器對測試集進行預測。實驗共進行10次，最終性能取平均值。

(2)Baseline2：以標有先驗事件關系類別的未標注集作為訓練語料，不使用本文提出的基于Tri-Training的事件關系分類方法，訓練四個二元LIBSVM分類器，對測試集進行預測。

(3)YangSystem：重現楊雪蓉[1]的方法，即利用“框架語義對”構建事件場景，然后計算待測事件對與已挖掘到的事件對之間的事件場景相似度，將擁有最大相似度的事件對中連接詞所對應的事件關系作為待測事件對的最終事件關系。

(4)SelfTraining：基于Self-Training[12]方法的對比實驗。在實驗過程中，本文通過融合Golden連接詞對應的先驗關系類別與分類器預測結果，對待標記樣本的事件關系類型進行標記，進而擴充訓練集。例如，在使用Self-Training方法從未標注集中選擇擴充樣本時，若分類器對某事件對預測的類別為Expansion，那么只有該事件對的先驗關系類別為Expansion時，該事件對才會被加入到已標注集中。實驗選擇的分類器為LIBSVM。

(5)CoTraining：基于Co-Training[9]的半監督學習方法的對比實驗。同樣地，在實驗過程中，本文通過融合Golden連接詞對應的先驗關系類別與分類器預測結果，對用以擴充訓練集的待標記樣本的事件關系類型進行標記。例如，在使用Co-Training方法的過程中，對于某一待標記樣本，當且僅當兩個分類器給出的預測結果與先驗事件關系類別均相同時，該樣本才會被加入對方的已標注集中。實驗選擇的分類器為LIBSVM和MaxEnt(http://github.com/lzhang10/maxent)。

(6)TriTraining：本文所提出的基于Tri-Training的事件關系分類方法實驗系統。分類器選擇為LIBSVM、MaxEnt與NaiveBayes(http://mallet.cs.umass.edu/)。

5.4　實驗結果與分析

表4給出各系統分別在四種事件關系上的分類性能。從表4中可以看出，采用隨機采樣的Baseline1系統在四類關系上的分類性能均在50%左右，這與理論的情況也基本吻合。而Baseline2相較于Baseline1，在四大事件關系類別分類性能上都有著明顯的提升，這一現象說明，利用連接詞所指向的關系類別作為未標注語料的先驗事件關系，有利于提高各關系的分類性能。因此，本文在使用Self-Training、Co-Training和Tri-Training三種半監督學習方法的實驗中，均以Golden連接詞對應的事件關系作為該事件對的先驗關系類別。

實驗結果表明，楊雪蓉等[1]所提出的方法在Expansion關系上達到較好的性能(60.74%)，然而在其他三種事件關系上的結果都不是很理想。原因在于，楊雪蓉等[1]所采用的方法是通過計算事件場景的相似度，找出包含連接詞的未標注樣本中與待測事件對最相似的事件對，以該事件對中連接詞所屬的關系類別作為該待測事件對的事件關系類別。但是，這種通過計算相似度的方法，不僅要求語料規模足夠大，而且，直接將Golden連接詞所對應的事件關系作為最終的關系類別很難保證準確性。

本文采用Self-Training和Co-Training方法的兩個對比實驗在事件關系的分類任務上相比于Baseline2都有著很好的分類性能提升，說明將半監督學習方法運用到事件關系分類任務中，對提升分類性能有著明顯的作用。本文提出的基于Tri-Training的事件關系分類方法，在四大類事件關系上均獲得了不同程度的性能提升。圖7顯示了Tri-Training方法在各事件關系上的學習曲線，可以發現隨著迭代次數的增加，F1值呈總體上升趨勢，并最終達到穩定。由于迭代過程中會引入噪音，因此F1值有一定的波動。

Figure 7　Learning curves of Tri-Training in four relations圖7　Tri-Training方法在四種事件關系上的學習曲線

對比Baseline2，TriTraining系統在這四種事件關系分類性能上分別提高了16.08%、6.12%、0.74%和5.07%，而且相比于SelfTraining與CoTraining，該系統在Comparison、Contingency和Temporal三個關系的分類性能上分別提高了12.33%、5.17%和1.56%，與7.84%、4.73%和4.17%，均達到最高的F1值。從表5也可以看出，Tri-Training方法在四種關系上的綜合分類性能也是最高的，F1值為64.36%。這充分說明了本文將Tri-Training方法與Golden連接詞所對應的先驗關系類別相結合來輔助事件關系分類的合理性與有效性。

Table 4　Classification performance of each method in four relations

Table 5　Comprehensive performance of each method

6結束語

本文主要研究基于Tri-Training的半監督學習方法在事件關系分類任務中的應用。該方法針對事件關系分類任務中訓練語料不足的現象，利用Tri-Training方法在少量已有人工標注的事件關系數據集上訓練三個不同的分類器，然后從挖掘到的包含Golden連接詞的大量未標注數據集中，通過簡單投票的方式對訓練語料進行擴充，繼而提高事件關系分類性能。由實驗結果可以看出，相比于其他幾種方法，基于Tri-Training的事件關系分類方法，在各事件關系分類性能上均有不同程度的提高。該方法在四種關系上的綜合分類性能也達到了最高的F1值，為64.36%。這就說明，在事件關系標注語料很少的情況下，使用基于Tri-Training的半監督學習的方法擴充事件關系訓練語料能夠有效地提高事件關系分類的性能。在下一步工作中，我們將嘗試使用更多的分類特征，如事件上下文和詞典信息等特征，以此進一步提高事件關系分類性能。

參考文獻:附中文

[1]Yang X R, Hong Y, Chen Y D, et al.Detecting event relation through cross-scenario Inference [J].Journal of Chinese information Processing,2014,28(5):206-214.(in Chinese)

[2]Fillmore C J,Johnson C R,Petruck M R L.Background to framenet[J].International Journal of Lexicography,2003,16(3):235-250.

[3]Hashimoto C,Torisawa K,Kloetzer J,et al.Toward future scenario generation:Extracting event causality exploiting semantic relation,context,and association features[C]∥Proc of the 52nd Annual Meeting of the Association for Computational Linguistics,Association for Computational Linguistics,2014:1.

[4]Chklovski T,Pantel P.Global path-based refinement of noisy graphs applied to verb semantics[C]∥Natural Language Processing-IJCNLP 2005,2005:792-803.

[5]Pantel P,Pennacchiotti M.Espresso:Leveraging generic patterns for automatically harvesting semantic relations[C]∥Proc of the 21st International Conference on Computational Linguistics and the 44th Annual Meeting of the Association for Computational Linguistics.Association for Computational Linguistics,2006:113-120.

[6]Harris Z S.Mathematical structures of language[M].New York:Interscience Publishers John Wiley & Sons,1968.

[7]Lin D,Pantel P.DIRT@ SBT@ discovery of inference rules from text[C]∥Proc of the 7th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,2001:323-328.

[8]Zhou Z H,Li M.Tri-training:Exploiting unlabeled data using three classifiers[J].IEEE Transactions on Knowledge and Data Engineering,2005,17(11):1529-1541.

[9]Goldman S,Zhou Y.Enhancing supervised learning with unlabeled data[C]∥Proc of ICML,2000:327-334.

[10]Linguistic Data Consortium.ACE (Automatic Content Extraction) Chinese annotation guidelines for events[EB/OL].[2009-09-08].http://www.ldc.upenn.edu/Projects/ACE.

[11]Li Q,Ji H,Huang L.Joint event extraction via structured prediction with global features[C]∥Proc of the 51st Annual Meeting of the Association for Computational Linguistics,2013:73-82.

[12]Zhu X.Semi-supervised learning literature survey[R].Technical Report 1530. Madison:Computer Sciences, Univerity of Wisconsinnadison,2005.

[1]楊雪蓉,洪宇,陳亞東,等.基于跨場景推理的事件關系檢測方法[J].中文信息學報,2014,28(5):206-214.

丁思遠(1992-),男,江蘇濱海人，碩士生，CCF會員(E200040583G)，研究方向為事件抽取和事件關系分類。E-mail:dsy_ever@hotmail.com

DING Si-yuan,born in 1992,MS candidate,CCF member(E200040583G)，his research interests include event extraction， and event relation classification.

洪宇(1978-),男,黑龍江哈爾濱人，博士，副教授，CCF會員(E200011434M)，研究方向為信息檢索、話題檢測與跟蹤和篇章分析。E-mail:tianxianer@gmail.com

HONG Yu,born in 1978,PhD,associate professor,CCF member(E200011434M)，his research interests include personal information retrieval,topic detection and tracking, and discourse analysis.

作者簡介: