基于框架語義的隱式篇章關系推理

嚴為絨,朱珊珊,洪 宇,姚建民,朱巧明

(蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006)

?

基于框架語義的隱式篇章關系推理

嚴為絨,朱珊珊,洪 宇,姚建民,朱巧明

(蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006)

篇章關系分析是一種專門針對篇章語義關系及修辭結構進行分析與處理的自然語言理解任務。隱式篇章關系分析是其中重要的研究子任務，要求在顯式關聯線索缺失的情況下，自動檢測特定論元對之間的語義關系類別。目前，隱式篇章關系分析性能較低，主流檢測方法的準確率僅約為40%。造成這一現狀的主要原因是： 現有方法脫離論元的語義框架進行關系分析與檢測，僅僅局限于特定論元特征的關聯分析。針對這一問題，該文提出一種基于框架語義的隱式篇章關系推理方法，這一方法有效利用了框架語義知識庫(即FrameNet)和相關識別技術，實現了論元語義框架的自動識別，并在此基礎上，借助大規模文本數據中框架語義關聯關系的分布概率，進行論元語義一級的關系判定。實驗結果顯示，僅僅利用第一層框架語義知識，即可提高隱式篇章關系檢測性能至少5.14%；同時，在考慮關系類別平衡性的情況下，這一方法能提高至少10.68%。

篇章關系；隱式篇章關系；框架語義

1 引言

賓州篇章樹庫[1-2](Penn Discourse Treebank, 簡寫為PDTB)是一種以篇章為場景的論元關系語料庫。PDTB統一將文字片斷(句子或子句)稱為論元，論元是具有獨立語義的論述單元。其中，主要的測試樣本為一對毗連的論元(下文統稱“論元對”)。對于“論元對”中先出現的論元稱為前置論元(簡稱Arg1)，后出現的論元稱為后置論元(簡稱Arg2)。篇章分析的核心任務是判定論元對之間的語義或修辭關系。本文重點研究論元對的語義關系檢測問題。

篇章關系檢測(Discourse Relation Detection)是一種對特定篇章內，論元之間語義關系進行自動判定的自然語言處理技術，不僅能夠用于分析篇章的語義和語用規律，如理解篇章的結構以及評估篇章內容的連貫性；而且在信息處理領域也有廣泛的應用價值，如篇章中的因果關系可用于自動問答系統和事件因果關系檢測[3-4]對比關系可用于情感分析研究[5]；擴展關系可進行自動文摘識別[6]等。

篇章關系分為三層，第一層關系包括擴展(Expansion)、偶然(Contingency)、對比(Comparison)和時序(Temporal)四大類；每類關系可根據語義進一步細分為多層子關系，例如，偶然關系可細分為因果(Cause)和條件(Condition)等第二層關系，第二層關系又可進一步細分為多個子關系。在此基礎上，PDTB中的篇章語義關系，根據論元對(即一對論元，表示為“Arg1-Arg2”)之間是否存在顯式連接詞，劃分為顯式關系和隱式關系兩類。

下面給出兩項篇章關系樣例，其中，例1為具有顯式關系(Explicit Discourse Relation)的論元對，這種論元對具有顯式連接詞“but”，該連接詞能夠直接指定或反映兩兩論元之間的語義關聯類別，此例中為“比較.對比”關系；例2為具有隱式關系(Implicit Discourse Relation)的論元對，這一論元對不具有顯式連接詞(注： 例2中的連接詞為標注者推理給出的結果，原文并不存在)，由此，無論連接詞或篇章關系，都需根據語義信息和事物之間的本源邏輯進行估計與推理。

例1 Arg1: I tried on two dresses

(譯文： 我試了兩件裙子)

Arg2: but neither fits me.

(譯文： 但是一件都不合身)

Relation: Comparison.Contrast

(篇章關系： 比較.對比)

例2 Arg1: McCain is beat by Obama.

(譯文： 奧巴馬擊敗了麥凱恩)

Arg2: [Implicit= So]Obama win the election.

(譯文： [所以]奧巴馬贏得選舉)

Relation: Contingency.Cause

(篇章關系： 偶然.因果)

目前，顯式篇章關系檢測性能已達到93.09%[7]，然而，隱式篇章關系檢測性能僅約40%[8-9]。由于顯式篇章關系中包含連接詞，能夠避免在篇章理解的時候產生歧義。因此，可直接根據句中包含的連接詞推斷其顯式關系類型，比如，PDTB中存在連接詞“before”( “在……之前”)指向“Temporal. Asynchronous”( “時序.異步”)關系的概率為100%，所以通過連接詞能精確地推理篇章關系。與之相反，隱式篇章關系中缺乏顯式連接詞，只能通過結合上下文、語義、邏輯結構等信息進行間接的關系判定。然而，上下文的不確定性以及語義關系的歧義性等問題，使得隱式篇章關系檢測的難度較高。

現有方法主要采用局部的語言特征[8-9](如句法特征、依存特征和詞共現特征等)進行篇章關系檢測，無法有效解釋和判定論元之間的語義關系，原因在于： 局部特性無法直接詮釋整個論元的外部語義關系，而僅僅能夠表述論元內部的內容與組成結構。針對這一問題，本文提出一種基于框架語義的隱式篇章關系推理方法，這一方法利用框架語義作為論元整體語義的抽象表述，并借助大規模文本數據中，框架語義關聯信息的分布概率，估計論元之間語義層面的關系屬性。下述例3給出了基于框架語義的隱式篇章關系檢測實例。

例3 Arg1: He was shot by a terrorist.

(譯文： 他被恐怖分子射中)

Frame1: Attack (框架1： 襲擊)

Arg2: He unfortunately passed away.

(譯文： 他不幸逝世)

Frame2: Death (框架2： 死亡)

依據： (Frame1 vs Frame2，篇章關系： 偶然.因果，即Contingency.Cause關系)

斷言： (Arg1 vs Arg2，篇章關系： 偶然.因果，即Contingency.Cause關系)

上述例3表明，“Attack”為Arg1的框架類別，“Death”為Arg2的框架類別，框架“Attack”和“Death”之間往往蘊含一種“偶然.因果”關系。由此，可以利用抽象語義之間的這一關聯關系，推斷Arg1和Arg2之間的語義關系也為“偶然.因果”關系。

由此，本文利用框架語義知識庫(FrameNet*http://framenet.icsi.berkeley.edu(FrameNet的下載地址))建立論元的框架語義識別標準，其中每個論元的核心目標詞(即FrameNet中的Target)都可以抽象為

一種框架(Frame)，如上例中的核心目標詞“shot”和“passed away”分別對應框架“Attack”和“Death”。

本文通過SEMAFOR*http://www.ark.cs.cmu.edu/SEMAFOR (工具SEMAFOR的下載地址)工具對1 019種框架進行自動識別，SEMAFOR是由Dipanjan Das等人開發的框架語義分析工具，該工具可對給定的句子進行目標詞與框架的精確識別。本文采用框架語義輔助篇章關系檢測的動機如下：

1) 現有篇章關系檢測方法，如Wang和Zhou等[8-9]，往往專注于單論元內部的語言學特征進行關系分類，忽視了論元之間的語義關聯特性。論元內的語義片段、語法片段、句法片段和依存片段等特征皆為局部特征，不能刻畫論元的整體概念，而論元之間的關系是概念之間關聯屬性的抽象與反映；

2) 框架語義之間存在較強的語義銜接關系，并且，論元的核心框架語義是論元整體語義的抽象，具有較強概括性，從而，框架語義之間的關系能夠較為宏觀地解釋論元之間的語義關系，對于分析與推理隱式篇章關系有著較高的輔助作用。

在此基礎上，本文采用如下步驟進行隱式篇章關系推理： 首先，通過框架語義分析工具SEMAFOR標注論元對的目標詞及其框架類別；其次，基于大規模語料庫GIGAWORD[10]計算目標詞之間的互信息，并統計框架之間的最大似然關系；最后，通過框架之間的關系推測待測論元之間的關系。

本文組織結構如下： 第二章介紹相關工作；第三章簡要介紹框架語義學；第四章詳細論述基于框架語義的篇章關系推理方法；第五章給出實驗設計；第六章進行總結。

2 相關工作

目前，篇章關系檢測研究以全監督或半監督機器學習方法為基礎，包括基于語言學特征的篇章關系分類方法和基于概率統計的篇章關系推理方法。

基于語言學特征的篇章關系分類方法中，Pitler等[7]采用有監督的篇章關系分類方法訓練分類器，并使用情感詞極性、動詞短語長度、動詞類型、句子首尾單詞和上下文等特征進行關系分類，最終在PDTB測試集上獲得了優于隨機關系分類的性能。Lin等[11]繼承了Pitler等的方法體系，細化了上下文特征的采集技術，使用了句法樹的結構特征與依存特征；同時，結合Soricut等[12]于2003年提出的論元內部結構特征，在PDTB第二層隱式關系分類上獲得40.2%的精確率。隨后，Wang等[8]基于卷積樹核函數提升了句法結構特征的區分能力，但性能并沒有顯著的提升(精確率約40.0%)，僅略優于以淺層句法樹為特征的關系分類性能。

基于概率統計的篇章關系推理方法中，Marcu等[13]首次將概率統計應用于篇章關系分析，基于詞對的共現特征對論元之間合理的連接詞進行估計，并利用連接詞與篇章關系映射概率，實現關系判斷。Saito等[14]繼承了Marcu等的方法，加入了短語特征，提高了日文隱式篇章關系推理的性能。隨后，Zhou等[9]驗證了三元文法的共現概率及其關系指向，也能提高隱式關系的判定，相比于Saito等，該方法不局限于語法的規范，滿足了詞特征相互組合的連貫性和靈活性，但是其性能僅在偶然和時序關系上有所提升，精確率分別達到70.79%和70.51%，對擴展和比較關系的分類性能仍然偏低。

總體而言，上述基于語言學特征的分類方法，往往局限于有限的語言學資源，導致分類特征(如句法結構和依存特征)的缺失或訓練不充分，負面影響了關系分類效果。此外，其上述基于統計信息的推理方法采用句子中孤立的片斷(包括詞、短語和三元文法)作為推理線索的采集對象，存在表義不全和表義不準的偏差，而這一偏差往往導致關系推理的異常。本文針對上述問題，提出了一種基于框架語義的隱式篇章關系推理方法。該方法以論元的整體框架語義為關系推理線索，嘗試解決推理線索的片面性與局部性，此外，該方法在大規模語言學資源中采集和統計框架之間的關系概率，并將這一概率應用于論元語義關系的判定過程，從而避免了有限訓練數據導致的線索缺失和訓練不充分的問題。

3 框架語義簡介

本文利用框架語義的關系解釋和推理論元之間的篇章關系，其中框架語義遵循FrameNet[15](框架語義知識庫)的定義與標準。FrameNet是由美國加州大學伯克利分校構建的一個基于框架語義學的在線知識庫，該知識庫在自然語言處理和語義研究等方面都有實用意義。FrameNet通過框架描述單詞的釋義，即詞語背后隱藏的概念結構和語義等信息。從而，框架語義能夠形成特定場景(包括事件、狀態、關系或實體)的概念表述。

FrameNet由框架庫、句子庫和詞元庫三部分組成。其中，框架庫主要對詞語進行分類描述，并給出框架語義的定義，以及描述框架語義之間的概念關系；句子庫是具有框架語義標注的句子樣本集，往往用于框架語義識別任務的訓練與測試；詞元庫在句子庫的基礎上生成，記錄詞元的語義搭配模式。FrameNet中共定義了1 019種框架，大體分為四類： 事件(Event)、狀態(Situation)、關系(Relation)和實體(Entity)，如表1所示。

表1 四類框架(未全部列舉)

在FrameNet中，對句子的框架語義標注是一種類似于“謂詞-論元”結構的“目標詞-框架”(Target-Frame)結構。目標詞是由動詞、形容詞或名詞組成，標記為“Target”；框架是對目標詞的一種抽象，標記為“Frame”。每個句子可能包含一個或多個“目標詞-框架”結構，如下述例4所示。

例4 The Funding sources are shrinking, but the needs grow explosively.

(譯文： 資金來源減少，但需求呈爆炸性增長)

例4包含四種“目標詞-框架”結構，其中，目標詞分別為： “source”、“shrink”、“need”和“grow”(例子中的黑體部分)；框架分別識別為： “Source_of_getting”、“Expansion”、“Needing”和“Expansion”，且目標詞與框架一一對應。換言之，論元的每個目標詞都可以抽象為一種框架，如例4中目標詞“source”抽象為框架“Source_of_getting”。

4 基于框架語義的隱式篇章關系推理

本文基于框架語義推理隱式篇章關系，即針對待測論元對，使用SEMAFOR工具分別識別出論元對(Arg1和Arg2)的目標詞集合與框架集合，通過框架語義之間隱含的關系對論元之間的關系進行判定，圖1給出了推理的方法框架。本文推理隱式篇章關系的方法框架主要包括三個方面： 關系樣本抽取(即抽取包含Golden連接詞的論元對)；框架對的最大似然關系；待測論元對的隱式篇章關系推理。

圖1 基于框架語義的隱式篇章關系推理架構

4.1 關系樣本抽取

關系樣本抽取的目的是從大規模語言學資源中獲取篇章關系樣本，每項樣本都必須滿足如下兩種條件：

1) 具有前置論元Arg1和后置論元Arg2；

2) Arg1和Arg2之間的篇章關系為顯式關系。

這種關系樣本中的顯式關系由顯式連接詞唯一指定，如表2所示。從而關系樣本蘊含的語義關系為已知條件，由此，可給出每個關系樣本中，Arg1與Arg2的框架之間蘊含的語義關系。這類關系樣本能夠用于估計框架搭配生成特定關系的概率指標，進而輔助基于語義框架的隱式關系推理。這一推理方法可簡單地理解為一種“以框架語義關系為橋梁的顯式關系輔助隱式關系推理”的過程。

為了實現關系樣本的精準抽取，本文采用PDTB中的Golden連接詞唯一地指定顯式關系。Golden連接詞是指： PDTB 2.0中，指向某一篇章關系的概率在96%以上的連接詞，共有87個。Golden連接詞的歧義性小、語義較明確，比如連接詞“though”指向“對比”關系的概率為100%。相比而言，非Golden的連接詞往往語義不明確，且指向多種不同的篇章關系，比如，顯式連接詞“while”具有“當……時”和“然而”兩種含義，分別指向“時序”和“比較”兩種關系，從而難以利用這類連接詞唯一地指向一種關系，對關系樣本抽取容易引入噪聲。

PDTB給出的134項連接詞中，歧義連接詞數量較少，且發生概率較低。表2是對PDTB中常見的連接詞，統計了每個連接詞對應的最大似然關系的概率，選取概率大于96%的連接詞作為Golden連接詞。從而，這類連接詞能夠有效指定特定論元對的篇章關系。

表2 PDTB中Golden連接詞及其最大似然關系映射表

表2對PDTB的四種篇章關系，即“Expansion”、“Contingency”、“Comparison”和“Temporal”，分別簡寫為“Exp.”, “Con.”, “Com.”和“Tem.”(下文同)。

在此基礎上，本文利用Apache Lucene 4.1*http://lucene.apache.org (Lucene的下載地址)建立小型搜索引擎進行本地檢索，以Golden連接詞作為查詢，高速檢索本地語言學資源中蘊含這一連接詞的文字片段，并根據上述兩項挖掘條件，即蘊含連接詞的毗連論元，抽取關系樣本。其中，Golden連接詞對應的最大似然關系即為論元對之間的關系。本地語言學資源選用了GIGAWORD的版本1 (LDC2003T05)，其中包含4 111 240篇新聞文本，來自四個不同的國際英語新聞專線，分別為： 法國新聞社、美聯社、紐約時報以及新華通訊社。

4.2 框架對的最大似然關系映射

本文針對挖掘所得的關系樣本，分析每個樣本的語義框架，并借助顯式連接詞對篇章關系的直接映射，構建每個樣本中兩兩框架與篇章關系的對應性，并計算大規模樣本中“框架對-關系”的出現概率，以此實現框架對的最大似然關系估計。方法細節如下：

Step1： 針對關系樣本，本文使用SEMAFOR框架語義分析工具分別識別Arg1和Arg2的框架集合。詳細而言，針對前置論元Arg1，獲取框架集合FrameSet1，包含多項框架{Frame11,Frame12, …,Frame1m}；同理于后置論元Arg2，獲取框架集合FrameSet2，包括多項框架{Frame21,Frame22, …,Frame2n}；

Setp2： 針對這一關系樣本，對FrameSet1和FrameSet2中的框架進行兩兩搭配，形成所有可能的框架搭配{Frame1i,Frame2j}i=1…m, j=1…n；

Step3： 針對這一關系樣本，利用其已知的關系，即關系樣本中顯式連接詞直接指向的關系(如4.1節)，約定該樣本的所有框架搭配{Frame1i,Frame2j}i=1…m, j=1…n都對應于這一關系；

Step4： 針對從GIGAWORD中抽取得到的所有關系樣本，進行Step1至Step3操作，將所有樣本中出現的框架搭配，以及各個框架搭配在特定樣本中約定的篇章關系，合并為框架搭配與篇章關系的映射表FMap，表中每個框架搭配對應一個篇章關系(注： 該表不進行框架搭配的去重，借以輔助框架搭配的最大似然關系估計)。

借助上述映射表FMap，本文對每個框架搭配進行最大似然關系的概率估計。給定PDTB中第一層四種主關系，即“Expansion”、“Contingency”、“Comparison”和“Temporal”，計算特定框架搭配{Frame1i,Frame2j}i=1…m, j=1…n在四種關系上分布概率P(r)，計算方法為： 框架搭配{Frame1i,Frame2j}i=1…m, j=1…n在FMap中對應關系r的頻次，除以該搭配在FMap中的總量。其中，分布概率最高的關系，即為該框架搭配蘊含的最大似然關系，如公式(1)所示。

(1)

其中，nr表示框架搭配{Frame1i,Frame2j}i=1…m, j=1…n在FMap中對應關系r的頻次，N表示該搭配在FMap中的總頻次。

4.3 隱式篇章關系推理

本文利用上述框架與最大似然關系的映射表，實現基于框架語義的隱式篇章關系推理。這一推理方法基于如下假設： 一對論元的篇章關系，往往由論元的框架搭配之間的關系決定。基于這一假設，對于未給定顯式連接詞的隱式篇章關系，可以利用兩兩論元形成的框架搭配，以及框架搭配在特定篇章關系上的概率分布予以推理。

鑒于一項論元往往存在多個框架(論元局部成分衍生的多項框架)的情況，本文采用目標詞之間的互信息作為識別核心框架的手段，互信息越高，則觸發核心框架的概率越高。由此，給定某一待測論元對，本文選擇兩兩論元的核心框架形成搭配，并利用上述框架搭配與篇章關系的概率映射表(如4.2節)，實現最終的論元隱式關系推理。具體流程如下：

Step1： 針對待測論元對，使用SEMAFOR識別Arg1和Arg2的目標詞集合和框架集合，且二者一一對應。詳細而言，針對Arg1，獲取目標詞集合TargetSet1，包含多項目標詞{Target11,Target12, …,Target1m}；同理于Arg2，獲取目標詞集合Tar-getSet2，包括多項目標詞{Target21,Target22, …,Target2n}；對于框架集合的生成如4.2節；

Setp2： 針對這一待測論元對，對TargetSet1和TargetSet2中的目標詞進行兩兩搭配，形成所有可能的目標詞搭配{Target1i,Target2j}i=1…m, j=1…n；對FrameSet1和FrameSet2中的框架進行兩兩搭配，形成所有可能的框架搭配{Frame1i,Frame2j}i=1…m, j=1…n；

Step3： 借助關系樣本集，計算目標詞搭配{Target1i,Target2j}i=1…m, j=1…n的互信息MI(Mutual Information)，如公式2所示。

(2)

其中，MI(Target1i,Target2j)記作目標詞Target1i與Target2j之間的互信息，P(Target1i,Target2j)為目標詞Target1i與Target2j在文本集中同時出現的概率，P(Target1i)為目標詞Target1i出現的概率，P(Target2j)為目標詞Target2j出現的概率。假定兩目標詞在樣本集中出現的頻次分別為count(Target1i)和count(Target2j)，共現頻次為count(Target1i,Target2j)，N為關系樣本總數，則：

(3)

Step4： 對目標詞搭配按互信息進行排序，選取其中互信息排序前N (TopN)的目標詞搭配，每一目標詞搭配對應一個框架搭配，每一框架搭配在4.2節中給出了其最大似然關系，通過TopN個框架搭配的最大似然關系推理論元對之間的篇章關系，即在TopN個關系中，將出現頻次最多的關系，判定為待測論元對的篇章關系。

由于框架之間在篇章內部具有一定的語義邏輯關系，框架語義本身是對論元語義的一種抽象，使得框架語義對隱式篇章關系的判定、語義分析與推理具有重要作用。表3列舉了四類主要篇章關系的框架語義實例，當直觀反映篇章關系的顯式連接詞缺失的時候，框架語義成為推理論元語義關系的關鍵性線索(如目標詞“began”和“ended”同時出現在相鄰的兩個論元中，對應的框架分別為“Activity_start”和“Process_end”，觸發“時序”關系)。

表3 四種隱式篇章關系的框架語義樣例

5 實驗設計

本文提出一種基于框架語義的隱式篇章關系推理方法，本節首先給出實驗設計，包括測試用的語言學資源和評價標準；然后，匯報實驗結果；最后，分析存在的問題，并與前人工作進行對比。

5.1 實驗數據

本文針對PDTB第一層四個主關系(Expansion、Contingency、Comparison和Temporal)進行檢測。由于主流方法的測試集大多數為section 21-22或者section 23-24，所以本文選用PDTB 2.0中的section 21-22作為測試集1 (TD1)，共包含1 046個英文隱式關系論元對的樣本；section 23-24作為測試集2 (TD2)，共包含1 192個待測樣本。對于包含兩種或兩種以上篇章關系的待測論元對，測試時選擇這些篇章關系中最主要的關系類別作為其正確的篇章關系類別，表4給出了測試集中第一層四種隱式篇章關系的樣本分布。

表4 測試集中隱式篇章關系的分布

實驗涉及的外部資源是大規模靜態數據資源GIGAWORD，包含4 111 240篇來自紐約時報等媒體的新聞報道。由于檢測任務僅涉及英文文本，本文抽取其中896 446篇英文文本作為關系樣本的來源。利用這一數據，并借助基于Lucene構建小型的本地搜索引擎，實現了關系樣本的抽取，實驗共抽取有效關系樣本約一百萬項。

本系統通過SEMAFOR標注論元對(包括關系樣本和待測論元對)的目標詞及其框架，由于部分論元長度較短，加上SEMAFOR工具本身包含的目標詞只有六萬多個，存在大量的未登錄目標詞(即未出現在FrameNet的詞典例句和訓練語料中的目標詞)，這就導致長度較短的論元不能被識別出目標詞。其中，TD1中不能識別出目標詞的待測論元對共有20個，TD2有24個，從而，實際參與實驗的論元對數量TD1為1 026，TD2為1 168。實際參與隱式篇章關系檢測的測試樣本分布見表5。

表5 實際的測試集隱式篇章關系分布

5.2 評價標準

為評估本文系統對PDTB四種隱式篇章關系的識別性能，本文使用準確率(Accuracy)作為性能度量標準，如公式4所示，準確率是目前篇章關系分析與檢測研究領域的通用評測標準，其中，TruePositve表示被正確分為正例的個數，TrueNegative表示被正確分為負例的個數，Sum即是待測論元對的總數。

(4)

該評測方法在篇章關系檢測領域的早期應用是： 二元關系分類精度的評測。例如，以PDTB中的第一層關系為例，如果單一關系“Expansion”為一類，則另外三種關系(包括“Contingency”、“Comparison”和“Temporal”三種關系)為另一類，稱作非“Expansion”關系類，當給定待測論元對時，其具有“Expansion”關系或非“Expansion”關系。由此，如果論元對具有“Expansion”關系且系統判定其具有“Expansion”關系時，則獲得TruePositve指標；相反地，如果系統判定為非“Expansion”關系中的任何一種，都為誤判，即FalseNegative。相對地，如果該論元對具有非“Expansion”關系，則無論系統判定為“Contingency”、“Comparison”或“Temporal”中的哪一種關系，只要不是“Expansion”關系，則都為判定正確，并獲得TrueNegative指標；否則為誤判，即FalsePositve。

目前，該評測方法也用于多元關系的性能計量，計量方法是將TrueNegative設置為恒定值0，只檢驗每個待測論元對是否獲得正確的關系判定，即只計算TruePositve指標與Sum的比值。四種主關系的多元關系檢測準確率統稱為Four-way Accuracy，本文實驗部分簡寫為Four-way。

5.3 實驗結果與分析

本節首先給出可行性驗證；其次，闡述本文系統的性能，并給出相應的結果分析；最后，通過與現有方法的對比分析，探討本文方法的優缺點。

? 可行性驗證

本文首次提出使用框架語義推理隱式篇章關系，與直接表征論元語義關系的顯式連接詞不同，框架語義主要出現在欠缺顯式連接詞的隱式論元間，通過其語義連接以及框架之間存在的上下文銜接性，潛在反映隱式篇章關系，這一特點有利于隱式關系的自動推理。但是，利用框架搭配關系推理論元之間的關系，需要首先滿足如下條件： 兩兩框架之間的關系需要集中在少量甚至唯一的篇章關系上。框架語義是否滿足這一要求，將直接決定基于框架語義的隱式關系推理是否可行。

為此，本文在前期試驗中，在大規模數據集上，計算并分析了各個框架搭配在不同關系上的出現概率，如圖2所示。其中，橫軸上的符號X表示框架搭配的最大似然關系概率，而橫坐標各個采樣點標注為框架搭配取得最大似然關系的概率區間，比如，框架“Attack”與“Death”對應最大似然關系“Contingency”的概率為61.82%，則該框架搭配屬于60%至70%的區間；縱坐標用于反映每個區間包含的框架搭配的數量，為了便于觀察，統一歸一化為[0,1]區間之內，即特定框架搭配數量除以總的框架搭配數量。由圖2觀測可知，概率值小于50%的框架搭配數量較少，僅占總量的14.14%，由此說明框架搭配往往集中蘊含少量甚至一種語義關系，證明了使用框架語義推理隱式篇章關系的可行性。

? 基于語義框架的性能分析

本文方法利用大規模外部資源GIGAWORD，計算框架搭配的似然關系概率，其中，每個搭配對應的關系都是其所在論元對的顯式關系，需要通過顯式連接詞對應的顯式關系進行獲取。然而，實驗觀測，顯式連接詞在外部數據中的分布也存在極不平衡的特性，如圖3所示，其中連接詞“but”的出現頻率極高(圖3僅列出GIGAWORD中出現頻率最高的前13個連接詞)，極不平衡地大幅超越其他連接詞數量，從而連接詞“but”對應的“Comparison”關系也在訓練數據中高頻出現，框架語義搭配的似然關系受其干擾，偏見地指向“Comparison”關系，使推理關系分類的能力削弱。

圖3 GIGAWORD中Golden連接詞對應的關系樣本數

針對上述問題，本文實驗部分將框架搭配的訓練語料GIGAWORD進行了簡單地分布平衡處理，即針對“but”連接詞觸發的“Comparison”關系樣本進行欠采樣。借助這一處理，當連接詞“but”對應的關系樣本數為5萬的時候，本文獲得了較高的測試結果，如表6所示。結果顯示，測試集TD1的推理性能達到52.92%(Four-way)，單一關系的二元分類性能最優為91.13%(如表6中的“Temporal”關系)，最劣為56.14%(如表6中的“Expansion”關系)；測試集TD2的推理性能達到50.68%，單一關系的二元分類性能最優為95.72%，最劣為55.14%。

表6 隱式篇章關系性能分析

TPos：TruePositive，即正確判定正例的樣本數量

TNeg：TrueNegative，即正確判定負例的樣本數量

然而，觀測實驗結果的細節發現，雖然“Temporal”關系的二元分類性能最優，但事實上，在測試集TD1和TD2上“Temporal”關系的測試樣本獲得的TruePositive都為0值，即這類“Temporal”關系樣本都沒有被判定為“Temporal”，而是其他關系。同時，針對測試集TD1和TD2，非“Temporal”關系的樣本產生的TrueNegative分別為935個和1 118個，分類準確率較高。由此，本文的關系推理系統更傾向于將所有測試樣本判定為非“Temporal”類的篇章關系。造成這一現象的原因如下：

1) 測試樣本分布不均衡，如表5所示，實驗中使用的PDTB測試集TD1共包含1 026個測試樣本，而其中僅有55個“Temporal”關系的測試樣本，約占總數的5.36%，這種不平衡性在TD2和外部數據中同樣存在。從而，“Temporal”關系樣本的機器學習、概率估計和推理都本源地存在較高難度；

2) 外部資源分布不均衡，其中，屬于“Temporal”關系的樣本數占少數，從而框架搭配的似然關系受其干擾，基本不會指向這種關系，使關系分類推理“Temporal”關系樣本的能力進一步削弱。

同時，測試集TD1的“Comparison”關系的測試樣本獲得的TruePositive也為0值，這是由于在測試樣本分布中，也只有146個“Comparison”關系的測試樣本，約占總數的14.23%(見表5)。

針對上述兩種現象，本文實驗部分將框架搭配的訓練語料(GIGAWORD)進行了簡單地分布平衡處理，即針對高頻連接詞(只考慮圖3中給出的13個Golden連接詞)觸發的關系樣本進行欠采樣進行分布平衡處理。借助這一處理，本文獲得了較為平衡的測試結果，如表7所示。結果顯示，對訓練語料的簡易平衡，即可影響測試樣本的關系分類平衡性。其中，“Comparison”和“Temporal”關系的TPos(TruePositive)指標都有所增長。但是，相對地負面影響了“Expansion”關系樣本的分類效果，TD1減少了104個TPos，TD2減少了53個TPos。同時，也負面影響了整體推理性能，TD1的Four-way減少至46.49%，減少了66個TPos，TD2的Four-way減少至47.69%，減少了35個TPos。

上述現象說明，現有的簡易平衡方法，尚無法面面俱到地顧及所有關系的分類需要，從而，訓練數據或外部數據的關系平衡問題，是一項極有價值的全新研究點。就目前測試結果觀察，“Comparison”關系樣本的欠采樣，能提高除了“Expansion”關系以外的所有關系的分類準確率，而“Expansion”關系占關系總量的40%以上(統計自PDTB 2.0的section 0-20和GIGAWORD)，因此，主要的關系樣本平衡應主要著眼于“Comparison”和“Expansion”關系的分布調整。

表7 隱式篇章關系性能分析

TPos：TruePositive，即正確判定正例的樣本數量

TNeg：TrueNegative，即正確判定負例的樣本數量關系推理性能比較

? 關系推理性能比較

本節匯報基于框架語義的篇章關系推理性能(Four-way)，并與現有主流篇章關系檢測方法進行對比分析。本文推理方法的Four-way準確率，在測試集TD1上的測試性能為46.49%，在忽略關系類別平衡性的情況下，整體性能最高能達到52.92%，測試集TD2上的測試性能為47.69%，在忽略關系類別平衡性的情況下，整體性能最高能達到50.68%，如表8所示。相對地，Wang等基于句法結構特征構建篇章關系分類器，并利用樹核函數提高句法特征的分類效果，準確率為40.00%；Zhou等基于統計語言模型的基礎理論，利用文法共現概率與文法關系概率，形成了一套統計策略指導的篇章關系推理方法，測試性能為41.35%。由此，針對測試集TD1，本文關系分布平衡狀態下的推理性能，給出了5.14%的優化指標；而忽視分布平衡問題時，可獲得11.57%的性能提升。相對而言，針對測試集TD2，本文關系分布平衡狀態下的推理性能，給出了7.69%的優化指標；而忽視分布平衡問題時，可獲得10.68%的提升。

表8 各隱式篇章關系推理方法的性能對比

對比結果顯示，基于句法特征的篇章關系分類性能(如表8中Wang等[8]的性能)，低于該實驗中所有基于統計策略的關系推理性能(包括本文方法和Zhou等[9]的語言模型方法)。一定程度上，這一現象證明統計技術在隱式關系檢測任務中應用的可行性。性能較Wang等取得較大提高的原因是： Wang等采用的是基于樹核函數抽取句法樹中的結構化信息，而句法結構特征本身并不能直接表征語義，需要通過角色等其他特征予以補充，才能在一定程度上描述語義現象，也因此，句法結構特征也無法有效地描述論元之間的語義關系。相對而言，本文方法利用論元的框架語義作為分析和推理語義關系的特征，而框架語義本身是論元語義的抽象表述，其在大規模數據中的關聯概率，以及蘊含的最大似然關系，在一定程度上，能夠較好地反映論元之間的語義關系，有助于隱式關系的估計與推理。且Wang等方法的算法復雜度高，本文僅采用簡單的方法，實驗準確率就有了明顯的提升。

另一方面，本文基于框架語義的篇章關系推理方法，與Zhou等基于語言模型的關系推理方法，同為統計策略，但性能上也具有較為明顯的差異(本文方法具有較高的準確率)。原因在于，雖然Zhou等的方法能夠將語言片段的連貫性和關聯性，融入毗鄰論元的銜接屬性分析當中(即論元的篇章結構關系)，但不能確保其使用的序列語言片段能夠描述論元整體語義，從而也無法有針對性的分析語義層面的關聯關系。而篇章關系分析不僅僅是結構關系的分析，更是語義關系的邏輯性分析。缺失語義層面的特征分析與應用，則欠缺了重要的篇章關系檢測途徑。

然而，本文的最好性能僅僅略優于50%，距離實用化標準尚存較大距離。主要原因在于，隱含關系往往存在主觀性和模糊性，不同的語境下相同的框架語義能夠形成不同的篇章關系。例如，“Attack”與“Death”不僅具有因果關系，而且具有時序關系。提升現有方法，不可避免地需要融入論元以外的框架語義環境。此外，雖然本文采用的目標詞和框架識別技術，具有目前國際上最優的識別性能，但準確率仍不充分(約為90%，本實驗中準確率僅約為80%)，尤其，對于未登錄目標詞而言(即FrameNet訓練語料中未出現的目標詞)，其框架語義識別性能僅約30%，從而漏檢了大量有效的關系實例，對利用框架語義及其關系的統計方法，必然造成負面影響，從而一定程度上降低基于框架語義的篇章關系推理性能。

6 總結

本文針對隱式篇章關系檢測任務，提出了一種基于框架語義的關系推理方法，以框架語義及其關系的統計信息為基礎，利用連接詞與篇章關系的映射關系為橋梁，形成了一套基于框架語義的隱式篇章關系推理方法。利用國際標準篇章關系分析樹庫PDTB進行測試，證明該方法能夠有效提升現有基于統計技術的篇章關系檢測性能。

然而，基于框架語義的關系推理方法仍有較大提升空間，可嘗試改進的途徑包括兩個主要方面： 其一是利用上下文語境的約束，提升推理精度；其二是優化框架語義識別技術，尤其是優化未登錄目標詞的框架語義識別，借以提升框架語義關系樣本的抽取與采集能力，降低漏檢率，輔助框架語義及其關系的概率統計。

[1] Prasad R, Dinesh N, Lee A, et al. The Penn Discourse Treebank 2.0[C]//Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC), Marrakech, Morocco, 2008: 2961-2968.

[2] Miltsakaki E, Robaldo L, Lee A, et al. Sense annotation in the Penn Discourse Treebank. Journal of Computational Linguistics and Intelligent Text Processing, Lecture Notes in Computer Science, 2008, 4919: 275-286.

[3] Riaz M， Girju R. Another look at causality: Discovering Scenario-specific Contingency Relationships with no Supervision[C]//Proceedings of the 4th IEEE International Conference on Semantic Computing (ICSC), Pittsburgh, USA, 2010: 361-368.

[4] Do QX, Chan YS， Roth D. Minimally supervised event causality identification[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), Edinburgh,UK,2011: 294-303.

[5] Zhou L, Li B, Gao W, et al. Unsupervised discovery of discourse relations for eliminating intra-sentence polarity ambiguities[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), Edinburgh, Scotland, UK 2011: 162-171.

[6] 王繼成，武港山，周源遠等. 一種篇章結構指導的中文Web文檔自動摘要方法[J]. 計算機研究與發展, 2003, 40(3): 398-405.

[7] Pitler E, Raghupathy M, Mehta H, et al. Easily identifiable discourse relations[C]//Proceedings of the 22nd International Conference on Computational Linguistics (COLING), Manchester, UK, 2008: 87-90.

[8] Wang Wen-Ting, Su Jian， Tan CL. Kernel based discourse relation recognition with temporal ordering information[C]//Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL), Uppsala, Sweden, 2010: 710-719.

[9] Zhou Zhi-Min, Xu Yu, Niu Zheng-Yu, et al. Predicting discourse connectives for implicit discourse relation recognition[C]//Proceedings of the 23th International Conference on Computational Linguistics (COLING), Poster, Beijing, China, 2010: 1507-1514.

[10] Napoles C, Gormley M， Durme BV. Annotated Gigaword[C]//Proceedings of the Joint Workshop on Automatic Knowledge Base Construction & Web-scale Knowledge Extraction (AKBC-WEKEX) of NAACL-HLT, Montreal, Canada, 2012: 95-100.

[11] Lin ZH, Kan MY， Ng HT. Recognizing implicit discourse relations in the Penn Discourse Treebank[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), Singapore, 2009: 343-351.

[12] Soricut R， Marcu D. Sentence level discourse parsing using syntactic and lexical information[C]//Proceedings of the 2003 Conference of the North America Chapter of the Association for Computational Linguistics on Human Language Technology (NAACL), Edmonton, Canada, 2003: 149-156.

[13] Marcu D， Echihabi A. An unsupervised approach to recognizing discourse relations[C]//Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), Morristown, NJ, USA, 2002: 368-375.

[14] Saito M, Yamamoto K， Sekine S. Using phrasal patterns to identify discourse relations[C]//Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics (HLT-NAACL), New York, USA, 2006: 133-136.

[15] Fillmore CJ. Frame semantics and the nature of language[J]. Annals of the New York Academy of Sciences, 1976: 20-32.

Implicit Discourse Relation Inference Based on Frame Semantics

YAN Weirong, ZHU Shanshan, HONG Yu, YAO Jianmin, ZHU Qiaoming

(School of Computer Science and Technology, Soochow University, Suzhou, Jiangsu 215006, China)

Discourse relation analysis is a task of natural language understanding which aimed at analyzing and disposing the semantic relation and rhetorical structure of discourse. Implicit discourse relation analysis is an important subtask of automatically detectind senses of semantic relation between arguments in the absence of direct cues. Currently, the performance of implicit discourse relation analysis is low and state-of-art accuracy can only reach 40%. The major cause of this situation is that the existing methods did not analyze arguments in the semantic frame, limited only to the local features and correlation analysis of arguments. This paper proposes a method of implicit discourse relation inference based on frame semantic. This method automatic recognised semantic frame of arguments through FrameNet and related identification technology. On this basis, we indentify the semantic relation of arguments by the distribution probability of frame semantic relation in large-scale text data. The experimental results show that, only using the first level of frame semantic can improve the detection performance of implicit discourse relation up to 5.14%; meanwhile, this method can make the accuracy rate increased by 10.68% in the case of considering the balance of relation categories.

discourse relation; implicit discourse relation; frame semantics

嚴為絨(1988-)，碩士研究生，主要研究領域為篇章分析。E?mail：sallyrong8521@gmail．com朱珊珊(1992-)，碩士研究生，主要研究領域為篇章分析。E?mail：zhushanshan063@gmail．com洪宇(1978-)，通訊作者，博士，副教授，主要研究領域為篇章分析、話題檢測與跟蹤等。E?mail：tianxianer@gmail．com

1003-0077(2015)03-0088-12

2014-02-17 定稿日期： 2014-06-23

國家自然科學基金(61373097，1003152，61272259，60970056，60970057，90920004)；教育部博士學科點專項基金(2009321110006，20103201110021)；江蘇省自然科學基金(BK2011282)；江蘇省高校自然科學基金重大項目(11KJA520003)以及蘇州市自然科學基金(SYG201030、SH201212)

TP391

A