面向事件時序與因果關系的聯合識別方法

張義杰,李培峰,朱巧明

(1.蘇州大學 計算機科學與技術學院,江蘇 蘇州 215006; 2.江蘇省計算機信息處理技術重點實驗室,江蘇 蘇州 215006)

0 概述

事件是一種描述特定人、物、事在特定時間和地點相互作用的客觀事實,文本信息中的事件則是將這一客觀事實訴諸文字的獨特語言形式。事件研究的核心為識別不同事件之間的關系[1],其廣泛應用于自動問答、文本摘要和時間線構建等自然語言處理(Natural Language Processing,NLP)任務中。在事件之間可能存在多種關系類型,早期對于事件關系的研究多數是針對單一的關系類型,且許多提出方法是用于提升對應關系的識別性能,然而NLP領域對于事件關系進行聯合識別的研究卻相對較少。

事件的時序關系表示事件發生的先后順序,描述某話題下事件的發生及演變過程,而因果關系描述原因事件與結果事件之間的因果關聯。由于時序關系和因果關系之間存在密切的邏輯關聯,因此在多數情況下其中的一種關系通常受另一種關系的影響,并且一般情況下存在因果關系的事件對在發生順序上存在先后或重疊關系。本文提出基于神經網絡的聯合識別方法,并設計共享輔助任務中編碼層、解碼層和編解碼層的聯合識別模型。

1 相關工作

在時序關系識別方面,早期的研究工作專注于提取文本中的單一特征。文獻[2-3]在標注語料的基礎上利用事件屬性構造特征向量,包括事件類型、體態、形態、極性、時態等,并使用最大熵分類器進行時序關系識別。文獻[4]在此基礎上進一步結合詞性、句法樹結構等語義特征,從WordNet中提取詞匯和形態學特征,使得特征空間得到極大擴展。文獻[5]利用篇章級的特征以及VerbOcean中的語義關系,進一步提升事件時序關系的識別性能。文獻[6]在英文研究工作的基礎上,針對中文語句的特點,提出多種適用于中文語料的新型特征,識別中文事件時序關系。隨著深度學習技術的發展,神經網絡方法被引入到時序關系識別任務中。文獻[7]采取最短依存路徑作為輸入,構造一種基于RNN的神經網絡模型,其在不使用任何顯性特征和外部知識庫的情況下識別效果顯著。文獻[8]提出基于LSTM的網絡結構,利用句法依賴關系識別文本中的時序關系。文獻[9]通過雙通道LSTM學習兩個事件詞上下文的句法和語義表示,用于識別相同句子間的事件時序關系。

在因果關系識別方面,早期的研究工作主要使用模板匹配方法。文獻[10]通過從句法分析的結果中提取具有因果關系的詞及短語結構來構建因果關系模板,從而識別醫療文本中的因果關系。文獻[11-12]在語料庫中同時標注時序和因果關系,將人工標注的時序關系類型作為因果關系分類器的補充特征。文獻[13]將篇章關系預測和分布相似性方法歸納在一個全局推理過程中,對識別事件因果關系具有重要作用。文獻[14]提出一個新的語義標注框架CaTeRS,對時序關系和因果關系進行聯合識別。文獻[15]通過使用因果關系的預測結果對時序關系進行分析,研究兩種事件關系之間的相互作用。文獻[16]利用時序和因果關系之間存在的約束條件和語言學規則,將聯合識別任務轉化為一個整數線性規劃問題。

2 基于神經網絡的聯合識別方法

2.1 最短依存路徑

基于依存路徑的神經網絡模型在時序關系識別任務中的性能表現較好[7-9]。本文基于該思想,以事件句的依存解析樹為基礎,生成兩個最短依存路徑分支序列,其中左分支形成從源事件詞結點到最近公共祖先結點的依存路徑,而右分支形成從目標事件詞結點到最近公共祖先結點的依存路徑。為簡化網絡結構,本文將兩個最短依存路徑分支進行拼接,形成一個完整的依存路徑序列作為模型輸入。對于句內事件對,直接將依存解析樹中源事件詞結點到目標事件詞結點的依存路徑作為序列輸入;對于句間事件對,本文假設對應的兩顆依存解析樹共享一個“公共根結點”,并以該結點為中心,將左右兩條依存路徑拼接為完整的依存路徑序列。

對于依存路徑序列中的每一個單詞,首先將詞(W)、詞性(P)和該詞結點在依存解析樹中與其父結點的依存關系(D)映射到低維實值向量空間中,其中詞通過使用Word2Vec[17]預訓練詞向量的方式進行查表映射,詞性與依存關系通過隨機初始化的方法進行映射,然后分別獲得詞向量xw、詞性向量xp和依存向量xd,并將其進行拼接形成每個單詞的向量表示xi:

xi=xw⊕xp⊕xd

(1)

該序列的矩陣化表示為X={x1,x2,…,xs},其中s表示序列長度。

2.2 神經網絡編解碼層

目前,主流的事件關系識別方法主要為基于神經網絡的識別方法。此類方法通常包含兩個組成部分,即編碼(Encoding)層和解碼(Decoding)層。

2.2.1 編碼層

在形式上,使用X表示輸入序列,該序列通過編碼層進行傳播得到中間表示h,即:

h=Encoding(X)

(2)

近年來,多種神經網絡被作為事件關系識別模型的編碼層。本文采用兩個最具代表性的編碼層,具體為:

1)Bi-LSTM編碼層

文獻[7]使用雙通道LSTM(Bi-LSTM)對依存路徑輸入進行編碼,在時序關系識別任務中效果顯著。Bi-LSTM用于解決傳統RNN中長期依賴的學習問題,是事件關系識別任務中最常見的神經網絡編碼層。由于其具有較好的文本建模能力,在自然語言處理領域得到廣泛應用,因此本文使用Bi-LSTM作為編碼層。

2)Self-Att編碼層

Self-Att編碼層采用一種融合自注意力(Self-Attention)機制的神經網絡模型。Google于2017年提出基于Self-Attention機制的Transformer模型[18],在機器翻譯任務中效果顯著。Self-Attention機制直接捕獲輸入序列的全局依賴關系,從而加強語義信息的編碼能力。與傳統RNN相比,該機制的主要優勢在于其能夠在句子中任意兩個詞例之間建立直接的語義關聯。因此,句子中相離的元素之間能夠在更短的路徑上產生相互作用,使信息在網絡中實現暢通無阻的傳輸。并且,Self-Attention機制提供了更加靈活的方式對序列中的信息進行選擇、表示以及合成,并且可作為非線性網絡模型的補充形式。由于Self-Attention機制使用加權求和的方法計算輸出向量,對特征的表示能力相對有限,因此為進一步提高其表征能力,本文使用雙通道GRU網絡子層[19]對序列輸入進行初步編碼。

2.2.2 解碼層

解碼層將經由編碼層得到的中間表示h轉換成一個隱層表示r,即:

r=Decoding(h)

(3)

在基于序列到序列學習的自然語言處理任務中,如神經機器翻譯,解碼層通常將源序列經由編碼層進行非線性轉換得到的作為中間表示的上下文向量再轉化為相應的目標序列。與這些成分較為復雜的解碼層不同,事件關系識別中的解碼層結構相對簡單,因為模型的最終輸出只是基于所有標簽的概率得分。

本文將一層全連接層(Fully Connected Layer)作為解碼層,其中使用ReLU函數[20]作為激活函數,此解碼層的目的是將從編碼層學習到的分布式特征表示映射到樣本標簽空間,計算公式為:

r=ReLU(Wh+b)

(4)

其中,W表示權重參數矩陣,b為偏置量。

2.3 聯合識別模型

聯合識別模型將時序關系識別作為主任務(Main Task),因果關系識別作為輔助任務(Auxiliary Task)。

2.3.1 主任務

聯合識別模型通過從輔助任務中學習特征表示來促進并提升主任務的識別性能。

1)共享輔助任務中編碼層的聯合識別模型。圖1描述了通過共享輔助任務中的編碼層來實現時序和因果關系聯合識別的模型架構。

圖1 共享輔助任務中編碼層的聯合識別模型

在一般情況下,主任務的編碼層和輔助任務的編碼層對生成主任務中間表示的貢獻相等,即:

hmain1=Encodingmain(X)

(5)

hmain2=Encodingaux(X)

(6)

通過將兩個任務的中間表示向量hmain1和hmain2進行拼接來更新主任務的中間表示h′main,并得到解碼后的隱層表示,即:

h′main=hmain1⊕hmain2

(7)

rmain=Decodingmain(h′main)

(8)

2)共享輔助任務中解碼層的聯合識別模型。圖2描述了通過共享輔助任務中的解碼層來實現時序和因果關系聯合識別的模型架構。

圖2 共享輔助任務中解碼層的聯合識別模型

同樣地,主任務的解碼層和輔助任務的解碼層對生成主任務隱層表示的貢獻相等,即:

r′main1=Decodingmain(hmain)

(9)

r′main2=Decodingaux(hmain)

(10)

將主任務的兩個輸出r′main1和r′main2進行拼接,并通過一個非線性全連接層重新學習到一個新的結果rmain,即:

rmain=ReLU(W′[r′main1,r′main2]+b′)

(11)

其中,W′表示權重參數矩陣,b′表示偏置量。

3)共享輔助任務中編解碼層的聯合識別模型。圖3描述了通過同時共享輔助任務中的編碼層和解碼層來實現時序和因果關系聯合識別的模型架構。

圖3 共享輔助任務中編解碼層的聯合識別模型

模型3是模型1和模型2的融合。在形式上,與模型2不同的是,輔助任務的輸出學習自中間表示的拼接結果,即:

r′main2=Decodingaux(h′main)

(12)

其中,h′main表示模型1的中間表示向量的拼接結果。

2.3.2 輔助任務

輔助任務模型采用標準的神經網絡方法進行因果關系識別,其包含一個編碼層和一個解碼層,即:

haux=Encodingaux(X)

(13)

raux=Decodingaux(haux)

(14)

其中,haux表示輔助任務的中間表示向量,raux表示解碼層輸出的隱層結果。主任務可共享輔助任務的編碼層和解碼層。

2.4 關系分類

主任務和輔助任務分別采用一個Softmax層作為模型的輸出層來獲得其關系標簽的預測結果:

omain=Softmax(Womianrmian+bomian)

(15)

oaux=Softmax(Woauxraux+baux)

(16)

其中,rmain和raux表示主任務和輔助任務中解碼層的輸出向量,Womian和Woaux表示對應的權重參數矩陣,bomian和boaux表示偏置量參數。

3 聯合識別模型訓練

聯合識別模型通過最小化負對數似然函數進行訓練。為學習模型參數,本文將兩個關系識別任務的損失函數進行線性組合得到一個新的損失函數,具體為:

(17)

其中,(xi,yi)表示訓練樣本中第i個樣本對應的關系類型標簽,T表示訓練樣本個數,θ表示模型訓練參數集合,λ表示保持主任務和輔助任務之間損失平衡的權重參數,在本文實驗中設置為0.6。

在訓練過程中,本文采用L2正則化方法對網絡參數進行約束,并使用Adam方法對模型進行優化。所有參數均以均勻分布的方式進行初始化。

4 實驗結果與分析

4.1 數據集設置

RED數據集由95篇涵蓋新聞專線、論壇日志和敘述性文本等體裁的文檔組成。RED標注模式不僅需要理解不同事件的相對順序,而且需要標注一個事件導致(CAUSE)或預設(PRECONDITION)另一個事件的關系。標注人員通過對之前(BEFORE)事件鏈和重疊(OVERLAP)事件鏈進行子類型標注來構造結果(EFFECT)事件鏈。CAUSE和PRECONDITION本質上是存在時序鏈的:先決條件必須發生在它所作用的事件之前。CAUSE或PRECONDITION將先于EFFECT發生,但它們與結果最終可能重疊,比如“跑步”和“流汗”事件。然而,CAUSE關系表明原因先于結果發生。因此,對于CAUSE和PRECONDITION總存在時序關系。根據兩個事件之間的時序和因果關系,對因果關聯事件使用4種標注類型:BEFORE/CAUSES,OVERLAP/CAUSES,BEFORE/PRECONDITIONS和OVERLAP/PRECONDITIONS。

由于CAUSE和PRECONDITION都屬于因果關系范疇,本文將其融合統稱為CAUSE。表1展示了RED數據集的事件關系類型。

表1 RED數據集事件關系類型

本文實驗采用句子級的五折交叉驗證方式對實驗結果進行評估,并且以15%的比例從訓練集中隨機抽樣得到驗證集。

4.2 超參數設置

將模型輸入中事件詞、詞性、依存關系的詞嵌入向量維度分別設為300、50、50。模型中隱藏單元數量設為200。在輸入層和解碼層后采用Dropout策略防止模型過擬合,其保留率設為0.5;并在訓練時使用早停法(Early Stopping)保存驗證集上的最優模型,置信度設為10,具體超參數設置如表2所示。

表2 超參數設置

4.3 結果分析

4.3.1 時序關系單任務識別實驗結果分析

本文通過3種方法進行時序關系單任務識別實驗:

1)基于LR的時序關系單任務識別方法。LR是一種基于特征工程的統計機器學習方法。本文使用帶L2正則化的Logistic回歸模型構建分類器,其中使用的特征來自文獻[21]。

2)基于Bi-LSTM的時序關系單任務識別方法。Bi-LSTM是一種對依存路徑進行編碼的方法,其采用Bi-LSTM網絡層作為編碼層,非線性全連接層作為解碼層。

3)基于Self-Att的時序關系單任務識別方法。Self-Att是一種融合Self-Attention機制的神經網絡方法,其編碼層由GRU網絡子層和自注意力網絡層兩部分組成,采用非線性全連接層作為解碼層。

表3給出了上述3種方法在RED數據集上的時序關系單任務識別性能對比結果,其中,加粗數據表示最優結果,“—”表示SIMULTANEOUS類型的樣例數過于稀少,因此導致上述3種方法都無法對其進行識別。可以看出,基于Bi-LSTM和Self-Att的時序關系單任務識別方法通常優于基于LR的時序關系單任務識別方法。因此,下文實驗中使用Bi-LSTM編碼層和Self-Att編碼層實現聯合識別。

表3 在RED數據集上的時序關系單任務識別F1值對比

4.3.2 時序關系和因果關系聯合識別實驗結果分析

本文通過共享Bi-LSTM編碼層和Self-Att編碼層實現聯合識別,其識別方法具體如下:

1)基于Encoding Sharing的聯合識別方法:通過共享輔助任務(因果關系識別)的編碼層來實現時序關系和因果關系的聯合識別,Encoding Sharing的具體模型架構如圖1所示。

2)基于Decoding Sharing的聯合識別方法:通過共享輔助任務(因果關系識別)的解碼層來實現時序關系和因果關系的聯合識別,Decoding Sharing的具體模型架構如圖2所示。

3)基于BOTH Sharing的聯合識別方法:通過對輔助任務(因果關系識別)的編碼層與解碼層同時進行共享來實現聯合識別,BOTH Sharing的具體模型架構如圖3所示。

另外,本文構建一個Baseline基準方法,表示在時序關系和因果關系上的單任務識別方法。表4和表5分別給出了使用Bi-LSTM和Self-Att作為模型編碼層的事件時序關系和因果關系聯合識別結果。可以看出,無論使用Bi-LSTM還是Self-Att作為編碼層,識別效果都優于Baseline方法,該結果驗證了本文提出的聯合識別方法的有效性,即對于事件時序關系識別任務,可以利用因果關系識別模型學習到有效的特征,從而采用其因果信息促進時序關系識別性能的提升。特別地,在3種聯合識別方法中,基于BOTH Sharing的聯合識別方法在具體關系類別及整體上幾乎都取得了最優的實驗結果,這表明對輔助任務的編碼層和解碼層同時進行共享的方式最適用于事件時序關系和因果關系聯合識別任務。其主要原因為當聯合學習模型對輔助任務的編碼層和解碼層同時進行信息共享時,既充分利用了事件之間的因果信息來促進時序關系的識別,且擴充了主任務模型中編碼層輸出的特征向量空間,又在解碼階段使模型在進行特征壓縮時最大限度地保留了網絡中的有用信息。

表4 在RED數據集上的聯合識別結果(Bi-LSTM編碼層)

表5 在RED數據集上的聯合識別結果(Self-Att編碼層)

聯合識別方法與時序關系單任務識別方法相比,其因果關系識別性能的提升幅度相對較小,主要原因為本文提出的聯合識別方法主要是通過共享輔助任務(因果關系識別)網絡中的信息來更新主任務(時序關系識別)網絡中的特征向量表示,而沒有將主任務中的信息向輔助任務進行反饋。可見,該結果與本文利用事件之間的因果信息來促進時序關系識別的動機相一致,驗證了本文聯合識別方法的正確性與有效性。

5 結束語

本文考慮到事件時序關系與因果關系之間的聯系,提出3種聯合識別模型,通過共享因果關系識別任務中的特征信息提升時序關系的識別性能。實驗結果表明,聯合識別方法的性能要優于時序關系單任務識別方法,并且共享輔助任務中編解碼層的聯合識別效果最佳。下一步將研究聯合識別方法在事件時序關系和因果關系識別中的應用,并嘗試通過其他編碼層信息共享方式對主任務中的信息向輔助任務進行有效反饋,提升因果關系的識別性能。