融合實(shí)體信息和時(shí)序特征的問(wèn)答式事件檢測(cè)方法

馬宇航，宋寶燕，丁琳琳，魯聞一，紀(jì)婉婷

(遼寧大學(xué) 信息學(xué)院，遼寧 沈陽(yáng) 110036)

0 引 言

隨著預(yù)訓(xùn)練語(yǔ)言模型在自然語(yǔ)言處理中的普及，現(xiàn)有一些研究[1-4]將基于BERT的機(jī)器閱讀理解框架應(yīng)用在事件檢測(cè)任務(wù)中，其主要優(yōu)勢(shì)如下：①基于“預(yù)訓(xùn)練+微調(diào)”范式緩解了訓(xùn)練數(shù)據(jù)匱乏的問(wèn)題；②基于“問(wèn)答”范式在模型中引入了豐富的先驗(yàn)信息。然而，此類方法雖然能夠通過(guò)BERT[5]達(dá)到一詞多義的表征效果，但仍難以處理觸發(fā)詞分類子任務(wù)中的歧義性[6]問(wèn)題(即觸發(fā)詞在不同的語(yǔ)境中可能會(huì)表達(dá)不同的含義，從而觸發(fā)不同類型的事件)，這主要?dú)w因于此類方法簡(jiǎn)單以BERT作為核心特征編碼器，對(duì)句子的上下文語(yǔ)境以及句子前后的語(yǔ)義關(guān)系、句法結(jié)構(gòu)的特征編碼能力仍有很大的提升空間。

針對(duì)上述不足，本文提出了一種融合實(shí)體信息和時(shí)序特征的問(wèn)答式事件檢測(cè)方法，從以下3個(gè)層面對(duì)現(xiàn)有方法進(jìn)行了改進(jìn)：①在框架層面，構(gòu)建一種以RoBERTa[7]為基礎(chǔ)的問(wèn)答式事件檢測(cè)框架，增強(qiáng)模型的語(yǔ)義表示能力；②在輸入層面，以特定的標(biāo)注規(guī)則在輸入序列中顯式添加實(shí)體、實(shí)體類型等先驗(yàn)信息，增強(qiáng)模型對(duì)于句子上下文語(yǔ)境的感知；③在網(wǎng)絡(luò)層面，采用最小門控循環(huán)單元(minimal gated unit，MGU)[8]和Transformer編碼器[9]對(duì)句子的時(shí)序依賴關(guān)系進(jìn)行建模，增強(qiáng)模型對(duì)于句子序列各單元之間的語(yǔ)義關(guān)系和句法結(jié)構(gòu)的感知。通過(guò)在ACE2005英文語(yǔ)料上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了所提方法的性能以及在緩解觸發(fā)詞歧義性問(wèn)題上的有效性。

1 相關(guān)工作

現(xiàn)有的主流事件檢測(cè)方法主要分為以下兩類：基于預(yù)訓(xùn)練語(yǔ)言模型的方法、基于機(jī)器閱讀理解的方法。

1.1 基于預(yù)訓(xùn)練語(yǔ)言模型的方法

預(yù)訓(xùn)練語(yǔ)言模型通過(guò)在大規(guī)模的外部語(yǔ)料上進(jìn)行預(yù)訓(xùn)練并在特定任務(wù)語(yǔ)料上進(jìn)行微調(diào)，能夠有效彌補(bǔ)訓(xùn)練語(yǔ)料對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力的影響。目前，BERT由于其出色的語(yǔ)義表示能力，被廣泛應(yīng)用于事件檢測(cè)任務(wù)中。Wadden等[10]使用BERT來(lái)獲取具有跨句子信息的語(yǔ)義表示，并使用動(dòng)態(tài)圖來(lái)捕獲實(shí)體、觸發(fā)詞和論元之間的依賴關(guān)系。Nguyen等[11]提出了一種基于全局特征的聯(lián)合信息抽取模型，在編碼階段使用BERT來(lái)獲取字符的上下文語(yǔ)義表示，并在解碼階段引入全局特征捕獲實(shí)例間和子任務(wù)間的依賴關(guān)系。Lin等[12]提出了一種端到端的聯(lián)合框架，首先使用BERT對(duì)句子進(jìn)行編碼，然后通過(guò)條件隨機(jī)場(chǎng)來(lái)檢測(cè)觸發(fā)詞。程等[13]提出一種基于BERT和圖卷積網(wǎng)絡(luò)的觸發(fā)詞檢測(cè)模型，在利用BERT進(jìn)行語(yǔ)義表示后引入了句法結(jié)構(gòu)來(lái)捕獲長(zhǎng)距離依賴。

此外，Liu等[7]在BERT網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上另提出一種預(yù)訓(xùn)練語(yǔ)言模型RoBERTa，通過(guò)調(diào)整BERT的訓(xùn)練策略進(jìn)一步提升了模型的語(yǔ)義表示能力，其主要改進(jìn)如下：①引入動(dòng)態(tài)掩蓋機(jī)制，同一序列在不同epoch中采用不同的掩碼模式；②移除NSP(next sentence predict)目標(biāo)任務(wù)；③增加了訓(xùn)練數(shù)據(jù)的規(guī)模以及訓(xùn)練批次；④采用BPE(byte-pair encoding)編碼；⑤調(diào)整了優(yōu)化器的相關(guān)參數(shù)。在其基礎(chǔ)上，張等[14]基于RoBERTa訓(xùn)練了兩種維吾爾語(yǔ)預(yù)訓(xùn)練語(yǔ)言模型，胡等[15]則利用RoBERTa和全局圖神經(jīng)網(wǎng)絡(luò)解決了文檔級(jí)事件抽取中存在的長(zhǎng)距離依賴問(wèn)題。

1.2 基于機(jī)器閱讀理解的方法

近期一些方法在BERT的基礎(chǔ)上，將機(jī)器閱讀理解框架應(yīng)用在事件檢測(cè)中，為模型引入了豐富的先驗(yàn)信息。Du等[1]和Li等[2]首先提出了兩種基于機(jī)器閱讀理解的事件檢測(cè)方法，通過(guò)在模型輸入序列中引入預(yù)定義的觸發(fā)詞問(wèn)題，以問(wèn)答的范式實(shí)現(xiàn)了觸發(fā)詞識(shí)別及分類。在此基礎(chǔ)上，Zhao等[3]基于無(wú)觸發(fā)詞的設(shè)計(jì)，額外將事件類型直接添加到輸入序列中進(jìn)行二分類，而An等[4]則通過(guò)引入雙流注意力機(jī)制緩解了論元角色重疊的問(wèn)題。

然而，上述方法雖然通過(guò)引入先驗(yàn)信息有效提升了事件檢測(cè)的性能，但仍難以正確分類具有歧義性的觸發(fā)詞，這主要是因?yàn)檫@些方法對(duì)句子的語(yǔ)境、語(yǔ)義、句法結(jié)構(gòu)的特征編碼能力仍有不足。為此，本文提出了一種融合實(shí)體信息和時(shí)序特征的問(wèn)答式事件檢測(cè)方法，從模型的框架、輸入以及網(wǎng)絡(luò)3個(gè)層面對(duì)現(xiàn)有方法進(jìn)行了改進(jìn)。

2 融合實(shí)體信息和時(shí)序特征的問(wèn)答式事件檢測(cè)方法

本章節(jié)首先介紹模型的整體架構(gòu)，然后將從問(wèn)題模板設(shè)計(jì)、實(shí)體信息融合、時(shí)序特征融合以及觸發(fā)詞識(shí)別及分類幾個(gè)模塊依次對(duì)模型進(jìn)行展開講解。

2.1 模型整體架構(gòu)

針對(duì)觸發(fā)詞的歧義性問(wèn)題，本文提出了一種融合實(shí)體信息和時(shí)序特征的問(wèn)答式事件檢測(cè)方法EDQA-EITF，模型架構(gòu)如圖1所示。給定一個(gè)待檢測(cè)的句子，所提模型的處理流程可概述為：首先，利用RoBERTa分隔符將預(yù)定義的觸發(fā)詞問(wèn)題Q={q1，…，qm}、 句子S={s1，…，sn} 以及實(shí)體信息E={e1，…，ep} 以固定形式拼接，生成模型的輸入序列，m、n和p分別表示問(wèn)題、句子和實(shí)體信息的子序列長(zhǎng)度；其次，采用RoBERTa對(duì)輸入序列中的所有分詞(詞向量表示的單位)進(jìn)行交互以及編碼，得到融入實(shí)體、問(wèn)題等先驗(yàn)信息的句子語(yǔ)義表示；然后，引入時(shí)序特征融合網(wǎng)絡(luò)(temporal feature fusion network，TFFN)對(duì)句子的時(shí)序依賴關(guān)系進(jìn)行建模，進(jìn)一步增強(qiáng)句子的語(yǔ)義表示；最后，引入線性層對(duì)TFFN輸出的向量編碼進(jìn)行線性變換，并采用Softmax多分類器來(lái)預(yù)測(cè)觸發(fā)詞的位置和事件類型。此外，英文語(yǔ)料中的觸發(fā)詞往往只由一個(gè)單詞充當(dāng)，因此本文并未采用多個(gè)分類器來(lái)依次預(yù)測(cè)觸發(fā)詞的起始和結(jié)束位置。

圖1 EDQA-EITF模型架構(gòu)

2.2 問(wèn)題模板設(shè)計(jì)

問(wèn)題模板設(shè)計(jì)是機(jī)器閱讀理解任務(wù)中極其重要的一個(gè)環(huán)節(jié)，好的問(wèn)題應(yīng)該具備有效的先驗(yàn)語(yǔ)義信息，經(jīng)過(guò)語(yǔ)義交互后使得模型基于問(wèn)題來(lái)返回相應(yīng)的答案，從而達(dá)到提示的效果。對(duì)于事件檢測(cè)而言，問(wèn)題模板主要由與觸發(fā)詞語(yǔ)義高度相關(guān)的單詞或句子充當(dāng)，其蘊(yùn)含的先驗(yàn)信息能夠幫助模型在訓(xùn)練的過(guò)程中更多地?cái)M合到與觸發(fā)詞相關(guān)的關(guān)鍵特征。然而，現(xiàn)有方法[1-4]所提供的問(wèn)題模板缺乏嚴(yán)謹(jǐn)?shù)脑O(shè)計(jì)規(guī)則，導(dǎo)致模板之間的關(guān)聯(lián)性較弱，因而無(wú)法通過(guò)對(duì)比實(shí)驗(yàn)充分地體現(xiàn)不同模板中的先驗(yàn)信息對(duì)模型性能的影響。為此，本文從語(yǔ)義貼近度和語(yǔ)義豐富度兩個(gè)方面入手，逐步設(shè)計(jì)了多個(gè)觸發(fā)詞問(wèn)題模板，增強(qiáng)了模板之間的關(guān)聯(lián)性，詳細(xì)信息見表1。

表1 觸發(fā)詞問(wèn)題模板

2.3 實(shí)體信息融合

實(shí)體信息的具體引入方式借鑒了文獻(xiàn)[16]在實(shí)體關(guān)系抽取任務(wù)中提出的實(shí)體標(biāo)記方法，其通過(guò)設(shè)定特殊字段對(duì)句子中的實(shí)體開始位置和結(jié)束位置進(jìn)行了標(biāo)記。不同的是，為了避免標(biāo)記字段對(duì)后續(xù)預(yù)測(cè)產(chǎn)生干擾，本文并未直接在句子中對(duì)實(shí)體信息進(jìn)行標(biāo)記，而是在原序列的基礎(chǔ)上，額外增加了新的實(shí)體子序列用于存儲(chǔ)實(shí)體信息，并引入了實(shí)體類型來(lái)標(biāo)記實(shí)體的前后位置，使得模型對(duì)句子的語(yǔ)境進(jìn)行更深層次的解讀，詳細(xì)信息如圖2所示。值得注意的是，圖中的“”并非固定字段，而是表示對(duì)應(yīng)實(shí)體的類型，分別置于實(shí)體起始單詞前和末尾單詞后來(lái)標(biāo)記實(shí)體的起始和結(jié)束位置。

圖2 實(shí)體信息融合

基于此種方式，在融入句子中的實(shí)體信息E={e1，…，ep} 后，模型的輸入序列將變?yōu)?/p>

Input=[CLS]Q[SEP]S[SEP]E[SEP]

(1)

以句子“They released tear gas to protesters.(譯：他們向抗議者釋放了催淚瓦斯。)”為例，當(dāng)選擇表1中的模板“verb”作為觸發(fā)詞問(wèn)題時(shí)，融入實(shí)體信息后的模型輸入序列將被初始化為：[CLS]verb[SEP]Theyreleasedteargastoprotesters.[SEP] teargas protesters [SEP]之后，利用RoBERTa對(duì)完整的輸入序列進(jìn)行交互編碼，并通過(guò)截取即可得到融入問(wèn)題、實(shí)體等先驗(yàn)信息的句子語(yǔ)義表示Ts={Ts1，…，Tsn}∈Rdw×n，dw表示詞向量的維度

{T[CLS]，…，Ts，…，T[SEP]}=RoBERTa(Input)

(2)

2.4 時(shí)序特征融合

在得到融入實(shí)體信息、觸發(fā)詞問(wèn)題等先驗(yàn)語(yǔ)義知識(shí)的句子語(yǔ)義表示后，為了增強(qiáng)模型對(duì)于句子各單元之間的語(yǔ)義關(guān)系和句法結(jié)構(gòu)的感知，本文提出一種時(shí)序特征融合網(wǎng)絡(luò)來(lái)增強(qiáng)句子的語(yǔ)義表示，整體架構(gòu)如圖3所示。

圖3 時(shí)序特征融合網(wǎng)絡(luò)架構(gòu)

圖3中所示的MGU是門控循環(huán)單元(GRU)的一種新型變體，其通過(guò)將遺忘門(更新門)和輸入門(重置門)進(jìn)一步融合為遺忘門，最簡(jiǎn)化了門控單元的數(shù)量，可以實(shí)現(xiàn)在保持GRU網(wǎng)絡(luò)性能的同時(shí)，減少網(wǎng)絡(luò)參數(shù)量，從而加快模型的收斂速度，并仍能夠規(guī)避傳統(tǒng)循環(huán)神經(jīng)模型存在的梯度消失和梯度爆炸的問(wèn)題。MGU的核心網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其在t時(shí)刻的計(jì)算過(guò)程如下：

圖4 MGU網(wǎng)絡(luò)結(jié)構(gòu)

(1)計(jì)算遺忘門。將t-1時(shí)刻的隱藏層狀態(tài)ht-1和t時(shí)刻的新信息xt聯(lián)合輸入，經(jīng)過(guò)線性變換后交由sigmoid激活函數(shù)計(jì)算ht-1的遺忘比例

ft=σ(Wf[ht-1，xt]+bf)

(3)

(2)計(jì)算候選隱藏層狀態(tài)。首先將ft和ht-1乘積得到ht-1被遺忘的部分，然后將其和xt聯(lián)合輸入，經(jīng)過(guò)線性變換后交由tanh激活函數(shù)得到候選隱藏層狀態(tài)

(4)

(3)計(jì)算最終隱藏層狀態(tài)。首先將1-ft和ht-1乘積得到ht-1被保留的部分，然后將ft和候選隱藏層狀態(tài)乘積得到新的狀態(tài)，最后通過(guò)相加得到最終的隱藏層狀態(tài)

(5)

(6)

(7)

(8)

(9)

(10)

(11)

2.5 觸發(fā)詞識(shí)別及分類

觸發(fā)詞識(shí)別和觸發(fā)詞分類是事件檢測(cè)的兩個(gè)核心子任務(wù)，本文則將其整體視為一種分詞級(jí)別的多分類任務(wù)，基于分類結(jié)果可同步得到觸發(fā)詞在句子中的偏移量及其事件類型。具體來(lái)講，在得到融合了時(shí)序特征的增強(qiáng)語(yǔ)義表示后，首先引入一個(gè)線性層對(duì)詞向量的特征維度進(jìn)行轉(zhuǎn)換，然后采用Softmax分類器來(lái)完成觸發(fā)詞的預(yù)測(cè)

(12)

其中，Pt表示句子每個(gè)分詞在所有分類標(biāo)簽下的概率分布，Nt表示預(yù)定義事件類型的數(shù)量。在測(cè)試階段，本文采用Argmax函數(shù)得到每個(gè)單詞的具體分類結(jié)果

Result=Argmax(Pt)

(13)

而在訓(xùn)練階段，本文采用交叉熵?fù)p失函數(shù)來(lái)計(jì)算模型整體的損失

(14)

其中，yij表示第i個(gè)分詞在第個(gè)j分類標(biāo)簽下的真實(shí)分類結(jié)果(0或1)，pij表示第i個(gè)分詞在第j個(gè)分類標(biāo)簽下的實(shí)際預(yù)測(cè)概率。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

為評(píng)估所提方法的性能，本文在ACE2005英文語(yǔ)料上進(jìn)行了詳細(xì)的實(shí)驗(yàn)與分析。該語(yǔ)料為廣播新聞、廣播對(duì)話等多個(gè)領(lǐng)域的文檔提供了注釋，共標(biāo)注了8種事件類型、33種子事件類型以及5272個(gè)事件觸發(fā)詞。基于子事件類型的數(shù)量，本文在觸發(fā)詞分類子任務(wù)中預(yù)定義了34種分類標(biāo)簽(包含None)。此外，本文沿用文獻(xiàn)[1]中的數(shù)據(jù)分割方法對(duì)語(yǔ)料進(jìn)行了劃分，從而依次得到訓(xùn)練集(529個(gè)文本，14 180個(gè)句子)、驗(yàn)證集(30個(gè)文本，863個(gè)句子)以及測(cè)試集(40個(gè)文本，672個(gè)句子)。

3.2 評(píng)估標(biāo)準(zhǔn)及評(píng)價(jià)指標(biāo)

本文沿用了文獻(xiàn)[1]在觸發(fā)詞識(shí)別和觸發(fā)詞分類子任務(wù)上的評(píng)估標(biāo)準(zhǔn)：①如果觸發(fā)詞的預(yù)測(cè)偏移量與真實(shí)偏移量相同，則將其統(tǒng)計(jì)為觸發(fā)詞識(shí)別子任務(wù)中的正確項(xiàng)；②如果觸發(fā)詞滿足條件1，并且其預(yù)測(cè)事件類型與真實(shí)事件類型相同，則將其統(tǒng)計(jì)為觸發(fā)詞分類子任務(wù)中的正確項(xiàng)。

本文采用精確率P(Precision)、召回率R(Recall)和F1值(F1-score)作為實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo)。此外，在迭代訓(xùn)練的過(guò)程中，本文將在驗(yàn)證集評(píng)估中觸發(fā)詞分類F1值最高的迭代模型視為最佳模型，而模型的性能由最佳模型在測(cè)試集上進(jìn)行評(píng)估。

3.3 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文采用的實(shí)驗(yàn)環(huán)境如下：操作系統(tǒng)版本為Windows 10，顯卡版本為RTX 3090，顯存大小為24 GB，Python版本為3.7，Pytorch版本為1.2.0。在超參數(shù)設(shè)置方面，詳細(xì)信息見表2。

表2 超參數(shù)設(shè)置

3.4 總體實(shí)驗(yàn)結(jié)果及分析

本文選取以下模型作為對(duì)比實(shí)驗(yàn)的基線模型：①GYDIE++[10]：一種基于上下文跨度表示的多任務(wù)框架，能夠以圖傳播的方式充分感知全局信息；②Joint3EE[11]：一種基于共享隱藏層表示的深度聯(lián)合模型，能夠同時(shí)提取實(shí)體、觸發(fā)詞以及論元；③EEQA[1]：一種基于機(jī)器閱讀理解框架的事件檢測(cè)模型，能夠以單輪問(wèn)答的形式同步提取觸發(fā)詞和事件類型，并提供了多種有效的觸發(fā)詞問(wèn)題模板；④BGCN[13，1]：一種基于BERT和圖卷積網(wǎng)絡(luò)的事件檢測(cè)模型，通過(guò)引入句法結(jié)構(gòu)能夠捕獲句子中的長(zhǎng)距離依賴特征；⑤Text2event[17，1]：一種序列到結(jié)構(gòu)式事件檢測(cè)模型，能夠在不使用觸發(fā)詞偏移量的前提下，直接從并行的文本記錄注釋中學(xué)習(xí)；⑥D(zhuǎn)EGREE[18，13，1]：一種基于數(shù)據(jù)生成的高效事件檢測(cè)模型，基于手工設(shè)計(jì)的提示規(guī)則能夠?yàn)槟Ｐ吞峁┱Z(yǔ)義指導(dǎo)。

表3展示了本文所提模型EDQA-EITF和基線模型在測(cè)試集上的總體實(shí)驗(yàn)結(jié)果。整體來(lái)看，EDQA-EITF在觸發(fā)詞識(shí)別和觸發(fā)詞分類子任務(wù)上的F1值上顯著優(yōu)于基線模型，驗(yàn)證了EDQA-EITF整體設(shè)計(jì)的有效性，這主要?dú)w因于相比于大多數(shù)基線模型，EDQA-EITF基于問(wèn)答范式在模型輸入序列中顯示地添加觸發(fā)詞問(wèn)題、實(shí)體等信息，引入了豐富的先驗(yàn)語(yǔ)義知識(shí)，從而提升了模型對(duì)于關(guān)鍵特征的感知能力。

表3 總體實(shí)驗(yàn)結(jié)果

此外，與同類方法EEQA相比，EDQA-EITF同樣在利用“verb”作為觸發(fā)詞問(wèn)題時(shí)取得了更好的性能，這主要?dú)w因于以下幾個(gè)方面：①相比于EEQA，EDQA-EITF在模型中額外融入了實(shí)體、實(shí)體類型等先驗(yàn)信息，提升了模型對(duì)句子上下文語(yǔ)境的感知能力，從而在觸發(fā)詞分類子任務(wù)中取得了更好的效果；②EDQA-EITF利用實(shí)體類型額外標(biāo)記了實(shí)體在句子中的前后位置，而語(yǔ)料中的觸發(fā)詞和實(shí)體在句子中的位置通常并不交互，模型通過(guò)學(xué)習(xí)后將更傾向于在實(shí)體跨度以外的單詞中識(shí)別觸發(fā)詞，從而在觸發(fā)詞識(shí)別子任務(wù)中也取得了更好的效果；③EDQA-EITF引入RoBERTa進(jìn)一步增強(qiáng)了句子的語(yǔ)義表示，并通過(guò)在模型中融入句子的時(shí)序依賴特征，提升了模型對(duì)句子語(yǔ)義關(guān)系、句法結(jié)構(gòu)的解讀能力。

3.5 問(wèn)題模板對(duì)比實(shí)驗(yàn)結(jié)果及分析

表4詳細(xì)展示了模型在不同問(wèn)題模板下的實(shí)驗(yàn)結(jié)果。根據(jù)模板1至模板8的實(shí)驗(yàn)結(jié)果來(lái)看，在以“verb”作為觸發(fā)詞問(wèn)題模板時(shí)，模型在觸發(fā)詞識(shí)別及分類子任務(wù)上的F1值均達(dá)到了最佳。

表4 問(wèn)題模板對(duì)比實(shí)驗(yàn)結(jié)果

根據(jù)模板1至模板4的實(shí)驗(yàn)結(jié)果來(lái)看，“verb”和“symbol”在觸發(fā)詞識(shí)別及分類子任務(wù)上的F1值均高于“trigger”和“happen”，這表明在基于語(yǔ)義貼進(jìn)度設(shè)計(jì)的觸發(fā)詞問(wèn)題模板中，“verb”和“symbol”可以為模型提供更有效的先驗(yàn)信息。根據(jù)模板1、模板5、模板7的實(shí)驗(yàn)結(jié)果來(lái)看，在以“verb”為核心詞匯進(jìn)行擴(kuò)充語(yǔ)義后，模型在觸發(fā)詞識(shí)別和觸發(fā)詞分類子任務(wù)上的F1值均有所下降。同樣的，根據(jù)模板3、模板6、模板8的實(shí)驗(yàn)結(jié)果來(lái)看，在以“symbol”為核心詞匯進(jìn)行擴(kuò)充語(yǔ)義后，模型在觸發(fā)詞識(shí)別和觸發(fā)詞分類子任務(wù)上的F1值也均有所下降。這主要?dú)w因于在基于語(yǔ)義豐富度進(jìn)行設(shè)計(jì)后續(xù)問(wèn)題模板時(shí)，雖然通過(guò)擴(kuò)充語(yǔ)義的方式使得觸發(fā)詞問(wèn)題模板表達(dá)的語(yǔ)義更為清晰和完整，但逐漸增長(zhǎng)的序列長(zhǎng)度卻會(huì)引入過(guò)多的噪聲，從而導(dǎo)致模型捕獲到過(guò)多與觸發(fā)詞無(wú)關(guān)的語(yǔ)義特征。

此外，為了分析觸發(fā)詞問(wèn)題在整個(gè)模型框架中的重要性，本文將問(wèn)題置為空后額外進(jìn)行了實(shí)驗(yàn)，如模板9的實(shí)驗(yàn)結(jié)果所示。整體來(lái)看，在移除觸發(fā)詞問(wèn)題后，模型在觸發(fā)詞識(shí)別和觸發(fā)詞分類子任務(wù)上的F1值有了明顯的下降。這表明通過(guò)添加具有提示作用的觸發(fā)詞問(wèn)題，并利用注意力機(jī)制對(duì)問(wèn)題中的先驗(yàn)信息和待檢測(cè)句子進(jìn)行充分的交互，能夠有效提升模型對(duì)于句子關(guān)鍵特征的感知能力。

3.6 消融實(shí)驗(yàn)

為驗(yàn)證模型(EDQA-EITF)核心模塊設(shè)計(jì)的有效性，本文進(jìn)行了如下的消融實(shí)驗(yàn)：整體移除RoBERTa、時(shí)序特征、實(shí)體信息3個(gè)模塊(EDQA)、僅保留RoBERTa模塊(EDQA-RB)、僅保留實(shí)體信息模塊(EDQA-EI)、僅保留時(shí)序特征模塊(EDQA-TF)，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 消融實(shí)驗(yàn)結(jié)果

整體來(lái)看，在移除RoBERTa、實(shí)體信息、時(shí)序特征等模塊后，模型的性能均出現(xiàn)了明顯的下降，這驗(yàn)證了EDQA-EITF各個(gè)核心模塊設(shè)計(jì)的有效性，也表明了句子語(yǔ)義表示的增強(qiáng)以及實(shí)體信息、句子時(shí)序特征的引入對(duì)于事件檢測(cè)具有很好的促進(jìn)作用。

3.7 案例分析

為進(jìn)一步展示所提方法的優(yōu)越性，本小節(jié)展示了EDQA-EITF和EEQA[1]在同樣以“verb”作為觸發(fā)詞問(wèn)題時(shí)的兩個(gè)事件檢測(cè)案例，如圖6所示。從圖中提供的句子原文可知，句1和句2中的觸發(fā)詞均為“fired”，但卻觸發(fā)了不同類型的事件。從圖中提供的檢測(cè)結(jié)果可知，EEQA雖然能夠精準(zhǔn)地從句1中識(shí)別出“fired”并對(duì)其正確分類，但在句2中卻依舊將其錯(cuò)誤地劃分為“攻擊”類型的事件。而EDQA-EITF卻沒(méi)有出現(xiàn)這樣的錯(cuò)誤，這主要?dú)w因于其對(duì)觸發(fā)詞所在的上下文語(yǔ)境、句子序列結(jié)構(gòu)等語(yǔ)義信息有更深層次的感知，也驗(yàn)證了EDQA-EITF在緩解觸發(fā)詞歧義性問(wèn)題上的有效性。

圖6 案例分析

4 結(jié)束語(yǔ)

本文提出了一種融合實(shí)體信息和時(shí)序特征的問(wèn)答式事件檢測(cè)方法，通過(guò)增強(qiáng)模型對(duì)輸入序列的語(yǔ)義表示，以及在模型中融入實(shí)體先驗(yàn)信息和句子的時(shí)序依賴關(guān)系，緩解了觸發(fā)詞的歧義性問(wèn)題。此外，本文針對(duì)問(wèn)題先驗(yàn)信息對(duì)模型性能的影響進(jìn)行了更細(xì)致的分析。在ACE2005英文語(yǔ)料上的實(shí)驗(yàn)結(jié)果表明了所提方法的有效性。在未來(lái)的研究工作中，將嘗試在模型中融入跨句子的文檔級(jí)特征，并將此框架擴(kuò)展到論元抽取子任務(wù)中。