基于注意力機(jī)制的雙向長短時(shí)記憶網(wǎng)絡(luò)模型突發(fā)事件演化關(guān)系抽取

聞暢 劉宇 顧進(jìn)廣

摘 要：針對現(xiàn)有突發(fā)事件關(guān)系抽取研究多集中于因果關(guān)系抽取而忽略了其他演化關(guān)系的問題，為了提高應(yīng)急決策中信息抽取的完備性，應(yīng)用一種基于注意力機(jī)制的雙向長短時(shí)記憶（ LSTM）網(wǎng)絡(luò)模型進(jìn)行突發(fā)事件演化關(guān)系抽取。首先，結(jié)合突發(fā)事件演化關(guān)系的概念，構(gòu)建演化關(guān)系模型并進(jìn)行形式化定義，依據(jù)模型對突發(fā)事件語料進(jìn)行標(biāo)注;其次，搭建雙向LSTM網(wǎng)絡(luò)結(jié)構(gòu)，并引入注意力機(jī)制計(jì)算注意力概率以突出關(guān)鍵詞匯在文本中的重要程度;最終，使用搭建的網(wǎng)絡(luò)模型進(jìn)行演化關(guān)系抽取得到結(jié)果。在演化關(guān)系抽取實(shí)驗(yàn)中，相對于現(xiàn)有因果關(guān)系抽取方法，所提方法不僅抽取出更加充分的演化關(guān)系，為突發(fā)事件應(yīng)急決策提供了更完善的信息;同時(shí)，在正確率、召回率和F1分?jǐn)?shù)上分別平均提升了7.3%、6.7%和7.0%，有效提高了突發(fā)事件演化關(guān)系抽取的準(zhǔn)確性。

關(guān)鍵詞：關(guān)系抽取;突發(fā)事件;演化關(guān)系;注意力機(jī)制;雙向長短時(shí)記憶網(wǎng)絡(luò)

中圖分類號： TP182 （專家系統(tǒng)、知識工程）

文獻(xiàn)標(biāo)志碼：A

Abstract： Concerning the problem that existing study of emergency relationship extraction mostly focuses on causality extraction while neglects other evolutions， in order to improve the completeness of information extracted in emergency decision-making， a method based on attention-based bidirectional Long Short-Term Memory （LSTM） model was used to extract the evolution relationship. Firstly， combined with the concept of evolution relationship in emergencies， an evolution relationship model was constructed and given the formal definition， and the emergency corpus was labeled according to the model. Then， a bidirectional LSTM network was built and attention mechanism was introduced to calculate the attention probability to highlight the importance of the key words in the text. Finally， the built network model was used to extract the evolution relationship. In the evolution relationship extraction experiments， compared with the existing causality extraction methods， the proposed method can extract more sufficient evolution relationship for emergency decision-making. At the same time， the average precision， recall and F1_score are respectively increased by 7.3%， 6.7% and 7.0%， which effectively improves the accuracy of the evolution relationship extraction of emergency.

Key words： relationship extraction; emergency; evolutionary relation; attention mechanism; bidirectional Long Short-Term Memory （LSTM）

0 引言

近年來全球各地突發(fā)事件頻發(fā)，無論是洪水、地震等自然災(zāi)害還是暴恐、車禍等人為事故，都使得人們的生命財(cái)產(chǎn)安全受到嚴(yán)重威脅。演化關(guān)系（Evolution Relationship）作為突發(fā)事件中的一種重要并且特殊的關(guān)系，反映了事件中各種誘因、外部因素和災(zāi)害結(jié)果之間的關(guān)聯(lián)關(guān)系，近年來一直是安全科學(xué)領(lǐng)域的主要研究對象和方向[1-2]。演化關(guān)系的抽取對輔助分析應(yīng)急決策和完善突發(fā)事件知識庫有著重要的意義。由于突發(fā)事件的復(fù)雜性和緊急性，決策者通常可以在短時(shí)間內(nèi)分析出事件的起因和結(jié)果，但是容易忽略了一些外部因素對災(zāi)害結(jié)果產(chǎn)生的促進(jìn)或者抑制作用，從而無法全面地分析問題。

例1 小區(qū)一居民在密閉的室內(nèi)燒炭取暖，不幸一氧化碳中毒身亡。

例2 火災(zāi)發(fā)生后消防人員立即趕到現(xiàn)場救火，最終火災(zāi)導(dǎo)致2所房屋燒毀。

例3 汶川地震2天后，當(dāng)?shù)貧鉁厣撸糠值貐^(qū)爆發(fā)了傳染病。

演化關(guān)系普遍存在于突發(fā)事件語句中，如例1中“一氧化碳中毒”導(dǎo)致了“身亡”，而“密閉的室內(nèi)”促進(jìn)了“身亡”結(jié)果的產(chǎn)生。例2中，“火災(zāi)”導(dǎo)致了“房屋燒毀”，但“救援”緩解了災(zāi)害結(jié)果的嚴(yán)重性，對結(jié)果起到抑制的作用。例3中的“地震”是“傳染病”的起因，但“氣溫升高”是加重“傳染病”爆發(fā)的因素，對結(jié)果起到了促進(jìn)作用。突發(fā)事件演化關(guān)系抽取可以更深入地發(fā)掘事件中的隱藏要素，為決策者提供更全面的信息來判斷事件后續(xù)的發(fā)展，從而有效應(yīng)對突發(fā)事件和提供救援。

在突發(fā)事件關(guān)系抽取中，現(xiàn)在已有許多研究多是針對因果關(guān)系作抽取，最主要的研究方向分為基于模式匹配的方法、基于機(jī)器學(xué)習(xí)的方法和以上兩種方法的融合。 傳統(tǒng)的模式匹配方法[3-5]通過手工建立領(lǐng)域知識庫和語法句法規(guī)則來進(jìn)行關(guān)系抽取，需要特定領(lǐng)域的專家知識輔助，因此該類方法耗費(fèi)大量人工成本并且通用性不強(qiáng)。在機(jī)器學(xué)習(xí)方法中，Girju[6]運(yùn)用WordNet并結(jié)合決策樹算法C4.5提出一種因果關(guān)系自動(dòng)抽取算法，實(shí)現(xiàn)特定事件中的關(guān)系抽取，但受限于WordNet詞庫導(dǎo)致關(guān)系提取不充分。付劍鋒等[7]和鐘軍等[8]都采用條件隨機(jī)場（Conditional Random Field， CRF）算法并結(jié)合觸發(fā)詞和類型結(jié)構(gòu)特征，將因果關(guān)系抽取問題轉(zhuǎn)換為事件序列標(biāo)注問題，然而需要大量的事件標(biāo)注且未考慮上下文間的詞匯關(guān)系。鑒于長短時(shí)記憶 （Long Short-Term Memory， LSTM） 網(wǎng)絡(luò)加強(qiáng)了上下文詞序關(guān)聯(lián)性，田生偉等[9]利用雙向LSTM結(jié)合事件內(nèi)部結(jié)構(gòu)信息特征，提取維吾爾語突發(fā)事件因果關(guān)系，但這種方法將所有詞匯的貢獻(xiàn)度視為等同，沒有突出關(guān)鍵詞匯在句子中的重要程度。

上述研究中的因果關(guān)系抽取方法如果應(yīng)用于輔助應(yīng)急預(yù)案和專家決策，會(huì)造成事件語義和知識全面性上的缺失。因果關(guān)系在語義上僅表示事件中起因和結(jié)果之間的關(guān)聯(lián)關(guān)系，例如“美國加州發(fā)生大火，連日大風(fēng)造成火花四濺，天堂鎮(zhèn)房屋燒毀殆盡”，因果關(guān)系表現(xiàn)為“大火”造成“房屋燒毀”，“大風(fēng)”造成“火花四濺”。有別于因果關(guān)系，演化關(guān)系不僅包含了導(dǎo)致結(jié)果的直接誘因，也包含了對災(zāi)害結(jié)果產(chǎn)生影響的其他因素，例句中的“大風(fēng)”不是“房屋燒毀”的直接原因，但是加重了受災(zāi)結(jié)果的嚴(yán)重程度，在應(yīng)急預(yù)案決策中，如果忽視掉了演化關(guān)系中的影響因素，事件中的語義信息會(huì)有很大程度的損失。因此，演化關(guān)系相較于因果關(guān)系可表現(xiàn)出更多突發(fā)事件發(fā)生過程中的語義信息，對突發(fā)事件演化關(guān)系進(jìn)行抽取有助于完善應(yīng)急決策分析中的信息完備性。

針對上述存在的問題，本文結(jié)合安全科學(xué)領(lǐng)域中的突發(fā)事件演化關(guān)系定義，運(yùn)用基于注意力機(jī)制的雙向LSTM模型對突發(fā)事件演化關(guān)系進(jìn)行抽取。注意力機(jī)制（Attention Mechanism）被廣泛使用在自然語言處理、圖像識別及語音識別等各種不同類型的深度學(xué)習(xí)任務(wù)中[10]。本文引入注意力層，旨在利用注意力機(jī)制計(jì)算注意力概率，來突出特定單詞對句子的貢獻(xiàn)度，以此加強(qiáng)演化關(guān)系中關(guān)鍵詞匯的語義信息，從而提高抽取的準(zhǔn)確性。

1 突發(fā)事件演化關(guān)系

為了明確突發(fā)事件演化關(guān)系抽取研究的方法，本章首先介紹突發(fā)事件演化關(guān)系模型以及相關(guān)基本概念。

1.1 突發(fā)事件演化關(guān)系模型

文獻(xiàn)[11]針對突發(fā)事件應(yīng)急管理中的“情景應(yīng)對”模式，構(gòu)建了突發(fā)事件情景演化系統(tǒng)模型，介紹了演化系統(tǒng)中致災(zāi)因子、承災(zāi)載體以及應(yīng)急決策間的關(guān)系。文獻(xiàn)[12]介紹了突發(fā)事件鏈三層結(jié)構(gòu)框架，結(jié)合突發(fā)事件元模型，說明了各類影響因素在突發(fā)事件演化過程中相較于單特征描述的重要性。本文結(jié)合上述文獻(xiàn)對突發(fā)事件演化關(guān)系的介紹，構(gòu)建突發(fā)事件演化關(guān)系模型，結(jié)構(gòu)如圖1所示，其中致災(zāi)因子是事件發(fā)生的起因，承災(zāi)載體是致災(zāi)因子產(chǎn)生的結(jié)果，孕災(zāi)環(huán)境和人為因素對承災(zāi)載體的嚴(yán)重程度起著促進(jìn)或者抑制的作用，而一個(gè)承災(zāi)載體又可能會(huì)轉(zhuǎn)變成新的致災(zāi)因子[13-15]。下面本文結(jié)合例句對各類定義進(jìn)行詳細(xì)解釋。

定義1 突發(fā)事件 （Emergency）。指突然發(fā)生并會(huì)產(chǎn)生嚴(yán)重危害的事件，分為自然災(zāi)害、社會(huì)安全、公共衛(wèi)生和事故災(zāi)害[16]。

定義2 演化關(guān)系（Evolution Relationship）。即事件中致災(zāi)因子，承災(zāi)載體以及影響因素之間的二元關(guān)系，分為直接因果關(guān)系、促進(jìn)關(guān)系（即加重災(zāi)情受災(zāi)情況的關(guān)系）、抑制關(guān)系（即減輕災(zāi)情受災(zāi)情況的關(guān)系）和無關(guān)系。

定義3 致災(zāi)因子（Disaster-formative Factor）。指導(dǎo)致災(zāi)害發(fā)生的誘因并會(huì)使得災(zāi)害持續(xù)發(fā)生下去，是推動(dòng)突發(fā)事件發(fā)展演化的根本原因，即例1中的“一氧化碳”，例2中的“火災(zāi)”，例3中的“地震”。

定義4? 承災(zāi)載體（Disaster-affected Receptor）。是指突發(fā)事件災(zāi)害發(fā)生過程中受影響的人或者物，由承災(zāi)對象和受災(zāi)結(jié)果構(gòu)成，即例1中的“中毒身亡”，例2中的“房屋燒毀”和例3中的“傳染病”。一定場景下承災(zāi)載體又會(huì)演變成新的致災(zāi)因子從而形成突發(fā)事件災(zāi)害鏈。

定義5? 孕災(zāi)環(huán)境（Disaster-formative Environments）。即事件發(fā)生時(shí)，對災(zāi)情結(jié)果會(huì)產(chǎn)生影響的自然環(huán)境，例如地理位置、天氣氣候等。按照對承災(zāi)載體的影響分為危害因素和緩解因素，例1的“密閉的室內(nèi)”和例3中的“氣溫升高”均是加重了結(jié)果的嚴(yán)重程度，所以是屬于危害因素。

1.2 突發(fā)事件演化關(guān)系特征

基于構(gòu)建的突發(fā)事件演化關(guān)系模型，為了實(shí)現(xiàn)關(guān)系抽取，定義突發(fā)事件演化關(guān)系集合E={F，A，I，P}，其中，E代表突發(fā)事件，F(xiàn)為致災(zāi)因子集合，A為承災(zāi)載體集合，I為影響因子集合，P為演化關(guān)系對。具體定義如下：

致災(zāi)因子集合：F={f1， f2，…， fn，…|n∈N+}，其中fn是每個(gè)致災(zāi)因子。

承災(zāi)載體集合：A={a1，a2，…，an，…|n∈N+}，其中an表示每個(gè)承災(zāi)載體。

影響因子集合：I={i1，i2，…，in，…|n∈N+}，其中in是每個(gè)影響因子，包含環(huán)境和人為因素。

演化關(guān)系對：指致災(zāi)因子、影響因子、承災(zāi)載體關(guān)系，即P={〈t1，t2，r〉|t1，t2∈F∪I∪A，r∈[-1，0，1，2]}，r為-1和1分別表示抑制關(guān)系和促進(jìn)關(guān)系，r為2時(shí)表示直接因果關(guān)系，為0時(shí)表示無關(guān)系。以1.1節(jié)中的例句為例，此時(shí)P={〈一氧化碳，中毒身亡，2〉，〈密閉的室內(nèi)，中毒身亡，1〉，〈救火，房屋燒毀，-1〉，〈氣溫升高，傳染病，1〉，〈地震，傳染病，2〉，〈地震，氣溫升高，0〉，… }。

2 突發(fā)事件演化關(guān)系抽取方法

2.1 突發(fā)事件演化關(guān)系抽取框架

本文面向突發(fā)事件演化關(guān)系抽取，將演化關(guān)系抽取問題轉(zhuǎn)化為實(shí)體關(guān)系四分類問題，圖2展示了演化關(guān)系抽取框架。該框架主要包含3部分：數(shù)據(jù)預(yù)處理、訓(xùn)練基于注意力機(jī)制的雙向LSTM模型，以及使用測試數(shù)據(jù)在訓(xùn)練完成的模型上完成演化關(guān)系抽取。

模型訓(xùn)練：將突發(fā)事件標(biāo)注語料分為訓(xùn)練集、驗(yàn)證集以及測試集。構(gòu)建基于注意力機(jī)制的雙向LSTM模型中，使用訓(xùn)練集與驗(yàn)證集完成模型訓(xùn)練。 該模型中，首先對輸入進(jìn)行分詞與詞嵌入操作，得到輸入語料的高維矩陣表示;然后，使用注意力概率對特征進(jìn)行加權(quán)，從而突出重要詞匯在特征中的貢獻(xiàn)度;最后，利用softmax分類器對加權(quán)完成的特征進(jìn)行分類完成演化關(guān)系的抽取。輸出演化關(guān)系類型即為抽取結(jié)果。

2.2 基于注意力機(jī)制雙向LSTM網(wǎng)絡(luò)

本文使用基于注意力機(jī)制的雙向LSTM網(wǎng)絡(luò)進(jìn)行關(guān)系抽取。該網(wǎng)絡(luò)結(jié)構(gòu)定義如圖3所示，網(wǎng)絡(luò)結(jié)構(gòu)包含輸入層、雙向LSTM層、注意力層、softmax層以及輸出層，網(wǎng)絡(luò)結(jié)構(gòu)將會(huì)在后文中進(jìn)行詳細(xì)介紹。

2.2.1 輸入層

網(wǎng)絡(luò)結(jié)構(gòu)第一層為輸入層，主要步驟包含分詞與詞嵌入。分詞是將輸入的句子以詞為單位進(jìn)行分割，詞嵌入則是將詞轉(zhuǎn)化為向量的過程。輸入m條句子集合S={S1，S2，…，Sm}，對于集合中一條句子，首先進(jìn)行分詞操作;然后結(jié)合詞序列字典與one-hot編碼得到句子中每個(gè)詞的向量e，其長度為超參數(shù)詞嵌入維度dim;進(jìn)而得到整條句子詞嵌入矩陣[e1，e2，…，en]，n為集合S中所有句子進(jìn)行分詞后的最大長度;最后對集合中每條句子均進(jìn)行相同操作得到大小為m×n×dim的三維詞嵌入矩陣。

2.2.2 雙向LSTM層

網(wǎng)絡(luò)結(jié)構(gòu)第二層為雙向LSTM層，輸入對象為詞嵌入操作后的多維矩陣。對于一條句子文本數(shù)據(jù)Se，將句子中的每一個(gè)詞嵌入ew傳入雙向LSTM層進(jìn)行特征提取。 LSTM模型用來處理時(shí)序性問題，能夠充分利用整個(gè)文本序列的信息，包括各個(gè)詞之間的相互關(guān)系信息，并將該種信息用于對每個(gè)詞的處理。 LSTM模型包含多個(gè)LSTM單元， 如圖4所示，每個(gè)LSTM單元包含3 種門結(jié)構(gòu)：遺忘門（forget gates）、輸入門（input gates）和輸出門（output gates），以此來保持和更新狀態(tài)信息并進(jìn)行傳遞。

2.2.3 注意力層

網(wǎng)絡(luò)結(jié)構(gòu)第三層為注意力層。注意力機(jī)制源于對人類視覺的研究，在認(rèn)知科學(xué)中，由于信息處理的瓶頸，人類會(huì)選擇性地關(guān)注所有信息的一部分，同時(shí)忽略其他可見的信息，上述機(jī)制通常被稱為注意力機(jī)制。例如，人們在閱讀時(shí)，關(guān)注和處理關(guān)鍵詞匯即可幫助完成對全文的理解。與閱讀過程相似，在演化關(guān)系抽取中，關(guān)注語料中重要詞匯對演化關(guān)系抽取會(huì)有重要幫助，所以本文在模型中引入注意力機(jī)制。注意力層對雙向LSTM提取的狀態(tài)信息序列進(jìn)行加權(quán)變換，突出重要狀態(tài)信息的貢獻(xiàn)，有效提高模型演化關(guān)系抽取準(zhǔn)確性。注意力層的計(jì)算流程如下所示：

2.2.4 softmax層

網(wǎng)絡(luò)結(jié)構(gòu)的最后使用softmax對注意力層中得到的句子表征H*進(jìn)行分類操作。每一個(gè)句子表征經(jīng)過softmax生成四種類別概率，取有最大類別概率的類別為模型預(yù)測類別，該過程表示如下：

其中：p（y|H*）表示句子表征H*屬于四種關(guān)系類別的概率;y^為概率值最大的類別，此類別作為模型預(yù)測的演化關(guān)系類別。

模型使用交叉熵?fù)p失作為分類問題目標(biāo)函數(shù)，采用自適應(yīng)學(xué)習(xí)率的隨機(jī)梯度下降算法進(jìn)行模型訓(xùn)練優(yōu)化。訓(xùn)練中，模型學(xué)習(xí)率初始化為1.0，衰減率為0.1，訓(xùn)練集與驗(yàn)證集的比例為9∶1，訓(xùn)練周期設(shè)置為100，批大小設(shè)置為10，dropout系數(shù)設(shè)置為0.5，其他參數(shù)則進(jìn)行隨機(jī)初始化。

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文中提出的基于注意力機(jī)制的雙向LSTM模型的演化關(guān)系抽取效果，將提出的模型與近年先進(jìn)的關(guān)系抽取方法進(jìn)行對比。實(shí)驗(yàn)在同一個(gè)數(shù)據(jù)集中抽取的測試集上進(jìn)行，對于不同模型，均采用相同的工具（jieba分詞，https：//pypi.org/project/jieba/）對測試文本進(jìn)行分詞操作，以及采用相同的詞序列字典與one-hot編碼方式進(jìn)行詞嵌入操作得到測試輸入數(shù)據(jù)，然后搭建不同的網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練模型進(jìn)行演化關(guān)系抽取實(shí)驗(yàn)，最后用選取的評價(jià)標(biāo)準(zhǔn)進(jìn)行不同模型的效果對比。

3.1 語料準(zhǔn)備

基于注意力機(jī)制的雙向LSTM方法需要相應(yīng)的中文突發(fā)事件語料來進(jìn)行訓(xùn)練和測試。在之前工作中建立的中文突發(fā)事件知識庫[17]，包含自然災(zāi)害、社會(huì)安全、公共衛(wèi)生和事故災(zāi)害4大類別，以及28個(gè)子類，共計(jì)532個(gè)突發(fā)事件實(shí)例。此外，利用知識庫中每個(gè)實(shí)例的“相關(guān)資源”屬性，結(jié)合網(wǎng)易新聞網(wǎng)和中新網(wǎng)等新聞網(wǎng)站獲取相關(guān)新聞?wù)Z料，通過人工對原始新聞文本的去重后得到可用的新聞文本932篇，之后對每篇新聞中有關(guān)于突發(fā)事件的關(guān)鍵語句進(jìn)行提取并標(biāo)注。

本文參照自動(dòng)內(nèi)容抽取（Automatic Content Extraction， ACE）的事件標(biāo)注標(biāo)準(zhǔn)，結(jié)合1.1節(jié)中的演化關(guān)系模型，共標(biāo)注出2800條演化關(guān)系樣本數(shù)據(jù)，將所有樣本數(shù)據(jù)隨機(jī)打亂后，按7∶3的比例分配訓(xùn)練集與數(shù)據(jù)集。

3.2 實(shí)驗(yàn)對比方法與評價(jià)標(biāo)準(zhǔn)

對比實(shí)驗(yàn)中，將本文方法與近年先進(jìn)的關(guān)系抽取方法進(jìn)行對比，分別是：基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）的方法[18]、基于LSTM網(wǎng)絡(luò)的方法[19]、基于雙向LSTM網(wǎng)絡(luò)的方法[20]，以及基于樹結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）的方法[21]。在上述方法的研究描述中，這些方法進(jìn)行因果關(guān)系抽取時(shí)均有不錯(cuò)的性能表現(xiàn)。

對比實(shí)驗(yàn)中，本文采用正確率（precision）、召回率（recall）以及F1值（F1_score）作為評價(jià)指標(biāo)，進(jìn)行不同模型實(shí)驗(yàn)效果的評估。三種指標(biāo)定義如下：

3.3 結(jié)果分析

首先將各方法在具體語料上進(jìn)行演化關(guān)系抽取的結(jié)果對比。對于突發(fā)事件語料“該地區(qū)連續(xù)遭遇兩次地震襲擊，但遇上持續(xù)低溫，現(xiàn)已致10人死亡，救援隊(duì)正加緊搜救”，表1展示了各模型對該條語料中演化關(guān)系對的抽取結(jié)果，可以看出本文方法對幾種演化關(guān)系均完成正確提取。從表1中還可以看出，對于較簡單的直接因果關(guān)系〈地震，死亡，2〉以及文本中前向的無關(guān)系〈地震，低溫，0〉，五種方法均可正確提取;對于〈搜救，死亡，-1〉這樣的抑制關(guān)系只有本文方法可以完成抽取，原因在于注意力機(jī)制的引入;對于文本中后向的無關(guān)系〈搜救， 低溫， 0〉，三種使用了雙向結(jié)構(gòu)的模型效果均比普通LSTM模型與基于樹的CNN更好，因?yàn)殡p向的模型能更好地理解語句中雙向的語義關(guān)系; 而〈低溫， 死亡， 1〉促進(jìn)關(guān)系對，基于LSTM的三種方法相較于使用RNN的模型結(jié)果更好，原因則在于LSTM單元相較于RNN單元能更好地處理復(fù)雜文本關(guān)系，而基于樹的CNN方法同樣可以進(jìn)行抽取，原因如文獻(xiàn)[21]中所說，該方法同時(shí)具有CNN與LSTM的優(yōu)勢，也可處理較復(fù)雜的文本關(guān)系。

使用本文提出的模型在測試集上進(jìn)行演化關(guān)系抽取實(shí)驗(yàn)，共進(jìn)行5次實(shí)驗(yàn)，所有結(jié)果數(shù)據(jù)取5次實(shí)驗(yàn)均值，表2為本文方法在四種演化關(guān)系上抽取的結(jié)果。此外，將本文提出的方法與雙向RNN、LSTM、雙向LSTM以及基于樹的CNN模型進(jìn)行對比實(shí)驗(yàn)，在同一個(gè)測試集上進(jìn)行演化關(guān)系提取效果對比，表2也展示了各方法的對比結(jié)果。

如表2中F1值可知，本文提出的方法在四種演化關(guān)系抽取中均取得較好的效果。在無關(guān)系上，本方法取得了最好的效果，這符合句子中大多數(shù)詞語之間是無因果關(guān)系的先驗(yàn)知識，在直接因果關(guān)系抽取中則效果稍差。原因在于突發(fā)事件中無因果關(guān)系所占比重較大，模型所學(xué)習(xí)到的語義關(guān)聯(lián)更強(qiáng)，而其他關(guān)系則學(xué)習(xí)不到較強(qiáng)語義關(guān)聯(lián)。

從表2中可以看出，本文提出的基于注意力機(jī)制的雙向LSTM模型相較于其他四種方法均取得了較為領(lǐng)先的效果，并在直接因果關(guān)系上的結(jié)果也優(yōu)于其他模型方法。相較于雙向RNN模型，本文提出的模型使用雙向LSTM不僅比雙向RNN模型更好地提取復(fù)雜特征語義關(guān)聯(lián)，同時(shí)引入注意力機(jī)制更是強(qiáng)化了特定詞匯在語義關(guān)聯(lián)中的作用;相較于LSTM與基于樹的CNN模型，基于注意力機(jī)制的雙向LSTM能夠同時(shí)提取前后文關(guān)系再結(jié)合注意力機(jī)制，所以取得較好效果;而與雙向LSTM模型相比，本文的模型效果稍好，原因在于引入注意力機(jī)制來關(guān)注特定重要詞的特征作用。

從表1～2可以得出，本文提出的基于注意力機(jī)制的雙向LSTM模型在突發(fā)事件的演化關(guān)系抽取中不僅能夠在各個(gè)類別上均取得較理想效果;同時(shí)，相較于其他已存在較好的關(guān)系抽取模型，本文模型同樣可以取得領(lǐng)先的效果。

4 結(jié)語

演化關(guān)系抽取對輔助專家進(jìn)行應(yīng)急預(yù)案決策有重要意義，本文針對現(xiàn)有因果關(guān)系抽取研究的語義缺失和信息抽取不準(zhǔn)確的問題，運(yùn)用基于注意力機(jī)制的雙向LSTM模型，對突發(fā)事件演化關(guān)系進(jìn)行抽取。本文將演化關(guān)系抽取問題轉(zhuǎn)化為實(shí)體關(guān)系四分類問題，通過將事件對和句子的詞嵌入作為模型的輸入，并在雙向LSTM層上引入注意力機(jī)制，突出重點(diǎn)詞匯在句子中的貢獻(xiàn)，最后利用softmax分類器進(jìn)行分類以完成演化關(guān)系的抽取。在語料集上的實(shí)驗(yàn)結(jié)果表明，相比現(xiàn)有的突發(fā)事件因果關(guān)系抽取方法，本文提出的方法在信息抽取的完備性和準(zhǔn)確性上都有進(jìn)一步的提高，有助于突發(fā)事件演化關(guān)系抽取。但是，本文提出的方法在網(wǎng)絡(luò)結(jié)構(gòu)上仍然有改進(jìn)的空間，例如LSTM單元門結(jié)構(gòu)可以修改以更好地提取復(fù)雜時(shí)序文本特征，未來將在該方面進(jìn)行持續(xù)研究工作。

參考文獻(xiàn) （References）

[1] 李湖生.安全與應(yīng)急管理學(xué)科領(lǐng)域的概念視圖及主要研究內(nèi)容[J].安全，2017，38（10）：23-26.（LI H S. Conceptual view and main research contents in the field of safety and emergency management [J]. Security， 2017， 38（10）： 23-26.）

[2] 陳玉芳，屠兢，任冬林.高校社會(huì)安全類突發(fā)事件情景要素識別提取[J].電子科技大學(xué)學(xué)報(bào) （社科版），2017，19（6）：56-59.（CHEN Y F， TU J， REN D L. Identification and extraction of scene factors for social security emergencies in colleges and universities [J]. Journal of University of Electronic Science and Technology of China （Social Sciences Edition）， 2017， 19（6）： 56-59.）

[3] KAPLAN R M ， BERRY-ROGGHE G. Knowledge-based acquisition of causal relationships in text [J]. Knowledge Acquisition， 1991， 3（3）： 317-337.

[4] KHOO C S G， CHAN S， NIU Y. Extracting causal knowledge from a medical database using graphical patterns [C]// Proceedings of the 38th Annual Meeting for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2000： 336-343.