基于事件演化圖的多標(biāo)記事件預(yù)測模型

王華珍,許澤,孫悅,丘斌,陳堅(jiān),邱強(qiáng)斌

(1. 華僑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 福建 廈門 361021; 2. 華僑大學(xué)廈門市計(jì)算機(jī)視覺與模式識別重點(diǎn)實(shí)驗(yàn)室, 福建 廈門 361021; 3. 智業(yè)軟件股份有限公司, 福建 廈門 361008)

0 引言

事件預(yù)測是指基于給定已經(jīng)發(fā)生的一系列事件來預(yù)測后續(xù)可能發(fā)生的事件[1],而多標(biāo)記事件是指同時(shí)發(fā)生的多種類型的事件,多標(biāo)記事件預(yù)測就是基于已經(jīng)發(fā)生的事件來預(yù)測候選事件是多標(biāo)記事件的情況。多標(biāo)記事件預(yù)測在醫(yī)學(xué)、金融、環(huán)境等許多領(lǐng)域都有應(yīng)用。如在醫(yī)學(xué)領(lǐng)域中,一個病人的診斷可能涉及到多種疾病;在金融領(lǐng)域中,股票市場預(yù)測需要同時(shí)考慮多個相關(guān)指標(biāo)。

事件預(yù)測的方法隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展而完善。基于統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)方法是目前主要的兩大類方法。早期的事件預(yù)測大多采用基于統(tǒng)計(jì)的方法,常用的包括回歸分析、時(shí)間序列分析、貝葉斯分析等。如點(diǎn)互信息(PMI)模型[2]根據(jù)兩個事件在訓(xùn)練集中出現(xiàn)的頻率來反映這兩個事件之間的關(guān)聯(lián)程度,以此來進(jìn)行后續(xù)事件的預(yù)測。Bigram方法[3]則通過分析文本中相鄰的兩個事件出現(xiàn)的頻率和概率,建立一個基于Bigram的事件預(yù)測模型,從而預(yù)測文本中未來發(fā)生的事件。這類方法在特定場景中的性能優(yōu)異且準(zhǔn)確率較高,但其是在訓(xùn)練集中通過統(tǒng)計(jì)事件發(fā)生的概率來進(jìn)行后續(xù)事件預(yù)測,無法預(yù)測出訓(xùn)練集中沒出現(xiàn)的事件,因此魯棒性較差,且事件之間潛在關(guān)聯(lián)難以學(xué)習(xí),導(dǎo)致效率較低。

隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展,事件預(yù)測領(lǐng)域也涌現(xiàn)出許多新的預(yù)測方法,總體來說可以分為三類[4-6]:基于事件對的方法,基于事件鏈的方法和基于事件演化圖的方法。基于事件對的方法是通過分析事件對中前事件與后事件的相關(guān)性,從而來提高在候選事件中匹配出正確事件的準(zhǔn)確性,常見的基于事件對的方法有Word2Vec[7]和EventComp[8]等。基于事件對的方法在預(yù)測時(shí)以已知事件和后續(xù)事件的相關(guān)性作為預(yù)測依據(jù),忽略了多個事件間可能存在聯(lián)系。基于事件鏈的方法通過學(xué)習(xí)事件鏈中事件之間的時(shí)序信息,充分捕獲事件之間的序列特征進(jìn)行后續(xù)事件預(yù)測。常見的基于事件鏈的方法有PairLSTM[9]和SAM-Net[10]等。基于事件鏈的方法同樣也忽略了事件之間復(fù)雜的相關(guān)性。基于事件演化圖的方法可以有效地解決這個問題。目前基于事件演化圖的方法研究較少,文獻(xiàn)[11]提出事件演化圖的概念,他們認(rèn)為隱藏在事件演化圖中的反映事件之間的動態(tài)發(fā)展規(guī)律和演化模式是有一種非常有價(jià)值的知識,可以利用其來提升事件下游任務(wù)的性能和效率。

近年來,隨著圖神經(jīng)網(wǎng)絡(luò)的研究逐漸興起,研究人員基于圖神經(jīng)網(wǎng)絡(luò)進(jìn)行事件預(yù)測,解決了如何根據(jù)事件間的聯(lián)系來預(yù)測后續(xù)事件問題。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更適用于在歐幾里德空間中的數(shù)據(jù),而圖神經(jīng)網(wǎng)絡(luò)則能作用在圖數(shù)據(jù)結(jié)構(gòu)上,通過圖嵌入方法來進(jìn)行圖表征學(xué)習(xí),擴(kuò)展了深度學(xué)習(xí)對于非歐幾里得數(shù)據(jù)的處理能力[12]。圖數(shù)據(jù)中蘊(yùn)含著非常豐富的關(guān)系類型的信息,而圖神經(jīng)網(wǎng)絡(luò)在對圖中的節(jié)點(diǎn)之間的關(guān)聯(lián)性進(jìn)行模型化處理上具有很強(qiáng)的優(yōu)勢,這使得它在很多相關(guān)的研究中都有很大的突破。使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行事件的預(yù)測,同樣可以提高預(yù)測結(jié)果的準(zhǔn)確率和效率[13]。而對于多標(biāo)記事件,利用多標(biāo)記學(xué)習(xí)中問題轉(zhuǎn)換思想,將多標(biāo)記問題轉(zhuǎn)化為單標(biāo)記問題,并結(jié)合現(xiàn)有事件預(yù)測方法,實(shí)現(xiàn)對多標(biāo)記事件的預(yù)測。

事件預(yù)測越來越受到學(xué)界和業(yè)界的關(guān)注,大量研究致力于事件預(yù)測的開發(fā)和應(yīng)用。但已有的相關(guān)研究分析不夠細(xì)致和深入,忽略普遍存在的多標(biāo)記事件情境。為解決以上問題,本文提出了基于事件演化圖的多標(biāo)記事件預(yù)測模型(MLEP)。利用門控圖神經(jīng)網(wǎng)絡(luò)(GGNN)框架,并結(jié)合多標(biāo)記學(xué)習(xí)中問題轉(zhuǎn)換思想,將多標(biāo)記問題轉(zhuǎn)化為單標(biāo)記問題,構(gòu)建多標(biāo)記事件預(yù)測模型,以實(shí)現(xiàn)多標(biāo)記事件的預(yù)測。

1 相關(guān)工作

多標(biāo)記事件預(yù)測問題可在現(xiàn)有事件預(yù)測技術(shù)的基礎(chǔ)上利用多標(biāo)記學(xué)習(xí)的思想來解決。下文分別介紹事件預(yù)測技術(shù)和多標(biāo)記學(xué)習(xí)技術(shù)。

1.1 事件預(yù)測技術(shù)

事件預(yù)測是事件研究的下游任務(wù),現(xiàn)有研究大多都是在已經(jīng)抽取出的事件基礎(chǔ)上挖掘事件之間在時(shí)間維度、因果維度上的聯(lián)系,從外部語料中獲取先驗(yàn)知識和事件演變規(guī)律來支撐推理和預(yù)測。事件預(yù)測方法可根據(jù)對數(shù)據(jù)的組織和利用方式分為以下3類[14]:

1)基于關(guān)聯(lián)規(guī)則的方法。基于關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘領(lǐng)域比較經(jīng)典的預(yù)測方法之一。它通常由兩個步驟組成:首先學(xué)習(xí)前兆和目標(biāo)事件之間的關(guān)聯(lián);然后利用所學(xué)的關(guān)聯(lián)預(yù)測未來事件,其中未來事件前兆是通過挖掘歷史數(shù)據(jù)中的關(guān)聯(lián)或邏輯模式來提取的。基于關(guān)聯(lián)規(guī)則的方法在特定場景中性能優(yōu)異,但缺乏普遍適用性,且規(guī)則的構(gòu)建往往需要大量的人力和時(shí)間,效率較低,所以難以在實(shí)際應(yīng)用中普及。

2)基于因果的方法。使用特定的預(yù)定義的因果關(guān)系模式將事件根據(jù)因果關(guān)系轉(zhuǎn)換成特定的結(jié)構(gòu),以此來推斷未來的事件。這種方法的步驟如下:從給定文本中抽取出目標(biāo)事件;根據(jù)因果規(guī)律定義事件間的因果關(guān)系;根據(jù)因果關(guān)系預(yù)測出后續(xù)事件。文獻(xiàn)[15]通過挖掘醫(yī)療因果關(guān)系構(gòu)建因果知識圖來實(shí)現(xiàn)預(yù)測,為醫(yī)療診斷提供了一定的輔助作用。在實(shí)際應(yīng)用中,因果關(guān)系有時(shí)定義比較模糊而難以確定,關(guān)系抽取相對困難,而且這種方法只關(guān)注特定事件之間的因果關(guān)系,沒有發(fā)現(xiàn)一般的因果關(guān)系模式。因此,在這方面深入的研究相對較少。

3)基于序列預(yù)測的方法,即通過分析事件發(fā)生的時(shí)序關(guān)系規(guī)律來預(yù)測后續(xù)可能發(fā)生的事件。序列預(yù)測主要探索如何預(yù)測序列的下一個元素及其所代表的事件。序列預(yù)測方法主要分為兩種類型,其中第一種需要人為定義關(guān)鍵屬性,而更現(xiàn)代化的方法可以基于深度學(xué)習(xí)方法學(xué)習(xí)序列的隱含表征以直接預(yù)測未來事件。基于序列的方法成為事件預(yù)測領(lǐng)域應(yīng)用比較廣的一種方法,尤其是在具有順承關(guān)系和演化特性的事件中。近年來,已有很多通過對序列事件建模的方法來進(jìn)行事件預(yù)測的研究,如文獻(xiàn)[16]通過構(gòu)建一個長程時(shí)序模塊學(xué)習(xí)事件鏈中的序列信息,實(shí)現(xiàn)了后續(xù)腳本事件的序列預(yù)測。

以上事件預(yù)測研究鮮有關(guān)注到在各領(lǐng)域普遍存在的多標(biāo)記事件情境。目前多標(biāo)記事件預(yù)測仍處于快速發(fā)展階段,但針對多標(biāo)記事件預(yù)測的研究還很貧乏。

1.2 多標(biāo)記學(xué)習(xí)技術(shù)

多標(biāo)記學(xué)習(xí)(MLL)是針對現(xiàn)實(shí)世界中普遍存在的多義性對象而提出的一種機(jī)器學(xué)習(xí)技術(shù)[17]。傳統(tǒng)學(xué)習(xí)模型的樣本一般具有明確且單一的標(biāo)記,但在現(xiàn)實(shí)世界中的對象標(biāo)記往往都是不明確的,會表現(xiàn)出多義性[18]。關(guān)于多標(biāo)記學(xué)習(xí)問題的求解策略,現(xiàn)有的方法根據(jù)標(biāo)記之間的相關(guān)性可以分為三類[19-20]:一階策略,二階策略和高階策略,而這些策略根據(jù)算法求解思路的不同也可以分為算法改進(jìn)和問題轉(zhuǎn)化兩種算法。

算法改進(jìn),顧名思義就是改進(jìn)現(xiàn)有的單標(biāo)記算法,從而使算法能夠解決多標(biāo)記領(lǐng)域的問題。如何考慮多標(biāo)記空間中的不同標(biāo)記間的聯(lián)系和相關(guān)性,以提高預(yù)測的性能是算法改進(jìn)的一個關(guān)鍵問題。通過改進(jìn)現(xiàn)有的單標(biāo)記學(xué)習(xí)算法能夠解決多標(biāo)記學(xué)習(xí)問題,具體算法包括增強(qiáng)文本[17]、多標(biāo)記k近鄰[21]和排名支持向量機(jī)[22]等。問題轉(zhuǎn)化則不需要對算法進(jìn)行修改,是在處理過程中將復(fù)雜的多標(biāo)記問題轉(zhuǎn)化為單標(biāo)記問題,得以使用現(xiàn)有的方法解決,問題轉(zhuǎn)化的關(guān)鍵問題是對標(biāo)記空間中重疊標(biāo)記的處理,其主要方法包括BR(Binary Relevance)[23]和LP(Label Powerset)[24]等。與算法改進(jìn)方法相比,問題轉(zhuǎn)化更加靈活,因?yàn)樵趩栴}轉(zhuǎn)化后可以應(yīng)用任何現(xiàn)成的單標(biāo)記學(xué)習(xí)方法解決,所以具有強(qiáng)大的適用性[25]。因此,問題轉(zhuǎn)化是目前研究多標(biāo)記使用較多的方法,本文也將采用這種方法來研究多標(biāo)記事件預(yù)測問題。

以多標(biāo)記分類為例,給出多標(biāo)記問題的形式化定義。用L表示一個多標(biāo)記數(shù)據(jù)集合,即L={lj|j=1,2,…,m},其中,m表示類別標(biāo)記的數(shù)量。D表示訓(xùn)練集,D={(xi,Yi)|i=1,2,…,n},其中,n和xi分別為樣本數(shù)量和第i個樣本的特征屬性,Yi∈L代表樣本i的標(biāo)記集合。多標(biāo)記數(shù)據(jù)集示例如表1所示,數(shù)據(jù)集共有4個樣本,每個樣本包含1個或多個標(biāo)記。

表1 多標(biāo)記數(shù)據(jù)集Table 1 Multi-label dataset

BR是一種典型的問題轉(zhuǎn)換型方法,主要思想是用多個二分類問題代表一個多標(biāo)記問題來實(shí)現(xiàn)問題轉(zhuǎn)換。它將對每一種標(biāo)記進(jìn)行預(yù)測看作為單獨(dú)的二分類問題來處理,因此共有m個二分類器。與此同時(shí),數(shù)據(jù)集被變換為m個數(shù)據(jù)集。以第j個數(shù)據(jù)集為例,包含標(biāo)記lj則賦予lj,不包含標(biāo)記lj則賦予lj。在采用BR方法進(jìn)行分類時(shí),最終預(yù)測結(jié)果用m個二分類器得到組合結(jié)果代表。用BR方法對數(shù)據(jù)集L進(jìn)行數(shù)據(jù)轉(zhuǎn)換,結(jié)果如表2所示。

表2 使用BR方法對數(shù)據(jù)集進(jìn)行數(shù)據(jù)轉(zhuǎn)換的結(jié)果Table 2 Result of data transformation on the dataset using the BR method

LP也是一種問題轉(zhuǎn)換型方法,它用一個多標(biāo)簽分類器來代替多個標(biāo)簽組合,實(shí)現(xiàn)了多標(biāo)記到單標(biāo)記的轉(zhuǎn)化。這個組合標(biāo)簽表示所有可能的標(biāo)簽組合,每個組合都被視為一個單獨(dú)的分類類別。LP方法用多種標(biāo)記組合對數(shù)據(jù)集中的標(biāo)記通過組合的方式進(jìn)行重新排列,以單標(biāo)記的組合標(biāo)簽來代替多標(biāo)記標(biāo)簽,LP方法對數(shù)據(jù)集進(jìn)行轉(zhuǎn)換后的結(jié)果如表3所示。LP方法實(shí)現(xiàn)了對標(biāo)記的組合進(jìn)行編碼,能簡單地將多標(biāo)記問題轉(zhuǎn)換成組合標(biāo)記形式的單標(biāo)記問題,然后采用已有的單標(biāo)記算法進(jìn)行解決,具有廣泛的適用性。因此,本文也將采用LP問題轉(zhuǎn)換方法,使用組合標(biāo)簽的方式來研究多標(biāo)記事件預(yù)測問題。

表3 使用LR方法對數(shù)據(jù)集進(jìn)行數(shù)據(jù)轉(zhuǎn)換的結(jié)果Table 3 Result of data transformation on the dataset using the LR method

2 MLEP模型框架及關(guān)鍵技術(shù)

2.1 模型框架

事件預(yù)測任務(wù)是指根據(jù)已知發(fā)生的事件來預(yù)測出后續(xù)可能發(fā)生的事件。本文提出一種基于事件演化圖的多標(biāo)記事件預(yù)測模型(MLEP),該模型具有以下優(yōu)勢:1)將實(shí)體描述、實(shí)體類型以及關(guān)系路徑信息融入到事件表示中以提升事件的表示效果;2)針對多標(biāo)記事件預(yù)測的研究,提出基于事件演化圖的多標(biāo)記事件預(yù)測研究的新模式。MLEP模型框架如圖1所示。

圖1 MLEP模型框架Fig.1 Framework of MLEP model

MLEP模型輸入為多個原始已知事件組成的事件圖以及候選事件集合,進(jìn)而根據(jù)每個候選后續(xù)事件與已知事件之間的相關(guān)性得分選取最優(yōu)的候選事件作為預(yù)測結(jié)果。具體為:首先利用事件表示學(xué)習(xí)方法獲取所有事件的向量表示,并基于多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)換的思想,將多標(biāo)記標(biāo)簽轉(zhuǎn)換成單標(biāo)記標(biāo)簽表示,對多標(biāo)記事件進(jìn)行編碼;然后采用門控圖神經(jīng)網(wǎng)絡(luò)的框架,并基于事件演化的模式構(gòu)建多標(biāo)記事件預(yù)測模型,實(shí)現(xiàn)多標(biāo)記事件的預(yù)測;最后對預(yù)測結(jié)果進(jìn)行解碼,輸出對應(yīng)的多標(biāo)記事件。

2.2 事件演化圖的構(gòu)建

事件演化圖可以揭示事件發(fā)展的規(guī)律,且事件演化圖中邊的權(quán)重可以用于獲取事件之間的關(guān)聯(lián)信息以指導(dǎo)事件預(yù)測[26],因此基于事件演化圖來構(gòu)建事件預(yù)測模型,可以大幅提高預(yù)測的準(zhǔn)確性。

事件演化圖是由有順承關(guān)系的事件和事件鏈構(gòu)建的具有演化規(guī)律的圖結(jié)構(gòu),根據(jù)事件鏈中事件節(jié)點(diǎn)及事件間關(guān)系在數(shù)據(jù)集中出現(xiàn)的頻率進(jìn)一步配置事件間關(guān)系的權(quán)重。具體來說,由S={s1,s2,…,si,…,sn}表示一組事件鏈,si是S中任意一個元素,si中可能包含多標(biāo)記事件,可以將其表示為{e1,l1,e2,l2,…,(eg,lg,eg+1,lg+1,…,ek),…,lm-1,em},其中,ei表示事件鏈中的事件,li表示事件間的關(guān)系,(eg,lg,eg+1,lg+1,…,ek)表示同時(shí)發(fā)生的多標(biāo)記事件集合。事件演化圖可以表示為G={E,Q},其中,E={e1,e2,…,eP}為節(jié)點(diǎn)集,Q為邊的集合。圖中每一條有向邊lij表示為lij:ei→ej(lij∈Q)。lij需要賦予一個權(quán)值w(ei,ej),權(quán)值是通過事件節(jié)點(diǎn)及事件間關(guān)系在數(shù)據(jù)集中出現(xiàn)的頻率計(jì)算出來的,其公式如下:

(1)

其中:count(ei,ej)表示(ei,ej)關(guān)系在訓(xùn)練集中的頻率。構(gòu)建的事件演化圖示例如圖2所示。

圖2 事件演化圖示例Fig.2 Example of event evolution graph

2.3 MLEP模型的算法原理

MLEP模型算法由3個步驟組成:1)事件編碼,用來獲取已知事件和候選事件的向量表示,以此作為門控圖神經(jīng)網(wǎng)絡(luò)輸入;2)門控圖神經(jīng)網(wǎng)絡(luò),用于建模事件之間的時(shí)序預(yù)測并不斷更新演化圖中事件的表示;3)后續(xù)事件預(yù)測,即通過已知事件和候選事件之間的相似度,選出合適的事件作為預(yù)測結(jié)果。

2.3.1 事件編碼

對于事件編碼,通過將實(shí)體類型、實(shí)體描述等實(shí)體屬性和事件間關(guān)系路徑融合到事件中表示,以提高事件表示學(xué)習(xí)的能力及推理性能。這種方法模型定義為融合實(shí)體屬性和關(guān)系路徑的事件表示學(xué)習(xí)模型(EARP),具體為:使用加權(quán)層次編碼[27]嵌入實(shí)體類型;引入BERT(Bidirectional Encoder Representations from Transformers)模型[28],對實(shí)體描述的完整語義進(jìn)行表示;通過路徑資源約束算法[29]對關(guān)系路徑進(jìn)行向量表示。本文通過EARP表示學(xué)習(xí)方法獲取所有事件的向量表示,以提高事件預(yù)測的效率。

對于多標(biāo)記事件,需要利用第1.2節(jié)中多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)換的LR方法對其進(jìn)行編碼,即基于多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)換的思想,將多標(biāo)記標(biāo)簽轉(zhuǎn)換成單標(biāo)記標(biāo)簽表示,對多標(biāo)記事件進(jìn)行編碼。將構(gòu)建好的事件演化圖G中的事件定義為{e1,e2,…,en},其中n為事件數(shù)量。而對于G中同時(shí)發(fā)生的多個事件{e1,e2,…,em}的事件轉(zhuǎn)換成一個融合事件ey。ey對應(yīng)的向量表示vey的計(jì)算公式為:

vey=f(w1ve1+w2ve2+…+wmvem)

(2)

其中:{w2,w2,…,wm}為權(quán)重參數(shù),即采用加權(quán)融合編碼的方式對多標(biāo)記事件進(jìn)行編碼。

以m=3為例來說明事件編碼規(guī)律。3個事件定義為e1、e2、e3,按它們同時(shí)發(fā)生與否和同時(shí)發(fā)生的個數(shù)可以得出共有8種候選事件組合,對應(yīng)的融合事件編碼標(biāo)記如表4所示。

表4 候選組合事件編碼表Table 4 Candidate combination event code table

將事件演化圖中頭事件實(shí)體對應(yīng)的多個同時(shí)發(fā)生的尾事件實(shí)體按式(2)獲取組合向量表示,獲得多標(biāo)記尾事件實(shí)體向量,賦予頭事件實(shí)體與多標(biāo)記尾事件實(shí)體之間為順承關(guān)系,更新關(guān)系權(quán)重,獲得多標(biāo)記事件融合編碼后的事件演化圖,作為門控圖神經(jīng)網(wǎng)絡(luò)的輸入。

2.3.2 門控圖神經(jīng)網(wǎng)絡(luò)

門控圖神經(jīng)網(wǎng)絡(luò)(GGNN)適用于對已知事件和候選事件之間的交互建模,因此采用它對多標(biāo)記事件演化圖進(jìn)行訓(xùn)練獲得多標(biāo)記事件預(yù)測模型。如何在一個大規(guī)模事件知識圖譜上訓(xùn)練GGNN模型,是模型的一個挑戰(zhàn)。本文參照文獻(xiàn)[30]的方法對圖劃分子圖,以子圖作為一條數(shù)據(jù),從而能使GGNN用來訓(xùn)練大規(guī)模數(shù)據(jù)。

對于GGNN,它輸入的對象為:事件的表示向量矩陣h(0)和圖的鄰接矩陣A,其中h(0)={ve1,ve2,…,ven,vec1,vec2,…,veck},其包含初始已知事件和后續(xù)候選事件向量,A∈(n+k)×(n+k)是對應(yīng)子圖的鄰接矩陣。鄰接矩陣A決定子圖中的節(jié)點(diǎn)如何相互作用,其數(shù)值A(chǔ)[i,j]可以表示為:

(3)

接下來將h(0)和A輸入到GGNN中,GGNN的基本遞歸式為:

a(t)=ATh(t-1)+b

(4)

z(t)=σ(Wza(t)+Uzh(t-1))

(5)

r(t)=σ(Wra(t)+Urh(t-1))

(6)

c(t)=tanh (Wa(t)+U(r(t)⊙h(t-1)))

(7)

h(t)=(1-z(t))⊙h(t-1)+z(t)⊙c(t)

(8)

其中:式(4)是節(jié)點(diǎn)間傳遞信息;式(5)～ 式(8)類似于GRU的更新[31],每次都會更新節(jié)點(diǎn)的狀態(tài);σ為Logistic-Sigmoid函數(shù);a(t)是來自邊的激活;⊙是邏輯同或運(yùn)算符;z(t)和r(t)分別為更新門和復(fù)位門,GGNN按一定固定的數(shù)量根據(jù)公式所述循環(huán)傳播;輸出h(t)作為已知事件和候選事件更新后的表示。

2.3.3 后續(xù)事件預(yù)測

在模型中,打分函數(shù)g有多種選擇,一般為相似度計(jì)算量,常見的打分函數(shù)有曼哈頓相似性、余弦相似性、點(diǎn)相似性以及歐幾里得相似性。本文采用歐幾里得相似性作為打分函數(shù),即求兩個向量的歐幾里得距離,計(jì)算公式為:

(9)

另外使用注意力機(jī)制[32]來處理已知事件,因?yàn)椴煌囊阎录赡芫哂胁煌臋?quán)重來選擇正確的后續(xù)事件。使用注意神經(jīng)網(wǎng)絡(luò)根據(jù)后續(xù)候選事件計(jì)算每個已知事件的相對重要性:

(10)

(11)

然后通過下式計(jì)算相關(guān)性得分:

(12)

模型的正確輸出代表輸入中的組合事件向量是正確的。模型的輸出向量是一種融合事件向量,通過解碼可獲得其真實(shí)的多事件集合。解碼器的輸入是后續(xù)組合事件表示向量vey,輸出為多標(biāo)記事件編碼序列y,根據(jù)表4可反推出發(fā)生的事件組合。

2.4 模型訓(xùn)練

MLEP模型訓(xùn)練目標(biāo)如式(13)所示,該模型使用邊界損失函數(shù)作為目標(biāo)函數(shù)。

(13)

其中:k是候選事件的數(shù)量;N是事件鏈的數(shù)量;y是正確后續(xù)事件的標(biāo)簽;sIj是第I個事件鏈與第j個后續(xù)的候選事件之間的得分;λ是L2正則項(xiàng)的懲罰因子;θ是模型參數(shù)的集合。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文所使用的數(shù)據(jù)集是由公開數(shù)據(jù)集PatientEG預(yù)處理而來的。PatientEG數(shù)據(jù)集[33]由華東理工大學(xué)和上海曙光醫(yī)院聯(lián)合構(gòu)建,數(shù)據(jù)來源于191 598個真實(shí)病歷記錄,其中事件共有Diagnosis-Event、Hospitalization-Event、Drug-Event、Assay-Event和Surgery-Event 5種類型,事件之間按順承關(guān)系排列,是較好的事件鏈數(shù)據(jù)源。數(shù)據(jù)集預(yù)處理具體過程為:首先對數(shù)據(jù)集中事件鏈進(jìn)行清洗,保留只存在after和concurrent關(guān)系的事件,對于concurrent連接的多標(biāo)記事件,采用重新編碼的方式,以一個新的事件存入,按不同的事件鏈將數(shù)據(jù)存入文件中;然后對事件進(jìn)行編碼獲取事件的向量表示,對于多標(biāo)記事件,采用本文第2.3.1節(jié)的方式編碼;最后基于獲取的事件鏈構(gòu)建事件演化圖,構(gòu)建方法參照本文第2.2節(jié)。

構(gòu)建好事件演化圖后,對其劃分子圖制作模型的每條數(shù)據(jù),子圖的集合即可作為MLEP模型的數(shù)據(jù)集。預(yù)處理后的數(shù)據(jù)集共包括108 701個樣本,通過隨機(jī)方法按6∶2∶2的比例將數(shù)據(jù)集分為訓(xùn)練集、測試集和驗(yàn)證集。表5為數(shù)據(jù)集的數(shù)據(jù)統(tǒng)計(jì)。

表5 數(shù)據(jù)集的數(shù)據(jù)統(tǒng)計(jì)Table 5 Data statistics of datasets 單位:個

3.2 實(shí)驗(yàn)設(shè)置

3.2.1 參數(shù)設(shè)置

在模型訓(xùn)練過程中,具體參數(shù)設(shè)置為:損失計(jì)算使用邊界損失函數(shù)進(jìn)行,λ是L2正則的懲罰因子,設(shè)為0.000 001;γ是邊界值,設(shè)為0.015。超參數(shù)通過在驗(yàn)證集上的實(shí)驗(yàn)來調(diào)整,具體為:GGNN網(wǎng)絡(luò)的層數(shù)設(shè)為2層,丟棄率為0.4,學(xué)習(xí)率設(shè)為0.000 1,初始詞嵌入的向量維度設(shè)為128,在運(yùn)行過程中使用早停訓(xùn)練方法和RMS優(yōu)化算法。

3.2.2 對比模型

為了全面評估提出的MLEP模型,本文選用經(jīng)典的基于統(tǒng)計(jì)的預(yù)測模型(如PMI Predictor和Bigram Predictor)、基于事件對的預(yù)測模型(如Word2Vec Predictor和EventComp Predictor)和基于事件鏈的預(yù)測模型(如PairLSTM和SAM-Net)作為對比模型。各模型具體介紹如下:

1)PMI Predictor[2]:通過計(jì)算互信息,對后續(xù)事件建立共現(xiàn)模型進(jìn)行預(yù)測,是一種基于統(tǒng)計(jì)共現(xiàn)的事件預(yù)測方法。

2)Bigram Predictor[3]:以二元條件概率作為兩事件相關(guān)性評分,是一種基于統(tǒng)計(jì)共現(xiàn)的事件預(yù)測方法。

3)Word2Vec Predictor[7]:依靠Skip-gram模型對事件進(jìn)行映射,以余弦相似性作為兩事件相關(guān)性評分,是一種基于事件對的事件預(yù)測方法。

4)EventComp Predictor[8]:利用Siamese網(wǎng)絡(luò)學(xué)習(xí)事件的特征表示,再根據(jù)事件對之間的得分預(yù)測事件,是一種基于事件對的事件預(yù)測方法。

5)PairLSTM[9]:一種基于事件鏈的事件預(yù)測方法,該方法通過向雙向LSTM輸入事件初始表示向量,獲得隱藏層狀態(tài),以此來表示事件,然后聯(lián)合上下文序列信息以及事件對信息,計(jì)算出候選后續(xù)事件和事件上下文相關(guān)性評分。

6)SAM-Net[10]:一種基于事件鏈的事件預(yù)測方法,該方法主要利用注意力機(jī)制和LSTM來對事件鏈中的事件進(jìn)行表示,其中LSTM是實(shí)現(xiàn)對事件鏈序列的建模,注意力機(jī)制實(shí)現(xiàn)對事件的表示,最后通過對兩部分融合訓(xùn)練預(yù)測出后續(xù)事件。

3.3 實(shí)驗(yàn)結(jié)果與分析

本文利用準(zhǔn)確率作為評價(jià)實(shí)驗(yàn)結(jié)果的好壞,各個模型在對應(yīng)數(shù)據(jù)集上的結(jié)果如表6所示,對比如圖3所示。

圖3 不同模型的準(zhǔn)確率對比Fig.3 Accuracy comparison of different models

表6 不同模型的準(zhǔn)確率Table 6 Accuracy of different models %

根據(jù)表6和圖3的實(shí)驗(yàn)結(jié)果得到如下結(jié)論:

1)本文提出的MLEP模型要優(yōu)于基于統(tǒng)計(jì)的模型、基于事件對的模型和基于事件鏈的模型,可以表明MLEP模型可以實(shí)現(xiàn)對多標(biāo)記事件的預(yù)測,且性能要優(yōu)于其他基線模型。

2)基于統(tǒng)計(jì)的模型效果最差,因?yàn)樵撃Ｐ蛢H以事件出現(xiàn)的頻率來計(jì)算相關(guān)性得分,如果出現(xiàn)訓(xùn)練中沒有的事件則無法計(jì)算得分,所以具有很大的局限性。基于事件對的模型表現(xiàn)也不理想,因?yàn)槟Ｐ椭豢紤]相鄰事件間的關(guān)系,而沒有關(guān)注到非相鄰事件可能存在的時(shí)序信息和其他復(fù)雜的關(guān)系。基于事件鏈的模型表現(xiàn)較好,因?yàn)槠涑浞掷煤蛯W(xué)習(xí)了序列的時(shí)序信息,根據(jù)序列的特征來進(jìn)行后續(xù)事件預(yù)測,但由于沒有考慮各個事件之間的聯(lián)系,沒有利用事件之間的發(fā)展規(guī)律和演化模式,因此效果不如基于事件演化圖的模型。

3)MLEP模型取得了較好的效果,證明了事件演化圖能捕獲事件之間的發(fā)展規(guī)律和演化模式,基于事件演化圖的預(yù)測模式能充分學(xué)習(xí)到圖中各事件之間的連接關(guān)系,其預(yù)測性能要優(yōu)于基于統(tǒng)計(jì)、基于事件對和基于事件鏈的模式。

從時(shí)間復(fù)雜度來看:基于統(tǒng)計(jì)學(xué)的預(yù)測模型為O(p),p為事件的數(shù)量;基于事件對的預(yù)測模型為O(v),v為輸入向量的維度;基于事件鏈的預(yù)測模型為O(4Th2+4Tnh),其中,n為輸入特征維度,T為輸入序列的長度,h為隱狀態(tài)的維度,則4Th2表示輸入門、遺忘門、輸出門和候選記憶單元的計(jì)算,4Tnh表示輸入輸出門和記憶單元的計(jì)算;本文提出的基于事件演化圖的MLEP模型為O(|e|×F×F′+(Tnd(T+d2+kd))),其中,F×F′為權(quán)重矩陣W的表示,|e|為圖頂點(diǎn)數(shù)量。從對比結(jié)果可以發(fā)現(xiàn),基于統(tǒng)計(jì)學(xué)的預(yù)測模型和基于事件對的預(yù)測模型屬于輕量級的模型,時(shí)間復(fù)雜度較低,基于事件鏈的預(yù)測模型和本文的MLEP模型都屬于深度學(xué)習(xí)模型,復(fù)雜度較高,可通過高算力設(shè)備來支持算法的運(yùn)行。

3.4 消融實(shí)驗(yàn)

為驗(yàn)證MLEP模型中各模塊的有效性,本文還進(jìn)行了消融實(shí)驗(yàn),分析事件表示模塊對模型的作用。消融實(shí)驗(yàn)使用的模型介紹如表7所示。

表7 消融實(shí)驗(yàn)?zāi)Ｐ徒榻BTable 7 Introduction of ablation experimental model

消融實(shí)驗(yàn)結(jié)果如圖4所示,由圖4可知:1)MLEP模型結(jié)果優(yōu)于MLEP-EARP模型,準(zhǔn)確率提高了6.65%,這表明EARP事件表示方法相比于簡單地把事件描述詞嵌入拼接表示事件效果要好,更好的事件表示可以提高事件預(yù)測的效率,也證明了EARP事件表示學(xué)習(xí)方法可以提高事件知識圖譜表達(dá)能力和推理性能;2)MLEP模型結(jié)果優(yōu)于兩個消融模型MLEP-EARP+LSTM和MLEP-EARP+Transformer,這表明在MLEP模型中EARP事件表示學(xué)習(xí)層對事件的表示較于LSTM和Transformer有更好的效果,EARP模塊提升了MLEP模型的性能,也證明了考慮更多的融合信息的表示學(xué)習(xí)方法可以更好地提高事件表示學(xué)習(xí)效果。

圖4 消融實(shí)驗(yàn)結(jié)果Fig.4 Ablation experiment results

4 結(jié)束語

本文提出一種基于事件演化圖的多標(biāo)記事件預(yù)測模型(MLEP)。該模型以門控圖神經(jīng)網(wǎng)絡(luò)為框架,并結(jié)合多標(biāo)記學(xué)習(xí)中問題轉(zhuǎn)換思想,將多標(biāo)記問題轉(zhuǎn)化為單標(biāo)記問題,構(gòu)建多標(biāo)記事件預(yù)測模型,實(shí)現(xiàn)對多標(biāo)記事件的預(yù)測。在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,MLEP模型可以有效地預(yù)測出多標(biāo)記事件,且性能優(yōu)于現(xiàn)有的主流模型,并通過消融實(shí)驗(yàn)證明了更好的事件表示學(xué)習(xí)方法對事件具有更好的表示效果,能較好地提升MLEP模型性能。本文通過事件演化的模式對多標(biāo)記事件預(yù)測,能反映事件之間的動態(tài)發(fā)展和邏輯關(guān)系,使事件預(yù)測更具有可解釋性。本文模型是在基于事件演化的模式下實(shí)現(xiàn)多標(biāo)記事件預(yù)測,沒有考慮事件鏈級別之間的聯(lián)系,下一步將以融合信息更多的知識圖譜或事件圖譜為研究載體,以提升事件預(yù)測的準(zhǔn)確率。