摘 要: 大部分基于依存句法分析的事件檢測方法僅聚焦于依存句法結構上的單跳聯系,忽視了詞與詞之間的多跳聯系,造成事件觸發詞與部分相關實體間的語義缺失,從而影響了事件檢測效率。因此,為了充分利用詞語間的語義相關性提升事件觸發詞的識別能力,提出了融合多跳關系標簽和依存句法結構信息的事件檢測模型。構建了一種新型的依存句法多跳樹以及多跳關系標簽搜索算法,增強了核心詞匯的事件表征能力,并結合圖注意力網絡聚合了詞的多階表示,提升了事件檢測性能。在ACE2005數據集上的實驗結果顯示,提出的增加了多跳關系標簽信息的事件檢測方法比基準模型性能提升了近2%。
關鍵詞: 事件檢測; 依存句法; 多跳關系標簽; 句法結構
中圖分類號: TP391"" 文獻標志碼: A
文章編號: 1001-3695(2022)01-007-0043-05
doi:10.19734/j.issn.1001-3695.2021.07.0306
Event detection model based on integrating of multi-hop relation labels and dependency syntactic structure
Ouyang Chunping1,2, Zou Kang1, Liu Yongbin1,2, Wan Yaping1,2
(1.School of Computer, University of South China, Hengyang Hunan 421001, China; 2.Hunan Provincial Base for Scientific amp; Technological Innovation Cooperation, Hengyang Hunan 421001, China)
Abstract: Most of the event detection methods based on dependency parsing only focus on the single-hop connection of dependency syntax structure.It ignores the multi-hop connection between words,resulting in the lack of semantic information between trigger words and some related entities,which affects the efficiency of event detection.Therefore,this paper proposed an event detection model integrating multi-hop relation labels and dependency syntactic structure information to improve the recognition performance of event trigger words.This paper designed a new dependency syntax “multi hop tree” and multi hop relation label search algorithm to enhance the event-representation ability of core vocabulary.Furthermore,it used graph attention network to aggregate the multi-level word representation,which improved the event detection performance.Results on ACE2005 dataset show that this event detection method improves the performance of the benchmark model by nearly 2%.
Key words: event detection; dependency syntax; multi-hop relation label; syntactic structure
0 引言
事件作為信息的一種表現形式,其定義為特定的人、物在特定時間和特定地點相互作用的客觀事實。事件抽取則是指從非結構化信息中抽取出用戶感興趣的事件,并以結構化的形式呈現給用戶。事件抽取任務可分解為觸發詞識別、事件類型分類、元素識別和角色分類四個子任務。其中,觸發詞識別和事件類型分類可合并成事件檢測任務,即事件檢測的步驟首先需要自動判斷出給定文本中的觸發詞,然后再分析出觸發詞所屬的事件類別。
例1 Because he helped plan the attack on the World Trade Center and the Pentagon.(譯文:因為他幫助策劃了對世界貿易中心和五角大樓的襲擊。)
通過事件檢測應當能夠識別出“attack”(襲擊)是引發“攻擊”類別事件的觸發詞。
傳統的事件檢測方法[1~4]主要依賴外界工具包來提取句子特征(依存句法分析)和詞匯特征(如詞性分析、命名實體識別)。盡管取得了不錯的效果,但由于特征工程的主觀依賴性和誤差傳播,泛化能力較差。近幾年,深度學習技術被廣泛應用于事件檢測任務,相比傳統方法具有較強的泛化性能。基于深度學習的事件檢測研究工作中,早期的研究大部分僅利用句子的順序結構,主要考慮相鄰詞之間的聯系來進行事件檢測工作,如Chen等人[5]利用卷積神經網絡(convolutional neural network,CNN)來提取句子的相鄰局部特征進而實現事件檢測;Nguyen等人[6]基于循環神經網絡(recurrent neural network,RNN)捕獲每個詞的相鄰上下文信息進行事件檢測。但是上述方法主要依靠單方向的相鄰詞中提取特征,在捕獲兩個詞的長距離依存關系方面存在效率低下的問題。后續有研究人員又發現,利用神經網絡并結合依存句法分析進行事件檢測,能有效利用兩個詞在長距離時的依存關系,捕獲到句子中的觸發詞與其相關實體的內在聯系,以提升事件檢測的性能[7,8]。
目前,基于依存句法分析的事件檢測方法側重于使用依存句法結構信息,如:文獻[7,8]分別提出基于BiLSTM和GRU的事件檢測模型,并在單詞之間引入了句法結構信息,改善了單跳長距離信息缺失的問題;文獻[9,10]將依存句法樹構建成一階圖(即詞與詞在依存關系上的單跳聯系),采用圖卷積神經網絡(graph convolutional network,GCN)[11]對一階圖結構建模,實現事件觸發詞的抽取。
依存句法分析是自然語言處理中的關鍵技術之一,是對輸入的句子進行依存解析并得到依存關系的處理過程。它分析了詞與詞之間在句法上的語義搭配關系,能為事件檢測提供關鍵的線索。依存關系信息包括句法結構信息和關系標簽信息,前者顯示了句子中詞與詞之間在句法結構上的聯系,表達了詞與詞在依存關系上的語義相關性,后者表述了兩個詞之間特定的依存關系類型,體現了詞與詞在句法特征上的差異性。如圖1所示,依存句法結構信息被表示為一棵依存句法樹,且樹上每條邊依附著一個關系標簽。例如“he”與“helped”之間的關系標簽為“nsubj”,并且“he”(事件參與者)、“attack”(觸發詞)、“World Trade Center”(攻擊目標)、“Pentagon”(攻擊目標)通過句法結構連接可構成一個事件。其中,“attack”與“Center”,以及“Center”與“Pentagon”存在長距離的單跳聯系。同時還發現,“he”與“attack”,以及“attack”與“Pentagon”也存在長距離的多跳聯系。在現有基于依存句法結構信息的事件檢測工作中,大部分僅考慮了詞與詞在依存關系上的單跳聯系,因此不能捕捉到觸發詞與其所有相關實體之間的關聯,導致觸發詞與部分相關實體在依存關系上的長距離相關語義缺失。Yan等人[12]為了消除單跳依存句法分析的局限性,首次提出了基于多跳的依存句法分析方法思想,利用圖注意力網絡(graph attention network,GAT)[13]將依存句法樹轉換為多階圖結構進行建模,增強了觸發詞與相關實體間的語義關聯。此外,Cui等人[14]在GCN中引入了依存關系標簽信息,提出一種邊增強的圖神經網絡模型,大大地提升了事件檢測性能。
綜上所述,依存關系標簽信息與依存句法結構信息都能有效地為事件檢測提供重要線索,且詞與詞在依存關系上的多跳關系語義分析會進一步增強事件觸發詞與相關實體間的聯系。因此,本文提出融合多跳關系標簽和依存句法結構信息的事件檢測模型以進一步提升事件檢測性能。其中,設計了多跳關系標簽搜索算法以增強詞表示的事件表征能力,并結合GAT學習多階句法結構信息以捕獲更多詞與詞在依存關系上的長距離語義信息。
本文主要做出以下貢獻:a)在事件檢測中,首次融合多跳關系標簽信息和依存句法結構信息,以體現長距離依存關系下詞與詞之間的句法特征差異和增強詞與詞之間的語義相關性;b)提出多跳關系標簽搜索算法,構建了一種新型的依存句法“多跳樹”,提高了詞向量的事件表征能力;c)通過在ACE2005語料上的多組對比實驗,結果表明本文方法取得了較好的事件檢測性能,F1值較基線模型提升近2%。
1 模型
事件檢測可視為一種多分類任務,可將事件類型定義為L種,因此事件標記的種類共有L+1種。為體現詞與詞之間的句法特征差異并增強長距離依存關系下的語義相關性,本文設計了融合多跳關系標簽和結構信息的事件檢測模型。如圖2所示,模型主要包括三個模塊:a)融合多跳關系標簽信息的詞表示層;b)基于圖注意力卷積的多階圖注意力網絡層;c)面向不同注意力權重的多階詞表示的注意力聚合層。
1.1 融合多跳關系標簽信息的詞表示層
為了得到富含句法特征的詞表示,增強詞表示之間的句法特征差異,該層利用多跳關系標簽搜索算法獲取詞與詞之間的多跳關系標簽信息,以體現詞與詞之間的句法特征差異,增強詞的表征能力。
對于一個句子序列W=w1,w2,…,wn,該模塊首先通過將句子序列中的輸入詞嵌入wordi,實體類型嵌入eti、詞性標簽嵌入posi、位置嵌入psi,以及多跳關系標簽嵌入ri進行矩陣拼接,使每個輸入詞wi轉換為混合特征向量xi,即
xi=wordi‖eti‖posi‖psi‖ri(1)
其中:多跳關系標簽信息ri是混合特征向量xi中關鍵的特征信息,它通過多跳關系標簽搜索算法搜集,并采用元素級組合相加獲得,表示為
ri=∑mt=1rt(2)
其中:rt是標簽集合Ri={r1,r2,…,rm}中的元素;m表示關系集合中元素的個數;標簽集合Ri通過多跳關系標簽搜索算法獲得。
輸入的句子序列W轉換成向量序列X=x1,x2,…,xn后,為了獲得句子的深層語義表示和上下文依賴,使用BiLSTM捕獲時序數據的前后雙向語義依賴[15,16],并結合上下文信息,將X編碼為P=p1,p2,…,pn,并將P作為多階圖注意力網絡層的輸入,且
pi=[→LSTM(xi) ‖←LSTM(xi)] i∈[1,n](3)
2 多跳關系標簽搜索算法
本文所提融合多跳關系標簽與結構信息的事件檢測模型,其所需要解決的關鍵問題在于如何獲取多跳關系標簽信息并以何種形式融入到詞向量中,因此本文設計并提出了多跳關系標簽搜索算法。
2.1 依存句法樹與多跳樹
在依存句法分析中,基本假設是:句法結構本質上包含詞和詞之間的關系。這種關系就是依存關系。依存句法分析結果的一種典型表示形式為依存句法樹。依存句法樹的形式化定義為:給定一個集合R={r1,r2,…,rm},其中每個元素表示一種依存關系,一個句子的依存句法樹是一棵有向樹G=(V,A),滿足以下條件:a)V={0,1,2,…,n},V是依存句法樹中的頂點集合,與句子W中的單詞w相對應;b)A∈V×R×V,A是依存句法樹中的依存弧集合,用三元組(wi,r,wj)表示,wi和wj是頂點,r是wi和wj間的依存關系標簽,且wi指向wj。
為使依存句法樹的根節點對應句中每個詞,體現句中每個詞與其相關詞之間在依存關系上的多跳聯系,本文提出一種名為多跳樹的樹型結構。多跳樹的節點與邊分別對應依存句法樹的節點和依存弧,其形式化定義為T=(VT,AT),其中VT和AT分別為V和A的子集。
多跳樹是由依存句法樹拆分而來,且每棵多跳樹依次對應句子中的每個單詞。例如,給定句子“Because he helped plan the attack on the World Trade Center and the Pentagon”,經過依存句法分析后的事件觸發詞“attack”(序號為5)對應的多跳樹如圖3所示。
2.2 算法描述
多跳關系標簽搜索算法(multi-hop relation labels search algorithm,MRLS)是借鑒圖的廣度優先遍歷(BFS)所設計的一種依存句法樹遍歷算法。但BFS并不考慮結果的可能位置,而是徹底搜索整張圖,直到找到所有的節點為止,這樣的遍歷方式不能滿足搜集每個詞與其相關的所有長距離上的關系標簽信息的需求。本文模型MRLS將依存句法樹拆分成多棵多跳樹后,搜集每棵多跳樹中的所有關系標簽信息并進行關系組合(元素級相加),作用于事件檢測模型中的詞表示層,形成特征豐富、語義相關性更強的混合特征向量。MRLS將句子中每個詞與其所有相關聯詞之間的多跳依存關系標簽信息作為該詞的句法特征信息,在事件檢測任務中體現出觸發詞與其他詞之間的句法特征差異,提高了識別觸發詞的準確率。
給定句子序列,對句子進行依存解析后得到依存句法樹,并作為MRLS的輸入變量。MRLS算法流程如圖4所示。MRLS包括了構建多跳樹和遍歷多跳樹兩個核心步驟。
1)構建多跳樹
將解析后的依存句法信息經過簡單的預處理后作為算法輸入,得到拆分后的n棵多跳樹。算法偽代碼如下:
算法1 構建多跳樹
輸入:依存句法樹SentenceTree。
輸出:多跳樹序列MultiHopTrees。
a)MultiHopTrees←{} //初始化空的多跳樹序列
b)for each edge i in SentenceTree //循環遍歷依存句法樹
c)CurrentIndex = i[2] 記錄當前構建的多跳樹序號
d)MultiHopTree←{} //初始化當前正在構建的多跳樹為空
e)if i[2]==CurrentIndex then appand each edge into MultiHopTree[0] //構建當前多跳樹的入邊
f)MultiHopTree[1]=CreateLevelOne(MultiHopTree[0])/*執行第一跳,構建當前多跳樹的第一層*/
g)MultiHopTree[2]= CreateLevelTwo(MultiHopTree[1])/*將當前多跳樹的第一層作為構建第二層的輸入,執行第二跳,構建第二層*/
h)MultiHopTree[3]= CreateLevelThree(MultiHopTree[2])
/*將當前多跳樹的第二層作為構建第三層的輸入,執行第三跳,構建第三層*/
i)appand MultiHopTree into MultiHopTrees/*將當前構建好的多跳樹添加到多跳樹序列集合中*/
j)執行后轉步驟b)
2)遍歷多跳樹
當依存句法樹被拆分成n棵多跳樹后,下一步是遍歷所有的多跳樹并搜集所有多跳樹中的關系標簽,且每棵多跳樹上的所有關系標簽信息與每個詞依次相對應。如圖3所示,事件觸發詞“attack”經過多跳后形成的多跳樹共有十條邊,搜集到的多跳關系標簽對應的含義解釋和數量如表1所示。
由于句中每個單詞與其他不同位置的單詞存在相同的依存關系,導致在同一棵多跳樹上的某種關系標簽種類會存在重復的情況(如det和compound)。此外,依附在依存句法樹上的同種依存關系標簽,能為觸發詞的識別提供更豐富的句法特征信息。因此,在設計遍歷多跳樹的算法時,盡可能搜集多跳樹所有邊的依存關系標簽,并將所有關系標簽信息進行組合并融入詞向量中。算法偽代碼如下所示。
算法2 遍歷多跳樹
輸入:多跳樹序列MultiHopTrees。
輸出:所有多跳關系標簽集合LableLists。
a) LableLists←{} //初始化LableLists為空
b) for MultiHopTree in MultiHopTrees /*遍歷多跳樹序列中的每一棵多跳樹*/
c) LableList←{} //初始化每一棵多跳樹的關系標簽集合為空
d) for Level in MultiHopTree /*遍歷每一棵多跳樹的每一層,執行完轉步驟b)*/
e) for each edge in Level /*遍歷每一層中的每一條邊,執行完轉步驟d)*/
f) appand each edge[0] into LableList /*添加當前該邊的關系標簽信息,執行完轉步驟e)*/
g) appand LableList into LableLists /*添加每一棵多跳樹所含有的多跳關系標簽集合于LableLists*/
3 實驗與分析
3.1 實驗數據集
數據集使用在事件檢測中通用的ACE2005數據集。該數據集共包括599篇文檔,其中涉及到的文檔內容包括新聞、廣播、對話、博客、論壇和電話錄音等。在ACE2005數據集中,事件類型共有8大類,33個小類,本文目標是識別細粒度的事件分類。隨機選取529個文檔作為訓練集,30個文檔作為驗證集,40個文檔作為測試集,并使用斯坦福大學開發的CoreNLP工具包對數據進行句子劃分、英文分詞、詞性標注和依存句法分析。數據標注方式采用聯合標注,未采用BIO標注方式,因此與部分參考文獻中的原實驗結果有些許差異。
3.2 實驗對比模型與參數設置
在對比實驗中,使用的模型是:
a)MOGANED[12]。該模型利用GAT對依存句法樹的多階結構建模,具有長距離依存結構相關信息。
b)DMCNN[5]。該模型在CNN中增加了一層動態多池化層,僅基于句子的序列結構信息,既未有依存關系標簽信息,亦未包含依存句法結構信息。
c)MRLS-MOGANED。該模型在MOGANED的基礎上增加了MRLS算法,融合了多跳關系標簽與依存句法結構信息。
d)MRLS-DMCNN。該模型在DMCNN的基礎上增加了MRLS算法和多跳關系標簽信息。
在模型訓練過程中,觸發詞的類型通過argmax函數判斷,并且所有的對比模型統一使用Adam[17]優化算法作為梯度下降算法和相同的超參數。實驗超參數的設置如表2所示。
本文采用通用的查準率P(precison)、查全率R(recall)、綜合評價指數F1(F1-measure)作為衡量事件檢測任務實驗結果評價的指標。
3.3 實驗及結果分析
為了驗證MRLS是否具備增強觸發詞的詞表示表征能力,本文采用了三種不同的詞向量嵌入方法,分別為Pennington等人[18]訓練的GloVe、谷歌訓練的word2vec[19]、Vashishth等人[20]訓練的SynGCN,并進行了兩組對比實驗。
表3展示了MOGANED和DMCNN模型在增加了MRLS后的事件檢測性能對比。
通過表3可知,無論采用何種詞向量嵌入方法,基于MRLS的事件檢測性能都有顯著提升。基于SynGCN的模型提升效果不如GloVe和word2vec,原因是SynGCN本就含有句法特征信息,使用MRLS后,詞向量中的句法特征信息趨于飽和,導致事件檢測的性能提升效果不明顯。在實驗中,本文對同一輸入句子案例“Because he helped plan the attack on the World Trade Center and the Pentagon.”(譯文:因為他幫助策劃了對世界貿易中心和五角大樓的襲擊。)進行了分析。在未使用MRLS算法前,模型多次將觸發詞“attack”錯誤地識別成“空事件”,即未觸發任何非空事件,其主要原因為訓練數據中負樣例所占比例較大。而在模型結合MRLS后,觸發詞“attack”結合了與其相關實體(如攻擊事件的參與者“he”、攻擊事件的目標“World Trade Center”和“Pentagon”)之間存在的多跳長距離的依存關系信息后,模型能多次正確地將“attack”識別成“攻擊”事件。因此,實驗結果表明多跳關系標簽蘊涵的句法特征信息可提升詞表示的表征能力,能更好地識別出觸發詞,從而進一步增強整體模型的事件檢測性能。
此外,本文模型中的混合特征向量x通過編碼器可生成具有雙向語義依賴的編碼信息p,并作為下游網絡層的輸入。為選取一種更有效的編碼器,進行第二組實驗,使用的基準模型為MOGANED,并選取兩種編碼器,即BiLSTM(雙向長短期記憶網絡)、BiGRU(雙向門控循環網絡),選取的詞向量嵌入模型為上一組實驗獲得最佳結果的word2vec。
通過表4可知,MRLS在不同的編碼器中F1值分別取得了1.2%和0.9%的提升,且BiLSTM在使用MRLS后比BiGRU結合MRLS的效果高出0.5%。因此本文所采用的BiLSTM編碼器對提升事件檢測性能更有幫助。
為了驗證基于不同維度詞向量表示的多跳關系標簽信息是否對事件檢測結果產生影響,本文采用五種不同維度的word2vec詞向量嵌入方法進行實驗,分別為100、200、300、400和500維。圖5展示了使用MRLS前后的實驗結果對比,并顯示了不同維度的詞向量在使用MRLS后的F1值增長率的變化情況。
通過分析圖5發現,不同維度的word2vec詞向量均對多跳關系標簽信息較為敏感,使用MRLS后整體模型的事件檢測性能提升效果較為明顯,且300維效果最佳。低維度的詞向量相比高維度的詞向量提升效果更大,這是因為維度代表著特征,低維度的預訓練詞向量特征信息較少,所以通過MRLS生成的多跳關系標簽信息在混合特征向量中的影響力相對較強。
前述實驗已表明,多跳關系標簽和句法結構信息可以有效地提升事件檢測的性能,為了進一步驗證跳躍次數對MRLS模型的影響,針對MRLS模型進行了不同跳躍次數的性能實驗。表5展示了在整體模型中采用不同的跳躍次數得到的實驗結果,其中單跳的結果最差,三跳取得了最好的實驗效果,說明多跳依存關系信息在事件檢測中具有重要意義。四跳和五跳相比三跳的提升效果下降,這是因為跳躍次數的增加將導致注意力聚合層中每階詞表示的注意力權重系數的訓練難度加大。例如,句子序列“Because he helped plan the attack on the World Trade Center and the Pentagon.”經過依存句法分析后,觸發詞“attack”與其相關實體“he”存在三跳的關聯,而與“World Trade Center”和“Pentagon”僅需要一至二跳。因此,跳躍次數較低時不足以關注到與觸發詞存在語義關聯的所有相關實體,而跳躍次數較高時將考慮到較多與觸發詞無語義相關的詞,如“and”“the”等詞。
4 結束語
基于依存句法分析的事件檢測方法中,觸發詞與相關實體在依存關系上不僅存在單跳上的聯系,還廣泛存在多跳的聯系,僅考慮單跳聯系將缺失觸發詞與部分相關實體的語義關聯信息,導致事件檢測任務中觸發詞的識別效率降低。本文提出了融合多跳關系標簽和依存句法結構信息的事件檢測模型。在詞表示層中融入多跳關系標簽信息,提升了核心詞匯的表示能力,并結合圖注意力神經網絡,創新性地融合詞表示層的多跳關系標簽信息與網絡層的多階結構信息,添加了更豐富的核心詞匯的語義特征,提升了觸發詞識別效率。實驗結果表明,同時融合多跳關系標簽和結構信息的事件檢測方法能更有效地區分觸發詞與干擾項,增強模型的事件檢測性能。不過目前多跳關系標簽搜索算法僅運用于靜態的詞表示層中,還未應用于動態變化的下游網絡層中。未來將會嘗試改進算法,實現多跳關系標簽和結構信息的動態聯合感知,并運用于事件元素抽取、角色分類、觸發詞與實體的聯合抽取等多項自然語言處理任務中。
參考文獻:
[1]Ahn D.The stages of event extraction[C]//Proc of the Workshop on Annotating and Reasoning about Time and Events.2006:1-8.
[2]Grishman R.The impact of task and corpus on event extraction systems[C]//Proc of the 7th International Conference on Language Resources and Evaluation.2010:17-23.
[3]Heng Ji,Grishman R.Refining event extraction through cross-document inference[C]//Proc of the 46th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies.2008:254-262.
[4]Wei Lu,Roth D.Automatic event extraction with structured preference modeling[C]//Proc of the 50th Annual Meeting of the Association for Computational Linguistics.2012:835-844.
[5]Chen Yubo,Xu Liheng,Liu Kang,et al.Event extraction via dynamic multi-pooling convolutional neural networks[C]//Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Proces-sing.2015:167-176.
[6]Nguyen T H,Cho K,Grishman R.Joint event extraction via recurrent neural networks[C]//Proc of Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies.2016:300-309.
[7]Sha Lei,Qian Feng,Chang Baobao,et al.Jointly extracting event triggers and arguments by dependency-bridge RNN and tensor-based argument interaction[C]//Proc of the 32nd AAAI Conference on Artificial Intelligence.2018:5916-5923.
[8]Orr J W,Tadepalli P,Fern X.Event detection with neural networks:a rigorous empirical evaluation[C]//Proc of Conference on Empirical Methods in Natural Language Processing.2018:999-1004.
[9]Nguyen T H,Grishman R.Graph convolutional networks with argument-aware pooling for event detection[C]//Proc of the 32nd AAAI Conference on Artificial Intelligence.2018:5900-5907.
[10]Liu Xiao,Luo Zhunchen,Huang Heyan.Jointly multiple events extraction via attention-based graph information aggregation[C]//Proc of Conference on Empirical Methods in Natural Language Processing.2018:1247-1256.
[11]Kipf T N,Welling M.Semi-supervised classification with graph convolutional networks[EB/OL].(2017-02-22).https://arxiv.org/abs/ 1609.02907.
[12]Yan Haoran,Jin Xiaolong,Meng Xiangbin,et al.Event detection with multi-order graph convolution and aggregated attention[C]//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Proces-sing.2019:5770-5774.
[13]Velicˇkovic′ P,Cucurull G,Casanova A,et al.Graph attention networks[EB/OL].(2017-10-30).https://arxiv.org/abs/1710.10903.
[14]Cui Shiyao,Yu Bowen,Liu Tingwen,et al.Edge-enhanced graph convolution networks for event detection with syntactic relation[EB/OL]. (2020-09-29).https://arxiv.org/abs/2002.10757.
[15]沈蘭奔,武志昊,紀宇澤,等.結合注意力機制與雙向LSTM的中文事件檢測方法[J].中文信息學報,2019,33(9):79-87. (Shen Lanben,Wu Zhihao,Ji Yuze,et al.Chinese event detection method combining attention mechanism and BiLSTM[J].Journal of Chinese Information Processing,2019,33(9):79-87.)
[16]陳佳麗,洪宇,王捷,等.利用門控機制融合依存與語義信息的事件檢測方法[J].中文信息學報,2020(8):51-60. (Chen Jiali,Hong Yu,Wang Jie,et al.Combination of dependency and semantic information via gated mechanism for event detection[J].Journal of Chinese Information Processing,2020(8):51-60.)
[17]Kingma D P,Ba J.Adam:a method for stochastic optimization[EB/OL].(2017-01-30).https://arxiv.org/abs/1412.6980.
[18]Pennington J,Socher R,Manning C D.GloVe:global vectors for word representation[C]//Proc of Conference on Empirical Methods in Natural Language Processing.2014:1532-1543.
[19]Mikolov T,Chen Kai,Corrado G,et al.Efficient estimation of word representations in vector space[EB/OL].(2013-09-07).https://arxiv.org/abs/1301.3781.
[20]Vashishth S,Bhandari M,Yadav P,et al.Incorporating syntactic and semantic information in word embeddings using graph convolutional networks[EB/OL].(2019-07-20).https://arxiv.org/abs/1809.04283.