融合混合提示與位置感知的突發事件抽取模型

Contextual enhancement template for emergency event extraction via position-aware attention mechanism

Guo Jialiangla，1b，Wang Weila，1b，2?，JuJingla，1b，WangYafeila，b （1.a.Scholfftioamp;lecclEinebebotouritrotectofasamp;s beiUniverstydnbeOoiclooU ty ，Chengdu 610500，China）

Abstract：Thetask ofemergency event extraction aims todetectand extracttheeventtypes andelementscontained within newsreportsof emergency events，providingdetailedand structured information forpublicsafetyand emergencyresponse.To addresstheissueofnglectingcontextualinformationcausedbysparsetextualdatainthedomainofemergencyeventextraction，this paper proposedanemergency event extraction model basedonacontext-enhanced hybridprompttemplateand a position-awareatentionmechanism.Firstly，itdesignedacontext-ancedhybridprompttemplate，hichincorporatedtaskrelatedpromptsintotheinputtexttoimprovethemodel’sunderstandingandreasoningabilityforthetask.Additionaly，itintroducedaposition-aware atention mechanism，capturingkeysemanticinformationfromboth forwardand backwarddirections toovercomethesymmetrylimitationsof traditionalattentionmechanisms.ExperimentalresultsonaChineseemergencyevent corpus show that the proposed method achieves F₁ scores of 91. 8% for event type detection and 82.0% for event element extraction.

Keywords：emergency events；event extraction；event element identification；prompt learning；atention mechanism

0引言

隨著互聯網和移動通信技術的迅速發展，社交媒體平臺、新聞網站和公眾信息發布系統成為突發事件信息傳播的重要渠道。這些平臺上充斥著大量關于自然災害、公共衛生事件、社會安全事故等突發事件的信息。這些信息的迅速傳播對社會產生了深遠影響，及時收集和分析這些信息，對于公共安全管理和應急響應至關重要。例如，在地震、火災、暴風雨等災害發生時，第一時間獲取有效的事件信息，能幫助決策者迅速作出反應，組織救援并確保社會秩序。然而，互聯網信息的龐雜和無序使得突發事件信息與其他類型內容交織，給信息篩選、分類、存儲和分析帶來了巨大的挑戰，尤其是在數據稀疏且文本內容復雜的情況下。在實際應用中，突發事件信息往往呈現高度異質化，涉及不同來源、不同格式的文本（如新聞報道、社交媒體、政府公告等），這些文本在語言風格、術語使用和結構上差異巨大，造成了信息的高度噪聲和低效性。此外，突發事件具有時效性，信息流動速度極快，要求系統能夠實時地識別并提取關鍵信息，以支持應急響應和決策。面對這些挑戰，突發事件抽取技術（emergencyeventextraction）[應運而生，旨在自動從大量的非結構化文本中識別和提取出突發事件類型及其要素，從而為公共安全和應急管理提供結構化的數據支持。

然而，現有的事件抽取方法在應對中文突發事件信息時存在諸多局限。一方面，盡管在醫學[2]、法律[3]等特定領域已有成熟的事件抽取模型，但這些模型通常依賴于特定領域的語言和知識庫，泛化能力差，難以適應突發事件領域的多樣性和復雜性。另一方面，傳統深度學習方法通常需要大量標注數據來訓練復雜的網絡結構，但突發事件數據的稀缺性使得現有方法在中文突發事件抽取中面臨數據不足和上下文信息忽視的問題，導致抽取效果不理想。

鑒于上述觀察，本文提出了一種基于上下文增強提示模板和位置感知注意力機制的突發事件抽取模型（contextualenhancement template for emergency event extraction via position-awareattentionmechanism，CoTe）。主要貢獻可總結如下：a）設計了一種上下文增強提示模板，結合硬提示和軟提示，提升了模型對文本的理解和分類能力，有助于準確分類和識別突發事件信息；b）提出了位置感知注意力機制，包含前向和后向模塊，克服了傳統注意力機制的對稱性限制，增強了復雜語義關系的建模能力；c）在中文突發事件語料庫（CEC）上實驗，驗證了CoTe模型的優越性能，少樣本實驗和超參數實驗驗證了模型的泛化性和魯棒性。

1相關工作

1.1 突發事件抽取

事件抽取經歷了從基于模板匹配、統計機器學習到深度學習的發展過程。當前，深度學習方法已成為主流研究方向，例如經典模型DMCNN[4]和PLMEE[5]等。然而，關于突發事件抽取的研究相對較少，且大多數為針對處理英文新聞文章而設計，只有少數現有研究關注中文文本。文獻[6]使用ALBERT預訓練模型作為文本編碼器，然后利用Bi-LSTM-CRF提取事件觸發器文本特征和每個標簽的依賴特征。文獻[7]為了解決現有事件提取方法在突發事件領域泛化能力差的問題，提出了一種基于深度對抗網絡的端到端中文突發事件提取模型，通過兩階段任務和輕量級異構聯合，在小規模標注語料庫上實現了高效的中文突發事件提取，并顯著優于其他現有模型。文獻[8]對注意力機制進行了改進，將事件抽取視為關系分類任務，利用分層注意力機制來識別觸發器和參數之間的關系。文獻[9]提出CNEmergEE模型，是一種基于事件語義特征對比學習的中文突發事件提取方法，融合了自動擴展預訓練模型詞匯表、繼續領域適應學習以及對比學習，在其對比實驗中有明顯優勢。

1.2基于注意力機制的事件抽取方法

注意力機制在處理長距離依賴和上下文信息時展現出顯著優勢，許多研究者致力于進一步改進注意力機制以提升模型性能。例如，Liu等人[提出了一種新的聯合事件提取框架，通過引入句法捷徑弧增強上下文理解能力，并結合注意力機制與圖卷積網絡進行建模，從而聯合提取多個事件觸發器和參數。文獻[11]將依存句法樹轉換為圖，并利用基于多頭注意力機制的圖神經網絡進行信息建模，從而提升事件抽取效果。在突發事件領域，聞暢等人[結合雙向LSTM網絡模型并引入注意力機制，以突出關鍵詞的重要性，成功用于突發事件演化關系的抽取。文獻[13]將事件抽取任務視為關系分類問題，提出了一種層次注意力機制來處理多種事件文本，并在中文突發事件數據集上取得了良好的效果。

1.3基于提示學習的事件抽取方法

提示學習（promptlearning）作為一種新興方法[14]，憑借其在小樣本學習場景中的優異表現，近年來引起了廣泛關注。提示學習通過將任務轉換為類似語言模型預訓練任務的形式，顯著提高了模型對文本的上下文理解能力，于是在需要大量提取上下文特征的事件抽取領域成為新的研究熱點。Du等人[15]提出的EEQA模型是最早將事件抽取引入新范式的研究之一，該模型將事件抽取任務轉換為問答形式，針對不同的事件類型分別設計問題，利用BERT模型分別提取英文文本中的觸發詞和論元。隨后，劉澤旖等人[1基于EEQA模型設計了一套專門針對中文的模板生成規則。Lin等人[1]進一步提出了聯合觸發詞提示和聯合論元參數提示方法，通過交互建模方式，從語言模型中引出更多的知識，以提升事件抽取任務的表現。在中文突發事件領域，Gao 等人[18]提出了一種基于提示學習的檢索增強中國事件因果關系識別框架，能夠在小樣本的中文突發事件數據上取得不錯的效果。

綜上，基于現有研究，突發事件的事件抽取任務主要有如下問題：a）現有的大多數中文事件抽取研究主要基于ACE2005數據集進行實驗，無法適應突發事件領域的抽取任務；b）面對小樣本數據發揮欠佳，存在一定的上下文忽視問題。

2模型設計

2.1 問題定義

給定包含描述性文本和上下文信息的事件描述，事件抽取任務旨在要求模型實現兩個主要目標：事件類型分類和事件要素抽取。具體而言，對于給定的事件，其形式上為一條包含多個詞語的句子 S={w_i}_i=1^|S| ，其中 W_i 表示句子中的第 i 個詞。句子級事件抽取著重于處理事件類型檢測和事件要素抽取兩個子任務。事件類型檢測旨在識別句子所蘊涵的事件類型 ε_t ，其中 t=[1，2，…，T]，T 為事件類型的總數。本文預定義了5種災害相關的事件類型，分別為地震、火災、交通事故、恐怖襲擊和食物中毒；事件要素抽取旨在根據預定義的事件要素類型所對應的事件要素集合 {A_εtⁱ} ，從句子中抽取對應的事件要素進行填充。此過程可形式化表示如下：

對于句子序列 s ，句子級事件抽取任務的最終目標是從中檢測出 ε_t 和 {A_εtⁱ} 。首先，將句子 s 映射到一個事件類型的分布中：

其中： P（ε_t=e_t|S） 表示給定句子 s 條件下，事件類型 e_t 的條件概率分布，從而為句子 s 分配事件類型標簽。進一步，事件要素抽取問題可定義為，給定句子 s 所屬的事件類型條件下事件要素集合 {E_eⁱ} 的聯合概率分布，即

其中： {E_e}={E_et¹，E_et²，…，E_et^N}， N 為事件類型 e_t 所預定義的事件要素數量。

2.2 模型框架

本研究提出了一種用于突發事件抽取任務的模型，該模型旨在完成事件類型檢測和事件要素抽取兩個主要目標。圖1為本文方法的模型結構，模型簡稱為CoTe（contextualenhance-ment template for emergency event extraction via position-awareattentionmechanism）。首先，設計了一種上下文增強提示模板，該模板通過添加與任務相關的提示信息，增強了模型對輸入文本的理解和推斷能力。接著，通過預訓練語言模型捕獲上下文增強模板的語義表示，并以此進行事件類型檢測。進而，為了更準確地捕捉句子中的位置感知語義信息，設計了一種雙向位置感知Attention機制，包括后向和前向Attention模塊，以增強模型對不同方向語義信息的捕捉能力。最后，在事件要素提取階段中，利用位置感知注意力機制得到的特征表示，通過兩層全連接網絡進行事件要素抽取。

2.3基于增強上下文與位置信息的事件抽取模型

2.3.1上下文增強提示模板

在句子級事件抽取任務中，為了增強CoTe模型的語境理解能力并激發預訓練語言模型的所蘊涵的語義信息表達能力，本文設計了一種上下文增強提示模板。該模板通過向原始的輸入句子中添加與任務相關的提示信息（自然語言及非自然語言），期望幫助語言模型更準確地理解和推斷句子中的事件類型和事件要素。

首先，針對給定文本內容S，構造了一個特殊的輸人模板，從而為后續的文本特征提取模塊提供上下文增強的新輸入。該模板包括提示語、句子輸入和可學習的Embedding三個部分。其中，提示詞形式上為自然語言，該自然語言提供與任務目標明確相關的上下文語境，以指導模型學習特定于災害事件的上下文信息。該提示語被設計為一個固定的短語，即“請根據以下內容判斷這是哪種突發事件，事件的類型可能涉及到地震、火災、交通事故、恐怖襲擊和食物中毒”。本文為突發事件抽取任務設計的提示語（HardPrompt）可形式化地表示為HardPrompt σ：=σ “請根據以下內容判斷這是哪種突發事件，事件的類型可能涉及到地震、火災、交通事故、恐怖襲擊和食物中毒”接著，引人一個可學習的Embedding ?E? ，用于引導模型學習HardPrompt與輸入文本之間的聯系。 ?E? 是一個特殊的符號，其初始表示通過隨機初始化方式得到，并在模型訓練過程中進行更新。作為一個可學習的特殊標記，其允許模型在訓練過程中動態地調整和學習與句子關系相關的表示。最終，構造得出結合軟硬提示語上下文增強提示模板，即Temp=?E?HardPrompt：S?E?

對于最終構造的上下文增強提示模板，模板中的HardPrompt明確指示了模型應該關注輸人句子在災害事件類型視角下的特點。這有助于模型更好地理解句子的上下文，從而提高其判斷輸入事件文本所屬類型的抽象能力和推理能力。進而，通過上下文增強提示模板，得到最終增強后的輸入語句Temp，其形式上仍為自然語言，且結合了模型可讀和可學習的符號。

2.3.2 事件類型檢測

對于輸入句子 s ，經過上下文增強提示模板處理后得到輸人 Temp 。為進行事件類型分類，首先利用預訓練語言模型，從增強后的輸人Temp中捕獲語義表示，此過程可形式化描述為

其中： Encoder（Ψ*） 表示預訓練語言模型，如RoBERTa。在此，將預訓練語言模型輸出的[CLS]符號對應的特征表示 Temp_cLS∈ R^d 用于事件類型檢測， d 表示詞向量的維度；Linear（*）表示全連接層 表示預測出的所屬事件類型。由于本研究著重于處理單句子和單事件任務，即每個輸入句子僅可能被映射至一種預定義的事件類型中，所以，文本模型通過soft-max激活函數完成該多分類任務的概率映射。

2.3.3位置感知注意力機制

為完成序列標注任務，對于輸入模板Temp，將其再次通過預訓練語言模型獲取序列中每個Token對應的特征表示，即

H=Encoder（Temp）

其中： H={H_i}_i=1^|Temp| 表示上下文增強模板 Temp 中每個 Token

所對應的特征表示的集合。

為了更好地捕捉句子中不同方向的語義信息，尤其是在處理包含多個事件要素的事件抽取任務時，本文提出了一種位置感知注意力機制。該機制通過區分前后位置的語義關系，更加有效地利用了非對稱性信息進行建模。具體來說，該結構包含兩個關鍵模塊：后向Attention和前向Attention。后向Attention允許每個位置只關注其之后的所有位置，而不允許關注之前的位置，從而能夠更精準地捕捉句子中的方向性語義信息，進而提升模型在事件抽取中的表現。相比之下，傳統方法通常使用的是標準的或改進的自注意力機制來進行序列建模。這樣的特征提取方法具有對稱性，即每個位置可以同時關注句子中的所有其他位置，這會導致模型在處理復雜句子結構時，難以區分不同方向的語義信息，在多事件要素之間的非對稱語義關系無法得到充分建模的情況下，很有可能會限制模型的抽取效果。

后向Attention機制可形式化表示為

其中： Q∈R^（n+4）×d K∈R^（n+4）×d V∈R^（n+4）×d 分別表示查詢、鍵和值的矩陣； d_k 是縮放因子; ? 表示逐元素相乘； Mask_b∈R^{（n+4）×（n+4）} 是用于限制只關注當前位置后續范圍的上三角掩碼矩陣。

相較而言，前向Attention充許每個位置都關注當前位置之前的所有位置，但不允許關注當前位置之后的任何位置。在位置感知性增強操作中，本文將兩種Attention機制的輸出 和 進行拼接，以增強句子表征的位置感知性。

2.3.4事件要素提取

對于事件檢測部分預測得出的事件類型 ，為提取其對應的事件要素，由位置感知注意力機制得到的特征表示矩陣M 作為輸入，使用兩層全連接網絡完成此抽取任務。此過程可形式化表示為

其中： W₁∈R^{1Temp|×2|Temp|} 和 W₂∈R^N×1T| 表示可學習的權重矩陣；

b₁∈R^d 和 b₂∈R^d 為偏置矩陣。

2.3.5 目標函數

至此完成了突發事件抽取的預測過程，其對應的偽代碼算法1所示。為了優化本文所提出的事件抽取模型，采用分類問題常用的交叉熵損失函數，定義了事件檢測損失 L₁ 和事件要素抽取損失 L₂ 。以事件檢測損失 L₁ 為例，其形式化定義為

最終，通過聯合訓練 L₁ 和 L₂ ，得到優化后的事件抽取模型。

算法1CoTe模型的偽代碼

輸入：句子 s ，混合提示模板 P

輸出：事件類型 E_t ，事件要素 {E_e} 。

a）實例化混合提示模板

S^'=POS// 拼接句子與提示模板

b）提示模板向量化

）/／獲取預訓練語言模型隱藏層的特征向量c）位置感知注意力機制

計算后向注意力權重 1 j?i_Γ/Γ

計算前向注意力權重if jgt;i

A_bi=[A^upper;A^lower] /／特征拼接

O=Concat（A_biV） //計算位置感知注意力機制的輸出d）事件類型分類與事件要素抽取

E_t= softmax（ W_EH_CLS ）//計算事件表示對應的事件類型概率E_e=softmax（W_TO） ）/／計算實體表示對應的事件要素概率Event type E_t// 返回句子對應的事件類型

Event elements {E_e} #返回句子包含的事件要素集合

3 實驗與分析

3.1數據集

本模型旨在解決突發事件的事件抽取問題，為了更好地評估模型效果，本文選用了公開的中文突發事件語料庫（Chineseemergenciescorpus，CEC）作為本文的數據集。該數據遵守《國家突發公共事件總體預案》的分類規則進行編制，包含多種突發事件類型，包括火災、地震、食物中毒、車禍、恐怖襲擊五個突發事件類別[19.20]。對數據集中所包含的觸發詞和事件要素進行統計，得到表1。

3.2 實驗評價指標

本實驗中采用精確率（precision，P）、召回率（recall，R）和F₁ 值作為主要的評價指標來衡量中文突發事件抽取模型的性能。精確率是指在所有模型識別為正類的樣本中，實際為正類的樣本所占的比例，公式如下：

其中： TP （truepositives）是正確預測為正類的數量; FP （ 1positives）為錯誤預測為正類的數量（實際為負類）。

召回率是指在所有實際為正類的樣本中，被模型正確識別為正類的樣本所占的比例，公式為

其中： FN （1negatives）是錯誤預測為負類的數量（實際為正類）。 F₁ 值是精確率和召回率的調和平均數，可以被理解為精確率和召回率之間的平衡，它同時考慮了模型的精確性和完整性。隨著精確率和召回率的提高， F₁ 值也會相應提高，其適用于那些不平衡類別的數據集，公式為

3.3對比模型和實驗設置

3.3.1 對比模型介紹

為了橫向比較CoTe模型的性能，本文引入了6種對比模型，分別為：

a）DMCNN[4]：是一種基于動態池化的卷積神經網絡模型的事件抽取方法，使用了管道模型方法，通過加入位置特征向量、事件類型特征向量來加強句子整體感知。

b）JRNN[21]：一種基于雙向遞歸神經網絡的聯合框架事件抽取模型，一定程度上避免了管道模型中的誤差傳播問題，同時也考慮到了事件觸發詞和事件元素之間的關系。

c）dbRNN[22]：將動態貝葉斯網絡與循環神經網絡結合起來，用于處理具有時間序列依賴和不確定性的復雜問題。

d）PLMEE[5]：提出了一種用預訓練語言模型編輯原型自動生成標記數據的方法，有效提高了事件抽取的準確性和效率。

e）GPLinker[23]：是一個基于GlobalPointer模型發展來的聯合抽取模型。通過一個全局的圖結構來維護實體間的關系，并利用圖指針網絡在圖上進行操作，實現結構化的信息抽取。

f）CNEmergEE[9]：一種基于對比學習和事件語義特征的中文突發事件抽取方法，旨在提升從非結構化文本中自動提取突發事件信息的能力。

g）MGR-GATPCG[24]：采用多粒度閱讀器實現多層次語義編碼，并通過圖注意力機制學習實體對之間的關系。為全面捕獲事件和論元，構造了剪枝完全圖作為偽觸發器。

3.3.2實驗設置

文本在Python3.8、PyTorch1.7.1、CUDA11.1.74及RTX2080Ti的環境下完成了主體及消融實驗。本文將CEC數據集按 8：1：1 的比例劃分為訓練集、驗證集和測試集。對于本文提出的CoTe模型，采用在中文數據集上預訓練的BERT模型作為文本編碼器，模型中位置感知注意力機制的層數設置為3層，線性層的維度設置為768維。在實驗過程中，批處理大小為16，訓練輪數epoch設置為100輪。實驗設置了早停策略，具體而言，當驗證集上的損失值在20輪內未變化時，則提前結束訓練，并保留在驗證集上表現最好的模型進行后續的預測。學習率為1E-5，使用了Adam作為優化器進行參數調優。

3.4對比實驗

為了驗證本文模型的有效性，本文復現了對應方法公開的源代碼，在默認的參數設置上針對事件類型檢測和事件要素抽取兩個子任務分別做了對比實驗。實驗的結果如表2和3所示，本文將各個指標下的最高值加粗，將第二好的結果添加下畫線以進行突出顯示。由表3可知，在事件要素檢測任務中，相比于之前表現較好的CNEmergEE模型，CoTe的召回率為84.3% ，提升0.8百分點，CNEmergEE遺漏了較多的真實正樣本，導致其綜合表現不佳。本文提出的CoTe模型在事件類型檢測和事件要素抽取兩個任務上的綜合表現均優于對比模型。

首先，在眾多對比方法中，DMCNN的表現較差，表明這種單一的pipeline式模型不適用于突發事件抽取任務。這種表現歸因于pipeline式模型在處理突發事件這種復雜場景時會產生誤差累計。與DMCNN相比，JRNN和dbRNN的性能提升非常有限。這證實了針對具有簡單和明確句法結構的中文突發事件信息，設計的特定領域內的句法依賴信息無法有效提升事件抽取模型的性能。PLMEE利用預訓練語言模型，可以捕捉一定的上下文信息，但預訓練模型存在任務適用性的問題，這導致了PLMEE模型不能很好地發揮預訓練模型的優勢。而在本文提出的CoTe模型中，通過設計混合提示模板來激發預訓練語言模型所蘊涵的潛在信息表達能力，從而在事件分類任務中取得了更好的性能。CNEmergEE引入了提示學習來挖掘更多的事件要素信息，在事件要素抽取任務中的表現超過了以上的對比模型，但對比學習需要大量的樣本，CEC這一小型數據集很難滿足其訓練要求。由于近期的研究愈發集中于文檔級事件抽取（DEE）任務，所以為了更加全面地比較所提出的方法，引入了DEE領域中的方法作為對比模型。在此，本文引入了MGR-GATPCG模型，通過多層次語義編碼和圖注意力機制捕捉實體對之間的局部與全局關系，構建剪枝完全圖以全面識別文檔中的事件和論元。因為CEC語料形式上為句子級的事件抽取任務，于是將MGR-GATPCG模型進行了修改。具體而言，去除了文檔級編碼模塊，由于不存在跨句交互，所以在事件圖中，候選事件論元和偽觸發器之間都是全連接結構。

對于中文突發事件抽取任務，本文提出的CoTe模型在CEC語料上的綜合性能最出色。在事件類型檢測任務中，其precision、recall和 F₁ 分別達到 91.7%.92.0% 和91. 8% ，相較于之前最好的方法MGR-GATPCG， F₁ 提升了4.5百分點；在事件要素抽取任務中，CoTe模型的 F₁ 達到 83.0% 。這證明了上下文增強提示模板和位置感知Attention機制在此任務中的優越性。上下文增強提示模板通過集成具體的上下文提示信息，顯著提高了模型對事件類型和要素的判斷和抽取能力。這種模板設計使得預訓練模型能夠更好地理解任務需求，從而更精確地處理輸入數據。位置感知注意力機制允許模型分別從前向和后向捕捉關鍵信息，有效解決了傳統注意力或自注意力機制中的對稱性局限，提高了對事件文本中復雜語義關系的建模能力。值得注意的是，本文并沒有把事件類型檢測和事件元素抽取當成兩個互不關聯的子任務，而是采用端到端的模型設計，將上下文提示和雙向注意力機制整合到一個統一的框架中，減少了多階段處理可能引入的信息損失和誤差傳播。

3.5 少樣本實驗

為了探索本文所提出的CoTe模型在數據稀疏問題中的性能表現，本文在少樣本的場景下進行實驗。具體而言，在主體實驗中所選取的訓練集上，分別選取了其中的 20% ） 40% ） 60% 和 80% 的數據進行訓練，而保持測試數據不變。表4和圖2展示了各個模型在事件要素抽取任務上的 F₁ -score。

首先，在整體趨勢上，PLMEE和GPLinker模型在較低的訓練數據比例（ 20%～40% ）下表現出較大的提升幅度，尤其是PLMEE模型，在 20% 訓練數據時 F₁ 值僅為 52.6% ，但在 60% 訓練數據時顯著提高至 71.9% ，表明該模型對數據量較為敏感，且其早期學習能力相對較弱。相對而言，DMCNN和CoTe模型從一開始就展現出較強的性能，即使在 20% 訓練數據下也分別達到了 68.0% 和 66.9% 的 F₁ 值，且隨著訓練數據比例的增加，這兩個模型的 F₁ 值穩步提升。CoTe模型的性能增長尤為顯著，在 60% 訓練數據時已超過 78% ，并在 80% 數據時達到 82.7% 。其次，對比各個模型，本文所提出的CoTe模型在所有訓練數據比例下均表現出色，尤其在高比例數據集（ 80% ＼～100% 下，其 F₁ 值達到了 82.7% 和 83.0% ，遠高于其他模型。這表明CoTe模型在少樣本學習場景下仍然具有很強的泛化能力和穩定性。

3.6超參數實驗

為了探究模型的最佳參數組合以提升模型泛化能力，本文對模型中的位置感知注意力機制進行了深人的超參數實驗和分析。這一過程旨在優化模型性能，確保模型在各種數據條件下都能表現出色。

3.6.1位置感知注意力層數分析

為了評估不同層數的位置感知注意力機制的影響，將層數作為超參數，觀察其對事件類型檢測和事件要素抽取任務性能的影響。具體而言，文本將層數分別設置為1、2、3、4和5。圖3（a）對比了不同設置在事件類型檢測任務上的表現，隨著層數從1層增加到3層，precision、recall及 F₁ 逐漸提升， F₁ 分數在3層時達到 91.9% 。然而，當層數進一步增加到4層和5層時，模型性能明顯下降，recall存在較大幅度的降低，導致5層時的 F₁ 降至 91.1% 。對此，由于位置感知注意力機制本身具有一定的計算量，過多的層數會增加整體模型的復雜度，導致性能下降。對于事件要素抽取任務結果，如圖3（b）所示，其趨勢與事件類型檢測相似。在1層到3層之間，模型性能相對穩定， F₁ 分數約為 82.9% 。然而，當層數增加到4層和5層時，模型性能略有下降。

進一步，為了評估位置感知注意力機制中注意力頭數的影響，將注意力頭數作為超參數，觀察其對兩個子任務的影響。首先將位置感知注意力機制的層數設置為3，進而比較了不同head數（分別為1、4、8和16）。首先，由圖4（a）可知，在事件類型檢測任務中，各種head數配置所對應的 F₁ 僅存在極小范圍的波動，均維持在 91.7%～91.8% ，表明在該子任務中，head數的變化對模型性能影響較小。圖4（b）展示了事件要素抽取任務的結果，隨著head數從1增加到 8，F₁ 分數略有提升，最高達到 83% 。然而，當head數增加到16時，性能并未進一步提升， F₁ 為 82.8% 。結果表明，位置感知注意力機制中不同的head數盡管能夠幫助捕捉多樣化的災害事件文本特征表示，但head數的增加在達到一定閾值后，性能提升有限。

3.7復雜度和收斂性分析

本節對提出的CoTe模型的算法復雜度和收斂性進行分析，以評估其在訓練及推理階段的效率。

CoTe模型主要由預訓練語言模型、位置感知注意力機制和多個用于降維的全連接網絡所組成。具體而言，預訓練語言模型的復雜度主要由自注意力機制決定，其復雜度為 O（L²x ，其中， ?_L 為文本序列的長度， d 為模型詞向量的維度。在每個自注意力層中，輸入序列的所有位置之間都會進行注意力計算，而在應急災害事件抽取任務中，文本的序列長度 L 通常較短（ L2xd） 。此外，經典線性層的復雜度為 O（dC） ，其中 c 為類別標簽的數目，此部分的復雜度相對較小，可忽略。

最終，CoTe模型的總復雜度可表示為 O（L²×d+2L²×d+ dC）=O（L²×d） 。可知，輸人序列長度 L 的二次方關系以及特征維度 d 是模型計算復雜度的主要來源。在應急災害事件抽取場景下，短文本序列的特點以及CoTe模型結構的設計合理，使得所提出的方法具備較高的計算效率。此外，文本在實驗部分補充了模型的收斂性分析，相關內容如下：在圖5中，比較了對比模型圖（a）和CoTe圖（b）在訓練過程中損失值的變化情況。本文運行了GPLinker模型的源代碼，保存并繪制了其在不同訓練周期（epoch）階段的損失（loss）值。

由圖5（a）可知，隨著訓練周期的增加，GPLinker的損失值逐漸下降，然而其需要較長的訓練周期（約19個epoch）才能達到初步穩定的狀態，且此時的損失值仍較大（最后一個epoch時，損失值約為8）。此現象表明，GPLinker在訓練階段的學習能力有限，不適應小樣本的應急災害數據。相對而言，由圖（b）可知，CoTe模型的loss值在初始階段存在合理的振蕩現象，進而逐漸減小并能夠較快地達到收斂狀態，表明CoTe模型正在學習并逐漸適應訓練數據。

3.8 消融實驗

如表5所示，為了探究CoTe模型中各個子模塊的作用，文本執行了4個不同的消融實驗，分別為：a）去除上下文增強提示模板中的硬提示，表示為“-hardprompt\";b）去除上下文增強提示模板中的軟提示，表示為“-soft prompt”;c）去除完整的上下文增強提示模板，表示為“-wholeprompt”;d）去除位置感知Attention機制，表示為“-BiAttention”；

前兩個消融實驗中，文本分析了提示學習模板對模型性能的影響，由表所示，去除模板中的硬提示和軟提示后，模型的性能均有所下降。對于硬模板而言，明確的提示方式可以向模型提供結構化的信息，可以幫助模型更好地理解任務上下文。當去除該模塊后，模型失去了這些結構化提示，導致在任務理解上出現了一定的偏差，模型在事件類型檢測上的P、R和 F₁ 分別降低0.3、0.9和0.6百分點，在事件要素抽取任務上的三個指標分別降低0.5、0.8和0.7百分點。而對于軟模板而言，柔性的提示信息會進一步增強模型對細節和上下文的捕捉能力。去除軟模塊后，模型失去了一定的上下文理解能力，因此性能略微下降。具體而言，模型在事件類型檢測和事件要素抽取任務上的 F₁ 分別降低0.1和1.4百分點，然而，在去除軟提示語后，模型在事件要素抽取任務上的precision有小幅波動（提升約0.2百分點）。在第三個消融實驗中，當完全放棄使用提示模板后，模型失去了對任務的全面提示，上下文理解能力也大打折扣，導致模型在事件類型檢測和事件要素抽取任務上的F₁ 分別降低0.7和1.5百分點。

在最后一個消融實驗中，在拋棄位置感知注意力機制后，模型的性能會受到較大影響，模型在事件類型檢測上的P、R和 F₁ 分別降低 1.9，1.6 和1.2百分點，在事件要素抽取任務上的三個指標分別降低1.4、4.1和2.8百分點。這是因為位置感知注意力機制提高了模型對事件文本中復雜語義關系的理解能力，在不使用此方法后，模型的注意力將專注于單方向的信息，從而會存在一定的上下文信息忽視問題。

綜上，基于上下文增強提示模板和位置感知注意力機制的方法，均有助于提高中文突發事件抽取任務的整體性能。

3.9 案例分析

為了探究所提出的模型在真實場景下的表現，如圖6所示。本文選取了武漢市的一次大火事件進行突發事件抽取的案例分析[25]。此次案例包括事件的時間、地點、參與者、事件類型、事件細節及結果等多種信息，涵蓋了突發事件抽取中的各個關鍵要素。圖7展示了模型抽取出的具體內容。

實體分析TimeLocPartDenotOb武漢2月5日電，湖北武漢漢正街一塑料玩具和工藝品市場5日發生大火，目前至少造成10人受傷其中一人傷勢嚴重。記者從醫院方面了解到，傷者多是吸入性損傷。火災發生在上午9時50分左右，當地消防部門介紹說，消防部門組織了79輛消防車公安、消防官兵800多名迅速趕赴現場施救，到12時左右明火被撲滅。記者在現場看到，起火現場一直濃煙滾滾， 彌漫著刺鼻的燒焦塑料味，到18時，濃煙仍然不見減少，消防人員仍在向樓內噴水。火災發生后，湖北省委、省政府，武漢市委、市政府負責人高度重視，省委書記羅清泉、省長李鴻忠，省委副書記、市委書記楊松，市長阮成分別在第一時間作出指示：積極疏散群眾、 搶救人員 控制火勢據悉消防官兵已疏散起火樓房居民300多人，已知有10名傷者被送到武漢市第一醫院救治，記者在醫院了解到，傷者多是吸入性損傷。

通過案例分析可以發現，事件抽取模型在管理中具有重要的應用價值。未來的研究可以進一步優化模型的參數和結構，提升對復雜事件的處理能力，并擴展模型的適用范圍，使其在更多實際場景中發揮作用。

4結束語

在本研究中，本文提出了一個用于突發事件抽取的上下文增強模型，該模型包含了一種新穎的提示模板以增強對輸人句子的理解和推理能力，并通過雙向注意機制更有效地捕捉語義信息，從而克服現有方法的局限性。在中文突發語料庫（CEC）上的廣泛實驗表明，CoTe在事件類型檢測和事件元素抽取任務上顯著優于現有模型。消融研究證實了每個組件的貢獻，展示了上下文增強提示模板和位置感知注意機制的重要性。未來的工作可繼續探索CoTe模型在其他語種和領域的魯棒性和泛化能力，進一步構造自適應的提示模板也是可優化的方向之一。此外，整合外部知識庫也可進一步提升模型的性能和實際應用性。

參考文獻：

[1]Liu Jiangwei，Min Liangyu，Huang Xiaohong.An overview of event extraction and itsapplications[EB/OL].（2021-11-05）.https：// arxiv.org/abs/2111.03212.

[2]PanQiao，Zhao Feifan，ChenXiaoling，et al.Amethod for extracting tumorevents from clinical CT examination reports[J].Journal of Biomedical Informatics，2023，142：104371.

[3] ShenShirong，QiGuilin，Li Zhen，etal.Hierarchical Chinese legal event extractionviapedal attentionmechanism[C]//Procofthe28th International Conference on Computational Linguistics.2O2O：100-113.

[4]ChenYubo，Xu Liheng，Liu Kang，etal.Event extraction via dynamicmulti-pooling convolutional neural networks[C]//Proc ofthe 53rdAnnual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing.Stroudsburg，PA：ACL Press，2015：167-176.

[5]Yang Sen，Feng Dawei，Qiao Linbo，et al.Exploring pre-trained languagemodelsfor event extraction and generation[C]//Proc of the 57thAnnual Meeting of the Association for Computational Linguistics. Stroudsburg，PA：ACL Press，2019：5284-5294.

[6]WangBo，WeiWei，Wu Yang，etal.Event recognitioninChinese emergencies corpus using ALBERT-BiLSTM-CRF[C]//Procof IEEE International Conference on Power，Intelligent Computing and Systems.Piscataway，NJ：IEEEPress，2020：392-397.

[7]Yan Jianzhuo，Chen Lihong，Yu Yongchuan，et al.EmergEventMine ： end-to-end Chinese emergency event extraction using a deep adversarial network[J]. ISPRS International Journal of Geo-Information， 2022，11（6）：345.

[8]Hu Qingmeng，Wang Hongbin. Chinese event extraction based on hierarchical attention mechanism[M]//Computer Supported Cooperative Work and Social Computing. Berlin： Springer，2023： 401-411.

[9]Sheng Xinyi， Gu Jinguang，Yan Youcheng，et al. Chinese emergency event extraction based on contrastive learning with event semantic features [C]//Procof the 19th International Conference on Natural Computation， Fuzzy Systems and Knowledge Discovery. Piscataway， NJ： IEEE Press，2023：1-7.

[10]Liu Xiao，Luo Zhunchen，Huang Heyan. Jointly multiple events extraction via attention-basedgraph informationaggregation[C]//Proc of Conference on Empitical Methods in Natural Language Proccessing. Stroudsburg，PA： ACL Press，2018 ： 1247-1256.

[11］劉輝雄，劉茂福，唐東昕．基于依存句法與多頭注意力的生物醫 學事件抽取[J]．武漢大學學報：理學版，2021，67（6）：578-588. （Liu Huixiong，Liu Maofu，Tang Dongxin.Biomedicalevent extraction based on dependency syntax and multi-head attention[J].Journal of Wuhan University：Natural Science Edition，2021，67（6）： 578-588.）

[12]聞暢，劉宇，顧進廣．基于注意力機制的雙向長短時記憶網絡模 型突發事件演化關系抽取[J]．計算機應用，2019，39（6）： 1646-1651.（Wen Chang，Liu Yu，Gu Jinguang.Evolution relationshipextractionof emergency basedonattention-basedbidirectional long short-term memory network model[J]. Journal of Computer Applications，2019，39（6）：1646-1651.）

[13］李明亮，王勇，王瑛．中文突發事件論元識別方法研究［J]．計 算機科學與應用，2022，12（2）：405-411.（LiMingliang，Wang Yong，Wang Ying. Research_on the method of Chinese emergency event argument recognition[J].Computer Science and Application，2022，12（2）：405-411.）

[14]Gu Yuxian，Han Xu，Liu Zhiyuan，et al.PPT： pre-trained prompt tuning for few-shot learming[EB/OL]. （2021）. htps：//arxiv.org/ abs/2109. 04332.

[15]Du Xinya，Cardie C.Event extraction by answering（almost）natural questions [EB/OL]. （2020）. https：//arxiv.org/abs/2004.13625.

[16]劉澤旖，余文華，洪智勇，等．基于問題回答模式的中文事件抽 取［J]：計算機工程與應用，2023，59（2）：153-160.（Liu Zeyi， Yu Wenhua，Hong Zhiyong，et al.Chinese event extraction using question answering[J]. Computer Engineering and Applications， 2023，59（2）： 153-160.）

[17]Lin Jiaju， Chen Qin. PoKE： a prompt-based knowledge eliciting approach for event argument extraction [EB/OL].（2022-03-14）.https：//arxiv.org/abs/2109. 05190.

[18]Gao Yumiao，Ren Yizhi，Rao Jiawei，et al. Chinese event causality identification basedonretrieval enhancement[M]//Natural Language Processing and Chinese Computing. Cham： Springer， 2023： 159-170.

[19]Meng Hangyang.Research on event extraction technology in the field of unexpected events[D]. Shanghai： Shanghai University，2015.

[20］王浩暢，周郴蓮，Petrescu MG．基于深度學習的事件抽取研究 綜述[J].軟件學報，2023，34（8）：3905-3923.（Wang Haochang， Zhou Chenlian，Petrescu M G. Survey on event extraction based on deep learning[J].Journal of Software，2023，34（8）：3905-3923.）

[21]Nguyen TH，Cho K， Grishman R. Joint event extraction via recurrent neural networks[C]//Procof Conference of theNorth American Chapter of the Assciation for Computational Linguistics：Human Language Technologies. Stroudsburg，PA：ACL Press，2016： 300-309.

[22]Sha Lei，Qian Feng，Chang Baobao，et al.Jointly extracting event triggersand argumentsbydependency-bridgeRNN and tensor-based argument interaction [C]// Proc of AAAI Conference on Artificial Intelligence.Palo Alto， CA： AAAI Press， 2018.

[23］蘇劍林．GPLinker：基于GlobalPointer的實體關系聯合抽取 [EB/OL].（2022-01-30）[2023-04-19]. hps：//spaces.ac.cn/ archives/8888. （Su Jianlin. GPLinker：entity relationship joint extractionbased on GlobalPointer[EB/OL].（2022-01-30）[2023-04- 19].https：/spaces. ac. cn/archives/8888. ）

[24］薛頌東，李永豪，趙紅燕．基于多粒度閱讀器和圖注意力網絡的文檔 級事件抽取[J].計算機應用研究，2024，41（8）：2329-2335.（Xue Songdong，Li Yonghao，Zhao Hongyan.Document level event extraction based on multi granularity readers and graph attention networks [J]. Application Research of Computers，2024，41（8）：2329-2335.）

[25]新浪新聞．武漢漢正街一工藝品市場發生火災［EB/OL]. （2009-02-06）[2024-12-23]. https：//news. sina. com.cn/c/ 2009-02-06/025915118127s. shtml. （Sina News. A craft market in Hanzheng Street，Wuhan，caught fire[EB/OL].（2009-02-06） [2024-12-23_].https：//news. sina. com. cn/c/2009-02-06/ 025915118127s. shtml. ）