基于上下文語義增強的實體關系聯合抽取

雷景生，剌凱俊，楊勝英*，吳 怡

（1.浙江科技學院 信息與電子工程學院，杭州 310023；2.浙江省腫瘤醫院，杭州 310022）

0 引言

實體與關系抽取（Relation Extraction，RE）是自然語言處理（Natural Language Processing，NLP）領域的核心任務，用于從非結構化文本中自動提取實體及其關系。該任務的結果在知識圖譜的構建、問答系統和機器翻譯等各種高級自然語言處理應用中發揮著至關重要的作用。

有監督的實體和關系抽取傳統上采用流水線或聯合學習方法［1］。流水線方法將抽取任務看作兩個串行子任務：命名實體識別（Named Entity Recognition，NER）和關系分類。關系分類子任務對識別出的實體進行配對并分類。由于相關實體數量較少，流水線模型在配對階段通常會生成大量的不相關實體對。此外，該方法還存在錯誤傳播，同時對兩個子任務的關聯性關注不足等問題。為了解決這些問題，研究者們對聯合學習進行了大量研究，取得了較好的效果。

聯合學習是指通過一個聯合模型提取實體并對關系進行分類，能夠有效緩解級聯錯誤，提高信息的利用率。聯合提取任務通常通過基于序列標注的方法解決［2］。最近，基于span 的方法由于其良好的性能而受到了廣泛的研究［3］。該方法首先將文本分割成文本span 作為候選實體，然后形成span 對作為候選關系元組，最后，對實體span 和span 對進行聯合分類。例如，在圖1 中，“Boston University”“Boston”等是文本span；〈“Boston University”，“Boston”〉和〈“Michael D.Papagiannis”，“Boston University”〉是span 對；同時“Boston University”被分類為Org（Organization 的縮寫）；〈“Michael D.Papagiannis”，“Boston University”〉被分類為Work_For。

圖1 span示例Fig.1 Examples of span

現有的聯合實體和關系抽取方法的研究主要集中于兩個子任務之間的交互，但存在對上下文的關注度不足的問題，且過度依賴ELMo（Embeddings from Language Models）［4］、BERT（Bidirectional Encoder Representation from Transformers）［5］等預訓練語言模型的編碼能力，導致其文本廣度語義不足。如Eberts 等［3］直接使用BERT 中［CLS］的信息以及采用簡單的最大池化將文本信息融入實體和關系表示中。這樣無法很好地關注到上下文中的潛在信息，而這些信息對分類的準確性有著重要影響。

為了解決這一問題，本文提出了一個基于上下文語義增強的實體關系聯合抽取（Joint Entity and Relation extraction based on Contextual semantic Enhancement，JERCE）模型，通過增強上下文的語義表示提高兩個子任務的準確性。本文將同樣的句子和上下文重復傳遞給預訓練的編碼器，通過應用標準隨機掩碼丟棄，可以得到語義相近且表示不同的嵌入，將它們作為正樣本對；將同一訓練批次的其他句子和實體間上下文作為負樣本對。然后將上述樣本輸入對比學習模塊，以獲取增強后的文本語義表示。這種方法的優點是不需要通過復雜的操作就可以更好地捕獲上下文中的關鍵信息，從而得到實體間關系的更準確的嵌入表示。在此基礎上，還引入了一種加權損失函數來平衡訓練過程中兩個任務的損失，以此來獲取整體性能更好的模型。在3 個基準數據集上的大量實驗表明，本文模型相較于現有模型有著更好的表現。

1 相關工作

1.1 聯合實體和關系抽取

聯合實體和關系抽取的目的是同時從非結構化文本中檢測實體以及實體之間的語義關系。它已被證明是有效的，因為它可以緩解錯誤傳播，并有效利用命名實體識別（NER）和關系抽取（RE）之間的相互關系［6］。許多研究通過級聯方法解決聯合問題，它們先執行NER，然后執行RE。Gupta等［7］將聯合實體和關系抽取作為一個表格填充問題，其中表格的每個單元對應句子的一個詞對，同時使用雙向循環神經網絡來標記每個詞對。Zhao 等［8］提出了一種特定于實體相對位置表示的模型，充分利用實體和上下文標記之間的距離信息，解決了實體特征模糊和局部信息不完整的問題。Sui等［9］將聯合實體和關系抽取作為一個直接集預測問題，可以一次性預測所有三元組。Eberts 等［3］通過強負采樣、跨度過濾和局部上下文表示，搜索輸入句子中的所有跨度。Shen等［10］提出一個觸發器感知記憶流框架（Trigger-sense Memory Flow framework，TriMF），通過多級記憶流注意模塊，增強NER 和RE 任務之間的雙向交互。

1.2 對比學習

對比學習的目的是在將不同樣本的嵌入推開的同時，將相同樣本的增強版本嵌入到彼此之間。該方法最早由Mikolov 等［11］引入自然語言處理，他們提出了一種基于對比學習的框架，使用共現詞作為語義相似點，并通過負采樣來學習單詞嵌入。負采樣算法利用邏輯回歸將單詞與噪聲分布區分開，有助于簡化訓練方法。該框架以一種計算效率較高的方式明顯地提高了單詞和短語的表示質量。Saunshi等［12］提出了對比學習的理論框架，在使用學習到的表示進行分類任務時表現良好。該框架從未標記數據中學習有用的特征表示，并引入潛在類來形式化語義相似度的概念。

近年來，對比學習在一些自然語言處理任務中表現優異。Fang 等［13］提出了一種使用句子級對比學習的預訓練語言表示模型 CERT（Contrastive self-supervised Encoder Representations from Transformers），以促進語言理解任務。CONPONO（CONtrastive Position and Ordering with Negatives Objective）模型［14］研究了篇章連貫性和文本中細粒度的句子排序，盡管與BERT-base 模型的參數數量相同，但性能更優。

2 本文模型JERCE

本文模型JERCE 使用BERT［5］進行編碼，如圖2 所示：將句子重復輸入BERT，利用BERT 隨機地丟棄掩碼，獲得正樣本對，以便進行對比學習。在此基礎上，計算得到增強的span 表示，并進行分類、過濾。然后用得到的實體集合組成關系空間，預測關系元組，計算關系表示并進行分類、過濾。

圖2 JERCE的模型架構Fig.2 Model architecture of JERCE

2.1 BERT預訓練語言模型

BERT 模型基于Transformer 編碼器結構，能夠學習到上下文的相關信息，解決了Word2Vec 和GloVe 等分布式詞向量表示無法有效獲取高維度特征的缺點。

BERT 的網絡結構如圖3 所示，它的模型架構是一個多層雙向的Transformer 編碼器。BERT 利用大規模無標注語料進行訓練，獲得文本包含豐富語義信息的表示，并在下游任務對預訓練模型進行微調。它包含兩個核心任務，即掩碼語言模型（Masked Language Model，MLM）任務和下一句預測（Next Sentence Prediction，NSP）任務。MLM 使模型能夠捕捉到辨別性的上下文特征，NSP 任務使理解句子對之間的關系成為可能。

圖3 BERT模型Fig.3 BERT model

本文采用BERT 作為文本編碼器，得到的輸出表示為：

其中：S={s1，s2，…，sn}表示文本輸入；H={h1，h2，…，hn}，H∈Rd表示每個token 被BERT 編碼后得到的token 嵌入，n為token 個數，d為BERT 隱藏狀態的維度。

2.2 基于對比學習的文本語義增強表示

本文的目標是通過潛在空間的對比損失，使正樣本對輸入的一致性最大化，即正樣本對語義向量的空間距離更近，負樣本對語義向量的空間距離更遠，從而學習到更準確的文本表示。

JERCE 使用預訓練的語言模型BERT 對輸入句子進行編碼，然后使用對比學習目標對所有參數進行調整。

該任務的關鍵之一是在不破壞關鍵語義的前提下獲取句子的正樣本對，本文將同樣的句子和上下文重復傳遞給預訓練的編碼器以實現這一目的。這是因為在BERT 的標準訓練中，在全連接層和注意力層上有丟棄掩碼。即

其中：z是隨機的丟棄掩碼表示輸入xi的隱藏層輸出；θ為函數f的參數。本文將相同的token 序列重復輸入到編碼器，得到具有不同丟棄掩碼的嵌入，對于一個最小批次的N個句子或實體間上下文，同批次其余句子的對應內容作為負樣本，本模塊的訓練目標便成為：

其中：z是Transformers 中的標準丟棄掩碼；T是溫度超參數，它會將模型的重點聚焦到距離正例較近的負例，并作出相應的懲罰。

這可以視為一種最低程度的數據增強，正樣本對采用了完全相同的句子，它們的嵌入只是在進行隨機掩碼丟棄的過程中有所不同。

圖4 展示了本文的對比學習模塊的框架。給定一個句子w={w1，w2，…，wn}，利用兩次隨機掩碼丟棄獲得兩個語義相近的嵌入視圖和接著加入了一個特征映射g(·)進一步提取特征，g(·)是一個2 層的多層感知機（Multi-Layer Perceptron，MLP）。從第一個嵌入視圖得到了一個映射→h＇，同時從 第二個 嵌入視 圖得到了 另一個映射→h″。

圖4 對比學習模塊的框架Fig.4 Framework of contrastive learning module

對比學習方法通過比較訓練數據中的不同樣本來學習表示。在訓練過程中，通過使正對具有相似表征，使負對具有不同表征來學習文本語義。

2.3 span分類

由于span 的文本內容相對較少，可用信息有限，為此本文將工作的重心放在它的上下文表示部分。

如圖2 所示，用于分類的span 表示由三部分組成：span文本信息、基于span 寬度的嵌入表示以及句子級上下文表示。本文用ti表示文本經過編碼后得到的token 嵌入，將句子的嵌入序列表示為t0，t1，…，tN。span 嵌入序列定義如下：

span 自身的文本信息根據函數f融合得到，此處f采用最大池化處理，表示為：

對于特定長度的span，模型學習一個專用的矩陣以查找特定跨度的嵌入，它包含不同跨度［1；2；3；4；5-7；8-15；…］的span 的嵌入表示。這些嵌入通過反向傳播學習。對于長度為k的span，其跨度嵌入為lk。

通過2.2 節的方法得到增強的句子級上下文表示，記為sc，并將它融入span 的表示中，以此來增強對上下文的信息捕獲能力。所得到的分類實體span 的最終表示如下：

Zs最后被送入Softmax 分類器，該分類器在每個實體類別上產生一個后驗：

其中：Ws為權重參數；bs為偏移量。

通過查看得分最高的類，span 分類器估計每個span 屬于哪個類，得到構成實體的span 的集合，記為ε。然后對{ε×ε}衍生的關系元組進行關系分類。

2.4 關系分類

關系集合用? 表示。關系分類器處理從{ε×ε}提取得到候選實體對即：并估計它是否存在? 中存在的關系。

如圖2 所示，用于分類的關系表示由兩部分組成，包括被識別的實體對和增強的實體間上下文表示。

對于候選實體對s1和s2，位于它們之間的上下文在很大程度上蘊含了彼此之間的關系，為此利用對比學習對這部分文本進行語義提取。Ec表示s1和s2之間的增強局部上下文嵌入表示，s1和s2對應的實體表示為κs1和κs2，則最后的關系分類表示為：

將Zr送入Softmax 分類器，得到：

2.5 加權損失

本文模型包括多個子任務。在過去的工作中，為了將不同任務的損失進行聯合優化，需要手動調節子任務的權重。在這個過程中，通常采取的損失函數是簡單地將每個單獨任務的損失進行加權線性求和，如下：

然而，模型最后的學習效果對于權重非常敏感，同時手動調節這些權重也是非常費時費力的工作。為此，需要找到一種更為方便的方法來學習最優權值。Cipolla 等［15］使用同方差不確定性來平衡單任務損失，同方差不確定性對相同任務的不同輸入示例保持恒定的量。

模型的優化過程是為了使高斯似然目標最大化，以解釋同方差不確定性，特別是要對模型權值w和噪聲參數σs、σr進行優化。σs、σr為模型的觀測噪聲參數，即所謂的同方差不確定性項，它們可以捕獲在輸出中有多少噪聲。為此引入以下聯合損失函數：

通過最小化噪聲參數σs和σr的損失，可以較好地平衡訓練過程中單個任務的損失。可以發現增大噪聲參數σs和σr會降低對應任務的權值，因此當任務的同方差不確定性較高時，該任務對網絡權值更新的影響較小。通過這種方法，可以避免手工調優權重過程中耗時且繁瑣的步驟。

3 實驗與結果分析

3.1 實驗數據

本文實驗采用了以下3 個數據集：ACE05（Automatic Content Extraction，2005）［16］、CoNLL04（Conference on Natural Language Learning，2004）［17］和ADE（Adverse Drug Effect）［18］。

ACE05 由語言數據聯盟（Linguistic Data Consortium，LDC）開發，包括新聞專線、廣播新聞、廣播談話、網絡日志、論壇討論和電話談話。預定義了7 個粗粒度實體類型和6 個粗粒度關系類型。本文遵循Li 等［19］的數據分割、預處理和任務設置。

CoNLL04 由來自華爾街日報和美聯社等媒體的新聞文章的句子組成，數據集定義了4 種實體類型（person、organization、location 和other）和5 種關系類型（kill、work for、organization based in、live in 和located in）。為了與之前的工作進行比較，本文的實驗遵循Gupta［7］和Eberts 等［3］的設置和數據分割。

ADE 是一個生物醫學領域的數據集，旨在從醫學文本中提取藥物相關的不良反應。數據集提供了10 折訓練和測試分割。它包括兩種預定義的實體類型（Adverse-Effect 和Drug）和單一的關系類型（Adverse-Effect）。

3.2 評價指標

本文的模型性能評價指標包括精度P（Precision）、召回率R（Recall）和F1 值F1。具體公式表示如下：

其中：TP是真正例數；FP是假正例數；FN是假反例數；F1 值用來對精度和召回率進行整體評價。

3.3 實驗參數設置

實驗使用BERTbase（cased）作為句子的編碼器；訓練模型的batch size 為16，采用正態分布隨機數(μ=0，σ=0.02)初始化分類器的權重；使用Adam 優化器，線性預熱和學習率衰減，衰減指數為0.98，峰值學習率為5 × 10-5，丟棄率為0.2，寬度嵌入維數為25，epoch 數為30，關系濾波閾值α=0.4。

3.4 基線模型

將JERCE 同以下模型進行對比，這些模型在對應的數據集上有著不錯的表現。

Relation-Metric［20］：該模型是多任務學習方案中基于序列標記的模型，它利用表結構、基于重復應用的2D 卷積和指標特征來池化局部依賴，在ADE 和CoNLL04 上有很好的性能。

MTQA（Multi-Turn Question Answering）［21］：該模型使用多回合問題回答機制，將實體和關系的提取轉化為從情境中識別答案跨度的任務。該模型通過問題查詢對需要識別的實體和關系的重要信息進行編碼，并通過多步推理構建實體依賴關系，得到了數據集RESUME。

SpERT（Span-based Entity and Relation Transformer）［3］：該模型引入預訓練的BERT 模型作為聯合實體識別和關系提取的核心。

ERIGAT（Entity-Relations via Improved Graph Attention networks）［22］：該模型 將圖注 意力網 絡（Graph Attention Networks，GAT）引入實體關系聯合提取域，有效地提取了多跳節點信息；同時采用對抗性訓練，通過添加微小擾動來生成對抗性樣本進行訓練，增強了模型的魯棒性。

eRPR MHS（entity-specific Relative Position Representation based Multi-Head Selection）［8］：該模型提出了一個特定于實體的相對位置表示，允許模型充分利用實體和上下文標記之間的距離信息；同時引入了一種全局關系分類增強對局部上下文特征的學習。

MRC4ERE++（Machine Reading Comprehension based framework for joint Entity-Relation Extraction）［23］：該模型引入了一種基于MTQA 的多樣性問答機制，兩種答案選擇策略旨在整合不同的答案。此外，MRC4ERE++建議預測潛在關系的子集以過濾掉不相關的關系，從而有效地生成問題。

TriMF［10］：該模型構建了一個記憶模塊來記憶實體識別和關系提取任務中學習到的類別表征，并在此基礎上設計了多級記憶流注意機制，增強了實體識別和關系提取之間的雙向互動。該模型在沒有任何人工注釋的情況下，可以通過觸發傳感器模塊增強句子中的關系觸發信息，從而提高模型的性能，使模型預測具有更好的解釋性。

3.5 實驗結果分析

3.5.1 模型對比實驗分析

表1 中展示了本文的模型JERCE 在CoNLL04、ADE 和ACE05 數據集的主要結果。相較于基線模型，JERCE 在三個數據集上均有更好的表現。

表1 不同的模型在CoNLL04、ADE和ACE05上的實驗結果 單位：%Tab.1 Experimental results of different models on CoNLL04，ADE and ACE05 unit：%

在CoNLL04 上，相較于最新的模型，JERCE 的實體識別F1值分別提升了1.81（MRC4ERE++）和1.04（TriMF）個百分點，關系抽取F1值則分別提升了1.19（TriMF）和1.13（ERIGAT）個百分點。

在ADE 上，相較于SpERT 和TriMF，JERCE 在實體識別性能上的提升有限，對比TriMF 提升了0.13 個百分點，但在關系抽取任務中有著較好的表現，F1值分別提升了1.26（SpERT）和1.14（TriMF）個百分點。同ERIGAT 相比，JERCE的實體識別任務更有優勢，F1值提升了1.01 個百分點，但關系抽取提升有限。其中ERIGAT 采用了GAT，雖然可以有效提取多跳節點關系信息，但也使模型更復雜。整體而言，本文的模型要優于ERIGAT。

在ACE05 上，相較于在該數據集上有著優異表現的TriMF 和MRC4ERE++，關系抽取的提升有限，較TriMF 提升了0.44 個百分點，但JERCE 的實體識別性能提升顯著，F1值分別提升了2.12（TriMF）和2.69（MRC4ERE++）個百分點。主要原因是TriMF 的觸發器傳感器機制更側重于關系抽取任務，MRC4ERE++則采用問答機制的策略，對關系的預測的貢獻更大；相比較而言，JERCE 通過上下文信息的增強，進一步放大了關鍵信息對實體識別的作用，同時改善了關系抽取任務，綜合性能更好。

結合數據集的類型及模型的性能，相較于醫學領域的數據集（ADE），本文的模型更適用于開放領域數據集（CoNLL04、ACE05）的聯合實體和關系抽取任務。這是由于上下文的信息增強對于藥物實體和副作用等專有名詞的識別和分類作用有限。與上述模型相比，JERCE 通過對比學習，可以在較少語義信息的情況下實現更高的性能，表明JERCE 對實體和關系信息的提取能力較強。總之，相對比較模型，JERCE 能更有效地處理實體和關系信息。

3.5.2 消融實驗分析

本文在ACE05 測試集上進行消融實驗以分析不同模塊的性能。

表2 展示了語義增強對實體識別和關系抽取聯合任務的影響，其中：-ContextEnhanced 表示通過最大池化獲取實體間上下文的表示；-SentenceEnhanced 表示直接采用BERT 模型中的［CLS］作為句子文本的語義表示；both 是通過執行以上兩種消融而得到的模型。通過表2 的結果可以觀察到，通過對比學習對實體間上下文以及句子的語義進行增強有助于提升實體關系聯合抽取的效果；同時可以發現實體間上下文對關系抽取的影響較大，這是因為關系的大部分信息都體現在兩個實體之間的內容中。

表2 語義增強消融實驗的F1值 單位：%Tab.2 F1 values in semantic enhancement ablation experiments unit：%

表3 展示了通過計算加權損失進行優化的影響。本文模型結合同方差不確定性，引入了聯合損失函數Ljoint來加權平衡實體識別和關系抽取兩個任務的損失，-Ljoint表示在計算聯合損失函數時不進行加權，而將兩個任務的損失進行線性相加，即L=Ls+Lr。結果表明，通過動態加權兩個子任務的損失，可以在一定程度上提升模型的性能。

表3 加權損失對模型F1值的影響 單位：%Tab.3 Influence of weighted loss on model F1 value unit：%

對比學習中的樣本來自同一批次的其他句子，批量大小的值直接影響對比學習的樣本數。如圖5 所示，當批量小于16 時，對比學習中的負樣本的數量對于模型的訓練結果有著重要的作用；但該值大于16 時，效果并不明顯。這是由于隨著批量的增大，正負樣本更為均衡，但同時過大的批量值也會在一定程度上損失模型精度。因此，本文模型將批量值設置為16，以保證模型性能的最優。

圖5 批量大小對實體和關系抽取性能的影響Fig.5 Influence of batch size on entity and relation extraction performance

3.6 誤差分析

本文模型JERCE 在實體識別和關系抽取方面獲得了良好的結果，但通過對預測結果進行分析，發現了一些本文模型在實體識別和關系抽取中尚無法解決的錯誤，在此對這些錯誤進行總結分析，以便為后續的研究提供思路。表4 包含了在測試數據集中發現的3 種常見錯誤情況的示例。

表4 常見錯誤示例Tab.4 Common error examples

1）邊界模糊：在實體識別過程中，存在無法準確獲取實體邊界的問題。例如表4 中“Harry Potter”為正確實體，但由于“Mr.”同人物實體的聯系較為緊密，特征相似度較高，容易被一起識別。

2）邏輯錯誤：在關系預測中，同種類型的不同實體容易混淆。例如表4 中“David”和“Jack”均為人物實體，“David”和“Black Sea Fleet”之間的關系被預測為“Work_For”。但實際上并非“David”，而是“Jack”。這個問題在形式上是正確的，但在句中的邏輯是錯誤的。

3）邏輯缺失：在關系預測中，有些關系并未在句中明確表示，但可以根據上下文的邏輯推斷得到。例如表4 中，Linda 代表公司發言，可以推斷得出“Linda”是“Becton”公司的產品處理經理；但這在文中并未提及，因此該關系沒有被預測。

4 結語

本文提出了一種對比訓練的方法來增強上下文表示的聯合實體和關系抽取模型JERCE。通過利用BERT 中隨機掩碼丟棄的特性，獲得了對模型的訓練更有益的正樣本對，在增強文本語義的過程中取得了良好的效果。同時，本文引入同方差不確定性來對兩個子任務的損失進行動態加權，提升了整體模型的表現。實驗結果表明，相較于現有的模型，JERCE 在CoNLL04、ADE 和ACE05 數據集上均取得了更好的結果。但本文的模型也存在一些局限性，正如誤差分析中所指出的，對實體邊界的清晰度不夠，同時在語義邏輯方面還有所欠缺，未來可能的工作是嘗試優化邊界標注策略，同時結合外部知識庫增強語義理解來提升模型性能。