基于雙向語義的中文實體關系聯合抽取方法

禹克強，黃芳，吳琪，歐陽洋

（中南大學 計算機學院，長沙 410083）

0 概述

實體關系抽取任務的目的是從自然語言文本中提取實體及實體間關系，其為自然語言處理領域的一項重要研究內容，通過對文本進行語義關系分析，從而將非結構化文本轉化為包含實體間關系信息的結構化數據，能夠為知識圖譜、信息檢索、推薦系統等一系列下游任務提供有效支撐［1］。關系三元組是語義關系的基本單元之一，由主體、客體及它們之間的關系所組成的關系三元組（形如＜主體，關系，客體＞）代表了句子中實體之間的語義關系，這樣的實體關系信息可以有效運用于文本語義建模［2］。

現有的關系抽取方法主要分為流水線（Pipeline）關系抽取方法和聯合（Joint）關系抽取方法兩大類［3］，其中：流水線關系抽取方法將關系抽取任務劃分為兩個獨立的子任務，先從給定的句子中識別其中的實體，再對實體間關系進行分類；聯合抽取方法通過一個聯合模型同時對句子中的實體和關系進行識別，根據其實現形式可以劃分為參數共享和序列標注兩類，參數共享方法通過在實體識別和關系抽取兩個子任務中共享輸入特征或內部隱層狀態來實現模型聯合，序列標注方法將關系抽取任務轉化為序列標注任務，通過設計實體關系的聯合標注策略來對任務進行建模。

盡管上述方法在關系抽取領域已經取得了較好的效果，但是它們大多存在僅從單一語義方向進行關系抽取的問題，例如，在句子“黑貓警長是上海電影美術制片廠制作的動畫電影，由戴鐵郎執導。”中，在關系“導演”的基礎上，可以得到關系三元組＜黑貓警長，導演，戴鐵郎＞，其中，“黑貓警長”是關系中的主體，“戴鐵郎”是關系中的客體，如果將該關系三元組的主體和客體進行置換，則此時的關系三元組應為＜戴鐵郎，執導，黑貓警長＞，主體與客體一旦交換了次序，它們的關系類型也隨之發生改變，即主體到客體的關系信息與客體到主體的關系信息并不相同。現有的關系抽取方法大多僅利用單向的關系信息，然而，在大量的非結構化文本中，可能存在著一側關系下語義特征不明顯而另一側語義特征較鮮明的情況。在上例中，關系類型“執導”的語義特征較關系類型“導演”的語義特征更為鮮明，在這種情況下，如果能有效利用雙向關系的語義特征，就能夠更深入地挖掘文本中所包含的關系三元組，并利用雙向語義信息對關系三元組進行判別，從而提高關系抽取的準確率。

本文建立一種基于雙向語義的實體與關系聯合抽取模型BSCRE（Bidirectional Semantics Chinese Relation Extraction），其利用雙向關系的語義信息，并結合正負關系下所得關系三元組的概率分布進行判別，以提高聯合抽取的效果。為了避免句子單向語義特征不明顯所導致的抽取錯誤，本文利用正負關系來捕獲文本中的雙向關系語義，設計一種基于正負關系映射的關系抽取模型，實現面向中文文本的端到端實體關系聯合抽取，提高中文關系抽取的準確率與召回率。為了同時利用文本中的正關系和負關系語義，通過兩組全連接神經網絡分別構建正負關系映射器，同時從正關系與負關系的角度完成候選關系三元組構建。為了從候選三元組中識別正確的實體關系，基于候選關系三元組的正負關系概率分布序列和實體位置信息對候選關系三元組進行判別，利用全連接神經網絡判別器，同時通過正關系與負關系的語義信息來確定最終的關系三元組。

1 相關工作

從自然語言文本中提取關系三元組是信息抽取中的一個熱點研究問題，也是構建如DBpedia［4］、Freebase［5］等大規模知識圖譜的重要步驟，能夠有效地為搜索引擎、智能問答等下游任務提供支持。

基于傳統機器學習的關系抽取模型通常利用特征向量完成關系抽取，如MIVA 等［6］利用詞袋、詞性等文本特征構建特征向量，KAMBHATLA 等［7］通過最大熵模型，利用文本的詞法及語義特征進行關系抽取。由于特征向量的構建需要研究人員有著大量語言學的相關知識，并且可能導致誤差的傳遞，而深度學習能夠自動學習文本中的特征，通過學習每個詞的表征來表示不同粒度的語義單元［8］，同時具有較高的精確度，因此深度學習逐漸成為近年來學術界的研究重點［2］。

目前，主流的基于深度學習的關系抽取方法大致可以分為流水線關系抽取方法和聯合關系抽取方法兩種。

流水線關系抽取方法將關系抽取任務拆解為兩個獨立的步驟。NAYAK 等［9］在獲取文本中所存在的所有實體后，通過分類網絡對實體對間的關系進行分類。ZENG 等［10］采用卷積神經網絡提取文本中的詞匯及句子級特征進行實體對間的關系分類。ZHANG 等［11］通過將句子表征與實體表征相結合，并引入注意力機制來完成關系分類。SHIKHAR等［12］在圖卷積神經網絡的基礎上添加實體類型和關系別名信息，以提高抽取效果。

雖然流水線方法實現簡便，靈活性強，但是在實體識別過程中的誤差有可能傳遞到關系分類中，從而造成誤差的傳遞，因此，近年來學者們逐漸聚焦于聯合關系抽取方法的研究。MIWA 等［13］基于LSTM最早實現了基于參數共享的實體關系聯合抽取方法，參數共享是指關系抽取任務中的實體識別與關系分類兩個子任務共用相同的底層參數，以學習語義信息更為豐富的隱層表示向量。KATIYAR 等［14］在此基礎上，利用多層Bi-LSTM 和Attention 機制摒棄了以往方法過于依賴解析器性能的弊端。為了解決共享參數方法可能生成大量冗余信息的問題，ZHENG 等［15］通過序列標注的形式實現了實體關系的聯合抽取，但是由于在標注過程中一個詞只能被標注一次，從而導致該方案無法應對關系抽取中的關系重疊問題，盡管ZHENG 等［15］所提方法無法解決關系重疊問題，但為之后的研究提供了很好的理論基礎。ZENG 等［16］使用帶有復制機制的Seq2seq模型解決重疊問題，YU 等［17］和WEI 等［3］通過設計一種新穎的標記方案，將關系視為主體到客體的映射函數，即首先識別句子中的主體，然后根據傳入的主體來識別對應的關系及客體，通過這樣的設置，能夠考慮到一個主體和多個客體之間存在關系的重疊情況，因此，能夠有效解決實體間的關系重疊問題。

WEI 等［3］所提方法盡管很好地解決了關系重疊的問題，但是該方法僅利用了主體到客體的單向關系，關系三元組的正確抽取也依賴于主體的正確識別。客體到主體同樣有著豐富的語義特征，因此，本文利用雙向語義特征設計一種新的聯合關系抽取模型BSCRE，其能夠結合正關系與負關系完成關系抽取，從而有效避免由非結構化文本單側語義特征不明顯而導致的準確率下降問題。

2 相關定義

本文中的相關定義具體如下：

1）關系三元組。中文信息提取數據集定義為D={d1,d2,…,dn}(n＞1)，di(1 ≤i≤n)為數據集中一 個包含關系三元組的句子，關系三元組表示為＜ei,rm,ej＞(ei,ej∈E,i≠j,rm∈R)，其中，ei和ej分別為關系三元組中的主體和客體，rm為主體ei與客體ej之間的關系，E和R分別為實體集和關系集，關系抽取任務的目的是從句子di中抽取出句子中所包含的所有關系三元組＜ei,rm,ej＞。

2）非互易性。在關系三元組中，大部分關系類型的主體和客體存在非互易性，即關系三元組＜ei,rm,ej＞與＜ej,rm,ei＞并不等價。例如，對于句子“老李是小李的父親”而言，關系三元組＜小李，父親，老李＞具有正確的語義，而＜老李，父親，小李＞的語義是錯誤的。如果將關系三元組中的主體和客體位置交換，則三元組的語義隨之改變，表示了不同的語義信息，即關系(ei→ej)與關系(ej→ei)并不等價，ei和ej存在非互易性。

3）正負關系。在一個關系三元組中，當且僅當實體ei和ej具備非互易性時，實體ei和ej間存在正負關系。對于預定義關系集合R中的關系類型ri，其對應的負關系為rTi。由于在雙向關系語義中，負關系并不一定都有明確的關系詞能與之對應，因此負關系rTi僅用于輔助完成關系三元組抽取，不指定明確的負關系詞。對于正關系三元組＜ei,rm,ej＞而言，其對應的負關系三元組為＜ej,rTm,ei＞。本文設預定義關系集合為正關系集合R，表示原關系三元組中主體到客體的關系語義，對應的負關系集合為RT，表示原關系三元組中客體到主體的關系語義。

3 基于雙向語義的中文實體關系聯合抽取

關系抽取中傳統方法對實體間關系進行劃分，即f(ei,ej)→r，本文將關系視為主體到客體的映射函數，即fr(ei)→ej。與以往方法僅使用單向關系語義不同，本文方法將客體到主體的關系語義納入模型中，將負關系視為客體到主體的映射函數，即frT(ej)→ei。如圖1 所示，首先利用實體表征抽取模塊對文本中的實體進行識別并抽取其實體表征，然后分別識別輸入實體在正關系類型與負關系類型下的客體以得到候選關系三元組，最后由候選三元組判別部分，根據候選關系三元組在正負關系下的概率分布序列輸出該候選關系三元組的最終置信度，若置信度大于閾值，則將其采納。

圖1 基于雙向語義的實體關系聯合抽取流程Fig.1 Joint extraction procedure for entity relationship based on bidirectional semantics

4 BSCRE 模型

基于雙向語義的實體關系聯合抽取模型總體架構是在文獻［3］模型的基礎上所提出的，BSCRE 模型首先對句子中可能存在關系的實體進行定位并獲取其實體表征，然后同時利用正關系及負關系完成關系三元組抽取。如圖2 所示，BSCRE 模型包括文本表示層、實體表征抽取模塊、正負關系映射模塊、候選三元組判別模塊4 個部分。

圖2 BSCRE 模型架構Fig.2 BSCRE model architecture

4.1 文本表示層

文本表示層采用RoBERTa 預訓練語言模型［18］來獲取句子的語義表征，從而使得到的語義表征X=[x1,x2,…,xn]包含RoBERTa 在預訓練階段所獲得的先驗語義知識。

首先，將輸入的文本序列表示成向量形式，處理后字符序列中第i個字符的向量表示如式（1）所示：

其中：Wtoken(ti)、Wseg(segi)、Wpos(i)分別為token 嵌入、分句嵌入、位置嵌入。

然后，將向量表示輸入RoBERTa 中進行編碼。RoBERTa 由12 個Transformer 模塊［19］堆疊組成，取最后一個Transformer 的輸出作為輸入句子經過文本編碼后的結果，如式（2）所示：

通過RoBERTa 預訓練語言模型從輸入文本Tj中獲取具有上下文信息的字符表征序列H，用于后續抽取任務。

4.2 實體表征抽取模塊

實體表征抽取模塊根據輸入的字符表征序列，利用首尾指針識別句子中所有可能存在關系的實體位置，并根據實體位置抽取實體表征。

4.2.1 實體首尾標注

本文模型利用兩個全連接神經網絡分別對句子中所有實體的首字符和尾字符進行標注，從而完成實體定位。其中：一個標注序列表示該位置字符是否為實體的首位置，如果是，則將其標注為1，否則標注為0；另一個同理，用于標注實體的尾位置。首尾標注如式（3）、式（4）所示：

4.2.2 損失函數

本文模型采用二元交叉熵作為實體首尾標注的損失函數。實體表征抽取模塊損失函數定義如式（5）～式（7）所示。因為文本中標簽“0”的數量遠比標簽“1”多，所以將被標注為1 的概率乘以n次方，使初始狀態更符合原始分布，加速模型收斂。

其中：pi為位置i處字符被標注為1的概率；yi為樣本標簽，如果i處字符被標注為1，則yi等于1，反之等于0。

4.2.3 實體首尾位置匹配

在獲得實體的首尾位置標注序列后，采用就近匹配原則對兩個標注序列進行匹配，如圖3 所示，為同時完成對句子中多個實體的識別，本文對首指針標注序列中所有被標注為1 的字符，均與尾指針序列中位置在該字符之后的最近被標注為1 的字符進行匹配，圖中箭頭指向位置即為實體首字符所對應的尾字符，由此得到文本中的全部實體，包括“李白”“太白”“青蓮居士”“唐朝”。

圖3 實體首尾位置匹配Fig.3 Entity head and tail position match

在完成對實體位置的定位后，取字符表征序列中實體首尾位置及其中間字符表征取平均后的結果作為該實體的表征，用于后續任務，如式（8）所示：

其中：i和j分別為實體e的首位置和尾位置；He為實體的向量表示。

4.3 正負關系映射模塊

如圖2 所示，正負關系映射模塊分別從正關系及負關系的角度，利用兩組全連接神經網絡根據輸入實體獲取候選關系三元組及其概率分布序列，并將未在實體表征抽取模塊中被識別的客體重輸入關系映射器，以保證每個候選關系三元組都具備正負關系下的概率分布序列。

4.3.1 基于正負關系映射的客體識別

正負關系映射模塊如圖4 所示，將每個實體的實體表征逐個與字符表征序列相拼接作為輸入，并以該輸入實體作為主體，分別在正關系和負關系下識別其客體。正負關系映射模塊分為正關系映射器與負關系映射器，其中，正關系映射器用于識別輸入實體在每一種正關系類型下的客體，而負關系映射器用于識別輸入實體在每一種負關系類型下的客體。

圖4 正負關系映射模塊Fig.4 Positive and negative relationship mapping module

正負關系映射器利用多層指針來進行客體位置標注，如圖4 所示，假設文本中包含m種預定義關系類型，則經過正負關系的擴展后，總關系類型數為2m，為每一種關系類型建立兩個指針標注器來對該關系下的客體進行標注。對于每一個輸入實體，都在2m種關系下生成與字符序列等長的首尾標注序列，并利用如前文所述的就近匹配原則對客體進行定位。若在某關系類型的首尾標注序列中能夠成功匹配到客體，則將此時的輸入實體匹配到的客體及該關系作為一組候選關系三元組。在獲取候選關系三元組后，根據關系映射器的輸出構建其概率分布序列，具體過程如下：

1）訓練樣本構建。

在訓練過程中，本文模型通過在句中關系三元組的所有主體和客體中隨機選擇實體的方式構建訓練數據，如果選擇的是原關系三元組中的主體，則此條訓練數據是正關系映射器的正樣本，同時是負關系映射器的負樣本，如果選擇的是原關系三元組中的客體，則此條訓練數據是正關系映射器的負樣本，同時是負關系映射器的正樣本，通過這樣的設計，可以保證訓練過程中所構建的正樣本與負樣本大體均衡。

2）客體位置標注。

正負關系下的客體位置標注采用兩組全連接神經網絡對正負關系下的每一種關系類型進行遍歷，從而定位輸入實體在對應關系下的客體，如果定位成功，則將其作為一組候選關系三元組，如果不能定位到客體，則表示輸入實體在該關系類型下不存在客體。對于每一個輸入實體，均在正關系與負關系下對客體的首尾位置進行標注，其中，首指針用于預測句子中字符是客體起始位置的概率，尾指針用于預測句子中字符是客體終止位置的概率。客體位置標注如式（9）～式（12）所示：

3）候選關系三元組概率分布序列。

本文模型分別為候選關系三元組構建在正關系與負關系下的概率分布序列，并對其進行判別，如圖3 所示，當輸入實體ei時，通過正關系映射器中的首尾指針定位到關系類型rn下的客體ej，則將＜ei,rn,ej＞作為一組候選關系三元組，并將此時它在關系rn處的首指針概率分布序列與尾指針概率分布序列相加，作為此候選關系三元組在正關系下的概率分布序列。將實體ej輸入負關系映射器所得負關系類型下的首尾指針概率分布序列相加，作為候選關系三元組＜ei,rn,ej＞在負關系下的概率分布序列。候選關系三元組概率分布序列如式（13）、式（14）所示：

4.3.2 未登錄客體重載

由于所得候選三元組中的客體可能未在實體表征抽取模塊中被正確識別，從而導致候選關系三元組僅具備單向關系下的概率信息，為保證候選三元組具備正負關系下的概率信息，本文模型將檢索關系映射器所得客體是否在實體表征抽取模塊中被正確識別，如果沒有被正確識別，則將這樣的客體稱為未登錄客體，并將其重新輸入到正負關系映射器中，以確保正負關系映射模塊所得每個客體都被輸入正負關系映射器。

將未登錄客體重輸入關系映射器，主要起到以下兩個作用：1）當一個實體作為客體出現卻未在實體表征抽取模塊中被正確識別時，它有可能是未被實體表征抽取模塊識別出的正確樣本，同時它也有可能與另外的實體存在關系，因此，在關系映射器中識別出來的未登錄客體同樣應當為可能存在關系的實體，將其重新輸入正負關系映射器，有助于挖掘包含此實體的關系三元組，降低因實體表征抽取模塊識別不全所造成的誤差；2）如果一個關系三元組中的兩個實體僅有一個實體被實體表征抽取模塊所識別，那么此時這兩個實體所構成的候選三元組僅具備單向關系下的概率分布序列，無法通過雙向關系對其進行驗證，從而導致判別不準確。

4.4 候選三元組判別模塊

為有效結合候選三元組在正負關系下的概率分布序列，本文采用全連接神經網絡整合候選關系三元組在正關系與負關系下的概率信息，對候選關系三元組進行判別，得出最終的關系三元組。

4.4.1 候選三元組特征向量構建

圖5 概率分布序列Fig.5 Probability distribution sequence

4.4.2 候選三元組判別

如圖6 所示，候選三元組判別模塊將候選關系三元組的概率分布序列與首尾位置分布序列拼接并作為輸入，通過隱藏層學習候選三元組的概率信息，并利用Sigmoid 函數輸出該候選三元組的最終置信度Pspo。

圖6 判別器結構Fig.6 Discriminator structure

在本部分所利用的主要特征為候選關系三元組中實體首尾位置處的概率值及其在概率分布序列中是否具有顯著性。當總概率分布序列中對應位置處的概率值均具有較高水平，即該候選關系三元組在正負關系下概率均高，則采納該候選關系三元組，如果候選關系三元組單側關系概率較低，即存在三元組中某個實體首尾位置處概率值較低的情況，則由判別器根據訓練結果進行判別，如果候選三元組在正負關系下的概率均較低，則進行舍棄。

其中：W(·)為可訓練權值；b為偏置項。采用二元交叉熵作為損失函數。

5 實驗分析

為了驗證本文所提關系抽取方法的有效性，從3個方面對關系抽取模型進行評估：首先，對利用單向關系完成關系三元組抽取與利用正負關系協同完成關系三元組抽取的準確性進行對比；然后，將本文模型與幾個基線模型進行比較；最后，將本文模型在不同候選三元組判別器閾值下的抽取效果進行對比。

5.1 數據集與評價指標

本文采用百度DuIE 數據集［20］進行實驗評估，該數據集是中文領域的大規模信息提取數據集，包含超過21 萬條現實世界中的漢語語句及語句中的關系三元組，除此以外，數據集還預定義了50 種關系類型，該數據集中的所有數據均摘自百度百科及百度新聞提要。DuIE 數據集規模如表1 所示。

表1 數據集規模Table 1 Dataset size

本文實驗采取的主要評價指標為精確率（Precision）、召回率（Recall）、F1 值（F1 Score），用于評估模型在實體關系聯合抽取中的整體性能及預測結果。評價指標的計算公式如下：

其中：Nout_right、Nout_all、Ntest_all分別為預測正確的三元組數量、預測的三元組總數、測試集中的三元組總數。

5.2 實驗設置

本文模型利用訓練集進行模型訓練，通過驗證集進行最終評估。利用Keras 框架實現本文所提模型，實驗在Windows10 系統的計算機上進行，機器配置為6 核i5 處理器，16 GB 內存，主要參數設置如表2所示。

表2 參數設置Table 2 Parameters setting

5.3 正負關系有效性分析

為了評估正負關系的設置對模型性能的影響，本文分別測試僅使用正關系映射器進行關系抽取、僅使用負關系映射器進行關系抽取以及通過正負關系映射器相結合進行關系抽取的性能，實驗結果如表3 所示，最優結果加粗標注。從中可以發現，同時使用正負關系時模型的精確率、召回率及F1 值均高于僅使用單向關系的情況，在精確率上平均取得了1.6%的提升，這是因為正關系與負關系所包含的語義信息不同，利用負關系映射器的結果能夠與正關系所得結果進行相互驗證，進而提升精確率，同時，負關系的加入也有助于緩解文本在正關系下語義特征不鮮明的情況，從而提升模型的精確率。

表3 正負關系有效性分析實驗結果Table 3 Experimental results of positive and negative relationship validity analysis

5.4 對比實驗

將本文所提模型與近年來前沿的關系抽取模型進行比較，用于比較的基線模型如下：

1）MultiR［21］是一種多實例聯合學習關系抽取模型，能夠應用于重疊關系抽取任務。

2）CoType［22］是基于序列標注的聯合關系抽取模型，其將實體識別和關系抽取問題統一為全局序列標注問題。

3）指針標注模型［23］利用指針標注的方式完成關系三元組抽取，并引入共現實體特征和注意力機制來提升模型性能。

4）FETI［24］融合頭尾實體類別信息來完成關系三元組預測，并增加對實體類別信息的約束。

5）Casrel［3］利用首尾指針 同時預測客體及它們之間的關系，能夠有效解決關系三元組的重疊問題。

6）字詞混合模型［25］通過引入字詞混合嵌入來降低中文文本分詞時由邊界切分錯誤所導致的誤差，并利用分層標記方法來解決關系重疊問題。

表4 列出了本文模型與6 個基線模型的性能比較結果，數據顯示，本文所提模型的精確率、召回率和F1 值分別為0.816、0.795 和0.805，各項指標均高于基線模型，相較其他基線模型，在精確率、召回率及F1 值上平均分別提高了10.4%、14.4%和12.8%，這個提升來源于關系映射模塊學習到了雙向關系的語義信息，同時結合雙向的語義信息對所得候選關系三元組進行判別，只有在雙向語義中均滿足一定條件的候選關系三元組才會被采納，因此具有更高的準確率。此外，不論是正關系映射器還是負關系映射器所得到的客體，均有可能未在實體抽取模塊中被正確識別，本文模型通過將未登錄客體重輸入關系映射器的方式，進一步提升模型的召回率。

表4 模型性能比較結果Table 4 Model performance comparison results

5.5 候選三元組判別模塊閾值分析

為了驗證候選三元組判別模塊閾值對模型性能的影響，本文在不同閾值下進行對比實驗，結果如圖7 所示。從中可以看出，當閾值設置為0 時，模型輸出的關系三元組為正負關系下的所有候選關系三元組，因此具有較低的精確率與較高的召回率，隨著閾值的提高，精確率上升而召回率下降，這是由于閾值提高時置信度較低的候選三元組被舍棄，過濾掉了較多低置信度的負例，從而導致精確率上升，但同時也有部分擁有低置信度的正例被舍棄，使得召回率下降。F1 值隨著閾值的提高先呈上升趨勢后呈下降趨勢，當閾值為0.41 時，F1 值為0.805，曲線達到拐點，此時模型效果最佳。

圖7 閾值影響分析結果Fig.7 Threshold impact analysis results

6 結束語

本文在分析現有關系抽取方法的基礎上，提出一種基于雙向語義的實體與關系聯合抽取模型BSCRE。首先使用預訓練語言模型將句子轉化為字符表征序列，然后對句子中所包含的有可能存在關系的實體進行定位并獲取其實體表征，分別從正關系與負關系的角度獲取候選關系三元組及其概率分布序列，同時，對于在預測過程中出現的未登錄客體，將其重輸入關系映射器，以確保每個候選三元組都有其正負關系下的概率分布，最后根據正負關系下的概率分布序列對候選關系三元組進行判別，以完成關系抽取。DuIE 數據集上的實驗結果表明，該模型的精確率、召回率優于MultiR、CoType 等基線模型。但是，在本文模型中，候選關系三元組的抽取效果仍然依賴于指針標注的準確性，下一步將對指針標注方案進行改進，如采用語義信息更為豐富的預訓練語言模型等，從而提高關系抽取效果。