融合多任務學習和實體遮掩的關系三元組抽取模型

薛志豪,李永強,趙永智,馮遠靜

(浙江工業大學 信息工程學院,杭州 310023)

0 引 言

隨著互聯網技術的迅速發展,人類進入了信息化時代,同時產生了海量的文本數據信息,其中包含大量有重要價值的知識.然而由于這些信息繁瑣冗余,給知識利用帶來了很多困難[1].由于人工智能技術的發展,學界和工業界開始加大對信息抽取(information extraction,IE)技術的研究.信息抽取技術用于從無序的文本信息結構中抽取有特定提取價值的信息,并以結構化的方式將信息存儲于數據庫中加以利用.關系三元組抽取(relational triplet extraction,RTE)是信息抽取的重要任務之一,用于抽取實體、屬性及其實體間的相互關系,其一般表現形式為(Subject,Relation,Object),即由主體、客體和它們之間的語義關系組成.關系三元組抽取的正確性對其后的下游任務如知識圖譜、問答系統、聊天機器人等的實現效果有重要影響.

早期的研究工作采用流水線[2-4](Pipeline)方法,先用命名實體識別技術(Named Entity Recognition,NER),抽取句子中的全部實體,再對每一組實體進行關系分類(Relation Extraction,RE).該方法雖然易于執行,但忽略了實體識別和關系抽取兩個任務之間的內在聯系,并且存在誤差傳播的問題.之后,提出了許多聯合抽取方法[5],利用一個模型,優化實體識別與關系抽取兩個任務之間的聯系,一步式或多步式進行關系三元組抽取.雖然聯合抽取模型克服了流水線式方法的弊端,但是聯合抽取模型中實體識別和關系抽取使用共同的特征表示,存在特征表示不共享,特征交互不平衡的問題[6].

近些年來,Zhong等[6]提出的PURE(the Princeton University Relation Extraction system)模型將實體標記的方法引入到關系抽取任務中,取得了很好的效果,并闡述了聯合抽取方法中實體識別任務的特征表示和關系抽取任務的特征表示存在互相干擾的問題的觀點.Yan等[7]提出的PFN(a Partition Filter Network for joint entity and relation extraction)模型則采用了分區過濾網絡來優化聯合抽取模型帶來的特征表示不準確的問題.但是現有的方法依舊存在兩個主要問題:首先,目前的方法都只考慮了命名實體識別和關系抽取兩個任務之間互相干擾的問題,但是并沒有考慮命名實體識別任務中實體跨度識別和實體類型分類兩個子任務之間互相干擾的問題.目前的方法都是直接從句子中抽取出實體的跨度同時判斷實體的類型,這忽略兩個子任務之間的獨立性.其次,在進行關系抽取時實體提及詞可能會帶來負面影響.如“華盛頓是美國的第一任總統”,在進行特征表示后,“華盛頓”同時兼顧地方和人名兩種類型的信息,這會對關系分類任務造成干擾.PURE模型中提出的實體標記方法,在實體的頭尾各插入實體類型標記,增強了實體對的關系語義表示,表明融入實體類型信息對抽取實體對之間的關系有正面影響,但該方法忽視了實體提及詞對實體對之間的關系抽取會帶來負面影響.

針對上述問題,本文設計了一種融合多任務學習和實體遮掩的關系抽取模型(relational triplet extraction model fused with Multi Task Learning and Entity Masking,MTLEM).該模型采用流水線式方法,在進行命名實體識別時,將實體識別任務分解為實體跨度識別和實體類型分類兩個子任務,分別使用不同的特征表示,從而解決兩個子任務之間特征表示相互干擾的問題.在進行關系抽取時,提出了一種實體遮掩的方法,以此改進PURE模型提出的實體標記方法.利用實體類型替換實體提及并在其前后插入實體標記,一方面強調了實體類型信息,另一方面避免了實體提及詞對關系抽取帶來的負面影響.

1 相關工作

根據抽取流程和模型結構,句子級別的關系三元組抽取方法主要可以分為兩類,分別是流水線式抽取方法和聯合抽取方法.早期研究中,主要采用流水線式方法進行關系三元組的抽取,將提取文本中實體之間的關系分離成兩個獨立的任務:命名實體識別和關系抽取.Zeng等[8]使用卷積神經網絡(Convolutional Neural Networks,CNN)分別提取詞元級別和句子級別的特征,輸入進隱藏層和softmax層進行關系分類.Xu等[9]在CNN的基礎之上融入了最短依存路徑分析進行關系三元組抽取.在中文的關系三元組抽取研究方面,高丹等[10]利用CNN結合多實體關系抽取技術,在法律文書的關系抽取上,取得了很好的效果.Socher等[11]使用循環神經網絡(Recurrent Neural Network,RNN)的方法進行關系三元組抽取,利用循環神經網絡對句子進行句法解析,從而得到句子的向量表示,融入了句子的句法結構信息.Lample 等[12]則使用 長 短 期 記 憶 網 絡(Long Short Term Memory,LSTM)模 型 與 條 件 隨 機 場(Conditional Random Field,CRF)模型,將關系三元組抽取任務轉換為實體序列的標注任務.Zhu等[13]使用了圖卷積神經網絡(Graph Convolutional Network,GCN)設計了一種自生成圖神經網絡模型,使神經網絡能夠對無結構化的句子輸入進行關系推理.

由于誤差傳播、實體信息和關系信息無法有效交互等問題,近些年來研究者們設計了許多聯合抽取模型.Miwa等[14]設計了一種共享參數的模型,使用RNN、詞元序列以及依存樹等結構,通過共享編碼層的LSTM 獲得最優的全局參數,同時進行實體抽取任務和關系抽取任務.Zheng等[15]設計了一種基于序列標注的模型,巧妙的將實體識別任務和關系抽取任務整合成一個序列標注問題,可以同時抽取出實體類型和關系類型,但該方法沒能解決重疊三元組的問題.Wei等[16]設計了一種層級架構模型,將關系視作為一個實體到另一個實體的函數映射,利用頭實體去獲得某個關系類型下的尾實體,從而拼接出一個完整的關系三元組,可以很好的解決重疊三元組的問題.Wang等[17]也對于重疊三元組問題提出了一種多模塊一步式抽取模型,將關系抽取問題轉換為多種類型特征對的拼接問題.Shang等[18]在Wang等[17]提出的多模塊一步式抽取模型基礎上優化結構,提出了一種單模塊一步式抽取模型,在運行效果和執行效率上都有所突破.Takanobu等[19]使用強化學習來解決關系三元組抽取的問題,提出了一種分層強化學習框架,先識別句子中的關系類型,再在每個關系類型下抽取實體對.Li等[20]則巧妙的將關系三元組抽取問題轉換為了多輪的問答問題,利用知識問答系統自然的為實體抽取和關系抽取建模.

近些年來,研究者發現特征表示的好壞對于模型的效果影響非常大.如何更好的對任務建模獲取更準確的特征表示和如何融入更多外部有價值的信息來豐富特征表示成為了當前研究的熱點.Zhong等[6]提出的PURE模型,采用流水線式方法,并在關系抽取中融入了實體類型信息,取得了很好的效果,提出了實體和關系模型的上下文表示本質上是捕獲了不同的信息,因此共享它們的特征表示會損害性能的觀點.Yan等[7]提出的分區過濾網絡也利用雙向長短期記憶網絡(Bi-directional LSTM,Bi-LSTM),篩選出用于實體識別的信息和關系抽取的信息,避免兩個任務之間特征表示的干擾問題.在信息抽取的另一個任務,事件抽取任務中,Shang[21]等設計了一種層次架構的模型,分層次的抽取事件類型,事件觸發詞和事件觸發詞,在抽取過程中逐步融入相關的信息用以特征表示,取得了不錯的效果.盡管上述方法都取得了一定的成功,但這些方法還并不能讓人滿意.目前的方法都只專注于命名實體識別任務與關系抽取任務之間的干擾問題,并沒有深入到命名實體識別任務內部,解決實體跨度識別和實體類型分類兩個子任務之間存在的特征表示干擾問題.并且在PURE模型中融合實體類型信息的方式只是簡單的在實體頭尾標記處插入實體類型標記,忽略了實體提及詞對關系抽取帶來的負面影響.

基于以上的分析,本文提出了一種融合多任務學習和實體遮掩的關系抽取模型.利用分步式的方法,先抽取實體跨度再判斷其實體類型,細化命名實體識別任務,從而解決實體跨度抽取和實體類型分類兩個子任務之間存在的相互干擾問題.并且使用實體遮掩的方式替代實體標記的方式,在融合實體類型信息來豐富關系語義表示的同時,消除了實體提及詞對關系抽取任務的干擾,提高模型特征表示的能力.

2 模型設計

2.1 問題定義

對于一個由n個詞元(token)構成的句子W=(w1,w2,…,wn),其中wi是W的第i個詞元.在跨度級別(Span Level)表示[22]下,W中任意長度的連續詞元稱為一個跨度,如(w1,w2,w3)是一個長度為3的跨度.令S={s1,s2,…,sm}表示W中長度不超過K的所有跨度組成的集合.那么W中的所有關系三元組可表示為公式(1):

{(si,sj,r)∶si,sj∈S,r∈R,yc(si),yc(sj)∈ε}

(1)

其中si,sj,r分別為關系三元組(si,sj,r)中的頭實體(Subject)、尾實體(Object)、對應關系(Relation),R為預定義的關系類型集合,ε為預定義的實體類型集合,yc(si),yc(sj)分別為si,sj的實體類型.

本文所設計的模型MTLEM采用流水線式方法,將關系三元組抽取任務分解為兩個子任務:命名實體識別和關系抽取.而命名實體識別任務又分解為實體跨度識別和實體類型分類.

命名實體識別任務里,對W中的所有跨度si∈S先預測其為實體跨度的概率Pe(si),若Pe(si)>δ,δ為判斷為實體跨度的閾值,則判斷si為實體跨度,再預測其實體類型c=yc(si)∈ε.該任務的輸出如公式(2)所示:

{(si,c)∶si∈S,c∈ε}

(2)

基于命名實體識別的結果,關系抽取任務對所有候選實體的跨度對(si,sj)∈S×S預測關系類型r=yr(si,sj)∈R∪{}.若yr(si,sj)=,則表示(si,sj)之間不存在任何關系.該任務的輸出如公式(3):

{((si,sj),r)∶(si,sj)∈S×S,r∈R}

(3)

2.2 模型整體架構

本文提出的融合多任務學習和實體遮掩的關系三元組抽取模型整體結構如圖1所示,主要包括3部分:實體跨度識別模塊,實體類型分類模塊,實體對關系抽取模塊,其中實體跨度識別和實體類型分類共同完成命名實體識別任務.

圖1 融合多任務學習與實體遮掩的三元組抽取模型Fig.1 Relational triplet extraction model fused with multi task learning and entity masking

首先在實體跨度識別模塊中,先將句子輸入到預訓練的BERT[23]模型中,經過Embedding層獲得詞向量編碼和位置編碼,再經過雙向Transformer[24]層得到句子中每個詞元的特征向量.之后,枚舉所有長度不超過K的跨度獲得跨度集合S,對S中每一個跨度,將其首尾詞元向量與指定的跨度長度向量拼接,作為實體跨度識別的語義表示,輸入到實體跨度識別層判斷其是否是實體.接下來在實體類型分類模塊中,對每一個實體跨度si,先通過一個雙向LSTM網絡融入其實體內部的依賴信息.之后通過注意力機制分別計算與每一種實體類型的相似度,選取其中相似度最高的實體類型,作為該實體跨度的實體類型.

完成了命名實體識別任務后,在關系抽取模塊中,對于每一組實體對,先對句子進行實體遮掩操作,在頭尾實體提及詞前后插入實體標記并用實體類型信息替換實體提及詞,之后將句子重新輸入到另一個預訓練的BERT模型中,獲取關系信息的上下文表示.最后將頭尾實體類型的特征向量拼接,輸入到關系檢測層判斷其關系類型.

2.3 實體跨度識別模塊

實體跨度識別模塊的任務是獲取所有檢測為實體的跨度.其中用于實體跨度識別的語義信息由以下3部分構成:1)跨度的開始詞元向量;2)跨度的結束詞元向量;3)跨度長度的詞向量.

對于一個給定的輸入句子W=(w1,w2,…,wn),首先經過一個預訓練的BERT模型,獲取句子中每個詞元包含上下文信息的特征向量,如公式(4)所示:

W=(w1,w2,…,wn)

(4)

其中,wt∈dw代表BERT模型輸出的第t個詞元的特征向量.

令S={s1,s2,…,sm}表示W中所有長度不超過K的跨度組成的集合.對于任意跨度si=(wt,wt+1,…,wt+k-1)∈S,1≤i≤m,1≤k≤K,1≤t≤n-k+1,其寬度為k.令start(si)=t表示跨度si的在W中的開始位置,end(si)=t+k-1表示跨度si的在W中結束位置.則跨度si用于進行實體跨度識別的語義信息可表示為he(si):

he(si)=[wstart(si);wend(si);lk]

(5)

其中,lk∈dl是跨度長度的詞向量,[·;·]表示向量拼接操作.

將he(si)輸入進一個多層前饋神經網絡,預測跨度si為實體跨度的概率pe(si).

2.4 實體類型分類模塊

本文觀察到命名實體識別任務與計算機視覺里的目標檢測任務[25]具有高度相似性,兩個任務都需要在上下文信息中,選取特定的區域,并分配相應的類別.在目標檢測領域內,兩階段對象檢測器(two-stage object detectors)[26-28]是十分有效的目標檢測算法.它將目標檢測任務分為兩個步驟,先選定候選區域,然后對候選區域進行分類和微調.其次,Yan等[7]和Zhong等[6]研究者也發現,在實體識別任務和關系抽取任務中使用相同的上下文表示會產生消極影響.受到上述思想的啟發,本文設計了實體類型分類模塊.

實體類型分類模塊的目的是獲取實體跨度的實體類別.本模塊主要由3部分構成:1)融合實體跨度序列信息,增強詞元的特征表示;2)使用注意力機制獲取特定實體類別下的實體語義表示;3)實體與實體類別的相似度計算.

本文采用Bi-LSTM網絡融合實體跨度序列信息.Bi-LSTM的基本思想是對每個實體跨度的詞元序列分別經過前向LSTM網絡和后向LSTM層網絡,然后將同一個位置的輸出合并,對于每一個位置的輸出而言,都包含了序列的前向信息與后向信息.Bi-LSTM的具體結構如圖2所示,其中輸出h:

圖2 Bi-LSTM結構Fig.2 Bi-LSTM structure

(6)

基于實體跨度識別模塊的結果,獲得實體跨度集合S={s:Pe(s)>δ},對于任意實體跨度s=(wt,wt+1,…,wt+k-1)∈S,將其輸入到Bi-LSTM網絡獲取融入實體跨度序列信息的特征表示s:

s=(h1,h2,…,hk)

(7)

其中,hi∈dh代表實體跨度s融合實體跨度序列信息后輸出的第i個詞元的特征向量.

在融合了實體跨度序列信息后,本文采用注意機制來檢測實體跨度的實體類型,為每一個實體跨度捕獲最匹配的實體類型.具體來說,本文隨機初始化嵌入矩陣C∈|c|×dh作為實體類型嵌入,并定義一個相似性函數φ來衡量候選類型c∈C與每個實體跨度詞元hj∈s之間的相關性,如公式(8)所示:

φ(c,hi)=vTtanh(V[c;hi;|c-hi|;c⊙hi])

(8)

其中V∈4dh×4dh和v∈4dh×1是可學習的參數,|·|是絕對值操作符,⊙是矩陣的哈達瑪積.

根據實體跨度詞元h與實體類型c的相關性得分,獲取適應了實體類型c的實體表示sc:

(9)

最后,通過使用相同的相似性函數φ獲取實體類型c在實體跨度s下的概率Pc(c|s):

(10)

2.5 關系抽取模塊

關系抽取模塊的任務是獲取每個跨度對(si,sj)的關系類型r=yr(si,sj)∈R∪{},其中R為預先設定的關系類型集合,為不存在關系.如圖1所示,獲得用于關系分類的關系語義編碼由以下3個步驟構成:1)對句子W進行實體遮掩處理,得到新句子獲取的詞向量;3)獲取跨度對的關系語義編碼.

基于實體類別分類模塊的結果,任選一個跨度對(si,sj)∈S×S,ci=yc(si)∈ε,cj=yc(sj)∈ε,設si為關系三元組中的頭實體,ci為頭實體的實體類型,sj為關系三元組中的尾實體,cj為尾實體的實體類型.則句子W可表示為:

W=(w1,…,wstart( i),…,wend( i),…,wstart( j),…,wend( j),…,wn)

(11)

(12)

上述過程中,新定義的標記由BERT詞匯表中的備用標記表示.

(13)

將hr(si,sj)輸入進一個多層前饋神經網絡,預測候選實體對(si,sj)關系類型r=yr(si,sj)的概率分布Pr(r|(si,sj)),r∈R∪{ε}.

實體標記方法

本文所提出的實體遮掩方法來源于PURE模型中的實體標記方法,本節將先簡要闡述實體標記方法,再詳細闡述改動的差異和優化的思路.

圖3 PURE模型中的實體標記方法Fig.3 Entity marking method in PURE model

(14)

(15)

本文提出的MTLEM模型中,除了在頭實體和尾實體的前后插入標記外,還用實體類型標記遮掩了實體提及詞,如式所示;候選頭尾實體si和sj之間的關系語義編碼由頭尾實體類型標記和的詞向量構成,如式所示.用頭尾實體的類型標記遮掩原本的實體詞元,可以消除實體提及詞對關系分類任務的干擾,同時也能提供足夠的語義信息來完成關系分類任務.因為實體之間的語義關系往往由上下文中其他關鍵詞元(如動詞、概念性名詞等)來確定,而非實體提及詞本身.如句子“華盛頓是美國的第一任國總統”,實體提及詞“華盛頓”既可能是人物類型實體也可能是地點類型實體,若將其改為“<人>是<地點>的第一任總統”則會優化這種情況.

2.6 損失函數

本文采用流水線式方法進行關系三元組抽取.對于命名實體識別,使用交叉熵損失函數分別計算實體跨度識別模塊和實體類別分類模塊的損失值Le和Lo:

(16)

(17)

L=Le+Lo

(18)

關系抽取中,也采用交叉熵損失函數計算損失,損失函數Lr:

(19)

3 實驗與結果分析

3.1 數據集

本文在關系三元組抽取任務中廣泛使用的兩個數據集 SCIERC[29]和 SKE[30]上驗證模型的有效性,其中SCIERC為英文數據集,SKE為中文數據集.SCIERC數據集來源于500篇人工智能領域的論文摘要,總共包含2687條數據,其中訓練集有1861條數據,驗證集有275條數據,測試集有551條數據,數據集內包含6種類型的科學實體和7種類型的關系.SKE數據集來源于百度百科和百度信息流文本,是目前業界規模最大的基于模式的中文關系三元組抽取數據集,其中包含了約43萬個三元組數據,21萬個中文句子,以及定義好的24種實體類別和50種關系類別.SKE數據集劃分為17萬訓練集,2萬驗證集和2萬測試集,由于測試集并未公開,所以本實驗默認將驗證集作為測試集.

3.2 評價指標及參數設置

本文的評價標準采用的是準確率(Precision)、召回率(Recall)和F1值,計算式見公式(20)～公式(22):

(20)

(21)

(22)

以上3個公式分別計算命名實體識別和關系抽取兩個模塊的的準確率、召回率和F1值.其中,TP是預測正確的標簽數量,FP為預測錯誤的標簽數量,FN為未抽取出的正確的標簽數量.

本文模型訓練使用預訓練模型BERT作為詞向量編碼器,在SCIERC數據集上,使用在大量科學論文語料庫上預先訓練好的SciBERT[31],在SKE數據集上,使用基于全詞遮罩(Whole Word Masking)技術的中文預訓練模型Chinese-BERT-wwm[32].對于命名實體識別模塊,模型訓練采用每64個句子為一組,訓練200個循環,設置的最大跨度長度為12,對于預訓練模型參數的學習率設置為1e-5,其他參數的學習率設置為1e-4.對于關系抽取模塊,模型訓練采用每32個句子為一組,訓練10個循環,預訓練模型參數的學習率設置為2e-5,其他參數的學習率設置為1e-4.具體參數設置如表1所示.

表1 超參數設置Table 1 Hyperparameter setting

3.3 基線模型

將 MTLEM同以下模型進行對比,這些模型在SCIERC和SKE數據集上的數據上都有著不錯的表現.

a)DyGIE[33]:將聯合抽取任務轉換為跨度的動態圖構建,將跨度視為圖中的節點,并利用權重為置信度的關系類型以及共指關系連接這些節點.動態跨度圖允許共指關系和關系類型在圖上進行傳播,以迭代地更新跨度的表示,將實體識別任務轉換為跨度的分類任務,將關系抽取任務轉換為跨度對的分類任務.

b)DyGIE++[34]:在DyGIE的基礎上,添加了預訓練模型BERT用于詞向量的編碼,并引入了跨度信息,用于增強Bert模型輸出的上下文信息表示.

c)SpERT[35]:模型采用分類的思想處理關系三元組抽取問題,實體識別和關系抽取均為分類模型.在進行實體識別時,融入了跨度內信息,豐富跨度的表示.進行關系抽取時,融入了跨度間信息,豐富跨度對的表示.

d)PURE:采用管道式抽取的方式進行關系三元組的抽取,實體識別任務使用標準跨度表示處理,關系抽取任務采用實體標記的方式,引入實體類型信息用于跨度對的關系抽取.

e)PFN:設計了一個分區過濾網絡,分離出用于命名實體識別的特征信息和用于關系抽取的特征信息,最后利用表格填充的方式,分別抽取實體跨度和跨度對之間的關系.

3.4 模型對比實驗分析

表2為本文所提出的MELEM模型和其他基線模型在SCIERC和SKE數據集中的測試集上的評估結果,每個運行結果都是經過3次運行后得到的平均值,可以看出,MELEM模型在兩個數據集上的表現突出,絕大多數指標都達到了最優.

表2 不同的模型在SCIERC和SKE測試集上的結果Table 2 Results of different models on SCIERC and SKE test sets

在命名實體識別任務上,MELEM分別在SCIERC和SKE數據集上取得了69.2%和82.6%的F1分數,對比于最優基線模型,提升了0.4%和3.3%.對比模型提高程度,在SCIERC數據集上提升效果較低的原因為SCIERC上的性能已經趨于飽和,該數據集僅含有兩千多條數據和6種實體類型,數據集較小,模型改進的空間十分有限.對比其他基線模型,SpERT模型雖然融入了跨度內信息,豐富了實體的信息,但是實體跨度識別和實體類型識別的特征信息依舊會存在互相干擾的問題.PURE模型采用的是標準跨度模型,并未使用跨度內信息,僅僅使用了頭尾詞元向量和跨度長度向量.PFN模型雖然使用了分區過濾網絡,分離了實體識別和關系抽取相關的特征信息,但是對于實體識別而言,僅僅只是使用了頭尾詞元向量,忽略了其他重要的跨度表示信息,如跨度內詞元、跨度長度和實體類型等.而本文所提出的MELEM模型,在前人的基礎上,豐富了跨度的表示,將實體類型信息也用于進行跨度表示.其次受到實體識別與關系抽取的特征信息存在相互干擾的啟發,本文將其思想用于實體識別任務當中,設計了多任務式的實體識別模塊,利用不同的特征信息,分別進行實體跨度識別和實體類型分類,由實驗結果可知,本文所設計的方案是有效的.

在關系抽取任務上,MELEM分別在SCIERC和SKE數據集上取得了51.3%和75.9%的F1得分,對比于最優基線模型,提升了2.2%和1.5%.在關系抽取模塊上,本文提出了一種全新的實體遮掩方法,發現了實體提及詞會對實體之間的關系抽取產生負面影響,同時也借鑒了PURE模型提出的實體標記方法,將實體類型信息用于關系抽取任務當中.實驗結果表明,MELEM比其他模型能更有效地處理關系三元組抽取任務.

3.5 消融實驗分析

3.5.1 實體識別模塊

針對命名實體識別模塊上的改進點,在SCIERC和SKE兩個數據集上分別進行消融實驗,驗證各個模塊的有效性,實驗結果如表3所示.對于去除分層架構,改為只是用標準跨度模型進行實體識別,F1值分別下降了0.4%和3.3%,這表明實體跨度識別和實體類型分類兩個任務之間會互相干擾,使用相同的特征信息進行實體跨度識別和實體類型分類會導致效果下降.去除Bi-LSTM層,不進行跨度序列信息的融合,F1值分別下降了0.6%和1.6%,去除實體類別融合,改為使用頭尾詞元信息進行實體類型的多分類,F1值分別下降了0.2%和0.5%,這表明跨度序列信息,實體類型信息都能有效的提升命名實體識別的性能,對命名實體識別的特征表示有一定影響.

表3 兩個數據集上的實體識別模塊消融實驗Table 3 Ablation experiment of entity recognition module on two datasets

為進一步驗證MTLEM實體識別模塊的有效性,本文分析了在不同實體長度下的消融實驗數據結果.如圖4所示,本文將實體分為3種類型,分別是1～3個詞匯的短實體,4～6個詞匯的中實體和7個詞匯及以上的長實體.經過數據分析發現,相較于未采用分層架構的標準跨度模型,其余3種分層架構的模型在短實體上并沒有顯著的優勢,但是在中實體和長實體上的優勢逐漸明顯,這也驗證了在短實體中跨度內信息的重要性并不明顯,在只有1個詞匯和2個詞匯的實體中跨度內信息可以完全被頭尾實體信息所替代.同時短實體識別任務中,實體跨度識別和實體類型分類兩個任務之間的特征信息也高度重合,但隨著實體跨度長度的增加,兩個子任務之間的干擾也逐漸增強.在長實體識別任務中,MTLEM相較于標準跨度模型,F1值提升了6.61%.對于跨度序列信息的使用,使得MTLEM模型在相對于去除Bi-LSTM層的情況下在3種類型的實體抽取任務中,F1值分別提升了01%,4.28%和1.84%.這也表明融入了跨度序列信息,對于短實體而言,跨度間信息不突出,效果不明顯,而對于中長實體而言,效果很突出.對于實體類別信息的使用,在中長實體上的效果也更加突出,ETLEM模型相對于去除實體類別融合的情況下在中長實體抽取任務中,F1值分別提升了1.3%和0.37%.以上結果充分表明了本文提出的ETLEM模型在長文本命名實體識別任務上的有效性.

圖4 SCIERC數據集上不同實體長度下命名實體識別的結果Fig.4 Results of named entity recognition under different entity lengths on SCIERC datasets

3.5.2 關系抽取模塊

為了驗證關系抽取模塊中實體遮掩方法的有效性,在SCIERC和SKE兩個數據集上進行消融實驗,分別去掉頭尾實體的實體標記只使用實體類型替代實體提及詞和只進行頭尾實體的實體標記不進行實體提及詞的替換,實驗結果如表4所示.從實驗結果中可以觀察到,僅進行實體提及詞替換和僅進行實體標記,模型的3項指標都存在一定程度的下降.在去掉模型的實體標記,F1值分別下降了0.8%和1.7%,原因在于頭尾實體標記會強調實體在句子中的重要性,從而捕獲到更豐富的特征信息.而不進行模型的實體提及詞替換,F1值分別下降了1.0%和2.3%,這種處理方式在進行關系抽取時,既沒有消除實體提及詞對于關系語義表示的負面影響,也沒有利用到實體類型的信息.結果表明,使用結合了實體標記和實體提及詞替換的實體遮掩方法能夠有效提高關系抽取任務的性能.

表4 兩個數據集上的關系抽取模塊消融實驗Table 4 Ablation experiment of relational extraction module on two datasets

4 結 語

本文提出了一種融合多任務學習和實體遮掩的關系三元組抽取模型,與以往的研究不同,該模型將命名實體識別任務拆解為實體跨度識別和實體類型分類兩個子任務,分別使用不同的特征表示進行處理,有效的消除了實體跨度識別和實體類型分類兩個子任務之間存在的干擾問題,同時使用實體遮掩的方法處理關系抽取任務,利用實體類型替代實體提及詞,并且在其頭尾插入實體標記,不僅突出了實體在上下文中的重要性還消除了實體提及詞對關系抽取任務的干擾.通過與已有模型的實驗結果進行比較,本文所提出的模型在兩個關系三元組抽取數據集上都取得了最好的性能,證明了此模型的有效性.

在未來,本文將此模型用于關系三元組抽取的方法,嘗試應用于其他的信息抽取任務中,如事件抽取,文檔級關系抽取.同時將深入研究關系抽取任務中的特征表示問題,尋找更有效的特征融合與分離的方法,進一步提高三元組抽取任務的性能.