基于Mogrifier LSTM 的序列標注關系抽取方法

方義秋，劉飛，葛君偉

（1.重慶郵電大學 計算機科學與技術學院，重慶 400065；2.重慶郵電大學 軟件工程學院，重慶 400065）

0 概述

互聯網技術的快速發展使得其產生的信息呈爆炸式增長趨勢，而非結構化數據在其中占據主體部分，大幅提高了用戶獲取有價值信息的難度，因此，如何自動地從無結構化文本中抽取結構化信息成為一個熱門研究方向。信息抽取技術從無結構化文本中抽取指定類型的實體、關系、事件等事實信息［1］，并對其進行結構化處理。關系抽取作為信息抽取領域的核心子任務，能夠從非結構化文本中提取關系三元組［2］，具體表現形式為三元組，其中，s表示頭實體，o表示尾實體，r表示頭實體和尾實體之間的關系。關系抽取在構建資源庫和知識圖譜等方面具有重要意義，已經成為當前自然語言處理領域的研究熱點。

關系抽取可以劃分為命名實體識別和關系分類2個子任務，根據2 個子任務之間的完成順序和依賴關系，可以將關系抽取模型結構分為流水線結構和聯合抽取結構。流水線結構將實體和關系的抽取分為2 個先后獨立的任務，在實體識別已經完成的基礎上進行實體間關系抽取［3］，這種方式存在冗余實體推斷和子任務間誤差傳播等問題。聯合抽取結構將關系抽取當作一個整體任務，同時完成實體識別和實體間關系分類2 個任務［4］，根據實現原理可分為參數共享型和序列標注型。參數共享型結構分別對2 個子任務進行建模，通過共享2 個子任務之間的模型參數來解決誤差傳播問題。序列標注型結構設計一種包含實體和關系信息的標簽，基于該標簽方案，實體和關系的聯合抽取任務可以被轉化為給實體及實體間關系分配對應的標簽，然后利用神經網絡來建模該任務，從而實現關系抽取，上述過程在一定程度上緩解了上游任務對下游任務產生冗余信息的問題。

目前，常見的關系抽取方法主要分為基于有監督學習、基于半監督學習和基于無監督學習的方法［5］。有監督的學習方法是當前關系抽取領域使用最為普遍的方法，其在人工標注的數據樣本上訓練模型，然后進行關系分類和抽取。監督學習方法主要分為基于特征向量的方法和基于核函數的方法。KAMBHATL［6］利用最大熵模型將文本的各種詞匯、句法和語義特征相結合，通過句法分析樹，即使使用很少的詞匯特征也可以取得較高的精確度。當含有大量的無標簽數據時，有監督學習方法需要耗費大量人力和時間成本進行數據標注，擴展性較差。為了緩解該問題，遠程監督關系抽取應運而生。MINTZ等［7］提出一個假設，如果給定文本中的實體對和外部知識庫的實體對一致，那么假設它們之間包含相同的關系。HU等［8］根據定量評估結果，通過整合實體優先證明了知識圖和注意力機制在引入和選擇有用信息方面具有有效性。RIEDEL等［9］設計多示例學習，并提出“至少表達一次”的假設，用來緩解MINTZ 提出的過強遠程監督假設問題。在這之后的研究工作主要集中在如何減少對人工標注語料庫的依賴以及提高模型的可遷移性方面。

基于半監督的關系抽取方法主要利用少量已標注數據集作為初始種子集［10］，通過一種循環機制標注大量的無標注數據，既減少人工標記語料的數量，又能夠處理大規模無標注語料庫，在一定程度上避免了對人工標注語料的過度依賴。目前，半監督關系抽取方法常用的是Bootstrapping 算法，但該算法易受初始種子集影響以及存在語義漂移等缺點。

基于無監督學習的關系抽取方法沒有給定標注樣本，不進行模型訓練，直接對樣本進行建模分析。HASEGAWA等［11］較早利用無監督學習進行關系抽取，其核心思路是利用抽取實體之間的上下文相似性對實體進行聚類。

當前，科學技術的不斷進步使得計算能力得到顯著提升，深度學習的優勢也逐漸體現出來。早期基于機器學習的關系抽取方法受到標注數據高成本的限制，隨著深度學習技術的快速發展，這類關系抽取方法的效果得到大幅提升。通過深度學習方法進行關系抽取的主要思路為：利用詞向量、位置向量等構建句子的向量化表示，使用深度學習模型對句子特征進行抽取，然后建立關系抽取模型，最后完成實體間的關系抽取。在基于深度學習方法的關系抽取領域，解決重疊關系問題依然具有挑戰性。WEI等［12］提出一種新的標記策略，首先識別頭實體，然后識別每個指定關系下的尾實體，該聯合抽取方法在一定程度上可以解決關系重疊問題。HANG等［13］建立一種端到端的聯合關系抽取模型，在命名實體識別階段引入微調的實體標簽模型，并通過參數共享層來捕獲實體特征，其可以抽取不同類型的重疊關系三元組。

本文參考文獻［12］，采用“BISEO”標注策略將關系抽取轉化為序列標注任務，建立一種基于Mogrifier LSTM［14］的序列標注關系抽取模型。該模型通過Mogrifier LSTM 提高輸入序列的上下文信息交互能力，利用自注意力增強上下文中的重要特征并削弱次要特征，同時結合基于關系的注意力機制緩解重疊關系問題。

1 序列標注關系抽取方法

本文基于Mogrifier LSTM 的序列標注關系抽取方法將關系抽取任務轉化為序列標注問題，提取句子的詞信息、字符信息和位置信息，利用Mogrifier LSTM 增強上下文之間的交互，結合關系注意力機制改善關系重疊問題。模型結構如圖1 所示，該模型主要由嵌入層、Mogrifier LSTM 層、注意力層、關系注意力層和關系分類層5 個部分組成。

圖1 基于Mogrifier LSTM 的序列標注關系抽取模型結構Fig.1 Sequence tagging relationship extraction model structure based on Mogrifier LSTM

1.1 嵌入層

詞嵌入表示是將句子中的詞映射為稠密的向量。在本文中，一個含有m個單詞的句子表示為X=w1，w2，…，wm，每個單詞wi均轉換為實數向量，由詞嵌入矩陣轉換而成，其中，V表示詞匯表的大小，dw表示詞嵌入的維度。

將句子中的單詞作為一個序列，每個字符用向量表示并輸入到卷積神經網絡中，即得到字符嵌入表示。

在關系抽取任務中，每個單詞擁有2 個相對距離，分別為該單詞到頭實體以及該單詞到尾實體的距離，靠近目標實體的詞通常可以為確定實體之間的關系提供更多的信息。因此，本文采用文獻［15］所提方法，在模型中加入位置向量特征，即將詞位置嵌入拼接到句子向量表示中，將得到的新句子向量表示輸入到模型的下一層。

1.2 Mogrifier LSTM層

長短期記憶（Long Short-Term Memory，LSTM）網絡是一種改進的循環神經網絡，因為LSTM 在訓練過程中可以學習記憶與遺忘信息，所以可以更好地捕捉長距離依賴關系［16］，這在一定程度上能夠緩解較長序列訓練過程中的梯度爆炸和梯度消失問題。LSTM 模型結構主要由遺忘門、輸入門、記憶門和輸出門4 個部分組成：

1）遺忘門將上一時刻隱藏層的輸出結果ht-1和當前時刻的輸入xt作為輸入，從而決定上一時刻的細胞狀態ct-1有多少保留到細胞狀態ct，計算如下：

2）輸入門將上一時刻隱藏層的輸出結果ht-1和當前時刻的輸入xt作為輸入，從而決定當前時刻的輸入xt有多少保存到細胞狀態ct，計算如下：

3）記憶門確定將哪些新信息存儲在細胞狀態中，計算如下：

4）輸出門控制記憶細胞ct到下一時間步隱藏狀態ht的信息流動，計算如下：

其中：xt表示t時刻的輸入內 容；ht-1表示t時刻的輸出內容；Ct-1表示t-1 時刻的細胞狀態；ft表示遺忘門的輸出內容；σ和tanh 分別表示sigmoid 和tanh 激活函數；Wf、Wi、Wc、Wo分別表示權重參數；bf、bi、bc、bo分別表示偏置參數。

然而，LSTM 各個門的輸入和隱藏狀態之間是完全獨立的，它們只在門之間進行交互，這在一定程度上會存在丟失上下文信息的問題。為此，本文采用Mogrifier LSTM，在不改變LSTM 本身結構的前提下，在普通的LSTM 計算之前交替地讓輸入x和隱藏狀態hprev進行交互，從而加強上下文信息的建模能力。將當前時刻的輸入和隱藏狀態經過指定輪次的運算，從而實現兩者之間的信息交互。在交互運算過程中，每一輪的當前輸入都是由前一輪輸入與前一輪隱藏狀態進行交互運算所得來，同時每一輪的隱藏狀態都是由前一輪隱藏狀態與前一輪輸入進行交互運算所得來。在經過交互之后，會獲得新的輸入和隱藏狀態，此時兩者之間已經存在信息交互，將兩者輸入到傳統的LSTM 中以改善LSTM 輸入的上下文不相關的問題。交互運算過程如下：

其中：Qi、Ri是隨機初始化矩陣，在具體實現中，通過將Qi、Ri分別分解為低維矩陣以在一定程度上減少模型參數。在Mogrifier LSTM 交互運算［14］過程中，當輪次為奇數時，交互運算如式（7）所示，當輪次為偶數時，交互運算如式（8）所示。因為sigmoid 函數運算結果的取值范圍為（0，1），為避免經過多次乘運算后結果越來越小，式（7）和式（8）通過乘以一個數值2 來保證其數值的穩定性。經過r輪交互運算后，將得到新的x、ht用于后續的LSTM 運算，交互過程如圖2 所示。

圖2 5 輪交互更新過程Fig.2 5 rounds of interactive update process

1.3 注意力層

注意力機制起源于計算機視覺相關研究，其目的是使人們忽略圖像中的無關信息，更加關注重點信息。為了獲取句子中詞語的上下文語義信息，本文采用自注意力機制。自注意力機制通過計算句子中任意2 個詞之間的相似性，從而將這2 個詞聯系起來，以捕獲句子中任意2 個詞之間的關系，最終在一定程度上緩解長距離依賴問題［17］。通過自注意力計算之后，將得到新的句子向量表示，自注意力機制的計算公式如下：

其中：KT表示K的轉置；dk是用于調節內積的矩陣；Q、K、V是可訓練的參數矩陣。

1.4 關系注意力層

句子中的詞匯在不同關系下會發揮不同的作用，例如，“在電影《中國乒乓》中，鄧超既是導演又是主演”，在該句中，鄧超與《中國乒乓》存在導演以及主演的關系，在不同關系下對實體三元組抽取有不同的影響。因此，本文采取基于關系的注意力機制［18］為每個關系下的上下文單詞分配對應的權重，計算如下：

其中：rk表示第k個關系的向量表示；v、Wr、Wg、Wh分別是可訓練的參數矩陣；avg 表示平均池化操作；sg表示句子的全局表示。通過上述過程可知，注意力分數不僅表明單詞對關系抽取的重要性，而且體現其對句子表示的貢獻程度。最終，根據句子中所有單詞的加權和得到特定關系下的句子表示，如下：

在獲得特定關系下的句子表示之后，本文采取一種門控機制［18］，目的是過濾掉不相關的關系，從而提升后續解碼過程的正確性以及關系抽取的準確性。門控機制具體計算如下：

1.5 關系分類層

本文利用序列標注方法來完成關系抽取任務。在序列標注階段，對句子中的每個詞匯都設置對應的標簽，根據標簽抽取出相應的實體。對于實體位置標簽，本文采取“BIESO”標注策略來表示每個詞匯在實體中的位置信息：“B”表示實體開始；“I”表示實體中間；“E”表示實體結尾；“S”表示單個詞匯；“O”表示其他詞匯，用于標注不相關詞匯。

在關系抽取任務中，常存在關系重疊問題，即多個關系三元組共享同一個實體，如圖3 所示，關系重疊主要分為正常（Normal）、單實體重疊（Single Entity Overlap，SEO）和實體對重疊（Entity Pair Overlap，EPO）3 種類型。本文根據關系類型進行相應地實體抽取，標注處于不同關系下的實體，該方法能夠在一定程度上解決關系重疊問題。

圖3 關系重疊類型Fig.3 Relationship overlap types

關系分類模塊利用雙向長短期記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）網絡進行序列標注，將句子中的每個詞匯映射為相應的標簽。本文將隱藏層狀態作為輸入，利用softmax 分類器從給定句子的關系類別集合中預測其對應的標簽：

2 實驗結果與分析

2.1 實驗數據集

本文采用關系抽取領域使用較廣泛的NYT10數據集進行實驗，該數據集由RIEDEL 等利用紐約時報中的語料庫并結合Freebase 知識庫進行對齊標注而生成［19］。其中，訓練集由2005—2006 年的新聞語料組成，測試集由2007 年以后的句子組成。該數據集共包含53 類關系，其中，“NA”表示2 個實體之間沒有任何關系。數據集詳細信息如表1 所示。

表1 數據集信息Table 1 Dataset information

2.2 評價指標

在關系抽取任務中，通常采用精確率（Precision，P）、召回率（Recall，R）和F1 值作為評價指標，三者的計算公式分別如下：

其中：真正例（TTP）表示將正類預測為正類的個數；假正例（FFP）表示將負類預測為正類的個數；真反例（TTN）表示將負類預測為負類的個數；假反例（FFN）表示將正類預測為負類的個數；F1 值是將精確率和召回率進行加權調和的結果。在關系抽取領域，將關系三元組中的頭實體、尾實體和關系都預測正確才判定該關系三元組正確。

2.3 實驗環境和超參數設置

本文采用交叉驗證方法對實驗進行調優，首先在訓練集上訓練模型，然后在測試集上測試已經訓練好的模型。本文的初始實驗參數參考文獻［18］的最優值進行設置，然后根據實驗結果微調參數。

表2 和表3 所示分別為本文實驗所使用的超參數及實驗環境。實驗選取Adam 作為優化器，該優化器結合AdaGrad 與RMSProp 這2 種算法的優點，可以根據歷史梯度的震蕩情況和過濾震蕩后的真實歷史梯度對變量進行更新。在Bi-LSTM 模塊中，隱藏層的維度與單詞嵌入的維度均設置為300，丟棄率為0.5，Mogrifier LSTM 的交互輪次為5。

表2 超參數設置Table 2 Hyper parameters setting

表3 實驗環境Table 3 Experimental environment

2.4 結果分析

為了驗證本文模型的關系抽取性能，進行以下對比實驗：

1）不同輪次r對關系抽取結果的影響

選擇文獻［14］中的參數r作為本文實驗的基礎參數，為了得到最佳的實驗結果，分別選取4、5、6、7作為實驗參數r的不同取值，4 輪實驗中除參數r以外其余參數全部保持一致。從表4 可以看出，F1 值隨著r的增大先提高后降低，當r值為5 時，F1 值獲得了最高值。

表4 不同輪次下的實驗效果Table 4 Experimental results under different rounds

2）3 種模型的精確率對比

關系抽取任務的數據集語料均為句子或文本段，循環神經網絡結構適用于處理具有連續性的序列形式數據（如句子、語音等）。為了驗證引入Mogrifier LSTM 對關系抽取性能具有提升效果，本次實驗將Mogrifier LSTM 分別與循環神經網絡中2 種經典模型，即LSTM 模型和門控循環單元（Gated Recurrent Unit，GRU）模型進行對比。LSTM 主要利用門機制，能夠控制每個細胞單元保留的信息以及記憶當前輸入的信息，通過學習獲得權重從而控制依賴的長度，并緩解梯度消失問題。相對LSTM 而言，GRU 內部實現上少一個門控，同時參數也較少，在實驗過程中更易收斂，但LSTM 和GRU 都存在缺少上下文交互的問題。

在本次實驗的5 輪交互運算中，Mogrifier LSTM每輪的當前輸入和隱藏狀態都進行交互運算。從表5 可以看出：相較傳統的LSTM，Mogrifier LSTM的精確率提升4 個百分點，證明在LSTM 普通計算之前增強上下文信息交互有利于提升關系抽取性能；相較GRU，Mogrifier LSTM 的精確率提升1.7 個百分點。實驗結果表明，本文Mogrifier LSTM 的關系抽取性能優于LSTM 和GRU。

表5 3 種模型的精確率對比Table 5 Comparison of precision of three models

3）重疊關系實驗分析

關系抽取領域存在重疊關系問題，主要分為Normal、EPO、SEO 這3 種類型。本文將近年來所提的幾種經典模型與本文模型進行對比，結果如圖4～圖6 所示。從圖6 可以看出，本文模型在SEO 類型下F1 值明顯高于其他模型，F1 值較ETL-Span 模型提升14.4 個百分點，證明本文模型在一定程度上能夠緩解SEO 類型的重疊關系問題。

圖4 存在Normal 類型關系重疊時的關系抽取性能對比Fig.4 Comparison of relationship extraction performance in case of Normal type relationship overlap

圖5 存在EPO 類型關系重疊時的關系抽取性能對比Fig.5 Comparison of relationship extraction performance in case of EPO type relationship overlap

圖6 存在SEO 類型關系重疊時的關系抽取性能對比Fig.6 Comparison of relationship extraction performance in case of SEO type relationship overlap

4）基線模型對比分析

為了驗證本文模型對于實體關系抽取的有效性，在NYT 數據集上將其與多個模型進行對比。對比模型具體如下：

（1）NovelTagging［20］提出一種新的標注策略，將聯合關系抽取任務轉換為序列標注問題。該模型通過在解碼的過程中增加偏置損失函數，增強實體之間的相互聯系，使得模型更加適合特殊標簽。

（2）CopyRE［21］提出一種基于復制機制的端到端學習模型，采用一個聯合解碼器和多個獨立解碼器這2 種不同的解碼策略，在一定程度上解決了重疊關系問題。

（3）MultiHead［22］利用條件隨機 場（Conditional Random Field，CRF）將關系抽取任務轉換為一個多頭選擇問題，一次建模所有實體和句子，有助于獲得相鄰實體和關系之間的信息。

（4）CopyMTL［23］提出由Encoder 和Decoder 組成的模型，Encoder 部分使用Bi-LSTM 建模句子上下文信息，Decoder 部分則結合復制機制生成多對三元組，結合命名實體識別技術來解決無法匹配多字符實體的問題。

（5）OrderRL［24］提出一個序列到序列的模型，并在該模型上應用強化學習，通過強化學習過程來完成三元組的生成，強化學習獎勵與生成的三元組有關，允許模型自由生成三元組以獲得更高的獎勵。

（6）HRL［25］提出一個分層強化學習框架，將實體當作關系的參數來促進實體提取與關系類型交互，通過層級結構來處理重疊關系問題。

（7）ETL-BIES［26］提出一種新的分解策略，第一步為頭實體提取，第二步為尾實體和關系提取。與先提取后分類的方法相比，該策略第一步不再提取所有實體，只識別可能參與目標三元組的頭實體，從而降低冗余實體對的影響。

從表6 可以看出，在NYT 數據集上，本文模型的精確率、召回率和F1 值分別為0.848、0.834 和0.841。相較對比模型，本文模型在NYT 數據集上取得了更高的精確率和F1 值，且精確率和召回率具有較小的差值，說明模型較為穩定。本文模型的F1 值較ETLBIES 提升6.7 個百分點，證明該模型有利于提升關系抽取性能。

表6 不同模型在NYT 數據集上的性能對比結果Table 6 Performance comparison results of different models on NYT dataset

NovelTagging 模型提出一種標注方法來實現關系抽取，但該模型只考慮單個實體只屬于一個三元組的情形，無法識別重疊關系，因此，其召回率較低。CopyRE 是一種序列到序列模型，在一定程度上緩解了重疊關系問題，召回率得到提高，但其區分頭實體與尾實體的能力較弱。MultiHead 采用多頭關節模型，能夠同時識別頭實體與尾實體，但其利用LSTM獲取字符嵌入特征，存在丟失上下文信息的問題。CopyMTL 模型利用復制機制直接生成關系三元組，使用SeLU 作為激活函數的全連接層改善CopyRE模型存在的問題，使得模型抽取效果得到較大提升。OrderRL 模型結合強化學習，考慮關系事實在句子中的抽取順序，精確率得到了提升。HRL 利用高級別關系檢測和低級別實體抽取的分層框架來增強實體和關系類型之間的交互，從而處理重疊關系問題，該模型的召回率得到顯著提升，達到了0.771。ETLBIES 模型將頭實體提取和尾實體提取都轉化為序列標注問題，減少了冗余實體的干擾，精確率得到了提升。本文模型將關系抽取問題轉化為序列標注任務，通過Mogrifier LSTM 增強上下文信息交互，利用注意力機制促進特征提取，并結合基于關系的注意力機制解決重疊關系問題，相較其他模型，F1 值取得大幅提升，證明了模型的有效性。

3 結束語

本文提出一種基于Mogrifier LSTM 的序列標注關系抽取模型，該模型通過增強上下文信息交互來獲取更多的有效信息，利用關系注意力抽取特定關系下的實體三元組，同時結合BIESO 序列標注策略獲取實體信息。實驗結果表明，該模型在NYT 數據集上的關系抽取性能優于對比模型，并能有效改善SEO 類型的重疊關系問題。下一步將通過本文模型捕捉雙向語義依賴信息并增強上下文信息之間的交互，從而提升文檔級的關系抽取效果。