基于語言模型增強的中文關系抽取方法

薛 平,李 影,2,吳中海,2

(1. 北京大學 軟件與微電子學院,北京 100871;2. 北京大學 軟件工程國家工程研究中心,北京 100871)

0 引言

作為自然語言處理領域的重要任務之一,關系抽取旨在識別文本中實體對之間的語義關系,例如在句子“哈爾濱是黑龍江省會”中,關系抽取方法可以提取出“哈爾濱”和“黑龍江”的語義關系是“位于”。抽取得到的實體關系三元組被用于知識圖譜構建[1]、智能問答系統[2]、對話內容理解[3]等下游任務,并應用在多個領域,包括醫療[4]、金融[5]、法律[6]等。近年來隨著深度學習方法的快速發展,關系抽取任務取得了長足的進步,大量基于深度學習的關系抽取方法被提出。Liu等人[7]在2013年首次提出基于深度學習的關系抽取方法,使用卷積神經網絡對文本進行特征提取。之后,陸續有研究者提出基于循環神經網絡[8-12]、基于圖神經網絡的方法[13-14]等等。但上述關系抽取的研究工作,主要集中于英文領域,以單詞序列作為輸入。而在中文自然語言中,單詞與單詞之間沒有分隔符,使用英文領域的關系抽取的方法需要先進行分詞處理,而分詞過程中產生的錯誤,會影響關系抽取任務的結果。為了避免錯誤傳遞,目前大部分的中文關系抽取方法都是以字符序列作為輸入。

基于字符序列的中文關系抽取方法,雖然可以避免分詞處理所帶來的錯誤傳遞問題,但卻忽略了文本中單詞所包含的高級別語義信息。例如“哈爾濱是黑龍江省會”中,“哈爾濱”“省會”等詞所表示的城市的語義可以幫助推理出“位于”關系。目前,如何在中文字符序列中融合單詞信息是中文關系抽取任務的主要研究內容之一,相關工作可以劃分為基于詞典的方法(lexicon-based)和基于預訓練的方法(pretrain-based)。如圖1(a)所示,基于詞典的方法通過將文本匹配固定的詞典,獲得文本中所有可能存在的單詞,然后通過Lattice-LSTM[15]或Flat-Lattice[16]等網絡將單詞信息動態地編碼進字符序列中;而基于預訓練的方法,如圖1(b)所示,使用自然語言處理領域中流行的預訓練語言模型,在大規模的語料中進行語言模型的訓練。在訓練的過程中通過全詞遮蔽(Whole-Word-Mask)等方法[17],將單詞信息在預訓練的過程中編碼進模型,然后在中文關系抽取的任務上進行微調(Fine-Tune)。

圖1 基于詞典的方法和基于預訓練的方法

預訓練語言模型如BERT[18],在大規模語料上進行遮蔽語言模型的訓練。得益于復雜的模型結構和海量的訓練數據,預訓練語言模型可以對訓練語料中的語言知識進行準確的刻畫。相比于基于詞典的方法,其包含的語言知識使得模型具有更好的泛化能力,能夠抽取到更加準確的關系。但預訓練語言模型的參數規模非常龐大,大部分的預訓練語言模型都包含上億的參數,在現實場景應用中需要消耗大量的存儲資源和計算資源。

為了避免預訓練語言模型高昂的模型開銷,同時利用其包含的語言知識,本文提出基于語言模型增強的中文關系抽取方法,其核心是采用多任務學習結構,在中文關系抽取模型基礎上,訓練一個語言模型來擬合預訓練語言模型,學習預訓練模型包含的語言知識。具體來說,我們使用輕量化的基于循環神經網絡的關系抽取模型作為基準模型,同時以該循環神經網絡訓練一個雙向語言模型。不同于一般的語言模型以下個字符作為標簽訓練,我們使用預訓練語言模型的輸出作為訓練標簽,使雙向語言模型去擬合預訓練語言模型,從而來學習其包含的語言知識。得益于多任務學習中的參數共享機制,雙向語言模型學習到的語言知識可以對中文關系抽取模型進行增強,避免了預訓練模型的高昂開銷,同時有效利用預訓練語言模型中的語言知識。

與我們方法類似的是基于知識蒸餾的模型壓縮方法[19],同樣是使用輕量化的模型學習復雜模型的知識,但這兩種方法的結構與所涉及的知識類型是不同的。知識蒸餾方法是使用復雜的老師模型在相關任務的數據集上先行進行學習,然后再將學習到的數據集內數據分布相關的知識蒸餾到輕量化的學生模型中,其中老師模型和學生模型都是關系抽取模型。而基于語言模型增強的中文關系抽取方法則是在關系抽取模型的基礎上同時學習一個雙向語言模型,通過雙向語言模型來擬合預訓練語言模型,來學習預訓練模型中包含的語言知識。

本文的貢獻主要包括:

(1) 針對基于預訓練語言模型的中文關系抽取方法參數多及開銷大的問題,提出了基于語言模型增強的中文關系抽取方法,采用多任務學習結構,訓練雙向語言模型從預訓練語言模型學習語言知識,在高效抽取實體關系的同時避免了預訓練模型的高昂開銷。與知識蒸餾等壓縮模型方法不同的是,本文提出的方法通過擬合預訓練語言模型學習語言知識,突破了數據集的限制,提高了模型的泛化能力;

(2) 在三個中文關系抽取數據集上進行實驗,證明本文提出的方法可以有效地提高基準模型的效果,超過了目前基于詞典的方法。與基于預訓練語言模型的方法相比,本文提出的方法使用其大約1%的參數量即可達到其95%的性能。

本文組織結構如下: 第1節介紹相關工作;第2節給出中文關系抽取任務的定義和基準模型;第3節介紹基于語言模型增強的中文關系抽取方法;第4節給出實驗結果和分析;第5節總結本文工作。

1 相關工作

目前,基于深度學習的關系抽取方法成為主流。Liu等人[7]在2013年首次探索了深度學習方法在關系抽取任務中的應用,提出基于卷積神經網絡的關系抽取方法。之后,Zeng等人[20]在該方法的基礎上加入了位置向量,用來表示文本中實體的位置信息。卷積神經網絡的局限在于只能提取文本序列局部的特征信息。為了捕捉到全局的特征,在2015年,Zhang[8]等人使用循環神經網絡對文本和實體進行特征提取,以捕捉文本序列中的全局特征。在之后,為了進一步對文本進行表示,Zhang[13]等人引入了額外的基于單詞構建的依存句法樹,使用圖神經網絡[21]提取依存句法樹的特征,來提高關系抽取任務的結果。

在中文關系抽取領域,為了避免分詞錯誤導致的錯誤傳遞問題,主要工作都是字符級別的關系抽取方法,以字符序列作為輸入。Zhang等人[22]指出了中文文本中分詞錯誤問題導致的錯誤傳遞現象,提出了基于詞典的方法并設計了在字符序列動態融合單詞信息的Lattice-LSTM網絡。之后,Li等人[15]提出了MG-Lattice,在Lattice-LSTM的基礎上融合了多粒度的信息,進一步提高中文關系抽取任務的準確率。Lattice-LSTM雖然可以動態地融合單詞信息,但是由于模型結構的限制,無法并行計算。為此,Zeng等人[16]使用可以并行計算的Flat-Lattice網路來動態地融合單詞信息到字符序列中。

近些年,預訓練語言模型BERT[18]被提出,大幅提高了大部分自然語言任務的指標。預訓練語言模型在大規模的語料上進行遮蔽語言模型的學習,然后在特定的任務上進行微調(Fine-Tune)。得益于在大規模語料中學習到的語言知識,目前,大部分的自然語言處理任務中最優的模型都是基于BERT或BERT的變體。同樣地,基于預訓練語言模型的中文關系抽取方法也得到了更優的結果。但預訓練語言模型包含的參數量非常龐大,大部分的預訓練語言模型都包含上億的參數,在現實世界的實際應用中,需要耗費大量的計算資源和存儲資源。目前,針對預訓練語言模型的壓縮,有知識蒸餾[23]、模型剪枝[24]、模型量化[25]等方法。與這些方法不同,本文提出的基于語言模型增強的中文關系抽取方法,直接學習預訓練語言模型中包含的語言知識,使用這部分語言知識來增強中文關系抽取模型,相比于知識蒸餾等方法學習數據集相關的知識,語言知識能夠突破數據集的限制,有效地提高模型的泛化能力。

2 中文關系抽取

本節介紹中文關系抽取的任務定義和中文關系抽取任務的基準模型。

2.1 任務定義

中文關系抽取一般被定義成分類問題,根據輸入的文本和其中包含的實體對,對實體對之間的語義關系進行分類。將輸入的文本表示為字符序列s=c1,…,cT,其中T表示字符序列的長度。字符序列中包含兩個實體,將其表示為頭實體ehead和尾實體etail。中文關系抽取任務的目的是根據字符序列s,提取出頭實體ehead和尾實體etail之間的語義關系r∈R,其中R表示關系類型的集合。

2.2 基準模型

本文使用的基準模型是基于循環神經網絡的中文關系抽取模型,如圖2所示,包括嵌入層、編碼層和分類層。

圖2 基于LSTM的中文關系抽取模型

嵌入層：首先,將字符序列映射到特征空間,得到每一個字符對應的向量表示。

(1)

(2)

(5)

編碼層：編碼層使用雙向的LSTM(Long Short-Term Memory)[26]網絡作為編碼器,接收來自嵌入層的字符序列的特征表示,計算全局的上下文相關特征。每個方向的LSTM網絡根據上個時間步的輸出特征和當前時間步的輸入來計算當前時間步的輸出特征。

(6)

(7)

(8)

分類層：分類層在獲得編碼層的特征后,首先將其映射到關系特征空間,然后使用Softmax方法獲得對應關系集合R中關系類別r的概率分布。

P(r|s,ehead,etail)=Softmax(Woh+bo)

(9)

其中,P(r|s,ehead,etail)表示抽取得到的關系類別的概率分布,Wo和bo是分類層的訓練參數。最后,使用交叉熵函計算中文關系抽取模型的目標函數Lre。

Lre=-log(P(r|s,ehead,etail))

(10)

3 基于語言模型增強的中文關系抽取方法

本節介紹本文所提出的基于語言模型增強的中文關系抽取方法,包括雙向語言模型和語言模型增強兩個部分。首先介紹在基準模型的結構之上構造雙向語言模型,其次介紹以預訓練語言模型對雙向語言模型進行增強。

3.1 雙向語言模型

為了學習預訓練語言模型中包含的語言知識,首先在基于循環神經網絡的基準關系抽取模型的基礎上構造一個雙向語言模型。

以前向語言模型為例,根據前t-1個字符來預測第t個字符的概率分布。基于多任務學習的結構,雙向語言模型和中文關系抽取模型共享嵌入層和編碼層的參數。如圖3左半部分所示, 語言模型層對LSTM網絡的輸出進行非線性特征映射,然后計算下個字符的概率分布。

圖3 基于語言模型增強的中文關系抽取方法

3.2 語言模型增強

在中文關系抽取模型的基礎上訓練雙向語言模型的目的是通過雙向語言模型來擬合預訓練語言模型,從而學習預訓練語言模型中包含的語言知識。基于多任務學習的參數共享機制,通過雙向語言模型學習到的語言知識可以對中文關系抽取模型進行增強。

學習預訓練語言模型中包含的語言知識的本質,是使中文關系抽取模型學習更多樣的關系表達,增加中文關系抽取模型的泛化能力。比如,當我們對“哈爾濱是黑龍江省會”中的“是”進行遮蔽,得到“哈爾濱[MASK]黑龍江省會”。然后使用預訓練語言模型進行預測時,預測結果包含“是”“為”“,”等,用預測結果替換回遮蔽字符,可以得到“哈爾濱是黑龍江省會”“哈爾濱為黑龍江省會”和“哈爾濱,黑龍江省會”等多種組合。這些組合均表達了“哈爾濱”和“黑龍江”兩個實體之間的“位于”關系,但是后兩種表達是數據集內不包含的。基于語言模型增強的中文關系抽取方法可以看作是一種自動的數據增強(Data Augmentation)[27]方法,通過預訓練語言模型中的語言知識來對數據集進行數據增強,對每一條數據,生成多種不同但表達同樣關系語義的文本,使中文關系抽取模型在訓練過程中學習到多樣的關系表達。

本文使用的預訓練語言模型是BERT-wwm[28]。BERT-wwm是一個12層深度的Transformers模型,在大規模的中文語料上進行遮蔽語言模型的訓練,對輸入文本進行部分字符的遮蔽,替換為固定的遮蔽符,通過被遮蔽字符的上下文信息來預測被遮蔽的字符。同時在訓練的過程中,通過全詞遮蔽(Whole-Word-Mask)的處理,在基于字符序列的預訓練語言模型的訓練中融合單詞信息。

對已經預訓練好的BERT-wwm模型,輸入包含遮蔽符的字符序列,可以得到被遮蔽的字符預測結果,表示為概率分布。如圖3右半部分所示,對于字符序列“哈爾濱是黑龍江省會”中的“是”進行遮蔽,替換為遮蔽符“[MASK]”,輸入到BERT-wwm模型中。通過BERT-wwm的預測,被遮蔽的字符可能為“是”“為”“,”等,括號內是其預測的概率值。BERT-wwm對該遮蔽字符的預測結果是其包含的語言知識的具體表現,本質上是其對大規模訓練語料的統計結果。我們將BERT-wwm對字符ct的預測形式化為PBERT(ct)。

PBERT(ct)=BERT(…,ct-1,mask,ct+1,…)

(15)

其中,mask表示遮蔽符[MASK]。為了使雙向語言模型擬合BERT-wwm,如圖3所示,將BERT-wwm對字符ct的預測分布作為雙向語言模型的訓練標簽。我們通過KL散度(Kullback-Leibler divergence)來擬合雙向語言模型和預訓練語言模型對字符預測的概率分布,作為雙向語言模型的目標函數。

(16)

(17)

(18)

其中,λ表示雙向語言模型目標函數的權重,通過調整λ來平衡多任務學習結構中兩部分模型的訓練過程。

4 實驗分析

本節通過實驗驗證證明基于語言模型增強的中文關系抽取方法的效果。首先在4.1節中描述實驗中使用的數據集和評估指標。在4.2節對實驗環境設置進行描述,包括方法中使用的工具和重要的超參數。然后在4.3節中,與多種基線方法進行多維度的比較。最后在4.4節,對本文提出的方法進行消融實驗。

4.1 實驗數據與評價指標

本文使用三個中文關系抽取數據集作為實驗數據,分別是SanWen(1)https://github.com/lancopku/Chinese-Literature-NER-RE-Dataset、ACE2005(2)https://catalog.ldc.upenn.edu/LDC2006T06和ACE2004(3)https://catalog.ldc.upenn.edu/LDC2005T09。其中,SanWen是根據文學數據構建的,一共包含10類關系,并按照一定比例被劃分為訓練集、驗證集和測試集。ACE2005和ACE2004數據集是新聞領域的關系抽取數據集,分別包含18類和19類關系,對于ACE2005和ACE2004數據集的劃分,我們和Li等人[15]的研究工作保持一致,我們隨機選取其75%的數據訓練,使用剩下的25%的數據進行驗證。數據集的統計信息如表1所示。

表1 實驗數據集統計

為衡量不同中文關系抽取方法在上述數據集上的效果,我們使用分類任務中的F1(%)值和AUC(%)值作為評價指標。

4.2 實驗設置

本文使用PyTorch深度學習庫來實現本文的方法,為了與相關工作進行合理的比較,實驗環境中涉及的大部分超參數都和Li等人[15]研究工作中使用的保持一致。我們使用Li等人[15]工作中預訓練的100維字符向量對嵌入層參數進行初始化,相對位置向量的維度設為10維,在訓練開始時進行隨機初始化,兩者在訓練過程中進行更新。編碼層使用雙向LSTM,每個方向的LSTM的隱藏層維度設為200。同時,我們對嵌入層和編碼器的輸出特征分別進行Dropout,比例為0.5。

在語言模型增強的部分,我們使用在中文維基數據上進行預訓練的BERT-wwm模型。預訓練語言模型的輸出結果是所有字符上的概率預測,其中只有部分字符是有意義的預測結果,其余則沒有意義。為了減少無意義字符對結果的影響,需要對預訓練語言模型的預測結果進行截斷,每個字符的預測結果按輸出值的大小取前100個預測結果,根據截斷后的輸出值重新計算這100個字符的概率分布,作為雙向語言模型的標簽。

對于模型的訓練,我們使用Adam優化器[29],學習率設為0.000 5。在訓練過程中,雙向語言模型目標函數的權重λ設為0.01。重要超參數的值如表2所示。

表2 實驗相關超參數

4.3 實驗結果

本節將基于語言模型增強的中文關系抽取方法與多個基線模型進行對比實驗,證明基于語言模型增強的方法能夠有效降低預訓練語言模型的開銷。在4.3.1節,與非預訓練模型進行對比;在4.3.2節,與預訓練模型在關系抽取任務指標和模型參數量上進行對比。

4.3.1 與非預訓練模型的對比結果

首先,與非預訓練的模型做對比實驗,首先實現了兩種經典的關系抽取模型,分別是Zeng等人[20]提出的基于CNN的關系抽取模型和Zhang等人[9]提出的基于LSTM的關系抽取模型。同時,我們也和兩種目前流行的基于詞典的中文關系抽取方法進行對比,分別是Li等人[15]提出的MG-Lattice模型和Zeng等人[16]提出的Flat-Lattice模型。其中,考慮到ACE2005數據集隨機劃分可能造成的數據分布不一致,我們使用MG-Lattice方法公開的源代碼進行實驗,獲得實驗結果。Flat-Lattice方法則使用其論文中給出的結果進行對比。與非預訓練模型的對比結果如表3所示。

表3 與非預訓練模型的對比結果 (單位: %)

(1) 首先,我們可以觀察到,基于語言模型增強的中文關系抽取方法,在表中表示為“LSTM+語言模型增強”,在三個數據集的F1值和AUC值均達到了最高。在SanWen數據集上,與目前最好的基于詞典的中文關系抽取模型Flat-Lattice相比,F1值提高了2.53%,AUC值提高了6.74%,在其他數據集上也有相應的提升。

(2) LSTM+語言模型增強與LSTM模型相比,僅增加了以預訓練模型的預測結果作為訓練標簽的雙向語言模型。對比LSTM模型,LSTM+語言模型增強在三個數據集上的提升即是語言模型增強的效果。在SanWen數據集上,F1值提升了6.2%,AUC值提升了8.28%。證明了預訓練語言模型的語言知識確實能夠對中文關系抽取模型進行增強。

(3) 最后,我們通過模型的預測結果進行示例分析,我們選擇LSTM方法和MG-Lattice方法與本文所提出的基于語言模型增強的方法進行對比,示例結果如表4所示。我們在SanWen數據集中的測試集內選擇了兩條文本作為示例,從預測結果中可以看出,LSTM方法與MG-Lattice方法預測出了錯誤的關系類型,而我們所提出的方法可以預測出正確的關系類型。對于第二個示例,“當包谷桿上長出第一個包谷棒時”這條文本中,如果實體1是“包谷桿”,與實體2“包谷棒”的關系則是LSTM方法與MG-Lattice方法預測的“部分整體”。但實體1是“包谷桿上”,與實體2“包谷棒”的關系是“位于”。該示例結果證明本文所提出的基于語言模型增強的方法可以準確地根據實體的細微差別識別出正確的關系類型,具有更強的關系抽取能力。

表4 模型預測結果對比

4.3.2 與預訓練模型的對比結果

為了與基于預訓練語言模型的方法進行對比,我們實現了Livio等人[30]所提出的基于預訓練語言模型的關系抽取方法,使用BERT-wwm預訓練模型。同時,為了比較不同參數規模下預訓練語言模型的效果,我們分別取BERT-wwm的前6層的參數和前3層的參數進行實驗。同時,我們也與Tang等人[23]提出的針對預訓練語言模型的知識蒸餾方法進行對比。除了比較三個數據集上的分類指標,同時也比較模型的參數規模,表中表示為Parameter,含義為模型的參數量。與預訓練模型的對比結果如表5所示。

表5 與預訓練模型的對比結果 (單位: %)

(1) 我們可以從表中觀察到,BERT-wwm在三個數據集上均達到最好,LSTM+語言模型增強與BERT-wwm模型在F1值和AUC值上仍然有差距。但BERT-wwm的參數規模非常龐大,達到了102.27M(M表示百萬)。我們以BERT-wwm作為基準(表示為100%),計算其他方法與其在性能和參數規模上的百分比。本文提出的基于語言模型增強的方法在三個數據集上的平均性能都可以達到BERT-wwm的95%,而參數規模僅為1.29M,為BERT-wwm的1.3%。實驗證明了基于語言模型增強的中文關系抽取方法可以在達到相似性能的同時大幅降低預訓練模型的開銷。

(2) BERT-wwm (6層)和BERT-wwm (3層)分別僅使用BERT-wwm的部分參數。可以觀察到,隨著層數的降低,基于預訓練語言模型的方法在三個數據集上的指標也隨之降低。在使用BERT-wwm (3層)進行實驗時,LSTM+語言模型增強的方法在三個數據集上的指標上已經超過BERT-wwm (3層)方法。但BERT-wwm (3層)的參數規模仍然是LSTM+語言模型增強方法的30倍。證明相比于使用小規模的預訓練語言模型,基于語言模型增強的中文關系抽取方法是一個更優的選擇。

(3) 最后,我們與基于知識蒸餾的方法(表中表示為LSTM+知識蒸餾)相比,我們的方法在三個數據集上的指標均超過基于知識蒸餾的方法。實驗證明了相比于數據集內的知識,語言知識對于中文關系抽取任務的提升更大。

4.4 消融實驗

本節對基于語言模型增強的中文關系抽取方法進行消融實驗,對方法中的模塊進行消融,分析各個模塊帶來的性能提升。消融實驗的結果如表6所示。首先,我們對來自預訓練語言模型的增強進行剝離,僅進行標準的雙向語言模型訓練,以下個字符作為標簽,在表中表示為LSTM+語言模型。可以觀察到,在剝離了預訓練語言模型的預測結果時,三個數據集的指標均有所下降,在SanWen數據集上,F1值下降3.21%,AUC值下降3.74%。下降的結果即是來自預訓練語言模型的語言知識對中文關系抽取任務的增強結果。

表6 消融實驗結果 (單位: %)

之后,我們繼續剝離掉方法中基于多任務學習結構中的語言模型的部分,方法退化為標準的基于LSTM的中文關系抽取方法。三個數據集的指標繼續下降,下降的結果為基于多任務學習的語言模型帶來的提升,在SanWen數據集上,F1值下降2.99%,在AUC值上下降4.54%。在消融實驗中,我們分別對基于語言模型增強的中文關系抽取方法中的兩個核心模塊進行消融,驗證了每個模塊對中文關系抽取任務帶來的提升效果。

5 總結

針對預訓練模型參數量多開銷大的問題,本文提出基于語言模型增強的中文關系抽取任務,采用多任務學習結構,在中文關系抽取模型的基礎上訓練雙向語言模型,以訓練語言模型的預測結果作為訓練標簽,通過擬合預訓練語言模型來學習預訓練語言模型中包含的語言知識。預訓練語言模型中的語言知識可以對訓練數據進行自動的數據增強,使中文關系抽取模型在訓練過程中學習到多樣化的關系表達,提高中文關系抽取方法的性能和泛化能力。

未來計劃對預訓練語言模型中的語言知識進行更細粒度的蒸餾,進一步提升語言模型增強方法的性能。