唐嘉蕊,劉美玲,趙鐵軍,周繼云

(1. 東北林業大學 計算機與控制工程學院,黑龍江 哈爾濱 150006;2. 哈爾濱工業大學 計算機科學系,黑龍江 哈爾濱 150001;3. 約翰斯·霍普金斯大學 利伯研究所,USA Baltimore MD21218)

0 引言

多文檔摘要指的是在保留關鍵信息的情況下從同一主題相關的多個文檔集合中生成簡潔的摘要,其各個文檔包含的信息雖屬于同一個主題卻并不相同。近年來,互聯網科技迅速發展,使得我們能夠在各種社交媒體上迅速獲得大量的數據信息,同時隨著新聞的快速傳播,從同一主題的新聞中獲取關鍵信息顯得至關重要。隨著深度學習技術在多文檔摘要方面的廣泛應用以及大規模數據集的發布,如WikiSum[1]、MultiNews[2],生成式的多文檔摘要取得了突破性進展。

隨著BERT[3]等預訓練語言模型的提出,將大規模語料庫訓練好的語言模型應用于下游NLP任務,對BERT模型進行微調,使其能夠更好地編碼文本的上下文信息,捕捉到更深層的語義信息。最近在文本摘要方面,很多工作加入了預訓練語言模型,Liu等人[4]首先提出將BERT模型作為預訓練模型應用于文本摘要任務,作者通過對BERT模型進行微調,通過將文檔中的句子用[CLS]符號分割來學習句子表征,并且更改了區間分割嵌入來區分不同句子,作者還提出通過對編碼器和解碼器選取不同的優化器來解決預訓練模型編碼器和解碼器不匹配的問題。目前在多文檔摘要方面,雖然有加入預訓練模型來提高模型性能的工作,但是并沒有考慮帶有事實信息的預訓練模型來提升模型生成的事實一致性的工作。

對于生成式的多文檔摘要,獲取文本中豐富的語義信息對于生成連貫的摘要是非常重要的。以往的工作中,大部分生成式模型采用詞級語言生成,也有采用詞級與句子級進行信息融合的摘要模型,以及應用段落級和篇章級的生成模型,能夠充分獲得豐富的文本信息。但在目前的工作中缺乏實體級的語義信息與其他語義單元的信息融合的生成式模型,從而無法獲得豐富層次化的具有結構信息的自然語言文本。

在本文中,我們針對具有結構化的實體信息可以增強生成式摘要的事實一致性,并且融合了實體-關系信息的預訓練語言模型,能夠使文本獲得更高層級的語義表征。本文提出了基于實體信息增強以及多粒度融合的多文檔摘要模型,它采用了融合了實體-關系結構化信息的ERNIE預訓練模型[5]來訓練文本,來實現信息增強,將結構化的帶有實體-關系的知識圖通過transE算法[6]嵌入到預訓練模型中,并實現了實體對齊,獲得摘要所需的實體信息。同時我們還采用了多粒度信息融合,將詞信息、實體信息和句子信息進行交互融合,從而獲得多文檔中更具層次化的文本語義信息。針對上文中提出的現有研究的問題,本文的貢獻如下:

(1) 本文提出了一個基于實體信息增強的多文檔摘要模型,采用具有結構化的實體-關系的知識圖通過transE算法將結構化的圖信息嵌入到ERNIE預訓練模型中,使用實體鏈接工具TAGME來對文本中提及的實體進行提取,并進行訓練從而在豐富上下文信息的基礎上進一步加入實體信息實現信息增強。

(2) 本文提出多個粒度的信息來對原文本進行豐富的語義信息提取,我們將實體信息與詞信息進行實體對齊,并通過句子信息和實體信息的融合對詞token信息進行更新從而指導解碼生成。

(3) 本文提出的模型在大規模數據集MultiNews上進行實驗并取得了先進結果,表明了模型的有效性和可行性,并進行了對多粒度信息,以及是否加入融合實體信息的預訓練模型進行了消融實驗,說明實體信息增強的有效性。

1 相關工作

1.1 基于信息增強的多文檔摘要

以往的多文檔摘要是基于特征工程和主題模型的[7-9],通過特征增強和語義增強來提升模型性能。Zheng等人[10]提出從文檔視圖和子主題視圖中共同生成基礎主題表示,作者考慮了上下文信息、子主題顯著性和相對句子顯著性,并且以分級的方式來估計句子的顯著性,從而抽取排名最高的句子作為摘要。Alambo等人[11]提出基于中心性聚類的方法,使用相關參考分解從原文檔中提取句子集合并且保持它們相互依賴,并且采用增強的多句壓縮算法生成主題信息和摘要。其中還有依據數據增強的多文檔摘要,Pasunuru等人[12]提出了構建兩個新的針對以查詢為中心的多文檔摘要數據集來實現數據增強,這兩個數據集是互補的,并提出采用分層編碼的方式來進行編碼,同時對局部信息以及全局信息進行了編碼,還加入了排序組件和查詢組件。

BERT等預訓練語言模型的提出,促進了多文檔摘要任務的發展,Li等人[13]提出利用圖對文檔進行編碼,能更好地捕捉跨文檔的關系,基于圖來指導摘要生成,還提出了將BERT模型與作者提出的基于圖指導的摘要模型結合起來,以更有效地處理長輸入文本。針對事實一致性問題,提出的大多數方法是在評估指標方面對生成摘要的事實一致性進行評估,Zhang等人[14]采用了一種弱監督的方法構造訓練集,通過構造的句子文檔對來判斷是否具有事實一致性。近年來提出了通過外部知識庫來提升生成文本的忠實性,Dong等人[15]把不在原文本中但在與原文本鏈接的外部知識庫中的實體視為對世界知識的忠實,原文本具有提取性,世界知識具有生成性,與之前通過過濾訓練實例的只包含提取性的實體來提高事實一致性的工作相反,作者通過提供與來源相關的額外事實,從生成式的角度來提高生成實體的忠實性。

1.2 多粒度信息融合

對于生成式的多文檔摘要,獲取文本中豐富的語義信息對于生成連貫的摘要是非常重要的。在以往的工作中,有采用單詞級語言生成的摘要模型、采用詞級與句子級進行信息融合的摘要模型,以及應用段落級和篇章級的生成模型,從而獲得豐富的文本信息。而在目前的工作中缺乏實體級的語義信息與其他語義單元的信息融合從而無法獲得豐富層次化的具有結構信息的自然語言文本。

在近些年的工作中,隨著深度學習的快速發展,對于多文檔摘要的研究,更加側重于多個粒度方面,大多數工作是采用單詞級的文本嵌入表征來獲得上下文信息,也將其他粒度的信息如段落、文檔進行融合來輸入表征。Li等人[13]提出了一種神經生成式多文檔摘要模型,該模型利用段落級和詞級的圖表示結構,如相似圖和篇章圖,來有效地處理多個輸入文檔并產生生成式摘要。Transformer[16]的提出使得生成式文本摘要取得了突破性進展。Zhao等人[17]提出SummPip模型是第一種結合語義知識和深度神經表示構造句子圖的無監督摘要方法,Jin等人[18]提出采用文檔、句子、詞多粒度信息交互網絡,在不同語義粒度信息表征進行交互。Yasunaga等人[9]提出在關系圖上使用圖卷積網絡(Graph Convolutional Networks, GCN),并將從遞歸神經網絡中獲得的句子嵌入作為輸入節點特征。通過多層分層傳播,GCN生成高級隱藏句特征以進行顯著性估計。

以上這些已提出的方法雖然在一定程度上解決了多文檔摘要生成的事實一致性以及缺乏豐富的文本語義信息特征提取問題,但是針對通過預訓練模型嵌入結構化的實體信息來進行信息增強的多文檔摘要模型還很少,通過實驗我們發現將實體信息融入文本單元中進行特征融合對于生成式文本摘要性能的提升具有有效性。

2 基于實體信息增強及多粒度融合的多文檔摘要模型MGNIE

本節詳細描述了本文提出的模型,模型的結構如圖1所示。在本文中,首先使用transE算法將結構化的實體信息嵌入ERNIE預訓練模型中,我們使用TAGME實體鏈接工具來提取文本中提及的實體,來對原文本進行實體信息融合的預訓練,從而得到預訓練后的詞嵌入信息和實體嵌入信息,同時通過對句子進行編碼獲得句子嵌入信息,輸入到Transformer編碼層進行融合,最后通過句子信息和實體信息的融合對詞token信息進行更新從而指導解碼生成。

圖1 基于實體信息增強及多粒度融合的多文檔摘要模型MGNIE

2.1 嵌入知識圖的預訓練模型ERNIE

本文通過加入知識圖結構來增強預訓練模型的事實一致性,采用transE算法將Wikidata知識圖的實體-關系信息輸入到ERNIE模型進行訓練,然后將帶有實體信息的原文本輸入到預訓練模型中進行預訓練,從而得到詞嵌入和實體嵌入。

我們將詞序列集合定義為W={w1,w2,…,wn},其中n表示詞序列的長度,將實體序列定義為E={e1,e2,…,em},其中m為實體序列的長度,將句子序列表示為S={s1,s2,…,so},其中o為句子序列的長度。知識圖KGs中的所有實體表示為E,我們將源文本中的實體與KGs中的實體對齊。

在預訓練模型中,我們將詞信息與KGs中的實體信息分別進行編碼,然后輸入到前饋神經網絡層,進行異質信息融合。首先對詞序列進行編碼,將詞嵌入ew和段嵌入sw以及位置嵌入pw相加獲得最終詞嵌入,如工(1)所示。

(1)

同樣的,實體嵌入可計算為:

(2)

原文本中的詞嵌入包含實體信息,與KGs中的實體對齊,并將實體信息融入到詞序列中進行異質信息融合,實現了外部實體嵌入的信息增強。源文本詞序列包含實體的表示為hw,KGs中的實體在源文本序列中有對應的表示為he,則可以表示為he=f(hw),融合后的表征為:

本文將外部知識圖中的實體信息融入到源文本中,通過掩碼表示實體的詞token,通過上下文對進行實體預測來預訓練模型,使模型獲得更豐富以及更高語義的信息,從而能夠生成更好的表征。預訓練模型掩碼實體自動編碼過程的損失函數可以用式(8)來計算:

(8)

其中,linear表示一個線性層。

2.2 多粒度信息融合

本文采用多粒度信息,包括詞嵌入、實體嵌入和句子嵌入,在預訓練模型階段,我們將外部的實體信息與原文本包含的實體信息進行融合,從而獲得實體級的信息增強,在摘要模型輸入階段,我們分別將源文本劃分為詞序列、實體序列和句子序列,并對不同粒度的信息進行信息融合,從而獲得包含更加豐富語義的語言模型表征。

(9)

(10)

對多粒度信息進行融合以獲得對源文本更加豐富的特征,實體信息的融合體現了生成摘要過程中對事實的準確性。我們加入的實體特征是在源文本中出現的,且能夠鏈接到外部知識的結構化的實體關系。我們使用融合函數進行融合,首先獲得詞表示與實體表示的融合信息hw。

融合后的實體信息與詞信息表示為部分詞表示融入了實體的嵌入信息,再將融合后的詞序列信息與句子序列信息進行融合,得到融合后的詞向量h′w,如式(11)、式(12)所示。

將獲得的融合的詞表征進一步送入前饋神經網絡來進一步地轉化豐富的語義信息,如式(13)、式(14)所示。

FFN是兩層前饋網絡,采用ReLU隱藏激活函數,其中LayerNorm是層規范化。hl表示編碼器的輸出。將經過編碼器融合的輸入向量hl以及隱藏狀態輸入到transformer解碼器中進行逐詞解碼,編碼器輸出作為key和value,將輸入嵌入和詞位置編碼輸入到解碼器中經過多頭注意力機制以及前饋神經網絡層,得到上下文表征作為Query輸入多頭注意力機制中,得到輸出gl,最后送入Softmax來計算目標詞匯生成分布,如式(15)所示。

Pt=Softmax(glWg+bg)

(15)

其中,Wg、bg為可訓練的參數。本文使用的交叉熵損失函數如式(16)所示。

(16)

2.3 Wikidata知識圖實體嵌入

我們采用外部知識圖來對文本的實體信息進行增強,采用transE算法將Wikidata知識圖的實體-關系信息輸入到ERNIE模型進行訓練。Wikidata知識圖是一個開放的多關系知識圖譜,它包含了維基百科的結構化的數據,我們從Wikidata知識圖抽取實體-關系三元組,并且通過transE算法學習實體嵌入。該算法將關系數據中的實體和關系嵌入低維向量空間。給定一個實體-關系三元組(h,l,t),它們由h頭實體、t尾實體、l關系組成,通過模型學習實體和關系的嵌入向量,算法的原理就是通過邊所對應的關系對應于嵌入的轉換,當(h,l,t)成立時,使得頭實體向量和關系向量盡可能地靠近尾實體向量,并計算(h,l)和t之間的距離。

transE訓練模型原理是從實體矩陣和關系矩陣中各自抽取一個向量,進行運算得到的結果近似等于實體矩陣中另一個實體的向量,從而達到通過詞向量表示知識圖中已存在的三元組。transE的損失函數為,如式(17)、式(18)所示。

其中,S′表示頭實體或尾實體被替換的負采樣三元組。

3 實驗

3.1 數據集與評價指標

MultiNews數據集由Fabbri等人[2]在2019年提出,MultiNews數據集由新聞文章和人工撰寫的摘要組成。該數據集來自不同的新聞來源(超過 1 500個網站)。MultiNews更類似于傳統的多文檔摘要數據集,如DUC,但規模更大。正如Fabbri等人所述,數據集分為44 972個用于訓練的實例,5 622個用于驗證的實例和 5 622個用于測試的實例。源文檔和輸出摘要的平均長度分別為2 103.5個標記和263.7個標記。我們將源文檔截斷為句子S,并按照原始順序將句子序列連成一個序列。我們使用Stanford coreNLP工具對數據集進行預處理,并采用TAGME實體鏈接工具提取源文檔中的實體序列。本文使用F1 ROUGE對生成摘要與標準摘要進行評估。

3.2 基線和實施細節

在對比實驗中,本文將提出的模型與現有幾種先進的方法進行了比較: Lead是連接標題和排序的段落,并提取前k個標記;LexRank[7]是一個廣泛使用的基于圖形的抽取式摘要,類似PageRank的算法來排列和選擇段落;MMR[20]提取具有排序列表的句子、基于相關性的候選句子和冗余;TIBERT[14]提出用BERT模型對句子進行預訓練,然后對整個文檔進行編碼;PGN[21]是一個基于RNN的模型,具有注意力機制,允許系統通過指向從源文本復制來的單詞進行抽象概括;HT(Hierarchical Transformer,HT)[4]模型將標題和段落作為輸入來產生目標摘要;Hi-MAP[2]將指針生成器網絡模型擴展為分層網絡,并集成MMR模塊來計算句子級得分;FT(Flat Transformer,FT)是將基于轉換器的編碼器-解碼器模型應用于平面令牌序列的基線模型;MGSum[18]是一個用于抽取式和生成式多文檔摘要網絡,聯合學習了單詞、句子和文檔的語義表示。CTF+DPP[22]提出基于DPP的注意力模型,將注意力權重用行列式點過程(Determinantal Point Process,DPP)給出的概率來計算,并將注意力機制與已有的模型相結合。

本文使用PyTorch來實現提出的模型,使用Stanford coreNLP工具對數據集進行預處理。優化器是Adam[23],學習率為2e-5,β1=0.9,β2=0.998。所有模型都在1個GPU上進行500 000步的訓練。模型中的所有線性層之前應用概率為0.1的下降。最大序列長度設置為256,batch size大小為32,模型中的隱藏單元的數量被設置為256,前饋隱藏大小為1 024,頭的數量為8。

3.3 MGNIE整體性能分析

我們在MultiNews數據集上與幾種先前的模型進行了對比,實驗結果如表1所示,MGNIE表示本文提出的模型,它包含嵌入了實體信息的預訓練模型,以及多粒度融合信息的摘要模型。MGNIE-BERT將預訓練模型換成BERT模型,表明預訓練模型中不包含實體關系。MGNIE模型在無論是在ROUGE-1,ROUGE-2還是ROUGE-L上,較先前的工作都取得了優秀的性能,并有所提升。

表1 在MultiNews數據集上抽取式模型的對比實驗

表1是本文提出的模型與抽取式模型在MultiNews數據集上的對比實驗結果,根據結果我們可以發現,本文提出的模型較先前提出的基于抽取式的模型有較大性能提升。與HIBERT模型相比,我們采用BERT模型作為預訓練模型,同時采用多粒度信息融合的方法,較HIBERT模型提升了1.89,表明我們對多粒度信息進行融合的方法對生成式模型的摘要生成有提升作用。與MGSum-ext模型相比,本文提出的模型在多粒度信息融合的基礎上,加入了BERT預訓練語言模型,較沒有預訓練模型的摘要模型提升了1.0,同時本文提出的模型在預訓練模型中加入了來自知識圖的實體信息,進一步取得了模型性能的提升。

表2是本文提出的模型與生成式模型在MultiNews數據集上的對比實驗結果,根據結果我們可以發現本文提出的模型較先前的具有先進性的生成式模型取得了更好的效果。本文的模型相比于MGSum-abs模型提升了0.8,這表明在多粒度信息融合方面,本文的模型加入了實體信息,并將知識圖的實體信息與文本中的實體信息進行融合做預訓練,更加豐富了文本的上下文表征,從而增強模型理解能力,對模型性能的提升有更好的影響。可以觀察到,在多粒度的基礎上將預訓練模型換成BERT模型,較先前的工作有部分提升,而在預訓練模型的基礎上,不僅對原文本進行模型訓練,還加入了外部知識的實體信息,使得預訓練獲得文本向量表示的效果更加好。進一步展開分析,在ROUGE分數評估下,MGNIE以及MGNIE-BERT模型都優于現有的工作模型表現,說明我們采用多粒度的方法進行信息提取獲得語義表征,能夠挖掘到更多信息特征,從而獲得更好的生成摘要效果。

表2 在MultiNews上生成式模型的對比實驗

通過觀察表1和表2可以發現,本文提出的模型對比先前的抽取式模型的提升效果比生成式模型好,因為我們使用了融合了豐富知識圖信息的預訓練模型對原文本進行訓練,并且采用的多粒度信息融合來對文本的長距離信息進行了交互,實現了實體的信息增強,對于關鍵詞的解碼生成有重要的影響,本文提出的模型生成的摘要文本比抽取式模型生成的摘要更具有連貫性,同時說明了實體信息對于摘要生成的有效性。

3.4 實體信息對摘要性能的影響

本文通過引入實體信息增強來實現對摘要性能的提升。為了探究實體信息對摘要性能的影響,本文做了相關的消融對比實驗。表3給出了不同粒度對實驗結果的影響,其中without sent representation表示在多粒度融合中包含詞信息和實體信息融合的模型,without entity representation表示在多粒度融合中包含詞信息和句子信息融合的模型,其中MGNIE-BERT表示將預訓練模型換成BERT模型,不加入外部實體信息的模型。MGNIE表示我們在文中提出的模型,加入外部實體信息增強的多粒度融合模型。

表3 消融實驗對比

從表3的結果中我們可以發現,without entity representation不加入實體信息表現不佳,表明加入實體表征是非常有效的。MGNIE的表現比MGNIE-BERT要好,表明在預訓練模型過程中進行外部實體信息嵌入對預訓練模型的效果有重要提升。通過在預訓練模型中加入外部知識圖譜的結構化的實體關系信息,以及在自然語言編碼對加入實體表征可以充分挖掘文本中的實體信息以及上下文語義信息,從而使模型獲得更好的效果。

3.5 人工評測

由于評估摘要生成的流暢性以及事實一致性在摘要生成中是十分重要的,所以進行人工評測是必不可少的。具體來說,本文選擇5名研究生來對本文生成的摘要進行評估,在MultiNews數據集中隨機選擇50個樣本,為了評估模型的質量,本文選擇MGSum模型作為基線模型來進行對比,并從三個方面來進行評估: 流暢性(fluency),信息量(Informativeness)及對原文本的忠實度(faithfulness)。流暢性是指文本的可讀性,包括語法、名詞短語和邏輯上的一致性。信息量表示摘要與原文包含的關鍵內容相關性的數量。忠實度是指摘要與原文的事實一致的相關性。本文選取的評分標準為1～5分,分數越大說明性能越好。

表4是在MGSum模型與本文模型的人工評估結果,從表中可以觀察到,本文模型在流暢性、信息量以及忠實度方面較MGSum都有提升,尤其在忠實度方面,評估結果表明本文提出的基于實體信息增強來提升生成摘要的事實一致性是有效的。

表4 人工評測結果

3.6 摘要生成實例分析

表5展示了在MGNIE模型上摘要生成的實例與原文本以及標準摘要的對比,加粗的文字表示與原文的關鍵內容重合的部分。從表中我們可以觀察到,本文模型在重合度方面與原文內容高度重合,在信息量方面也提取了大量關鍵信息,捕捉到了“three hours thursday afternoon”這個時間點,以及“the glitch”這個信息點。與標準摘要進行對比可以發現,本文模型生成的摘要的內容信息量以及內容重合度都很高。在事實一致性方面,本文模型生成的摘要無論是與原文對比,還是與標準摘要對比,都是保持事實一致的。在摘要的流暢度方面,本文模型生成的文本是可讀的,并且句子之間的連接詞使得文本在承接上下文對具有連貫性及邏輯性。

表5 MGNIE模型摘要生成實例

4 結論

在本文中,我們針對生成式多文檔摘要中存在的缺乏結構化信息的嵌入以及生成摘要的事實不一致性提出了基于實體信息增強以及多粒度信息融合的多文檔摘要模型。具體來說,我們加入了預訓練模型ERNIE并且將外部知識圖中的實體-關系信息嵌入預訓練模型以豐富語義信息,與此同時,我們還獲取了詞信息、實體信息以及句子信息層面的信息融合來編碼語言表征,實現了更深層次的信息挖掘,實現了信息增強。最后進行了大量的對比實驗,表明本文提出的方法在多文檔摘要中取得了有效影響,在一定程度上實現了信息增加解決了事實一致性問題。

在未來的工作中,我們將考慮把文本與外部知識圖結構進行相互融合,將文本轉換為結構化的圖與外部知識圖相連,從而獲得結構化的信息,來實現基于圖結構的多文檔摘要模型的性能提升。