面向司法文書的抽取-生成式自動摘要模型

陳炫言，安 娜，孫 宇，周煉赤

(中國航天科工集團第二研究院 七〇六所，北京 100854)

0 引 言

文本自動摘要領域主要分為兩大類別：抽取式和生成式。抽取式摘要通過衡量基本句子成分的權重，通過各個成分之間的關聯(lián)性及相似性進行排序，將排序前列的句子進行拼接；生成式摘要通過構建更復雜的算法模型，根據(jù)對原文段落理解(轉義、縮寫、替換)生成新的句子來獲得文本摘要。抽取式摘要更直觀，但不考慮詞間關系，僅計算權重，生成的摘要可能存在語法不連貫的情況；生成式摘要通過語義表征和推理排序，有助于解決抽取式摘要的語法問題。由于生成式摘要未計算詞間權重，導致段落成分關聯(lián)性不如抽取式，針對該問題提出一種抽取式與生成式模型聯(lián)合的改進模型，即面向司法文書的抽取-生成式自動摘要模型(BERTSUM-XNTL)。模型提出4個創(chuàng)新點：①使用BERTSUM[1]作為基礎提出BEES抽取式摘要模型作為基線模型。采用Best-First Beam Search替換傳統(tǒng)Beam Search；②基于XLNET[2]構建seq2 seq生成式摘要模型框架，融合Transformer-XL自回歸模型優(yōu)點對抽取式模型的輸出進行處理。以XLNET作為Encoder、Transformer-XL作為Decoder提出生成式摘要模型XNTL(XLNET+Transformer-XL)；③在生成式摘要模塊添加序列預測YCN-Copy機制，克服傳統(tǒng)copy機制無法復制連續(xù)片段問題；④在YCN-Copy機制進行分類任務時，使用Hierarchical Softmax[3]替代傳統(tǒng)Softmax，提升訓練速度。實驗結果表明，該模型在司法領域可以有效改善摘要提取質量，并在ROUGE評價體系中取得較好成績。

1 相關工作

自動文本摘要的目標是給定一個文本，獲得該包含文本重要內容的簡化版本。IBM科學家H.P.Luhn提出關于自動構建文獻摘要，指出重要的句子應具有更多的關鍵詞，即出現(xiàn)次數(shù)最多的詞，并根據(jù)詞頻和分布導出的統(tǒng)計信息來計算該詞的重要性度量。當前摘要模型重點分為兩類：抽取式摘要和生成式摘要。極少數(shù)的研究鄰域也涉及到了抽取-生成式自動摘要模型。

抽取式摘要模型本質是序列標注任務，將文本中重點語句標注為1，非重點語句標注為0，將標注為1的重點語句組合生成文本摘要。張翔等[4]在全局信息提取模塊采用了基于方面抽取和神經主題模型兩種全局信息提取技術。程琨等[5]提出了基于最大邊緣相關的新聞摘要方法以及基于支持向量機和MMR相結合的新聞摘要方法。

生成式摘要模型基于seq2Seq框架，主要依賴于深度神經網絡實現(xiàn)。Google團隊首先提出的Seq2Seq網絡結構[4]為生成式摘要奠定了基礎，也是生成式摘要研究的開端。Seq2Seq包含了編碼器-語義向量-解碼器，編碼器和解碼器均由深度神經網絡組成，其中在編碼過程中為了更好地編碼特征向量，可以穿插各種注意力機制或是通過不同網絡模型構建為編碼器、解碼器，從而提升摘要效果，這也是近年來生成式摘要的主流研究方向。

本文提出的面向司法文書的抽取-生成式自動摘要模型結合了抽取式及生成式摘要模型的優(yōu)點，在抽取式摘要模型中，通過將人工摘要與對應司法文書的每句話進行相似度打分，保留相似度高的句子，將其組合作為抽取式模型的輸出。將源文本的標注摘要和抽取式模型的輸出摘要作為訓練數(shù)據(jù)傳入生成式模型，進一步特征提取和語義挖掘，從而獲得包含全文token信息且更符合語境的文本摘要。

2 面向司法文書的抽取-生成式自動摘要模型

司法文書屬于長文本數(shù)據(jù)類型，在對其進行語義向量表示，從而導致下游任務模型難以達到預期的學習目標。在生成式摘要任務之前對司法文書進行抽取式摘要，可以緩解因數(shù)據(jù)過長而無法獲取更全語義信息問題。本文提出抽取-生成式自動摘要模型[7](BERTSUM-XNTL)，由抽取式摘要模型和生成式摘要模型子任務組成，將抽取式模型摘要的輸出作為生成式摘要模型的輸入，對抽取模型摘要進行深層特征提取，進一步優(yōu)化選擇，生成更準確及更符合邏輯的文書摘要。其模型結構如圖1所示。

圖1 面向司法文書的抽取-生成式自動摘要模型(BERTSUM-XNTL)

2.1 抽取式摘要模型

抽取式摘要模型BERTSUM(BERT-extractive summary)主要由句子向量表征和摘要分類模塊組成，句子編碼層基于BERT預訓練語言模型對輸入句子進行向量表征，提取文本上下文語義特征；摘要分類層對文書所有句子分類，并基于語義相似度計算選取與當前類別句子相似度得分較高的top-n對應的句子進行組合，作為抽取式模型的摘要。其模型結構如圖2所示。

圖2 抽取式摘要模型結構

2.1.1 句子編碼層

首先對待抽取摘要的長文本序列進行數(shù)據(jù)預處理，得到模型的輸入數(shù)據(jù)，以句號為分隔符對輸入數(shù)據(jù)進行劃分，得到待抽取摘要文本對應的句子集，分別獲取輸入句子對應的原始句編碼、段落編碼和位置編碼，并將其累加作為Transformer層的輸入，對句子上下文進行特征提取，生成具備上下文語義的句子表征向量。

與原BERT[8]不同，BERTSUM模型在句子編碼層的輸入模塊有特殊處理：

(1)對于原始句編碼，BERTSUM 模型在輸入文本對應的所有句子前后插入[CLS]和[SEP]進行標記，見表1。

表1 切分前后對比

(2)對于段落編碼，為區(qū)分多個句子，將奇數(shù)句和偶數(shù)句以標簽(EA-EB)進行劃分，見表2。

表2 段落編碼

(3)對于位置編碼，同BERT一樣加入定位編碼，以增強詞匯的上下文關聯(lián)性，見表3。

表3 位置編碼

2.1.2 摘要分類層

在BERT輸出位置添加LSTM層，更進一步提取文檔級特征。BERT的輸出-句子表示Ti輸入到LSTM，經過LSTM處理，輸出隱藏狀態(tài)Hi，并將該隱藏狀態(tài)繼續(xù)輸入到sigmoid分類器中進行分類。

其中Fi，Ii，Oi，Gi分別代表LSTM中的遺忘門、輸入門、輸出門、隱藏向量、LNh和LNX分別代表不同層正則化，Ti表示上層BERT的輸出向量，通過對權重和隱層向量的正則化，得到經過各個門的向量值

(Fi，Ii，Oi，Gi)=LNh(Whhi-1)+LNx(WxTi)

(1)

tanh函數(shù)用于產生新的候選值，sigmoid函數(shù)決定哪些值更新，起篩選作用，Ci表示記憶向量，將其結合用于更新隱藏向量Gi

Gi=sigmoid(Fi)⊙Ci-1+sigmoid(Ii)⊙tanh(Gi-1)

(2)

Ot表示輸出門，LNc為正則化層，為更新最終輸出向量，通過篩選出輸出門的向量，并結合當前時刻t的記憶向量Ct產生新的候選值后更新輸出向量Hi

Hi=sigmoid(Ot)⊙tanh(LNc(Ct))

(3)

(4)

2.2 基于XNTL的生成式摘要模型

本文選擇seq2seq框架，使用XLNET作為編碼器，Transformer作為解碼器，聯(lián)合YCN-Copy機制及基于Best-First Beam Search[9]的層Softtmax構建抽取-生成式自動摘要生成模型XNTL。

基于XNTL的編碼器模塊，針對自回歸語言模型(auto regressive，AR)[10]存在無法利用上下文信息，只能利用單項語義問題，以及自編碼語言模型(auto embedding，AE)因引入了標簽[MASK]，導致預訓練和微調過程不一致，出現(xiàn)在預測[MASK]時，忽略了連續(xù)[MASK]之間的關聯(lián)問題，本文提出排列語言模型(permutation language model，PLM)對編碼器模塊進行改進，引入YCN-Copy[11]機制對抽取式模型的摘要結果進行優(yōu)化提取，并聯(lián)合基于Best-First Beam Search策略的層Softmax優(yōu)化模型訓練過程，從而生成最終司法文書摘要。

2.2.1 Permutation Language Model

基于XNTL的編碼器模塊，解決自回歸模型(AR)和自編碼模型(AE)缺陷，通過對序列重新排序的方式，使用排列語言模型(permutation language model，PLM)，賦予單向模型的下文感知能力。例如，序列[經→審→理→查→明]，通過序列改變，可以得到共N！種排列方式，N表示序列長度。

[經→審→理→查→明]，[經→理→審→明→查]

[明→經→查→審→理]，[理→查→明→經→審]

通過排列組合的方式，任何一個元素都可以成為最后一個元素，即使是單向自回歸(AR)模型，也能夠關聯(lián)到上下文。

實現(xiàn)過程如圖3所示。

圖3 排序語言模型

PLM語言模型優(yōu)勢在于通過重新排列的方式，采用自回歸模型(AR)替代自編碼模型(AE)，從而避免AE模型中的[MASK]標簽帶來的負面影響，并同時可以規(guī)避AR模型僅只能單向預測的弊端。

2.2.2 Two Stream Attention[12]

基于PLM機制，XLNET還使用了Two Stream Attention機制，包含Content Stream和Query Stream Attention機制。Content Stream機制采用傳統(tǒng)Attention，僅包含token編碼，但是由于XLNET采用PLM模型，為了避免待預測詞可以看見自身問題，引入Query Stream機制將待預測詞標記為其位置編碼。由于PLM模型是對句子進行重新排列，打亂原文本序列順序來獲取上下文信息的，必須通過預測詞的位置信息去準確獲取預測詞內容信息，因此輸入序列就不能包含內容信息。XLNET基于Two Stream Attention機制將位置編碼信息從輸入編碼中單獨拆分出來，采用新的分布計算來實現(xiàn)目標位置感知，G(XL

(5)

(1)Content Stream，內容流注意力機制，同傳統(tǒng)Self-Attention一致，其結構如圖4所示。

圖4 內容注意力機制原理

(6)

圖5 查詢注意力機制原理

(7)

圖6 雙流注意力機制模型結構

XLNET主要借鑒Transformer-XL中的段循環(huán)機制及相對編碼機制融合了自編碼模型和自回歸模型的優(yōu)勢，解決了Transformer-XL中絕對位置編碼無法區(qū)分文本片段導致信息流失問題。

2.3 YCN-Copy機制

在生成式摘要模型中使用基于指針網絡的copy機制采用相應策略從原文中復制詞語，不僅可以重現(xiàn)原文的重點細節(jié)，而且一定程度上緩解了未登陸詞OOV問題。常規(guī)Copy機制每次只能復制一個token，無法復制一個連續(xù)片段，且Copy機制的實現(xiàn)較為復雜，無法直接簡單加以使用。針對這些問題，本文提出一種YCN-Copy機制，其復制的是原文中的連續(xù)片段，不僅保存了句間關系，而且實現(xiàn)簡單方便。其結構如圖7所示。

圖7 YCN-Copy機制

YCN-Copy機制在編碼部分增加一個序列預測任務，原本的編碼部分建模是針對每個token分布進行自回歸建模，模型下一個token生成依賴于前n個token，形式化表示為

(8)

現(xiàn)在多一個序列預測建模，使用{Y，C，N}標簽對預測的字進行打標，判斷是否來源于原文。形式化表示見表4。

表4 雙流注意力機制參數(shù)說明

(9)

Zt∈{Y，C，N}

(10)

其中，{Y，C，N} 含義為：Y表示該token為文本中復制而來；C表示該token為文本中復制而來，且跟之前token為連續(xù)片段；N表示該token不是復制而來。

YCN-Copy機制，通過計算目標摘要和輸入原文的最長公共子序列，出現(xiàn)在最長公共子序列中的token就認為是文本中復制而來，記為Y；若該token不僅出現(xiàn)在公共子序列中，并且同時與之前token是一個連續(xù)片段，記為C；若該token未出現(xiàn)在公共子序列中，則記為N，表示該token不是復制而來。YCN-Copy的本質是在解碼階段多了一個序列預測任務，首先預測每個token的標簽Zt∈{Y，C，N}， 如果Zt是N，則不做改變；如果Zt是Y，則在token分布使用mask標簽替換掉所有不在原文的token；如果Zt是C，則使用mask標簽替換掉無法組成原文對應N-gram的token。使得解碼時通過時間序列一步步解碼，保證YC位置對應的token是原文的片段，從而保證摘要和原始文本的緊密契合度。

2.4 基于Best-First Beam Search策略的層次Softmax[13]

在生成式模型的解碼模塊，采用Softmax作為輸出層將多個標量映射為一個概率分布，Softmax采用貪心策略，每一時刻選擇最優(yōu)解，但由于每一步都是局部最優(yōu)，所以可能得不到全局最優(yōu)解。Beam Search對貪心策略進行改進，通過擴大搜索空間可以解決全局最優(yōu)解問題。而Best-First Beam Search在Beam Search基礎上通過減少得分函數(shù)的調用提升搜索效率，在更短的時間內可以得到和Beam Search相同的效果。每一步Beam Search都維護一個最大堆，然后用前一步得分最高的序列生成新的序列，放入最大堆中，選出當前序列得分最高的k個序列。x表示當前輸入，y表示要生成的句子，n為生成句子的最大長度，得分函數(shù)一般是對數(shù)似然，計算公式如下

(11)

搜索過程中比較運算公式如下

(12)

公式表示，讓那些長度更短，或是長度相同但是得分更高的句子被優(yōu)先計算。

模型收斂條件計算公式如下

Stop(?)?y.last()=END，?y∈?

(13)

公式表示為讓所有的句子都能被搜索完。

在Beam Search中，如果有兩個得分最大的序列，那么搜索更短的那個序列即可，直到生成終止符。通過修改停止搜索條件，可以得到Best-First Beam Search。

搜索過程中的比較運算公式如下

(14)

終止條件計算公式如下

Stop(?)??.peek().last()=END

(15)

得分函數(shù)設置為0。

Best-First Beam Search算法的優(yōu)勢在于，如果已經計算了長度為n的句子，那么就無需再計算長度小于n的句子，其得分在該長度上一定是更低的。

3 實驗結果

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集為國內第一個公開的長文本生成數(shù)據(jù)集。全部數(shù)據(jù)為面向法律領域裁判文書(摘要-長文本)數(shù)據(jù)對。數(shù)據(jù)總量為9484條，文本平均長度為2500字左右，最大字數(shù)13 009，最小字數(shù)868；摘要句的平均長度為350左右，最大字數(shù)522，最小字數(shù)68。對于超長文本的處理手段為：設置極限閾值2500，超出閾值的進行截斷；對于短文本的處理手段：未達到設置長度(當前實驗設置的長度為512)的進行padding。將長文本作為抽取式模型輸入，生成的摘要同裁判文書數(shù)據(jù)對進行對齊，找到其對應標簽，作為生成式模型輸入。使用交叉驗證方法。將標注數(shù)據(jù)分為n份，其中n-1份訓練抽取模型，使用抽取模型預測剩下的那份數(shù)據(jù)的抽取摘要，如此重復n遍，就得到全部數(shù)據(jù)的抽取摘要，并且盡可能地減少了訓練和預測階段的不一致性。

3.2 評估指標

本模型實驗結果采用Rouge[14](recall-oriented understudy for gisting evaluation)評估指標進行評測，基本思想為將模型生成的摘要同訓練集中的標準摘要進行對比，通過統(tǒng)計兩者間重疊的基本單元(n-gram)的數(shù)目，衡量模型自動生成摘要和標準參考摘要之間的相似度。本文主要采用Rouge-1，Rouge-2及Rouge-L對生成結果進行評估。Rouge-N(N=1，2)的計算公式如下，分子表示人工摘要和自動摘要共有的n-gram個數(shù)，分母表示參考摘要的n-gram個數(shù)

(16)

Rouge-1、Rouge-2用于直觀地表達自動生成摘要所包含信息量，Rouge-L通過計算自動摘要和人工摘要的最長公共子序列的準確率和召回率來體現(xiàn)自動生成摘要的流暢性，Rouge-L計算公式中LCS(X，Y) 是X和Y的最長公共子序列長度，M表示參考摘要，S表示自動摘要，Rlcs為召回率，Plcs為準確率，F(xiàn)lcs即為Rouge-L得分。

Rouge-L(最長公共子序列重合率)數(shù)學表達式如下

(17)

(18)

(19)

3.3 實驗環(huán)境及參數(shù)

本實驗基于深度學習框架Tensorflow1.14，使用單個NVIDIA Tesla V100(GPU)訓練。抽取式模型設置編碼器層數(shù)共12層，解碼器層數(shù)9層；生成式模型編碼器層數(shù)24層，解碼器層數(shù)12層，多頭注意力機制設置參數(shù)為12，最大序列長度為512，學習率為1e-6，共計訓練18個epoch。Drop為0.1，Batch size設置為8，訓練時長總計35小時。

3.4 實驗及結果分析

為更好反映出本模型在司法摘要上的效果，本文分別在抽取式摘要模型，生成式摘要模型以及抽取式+生成式摘要模型中選取了以下baseline進行了對比。

選取Pointer Generate Networks及BERT作為生成式摘要對比模型。Pointer Generate Networks模型采用編碼-解碼結構，利用指針生成器復制單詞，可以準確復制信息。BERT模型通過修改輸入數(shù)據(jù)的格式做摘要，目前取得不錯效果。

選取TextRank和CopyNet作為抽取式摘要對比模型。TextRank利用文檔內部的共現(xiàn)信息抽取關鍵詞，可通過創(chuàng)建圖來有效地對文檔摘要進行排序。CopyNet[15]采用seq2 seq框架，同樣采用copy機制，可以較好地處理OOV[16]問題。

選取BERT+SUMOPN抽取式+生成式對比模型[17]。該模型利用BERT先獲取文本向量得到關鍵句子再輸入到指針生成式網絡[18]中獲得摘要結果。最終模型評測對比結果見表5。

表5 摘要結果對比

由表5可以看出，實驗中的抽取式+生成式摘要模型結構結果都較好于單獨抽取式摘要模型或生成式摘要模型。本文提出BERTSUM+XNTL模型在ROUGE獲得最高評分，在Rouge-1，Rouge-2，Rouge-L上，同次好模型比對，分別提升了5.8%、1.2%、5.6%；同模型平均得分比對，分別提升了6.5%、6.5%、2.3%可明顯看出，本文通過將抽取式模型BERTSUM和提出的生成式模型XNTL結合的方式，在裁判文書數(shù)據(jù)集上均高于單一模型得分，可以顯著提升模型的摘要效果。圖8展示了不同模型在面向法律領域裁判文書數(shù)據(jù)集上的摘要結果。

圖8 摘要結果對比

針對摘要結果而言，BERTSUM+XNTL(ours)生成的摘要包含了更多的關鍵性信息，且內容更具有概括性，對原文也更具有理解性，生成的摘要更流暢、更簡潔、更準確、更豐富、更貼近人工摘要。

本文采用了7折交叉驗證，然后對結果進行融合計算，性能見表6。

表6 交叉驗證前后對模型性能的影響

本實驗將數(shù)據(jù)輸入到壓縮模型中訓練，圖9展示了BERTSUM+XNTL模型對應模型訓練的損失函數(shù)變化趨勢，在前兩個epoch中，呈現(xiàn)明顯的下降趨勢，在2～4個epoch略微上升后，下降較為迅速，一直到第9個epoch，loss逐漸趨于穩(wěn)定，具體變化如圖9所示。

圖9 BERTSUM+XNTL損失函數(shù)

本實驗針對同一數(shù)據(jù)集的，通過不同模型包含：CopyNet、BERT、BERT-SUMOPN，分別在抽取式模型，生成式模型以及抽取式+生成式模型上進行訓練測試對比準確率，驗證本文提出模型在司法文書鄰域的摘要性能，各模型準確率變化如圖10所示。經模型比對發(fā)現(xiàn)，在第6個epoch之前，BERTSUM+XNTL的準確率階段性地存在略低于其余3個模型的情況，呈現(xiàn)逐步上升趨勢，在第6個epoch之后，BERTSUM+XNTL的準確率均高于其余3個模型，最高值達到91%且波動在85%～90%區(qū)間趨于平穩(wěn)。

圖10 準確率對比

4 結束語

本研究結果表明在面向法律領域裁判文書數(shù)據(jù)集上通過結合抽取式及生成式摘要模型進行摘要任務優(yōu)于單一模型摘要效果?；贐ERTSUM及XLNET，運用BERTSUM模型作為抽取式摘要模型對原文進行抽取式摘要，以抽取式摘要模型的輸入為模型輸入，對摘要進行特征提取，從而生成更加準確的摘要結果。融合了抽取式摘要模型及生成式摘要模型優(yōu)勢，解決了抽取式模型文本序列過長時容易丟失信息導致摘要提取結果不準確，及生成式模型生成序列重組時語法不準問題。適用于法律領域文本摘要任務，后期工作將基于其它數(shù)據(jù)集對模型進行相應參數(shù)微調，探索在其它領域的摘要效果，完善文本摘要工作。