基于PV-DM模型的多文檔摘要方法

劉　欣　王　波　毛二松

(解放軍信息工程大學　河南 鄭州 450002)

?

基于PV-DM模型的多文檔摘要方法

劉欣王波毛二松

(解放軍信息工程大學河南 鄭州 450002)

當前的基于詞向量的多文檔摘要方法沒有考慮句子中詞語的順序，存在異句同向量問題以及在小規模訓練數據上生成的摘要冗余度高的問題。針對這些問題，提出基于PV-DM(Distributed Memory Model of Paragraph Vectors)模型的多文檔摘要方法。該方法首先構建單調亞模(Submodular)目標函數；然后，通過訓練PV-DM模型得到句子向量計算句子間的語義相似度，進而求解單調亞模目標函數；最后，利用優化算法抽取句子生成摘要。在標準數據集Opinosis上的實驗結果表明該方法優于當前主流的多文檔摘要方法。

語義相似度PV-DM模型句子向量多文檔摘要單調亞模函數

0　引　言

隨著互聯網的蓬勃發展和廣泛應用，話題被廣泛傳播，媒體和網民可以對其進行報道、引用、評論和修改，而且話題本身也在不斷演化，造成話題形式多樣，內容豐富，各有側重。信息爆炸的同時也造成了信息利用率降低，對網民全面了解話題帶來困難，如何高效地利用互聯網信息成為亟待解決的問題。因此，本文研究如何生成一個信息準確且覆蓋面廣的話題概要，提高用戶信息獲取效率。

近年來，研究者們研究如何對話題的多個文檔進行處理生成一份話題概要，稱之為多文檔摘要技術，其主要方法分為抽取式和摘取式兩類。抽取式摘要的方法是從多文檔中，抽取出最能代表這些文檔的句子，作為多文檔摘要，抽取式摘要具有可讀性強，原文信息保留全面等特點。與抽取式方法相比，摘取式方法需要利用自然語言生成技術來生成摘要。目前，自然語言生成技術并不能生成流暢的句子，影響了摘取式方法所生成摘要的可讀性。因此，抽取式方法仍然是文檔摘要領域的主流方法，本文也采用抽取式方法來生成摘要。

抽取式摘要方法關鍵是在有限字數或句子數的條件下，從文檔中抽取能夠包含話題主要內容的若干句子，同時要求選擇的句子沒有冗余信息。文獻[1-4]均將句子選擇視為最優化問題。首先給出約束條件，然后建立目標函數，最后利用優化算法求解目標函數的最優解。在上述研究中，Lin[4]等提出的算法取得了目前最好的性能，其利用單調亞模函數建立目標函數，然后利用貪婪優化算法求解最優解。然而，Lin等人的研究是利用TF-IDF(Term Frequency-Inverse Document Frequency)方法計算句子的權重來衡量句子間的相似性，這也是目前多數文檔摘要算法采取的比較通用的方式。該方式依賴詞形相似性度量句子間的相似度，沒有考慮句子中同義詞對句子間相似度的貢獻，無法準確計算句子之間深層的語義相似度，比如“喜歡”和“愛”雖然意思相近，但是計算兩個句子相似度時不會統計這兩個詞，從而不會提高句子之間的相似度。針對這個問題，研究者嘗試引入帶有語義信息的詞向量來提高句子相似度計算的準確性。例如，K?geb?ck等[5]通過訓練Skip-gram[6]模型得到代表詞語語義信息的詞向量，將詞向量相加作為句子向量，通過計算句子向量的余弦相似度衡量句子之間的相似度。然而，將詞向量相加并沒有考慮詞語的順序，例如“我喜歡你”和“你喜歡我”，這兩句話的意思不一樣，但是它們的句子向量卻相同，即異句同向量，導致抽取式摘要的準確性降低。當訓練數據規模較小時，通過該方法得到的句子向量代表句子語義信息的能力低，抽取出的句子比標準摘要句長，含有較多冗余信息，影響用戶閱讀效率。

針對上述問題，本文在Lin等人研究的基礎上，提出一種基于 PV-DM模型的多文檔摘要方法。該方法通過訓練PV-DM模型產生句子向量來計算句子之間的語義相似度，避免了傳統方法僅利用詞形相似性和基于詞向量的摘要方法沒有考慮詞語順序所帶來的問題。

1　相關工作

本文中的PV-DM模型屬于神經網絡語言模型，本節將分別介紹神經網絡語言模型和多文檔摘要技術。

1.1神經網絡語言模型

Bengio等[7]用一個三層(輸入層，隱藏層和輸出層)的前饋神經網絡構建語言模型訓練詞向量，輸入語料訓練模型，輸出層中利用softmax算法預測下一個詞語，輸出層中的節點數等于輸入語料的單詞數，當訓練大規模語料時，運算復雜度高，模型訓練緩慢。為了降低運算復雜度，Collobert等[8]將神經網絡的輸出層改為1個節點，縮短了訓練詞向量的時間。Huang等[9]認為Collobert的工作只利用了“局部上下文”，所以提出了一個結合局部信息和全局信息的神經網絡語言模型訓練詞向量。為了進一步降低運算復雜度，Mikolov等[10]提出了Skip-gram和 CBOW(Continuous Bag-of-Words Model)模型，這兩個模型只有輸入層、映射層和輸出層，在訓練語料時忽略單詞的順序。在詞向量之外，研究者們也嘗試利用神經網絡訓練生成短語向量、句子向量和段落向量。

Socher[11]和Denil[12]分別提出了訓練短語向量的RvNN(Recursive Neural Network)模型和訓練句子向量的ConvNets(Convolutional neural Networks)模型，但是這兩個模型都需要標注數據進行訓練。Mikolov等[7]則利用詞向量的相加代表短語向量或者句子向量，但是該方法沒有考慮句子中單詞的順序。Le等[13]提出用PV-DM模型訓練段落向量(當段落是一句話時為句子向量)，該模型利用無標注數據訓練，而且在訓練句子向量時考慮了詞語的順序。

1.2多文檔摘要技術

Radev等[14]提出聚類中心的概念，首先利用TF-IDF計算句子的權重，然后計算句子權重之間的余弦相似度，從而得到多個聚類，再選出每個聚類的中心句作為整體的文檔摘要。同年，Mihalcea等[15]提出TextRank算法，首先用圖代表整篇文檔，圖中的節點代表句子，邊的權重信息代表句子間的相似度，然后利用Google的PageRank算法來估計句子的重要程度，最后選取最重要的句子作為文檔摘要。宋銳等[16]通過構建主-述-賓三元組結構的文檔語義圖，利用編輯距離對圖中節點進行聚類，經過進一步優化得到多文檔摘要。Chang等[17]利用文檔、主題、句子和詞匯信息構建4層LDA模型，通過計算文本語言模型和句子語言模型的相對熵對句子排序，從而生成摘要。文獻[18-20]則采用有監督學習的方法生成多文檔摘要。Bonzanini等[21]提出一種句子移除算法，通過在句子集中反復移除不重要的句子得到文檔摘要。Lin等[4]通過建立單調亞模目標函數，利用TF-IDF計算句子之間的相似度，優化目標函數得到最大值來生成摘要，但是該方法卻不能充分地利用詞語的語義信息。Denil[12]將可視化技術應用到多文檔摘要領域，通過計算文檔每個句子的重要性得分，創建整個文檔顯著圖，而后采用Simoyan[22]的可視化技術得到摘要顯著圖。

由于上述研究對句子的語義信息利用不足，所以K?geb?ck等[5]引入帶有詞語語義信息的詞向量，將詞向量相加生成句子向量來計算句子間的相似度，但詞向量在相加時沒有考慮詞語的順序，會產生異句同向量的問題，影響摘要的質量。

2　基于PV-DM模型的多文檔摘要方法

本節首先給出基于PV-DM模型的多文檔摘要方法的基本流程，然后對其中的關鍵技術逐一進行闡述。

2.1基本流程

本文方法的基本流程如圖1所示，主要包括構建單調亞模目標函數、訓練句子向量與計算語義相似度、生成摘要三個部分。

圖1　基于PV-DM模型的多文本摘要方法流程

(1) 構建單調亞模目標函數根據摘要的準確性和多樣性特點分別選取單調亞模函數L(S)和R(S)，然后線性相加得出代表摘要質量的單調亞模目標函數F(S)。

(2) 訓練句子向量與計算語義相似度利用PV-DM模型訓練數據集中每句話的句子向量，將基于句子向量的語義相似度計算方法應用到L(S)和R(S)的求解中。

(3) 生成摘要通過優化算法計算單調亞模函數的最大值得到多文檔的摘要句。

2.2構建單調亞模目標函數

(1)

式中，ci表示句子i的長度，F必須滿足如下性質：

F(A+v)-F(A)≥F(B+v)-F(B)

(2)

其中，A?B?Vv，式可以理解為隨著句子v上下文的增加，添加句子v所引起的增量變小，該性質也稱為增益遞減性。

一份高質量的文檔摘要具有代表性強和冗余度低的特點，針對這兩個特點分別構建單調亞模函數，然后將單調亞模函數線性相加來權衡代表性和冗余度，獲得質量盡可能高的多文檔摘要，因此單調亞模目標函數可以表示為：

F(S)=L(S)+λR(S)

(3)

式中，L(S)的作用是測量S代表V的準確度，R(S)用來衡量S中句子的多樣性，λ是平衡系數(本文選取λ=6[4])，用來權衡代表性和多樣性。L(S)的定義如下：

(4)

(5)

式中，Pi(i=1,2,…,K)表示V的i個聚類，各聚類中無重疊元素，rj≥0表示j對S的重要程度。構建R(S)的原理為：若S已包含聚類Pi中的句子，下一步選取的摘要句子應為其他聚類中的句子。

2.3PV-DM模型

PV-DM模型是一種訓練段落向量的神經網絡語言模型，它以三層(輸入層，映射層和輸出層)神經網絡作為框架，結構框架如圖2所示。

圖2　PV-DM模型結構框架

上述框架圖中，將輸入預料的每個段落都映射為一個向量，作為矩陣D的列向量，每個單詞映射為一個向量，作為矩陣W的列向量。給定一組詞語序列w1,w2,…,wT，所在段落為dw，PV-DM模型的目標為最大化平均對數，表示為：

(6)

預測的工作主要通過多元分類器來完成，例如softmax算法，從而得到下式：

(7)

式中，yi是詞i非正則化的統一概率，計算方法如下：

y=b+Uh(wt-k,…,wt+k,dw;W,D)

(8)

式中，U和b是softmax的參數，h由W和D中取出的詞向量和段落向量構成。

2.4訓練句子向量與計算語義相似度

本文利用PV-DM模型訓練句子向量，然后利用句子向量計算句子之間的語義相似度。

(1) 訓練句子向量

(a) 訓練詞向量和模型中的參數

獲取詞向量矩陣W，然后使用softmax獲取U、b和已知句子的句子向量矩陣D。

(b) 預測階段

從新的句子中獲取句子向量并加入到矩陣D中，W、U和b等參數不變，同時在矩陣D上使用隨機梯度下降法達到收斂，從而得到最終的句子向量矩陣。

(2) 計算句子間的語義相似度

根據句子向量計算句子間的余弦相似度，并將結果轉換到[0,1]之間，計算式如下：

(9)

其中，Sim(i,j)代表句子i和句子j的語義相似度，xi和xj是對應的句子向量。

2.5生成摘要

本文通過單調亞模目標函數優化算法求解式來生成摘要，具體算法如下：

算法單調亞模目標函數優化算法

輸入：句子集V

輸出：摘要集S

1 G←?

2 U←V

3 whileU≠Vdo

5 if∑i∈Gci+ck≤BandF(G∪{k})-F(G)≥0

6 G←G∪{k}

7 U←U{k}

8 end while

9 v*←argmaxv∈V,cv≤BF({v})

10 return S=argmaxS∈{{v*},G}F(S)

算法先定義2個集合G和U，分別賦以空集和句子集V，循環的向G中添加滿足條件的句子k，直到單調亞模目標函數F(G)不再增大。同時，計算字數不超過B的句子的F({v})，返回使F({v})最大的句子v*。最后，再比較F(v*)和F(G)的大小，選擇使目標函數最大的句子集作為摘要集S。

3　實驗結果及分析

3.1實驗數據與評價方法

本文實驗采用多文檔摘要領域的通用數據集Opinosis[23]進行實驗，Opinosis標準數據集包括51個話題，每個話題是用戶對酒店、汽車和電子產品等的評論，句子數從50到575個不等，每個話題還包括了人工生成的4到5組標準摘要。

當前常用評價標準ROUGE(Recall-Oriented Understudy for Gisting Evaluation)對多文檔摘要進行評估，其評價原理就是統計生成摘要和標準摘要中，有多少重復的N元語言模型、文字序列或者文字對，并以此作為文檔摘要的評測指標。在ROUGE評測指標中有多種子指標如ROUGE-N、ROUGE-W和ROUGE-L等，其中每一項評測指標都能產生出3個得分(召回率、準確率和F1值)，下面以ROUGE-N為例進行說明。

N元語言模型的召回率ROUGE-N-R為：

(10)

N元語言模型的準確率ROUGE-N-P為：

(11)

以上兩者結合計算F1值為：

(12)

其中，N是N元語言模型的長度，N-gram∈GT表示在標準摘要中出現的N-gram，N-gram∈CT代表生成摘要中出現的N-gram。Countmatch(N-gram)是在候選文檔摘要中和標準摘要中都出現的N-gram數量，Count(N-gram)則表示僅出現在標準答案摘要或是生成摘要中的N-gram數量，因為F1值由召回率和準確率結合計算而來，所以本實驗采用ROUGE-1和ROUGE-2的F1值分析實驗結果。

3.2實驗設置與結果分析

實驗選取Lin[4]和基于詞向量的文檔摘要中效果最好的方法作為對比實驗，分別記為SMS和WVS，本文方法記為SVS。

SMS利用基于TF-IDF的句子相似度計算方法求解單調亞模目標函數，優化目標函數生成摘要。WVS將SMS中句子相似度的計算方法替換為基于詞向量的相似度計算方法。由于每組標準摘要中平均包括兩句話，本實驗在每個話題中抽取兩句話作為各話題摘要。

(1) WVS和SVS用Opinosis數據集作為模型的訓練數據，然后分別用三種方法為Opinosis數據集的51個話題分別生成摘要，評估結果如圖所示。

圖3　三種方法的評估結果

從圖3可以看出，本文方法的評估結果均優于兩個對比方法，由于SMS中基于TF-IDF的句子相似度計算方法沒有利用詞語的語義信息，使得SMS的評估結果低WVS的評估結果。神經網絡語言模型的訓練一般需要充足的訓練數據，雖然本實驗中SVS和WVS的訓練數據稀疏，在一定程度上降低了WVS和SVS中句子向量代表句子的語義信息能力，但是評估結果說明用基于句子向量的語義相似度計算方法代替基于TF-IDF的句子相似度計算方法是有效可行的，其中SVS考慮了句子中詞語的順序，避免了WVS中異句同向量的問題，提高了生成摘要的質量。

(2) 為了提高本文方法生成摘要的質量，本文將11G的維基百科語料(https://dumps.wikimedia.org)(數據提取后得到3 642 397個文檔，總共包含14 753 874篇英文文章)和Opinosis數據集拼接作為訓練數據，再次使用三種方法進行實驗，結果如圖4所示。

圖4　大規模數據下三種方法的評估結果

從圖4可以看出，本文的方法仍然比兩個對比方法效果好，而且SVS和WVS的ROUGE-1評估值相較于在Opinosis數據集下分別提高了27.50%和18.17%, ROUGE-2評估值分別提高了53.32%和28.44%，這是因為訓練數據規模大，句子向量代表句子語義信息的能力得到了極大的提高，從而使抽取的摘要更加準確。從圖5和圖6可以明顯看出，SVS和WVS在大規模訓練數據的評估結果相較于小規模訓練數據下的評估結果有了顯著提高，說明訓練數據規模的選取對本文方法的性能有重要的影響。

圖5　訓練數據規模不同時SVS的評估結果對比

圖6　訓練數據規模不同時WVS的評估結果對比

(3) 實驗過程中發現，在訓練數據規模小的情況下，WVS方法抽取的句子較長，冗余度高；而SVS方法選取的句子接近標準摘要句子的長度，便于用戶閱讀；這個鮮明的對比表明SVS比WVS更加充分地利用了句子的語義信息。由于篇幅限制，本文只列舉3個話題的結果(如表1所示)，在表中SVS對每個話題選取的句子不僅主題準確，而且冗余度低，便于閱讀，對第二個話題選取的一個句子甚至和標準摘要句相同。WVS對每個話題選取的句子比較冗長，其中對第二個話題選取的句子表達的主題與標準摘要句表達的主題不同。

表1　小規模訓練數據下WVS和SVS生成摘要的對比

從圖3和表1可以看出，本文提出的SVS在Opinosis數據集作為訓練數據時，ROUGE評估結果已經超過了兩種對比方法，而且此時生成摘要的句子冗余度低。從圖4、圖5和圖6可以看出，訓練數據量較大時，SVS和WVS方法生成摘要的ROUGE評估結果都有大幅度的提高，均優于SMS的評估結果，且SVS的ROUGE評估值依然最高。

4　結　語

本文提出一種基于PV-DM模型的多文檔摘要方法，該方法通過訓練PV-DM模型得到句子向量，將基于句子向量的句子語義相似度計算方法應用到單調亞模目標函數的求解中，避免了語義信息利用不足和異句同向量問題。實驗結果表明，本文提出的方法在訓練數據稀疏時取得比SMS和WVS更高的ROUGE評估值，且抽取的句子冗余度低，便于閱讀；在訓練數據充足條件下，本文方法和WVS的評估結果都得到了極大的提高，且本文方法的評估結果依然最優。然而，訓練數據量較大時訓練句子向量的時間開銷大；訓練數據量不足時則會影響句子向量代表句子語義信息的能力，今后將對如何選取合適的訓練數據規模作進一步的研究。

[1] Takamura H,Okumura M.Text summarization model based on maximum coverage problem and its variant[C]//Proceedings of the 12th Conference of the European Chapter of the Association for Computational Linguistics.Association for Computational Linguistics,2009:781-789.

[2] Lin H,Bilmes J,Xie S.Graph-based submodular selection for extractive summarization[C]//Automatic Speech Recognition & Understanding,2009.ASRU 2009.IEEE Workshop on.IEEE,2009:381-386.

[3] Liu F,Liu Y,Weng F.Why is SXSW trending?:exploring multiple text sources for Twitter topic summarization[C]//Proceedings of the Workshop on Languages in Social Media. Association for Computational Linguistics,2011:66-75.

[4] Lin H,Bilmes J.A class of submodular functions for document summarization[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies-Volume 1.Association for Computational Linguistics,2011:510-520.

[5] K?geb?ck M,Mogren O,Tahmasebi N,et al.Extractive summarization using continuous vector space models[C]//Proceedings of the 2nd Workshop on Continuous Vector Space Models and their Compositionality (CVSC)@ EACL,2014:31-39.

[6] Mikolov T,Sutskever I,Chen K,et al.Distributed representations of words and phrases and their compositionality[C]//Advances in Neural Information Processing Systems,2013:3111-3119.

[7] Bengio Y,Ducharme R,Vincent P,et al.A neural probabilistic language model[J].The Journal of Machine Learning Research,2003,3(2):1137-1155.

[8] Collobert R,Weston J.A unified architecture for natural language processing:Deep neural networks with multitask learning[C]//Proceedings of the 25th international conference on Machine learning.ACM,2008:160-167.

[9] Huang E H,Socher R,Manning C D,et al.Improving word representations via global context and multiple word prototypes[C]//Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics:Long Papers-Volume 1.Association for Computational Linguistics,2012:873-882.[10] Mikolov T,Chen K,Corrado G,et al.Efficient estimation of word representations in vector space[J].arXiv preprint arXiv,2013:1301,3781.

[11] Socher R,Manning C D,Ng A Y.Learning continuous phrase representations and syntactic parsing with recursive neural networks[C]//Proceedings of the NIPS-2010 Deep Learning and Unsupervised Feature Learning Workshop,2010:1-9.

[12] Denil M,Demiraj A,de Freitas N.Extraction of Salient Sentences from Labelled Documents[J].arXiv preprint arXiv,2014:1412,6815.

[13] Le Q V,Mikolov T.Distributed representations of sentences and documents[J].arXiv preprint arXiv,2014:1405,4053.

[14] Radev D R,Jing H,Stys M,et al.Centroid-based summarization of multiple documents[J].Information Processing & Management,2004,40(6):919-938.

[15] Mihalcea R,Tarau P.TextRank: Bringing order into texts[C].Association for Computational Linguistics,2004:404-411.

[16] 宋銳,林鴻飛.基于文檔語義圖的中文多文檔摘要生成機制[J].中文信息學報,2009,23(3):110-115.

[17] Chang Y L,Chien J T.Latent Dirichlet learning for document summarization[C]//Acoustics,Speech and Signal Processing,2009.ICASSP 2009.IEEE International Conference on.IEEE,2009:1689-1692.

[18] Liu F,Liu F,Liu Y.Automatic keyword extraction for the meeting corpus using supervised approach and bigram expansion[C]//Spoken Language Technology Workshop,2008.SLT 2008.IEEE.IEEE,2008:181-184.

[19] Wong K F,Wu M,Li W.Extractive summarization using supervised and semi-supervised learning[C]//Proceedings of the 22nd International Conference on Computational Linguistics-Volume 1.Association for Computational Linguistics,2008:985-992.

[20] Li C,Qian X,Liu Y.Using Supervised Bigram-based ILP for Extractive Summarization[C]//ACL (1),2013:1004-1013.

[21] Bonzanini M,Martinez-Alvarez M,Roelleke T.Extractive summarisation via sentence removal:Condensing relevant sentences into a short summary[C]//Proceedings of the 36th international ACM SIGIR conference on Research and development in information retrieval.ACM,2013:893-896.

[22] Simonyan K,Vedaldi A,Zisserman A.Deep inside convolutional networks:Visualising image classification models and saliency maps[J].arXiv preprint arXiv,2013:1312,6034.

[23] Ganesan K,Zhai C X,Han J.Opinosis:a graph-based approach to abstractive summarization of highly redundant opinions[C]//Proceedings of the 23rd International Conference on Computational Linguistics.Association for Computational Linguistics,2010:340-348.

PV-DM MODEL-BASED MULTI-DOCUMENT SUMMARISATION

Liu XinWang BoMao Ersong

(ThePLAInformationEngineeringUniversity,Zhengzhou450002,Henan,China)

Currently, the word vector-based multi-document summarisation method does not take the order of words in sentences into consideration, it has the problem of same vector in different sentences and the problem of high redundancy in the summaries generated from small-scale training data. To solve these problems, we propose a method based on PV-DM model-based multi-document summarisation method. First, the method formulates the monotone submodular objective function. Then, by training PV-DM model it obtains sentence vectors to calculate the semantic similarity between sentences, and then calculates the monotone submodular objective function. Finally, it uses the optimised algorithm to extract sentences to form summary. Result of experiment on standard dataset Opinosis show that our method outperforms existing mainstream multi-document summarisation method.

Semantic similarityPV-DM (Distributed memory model of paragraph vectors) modelSentence vectorMulti-document summaryMonotone submodular function

2015-07-09。國家社會科學基金項目(14BXW028)。劉欣，碩士生，主研領域：自然語言處理。王波，副教授。毛二松，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.10.056