基于文本多維度特征的自動摘要生成方法

王青松,張 衡,李 菲

(遼寧大學 信息學院,沈陽 110036)

0 概述

隨著社會進入信息時代,互聯網上的數據呈爆炸式增長趨勢,數據量不僅龐大,而且數據維度過高,有效解決信息過載并從海量的數據中挖掘有用的信息變得至關重要。網絡數據大部分以文本形式存在,因此,文本摘要生成技術是人們從大量文本信息中快速獲取價值信息的關鍵。

現有的摘要方法基本都是從詞與句子的特征入手。文獻[1]利用詞項的詞頻構建詞句矩陣,通過詞句協同過濾算法(TSCF)排列句子,根據均值移位聚類算法優化摘要句子排序。文獻[2]通過計算句子關鍵詞的TF-IDF值對句子進行排序,利用句子相似度評價句子間的銜接度,選取銜接度高的句子作為摘要。然而,上述統計學的方法主要適用于結構比較規范的文本,且只考慮了單詞和句子的頻率影響度,并沒有考慮到詞匯間的語義關系。文獻[3]通過提取關鍵詞構造詞匯鏈,獲取中間語義元素,進而提取句子生成摘要。文獻[4]應用文本處理算法LSA分析文本的潛在主題,然后從文本中抽取對應這些主題的句子生成摘要。此類方法雖然考慮到了文本的整體語義層次,但忽略了句子語義結構對摘要生成的影響。文獻[5]利用深度神經網絡 Encoder-Decoder 基本框架,通過引入注意力模型,提出文本摘要的深層學習模型——AM-BRNN來獲取句子語義特征。文獻[6]提出一種基于LSTM-CNN的ATSDL框架,利用短語提取方法MOSP從文本中提取關鍵短語,通過LSTM訓練獲取句子的語義信息和句法結構。基于深度學習的摘要生成方法通過訓練語料庫能充分獲得詞和句子的語義信息,但此類方法過于依賴包含多目標詞的語料庫,且適用于處理短文本,過長的文本輸入序列會導致學習框架無法準確地獲取句子的語義信息。

近年來,適用于處理長文本的基于圖排序的摘要生成方法受到研究學者的廣泛關注,文獻[7]使用PageRank算法的改進算法TextRank生成摘要,將文本看成圖結構,句子作為頂點,句子間的相似度作為邊權重,迭代計算頂點權重,根據權重得分生成文本摘要。文獻[8]提出了基于WMD語義度的TextRank改進摘要算法,依據文本語義特征對句子進行評分。文獻[9]提出了一種將BM25算法融合到TextRank算法中的摘要生成算法,強化了文本詞頻特征對摘要生成的影響。此類方法將摘要生成問題轉化為圖排序問題,降低了傳統算法的復雜性,考慮到了上下文之間的聯系,但是由于句子結構表征過于單一,導致摘要生成的準確率低。

本文針對上述長文本摘要生成算法中的不足,綜合考慮句子的詞頻、語義和句法特征,利用樸素貝葉斯方法,以圖集成的方式對句子多維特征進行融合,從而準確地描述文本句子間的關聯關系,生成圖集成模型GIMFS,得到文本集成相似度圖,同時利用基于文本上下文句子聯系的TextRank算法對圖節點進行排序,以提高摘要生成的質量。

1 3種維度句子相似度的計算

1.1 詞頻相似度

詞頻分析是利用詞頻特征來確定詞語對文本的重要性。特征詞集中的特征詞TF-IDF[10]值的計算公式為:

(1)

其中,wij表示第j個句子中第i個特征詞的權重,tfij為詞語ti在句子dj中出現的頻率,N為文本句子集中句子的個數,ni為文本句子集中包含詞語ti的句子個數。

對于文本集合D中的每個句子可用其向量表示為si=[w1i,w2i,…,wmi],m為特征詞的數量,若句中含有特征詞,對應位置值為特征詞權重wij,否則值為0,則2個句子si=(w1i,w2i,…,wmi)和sj=(w1j,w2j,…,wmj)之間的相似度計算公式為:

(2)

1.2 語義相似度

潛在語義分析 (Latent Semantic Analysis,LSA)利用文本中詞與詞之間在潛在語義結構中的關聯性建立語義概念模型來表示文本。借助矩陣的奇異值分解(SVD),將文本中的詞向量和句子向量映射到一個低維的潛在語義空間,去除了原始文本空間中的一些“噪聲”,從而更精確地獲取文本的語義結構。

SVD是將文本矩陣Dm×n分解為正交矩陣U、VT和對角矩陣Σ的乘積,即:

D=UΣVT

(3)

取對角矩陣Σ的前k個奇異值Σk,并相應地保留左奇異矩陣U前k個列向量UK和右奇異矩陣VT的前k個行向量Vk,即對矩陣D進行k維空間壓縮處理,其分解過程如圖1所示。

圖1 矩陣的SVD分解示意圖Fig.1 Schematic diagram of SVD decomposition of matrix

文本矩陣D的k維近似矩陣Dk為:

(4)

其中,Dk保持了D中詞與句子的關聯模型,維度k值的選取可以通過多次實驗手動確定適當的參數值,也可以通過取值分析比較,但必須滿足式(5):

(5)

其中,θ可以取70%、80%、90%,則2個句子si=(wi1,wi2,…,wik)和sj=(wj1,wj2,…,wjk)之間的語義相似度用潛在語義空間VkΣk向量之間的余弦值來表示:

(6)

1.3 句法相似度

句法相似度主要衡量文本中句子之間在語法層面上的相似度,本文采用依存句法分析方法,以依存語法為基礎對句子進行結構分析。2個集合的相似度依賴于2個集合所含元素的相似度,句法相似度的計算采用文獻[11]中的計算方法,依存句法采用五元組表示:

P=(H/H-POS,C/C-POS,D)

(7)

其中,P表示詞語C依賴于詞語H,H-POS是詞語H的詞性,C-POS是詞語C的詞性,D代表詞語C和H的依存關系。這5個元素在集合相似度的計算中具有不同的權重次序。

根據依存句法理論,一個詞語只能依賴一個具體的詞語,但可能有很多詞語依賴于具體的詞語,因此在P中,詞語C的重要程度大于詞語H的重要程度。另一方面,一個詞語可以有多種詞性,同時一種詞性又可能包含多個詞語,因此,很明顯詞語比它本身的詞性更重要。另外,依存關系D不僅依賴于詞語,也依賴于詞性,所以依存關系D的重要度介于詞語和詞性之間。最終得到這5個特征的重要度排序如下:

C>H>D>C-POS>H-POS

(8)

假定有2個依存關系P1=(H1/H1-POS,C1/C1-POS,D1)和P2=(H2/H2-POS,C2/C2-POS,D2),對2個依存關系中5個相對應位置的特征,用1表示相同,0表示不同。然后根據它們的重要度順序即式(8)排列,得到一個二進制數字(bbbbb)2,它的大小范圍為0～31,0代表2個依存關系完全不相似,31代表2個依存關系完全相似。定義2個依存關系的相似度計算公式為:

(9)

假定2個句子的依存關系集合分別為:si={a1,a2,…,an}和sj={b1,b2,…,bm},定義2個句子的句法相似度為:

(10)

2 基于圖集成模型的自動摘要生成方法

2.1 圖集成模型

當句子間的關聯關系被更多類型的聯系所支持時,句子間的關聯呈現出更高的置信度[12],即句子多種特征之間的集成要比簡單的權重相加擁有更高的置信度,也就是句子之間相似計算擁有更高的準確性。由于每個維度的子圖都是獨立的,因此使用樸素貝葉斯方法集成來自各個維度的無向圖,集成相似度矩陣計算公式為:

(11)

圖2 圖集成模型總體結構Fig.2 Overall structure of diagram integration model

圖集成模型GIMFS通過3步對文本多維特征進行集成,得到文本集成相似度無向圖。

第1步對文本進行預處理,得到用特征詞集表示的句子節點。

對輸入的文本進行必要的預處理工作,這樣不僅能減少冗余信息,減輕計算量,而且還有助于提高相似度計算的準確性。對文本進行分段分句處理是文本預處理的基礎,將“。”“!”“?”“…”作為一個句子的結束符,把文本分解成句子集合,然后以句子為單位進行分詞、詞性標記、去停用詞、去低頻詞和詞義消歧工作。假定給定文本D有n個句子組成,則文本集合表示為D={s1,s2,…,sn},其中每一個句子sj(1≤j≤n)是按原文中出現的順序排列,經過文本預處理以后,得到文本集合D′={s′1,s′2,…,s′n}。D′中所有詞組成的特征詞集為CW={y1,y2,…,ym},其中,m為文本集合D′中特征詞的數量,特征詞的順序按原文出現的順序排列。對于文本集合D′中的每個句子可表示為s′j=[y1,y2,…,ym],若句子中對應位置不含有特征詞則用0表示。

第2步計算文本3種特征維度的相似度,分別構建每個維度的無向加權圖。

利用式(2)計算文本句子間的詞頻相似度,并構建文本詞頻特征相似矩陣A1,利用式(6)計算文本句子間語義相似度,并構建文本語義特征相似度矩陣A2,利用式(10)計算文本句子間句法相似度,并構建文本句法特征相似度矩陣A3。如果句子間的相似度為aij,則文本特征相似矩陣可表示為:

(12)

以句子為節點,句子間的相似關系為邊,相似度值為邊的權重,利用文本的3種特征相似矩陣A1、A2、A3分別構建3種維度的無向加權圖A′1、A′2和A′3。

第3步對文本三種維度的特征圖進行集成。

文本每一個維度的無向加權圖可以看作是子圖,通過圖的集成式(11)完成對子圖的集成,得到文本多維特征的集成相似度圖A′,其對應文本集成相似度矩陣為A,圖中句子間的集成相似度一般大于每個子圖中對應句子間的相似度,且句子間的相似關系具有更高的置信度,即句子間的相似關系的計算具有更高的準確性,文本多維特征的集成相似度圖更能準確地描述文本句子間的關聯關系。

根據圖集成模型GIMFS計算文本集成相似度矩陣的算法描述如下:

算法文本集成相似度矩陣計算算法

輸入待處理文本D

輸出文本集成相似度矩陣A

1.BEGIN

2.DivideCW from D;//文本預處理得到特征詞集

3.FOR each sjdo //對于文本中的每一個句子sj

4.s′j=[CW]; //用特征詞集表示句子

5.s′j(I)=IF-IDF(CW); //使用IF-IDF方法計算句子的

//詞頻特征值

6.s′j(W)=word2vec(CW); //使用word2vec完成詞向量的

//訓練

7.s′j(P)=P(CW); //使用依存句法分析計算句子的句

//法特征值

8.END

9.FOR each si,sjdo //對于文本中的任意一對句子si,sj

10.A1=Sim1(s′i (I),s′j(I)); //計算文本詞頻相似度并構建

//文本詞頻相似度矩陣

11.A3=Sim3(s′i(P),s′j(P)); //計算文本句法特征相似度

//并構建文本句法相似度矩陣

12.END

13.D′k=SVD(D′[ s′j]);//對文本D′進行奇異值分解

14.FOR each si,sjdo //對于語義空間Vk∑k中的任意一對句

//子si,sj

15.A2=Sim2(s′i (W),s′j(W)); //計算文本語義特征相似度

//并構建文本語義相似度矩陣

16.END

17.A=1-(1-A1)(1-A2)(1-A3); //計算文本的

//集成相似度矩陣

18.END

對文本集成相似度矩陣計算算法進行性能分析,該算法所消耗的時間復雜度包括以下7種:

1)對文本進行預處理,設其時間復雜度為T預。

2)計算特征詞集CW中特征詞的TF-IDF值,時間復雜度為O(m×n),m為特征詞的個數,n為文本中句子的個數。

3)使用依存句法分析完成文本中句子的句法結構表示,時間復雜度為O(m×n)。

4)計算文本中句子的詞頻相似度、句法相似度,其時間復雜度分別為O(n2)、O(n2)。

5)利用word2vec完成特征詞向量的訓練,設其時間復雜度為Tword2vec;對其構建文本矩陣D′進行奇異值分解,時間復雜度設為TSVD。

6)計算語義空間VkΣk中句子的語義相似度,時間復雜度為O(k2),k為保留的奇異值的數量。

7)使用樸素貝葉斯方法計算文本集成相似度矩陣的時間復雜度為O(n2)。

因此,圖集成模型GIMFS計算文本集成相似度矩陣的總的時間復雜度T為:

T=T預+O(m×n)+O(m×n)+O(n2)+O(n2)+

TSVD+O(k2)+O(n2)=T預+TSVD+

2O(m×n)+3O(n2)+O(k2)

(13)

2.2 摘要生成

TextRank算法是一種基于圖的無監督的排序算法,采用“投票”或“推薦”機制[13],將詞或句子之間的相似關系看成一種推薦關系,節點的重要性不僅取決于投票和邊的數量,還取決于節點的重要性,這有助于確定每個頂點的分數或等級。

通過圖集成模型GIMFS得到文本集成相似度圖之后,利用TextRank算法的迭代收斂方法對圖節點進行排序。句子節點權重迭代計算公式為:

(14)

其中,WS(Vi)是節點Vi的權重值,d為阻尼系數,一般取0.85,圖中某一節點跳轉到另一節點的概率為(1-d),in(Vi)是out(Vj)指向節點Vi的所有節點集合,表示節點Vj指向的所有節點集合,Wij是節點Vi和節點Vj之間邊的權重。式(14)的左邊為Vi的權重,右邊表示每個相鄰節點對本節點的貢獻程度。整個公式是一個迭代的過程,各個節點的初始權重一般設置為1,當經過迭代計算到圖中任意一節點迭代前后權值差值小于0.000 1時,迭代停止,最終得到各候選句的權值集合。將候選句按權值進行由大到小排序,然后根據提取率選取權值較大的幾個句子為摘要句。

提取率=生成摘要的句子個數/文本句子總數

(15)

其中,提取率取常規閾值0.1。

本文方法的總體流程如圖3所示。

圖3 基于文本多維度特征的自動摘要生成方法流程Fig.3 Procedure of automatic summary generation methodbased on text multi dimensional feature

3 實驗結果與分析

3.1 實驗環境和任務

實驗使用Python語言3.6版本實現本文的自動摘要系統,采用NLTK組件進行文本的預處理,在CNN/Daily Mail語料庫上使用genism模塊的word2vec模型訓練詞向量,在斯坦福推理語料庫(SNLI)數據集上實現對本文方法句子集成相似度的評測任務,在CNN/Daily Mail數據集上實現摘要的自動評估任務。

3.2 結果對比分析

實驗1句子集成相似度評測

數據集:SNLI數據集[14]是一個人工評測句子相似度計算的英文語料庫,包含570 000對人工標注的句子對,其中有550 153對訓練句子和10 000對測試句子,針對推理前提和推理假設之間是否存在邏輯關系,人工標注了entailment(蘊含,推理)、contradiction(矛盾,對立)、neutral(無關) 3種標簽。本文在實驗中選擇標簽為entailment的句子對為語義相似樣本,標簽為contradiction的句子對為語義不相似樣本,最終得到含有366 603對句子的訓練集和含有6 605對句子的測試集。

評價指標:本文通過準確率A、精確率P、召回率R及F1值4個評價指標對實驗結果進行評測,這4個評價指標的定義如下:

(16)

(17)

(18)

(19)

其中,TP是預測為相似且在數據集中也是相似的句子對的數量,TN是預測為不相似且在數據集中也是不相似的句子對的數量,FP是預測為相似但在數據集中為不相似的句子對的數量,FN是預測為不相似但在數據集中為相似的句子對的數量。

將本文基于圖集成模型GIMFS計算句子集成相似度方法分別與基于IF-IDF詞頻相似度方法、基于LSA語義相似度方法、基于依存句法相似度方法和文獻[15]方法進行實驗對比,相似度閾值取0.6,結果如圖4所示。

圖4 SNLI數據集中評價指標的對比Fig.4 Comparison of evaluation indicators inSNLI dataset

從圖4的實驗結果對比可以看出,本文圖集成模型GIMFS計算句子相似度的方法具有較高的準確率、召回率和F1值,證明本文句子集成相似度的計算方法在預測句子相似問題上具有較好的準確性。其原因在于:相比句子單一特征的IF-IDF、LSA和依存句法方法,本文方法綜合考慮文本句子中的詞頻、語義和句法3種特征,圖集成模型GIMFS有效強化了句子特征之間的關聯性,而文獻[15]基于句子多種特征相似度的計算方法只是將句子多種特征相似度權值簡單相加,其性能相比本文方法明顯較差。召回率表示樣本中的相似句與預測準確比例。精確率表示預測為相似的句子集中真正相似句子的比例,在一般情況下,精確率和召回率是相互矛盾的,一個數值高對應著另一個數值低,很少有方法能使兩者同時獲得較好的數值,本文方法在保證高精確率的同時,召回率明顯高于其他方法,而且兩者的綜合評價指標F1值達到最高。綜合結果表明,相比其他方法,本文基于圖集成模型GIMFS的句子集成相似度計算方法在預測句子相似方面取得了更好的效果。

實驗2摘要評估

數據集:本文的研究是基于長文本的單文檔自動摘要生成技術,實驗采用基于單文本自動文本摘要語料庫CNN/Daily Mail,該數據集是從美國有線新聞網(CNN)和每日郵報網(Daily Mail)收集了100多萬條新聞數據[16]。使用文獻[16]提供的腳本下載數據集,使用文獻[17]提供的腳本獲得了數據集未標記版本,即包含每個新聞故事的原始文本,其中,訓練集286 817對,驗證集13 368對,測試集11 487對,使用訓練集作為摘要評估的數據集,訓練集中文檔平均包含833個詞,約27個句子,對應的摘要平均包含53個詞和3.72個句子。

評價指標:對實驗結果評測時,采用評測工具ROUGE來進行評測,計算ROUGE中ROUGE-1、ROUGE-2、ROUGE-L值作為最后的評價指標。ROUGE-N定義公式為:

ROUGE-N=

(20)

其中,n表示n-gram的長度,{ReferenceSummaries}表示事先獲得的人工標準摘要,Countmatch(gramn)表示候選摘要和標準摘要中同時出現n-gram的個數,Count(gramn)則表示標準摘要中出現的n-gram個數。

ROUGE-L是計算生成摘要和標準摘要的最長公共子序列(Longest Common Subsequence,LCS),其優點在于自動匹配最長公共子序列,不需要預先定義n-gram的長度[18]。

將本文提出的基于圖集成模型GIMFS的自動摘要方法分別與TextRank方法、基于RNNseq2seq生成式文本摘要方法[19]、基于句子多特征融合的TextRankExt[20]方法、基于詞句協同過濾的摘要提取方法TSCF-Mean[1]、基于深度學習自動抽取模型AM-BRNN方法[6]、基于IF-IDF和K-Means的文本摘要提取方法[21]進行實驗對比,結果如表1所示。

表1 CNN/Daily Mail中各方法的評價指標得分結果Table 1 Evaluation index score results of each methodin CNN/Daily Mail %

通過表1的實驗結果對比可知,本文方法針對長文本表現出較好的處理能力,各個評價指標均取得了較好的結果。對比RNNseq2seq在3個摘要評價指標上大約提高了9%,由于RNNseq2seq是基于seq2seq模型的生成式摘要方法,適用于處理短文本,過長的文本輸入序列會導致編碼器端無法準確地提取文本的語義信息,產生長距離依賴問題,導致模型無法收斂,進而影響到摘要生成的準確度。對比基線TextRank方法,從3個評價指標上可以看出,本文方法摘要生成的質量平均提高了約7%,表明文本的多維特征在摘要生成上起到了關鍵作用。

TextRankExt方法將句法、語義和統計方法應用于文本表征上,共同作用于摘要提取的過程中,效果優于文本單一特征的方法,但只是將文本的多種特征的權值簡單相加,其性能相比本文方法明顯較差,說明本文方法對文本多維特征進行集成的方式有效強化了文本多維特征之間的關聯性,進而提高了摘要生成的準確性。AM-BRNN方法雖然考慮了句子的多維度特征,通過雙向循環神經網絡BiRNN捕獲上下文信息,但并沒有對句子特征進行關聯整合,導致在神經網絡中注意力機制不能有效獲取語義信息。TSCF-Mean方法利用詞句協同過濾算法預測和計算句子權值,通過Mean Shift算法優化句子排序,雖然充分考慮了文本的詞頻特征,但在文本語義表征上存在嚴重不足。IF-IDF&K-Means方法通過IF-IDF算法獲取文本的詞頻特征,然后根據K-Means聚類得到文本的主題分布,但此方法過于依賴文本的詞頻特征,同樣存在語義信息表示不足的問題。本文方法從詞和句子的多角度特征出發,利用句子多維特征之間的關聯關系,構建圖集成模型GIMFS,從而提高了文本句子之間相似計算的準確性,最后通過基于文本上下文信息關系的TextRank算法生成高質量的文本摘要。其實驗評價指標得分均優于其他方法,表明了本文摘要生成方法的優越性。

4 結束語

本文研究長文本的自動摘要生成技術,綜合考慮句子的詞頻、語義和句法特征,利用樸素貝葉斯方法對文本多維度特征進行集成,構建圖集成模型GIMFS,提高句子間相似特征的置信度,強化文本特征之間的關聯性,并通過基于上下文信息的TextRank算法對候選句進行排序,提高摘要生成的準確率。實驗結果表明,相比傳統基于句子單一特征的長文本摘要生成方法,本文圖集成模型GIMFS能夠提高句子間相似計算的準確性,有效強化文本多維特征之間的關聯性,提出的摘要生成方法對長文本中的語義單元具有較強的抓取能力,準確性更高。下一步將研究圖集成模型GIMFS的可擴展性,以增強句子多維度特征之間的關聯。