基于句子選擇的關鍵短語生成

羅益超，李爭彥，張 奇

(復旦大學 計算機科學技術學院，上海 200433)

0 引言

關鍵短語生成是一個在自然語言處理中傳統并具有挑戰的任務。它可以通過生成的關鍵短語捕獲文檔的中心思想。當模型生成一個簡潔的輸出后(關鍵短語)，我們可以很方便地應用于下游任務。例如，文本分類(text categorizing)[1]、文本摘要(summarization)[2-3]和意見挖掘(opinion mining)[4]等。

在關鍵短語生成中，根據關鍵短語是否存在于原文中可以分為抽取式(present)關鍵短語和生成式(absent)關鍵短語。傳統的方法[5]致力于生成抽取式關鍵短語，所以這類方法也被稱為關鍵短語抽取。最近很多研究致力于同時生成兩種關鍵短語。Meng等[6]提出了一種基于注意力機制(attention-based)的序列到序列(Seq2Seq)框架[7]，并引入了拷貝機制(copy mechanism)[8]，從而有效地生成稀有詞。Chen等[9]提出了一種結合覆蓋機制(coverage mechanism)[10]和回顧機制(review mechanism)的模型，從而生成更多樣化的關鍵短語。Chen等[11]提出了一種利用標題信息去指導生成關鍵短語的模型。Chan等[12]利用結合自適應獎勵函數的強化學習方法去提升模型效果，并生成更多數量的關鍵短語。

所有這些方法都基于一個序列到序列(Seq2Seq)的框架，它把整個輸入文檔當成一個序列，平等地對待文檔中的每個單詞。然而，文檔中信息的重要性是不同的。例如，對于科學性論文的摘要，一般包括目的(purpose)、方法(methodology)、實驗發現(findings)、實驗價值(value)等幾句話，而像“目的”、“方法”中很大概率有關鍵短語，但“實驗發現”、“價值”中很少有關鍵字。因此，利用文檔結構去建模句子級信息可以有效減少無效信息，并且能讓模型更加致力于重要的部分。

本文提出了一個新穎的方法，叫作句級選擇網絡(sentence selective network，SenSeNet)，其可以自動收集每一個句子的信息并用隱變量隱式地表示句子特征，從而判斷這個句子是否傾向于生成關鍵短語，然后根據二值信號(0、1)引入對應的歸納偏置到原本的序列生成框架中輔助模型生成。在句級選擇網絡中，需要將平滑連續的句子表示值轉化成離散型變量(0、1)，這會造成梯度無法回傳的問題。所以我們引入直通估計量[13](straight-through estimator,STE)方法來分別處理前向傳播和反向傳播，從而使模型可以端到端訓練。另外，為了保證句級選擇網絡的性能和效率，本文提出了一個與任務強相關的弱監督信號來監督句級選擇網絡。

圖1 關鍵短語生成的一個例子注: 粗體單詞是present keyphrase，下劃線單詞是absent keyphrase。其中摘要被分為四部分: 目的(purpose)、方法(methodology)、發現(findings)、價值(value)。

本文在五個數據集上做了實驗。實驗表明，句級選擇網絡能夠較為準確地選擇相對重要的句子，并且在抽取式關鍵短語和生成式關鍵短語兩部分都有一定的性能提升，尤其是在生成式關鍵短語部分。為了進一步分析實驗結果，本文提出了一個新概念——半抽取式關鍵短語(semi-present keyphrase)。另外，本文還做了通用性實驗，實驗表明，該模型在各種序列生成模型中均能發揮有效的作用。

1 相關工作

目前的關鍵短語生成方法主要分為傳統的關鍵短語抽取(keyphrase extraction)和近期的關鍵短語生成(keyphrase generation)。

傳統的關鍵短語抽取方法[14-15]直接抽取文中重要片段作為關鍵短語，它一般分為兩步: 候選詞抽取和排序。在第一階段，首先使用一些啟發式方法提取一些候選詞，例如，詞性標注(part-of-speech tags)[16]和N元模型(N-gram)[17]，然后將這些候選詞依據成為關鍵短語的可能性被有監督[18]或者無監督[19]的方法排序。傳統方法的缺點是不能生成文中不存在的短語。

為了解決這個問題，meng等首先提出了一個基于Seq2Seq模型[20]——CopyRNN。它結合了注意力機制[7]和拷貝機制[8]。這個工作提出了一個大規模數據集KP20k，并將關鍵短語生成引入深度學習時代。此后，許多方法或者機制被引入到這個框架中用來提高性能。CorrRNN[9]引入覆蓋機制[10]和回顧機制來緩解重復和冗余的問題，使模型生成更加多樣的關鍵短語。TG-net[11]充分利用了標題信息并把標題作為一個額外信息去指導原文編碼，取得不錯的效果。

以上深度學習的方法是基于one2one模式的，具體做的時候，模型會將文檔和每一個關鍵短語一一對應地放入模型中訓練，最后用beam-search進行解碼，選取概率最高的k個關鍵短語作為結果，所以這些方法生成的關鍵短語數量是固定的。Yuan等[21]提出兩個方法: catSeq和catSeqD，可以生成不同數量的多個關鍵短語。它的做法是將一個文檔對應的多個關鍵短語拼接在一起，用分隔符分開，以結束符結尾，拼接后作為一個序列。在解碼階段時，生成的關鍵短語到結束符為止。這種模式被稱為one2many。最近Chan等[12]結合一個自適應的獎勵函數的強化學習方法提升模型性能并生成數量更多的關鍵短語(由于之前的catSeq生成的平均數量小于標簽的平均數量)。另外這篇文獻中提出了一種結合維基百科語料的評價指標緩解同義詞未被合理評價的問題。

本文的工作參考了Yuan等[21]的工作，也是one2many模式，一次生成不同數量的關鍵短語。和TG-net模型相似，本文的模型也致力于從文中的重要部分抽取關鍵短語，但是區別于TG-net只關注標題信息，本文的模型更加關注所有重要句子。

2 主要方法

2.1 問題定義

表1 三種不同關鍵短語的例子

2.2 基于句子選擇的編碼器

傳統的編碼器(encoder)模塊首先將輸入序列x=(x1,x2,…,xT)做詞嵌入(embedding)，轉換成e=(e1,e2,…,eT),然后經過一個編碼器層，如雙向門控循環單元(GRU)[22]或者Transformer[23]得到隱狀態表示H，如式(1)所示。

H=Encode(e)

(1)

在句子選擇模塊中，本文使用卷積神經網絡(CNN)對句子進行分類[24]，將之前得到的序列詞嵌入表示e按照句號進行分離。第i個句子Si如式(2)所示。

Si=eπi⊕eπi+1⊕…⊕eπi+|Si|-1

(2)

其中,MLP是多層感知機，sigmoid是非線性激活函數，wmi是一個可訓練的權重向量。zi是一個二進制控制門，決定句子i是否重要(1表示重要，0表示不重要)。

為了將這個重要性信息反饋給模型，將被判斷重要的句子中每個單詞都標記1，判斷為不重要的句子中的每個單詞都標記0，用向量g(長度T)表示。然后用一個embedding矩陣D∈R1×2d對向量g做一個詞嵌入，然后得到一個和隱狀態H形狀相同的矩陣G，將G和H進行同緯度相加得到最終的隱狀態F，如式(8)、式(9)所示。

其中，d是隱狀態的維度，因為是雙向GRU所以需要2d。

2.3 解碼器

在解碼器中，用編碼器得到的最后隱狀態F結合注意力機制計算上下文向量u。時間t的上下文向量ut根據式(10)計算:

(10)

圖2 基于句子選擇的編碼器模塊注: 底部的圓圈表示詞嵌入，頂部的圓圈表示按照句子劃分后的詞嵌入。句子表示為詞嵌入經過卷積網絡后得到的。句子重要性為句子表示得到的01標簽。隱狀態為源詞序列經過encoder得到的。最終隱狀態為兩個同緯度隱狀態相加。

其中，αtj表示源序列中第j位置和輸出第t個位置的相關性。

在上下文ut的幫助下，解碼器可以更好地通過傳統的語言模型生成單詞序列，如式(11)、式(12)所示。

其中，st代表解碼器在t時刻時的隱狀態，Softmax可以得到生成詞表中每個單詞的概率，yt表示t時刻的輸出。

由于out-of-vocabulary(OOV)，模型不能生成稀有詞。因此我們引入拷貝機制到解碼器中用來直接從源文檔中拷貝稀有詞。所以最終生成一個單詞的概率被分為兩部分——生成和拷貝，如式(13)～式(15)所示。

其中，χ代表源文x中稀有詞的集合，Wc是一個可學習的參數矩陣，Z被用于歸一化。

2.4 訓練過程

2.4.1 標準訓練過程和STE優化

為了訓練模型，最小化負似然對數按照式(16)計算:

LMLE=-∑logp(yt|y

(16)

然而，在編碼器模塊中，模型為句子生成了一個二進制離散型表示[見式(7)]，這樣就造成模型不連續和梯度無法回傳的問題。為了解決這個問題，一個通用的方法就是利用策略梯度(policy gradient)從語言模型p(yt|y

在這個工作中，受之前訓練不連續的神經網絡的工作[13,25]的影響，利用直通估計量(straight-through estimator)去估計二值表示的梯度。對于解碼器的一個特定參數θ，估計梯度按照式(17)計算:

(17)

用一個連續并且平滑的函數η來估計之前不連讀的離散變量z。本方法在正向傳播的時候還是傳遞0、1離散值，而在反向傳播的時候用η的梯度去估計z的梯度。盡管這個估計有一個偏差，但是它在估計離散變量時非常高效。

2.4.2 弱監督訓練

由于目前提出的模型只接收源文檔和目標關鍵短語來作為訓練指導，而其中句子的重要性特征(0、1)需要模型自己來學習，這會使模型訓練得非常困難和緩慢。另外，如果缺乏這部分的監督信息，模型學習到最后很有可能將句子選擇層全部學成1或者全部學成0，這樣句級選擇網絡就失去了其作用，模型就退化成了標準的Seq2Seq模型。調研以往的工作可以發現，大部分正確的關鍵短語都是被直接從源文檔中抽取出來的，我們認為存在抽取式關鍵短語的句子相對比較重要，受Zhou等[26]將弱監督應用于NLP工作啟發，我們為每一個句子提出了一個弱監督信號ai∈{0,1}，用它來描述這個句子是否是重要的，其中1表示重要，0表示不重要。信號設定來源為: 若這個句子中存在抽取式關鍵短語或者半抽取式關鍵短語，則標記為1，反之標記為0。然后將這個弱監督信號添加到模型中，并用BCE loss(Binary Cross-Entropy loss)進行監督，如式(18)所示。

(18)

因此，最后的損失函數如式(19)所示。

L=LMLE+λLBCE

(19)

其中，λ是一個超參。

3 實驗部分

3.1 數據集

本文在五個公開科學性關鍵短語生成數據集上做了實驗: Inspec[17]、NUS[18]、Krapivin[27]、SemEval-2010[28]、KP20k[6]。

其中，KP20k中有約50萬條數據，比其他數據集規模都大許多，所以下文會以該數據集為重點進行分析。

3.2 實現細節

遵循Chan等[12]工作的實驗設計，在預處理過程中，將原文中所有數字用代替，將present keyphrase和absent keyphrase用分割，并且將present keyphrase按照文中出現順序進行排序。在生成關鍵短語時，將重復的關鍵短語刪除。另外，為了控制變量來證明句級選擇器的有效性，所有baseline參數設置都和Chan等人的工作保持一樣，如詞表大小設為50 000，隱層大小設置為150。

另外，還有一些文中所提出模型的獨特的細節，如設置embedding矩陣D中的緯度d為150，這和隱層的維度一樣大，符合模型的設計;卷積神經網絡的卷積核大小設置為{1,3,5},通道數為100;BCE損失函數的權重系數λ經過實驗調試，在0.08附近模型結果最優。

3.3 Baseline模型和評價指標

由于傳統方法性能遠遠低于深度學習的方法，所以本文只考慮基于Seq2Seq的模型。參考Chan等人[12]的工作，選取四個前人提出的模型并沿用了他們取的模型名: 結合拷貝機制的catSeq[21]、可生成不同數量的catSeqD[21]、結合覆蓋機制和回顧機制的catSeqCorr[9]、結合標題信息的catSeqTG[11]，其中，后三個模型都是往第一個模型中添加機制或者方法。本文提出的模型也是在catSeq中添加方法，所以其性能也是相對于catSeq的。另外，本文嘗試使用不同的編碼層(如Transformer、LSTM等)來驗證提出的模型的通用性。

先前的一些工作[6,11]從beam-search的結果中切取概率最高固定個數(如5或10)的關鍵短語作為結果計算評價指標，如F1@5和F1@10。為了更好地評價可變數量的關鍵短語，Yuan等[21]提出了一個新的評價指標，F1@M。它通過比較所有預測的關鍵短語和真實標簽來計算F1。

本文生成可變數量的關鍵短語，所以使用F1@ 5和F1@M兩個評價指標來分別評價present keyphrase和absent keyphrase。其中需要注意的是，由于生成可變數量的關鍵短語有可能不足5個，所以計算F1@ 5時，需要將生成不足5個關鍵短語的例子用隨機錯誤的關鍵短語補全。

4 實驗分析

4.1 Present和absent關鍵短語預測分析

本文分別評測了模型在present和absent keyphrase上的性能。不同模型在present keyphrase上的評測結果如表2所示。可以看到，句級選擇網絡的性能在幾乎所有數據集上都超過了四個基準數據集，除了在Krapivin數據集上略低于catSeqTG模型。事實上，本文提出的模型相對catSeq性能有一定的提升。經統計分析，Krapivin數據集中關鍵短語更多地集中于標題中，而catSeq-TG則更加關注標題信息，所以結果會比本文模型略好一點。

表2 Present keyphrase在五個數據集上的預測結果

Absent keyphrase上的結果展示在表3中。可以觀察到，句級選擇網絡在所有數據集上都取得了最好的結果，并且性能得到了顯著的提升。

表3 Absent keyphrase在五個數據集上的預測結果

Present和absent keyphrase取得如此顯著的成果，證明了我們提出的句級選擇網絡能有效利用句子信息，過濾不重要信息，使模型更加集中于重要的信息。

4.2 Semi-present關鍵短語預測分析

在本節中，為了驗證前一節提出的觀點，我們分析了句級選擇網絡在semi-present keyphrase上的性能。根據統計，semi-present keyphrase占所有keyphrase的7.9%，而absent keyphrase占所有的41.3%。又根據定義semi-present屬于absent keyphrase，所以semi-present占absent中的很大一部分。因此，若能改進semi-present的準確率，就能很大程度提升absent的性能。

表4中比較了所有基準模型在semi-present keyphrase上的性能。由于現有的模型在生成absent keyphrase上F1值非常低，所以我們選取正確預測的關鍵短語數量和Recall值作為評價指標，來分析semi-present keyphrase和absent keyphrase在除去前者剩下部分(用 absent w/o表示)中的效果。可以發現，不管是semi-present keyphrase還是absent keyphrase，模型SenSeNet的性能都有很大提升。特別是在semi-present keyphrase上，SenSeNet相對于基準模型在召回率上提升了0.6%，同時在absent w/o上提升0.4%，所以能在absent關鍵短語上取得性能的顯著提升。

表4 Semi-present keyphrase和absent w/o keyphrase (除去semi-present)在KP20k數據集上的結果

4.3 句子數量對預測的影響

在本節中，重點分析了文檔句子數量對SenSeNet預測關鍵短語性能的影響。本文將測試數據集按照文檔句子數量分為5份，然后計算每一部分中SenSeNet相對于catSeq提升了多少。評價指標選取了F1@5和F1@M，present和absent分別展示，數值為提升的百分數，結果如圖3所示。

圖3 不同句子數性能相對提升注: SenSeNet相對于catSeq在不同句子數量的測試數據集中性能提升的比例。

可以看到，不管是present keyphrase還是absent keyphrase，隨著句子數量增加，SenSeNet相對于基準模型提升的百分數不斷提升。這說明SenSeNet在隨著文檔句子數量變多時，仍然能有良好的性能，確實具有良好的去噪能力。另外可以看到在absent keyphrase中，模型能提升的百分數遠遠大于在present keyphrase中，也說明SenSeNet在absent keyphrase中特別有效。

本文統計顯示: 平均句子數量為7.6，平均“重要”句子數量(弱監督信號標記為1的)為3.9。其中，“重要”的句子占比為53.4%，也說明如果能從原文中選取重要的句子，會對生成關鍵短語非常有效。而實際預測過程中，表現最好的模型，句級選擇網絡選取了54.1%的句子作為重要句子，這個比例和弱監督信號中的比例十分接近。另外，本模型中抽取的76%的關鍵短語都來自重要句子。這說明我們模型成功地捕獲了句子重要性的文檔結構，并且成功地將這個歸納偏置引入到序列生成模型中。

4.4 用例分析

本節進行了用例分析。圖4用一個具體的例子比較了catSeq和SenSeNet生成的關鍵短語。其中，在真實標簽中，粗體單詞是present keyphrase(原文中有對應)，下劃線單詞是absent keyphrase，特別地，這個下劃線單詞屬于semi-present keyphrase(原文中灰底字為來源)。原文中第1句和第4句為模型實際選擇的重要句子。

圖4 對比SenSeNet和catSeq輸出的用例分析注: 第①和第④句是被SenSeNet判斷為重要的句子。粗體單詞表示present keyphrase，下劃線單詞表示absent keyphrase(特別的在這個例子中也是semi-present keyphrase)，方框單詞表示錯誤預測的關鍵短語但是存在于文檔中。第①句中灰色部分單詞表示semi-present keyphrase的來源。

對比catSeq和SenSeNet的輸出可以發現，catSeq只對了一個present keyphrase，而SenSeNet則相對于catSeq多對了兩個present keyphrase和一個absent keyphrase。分析原因，SenSeNet將這兩個單詞“fuzzy reasoning”和“power plant control”所在的句子給判斷為重要的，所以模型能以更大可能從這兩個句子中選出關鍵短語。相反，catSeq比SenSeNet多預測了一個錯誤單詞“control system”，而這個單詞存在的句子被SenSeNet判斷為不重要的，所以模型降低了從這個句子中選取關鍵詞的概率，最終沒有錯誤預測這個單詞。這也說明句子重要性判斷對關鍵短語預測有很大幫助。

4.5 可視化分析

在本節中對模型生成關鍵短語時的attention分布做了可視化分析。如圖5所示，三張熱力圖分別表示同一句話在catSeq、SenSeNet加入重要的偏置后(1)、SenSeNet加入不重要的偏置后(0)三種情況下，每個單詞在解碼時attention數值之和。可以理解為數值越高，被抽取為關鍵短語的概率越高。其中，粗體的幾個詞是真實關鍵短語標簽。

在catSeq中，真實關鍵短語中的幾個單詞概率雖然相對于同句中其他單詞高一點，但是還是很低，個別單詞如“time”甚至為0，所以這幾個單詞不容易被抽出來作為輸出。而當句級選擇網絡判斷這句話為重要，并加入了1的偏置后，可以發現，這幾個詞的概率變得非常高，很容易被抽取出來作為關鍵短語。在圖5的第3行Sen SeNeto中，當加入0的偏置后，這個句子中，連原本概率相對比較高的兩個單詞“short”和“fractional”的數值也變得很低，變得更加不容易被抽取。圖5有效說明了SenSeNet對句子加入“重要”的偏置和“不重要”的偏置處理都十分有效。

圖5 同一句話中所有單詞被預測的概率在三種不同情況下的可視化分析

4.6 通用性分析

在本節中，重點對模型的通用性做了分析，比較了多個Seq2Seq框架在KP20k數據集上有無添加SenSeNet的結果，如表5所示。

表5 通用性對比實驗

表5中，評測指標是F1@5，其中“TF”表示Transformer。從表5中可以看出，無論選用哪種Seq2Seq框架，SenSeNet在present和absent keyphrase上都有顯著的提升。這說明本文提出的模型是十分通用的。我們將SenSeNet能非常容易地移植入不同的框架并十分有效的原因總結為以下三點: ①句級選擇網絡是一個獨立運營的模塊，可以單獨收集句子信息并給出判斷; ②使用“1”和“0”的詞嵌入表示作為句子級的歸納偏置，而不是使用比較“硬”的“0、1”門控(直接將不重要的信息舍去)，這樣能讓模型更加平滑，并且能保留更多的原始語義信息，從而能使模型更好地運行; ③加入配套且和任務強相關的弱監督信號能更好地指導模型進行句子選擇。

表5中有一個奇怪的現象，就是當今比較流行且具有并行性的Transformer框架的結果不如相對傳統的GRU和LSTM。事實上，不僅關鍵字生成中有這個問題，其他的任務中也同樣，如命名實體識別(NER)[29]。Yan等[30]分析了這個現象，并且總結了兩個原因: ①標準Transformer不關注方向和距離信息; ②Transformer的注意力分布其實相對比較平滑，但是在NER中，注意力分布比較稀疏，因為只有少數詞是比較重要的。這兩點在關鍵短語生成中也同樣存在。

5 結語

本文提出了一個新穎的模型句級選擇網絡(SenSeNet)用于關鍵短語生成。它可以自動評估文檔中的每個句子是否更傾向于生成關鍵短語并向模型中引入偏置。本文使用直通估計量(STE)解決模型不連續問題，并引入弱監督信號指導模型更好地選擇重要的句子。實驗表明，句級選擇網絡能有效地捕獲文檔結構信息，同時有效地選擇傾向于生成關鍵短語的句子，最后在抽取式關鍵短語和生成式關鍵短語中都有顯著效果。