融合語義特征的TextRank 關鍵詞抽取方法

楊延嬌，趙國濤，袁振強，韓家臣

（西北師范大學計算機科學與工程學院，蘭州 730070）

0 概述

關鍵詞抽取作為自然語言處理中的一項基礎性研究，在信息檢索、文本歸類、自動摘要等領域得到廣泛應用［1］，關鍵詞抽取分為有監督的抽取方法與無監督的抽取方法［2］兩類。

有監督的關鍵詞抽取方法通過人工標注的方式得到標注集，使用機器學習方法訓練語料得到分類器，使用分類器判斷文檔中的詞語是否為關鍵詞［3］，典型代表有SVM、Bytes 方法。有監督的關鍵詞抽取方法準確率較高，但需要大量人工參與，難以適用于信息量巨大的現代應用場景。無監督的關鍵詞抽取方法使用某種方式將文檔中的詞語按重要性進行排序，將排名靠前的詞語輸出為關鍵詞。無監督的關鍵詞抽取方法基于統計，通過詞頻、主題特征、文檔信息等統計信息篩選出關鍵詞，代表方法包括TF-IDF、LDA、TextRank［4］等。

TF-IDF 方法基于詞頻，通過計算詞語在單文檔中的文檔頻率（Term Frequence，TF）與詞語在文檔間的逆文檔頻率（Inverse Document Frequence，IDF）得到詞語的綜合重要度。TF-IDF 方法計算過程簡單，準確率較高，但是純基于統計，沒有考慮句中詞語的其他特征，在中文文本關鍵詞抽取領域效率不高［5］。LDA 方法基于隱含主題模型，是一種包括詞、主題、文檔的三層貝葉斯概率模型［6］，其找出文檔主題，以主題中出現概率最大的詞語作為關鍵詞。LDA 應用廣泛，但需要對語料進行預訓練，關鍵詞抽取效率在很大程度上取決于訓練集文檔的主題分布。

TextRank 方法基于詞匯圖，是Google 著名排序方 法PageRank 的衍生算法［7］。TextRank 方法在2004 年由R.MIHALCEA 提出［8］，通過詞性標記提取名詞、形容詞、動詞等候選詞，以候選詞之間的共現關系構建詞匯圖，迭代計算詞匯圖節點權重，將排序靠前的詞語作為關鍵詞。TextRank 方法僅僅通過分析文檔自身就可實現關鍵詞抽取，具有快速反饋、弱語言相關等優點，但該方法沒有考慮詞語本身的重要性，詞語重要度受詞頻影響較大，無法從文檔整體角度進行考量［9］。許多學者在TextRank 的基礎上進行改進：文獻［10］結合TextRank 與LDA 主題模型抽取關鍵詞，發現當數據集有較強的主題分布時關鍵詞抽取效果能夠得到顯著改善；文獻［11］將世界知識以Word2vec 詞向量的方式融入TextRank 模型，改進了TextRank 單文檔關鍵詞抽取效果；文獻［12］通過應用類似于反向傳播概念的錯誤反饋機制增強了TextRank 方法的性能；文獻［13］在TextRank 的轉移概率計算中融合詞圖邊和點的信息來提升關鍵詞抽取結果；文獻［14］提出用于提取Twitter 的KECNW模型，著重強調圖模型的集體節點權重取決于頻率、中心性、鄰居節點位置等參數；文獻［15］將權重公式應用到TextRank 候選關鍵詞得分公式中，提升了關鍵詞抽取的準確率。文獻［16-18］融合詞頻、詞長、詞性、位置等關鍵詞提取因素，綜合多種因子改進TextRank 的關鍵詞抽取效果，在特定類型文檔關鍵詞抽取中取得了較好的效果。

綜上，現有TextRank 改進方法在傳統方法的基礎上引入了詞長、詞性、位置等因子，或融合LDA、TFIDF、Word2vec 等模型，在相關領域關鍵詞抽取任務中取得了較好的效果。上述改進方法雖然綜合各種影響因子提升了TextRank 方法的性能，但并未在TextRank 本身機制尤其是共現窗口和詞性過濾機制上進行改進。

本文提出一種融合語義特征的關鍵詞抽取方法S-TextRank，以指向性的依存關系代替共現窗口構建有向詞匯圖，對不同詞性詞語賦予相應的權重系數，并對不同類型的文本使用IDF 方法結合漢語語法規則挖掘非關鍵詞表，通過非關鍵詞表提升STextRank 的關鍵詞抽取效果。

1 TextRank 簡介

TextRank 是PageRank 的衍生方法，用于為文本生成關鍵詞和摘要。TextRank 將分詞后詞語看作PageRank 中的網頁，將詞語與其共現窗口范圍內詞語的共現關系看作PageRank 網頁間的超鏈接關系，構建類似PageRank 網絡模型的詞圖模型，迭代多次得到詞語的TR 值，將排名靠前的詞語輸出為關鍵詞。TextRank 詞語TR 值的計算公式如（1）所示：

其中：d為阻尼系數，一般取0.85；Vi、Vj為詞語節點；In(Vi)為指向詞語節點Vi的詞語節點集合；Out(Vj)為詞語節點Vj指向的詞語節點集合；wji、wjk為詞語節點Vj到Vi、Vj到Vk的邊權重［19］。由 式（1）可 知，TextRank 計算詞語重要度TR 值的方法與PageRank計算網頁重要度PR 值的方法基本一致，均通過多次迭代的方式得到結果。

2 S-TextRank 方法

2.1 TextRank 的不足

TextRank 方法應用于中文文檔關鍵詞抽取時效果不太理想，其本源方法PageRank 簡單高效，經過大量分析驗證，本文總結TextRank 方法主要存在以下不足：

1）TextRank 方法將詞語當 作PageRank 方法中的隨機網頁，將詞語與其共現窗口內詞語判斷為相互聯系。在實際中文語料中，詞語不一定與其共現窗口內詞語有修飾性或聯合性的鏈接關系。在中文文本中，除短句文本外，多數情況下詞語與其共現窗口內詞語（近位詞語）并沒有語義上的相互聯系，因此，以共現窗口判斷詞語關系不合理。

2）PageRank 方法并未過濾特定性質的網頁，基于互聯網全局信息計算頁面重要度。TextRank 方法在構建詞匯圖之前按照詞性過濾詞語，只選取名詞、形容詞、動詞等詞語構建詞匯圖，由此得到的結果基于文檔局部信息，降低了關鍵詞抽取的可靠性。

3）TextRank 方法將詞語與詞語之間的共現頻次作為方法的邊權值，詞語重要度受詞頻影響較大，詞語出現次數越多，越容易被篩選為關鍵詞。方法抽取的部分關鍵詞對于此類型文檔沒有任何表征意義，比如新聞類語料關鍵詞抽取結果中出現的“報道”“表示”等詞語。

本文提出一種S-TextRank 方法，其通過以下方式彌補傳統TextRank 方法的不足：

1）使用句法依存關系代替共現窗口判斷詞語鏈接關系。句法依存關系是詞語與詞語之間語義上的指向性修飾關系，相比共現窗口而言，句法依存關系更貼近PageRank 網頁間指向性超鏈接關系。

2）使用所有詞語構建詞匯圖，并對不同詞性詞語賦于相應的重要度權重系數，經過大量訓練語料擬合出最佳的詞性重要度權重系數。

3）使用IDF 方法結合漢語語法規則在特定類別文檔中挖掘非關鍵詞表，用以過濾關鍵詞抽取結果中的無關項。

2.2 S-TextRank 詞匯圖構建

哈工大LTP（Language Technology Platform）平臺具備分詞、詞性標記、依存關系分析、語義角色標記等一系列中文信息處理功能［20］。S-TextRank 使用哈工大LTP 平臺對文檔進行依存關系分析，使用依存關系判別詞語間的相互聯系，在TextRank 方法的基礎上融入語義特征。

在詞匯圖構建之前，S-TextRank 對文檔依次進行分句、分詞、詞性標注、依存關系分析，對單個詞語標注詞語漢字、詞語詞性、依存關系指向位置、依存關系、詞語在句中位置等5 個特征，并將其歸為一個詞語元祖，形式如（Word，WordP，WordRD，WordR，WordD）。其中：Word 為詞語本身漢字；WordP為詞語詞性；WordRD為詞語在句中的依存關系指向位置；WordR為依存關系類型；WordD為詞語在句中的位置。

在正常的文檔中，詞語間的依存關系不可能跨句存在，因此，本文對分句后句子進行句法依存分析以得到句中詞語間的依存關系。因為標點符號對詞語重要度沒有實質性貢獻，所以本文將標點符號部分從處理結果中刪除。以“十九大”報告的主題為例，列舉出本文方法對原文進行分句、分詞、詞性標注、依存關系分析之后得到的詞語元組，結果如表1 所示。

表1 例文及處理結果Table 1 Examples and treatment results

以詞語“高舉”為例，當TextRank 方法使用共現窗口判別詞語鏈接關系且窗口大小為默認值5 時，得到的詞語鏈接關系如圖1 所示，使用句法依存關系時得到的詞語鏈接關系如圖2 所示。

圖1 共現窗口下的詞語鏈接關系Fig.1 Word link relations under co-occurrence window

圖2 依存關系下的詞語鏈接關系Fig.2 Word link relations under dependence relations

共現窗口機制下的詞匯圖是無向圖，表示詞語與其他詞語在位置關系上具有泛化聯系。由圖1 可知，詞語“高舉”與其共現窗口內多數詞語沒有認知上的相互聯系。

本文驗證大量不同題材的文檔，通過句法分析判斷詞語與其后續詞語間的語義關系，發現詞語與其共現窗口內詞語的關聯程度與語句長度成反比。句中大部分詞語一般只與其他一個詞語存在語義鏈接關系，詞語與其后續詞語之間存在語義鏈接的平均比率一般等于或略大于1/n（n為句子分詞數）。

綜上，在短句文本（每句分詞數不大于5）中，詞語容易與其共現窗口內詞語有認知上的修飾性或聯合性語義關系。在非短句文本中，詞語與其共現窗口內多數詞語沒有認知上的語義鏈接關系。絕大多數中文文本都是非短句文本，因此，使用共現窗口機制判斷詞語關系時詞語與其共現窗口內多數詞語沒有認知上的語義鏈接關系，且共現窗口機制判斷詞語與其共現窗口內詞語為相互聯系（無指向性），作為一種位置上的近位關系，與PageRank 網頁間自由靈活的指向性超鏈接關系相差較大。

由圖2 可知，指向性的依存關系構建了類似于PageRank 網頁鏈接圖的有向詞匯圖，詞與詞之間的依存關系本質上接近網頁的超鏈接關系，幾乎完全正確地還原了詞語間的語義鏈接，證實了S-TextRank 以依存關系代替共現窗口判斷詞語關系具有可靠性。

S-TextRank 使用依存關系構建有向詞匯圖，建立“詞語-依存關系指向詞語”的邊，此邊中出鏈節點為該詞語，入鏈節點為依存關系指向詞語。需要注意的是，依存標記為“VOB”的詞語具有被動屬性，會指向依存標記為“HED”（謂語）或“COO”（謂語同位語）的詞語，作為一種“賓語-謂語”的關系。S-TextRank 在構建依存標記為“VOB”詞語的詞匯圖時，構建“依存關系指向詞語-詞語”的邊，即將“謂賓關系”加入詞匯圖中。

在表1 中，雖然依存關系是由第14 項（“旗幟”，“n”，9，“VOB”，14）指向第9 項（“高舉”，“v”，2，“COO”，9），但“旗幟”作為“VOB”（賓語）指向“高舉”（COO，謂語同位語，等同于謂語），是一種被動的指向關系。在正常情況下，賓語作為謂語動詞的動作目標，在詞匯圖中應該建立“謂語-賓語”的鏈接關系而非“賓語-謂語”的鏈接關系。此外，句法依存標記為“HED”的部分指向0，此為句法依存關系中的句根虛擬節點，并無實際意義。

2.3 詞性權重系數

TextRank 方法使用詞性過濾表過濾文檔中副詞、介詞、連詞等詞語，只保留名詞、動詞、形容詞等詞性詞語，使用這些詞語構建詞匯圖。這種方式在一定程度上減少了用于計算的詞匯量，簡化了計算復雜性。

PageRank 方法并未按網頁的某種性質剔除不符合該性質的網頁，作為PageRank 的衍生方法，TextRank 只選取特定詞性詞語構建詞匯圖，基于文檔局部信息抽取關鍵詞，其關鍵詞抽取結果并不全面。

S-TextRank 并未對文檔進行詞性過濾，而使用文檔中所有詞語構建詞匯圖。在詞匯圖構建過程中，使用詞性判別不同詞性詞語對詞匯圖邊權重的貢獻程度。詞性類似網頁標簽，最簡單的網頁標簽是域名后綴，例如，“gov”表示政府官方，“int”表示國際組織，“com”“cn”表示普通互聯網頁面。從認知上而言，域名后綴為“gov”“int”的網頁相較于域名后綴為“com”“cn”的網頁具有更高的權威性，其所鏈接的網頁理應具有更高的PR 值。

鑒于上述思想，S-TextRank 通過詞性區分詞語對邊權重的貢獻系數。從認知上而言，各詞性詞語對詞匯圖邊權重的貢獻系數應該有所差異，名詞等實詞性詞語的貢獻系數應大于副詞等虛詞性詞語。本文使用已標注3～10 個關鍵詞的500 篇篇幅大于3 000 字的多領域文檔做訓練集，通過大量實驗得到最優詞性權重系數，具體過程如下：

1）因詞性類別過多，為便于計算，本文將相似詞性劃為一個大類，根據語言學知識為每個詞性設置一個初始權重λ，具體取值詳見表2。其中，連詞對句意影響較大，作為實詞計算，數量詞對句意影響較小，作為虛詞計算。

表2 初始詞性權重系數Table 2 Initial part of speech weight coefficient

2）每次迭代中為每個詞性設置一個隨機化參數γ，取值范圍為?0.05～0.05，使詞性權重隨機變化（λ=λ+γ）。此過程中優先確定實詞的權重最小值（權重下限），若虛詞變化后權重越過實詞權重下限，重新隨機化γ直至虛詞變化后權重不超出實詞權重下限，得到一組新的詞性權重系數。

3）對訓練集每一篇文檔使用此組詞性權重系數結合依存關系構建有向加權詞匯圖，計算詞語STR值，將排名靠前的n個詞語輸出為關鍵詞（n為此文檔已標注關鍵詞數目）。參照已標注關鍵詞得到此組權重系數下的抽取準確率。

4）迭代上述第2 步、第3 步100 次，將抽取準確率最高的一組作為最優詞性權重系數。

最優詞性權重系數如表3 所示。表2 與表3 中省略詞性為嘆詞等虛詞，這些詞出現頻率極低，對關鍵詞抽取的影響可忽略不計。

表3 最優詞性權重系數Table 3 Optimal part of speech weight coefficient

在得到各詞性權重系數之后，S-TextRank 根據“詞語-依存關系指向詞語”中出鏈詞語節點詞性，參考表3 對此鏈接邊賦予權重系數，累加得到此鏈接邊的邊權重。S-TextRank 方法詞語STR 值計算公式如（2）所示，最大迭代次數為100 次，迭代停止閾值為0.000 1。

其中：d的經驗值依舊取0.85；In(Vi)為指向詞語節點Vi的詞語節點集合；Out(Vj)為詞語節點Vj指向的詞語節點集合；wji、wjk分別為Vj到Vi、Vj到Vk的邊權重。

2.4 非關鍵詞表

因TextRank 方法本身特性，在初步的關鍵詞抽取結果中，經常含有此類型語料環境中沒有表征意義的“關鍵詞”，比如在新聞類語料中，關鍵詞抽取結果中有“報道”“表示”“認為”等泛類詞語。此類詞語在相關語料中出現頻率極高，容易作為關鍵詞被抽取出來，但此類詞語在相關語境下沒有任何特殊表征含義，作為關鍵詞是不合理的。

IDF 用于計算詞語在相關文檔集中的出現頻率，詞語的IDF 值越大，說明該詞語的泛化性越強。為了過濾泛類詞語，S-TextRank 將文檔劃分為生活、教育、娛樂、國際、國內等五大類型，引入IDF 方法訓練相關類型語料，訓練集為同類型的500 篇語料，設定閾值為0.7，將IDF 值大于閾值的詞語視為泛類詞語。

本文為此設置一個非關鍵詞表，認為非關鍵詞表中的詞語不可能作為關鍵詞。將IDF 訓練得到的泛類詞語加入非關鍵詞表后，可以有效過濾關鍵詞抽取結果中的泛類詞語，排除泛類詞語對關鍵詞抽取結果的影響。

此外，S-TextRank 根據詞語類型參考漢語語法規則擴充非關鍵詞表。除IDF 值較大的泛類詞語外，情態動作類詞語如“知道”“了解”“發現”等、指代類詞語如“人們”“這么”“那么”等、動作過程類詞語如“繼續”“有著”“之后”等，經常出現在TextRank 關鍵詞抽取結果中，此類詞語無法表示文檔特性，作為無關詞項，不能作為關鍵詞，使用此類詞語擴充非關鍵表可以過濾更多的非關鍵詞語。

有些關鍵詞抽取方法通過構建語料的關鍵詞庫，將語料詞語與關鍵詞庫重復詞語作為關鍵詞語，這種方法準確率較高，但其效率在極大程度上取決于所構建關鍵詞庫的可靠性，需要龐大的數據量及人工分析且適用性不高。本文方法構建的非關鍵詞表計算簡單，不需要人工分析，具有良好的適用性。

S-TextRank方法的總體流程如圖3所示。

圖3 S-TextRank 方法流程Fig.3 Procedure of S-TextRank method

3 實驗與分析

3.1 實驗環境與過程

實驗的硬件環境：Intel?CoreTM4510-U，內 存8 GB。軟件環境：Win10 64 位旗艦版，Python3.6.8+Pycharm2019.3.4。LTP庫：ltp_data_v3.4.0。

目前中文文本關鍵詞抽取方面沒有公開的數據集，因此，本文抓取新浪網2020年5月—6月生活、教育、娛樂、國際、國內等5個頻道共4 500多篇新聞語料構建語料庫。每個頻道隨機選擇100 篇字數大于3 000 字的語料共500篇作為測試集。為了保證關鍵詞抽取結果的可靠性，針對測試集，采用多人人工交叉標注的形式提取新聞關鍵詞，10名語言學相關研究人員參與標注，針對每一篇語料，對比每位研究人員的標注結果使用投票機制篩選出得票最高的10個詞條，將其作為人工標注的關鍵詞參考結果（通常10個關鍵詞足以概括一篇新聞的主要內容）。

關鍵詞抽取方法都是將重要度靠前的K個詞語輸出為關鍵詞，為了使實驗結果更加清晰，本文所有方法將重要度由大到小進行排序，前10個詞語作為關鍵詞抽取結果，通過準確率來反映方法效果。實驗中的對比方法如表4所示，各方法在測試集上的實驗結果如表5所示。

表4 實驗方法Table 4 Experimental methods

表5 實驗結果Table 5 Experimental results %

由表5 可知，S-TextRank 在測試集上的關鍵詞抽取準確率達到了74%，高出TextRank 方法19.4 個百分點，其關鍵詞抽取效果較對比方法具有大幅提升。

3.2 性能分析

在上述所有對比方法中，Word2vec 方法準確率最低，文獻［11］提到，對單文檔直接使用Word2vec詞向量聚類方法時，選擇聚類中心作為文本的關鍵詞本身就是不準確的，因此，與其距離最近的N個詞語也不一定是關鍵詞。

TFIDF-TextRank 方法結合TF-IDF 與TextRank，FT-TextRank 結 合 TextRank、Word2vec、FastText，EPRank 結合TextRank、Word2vec、位置信息，這些改進方法在準確率上相較原方法提升不大。作為PageRank 的衍生方法，TextRank 使用的共現窗口與詞性過濾機制是不合理的，如果不改進本身缺陷，即使綜合再多因子，也無法對TextRank 進行本質上的改造，難以提升關鍵詞抽取效果。

S-TextRank 根 據PageRank 原理對TextRank 方法進行本體改造，使用指向性的依存關系構建有向詞匯圖，使用全詞性詞語加權計算詞匯圖邊權值，使TextRank 在模型和計算上更加貼近PageRank 方法，因此，其關鍵詞抽取效果對比原方法得到大幅提升。

TextRank 與TF-IDF 是純基于統計的關鍵詞抽取方法，詞語的詞頻越大，其作為關鍵詞的概率越大。S-TextRank 在TextRank 的基礎上融入了語義特征，依存關系類似于網頁超鏈接，根據依存關系計算詞圖邊權值，從而彌補了TextRank 方法本身詞頻相關的缺陷。PageRank 核心思想為：一個網頁被許多網頁鏈接，其PR 值因此而提高［23］。在S-TextRank中，一個詞語的STR 值只與依存關系指向該詞語的其他詞語（出鏈詞語節點）的數量多少和詞性類別有關，與該詞語（入鏈詞語節點）在文檔中出現次數以及位置無關。S-TextRank 方法在詞語關系判定機制上無限接近于PageRank 指向性網頁超鏈接關系。

實驗發現，TextRank 與TF-IDF 方法容易出現主語丟失問題。在絕大多數文檔中，因為文章表述的簡潔性，文檔主語一般出現一兩次，之后通過代詞指代或直接省略，因為TextRank 與TF-IDF 詞頻相關的特性，文檔主語一般被賦于較小的重要度值，難以作為關鍵詞被抽取出來，而失去了主語的關鍵詞抽取結果難以代表全文信息。

S-TextRank 方法使用依存關系替代共現窗口判斷詞語關系，文檔主語雖為低頻詞語，但有許多依存關系修飾主語的部分，例如依存標記為“VOB”“ATT”的詞語。S-TextRank 方法能夠有效抽取文檔主語作為關鍵詞，避免了純基于統計的關鍵詞抽取方法出現的主語丟失問題。

TextRank 方法側重于高頻詞語的抽取，因使用共現窗口判斷詞語關系，高頻詞語更容易出現在其他詞語的共現窗口范圍內，TR 值一般偏大。TF-IDF方法側重于名詞性質關鍵詞的抽取，因為動詞等其他性質詞語容易在相關語料中大范圍出現，IDF 值較低，而專有名詞幾乎只在相關文檔中出現，IDF 值較高。相較于以上方法而言，本文方法抽取語義上的關鍵詞語，并沒有如上述方法一般側重于某類詞語的抽取，因此，S-TextRank 的關鍵詞抽取結果較為中肯。

此外，因現有分詞技術的限制，關鍵詞抽取容易出現詞語不完整的問題。例如，“美麗中國”作為一個關鍵詞語，現有的分詞技術大概率將其分為“美麗”“中國”，在得到的關鍵詞中只能得到“中國”，缺少限定修飾詞“美麗”之后的“中國”，其表征意義是不完整的。S-TextRank 使用了句法依存關系，得到關鍵詞后根據依存指向關系找到此關鍵詞的修飾詞，例如修飾名詞類關鍵詞的“ATT”部分，將修飾詞與關鍵詞作為一個詞串輸出，可以解決關鍵詞抽取中詞語不完整的問題，進一步提升S-TextRank 方法的關鍵詞抽取效果。

PageRank 方法將網頁排名的準確率由20%～30%提升到70%以上，由實驗結果可知，S-TextRank方法在準確率上逼近原始PageRank 方法，關鍵詞抽取效果得到大幅提升。

4 結束語

本文基于PageRank 思想對TextRank 進行改進，使用依存關系代替共現窗口模擬PageRank 的網頁超鏈接關系，利用詞性權重系數模擬不同性質網頁的重要程度，結合非關鍵詞表得到最終的關鍵詞抽取結果。實驗結果表明，S-TextRank 通過融入語義特征的方式，使關鍵詞抽取效果相對TextRank 得到大幅提升。下一步將融入命名實體等語義信息，綜合考慮實體標注等因素提升TextRank 方法的關鍵詞抽取效果。