融合多元特征的中文網頁關鍵詞提取方法研究*

張孝飛

（西藏民族大學圖書館 陜西咸陽 712082）

1 引言

隨著網絡技術與存儲技術的快速發展，互聯網上的信息呈爆炸式增長，海量的網絡大數據既給情報研究帶來了機遇，也對其提出了挑戰。一方面通過新技術能在網絡數據中挖掘重要線索，使得政府、企業及科研機構更加重視情報研究工作；另一方面網絡作為情報信息重要來源的新基地，使情報工作重新進行了定位。然而網絡數據不同于傳統的文獻數據，它是一種非結構化數據資源。人們通常需要對網絡數據進行采集、抽取、聚類等技術處理之后才能發現情報線索，在這一系列復雜技術處理中，網頁關鍵詞提取是核心環節。一個高質量的關鍵詞可以直擊網頁事件的核心，成為情報監測的重要線索，能夠有效提升政府決策情報、企業競爭情報和科技研究情報的發現能力。

首先，對國家和地方政府而言，伴隨著我國社會經濟的轉型與發展，網絡成為輿論的集散地和中心地，各種矛盾通過網絡途徑暴露出來。國家和地方政府如何借助于信息技術手段從海量的網絡大數據中挖掘和發現社會突發事件及輿情熱點話題，進而采取積極合理的措施對社會輿論進行引導，已經成為政府決策情報研究的重要課題。最常見的決策情報監測手段是網絡輿情監測。網絡輿情是人們通過網絡媒體、博客及論壇等平臺，對社會焦點問題、突發事件等各種社會現象所表達的言論及意見的總和，是網民對事件的看法、情緒及態度的集中體現。網絡輿情的源頭來自于社會生活中的事件，而事件則主要由話題組成，話題又是由關鍵詞構成，所以輿情監測中的基礎環節是關鍵詞提取，高質量的關鍵詞可以命中熱點話題的核心，成為輿情監測與話題追蹤的重要線索。因此，只有準確、迅速地找到合適的關鍵詞，才能有效地發現話題，進而最終確定事件的源頭。

對企業而言，面對激烈的市場競爭，如何借助于網絡大數據快速與準確地獲取產品市場需求和同行競爭者的相關情報，進而通過對策制定和預警機制在市場競爭中獲得先機也已經成為企業競爭情報研究的課題。競爭情報是對整體競爭環境和競爭對手的一個全面監測過程。具體地說，競爭情報是用合乎法律和道德的手段，通過長期系統地跟蹤、收集、分析和處理各種可能對企業發展、決策及運行產生影響的信息，最終提煉出本企業及主要對手企業在市場競爭中的優勢、劣勢和機會的關鍵情報，從而為企業各職能部門在戰略規劃、投資與并購、研究與發展、市場營銷等方面制定決策提供依據[1]。通過對目前市場上的企業專用情報監測系統的分析來看，其關鍵技術還是在于網絡信息關鍵詞的自動提取。

對于科研人員而言，如何從繁雜的網絡大數據中獲取有價值的科研信息也已經成為研究情報的熱點課題。從研究情報、尤其是社科類的研究情報監測來看，對于傳統結構化文獻信息的研究，研究人員只需利用常規的文獻分類方法和檢索手段即可滿足某領域現狀及發展的需求分析。而對于網絡資料這類非結構化的信息情報資料，只有關鍵詞提取才能夠為該類型情報收集、自動分類、鑒別篩選提供有用的素材和線索。

綜上所述，關鍵詞提取是決策情報輿情監測、競爭情報線索發現、研究情報信息歸類的基礎性環節，對于決策情報、競爭情報及研究情報有重要的應用價值，它是情報學的理論研究前沿，并朝著交叉學科的態勢發展[2]。

2 相關研究工作及存在的問題分析

目前，國內外學者在關鍵詞提取方面進行了大量的研究與探索。歸納起來，關鍵詞提取方法主要可分為四類：基于機器學習的方法、基于復雜網絡的方法、基于語義的方法和基于統計的方法。

一是基于機器學習的方法。在大規模語料庫學習基礎之上，采用貝葉斯算法、支持向量機、最大熵模型以及決策樹等方法進行訓練，獲取相關模型特征，再利用構建的模型進行關鍵詞提取[3]。

二是基于復雜網絡的方法。依據文本詞語的關系構建候選特征詞復雜網絡，計算以候選詞網絡節點度中心性、特征向量中心性和節點介數中心性為基礎的綜合特征值，提取一定閾值范圍的綜合特征值的候選特征詞作為關鍵詞。

三是基于語義的方法。根據詞法分析對文本進行自動分詞與詞性標注，然后依靠語義詞典和知識庫對切分的詞匯進行語義標注，在此基礎上分析詞匯在文本上下文中及詞匯間的語義關系，再利用復雜計算提取關鍵詞。

四是基于統計的方法。根據文檔集詞語的統計信息來提取關鍵詞，最常用的基于統計的方法是詞頻—逆向文本頻率（TFIDF）方法。

上述四種關鍵詞提取方法從不同的領域和角度進行研究：基于機器學習的方法需要有人工標注的語料庫進行訓練，構建模型的完備性對訓練語料的依賴性較大，若語料庫規模不足或人工標注語料不夠準確，將會導致提取的關鍵詞準確性欠佳；基于復雜網絡的方法能夠較為準確地提取文本關鍵詞，但依據詞匯的共現關系、概念同義關系、句法依存關系構建詞語的網絡關系較為復雜，計算量很大，對于數量稍大的網絡文本時間效率過低，缺陷較為明顯；基于語義的方法在關鍵詞提取過程中融入了語義特征，實驗效果較好，但該方法的實現需要背景知識庫的支持，且知識庫需要不斷更新和維護；基于統計的方法關鍵詞提取算法相對簡單，不需要語料庫訓練，也不需要語義詞典和知識庫的支持，但準確率和召回率相對較低。有一些研究者通過不同手段對TFIDF 方法進行了改進，例如：李靜月考慮了中文文本結構特征和詞語詞性特征對TFIDF算法進行了改進，張建娥從計算詞語關聯度方面提出了《基于TFIDF 和詞語關聯度的中文關鍵詞提取方法》。這些改進的統計方法在一定程度上提高了關鍵詞的提取精度。

本文提出一種融合多元特征的中文網頁關鍵詞提取方法。該方法首先對網頁文本進行分詞、詞性標注，然后綜合計算出文本詞語的詞頻特征、詞性特征、詞長特征、位置特征的統計信息，再利用同義詞詞典對同一文本候選關鍵詞中的高度同義詞進行詞頻合并，并對鄰接組合詞生成進行計算，最后按照綜合權值提取關鍵詞。該方法融合了詞語語義學和統計學多元特征，有效地彌補了單一統計方法在關鍵詞提取中的不足。實驗結果顯示，該方法能顯著提高中文網頁關鍵詞的提取性能。

3 關鍵詞提取方法

3.1 整體框架

本文關鍵詞提取方法的整體框架如圖1 所示，從圖中可以看出關鍵詞提取的思路包括：網頁預處理、統計特征、同義詞合并和組合詞生成，最后根據候選關鍵詞的綜合評分得到關鍵詞列表。

圖1 整體框架圖

3.2 網頁預處理

3.2.1 網頁內容抽取

對于給定的網頁鏈接，首先利用爬蟲算法抓取網頁的HTML 半結構化的文件，利用正則化規則對抓取的網頁進行統一編碼，然后基于網頁結構對網頁進行去噪處理，即去除網頁中的導航條、廣告及版權等信息，最后抽取網頁標題與正文信息以結構化的方式保存。

3.2.2 分詞與詞性標注

由于對網頁文本進行分詞之后才能繼續關鍵詞提取的后續流程，所以分詞是網頁關鍵詞提取的基礎環節，分詞質量的優劣直接影響到關鍵詞提取的準確度。與英文文本相比，中文文本詞與詞之間沒有以空格符為分隔的語法特征，因此更為復雜。目前，國內已經出現了幾種成熟的中文分詞系統，本文在進行對比研究之后，選取中國科學院計算技術研究所開發的《漢語語法分析系統ICTCLAS》對抽取的網頁文本進行分詞和詞性標注，該分詞系統應用廣泛且準確率較高。

3.2.3 停用詞過濾

網頁中的關鍵詞基本上是由名詞、動詞等有實際意義的詞匯組成。因此，我們在對抽取的網頁文本進行分詞和詞性標注之后，需要根據詞性對分詞結果進行過濾，如利用算法過濾介詞、連詞、助詞等沒有實際意義的虛詞，只保留名詞、動詞、形容詞和副詞等詞匯；然后再利用停用詞表對明顯不可能作為關鍵詞的停用詞語進行第二次過濾，如“有”“這”“要”“我”“能”等，經停用詞過濾后的詞匯稱為一級候選關鍵詞；最后統計候選關鍵詞集合中每一個詞匯在文檔中的頻率和位置等信息。

3.3 特征選取及權重分配

3.3.1 詞頻特征

詞頻TF 是關鍵詞提取的一個重要特征，如果某個詞或短語在一篇文檔中出現的頻率越高，這個詞越有可能成為該文檔的關鍵詞[4]。詞頻權重通常由某個詞在某篇文檔中出現的次數表示，但由于文檔篇幅的長短不一，導致關鍵詞的提取向長文檔偏斜，因此，我們必須對詞頻特征進行歸一化處理以分配合理的權重。根據詞頻特征計算文檔中詞條ti的權重Weight(freqti)，公式如下：

其中，TF(ti)表示詞條ti在文檔d 中出現的頻率；分母Max(TF(t1), TF (t2)…TF (tn))表示文檔d 中詞頻最大詞條的詞頻。可以看出，Weight(freqti)的值在0 和1 之間。

3.3.2 詞性特征

詞性特征表示一種淺層語言學知識，該特征克服了采用傳統語言學方法的弊端，其詞性的獲取避免了對文本進行復雜的語言學分析與標注處理。中文網頁的關鍵詞通常集中在名詞、動詞和形容詞等實詞之中。根據筆者大量的人工標注抽取關鍵詞的實驗統計分析，詞條ti詞性權重Weight(posti)設置的計算公式如下：

3.3.3 詞長特征

詞語的語義也受到詞長的影響，通常詞語長度越長表示的意思越具體，包含的語義信息更豐富，因此，長度較長詞語的成為關鍵詞的概率更大。但詞語長度特征的權重并不是與其長度成線性關系，在計算時需要做歸一化處理，詞條ti詞長權重Weight(lenti)歸一化后的計算公式如下：

其中，len(ti)表示詞條ti 的實際詞長，分母Max(len(t1), len(t2)…len(tn))表示文檔d 中詞條最長詞的長度，可以看出，Weight(lenti)的值在0 和1 之間。

3.3.4 位置特征

關鍵詞提取還有一個重要特征就是詞條在文檔中的位置，通常如果詞條出現在文檔的標題、首段、尾段中，則其成為關鍵詞的概率較高。按照詞條在標題、首段、末段、正文等位置分別賦予不同的權重，詞條ti的位置權重Weight(locti)計算公式如下：

其中，loc(ti)表示詞條ti首次出現的次序，total_word表示文檔d 中詞條總數，如果一個詞條多次出現在文檔中的不同位置則取所在位置中權重的最大值。

3.4 同義詞合并

3.4.1 《同義詞詞林擴展版》簡介

《同義詞詞林擴展版》是哈爾濱工業大學信息檢索實驗室對原版《同義詞詞林》進行新詞擴充、罕用詞剔除后而形成的一部漢語大詞表，它收錄了77 343 條詞語。《同義詞詞林擴展版》按樹形的層狀結構組織所收錄的詞條，它具有5 級層結構，隨著層級的遞增，詞義刻畫更精細，到了第5 層級，每個分類包含的詞條數量已不大，多數分類已不可再分，只有一個詞語，可以稱為原子節點或原子詞群。《同義詞詞林擴展版》中的每個詞語都有對應的編碼，編碼是由5 層代碼和一位標記碼共8 位構成。第1 級用一位大寫英文字母表示；第2 級用一位小寫英文字母表示；第3 級用兩位十進位數字表示；第4 級用一位大寫英文字母表示；第5 級用兩位十進位數字表示。例：“Ae07C01=漁民 漁家 漁翁 漁夫 漁父 打魚郎”，其中，“Ae07C01=”是編碼，“漁民”“漁家”等是該編碼對應的詞語。編碼自左至右按等級順序排列，編碼分支越靠右，詞語間的語義就越靠近。第8 位標記符號有“=”“#”“@”3 種形式：“=”表示同義關系；“#”表示相關關系；“@”表示獨立關系，也就是該詞語無同義詞和相關詞[5]。

3.4.2 同義詞合并

在一篇網頁文檔中出現同義詞現象是很普遍的，即作者很可能選擇不同的詞語來表達相同的意思，如“保護”和“保衛”、“教室”和“課堂”[6]。這些用不同詞語表達同一概念的現象可能會造成關鍵詞輸出結果的冗余或遺漏，影響到關鍵詞提取質量。由于《同義詞詞林擴展版》知識庫具有豐富的同義詞詞庫，我們可以考慮利用《同義詞詞林擴展版》詞匯間的同義關系對文檔中同義詞進行合并。具體做法如下：對于網頁文檔中的每個一級候選關鍵詞在《同義詞詞林擴展版》中找到其編碼第8 位標記為“=”的同義關系詞匯組，利用該詞及其同義詞組遍歷一級候選關鍵詞序列，取序列中詞頻最高的詞匯作為該同義詞組的代表詞，并對文檔中所有該詞的同義一級候選詞頻進行合并計算，將頻數和作為代表詞詞頻。對一級候選關鍵詞序列進行同義詞合并后就形成了二級候選關鍵詞序列

3.5 基于綜合特征的關鍵詞評分

在對網頁文檔中的一級候選關鍵詞進行同義詞合并處理后得到二級候選關鍵詞序列，針對二級候選關鍵詞序列中的每一個詞匯根據公式（1）、（2）、（3）、（4）設計一個詞匯綜合特征關鍵詞評分公式，如公式（5）所示：

其中，Scorei(ti)表示二級候選關鍵詞條ti在文檔中的關鍵詞評分，A、B、C、D 為各特征權重的比例因子，用以調節不同特征權重在關鍵詞綜合評分中的貢獻度。

3.6 組合詞生成

由于目前的分詞算法很難分辨詞匯在文檔中的上下文語境關系，所以對文檔進行分詞后經常會出現完整詞匯被割裂的現象（例：“傳染病”被切分為“傳染”和“病”）或將聯系緊密的詞拆分成兩部分（如：“政府工作報告”被拆分成“政府”“工作”和“報告”）。因此，我們在關鍵詞提取時必須考慮詞匯的特定語境及其完整性，有必要對經過切分的詞匯進行組合，從而得到一個表達語義更為完整和豐富的組合詞。

3.6.1 組合詞生成規則

本文在借鑒漢語言搭配相關研究成果的基礎上，通過大量實驗得到組合詞生成的規則。由于3 詞以上組合詞出現的概率較低，所以本文在詞性組合規則中僅考慮2—3 詞的組合，3 詞以上的組合詞僅用前兩條規則限制，組合詞的具體生成規則如下：

（1）詞語相鄰，且同時在文檔中出現多次；

（2）組合詞至少在文檔中出現多次，以防止組合詞的偶然性；

（3）兩組合詞的詞性組合必須符合“形容詞+名詞”“動詞+名詞”“動詞+副詞”“名詞+動詞”“名詞+名詞”；

（4）三組合詞的詞性組合必須符合“名詞+形容詞+名詞”“名詞+名詞+名詞”“動詞+名詞+名詞”“名詞+名詞+動詞”“名詞+動詞+名詞”“形容詞+名詞+動詞”

3.6.2 組合詞的權重與關鍵詞評分

組合詞的特征權重與組配的二級候選關鍵詞的詞頻和組合詞的詞頻有關，假設組合詞t 是由n 個二級候選關鍵詞（t1、t2、…tn）組合成的，t 及其候選關鍵詞在同一文檔中的詞頻分別為a、a1、a2、…an，則組合詞的特征權重計算公式如下：

得到了組合詞的特征權重后，再結合基于綜合特征的關鍵詞的評分方法可以得到組合的關鍵詞評分公式如下：

其中，Score(t)表示組合詞t 的關鍵詞評分，E 表示調節因子表示組合詞的特征權重表示n 個二級候選關鍵詞綜合特征評分的算術平均值。

3.7 關鍵詞生成

關鍵詞提取的基本流程是：首先對給定的網頁進行預處理形成一級候選關鍵詞；其次對一級關鍵詞進行同義詞合并、基于綜合特征權重的關鍵詞評分后形成二級候選關鍵詞；然后對二級候選關鍵詞進行組合詞生成；再對二級關鍵詞及組合詞按關鍵詞評分的降序排列，按組合詞從屬關系過濾（因為原二級候選關鍵詞與其組合詞存在從屬關系，例如：組合詞“精準扶貧”是由二級候選詞“精準”與“扶貧”組合生成的），過濾是按照排列次序原則，也就是存在從屬關系的語匯誰靠后過濾掉誰；最后按照用戶指定關鍵詞的數目取前N 個作為最終提取的關鍵詞。

4 實驗與分析

為了驗證本文所提出的關鍵詞提取算法的有效性，筆者利用實驗進行驗證。為了保證實驗數據的隨機性，我們隨機從新浪、搜狐等8 個新聞類網站中抽取200 篇中文新聞網頁，分別利用傳統的TF-IDF 方法和本文方法進行網頁關鍵詞提取，將人工標注的關鍵詞與算法自動提取的關鍵詞進行對比，得到關鍵詞提取效率結果。

4.1 實驗方法

實驗按照以下的流程進行：

（1）利用HtmlParser 編寫的包裝器提取樣本網頁的標題和正文，利用中科院開發的ICTCLAS 分詞系統對于提取的結構化網頁信息進行分詞及詞性標注。

（2）利用停用詞表去除文中的停用詞和標點，并統計詞的相關特征得到一級候選關鍵詞序列。

（3）利用《同義詞詞林擴展版》知識庫對一級候選關鍵詞序列進行同義詞合并形成二級候選關鍵詞序列。

（4）利用組合詞規則對二級候選關鍵詞進行組合詞生成，分別利用公式5 和公式7 計算二級候選關鍵詞和組合詞的關鍵詞評分，經過多次實驗測試和調整，基于綜合特征的關鍵詞評分公式（即公式5）中的比例因子分別設定為：A=0.4、B=0.1、C=0.2、D=0.15，組合詞關鍵詞評分公式中（即公式7）的調節因子E=0.15。這樣設置突出了詞頻的貢獻，因為高頻詞成為關鍵詞的可能性更大一些。

（5）將二級候選關鍵詞與組合詞按關鍵詞評分降序排列，再進行詞匯從屬關系過濾，取前N 個詞作為最終關鍵詞。

以http://www.sohu.com/a/301634727_148781?_f=index_chan08news_3 搜狐網頁為例，文章標題為“政府工作報告修改83 處 新增4 處‘改革’”，主要介紹了國務院研究室副主任郭瑋解讀2019 年政府工作報告修訂情況[7]。由本文算法提取的前5 個關鍵詞為“修改”“政府工作報告”“養老”“房地產”“保障”。由于分詞系統的局限性，傳統的關鍵詞提取算法不能提取出如“政府工作報告”這種組合關鍵詞，可能會提取出“政府”“工作”“報告”等，顯然沒有“政府工作報告”表達的意義完整和豐富。

4.2 評價標準

實驗中采用查準率（Precision）、查全率（Recall）和F測度值3 項指標對關鍵詞提取算法的有效性進行評價。為了理解以下實驗中公式的意義，首先定義2 個變量，A 表示人工提取的關鍵詞，B 表示算法自動提取的關鍵詞。

（1）查準率（Precision）指算法自動提取和人工提取均判斷為關鍵詞的數量占整個自動提取關鍵詞數量的比率[8]。它反映了關鍵詞提取算法抽取關鍵詞的準確度。計算公式如下：

（2）查全率（Recall）指算法自動提取和人工提取均判斷為關鍵詞數量占整個人工提取關鍵詞數量的比率，它反映了關鍵詞提取算法發現關鍵詞的能力，計算公式如下：

（3）F 測度值（F-measure）是查準率和查全率的調和平均值。它反映了關鍵詞提取算法提取關鍵詞的綜合能力，計算公式如下：

4.3 實驗結果分析

實驗中分別使用了傳統的TF-IDF 算法和本文的算法統計了抽取不同關鍵詞個數情況下的查準率、查全率和F測量值。實驗結果數據如表1 所示：

表1 兩種算法在不同關鍵詞個數情況下提取性能對比

從實驗結果可以看出，本文算法的查準率、查全率和F 測度值都要優于傳統的TF-IDF 算法。本文算法既考慮了詞頻、詞長等多種特征的整合，又考慮了同義詞對關鍵詞提取的影響，另外組合詞的生成也有利于使關鍵詞的語義更豐富；而傳統的TF-IDF 算法僅考慮詞頻特征及逆文本頻率指數對關鍵詞提取的影響，考慮的特征偏少，性能效果不如本文的算法。

圖2 兩種算法的查準率隨關鍵詞個數變化圖

圖2 表示兩種算法的查準率隨關鍵詞個數變化的趨勢。從圖中可以看出，本文算法的查準率要優于傳統的TF-IDF算法，兩種算法的查準率都呈現隨關鍵詞個數增加而遞減的趨勢，這是因為關鍵詞個數較少時，其綜合權值越靠前，被正確提取的可能性就越大，因此查準率越高。

圖3 兩種算法的查全率隨關鍵詞個數變化圖

圖3 表示兩種算法的查全率隨關鍵詞個數變化的趨勢。從圖中可以看出，本文算法的查全率要優于傳統的TF-IDF 算法，兩種算法的查全率都呈現隨關鍵詞個數增加而遞增的趨勢，這是因為所取關鍵詞個數較少時，部分關鍵詞的權值排序靠后不能被提取，因此查全率越低。

圖4 兩種算法的F 測度值隨關鍵詞個數變化圖

圖4 勾勒出了兩種算法的F 測量值隨關鍵詞個數變化的趨勢。從圖中可以看出，本文算法的F 測量值明顯高于傳統的TF-IDF 算法，兩種算法的F 測量值都隨關鍵詞個數的增加呈現先增后減的趨勢，在關鍵詞個數為5 時達到最大。

5 結論

本文采取了基于多元特征并組合詞生成的關鍵詞提取算法。實驗結果表明：本文算法明顯優于傳統的TF-IDF 算法，能夠抽取到令人滿意的關鍵詞。但是，本文所提出的關鍵詞提取新算法只是初步嘗試和探索，還存在不足和需要優化的地方：①關鍵詞綜合評分公式中的比例因子和組合關鍵詞評分公式中的調節因子是實驗測試總結出來的，缺乏權威性，可能會對提取精度有所影響；②對于分詞系統不能正確切分的未登錄詞組合算法在關鍵詞提取時可能存在遺漏。下一步的研究方向是修正算法進一步提升關鍵詞提取效率和精度，注重未登錄詞的識別與提取研究，切實體現關鍵詞提取技術在決策情報、競爭情報和研究情報監測中的作用。

（來稿時間：2019 年5 月）