基于向量空間模型結合語義的文本相似度算法

馮高磊　高嵩峰

摘 要： 針對向量空間模型方法忽略詞語語義以及詞語相互間結構關系，沒有考慮詞語表達的實際意義的缺點，提出一種新的文本相似度計算方法，該方法把語義相似度的計算融入到基于向量空間模型的文本相似度算法中，最終通過語義相似度和向量空間模型相似度加權得到文本相似度的結果。實驗結果證明，所提出的相似度算法得到的召回率相比于向量空間模型方法以及現有的語義相似度算法都有不同程度的提高，從而證明了該算法的有效性。

關鍵詞： 文本相似度； 向量空間模型； 語義； 詞頻； 召回率； 特征項

中圖分類號： TN911.1?34； TP391.1 文獻標識碼： A 文章編號： 1004?373X（2018）11?0157?05

Text similarity algorithm combining semantics based on vector space model

FENG Gaolei， GAO Songfeng

（School of Mechanical?Electronic and Vehicular Engineering， Beijing University of Civil Engineering and Architecture， Beijing 100044， China）

Abstract： The semantics and structural relation of words are ignored in the vector space model method， and the practical meaning of word expression isn′t considered. Therefore， a new test similarity calculation method is proposed， which can integrate the calculation of semantic similarity into the text similarity algorithm based on vector space model. The similarity of semantics and vector space model is weighted to obtain the result of text similarity. The experimental results show that， in comparison with the vector space model method and available semantic similarity algorithm， the recall rate obtained by the proposed similarity algorithm is improved to different extents， which can prove the effectiveness of the algorithm.

Keywords： text similarity； vector space model； semantics； word frequency； recall rate； characteristic item

0 引 言

文本相似度的計算在很多信息處理的具體應用中起著重要的作用。在文本過濾、知識挖掘以及網頁去重等領域中進行信息處理的關鍵是準確計算出文本的相似度[1]；在信息檢索中，為了提高文檔檢索的召回率和查準率，也需要對儲存信息的文檔進行有效的相似度計算[2?3]；在文本聚類、機器翻譯等領域，文本相似度同樣有著非常重要的應用[4]。

目前文本相似度計算方法主要有如下兩類：

1） 基于統計的方法。通過統計詞語在文中出現的次數，以詞頻信息為基礎進行文本相似度的計算。該方法大多基于向量空間模型，將文本建模作為空間向量并利用向量間的關系計算文本間的相似度。文獻[5]通過向量空間模型的方法構建文本的特征向量，并使用向量間夾角余弦值計算文本間的相似度；文獻[6]通過計算兩文本特征向量之間最長公共子序列的方式反映文本的相似度。基于向量空間模型的方法忽略了詞語在文本中的組織結構和出現的順序以及詞語的關系，沒有考慮詞語表達的實際意義。

2） 基于語義的方法。利用WordNet，HowNet等知識完備的語義詞典中對詞語及其層次結構關系的解釋進行文本間相似度的計算[7?8]。文獻[9]通過《知網》的義原層次體系計算詞語間的相似度，提出一種基于語義的文本相似度算法；文獻[10]通過將不同類型義原個數所占比例作為權重代入概念計算中，提出基于《知網》的變系數權重的詞語相似度算法。基于語義詞典的方法更加注重詞語本身的實際意義，計算得到的相似度更為準確，但對詞典的要求高，整體相似度通常由部分相似度合成而來，其中出現較多的加權值和參數容易導致計算結果產生偏差。

本文在深入研究和分析向量空間模型方法以及現有語義相似度計算方法的基礎上，針對現有文本相似度算法存在的缺陷，把基于《知網》的語義相似度計算與向量空間模型的方法相結合，提出一種詞頻信息與詞語語義相結合的文本相似度計算方法。首先對于內容規模較大的文本，在特征項選取過程中對文本向量模型進行降維處理；其次通過向量空間模型方法對文本進行相似度計算，提高計算效率；再利用基于《知網》的語義相似度計算方法對文本進行語義相似度的計算；最后設置合理的權重系數，通過加權得出兩個文本之間的整體相似度，使得文本間的相似度計算更具合理性。

1 向量空間模型（VSM）

向量空間模型VSM（Vector Space Model）是Gerard Salton等人于1969年提出的，是一種簡單、高效的文本表示模型。 VSM基本思想是：假設文本表達的中心思想與詞語出現順序、位置無關，而依賴詞語在文本中出現的頻率，將詞語作為文本特征項，將文本用一特征項的權重為分量的空間向量來表示，一個文本就對應多維空間中的一個向量，通過將文本映射為向量的方式將文本間相似度的問題轉換為在多維空間中不同向量之間的相似問題，使得對文本的處理變得更簡單。

在利用向量空間模型法進行文本相似度計算時，最重要的是計算特征項的權重，某個特征項在文本中出現的頻率越高，認為該特征項越能代表文本的中心思想。TF?IDF權重計算法是應用最多的一種計算權重的方法，每個特征項的權重由詞頻（TF）值和反文本頻率（IDF）值兩個部分構成。詞頻（TF）是指某個特征項在一個文本中出現的頻率，即特征項在文本中出現的頻次與文本的總長度的比值。反文本頻率（IDF）是特征項在全局文本集合中出現的頻率，它表示特征項在全局文本集合中的重要性程度，出現一個特征項的文本數越多，說明該特征項的區分度越差，其在文本集合中的重要性就越低。對于文本Ti中的第 k個特征項對應權重的計算方法為：

[ωik=TFik*IDFik] （1）

假設全局文本集中共有[M]篇文本， 特征項在[m]篇文章中出現過，則反文檔頻率IDFik值為：

[IDFik=logMm+α] （2）

其中α 為經驗系數，一般取0.01。

式（1）表明，一個特征項在文本中出現的次數越多，相應的TF值也會越高，但是該特征項的權值ω不一定越高，這是因為文本中一些語氣詞、副詞出現的次數很多，比如“的”，但是它們在每個文本中幾乎都出現，沒有很好的辨識度，所以IDF值就會很低，整體的權重也就會降低。

通過TF?IDF權重計算法計算出特征項的權重之后，就可以得到文本的特征向量，假設兩文本Ti和Tj的特征向量分別為Vti=（ωi1，ωi2，…，ωin），Vtj=（ωj1，ωj2，…，ωjn），且兩特征向量在空間中的夾角為θ，則文本Ti和Tj之間的相似度VSM_Sim（Ti，Tj）可以通過它們的特征向量之間的余弦值衡量，即：

[VSM_SimTi，Tj=cosθ=k=1nωik*ωjkk=1nω2ikk=1nω2jk] （3）

2 基于《知網》的詞語語義相似度計算

《知網》是以漢語和英語的詞語所代表的概念為描述對象，以揭示概念與概念之間以及概念所具有的屬性之間的關系為基本內容的常識知識庫[11]。《知網》中每一個詞可以表達為幾個“概念”，“概念”以“義原”為單位，通過知識表示語言對詞匯進行描述。目前，基于《知網》的詞語語義相似度計算可以分為三個過程：義原相似度計算、概念相似度計算和詞語語義相似度計算。

2.1 義原相似度計算

《知網》知識體系中所有的義原根據上下文關系構成了一個樹狀的義原層次體系，因此可以通過樹中各個義原之間的相互關系來計算義原相似度。許多學者在這方面進行了大量的研究，本文選取當前計算方法中兩種比較有代表性的方法進行討論。

文獻[12]提出的公式：

[Sim（S1，S2）=αdistanceS1，S2+α] （4）

式中：[S1，S2]表示兩個義原；distance[（S1，S2）]是[S1，S2]在義原層次體系中的路徑長度；α是調節參數，一般取1.6。

文獻[13?14]提出的公式：

[Sim（S1，S2）=α*mindepthS1，depthS2α*mindepthS1，depthS2+distanceS1，S2] （5）

其中：[S1，S2]表示兩個義原；[depthS1]，[depthS2]分別為[S1，S2]所在層次樹中的深度；distance[（S1，S2）]為義原在層次樹中的路徑長度；[mindepthS1，depthS2]代表[S1]和[S2]在義原樹中層次深度較小的值；α為可調節參數，一般取0.5。

可以看出，式（4）只考慮了義原層次體系中義原之間的距離因素對義原相似度的影響，它忽略了義原本身因素的影響，計算得到的結果過于粗糙；式（5）在式（4）的基礎上加入了義原在義原層次樹中的深度因素對義原相似度的影響，計算結果更為合理。

2.2 概念相似度計算

虛詞概念的相似度計算比較簡單，只需要計算其對應的義原之間的相似度即可。實詞概念的語義表達式分為四個部分[15?16]：

1） 第一獨立義原描述式：相似度記為Sim1（S1，S2）；

2） 其他獨立義原描述式：語義表達式中除第一獨立義原以外的所有其他獨立義原，相似度記為Sim2（S1，S2）；

3） 關系義原描述式：語義表達式中所有的關系義原描述式，相似度記為Sim3（S1，S2）；

4） 符號義原描述式：語義表達式中所有的符號義原描述式，相似度記為Sim4（S1，S2）。

則兩個實詞概念的整體相似度記為：

[Sim（C1，C2）=i=14βij=1isimjS1，S2] （6）

式中：C1，C2表示兩個概念；βi，1≤i≤4是可調節的參數，一般根據經驗指定，且有β1+β2+β3+β4=1且β1≥β2≥β3≥β4，由于第一獨立義原描述式反映了概念的主要特征，所以其權值一般在0.5以上。加入[j=1i的]原因是主要部分的相似度值對于次要部分起到制約作用，如果主要部分相似度比較低，那么次要部分的相似度對于整體相似度所起到的作用也要降低。

2.3 詞語語義相似度計算

《知網》知識體系中一個詞語可以由一個或者多個概念表示，則詞語相似度可以直接轉化為概念相似度的計算[17]。對于兩個漢語詞語W1和W2，如果W1有m個概念：C11，C12，…，C1m；W2有n個概念：C21，C22，…，C2n。則詞語W1和W2的相似度是概念C1i和C2j所有組合中相似度的最大值，即：

[Sim（W1，W2）=Max（Sim（C1i，C2j））] （7）

式中： i =1，2，…，n； j = 1，2，…，m；Sim（W1，W2）為詞匯W1與W2之間的相似度值；Sim（C1i，C2j）為概念C1i與C2j間的概念相似度值。

3 改進的文本相似度算法

3.1 文本預處理

在進行文本內容分析之前，首先要對文本進行預處理。分詞是文本預處理的重要內容，分詞就是對文本進行詞的切分，將文本切分為單個詞語，并對詞語進行詞性標注，分詞正確率的高低對相似度的計算有著直接的影響。本文使用中國科學院的NLPIR中文分詞系統對文本進行分詞處理。通過NLPIR中文分詞系統將文本進行分詞處理后，文本會被分解成獨立的詞語，詞語和詞語之間用空格隔開，并且每個詞語后面還有每個詞語的相關詞性標注。文本預處理還需要對分詞過后的文本進行去除停用詞的處理，一些對文本內容識別意義不大但出現頻率很高的詞稱為停用詞。由于停用詞在計算相似度的過程中會引入很大的誤差，可以看作是一種噪音。因此，為了提高效率和準確性，需要在進行相似度計算之前將停用詞刪除。去停用詞一般根據停用詞詞典來處理。停用詞詞典一般是人們根據經驗以及主觀意識收集整理出來的一個詞語的集合。如果某一個詞處于停用詞詞典中，那么就將它從文本中刪除。

3.2 特征項選擇

特征項的選擇是建立向量空間模型的重要環節，對于內容規模較小的文本可以將文本進行預處理后的所有詞項作為特征項。而對于內容規模較大的文本，如果將文本預處理后的每個詞項都作為特征項，進行TF?IDF值計算，建立文本的向量模型，這樣得到的文本向量模型維度非常高，降低了計算的效率。因此，在計算內容規模較大的文本相似度時就需要對文本向量模型進行有效的降維處理，去除意義不大、區別能力不強的詞項。由于某個詞項在文本中出現的頻率越高，TF?IDF值就越大，認為該特征項越能代表文本的主要意義。因此，可以將每一篇文本中詞項的TF?IDF值從大到小進行排序，然后從中選取前60%的詞項作為文本的特征項，這樣選取的特征項既能代表文本的主要內容，又能達到對文本向量模型的降維要求。

3.3 改進的文本相似度計算

在經過文本預處理得到兩文本的特征項之后，首先通過向量空間模型的方法計算出兩文本的相似度；其次利用《知網》的詞語語義相似度算法對文本中的特征項進行語義相似度計算；最后設置加權系數，通過加權的方法得出兩個文本之間的整體相似度。

假設Ti，Tj為兩個文本，定義它們的相似度為：

[Text_Sim（Ti，Tj）=γ*Hownet_Sim（Ti，Tj）+（1-γ）*VSM_Sim（Ti，Tj）] （8）

式中：VSM_Sim（Ti，Tj）是兩文本向量空間模型相似度，可利用式（1）～式（3）得出；Hownet_Sim（Ti，Tj）是兩文本的語義相似度；[γ]是語義相似度所占的比重系數。

語義相似度Hownet_Sim（Ti，Tj）的計算方法如下：

1） 首先構造兩文本T1，T2的特征項相似度矩陣，設文本T1和文本T2的特征項集合分別為：

T1={t11，t12，…，t1m}， m為文本1的特征項數

T2={t21，t22，…，t2n}， n為文本2的特征項數

設N12為文本T1，T2特征項相似度矩陣，則有：

[N12=Sim（t11，t21）…Sim（t11，t2n）???Sim（t1m，t21）…Sim（t1m，t2n）]

式中Sim（t1m，t2n）為文本T1中第m個特征項與文本T2中第n個特征項之間的相似度值。

2） 采用《知網》中的詞語語義相似度算法通過式（5）～式（7）得出相似度矩陣中兩兩特征項之間的相似度。

3） 取矩陣中相似度值最大的一個記作Max（l），并設立相似度閾值μ，將Max（l）與μ進行比較，如果大于相似度閾值μ，記錄下與這個相似度值相關的兩個特征項在各自文本中的權重值，最后將Max（l）所屬行和列從相似度矩陣中刪除。

4） 繼續重復步驟3）直到矩陣中元素為零，得到的所有與Max（l）相關的文本T1中的特征項的權重為[ω′11]，[ω′12]，…，[ω′1l]，文本T2中的權重為[ω′21]，[ω′22]，…，[ω′2l]。

5） 最后可得到特征項之間相似度最大匹配組合的集合：

[MaxL={Max（1），Max2，…，Max（l）}]

6） 根據特征項相似度最大匹配組合的序列得到兩文本的語義相似度為：

[Hownet_Sim（Ti，Tj）=i=1lMax（i）l] （9）

3.4 加權系數的設置

根據向量空間模型的方法可知，權重越大的特征項越能代表文本的中心思想，也越能比較出文本間的相似度。如果兩篇文本中彼此語義相似度較高的特征項在各自文本中所占的權重越大，說明這些特征項的語義相似度越能反映文本的相似情況，此時語義相似度的權重系數[γ]應該越大；反之，如果兩篇文本中彼此語義相似度較高的特征項在各自文本中所占的權重較低，說明這些特征項不能體現出文本的主要內容，相應地，其語義相似度也就不能反映文本的相似情況，語義相似度的權重系數[γ]就應該較小。因此，可以通過特征項語義相似度的大小結合其在文本中的權重分布情況得出語義相似度的權重系數。根據語義相似度計算步驟4）中得到的滿足語義相似度閾值[μ]的特征項權重，可以得到語義相似度的權重系數[γ，]具體計算公式如下：

[γ=12（k=1lω′1k+k=1lω′2k）] （10）

4 實驗設計與結果分析

實驗數據來源于知網的期刊論文，人工收集具有相似研究內容的期刊論文192篇，范圍包括計算機、機械、電子、航空、化工、物理等6個領域，每個領域32篇，將各個領域論文的中文摘要提取出來組成一個文本集作為實驗測試對象，用摘要作為測試對象是因為摘要的結構清晰、長度適中且摘要文本規模不大，不需要對文本向量空間模型進行降維。按照不同領域的摘要內容為每個領域的摘要文本創建一個基準文本，基準文本是一個與摘要文本規模相似并且與該領域的摘要文本有著不同相似度的文本，用人工識別的方法將不同領域的摘要文本與其基準文本進行相似度比較，將得到的相似度比較結果從大到小進行排序，將每個領域內的32個摘要文本按不同相似度值范圍分為4組，每組包括8個摘要文本。

實驗中首先采用NLPIR中文分詞系統對文本集中的摘要文本和基準文本進行文本分詞、去停用詞，然后用TF?IDF方法對文本中的特征項進行權值計算，為了驗證上述方法的有效性，便于比較結果的優劣，分別采用向量空間模型方法以及文獻[10]中提出的方法與本文提出的方法計算各領域中的摘要文本與其基準文本的相似度，并將實驗結果進行對比分析。實驗結果的評價方法借鑒信息檢索和統計學分類領域的評價方法，主要的評價指標為召回率（Recall），召回率即檢索出的相關文本數和文本集中所有相關文本數的比率。將各組摘要文本與基準文本相似度計算結果處于該組相似度值范圍的摘要文本的個數記為c，那么召回率[Recall=c8] 。實驗結果如表1所示。

由表1可知，本文提出的文本相似度算法相比于向量空間模型方法以及文獻[10]中基于詞語語義的文本相似度算法在召回率上有明顯程度的提高。究其原因，向量空間模型的方法沒有考慮詞語在文本中出現的位置，忽略了詞語本身語義以及詞語相互之間的結構關系，相似度計算偏差較大；文獻[10]中的方法雖然考慮到詞語的語義，但忽略了詞語在文本中所占的權重大小，所以計算得到的召回率也較低；本文提出的方法在向量空間模型的方法中加入語義相似度的計算，把文本表達的實際意義考慮在內，降低因為語義而產生的計算偏差，計算得到的文本相似度能夠更準確地反映文本間的實際相似度。綜上所述，本文提出的算法對于文本的相似度計算更加合理，計算結果更加準確。

5 結 論

本文針對現有文本相似度算法存在的缺陷，在向量空間模型方法的基礎上加入詞語語義相似度的計算，從而解決了向量空間模型方法忽略詞語語義以及基于詞語語義的文本相似度算法沒有考慮詞語權重的問題。與現有的文本相似度算法相比，本文提出的算法對文本在語義和詞頻方面的相似度進行綜合衡量，計算結果更加符合實際。

參考文獻

[1] LI Hang， XU Jun. Semantic matching in search [R]. Boston： NOW， 2014.

[2] 程志強，閔華松.一種基于向量詞序的句子相似度算法研究[J].計算機仿真，2014，31（7）：419?424.

CHENG Zhiqiang， MIN Huasong. A sentences similarity algorithm based on word order of vectors distance [J]. Computer simulation， 2014， 31（7）： 419?424.

[3] TATIANA A S C， PEREIRA C. Image retrieval using multiple evidence ranking [J]. IEEE transactions on knowledge & data engineering， 2004， 16（4）： 408?417.

[4] 姜亞莉，關澤群.用于Web 文檔聚類的基于相似度的軟聚類算法[J].計算機工程，2006，32（2）：59?61.

JIANG Yali， GUAN Zequn. A similarity?based soft clustering algorithm for Web documents [J]. Computer engineering， 2006， 32（2）： 59?61.

[5] 郭慶琳，李艷梅，唐琦.基于VSM的文本相似度計算的研究[J].計算機應用研究，2008（11）：3256?3258.

GUO Qinglin， LI Yanmei， TANG Qi. Similarity computing of documents based on VSM [J]. Application research of computers， 2008（11）： 3256?3258.

[6] 金希茜.基于語義相似度的中文文本相似度算法研究[D].杭州：浙江工業大學，2009.

JIN Xixi. Similarity algorithm of Chinese text based on semantic similarity [D]. Hangzhou： Zhejiang University of Technology， 2009.

[7] LI Y， BANDAR Z A， MCLEAN D， et al. An approach for measuring semantic similarity between words using multiple information sources [J]. IEEE transactions on knowledge and data engineering， 2003， 15（4）： 871?882.

[8] 劉青磊，顧小豐.基于《知網》的詞語相似度算法研究[J].中文信息學報，2010，24（6）：31?36.

LIU Qinglei， GU Xiaofeng. Study on HowNet?based word similarity algorithm [J]. Journal of Chinese information processing， 2010， 24（6）： 31?36.

[9] 王小林，王東，楊思春，等.基于《知網》的詞語語義相似度算法[J].計算機工程，2014，40（12）：177?181.

WANG Xiaolin， WANG Dong， YANG Sichun， et al. Word semantic similarity algorithm based on HowNet [J]. Computer engineering， 2014， 40（12）： 177?181.

[10] 金博，史彥軍，滕弘飛.基于語義理解的文本相似度算法[J].大連理工大學學報，2005，45（2）：291?297.

JIN Bo， SHI Yanjun， TENG Hongfei. Text similarity algorithm based on semantic understanding [J]. Journal of Dalian University of Technology， 2005， 45（2）： 291?297.

[11] 董強，董振東.知網簡介[EB/OL].[2017?05?29].http： / /www. keenage.com/.

DONG Qiang， DONG Zhendong. Introduction to HowNet [EB/OL]. [2017? 05?29]. http：//www.keenage.com/.

[12] 劉群，李素建.基于知網的詞匯語義相似度的計算[EB/OL].[2002?08?19].http：//www.doc88.com/p?3714298265602.html.

LIU Qun， LI Sujian. Word′s semantic similarity computation based on Hownet [EB/OL]. [2002?08?19]. http：//www.doc88.com/p?3714298265602.html.

[13] 李峰，李芳.中文詞語語義相似度計算：基于《知網》2000[J].中文信息學報，2007，21（3）：99?105.

LI Feng， LI Fang. A new approach measuring semantic similarity in HowNet 2000 [J]. Journal of Chinese information processing， 2007， 21（3）： 99?105.

[14] AGIRRE E， RIGAU G. A proposal for word sense disambiguation using conceptual distance [C]// 1995 International Conference on Recent Advances in Natural Language Processing. [S.l.]： IEEE， 1995： 1?7.

[15] 張敏，王振輝，王艷麗.一種基于《知網》知識描述語言結構的詞語相似度計算方法[J].計算機應用與軟件，2013，30（7）：265?267.

ZHANG Min， WANG Zhenhui， WANG Yanli. A word similarity computation method based on knowledge description language structure in HowNet [J]. Computer applications and software， 2013， 30（7）： 265?267.

[16] 江敏，肖詩斌，王弘蔚，等.一種改進的基于《知網》的詞語語義相似度計算[J].中文信息學報，2008（5）：84?89.

JIANG Min， XIAO Shibin， WANG Hongwei， et al. An improved word similarity computing method based on HowNet [J]. Journal of Chinese information processing， 2008（5）： 84?89.

[17] 朱征宇，孫俊華.改進的基于《知網》的詞匯語義相似度計算[J].計算機應用，2013，33（8）：2276?2279.

ZHU Zhengyu， SUN Junhua. Improved vocabulary semantic similarity calculation based on HowNet [J]. Journal of computer applications， 2013， 33（8）： 2276?2279.