一種結合關鍵詞與共現(xiàn)詞對的向量空間模型*

唐守忠，齊建東

(北京林業(yè)大學信息學院，北京 100083)

一種結合關鍵詞與共現(xiàn)詞對的向量空間模型*

唐守忠，齊建東

(北京林業(yè)大學信息學院，北京 100083)

提出了一種結合關鍵詞特征和共現(xiàn)詞對特征的向量空間模型。首先，通過分詞和去除停用詞提取文本中的候選關鍵詞，利用文本頻率篩選關鍵詞特征。然后，基于獲得的關鍵詞特征兩兩構造候選共現(xiàn)詞對，定義支持度和置信度篩選共現(xiàn)詞對特征。最后，結合關鍵詞特征和共現(xiàn)詞對特征構建向量空間模型。文本分類實驗結果表明，提出的模型具有更強的文本分類能力。

向量空間模型；共現(xiàn)詞對；語義相關性；文本分類

1 引言

向量空間模型VSM(Vector Space Model)是最為經典的文本表示模型，被廣泛應用于文本分類、聚類、信息檢索等領域。該模型由Salton G等人[1]于1975年提出，其基本思想是將文本表示為基于關鍵詞特征的向量，利用TF-IDF公式計算關鍵詞特征的權重。VSM簡單高效，但不能表示文本的語義特征:一方面，由于基于關鍵詞之間的相互獨立性假設，VSM無法表示關鍵詞之間的語義相關性；另一方面，由于完全依賴關鍵詞的字符串匹配，VSM也無法處理文本中經常出現(xiàn)的同義詞和多義詞現(xiàn)象。

針對上述問題，本文首先在調研目前VSM改進方向的基礎上，指出了利用統(tǒng)計語言模型改進VSM的優(yōu)勢；然后介紹了統(tǒng)計語言模型中的詞共現(xiàn)理論，并總結當前利用詞共現(xiàn)信息改進VSM的研究工作及其不足；最后利用詞共現(xiàn)信息構造“共現(xiàn)詞對”特征，定義精確的共現(xiàn)詞對特征支持度、置信度和權重計算方法，并將共現(xiàn)詞對特征與VSM原有的關鍵詞特征結合，提出了一種結合關鍵詞與共現(xiàn)詞對的向量空間模型KACVSM(Vector Space Model based on Keyword And Co-occurrence word)。文本分類實驗對比結果表明了KACVSM的有效性。

2 相關工作

針對VSM缺乏文本語義表示的不足，有的研究人員提出利用關鍵短語代替關鍵詞作為VSM的表示特征。比如文獻[2, 3]利用統(tǒng)計語義平滑機制，提取文本中的關鍵短語表示文本。文獻[4]通過大規(guī)模的抽取門戶網(wǎng)站上專家手工標引的“關鍵詞”作為關鍵短語表示文本。文獻[5～7]通過改進后綴樹模型，提取文本中的關鍵短語表示網(wǎng)頁文本。利用關鍵短語改進VSM的困難在于文本中關鍵短語難以界定[8]。

也有研究人員提出利用本體改進VSM。比如文獻[9]首先利用互信息測度來計算關鍵詞之間的相關度，然后利用WordNet本體計算兩個關鍵詞之間的語義距離，最后結合兩者計算關鍵詞的語義權重。文獻[10]通過自行構建的領域本體調整VSM中關鍵詞的TF-IDF權重。文獻[11]利用WordNet本體改進VSM的聚類效果。利用本體改進VSM的方法過于依賴諸如WordNet、領域主題詞表等外部語義資源。

統(tǒng)計語言模型[12]針對特定語料庫，通過前期大量的學習和統(tǒng)計，挖掘隱藏的真實信息來增強VSM的語義表示能力，是VSM語義改進研究的重要方向。關鍵詞的詞共現(xiàn)信息是統(tǒng)計語言模型挖掘的重要信息之一，利用詞共現(xiàn)信息改進VSM，比利用難以界定的短語更直觀可靠，也無需依賴諸如WordNet、領域主題詞表等外部語義資源。

3 詞共現(xiàn)

3.1 詞共現(xiàn)理論

自然語言文本中普遍存在詞共現(xiàn)現(xiàn)象，即某些關鍵詞經常共同出現(xiàn)在一定的文本范圍(如句子、段落或篇章)內，詞共現(xiàn)現(xiàn)象中隱含著關鍵詞之間的語義相關性信息。文本集合中任意兩個關鍵詞的組合都可被看作一組共現(xiàn)詞對，關鍵詞key1和key2構成的共現(xiàn)詞對可表示為(key1,key2)。共現(xiàn)詞對(key1,key2)的共現(xiàn)頻率是指文本集合中同時包含關鍵詞key1和key2的文本數(shù)量，(key1,key2)的共現(xiàn)頻率越高，表明關鍵詞key1和key2的語義相關性越大。共現(xiàn)詞對描述了兩個關鍵詞之間的語義相關性，是描述文本語義的最小特征單元。理論上講，包含p個關鍵詞的文本集合中包含p(p-1)/2個共現(xiàn)詞對，當文本集合中的關鍵詞數(shù)量成百或上千時，共現(xiàn)詞對的統(tǒng)計量巨大。因而利用共現(xiàn)詞對表示文本時，通常定義支持度和置信度兩個指標來篩選文本語義表達能力強的共現(xiàn)詞對特征。

共現(xiàn)詞對(key1,key2)的支持度定義如下：

sup(key1,key2)=freq(key1,key2)/n

(1)

其中，n表示文本總數(shù)。freq(key1,key2)表示共現(xiàn)詞對(key1,key2)的共現(xiàn)頻率。

共現(xiàn)詞對(key1,key2)的置信度定義如下：

con(key1,key2)=α×con(key1|key1,key2)+

β×con(key2|key1,key2)

(2)

其中，con(key1|key1,key2)和con(key2|key1,key2)分別為關鍵詞key1和key2的條件置信度，分別對應于在關鍵詞key1和key2出現(xiàn)的條件下，共現(xiàn)詞對(key1,key2)出現(xiàn)的概率。α和β分別為關鍵詞key1和key2的條件置信度的加權參數(shù)。關鍵詞key1和key2的條件置信度計算公式如下：

con(key1|key1,key2)=

freq(key1,key2)/freq(key1)

(3)

con(key2|key1,key2)=

freq(key1,key2)/freq(key2)

(4)

共現(xiàn)詞對(key1,key2)的支持度用于評價其對整個文本集合的區(qū)分能力，置信度用于評價關鍵詞key1和key2的語義相關性，置信度計算公式中加權參數(shù)α和β的設置十分關鍵。

3.2 詞共現(xiàn)改進VSM相關工作

目前，已有一些利用詞共現(xiàn)信息改進VSM的工作。例如文獻[13]提出了基于共現(xiàn)詞組合的VSM，利用共現(xiàn)詞對表示文本，利用布爾值計算二階共現(xiàn)詞的權重。文獻[14]統(tǒng)計當前關鍵詞與其前后n個關鍵詞組成的長度為2n+1的詞序列中的詞共現(xiàn)信息，生成當前關鍵詞的相關詞序列，通過關鍵詞的相關詞序列共同包含的關鍵詞數(shù)量計算關鍵詞之間的語義相關性。文獻[15]通過定義關鍵詞之間的互信息篩選相關性高的共現(xiàn)詞，用于擴展VSM?，F(xiàn)有利用詞共現(xiàn)信息改進VSM的研究，在詞共現(xiàn)特征的構造、降維、權重計算方法以及與VSM原有關鍵詞特征的結合四個方面不夠全面。文獻[13]利用共現(xiàn)詞對特征表示文本，但沒給出有效的特征降維和特征權重計算方法。文獻[14,15]僅采用詞共現(xiàn)特征表示文本，舍棄了VSM原有的關鍵詞特征。本文提出的KACVSM利用共現(xiàn)詞對特征表示文本，給出了精確有效的特征降維和權重計算方法，將共現(xiàn)詞對特征與VSM原有的關鍵詞特征有效結合，綜合考慮了上述四個方面。

4 KACVSM

給定文本集合D，本文將KACVSM的構造流程(圖1所示)分為文本預處理、關鍵詞特征統(tǒng)計、共現(xiàn)詞對特征統(tǒng)計和KACVSM向量表示四個步驟。

Figure 1 Process of constructing KACVSM
圖1 KACVSM構造流程圖

4.1 文本預處理

針對文本集合D中的每個文本，利用Java編程語言，調用分詞工具進行文本分詞，結合停用詞表過濾掉停用詞，獲得候選關鍵詞特征集合。

4.2 關鍵詞特征統(tǒng)計

針對候選關鍵詞特征集合中的每個關鍵詞，首先統(tǒng)計其在所屬文本中的詞頻、在整個文本集合D中的文本頻率、逆文本頻率；然后設定文本頻率閾值，以篩選最終有效的關鍵詞特征；最后利用TF-IDF公式計算關鍵詞特征的權重。TF-IDF公式如下：

weight(key)=tf(key,d)×idf(key)

(5)

idf(key)=log[n/df(key)+0.01]

(6)

其中，tf(key,d)表示詞頻，即關鍵詞key在文本d中出現(xiàn)的次數(shù)。idf(key)表示關鍵詞key的逆文本頻率。n表示文本集合D中的文本總數(shù)，df(key)表示文本頻率，即文本集合D中出現(xiàn)關鍵詞key的文本數(shù)量，0.01為調節(jié)參數(shù)。

4.3 共現(xiàn)詞對特征統(tǒng)計

基于4.2節(jié)中篩選得到的關鍵詞特征集合，首先兩兩構造共現(xiàn)詞對，獲得候選共現(xiàn)詞對特征集合；然后針對每個候選共現(xiàn)詞對，利用3.1節(jié)中的方法計算其支持度和置信度以篩選最終有效的共現(xiàn)詞對特征；最后計算共現(xiàn)詞對特征的權重。關鍵詞的逆文本頻率是整個文本集合上的統(tǒng)計量，代表關鍵詞對整個文本集合的區(qū)分能力。因而，在計算候選共現(xiàn)詞對(key1,key2)的置信度時，利用關鍵詞key1和key2的逆文本頻率計算加權參數(shù)：

α=idf(key1)/[idf(key1)+idf(key2)]

(7)

β=idf(key2)/[idf(key1)+idf(key2)]

(8)

TF-IDF公式是經典的權重計算公式。因而，在計算共現(xiàn)詞對特征的權重時，本文延續(xù)關鍵詞的TF-IDF權重計算方法，提出了如下共現(xiàn)詞對特征的TF-IDF公式：

weight(key1,key2)=tf[(key1,key2),d]×

idf(key1,key2)

(9)

其中，tf[(key1,key2),d]表示共現(xiàn)詞對(key1,key2)在文本d中的詞頻。關鍵詞的權重是關鍵詞在當前文本中的統(tǒng)計量，因而在計算共現(xiàn)詞對(key1,key2)的詞頻時，本文采用weight(key1)和weight(key2)進行加權。共現(xiàn)詞對(key1,key2) 在文本d中的詞頻計算方法如下：

tf[(key1,key2),d]=(weight(key1)×

tf(key1,d)+weight(key2)×tf(key2,d))/

(weight(key1)+weight(key2))

(10)

idf(key1,key2)表示共現(xiàn)詞對(key1,key2)的逆文本頻率，利用共現(xiàn)詞對(key1,key2)的共現(xiàn)頻率進行計算，計算公式如下：

idf(key1,key2)=log(n/freq(key1,key2)+0.01)

(11)

4.4 向量表示

向量表示是指將4.2節(jié)統(tǒng)計得到的關鍵詞特征和4.3節(jié)統(tǒng)計得到的共現(xiàn)詞對特征線性結合構造文本向量的過程。假設4.2節(jié)中獲得的關鍵詞集合為T={t1,t2,…,tp}，4.3節(jié)中獲得的共現(xiàn)詞對集合為C={c1,c2,…,cm}，則任意文本d的向量表示如下：

(12)

其中，w(ti)表示關鍵詞特征ti在文本d中的權重，根據(jù)4.2節(jié)中的權重公式計算；w(ci)表示共現(xiàn)詞對特征ci在文本d中的權重。

5 實驗及結果分析

5.1 實驗語料

本文采用復旦大學計算機信息與技術系國際數(shù)據(jù)庫中心自然語言處理小組文本分類語料庫進行實驗，該語料庫共包含20類、9 833篇文本。本實驗抽取藝術、計算機、經濟、教育、環(huán)境、醫(yī)療、軍事、政治、體育、交通10個類別的數(shù)據(jù)各100篇，共計1 000篇文本。每個類別都按照訓練集和測試集比例為7∶3切分數(shù)據(jù)，共得到700篇訓練文本、300篇測試文本。

5.2 關鍵詞特征統(tǒng)計

利用Java編程語言，調用中科院ICTCLAS50分詞工具將1 000篇文本進行分詞，并結合停用詞表去除停用詞，共獲得33 730個候選關鍵詞。統(tǒng)計這些候選關鍵詞在其所屬文本中的詞頻、在整個文本集合中的文本頻率、逆文本頻率。表1是候選關鍵詞在其文本頻率上的分布結果。

Table 1 Distribution of keywords

由表1可知，51.3%的候選關鍵詞在文本集合中僅出現(xiàn)了1次 ，0.2%的候選關鍵在文本中出現(xiàn)了超過200次，這些文本頻率過高或過低的關鍵詞特征不具有顯著的文本區(qū)分能力，不僅會影響文本向量的表示效果，也會增加后續(xù)共現(xiàn)詞對的統(tǒng)計計算量。本文采用條件1

5.3 共現(xiàn)詞對特征統(tǒng)計

基于5.2節(jié)中篩選獲得的16 380個關鍵詞特征兩兩構建候選共現(xiàn)詞對，獲得支持度不小于0.002的候選共現(xiàn)詞對2 497 604個(支持度等于0.001的共現(xiàn)詞對數(shù)量極多且不具有文本表示意義，因而未統(tǒng)計)。按照4.3節(jié)中的方法計算置信度加權參數(shù)，并按照3.1節(jié)中的方法計算候選共現(xiàn)詞對的支持度和置信度。表2和表3分別是候選共現(xiàn)詞對在支持度和置信度上的分布結果。

由表2和表3可知，55.3%的候選共現(xiàn)詞對的支持度等于0.002，59.8%的候選共現(xiàn)詞對的置信度在0～0.2。支持度或置信度過低的共現(xiàn)詞對不具有顯著的文本語義表示能力，本文過濾掉支持度小于0.002和置信度小于0.2的共現(xiàn)詞對，共獲得1 002 471個共現(xiàn)詞對特征。

Table 2 Distribution of co-occurrence

Table 3 Distribution of co-occurrence

5.4 向量表示

基于5.2節(jié)獲得的關鍵詞特征和5.3節(jié)的共現(xiàn)詞對特征，構建VSM、CTVSM和KACVSM三種文本表示模型。其中，VSM是傳統(tǒng)向量空間模型，僅利用關鍵詞特征表示文本，利用TF-IDF計算關鍵詞特征權重；CTVSM是文獻[13]提出的基于共現(xiàn)詞對的向量空間模型(CTVSM)，僅利用共現(xiàn)詞對表示文本，利用布爾值計算關鍵詞特征權重；KACVSM是本文提出的結合關鍵詞和共現(xiàn)詞對的向量空間模型。

5.5 分類實驗

基于5.4節(jié)構建的三種向量空間模型，采用樸素貝葉斯NB(Naives Bayesian)分類算法，基于5.1節(jié)中的訓練語料構建分類器并分類測試語料，采用常用的正確率(P)、召回率(R)作為評價指標。表4為三種模型的樸素貝葉斯分類對比結果。

表5表明， KACVSM的平均分類正確率和召回率比VSM分別高6.53%和5.44%，比CTVSM分別高4.67%和2.82%。藝術、經濟、教育、醫(yī)療、軍事、政治、體育七個類別分類正確率和召回率都有不同程度的提升。這表明，KACVSM在這幾類文本上真正表示了文本的語義特征。另外，KACVSM在計算機、環(huán)境和交通三個類別上的分類正確率或召回率比VSM和CTVSM低，這是因為這三類文本中的關鍵詞特征的文本區(qū)分能力較低，構成的共現(xiàn)詞對特征文本語義表示能力較弱，給訓練獲得的NB分類器帶來了較強的干擾。

Table 4 Results of NB classification

Table 5 Time consumption of

5.6 參數(shù)性能分析

本文針對KACVSM，借鑒文獻[13]中的“固定支持度變動置信度”和“固定置信度變動支持度”的方法，考察不同支持度和置信度組合對樸素貝葉斯分類精度和速度的影響。利用10個類別文本的分類微平均F-measure值作為評價指標。圖1為固定支持度時，分類微平均F值隨共現(xiàn)詞對置信度閾值的變化。圖2為固定置信度時，分類微平均F值隨共現(xiàn)詞對支持度閾值的變化。

Figure 2 Micro-F1 result with different confidence thresholds based on fixed support圖2 固定支持度時，微平均F值隨置信度閾值的變化

Figure 3 Micro-F1 result with different support thresholds based on fixed confidence圖3 固定置信度時，微平均F值隨支持度閾值的變化

由圖1和圖2可知，當置信度閾值為0.4和支持度閾值為0.005時，分類效果最好，微平均F值分別為90.74%和89.97%。當置信度閾值為0.7和支持度閾值為0.009時，分類效果最差，微平均F值分別為84.97%和85.12%，但仍然比VSM的80.33%和CTVSM的82.07%要高。另外，無論是支持度還是置信度，隨著其閾值的不斷升高，KACVSM的分類精度都先升高后降低，因為當閾值較低時，共現(xiàn)詞對特征多但語義表示能力普遍較低，當閾值較高時，共現(xiàn)詞對的語義表示能力高但數(shù)量較少。

表5為VSM的分類器訓練速度。表6為固定支持度時，分類器的訓練速度隨共現(xiàn)詞對置信度閾值的變化情況。表7為固定置信度時，分類器的訓練速度隨共現(xiàn)詞對置信度閾值的變化情況。

Table 6 Time consumption of generating NB classifier

由表5、表6和表7可知，KACVSM的分類器訓練速度不如VSM和CTVSM，這是由于同時利用關鍵詞特征和共現(xiàn)詞對特征表示文本，文本向量的維數(shù)增加導致的。但是，分類器的訓練速度并沒有明顯的下滑。相對于KACVSM分類精度的提升來說，其速度降低的代價是可以接受的。

Table 7 Time consumption of generating NB classfier

6 結束語

本文提出了一種結合關鍵詞特征和共現(xiàn)詞對特征的向量空間模型。定義精確有效的共現(xiàn)詞對特征的支持度、置信度及權重計算方法，在文本分類實驗上證明了所提出的向量空間模型的有效性。但是，本文所提出模型的分類器訓練速度有待優(yōu)化。

[1] Salton G, Wong A, Yang C S. A vector space model for automatic indexing[J]. Communications of the ACM, 1975, 18(11):613-620.

[2] Zhang Xiao-dan, Zhou Xiao-hua, Hu Xiao-hua. Semantic smoothing for model-based document clustering[C]∥Proc of the 6th International Conference on Data Mining, 2006:1193-1198.

[3] Zhou Xiao-hua, Zhang Xiao-dan, Hu Xiao-hua. Semantic smoothing of document models for agglomerative clustering[C]∥Proc of the 20th International Joint Conference on Artifical Intelligence, 2007:2922-2927.

[4] Liu Hua. Research of text classification based on key phrases[J]. Journal of Chinese Information Processing, 2007,21(4):34-41.(in Chinese)

[5] Shi Qing-wei, Zhao Zheng, Chao Ke. Hierarchical clustering of Chinese web pages based on suffix tree[J]. Joumal of Liaoning Technical University, 2006, 25(6):890-892.(in Chinese)

[6] Du Hong-bin, Xia Ke-wen, Liu Nan-ping. An improved text clustering algorithm of generalized suffix tree[J]. Information and Control, 2009, 38(3):331-336. (in Chinese)

[7] Wang Jun-ze,Mo Yi-jun,Huang Ben-xiong,et al. Web search results clustering based on a novel suffix tree structure[J]. Autonomic and Trusted Computing, 2008, 5060(23):540-554.

[8] Zhao Jun, Jin Qian-li, Xu Bo. Semantic computation for text retrieval[J]. Chinese Journal of Computers, 2005, 28(12):2068-2078. (in Chinese)

[9] Jing Li-ping, Zhou Li-xin, Ng Michael K, et al. Ontology-based distance measure for text clustering[C]∥Proc of the Text Mining Workshop, SIAM International Conference on Data Mining, 2006:1.

[10] Xie Hong-wei, Yan Xiao-lin, Yu Xue-li. Research on web page clustering based on ontology[J]. Computer Science, 2008, 35(9):153-155. (in Chinese)

[11] Zhu Hui-feng, Zuo Wan-li, He Feng-ling. A novel text clustering method based on ontology[J]. Journal of Jilin University(Science Edtion), 2010, 48(2):277-283. (in Chinese)

[12] Ponte J M, Bruce C W. A language modeling approach to information retrieval[C]∥Proc of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 1998:275-281.

[13] Chang Peng, Feng Nan. A co-occurrence based vector space model for document indexing[J]. Journal of Chinese Information Processing, 2012, 26(1):51-57.(in Chinese)

[14] Cao Tian, Zhou Li, Zhang Guo-xuan. Text similarity computing based on word co-occurrence[J]. Computer Engineering & Science, 2008, 29(3):52-53.(in Chinese)

[15] Wu Guang-yuan, He Pi-lian, Cao Gui-hong. Vector space model based on word co-occurrence and its application in text classification[J]. Computer Applications, 2003, 23(23):138-140.(in Chinese)

附中文參考文獻：

[4] 劉華. 基于關鍵短語的文本分類研究[J]. 中文信息學報, 2007, 21(4):34-41.

[5] 史慶偉，趙政，朝柯. 一種基于后綴樹的中文網(wǎng)頁層次聚類方法[J]. 遼寧工程技術大學學報, 2006, 25(6):890-892.

[6] 杜紅斌，夏克文，劉南平. 一種改進的基于廣義后綴樹的文本聚類算法[J]. 信息與控制, 2009, 38(3):331-336.

[8] 趙軍，金千里，徐波. 面向文本檢索的語義計算[J]. 計算機學報, 2005, 28(12):2068-2078.

[10] 謝紅薇，顏小林，余雪麗. 基于本體的WEB頁面聚類研究[J]. 計算機科學, 2008, 35(9):153-155.

[11] 朱會峰，左萬利，赫楓齡. 一種基于本體的文本聚類方法[J]. 吉林大學學報(自然科學版), 2010, 48(2):277-283.

[13] 常鵬，馮楠. 基于詞共現(xiàn)的文檔表示模型[J]. 中文信息學報, 2012, 26(1):51-57.

[14] 曹恬，周麗，張國煊. 一種基于詞共現(xiàn)的文本相似度計算[J]. 計算機工程與科學, 2008, 29(3):52-53.

[15] 吳光遠，何丕廉，曹桂宏. 基于向量空間模型的詞共現(xiàn)研究及其在文本分類中的引用[J]. 計算機應用， 2003, 23(23):138-140.

TANGShou-zhong,born in 1987,MS candidate,his research interest includes information retrieval.

Vectorspacemodelbasedon

andco-occurrencewordpairs

TANG Shou-zhong，QI Jian-dong

(School of Information,Beijing Forestry University,Beijing 100083,China)

A new vector space model is proposed, which uses both keyword and co-occurrence term as the representation features of documents. Firstly, the keyword candidates are extracted from documents by segmenting texts and removing stop words,and the keyword features are filtered by document frequency.Secondly, based on the obtained keyword features, the co-occurrence word pairs are constructed,and support degree and confidence degree are defined to filter the features of co-occurrence word pairs. Finally, the keyword features and the features of co-occurrence word pairs are combined to construct the vector space model. The text-classification experiments show that the proposed model has better ability of text classification.

vector space model;co-occurrence word;semantical relationship;text classification

1007-130X(2014)05-0971-06

2013-02-25;

：2013-04-24

十二五科技支撐課題(2011BAH10B04)

TP391.3

：A

10.3969/j.issn.1007-130X.2014.05.031

唐守忠(1987-),男,山東東平人，碩士生，研究方向為信息檢索。E-mail:tang_shouzhong@126.com

通信地址：100083 北京市清華東路35號北京林業(yè)大學信息學院1024信箱

Address:Mailbox 1024,School of Information,Beijing Forestry University,35 Qinghua Rd East,Beijing 100083,P.R.China