結(jié)合CHI統(tǒng)計和改進(jìn)TF-IDF算法的微博特征項(xiàng)提取

廣東工業(yè)大學(xué)自動化學(xué)院 嚴(yán) 萌 朱燕飛 鄭卜松 徐 迅

結(jié)合CHI統(tǒng)計和改進(jìn)TF-IDF算法的微博特征項(xiàng)提取

廣東工業(yè)大學(xué)自動化學(xué)院 嚴(yán) 萌 朱燕飛 鄭卜松 徐 迅

特征項(xiàng)是微博話題檢測中的重要因素，特征項(xiàng)的提取結(jié)果直接影響話題檢測計算的復(fù)雜度和準(zhǔn)確度。本文提出了一種結(jié)合CHI方法和改進(jìn)TF-IDF算法的方法來提取特征項(xiàng)，從而來降低空間向量的維數(shù)。本文考慮到了中文詞中存在一義多詞或一詞多義的緣故，對傳統(tǒng)的歸一化TF-IDF算法進(jìn)行了一些改進(jìn)，即在計算詞的權(quán)重時結(jié)合了詞的語義。通過該算法來提取特征項(xiàng)不僅可以降低建空間向量時的維度，而且還可以減少話題的重復(fù)性，但在計算權(quán)重后容易忽略一些有利于分類的低頻詞，故本文在改進(jìn)TF-IDF算法的同時還結(jié)合了CHI統(tǒng)計方法，該方法可以發(fā)現(xiàn)一些有利于文本分類結(jié)果的低頻詞。故能從一定程度上提高話題檢測的準(zhǔn)確率和速度。

CHI；TF-IDF；特征提??；詞頻

微博是Web2.0的技術(shù)基礎(chǔ)上實(shí)現(xiàn)的一種媒介(social media)，其允許使用者通過Web,Wap以及各種客戶端設(shè)備及時發(fā)送和更新短文本，微博逐漸成為了人們分享、獲取實(shí)時信息，發(fā)表個人觀點(diǎn)的最普遍的方式。

比較常用的特征項(xiàng)提取方法主要有互信息、文檔詞頻、信息增益、卡方統(tǒng)計量、文本證據(jù)權(quán)等，在特征選擇方面，美國卡內(nèi)基梅隆大學(xué)的Yang教授針對文本分類問題，在分析和比較了IG、DF、MI和CHI等方法后，得出IG和CHI方法分類效果相對較好的結(jié)論[1],清華大學(xué)李粵等人[2]提出結(jié)合傳統(tǒng)的互信息方法和CHI統(tǒng)計方法，使得查全率和查準(zhǔn)率都得到了明顯的提高。但CHI方法只考慮單詞和類別之間的關(guān)系，忽略了單詞與單詞之間的聯(lián)系。這樣選擇的特性有更大的冗余。在向量空間模型中，通常使用的權(quán)重計算方法是采用TF-IDF方法。在一定的程度上，該方法是能有效地反映一個特征詞的重要程度，雖然該方法可以減少計算時間，簡化提取步驟，但是這種方法沒有考慮詞與詞之間的聯(lián)系，并且忽略了低頻詞。該方法限制了文本分類的準(zhǔn)確性和特征提取。

本文提出的結(jié)合CHI和改進(jìn)TF-IDF算法的方法來對特征項(xiàng)進(jìn)行提取，是用改進(jìn)TF-IDF算法來彌補(bǔ)CHI方法在特征提取中存在的不足，從而提高微博話題檢測的準(zhǔn)確率。

1　CHI統(tǒng)計特征選擇方法

CHI統(tǒng)計方法的思想是假設(shè)特征項(xiàng) w與類別с之間的關(guān)系是類似于具有一維自由度的χ2分布。 w對于с的統(tǒng)計量可計算為：

其中，A是包含了特征項(xiàng)w并且還是屬于類別c的文檔個數(shù)，B是包含特征項(xiàng)w但它不是屬于類別c的文檔個數(shù)，C則是沒有特征項(xiàng)，w可屬于類別c的文檔個數(shù)，D代表既沒有特征項(xiàng)w也不屬于類別的文檔個數(shù)，N是所有的文檔個數(shù)。

該方法用來衡量類別c之間與類別c之間的關(guān)聯(lián)度。當(dāng)類別c和特征項(xiàng)w相互獨(dú)立時，有。而當(dāng)類別c和特征項(xiàng)w的關(guān)聯(lián)性越強(qiáng)，的值就會越大，其價值越大，其識別信息量就越大。

Yang[3]的研究表明，CHI統(tǒng)計方法是目前最好的特征選擇方法之一。與其他方法相比，分類效果好。大多數(shù)中文分類系統(tǒng)都采用這種方法，可是存在下面幾個缺點(diǎn)：

⑴CHI統(tǒng)計方法只是考慮到了詞的文檔頻，并無顧及到特征的詞頻，故極大的放大了低頻詞的作用。

⑵特征詞的CHI值是將特征詞對一個類別的CHI值與其余不同類別的卡方值做對比，CHI值很可能把對某一特定的類別的貢獻(xiàn)低，而對其它的類的貢獻(xiàn)高的特征詞給選擇出來。

2　TF-IDF及其改進(jìn)

TF-IDF由Jones[4]首次提出, 其計算公式如下常用的計算方法如下：

其中，m是表示特征詞在文檔i中出現(xiàn)的次數(shù)，M 表示文檔i中的總單詞數(shù)量。

其中，N 為總文檔數(shù)，n 為包含某項(xiàng)特征詞的文檔總數(shù)。選用傳統(tǒng)歸一化 TF-IDF算法來給特征項(xiàng)賦權(quán)時，其計算公式如下：

tij是代表了第i個文本中的第j個特征項(xiàng)，tfij代表了特征項(xiàng)j出現(xiàn)在文本i的頻率，Wij代表了特征項(xiàng)tij的權(quán)重，為逆文檔頻率，N是代表文檔的總數(shù)，nij是代表包含了所有tij的文本數(shù)量。

采用傳統(tǒng)歸一化 TF-IDF方法來給特征項(xiàng)賦權(quán)時，并沒有思考詞語的近義詞會在文本集中出現(xiàn)的情形，如果采用該方法給特征項(xiàng)賦權(quán)就忽略了文本中的這種特性，本文在文獻(xiàn)[5]中給出的結(jié)合語義給特征項(xiàng)賦權(quán)的基礎(chǔ)下改進(jìn)了傳統(tǒng)歸一化TF-IDF方法，實(shí)現(xiàn)了形式與詞義的結(jié)合，其定義公式如下：

其中，ε為文本i中包含得得特征項(xiàng)tij和與特征項(xiàng)tij相似度大于γ的特征項(xiàng)的個數(shù)之和與特征項(xiàng)tij的個數(shù)的商，mij表示包含特征項(xiàng)tij或與特征項(xiàng)tij的相似度大于γ的特征項(xiàng)的文本個數(shù)，γ是系統(tǒng)設(shè)定值。在文獻(xiàn)[6]中通過對知識的描述語言分析，得悉“知網(wǎng)”的描述知識言可以用集合與義原、特征結(jié)構(gòu)這兩種抽象數(shù)據(jù)結(jié)構(gòu)來表達(dá)，語義的相似計算方法采用的是基于“知網(wǎng)”中的計算相似度的算法來確定γ=0.8。

3　基于CHI方法和改進(jìn)TF-IDF算法的特征提取

然后結(jié)合CHI重新給一個類的所有詞賦權(quán)，計算公式如下：

4　實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)數(shù)據(jù)來自于微博開放平臺API，使用網(wǎng)絡(luò)爬蟲技術(shù)獲取2015年3月—2015年4月的微博，將每個微博文本的內(nèi)容當(dāng)成一個部分。利用結(jié)合CHI和改進(jìn)的TF-IDF算法的方法來提取特征項(xiàng)來減少微博文本的維度。電腦系統(tǒng)Window7,RAM 6G。軟件用Java編程，用MATLAB7.0實(shí)現(xiàn)結(jié)果的對比。

5　實(shí)驗(yàn)步驟與結(jié)果

5.1特征項(xiàng)提取流程圖

圖1　微博特征項(xiàng)提取流程圖

獲取2000關(guān)于《太陽的后裔》的微博和2000條與《太陽的后裔》無關(guān)的微博。有，SCN=NEWS。

將獲得微博數(shù)據(jù)進(jìn)行預(yù)處理，本文中使用由張華平、劉群等人設(shè)計和開發(fā)的 ICTCLAS分詞系統(tǒng)[7]對中文微博信息進(jìn)行分詞和詞性標(biāo)注，然后去掉停用詞得到詞。把獲取的微博數(shù)據(jù)SCN分為兩類一類是《太陽的后裔》和另一類非《太陽的后裔》，取這兩類中的所有不同的詞即為。再計算每個微博中每個詞的詞頻即為，從SCN的一類中取得所有不同詞。

5.2實(shí)驗(yàn)結(jié)果

表格1是傳統(tǒng)的歸一化TF-IDF 算法與改進(jìn)的TF-IDF算法對詞權(quán)重計算的結(jié)果。從圖2可以得出在改進(jìn)的TF-IDF算法下得到權(quán)重都比傳統(tǒng)的算法得到的值大，這是因?yàn)槲覀冊谟嬎愕臅r候考慮到了詞語的語義，將近義詞歸在一起求值。因此改進(jìn)后的方法可以減少由詞的近義詞所引起的誤差。提高了計算的準(zhǔn)確性。

表1　兩種方法下計算的詞權(quán)

圖2　權(quán)重結(jié)果對比仿真圖

做三組實(shí)驗(yàn)，實(shí)驗(yàn)一：取1700條微博，850條關(guān)于《太陽的后裔》和850條與《太陽的后裔》無關(guān)的微博。實(shí)驗(yàn)二：取1800條微博，900條關(guān)于《太陽的后裔》和900條與《太陽的后裔》無關(guān)的微。實(shí)驗(yàn)三：取1900條微博，950條關(guān)于《太陽的后裔》和950條與《太陽的后裔》無關(guān)的微博。用CHI方法和本文提出的方法來進(jìn)行特征項(xiàng)的選擇。表2是3組實(shí)驗(yàn)數(shù)據(jù)的結(jié)果對比圖。本文根據(jù)文獻(xiàn)[8]微平均精確率( micro-averaging precision)，被普遍的用于交叉驗(yàn)證的比較。這里它來比較不同的特征選擇算法的效果。圖3顯示的是SVM分類器分別采用CHI方法和基于結(jié)合CHI和改進(jìn)的TF-IDF算法的方法在微博數(shù)據(jù)集上的micro_ P曲線。從圖3可知用不同方法分別獲取400,800,1200,1600個特征項(xiàng)時SVM分類器的micro_P值中可以看出基于基于結(jié)合CHI和改進(jìn)TF-IDF算法的方法提取的特征項(xiàng)在一定程度上提高了查準(zhǔn)率。

表2　三組實(shí)驗(yàn)數(shù)據(jù)的結(jié)果對比圖

圖3　采用不同方法提取特征的SVM分類器性能比較

6　結(jié)束語

本文的研究工作是關(guān)于文本特征提取，提高特征提取的準(zhǔn)確度從而達(dá)到降維的目的。CHI只是關(guān)注詞與詞之間的關(guān)系，新的方法提高了特征項(xiàng)提取的結(jié)果。在此基礎(chǔ)上，利用支持向量機(jī)進(jìn)行文本分類的準(zhǔn)確率達(dá)到了81.2%，本實(shí)驗(yàn)取得了良好的效果，能提高微博話題檢測的準(zhǔn)確率。

[1]Yang Yi-ming,LIU Xin.Annual International ACM SIGIR Conference on Research and Development in information[J].Annual International ACM SIGIR Conference on Research and Development in Information Retrieval New York：ACM,1999,8(6):42-49.

[2]李粵,李星,劉輝等.一種改進(jìn)的文本網(wǎng)頁分類特征選擇方法[J].計算機(jī)應(yīng)用,2004,7(3):119-121.

[3]Yang Yi-ming.An evaluation of statistical approaches to text categorization[J].Information Retrieval,2000,1(1-2):69-9.

[4]Jones K S.A Statistical Interpretation of Term Specificity and Its Application in Retrieval[J].Journal of documentation,1972,28(1):11-21.

[5]任姚鵬,陳立潮,張英俊,等.結(jié)合語義的特征權(quán)重計算方法研究[J].計算機(jī)工程與設(shè)計,2010,10(10):2381-2383.

[6]張敬.網(wǎng)絡(luò)輿情的熱點(diǎn)檢測及趨勢分析研究[J].計算機(jī)工程與設(shè)計,2012,9(8):156-158.

[7]衣波,陳新.網(wǎng)絡(luò)輿情信息的話題發(fā)現(xiàn)和追蹤技術(shù)的研究與應(yīng)用[J].廣東工業(yè)大學(xué)學(xué)報,2013,8(30):58-64.

[8]程奇華,張立臣.信息物理融合系統(tǒng)語義模型分析[J].廣東工業(yè)大學(xué)學(xué)報,2016,33(03):43-48.

嚴(yán)萌【通訊作者】（1991—），女，碩士研究生，主要研究方向：微博話題檢的學(xué)習(xí)和研究。

朱燕飛（1976—），女，副教授，研究方向：系統(tǒng)建模、智能算法分析及控制。

鄭卜松（1992—），男，碩士研究生，研究方向：系統(tǒng)建模、智能算法分析及控制。

徐訓(xùn)（1992—），男，碩士研究生，研究方向：系統(tǒng)建模、智能算法分析及控制。