文本挖掘分類算法的比較研究

張鑫

摘要：本文借助R軟件，采用來自某新聞媒體官方微信公眾號中16個類別的中文文本數(shù)據(jù)，對所發(fā)布內(nèi)容進(jìn)行分類。首先對文本進(jìn)行預(yù)處理，主要是進(jìn)行分詞和去除停用詞，并加入自定義詞典，然后采用TF-IDF權(quán)重法提取文本特征，按照訓(xùn)練集與測試集10：3的比例，用支持向量機（SVM），隨機森林（RF），Boosting，最大似然的廣義線性回歸（GLMNET），最大熵（MAXENT）這5種分類算法，對選取的訓(xùn)練文本進(jìn)行訓(xùn)練得到不同的分類模型，進(jìn)而對測試文本進(jìn)行自動分類，并采用5折交叉驗證法比較不同算法的分類性能。結(jié)果顯示Boos～ng分類算法對于該文本的分類準(zhǔn)確率最高。

關(guān)鍵詞：TF-IDF；支持向量機；隨機森林；Boosting；分類模型

一、引言

文本分類是指依據(jù)文本的內(nèi)容，根據(jù)某種自動分類算法按照一定分類體系或標(biāo)準(zhǔn)，對大量文本進(jìn)行判斷并歸類為預(yù)先定義好的一個或者多個類別的過程。本文根據(jù)微信公眾號發(fā)布內(nèi)容，建立分類模型進(jìn)行文本自動分類，主要采用支持向量機（SVM）、隨機森林、Boosting、最大似然的廣義線性回歸、最大熵這5種分類技術(shù)。

二、描述性統(tǒng)計

從該新聞媒體官方微信公眾號的發(fā)布內(nèi)容及其所屬類別來看，共發(fā)布了780條新聞，其中社會類新聞達(dá)到了352條，生活服務(wù)類新聞共有118條，健康類新聞有65條。因此，該新聞媒體比較關(guān)注有關(guān)社會民生、身體健康等方面的內(nèi)容，較適合普通民眾閱讀。

詞云圖是一種信息文本可視化技術(shù)，可過濾掉大量的龐雜文本信息，容易看出哪些類型的關(guān)鍵詞出現(xiàn)頻率最高，從而更容易對其進(jìn)行分類。以下是對該新聞媒體的幾種具有代表性的新聞類型分別作出詞云圖，可以觀察到在某類型新聞中哪些詞出現(xiàn)的頻率較高，從而更容易對一則新的新聞進(jìn)行分類。

圖1-圖5分別展示出的是社會類新聞、生活服務(wù)類新聞、房產(chǎn)類新聞、財經(jīng)類新聞、環(huán)保類新聞。但若僅僅通過觀察來判斷一條信息屬于哪一類型，不僅工作量大且正確率有待考究，因此需要通過文本分類算法來規(guī)范化新聞的分類。由于篇幅受限未給出詞云圖。

三、實證分析

3.1文本集整合

在提取文本特征之前，要對文本做預(yù)處理，主要是對文本進(jìn)行分詞和去除停用詞處理。去除停用詞一般通過導(dǎo)入中文停用詞表來實現(xiàn)，本文采用的中文停用詞表含有4545個停用詞。去除這些與主題無關(guān)的詞以后，按照實際需求選取權(quán)重最高的幾個詞匯來代表該文本的核心內(nèi)容。此外，在文本信息處理過程中，通過從搜狗細(xì)胞詞庫中選擇自定義詞典將文本中出現(xiàn)的特殊詞加進(jìn)去，有助于識別文本，提高分類的準(zhǔn)確率。

3.2提取特征文本

選取能夠反映文本類別的文本特征。各個詞匯對文本分類的影響是不同的，一些通用的或者各個類別中都普遍存在的詞匯對文本分類的影響很小，去除掉這些沒有影響力的詞匯，篩選出代表該類的特征項集合。特征提取是文本分類中的關(guān)鍵問題，它對分類精確率有很大影響。文本特征提取有很多方法，其中最常用的方法是通過詞頻選擇特征。通過詞頻計算出權(quán)重。采用TF-IDF（詞頻率-逆文檔頻率）法計算權(quán)重。

3.3利用訓(xùn)練集訓(xùn)練模型

本文選用某新聞媒體官方微信公眾號的發(fā)布內(nèi)容為研究文本，文本類別為時政、社會、頭條新聞、視頻、生活服務(wù)、財經(jīng)、科技、健康、房產(chǎn)、環(huán)保等16類。取600篇作為訓(xùn)練文本，其余180篇作為測試文本。在模型訓(xùn)練時，對訓(xùn)練文本進(jìn)行詞頻統(tǒng)計，得到詞頻統(tǒng)計矩陣，構(gòu)造不同算法對應(yīng)的分類器模型。分別是支持向量機（SVM），隨機森林（RF），Boosting，最大似然的廣義線性回歸（GLMNET），最大熵（MAXENT）這5種分類算法。

3.4利用測試集對模型測試

對于選取的180篇測試文本，根據(jù)不同的分類器模型，對測試文本進(jìn)行自動分類，以支持向量機和最大熵算法為例，得到的分類結(jié)果見表1。（藍(lán)字標(biāo)注的表示分錯的類別）

進(jìn)一步，針對這兩種算法的180篇測試文本分類結(jié)果及各個類別正確分類和錯誤分類的文本數(shù)。對應(yīng)計算出各類別的正確率。

在支持向量機SVM算法下，社會和活動這兩個類別分類的正確率相對較高，分別為81%，68%。在最大熵MAXENT算法下，社會、時政、活動、生活服務(wù)這四個類別分類的正確率分別為63%，67%，78%，66%。

3.5分類性能的比較

針對五種分類算法，采用5折交叉驗證，得到分類準(zhǔn)確率Accuracy。支持向量機（SVM）、隨機森林（RF）、Boosting、最大似然的廣義線性回歸（GLMNET）、最大熵（MAXENT）這五種算法的5折交叉驗證準(zhǔn)確率分別為0.573、0.667、0.692、0.608、0.574。這五種分類算法的準(zhǔn)確率都基本上在60%以上，其中Boosting的準(zhǔn)確率最高，近70%。Boosting算法對于此文本分類是分類性能最好的算法。

四、結(jié)論

由實證部分交叉驗證結(jié)果得到Boosting算法是此文本分類中性能最好的分類算法。Boosting算法具有速度快、簡單、編程容易、適應(yīng)性強和精度高的特點，并在進(jìn)行分類的同時能夠進(jìn)行特征選取，可以提高弱分類算法的識別率。