基于詞典與機器學習的中文微博情感分析

劉開元

摘 要

目前，社會正處于一個微博崛起的時代，一切有關(guān)于微博的問題都被社會廣泛關(guān)注，并得到了工業(yè)界和學術(shù)界的高度重視。微博從出現(xiàn)以來，取得了良好的發(fā)展，并擁有大眾的普遍關(guān)注和應用。微博的超大信息量和高速度的更新等，都是值得研究的話題。同時，微博處理自然語言已經(jīng)成為當前最新型和熱門的研究課題，而其中最值的探討的熱點課題就是中文微博情感分析。

【關(guān)鍵詞】詞典 機器學習 中文微博 情感分析

在當前眾多社交網(wǎng)絡平臺中，微博以新型的信息發(fā)布手段具有重要的社會影響力。根據(jù)我國相關(guān)數(shù)據(jù)統(tǒng)計可以發(fā)現(xiàn)，我國微博用戶使用量已經(jīng)高達3.5億，并處于逐年上升的趨勢，占全國網(wǎng)絡居民中的百分之五十。微博情感分析是按照主觀傾向性將微博文本分為三類：第一是正向；第二是負向；第三是中性。

1 情感的分析方法

目前，主要通過兩種技術(shù)來對情感進行分析。第一類是根據(jù)情感詞典來進行，微博文本中所包含的正向情感詞和負向情感詞都通過情感詞典來進行統(tǒng)計分析，而文本的情感極性則依靠所取得的差值來決定。第二類是機器學習的使用方法，對測試預料和訓練詞進行相關(guān)的標注，再使用分類器對情感進行分析，其中分類器包括有：

（1）KNN；

（2）最大熵；

（3）支持向量機等。

另外，Wang與相關(guān)研究人員對Twitter情感分析系統(tǒng)進行了構(gòu)建，其能對相關(guān)評論信息的情感傾向性進行較為實時的分析。Agarwal與相關(guān)人員通過對極性詞語的特征研究，對微博文本通過樹內(nèi)核模進行了情感分類研究，其也獲得了一定的成績。Jiang及其成員對微博文本的情感分析使用了主題無關(guān)和主題相關(guān)的方式進行了分類，一種是正向情感，一種是負向情感。

與英文微博相比，中文微博具有很大差異，其中主題較為發(fā)散是中文微博的主要特點，且內(nèi)容十分繁雜豐富，并與英文微博的行文習慣也有很大區(qū)別。因此，部分研究人員通過多種計算方法對微博的情感分析進行了全方位的分析，其中所包括的算法有：

（1）三種特征選擇方法；

（2）三種及其學習算法；

（3）三種特征權(quán)重計算方法，但該方法對微博文本的行文特點并沒有考慮到位，導致在整條微博中，微博表情符號直接影響了文本的情感極性。

同時，其他研究人員提出了微博情感分析的層次結(jié)構(gòu)分析方法，但由于表情符號的規(guī)則原因，其有了提高分類效果的作用，但卻使微博文本中的極性信息被忽視。由于中文微博主題發(fā)散和內(nèi)容簡短，以及不規(guī)范的用語和未登錄詞較多等問題，使中文微博文本目前的情感分析效果未取得一定的進展。由于詞典方法和及其學習方法都存在各自的問題，針對中文微博的文本內(nèi)容簡短、口語化國多和主題不集中等特點，提出了有關(guān)于結(jié)合詞典和機器學習的方法，以對中文微博情感進行更為準確的研究。

2 基于詞典與機器學習的中文微博情感分析

基于中文微博的特點研究，采用詞典與機器學習相結(jié)合的方式，進一步分析研究中文微博文本的情感傾向性。

2.1 特征降維

經(jīng)過分析微博文本可以看出，其中的形容詞和動詞是最主要的情感詞語，也能夠準確反映文本情感的傾向性，所以特征的選擇應當主要以形容詞和動詞為主。微博文本中所包含的所有形容詞和動詞都被特征空間所集合包含，當產(chǎn)生較大訓練文本集時，則具有非常高維數(shù)的特征空間。同時，中文微博中還較頻繁出現(xiàn)表情符號，并還含有多個詞或是十多個詞，使絕大多數(shù)維上的值在特征向量中顯示為0，導致數(shù)據(jù)稀疏性的問題出現(xiàn)在特征空間中，所以，必須使用降維來對特征空間進行緩解。

常用的特征降維方法有兩種：

（1）特征選擇；

（2）特征抽取。

但特征抽取具有大計算量和儲存方面的問題，對于處理文本具有一定的局限。特征選擇在性能方面十分良好，通過特征降維的統(tǒng)計法后，依然出現(xiàn)特征空間的嚴重數(shù)據(jù)稀疏性問題，則需進一步對特征空間進行降維操作。在聚類詞語方面，層次聚類算法具有明顯的作用。所以，可以采取統(tǒng)計法融合層次聚類算法的層次結(jié)構(gòu)來實現(xiàn)降維。特征選擇在進行統(tǒng)計法后，可以對特征空間進行初步的維數(shù)降低，并依靠層次聚類算法實現(xiàn)特征空間的有效降維，保證特征空間維數(shù)的進一步降低，最終實現(xiàn)特征降維的有效目的。

2.2 特征極性值

中文微博中的修飾詞和情感詞所構(gòu)成的極性值短語為極性特征的極性值。絕對值越大的極性值，具有越強的情感極性，反之越小的絕對值，其情感極性越弱。在微博文本中可以出現(xiàn)很多次同一個極性特征，每出現(xiàn)一次，則極性副詞彼此之間都有不同的順序，也導致每次的極性值計算都有所差異。所以，該極性特征可以通過極性值的平均算數(shù)值來作為最終極性值。中文微博中的評論性所使用的符號表情，對于本人的立場和情感都有真實的反應和重要作用，能使該條文本的情感極性進一步增強。如果在微博文本中，正向極性特征的極性值在微博文本中得到加強，那其正向表情符號肯定超過負向表情符號的有效數(shù)目。相反，如果負向極性特征的極性值出現(xiàn)減弱，則微博文本中的負向表情符號肯定大于正向表情符號的有效數(shù)目。中性特征的極性值在正常情況下應當為0，但為了實現(xiàn)和出現(xiàn)次數(shù)為0的特征項目進行區(qū)別，可以對中性特征的極性值設(shè)置一個小的公式設(shè)計。

3 結(jié)束語

總之，本文對詞典與機器學習的中文微博情感分析方法進行了探討，并根據(jù)中文微博的相關(guān)特點，對層次結(jié)構(gòu)的降維方法進行理論探討。同時，隨著網(wǎng)絡信息的逐步發(fā)展，中文微博中還在不斷產(chǎn)生一些新鮮的詞匯，導致其無法被當前的分詞系統(tǒng)進行有效識別，對分類中文微博情感造成了一定的阻礙，所以，未來還應不斷嘗試新的分類方法來對其進行識別匹配。

參考文獻

[1]孫建旺，呂學強，張雷瀚.基于詞典與機器學習的中文微博情感分析研究[J].計算機應用與軟件，2014（07）：177-181.

[2]孫曉，葉嘉麒，龍潤田，任福繼.基于情感語義詞典與PAD模型的中文微博情感分析[J].山西大學學報（自然科學版），2014（04）：580-587.

[3]張慶慶，劉西林.基于機器學習的中文微博情感分類研究[J].未來與發(fā)展，2015（04）：59-63.

作者單位

廣州大學計算機學院 廣東省廣州市 510006