領域實例遷移的交互文本非平衡情感分類方法

田鋒,蘭田,CHAO Kuo-Ming,吳凡,鄭慶華,高鵬達

(1.西安交通大學陜西省天地網技術重點實驗室,710049,西安;2.西安交通大學電子與信息 工程學院,710049,西安;3.考文垂大學計算機科學與技術系,CV1 2JH,英國考文垂)

?

領域實例遷移的交互文本非平衡情感分類方法

田鋒1,2,蘭田1,2,CHAO Kuo-Ming3,吳凡1,2,鄭慶華1,2,高鵬達1,2

(1.西安交通大學陜西省天地網技術重點實驗室,710049,西安;2.西安交通大學電子與信息 工程學院,710049,西安;3.考文垂大學計算機科學與技術系,CV1 2JH,英國考文垂)

針對交互文本句子短、成分缺失、多領域下類分布不均衡導致的高維、特征值稀疏、正樣本稀少的難點,提出面向目標數據集實例遷移的數據層面采樣方法。該方法提出目標數據集和源數據集共性特征的Top-N信息增益和值占比函數,選擇評價兩個數據集實例相似度的特征;提出目標數據集和源數據集特征空間一致性處理方法,克服兩者特征空間不一致的問題;提出分領域的實例選取與遷移方法,克服多領域下的類分布不均衡問題。實驗結果表明:該方法有效緩解了交互文本的非平衡問題,使支持向量機、隨機森林、樸素貝葉斯、隨機委員會4個經典分類算法的加權平均的接收者運行特征曲線(receiver operating characteristic, ROC)指標提升了11.3%。

交互文本;非平衡情感分類;多領域;實例遷移

文本交互是社交媒體上的重要交流形式之一,因而交互文本成為情感識別研究的重要載體。現實應用中,文本交互不僅在情感類別分布上不均衡,而且同一數據源的交互文本在不同主題下也存在情感標簽分布非均衡的特點,極易導致在其上訓練所得的分類模型忽視少數類信息,產生“過擬合”現象,這即是多領域下中文交互文本非平衡多類情感識別問題。解決該問題的難點在于:①需克服交互文本在話輪級別上情感識別的固有難點,例如句子短、成分缺失、非語言符號多等[1];②需尋找合適的分類模型,目前的方法多是基于對支持向量機(support vector machine, SVM)方法的改進[2],然而,前期研究[3-4]指出,由于交互文本在話輪級別上語言具有非形式化和特征稀疏等特點,SVM算法在其上的情感識別性能不佳;③需要在多領域下滿足多類情感標簽分類的需求,已有的遷移學習方法多數集中在有無情感、正負情感等二分類問題上,針對多情感分類的研究較少。

針對以上問題與難點,本文提出了針對中文交互文本非平衡情感分類的多領域實例遷移方法,其特點是:①提出遷移實例的特征篩選策略,即依據Top-N信息增益和值占比函數值的貪婪算法,選取共有特征集中對非平衡數據分類貢獻權重大的共有特征,作為目標數據集T和源數據集S中用于實例相似性評價的特征集;②提出特征空間一致性處理方法,即目標數據集數據特征和源數據集被遷移數據特征之間的特征空間一致性處理方法,克服T和S數據集的特征不一致問題;③提出分領域實例遷移的新訓練集生成方法;④所提方法適用于多類標簽的情感分類問題。

1 相關工作

非平衡數據分類是機器學習領域中的一個富有挑戰性的問題。類標記樣本數據分布(簡稱類分布)的不平衡使得分類器在訓練過程中嚴重偏向多數類,從而導致其少數類的識別性能急劇下降。目前處理這一問題主要包含以下幾類方法:數據層面的采樣、代價敏感學習、特征選擇、特征權值調整和單分類學習[1]。

數據層面的采樣主要包括欠采樣和過采樣兩類基礎方法。欠采樣通過從多數類中采樣得到一部分數據,從而使類分布達到平衡。過采樣通過將少數類樣本多次采樣或者采用直接復制增加的方式使類分布達到平衡。文獻[5-6]討論了這兩種方法在處理非平衡問題上的劣勢:欠采樣會導致數據的丟失;過采樣會增加模型訓練時間,同時也會產生過擬合現象。

代價敏感學習的主要思路是賦給誤判少數類和誤判多數類不同的代價權值,使分類器更看重少數類[7-8]。

特征選擇的思路是挑選更偏向少數類的特征來更好地學習少數類知識[1]。Wang等將基于邊界區域的切割算法應用于兩類情感分類問題[9]。

特征權值調整是通過賦予對少數類更重要的特征以較大的權值來糾正分類器對多數類的偏移,從而解決非平衡問題[10]。

單分類學習主要應用于數據嚴重非平衡的情況,例如信息過濾和欺詐檢測,是一種忽略其他類別,只用某一類的數據來訓練模型的處理方式[1]。

上面提到的解決非平衡問題的方法都是針對單一數據集。受近年來利用輔助數據思想的啟發,本文擬借鑒遷移學習的思想,展開中文交互文本中非平衡情感識別的研究。

2 多領域實例遷移問題及所提算法

2.1 多領域實例遷移問題表述及解決思路

多領域實例遷移所面臨的問題是:多領域實例遷移的目標數據集T中,各領域的樣本數據規模大小不同,且總體上在3個待學習情感類標簽(正面、負面、平靜)上的數據規模差異較大(少數類與多數類的比值一般小于1∶3到1∶10),如圖1所示。

圖1 多領域實例遷移實例圖

多領域實例遷移的目標是:從源數據集S各個領域中篩選一定數目的實例遷移到目標數據集對應領域中,形成新的目標數據集D,使得新數據集的各類別在數據規模上基本接近,從而提高目標數據集在各個領域上的情感分類精度。此過程如圖1所示,其中源數據集有5個領域D1、D2、D3、D4和D5,目標數據集有4個領域D1、D2、D3和D4。源數據集和目標數據集有相同的待識別類別L1、L2和L3。通過遷移使得新數據集D的各類別數據規模近似。

該研究的核心思想是:鑒于多領域實例遷移源數據集S和目標數據集T識別任務相同,故采用兩個數據集在共同分類任務上的特征空間Ω(F|T)和Ω(F|S)的相似性來評價遷移實例。當Ω(F|T)=Ω(F|S)時,此類問題相對容易解決。但是,通常源數據集和目標數據集存在共有特征和獨有特征[3],特征空間不等。若依據已有研究[4],中文交互文本數據的共有特征為交互文本的句法結構特征、交互特征和頻次特征;獨有特征是Ngram特征。Ngram特征是指數據集中的詞語以及詞語組合,具有很強的數據依賴性。因而,實現該思路的難點是如何評價兩個數據集在共同分類任務上特征空間Ω(F|T)和Ω(F|S)中特征的相似性及其分類性能,以及如何克服兩個數據集各自獨有特征引起的差異,因此需要解決3個問題:①源數據集與目標數據集的共性發現與選擇問題;②源數據集的實例向目標數據集的可遷移性問題;③被遷移實例特征與目標數據集實例特征的同質化問題。

針對以上問題,本文提出了一種基于貪婪策略的多領域實例遷移方法,該方法分3個步驟完成。

步驟1 從源數據集對應領域中篩選遷移的實例。該階段首先解決共有特征的發現與選擇問題,其次解決遷移實例的選擇問題,它包含兩個子問題:①需要遷移實例的個數;②源數據集的實例向目標數據集的可遷移性問題。對于問題①,其目標是使各個類別上的實例數量基本一致,克服其非平衡特性。對于問題②,要考慮從源數據集中遷移哪些實例到目標數據集對應領域中,才能盡可能減少對目標數據集的特征分布的改變,同時提高其識別精度。

步驟2 源數據遷移實例與目標數據實例特征空間一致性處理,該步驟是用于解決特征的同質化問題。

步驟3 把遷移實例按領域與情感標簽分別歸入目標數據集,在遷移后所得的新目標數據集D上訓練分類器。

2.2 源數據集和目標數據集共有特征選擇

在中文交互文本的情感識別問題中,文獻[4]通過多組對比實驗得出,基于決策樹的分類算法在解決這個問題上表現很好,并且通過計算得出共有特征信息增益在兩個數據集中均占有較大比重。本文通過共有特征信息增益在數據集中所占比重的大小來挑選代表實例的特征,其流程如下:①分別計算數據集中各個特征的信息增益,并將特征按信息增益值降序排列;②在源數據集特征序列中標記共有特征出現的位置;③對源數據集每個共有特征標記位置,計算該標記位置之前所有共有特征的信息增益和值與該標記位置之前的所有特征的信息增益和值的比值(共有特征信息增益比),挑選比值最大者得到代表實例的特征集合。

2.3 利用余弦相似度計算規則從源數據集中篩選被遷移實例

余弦相似度是自然語言處理中常用的相似度計算方式,它通過將文件表示成向量形式來計算實例的相似性。本文采用基于共有特征的余弦相似度得分來衡量源數據集中的實例與目標數據集對應領域實例的相似度,從而評價該實例的可遷移性。該算法可以分為下面3個步驟。

步驟1 將每一個實例表示成所選共有特征值的向量形式,并對共有特征進行歸一化處理。特征歸一化流程包括兩個步驟:①分類變量屬性/特征數值化處理,其中針對分類變量屬性/特征,本文采用直接數值替換的方式進行數值化處理,數值取值從0開始,依次遞增,例如特征conjunction中共有8個值,分別為{none,adversative,casual,hypothetical,coordinate,comparison,undertake,alternative},本文將其分別對應為{0,1,2,3,4,5,6,7};②數值特征歸一化處理,本文采用常用的最大最小值歸一化處理[11]。

步驟2 計算源數據集某領域中某一情感類別的實例在目標數據集對應領域中對應情感類別的實例中的總體余弦相似度得分。一般認為,兩個實例越相似,則它們的總體余弦相似度越高。設L={l1,l2,…,lN}={lp|p=1,2,…,N}表示數據集分類類別標簽,N表示分類任務的類別數;D={d1,d2,…,dM}={dk|k=1,2,…,M}表示數據集中的領域(主題)集合,M表示其領域(主題)個數,具體公式為

(1)

步驟3 對源數據集中各領域上各情感類別的實例,分別依據基于共性特征的余弦相似度得分按降序排列,優先遷移排在前面的實例。

2.4 特征空間一致性處理

此階段解決遷移而來的實例與目標數據集中實例的同質化問題。源數據集和目標數據集之間既存在共有特征,又存在獨有特征,這導致從源數據集中遷移而來的實例無法直接和目標數據集中的實例進行訓練,因此需要將遷移的實例和目標數據集實例進行一致性處理,使兩者的特征空間一致。本文中的源數據集和目標數據集特征空間的差異體現在Ngram特征上,此類獨有特征的類型均為數值型,故利用其在對應領域中取得的基于共性特征的余弦相似度得分s和目標數據集實例來統一遷移實例特征空間,即源數據集中遷移實例的Ngram特征和目標數據集實例的Ngram特征維度相同,其中,共有特征可以直接用于新實例中。具體步驟如下。

步驟1 分別計算目標數據集中各個領域各個類別中獨有Ngram特征的平均值

(2)

步驟2 利用遷移實例自身的Ngram值和其對應的目標數據集中平均Ngram特征值,并結合其總體余弦相似度,構造出新的遷移實例的Ngram特征,其特征空間與目標實例一致

(3)

2.5 實例合并與模型訓練

經過上述兩步的處理,將源數據集實例遷移到目標數據集,克服了目標數據集的非平衡。實例合并遵照下面兩個原則:源數據集中某領域的某類別數據只能遷移一次,因為共有特征上余弦相似度較大的實例多次遷移,易造成過擬合問題;使目標數據集的各個領域內不同情感類別實例的個數趨近相同,即盡可能克服目標數據集中各個領域上的非平衡性。

3 實 驗

3.1 實驗步驟

步驟1 收集實驗語料。實驗所用數據集Linux_QQ為騰訊QQ群上某學習小組的5 123條中文交互文本數據,數據集Xjtu_BBS為在西安交通大學兵馬俑BBS上收集的9 957條中文交互文本數據。對數據進行情感和領域標注來得到統計信息,結果表明:Linux_QQ為非平衡數據,且非平衡問題在各個領域(主題)內同時存在;Xjtu_BBS為平衡數據,存在大量Linux_QQ中的少數類實例,所以將Linux_QQ作為目標數據集T,以Xjtu_BBS為源數據集S。

步驟2 按2.2節中的步驟挑選代表實例的共有特征,并按照2.3節中的步驟在各個領域分別計算其總體相似度,確定各個領域的遷移實例。

步驟3 按2.4節中的步驟對遷移實例進行特征空間一致性處理。

步驟4 按2.5節中的步驟分領域分別合并實例,形成新的訓練數據集,記為Immigration。

步驟5 在數據集Immigration、Linux_QQ、經過子采樣(Subsampling)方法處理過的數據集Subsampling 1800以及經過合成少數類過采樣技術(synthetic minority over-sampling technique, SMOTE)處理過的數據集SMOTE上,分別采用隨機森林(random forest,RF)、支持向量機(support vector machine,SVM)、隨機委員會(random committee, RC)和樸素貝葉斯(na?ve Bayes,NB)4個分類算法進行實驗,并比較實驗結果。實驗結果評價指標采用接收者運行特征曲線(receiver operating characteristic,ROC)[11],設為ROC。該指標被認為是評價非平衡處理效果的最佳指標。

人工標記的兩個數據集Xjtu_BBS和Linux_QQ中不同主題(生活、學習、友情、愛情、家庭)上的情感標簽分布情況為:Xjtu_BBS中生活主題占所有話輪75%的比重,而Linux_QQ中學習主題占所有話輪超過75%的比重。在主題分布上,Xjtu_BBS中友情、愛情和家庭的話輪數比Linux_QQ中豐富很多,尤其是友情主題,它在Xjtu_BBS中所占比例近似于學習主題。

3.2 實驗結果

3.2.1 步驟2實驗結果 源數據集為Xjtu_BBS,目標數據集為Linux_QQ,其中共有特征有40維,利用上述算法挑選出18維代表實例的共有特征分別為{length,oneWord,emotionGraph,negWord,punNum,mimeticExist,adjBelongAdver,posWord,emotionVer,adjBelongAtt,advBelongAdver,nxExist,conjunction,interjectionExist,maxEverySeten,FreAdv,FreVerb adjBelongcomplement}。

后文中用F={f1,…,f18}={fc|c=1,…,18}代表T和S集合實例的共有特征。表1和表2統計了按照實驗步驟2從源數據集各個領域分別遷移的實例個數,以及遷移后所得的新數據集(Immigration)的各個領域以及類別上的實例個數。

表1 不同主題下各標簽從源數據集遷移的實例個數

表2 遷移后數據集實例在領域和類別上的分布

3.2.2 實驗結果與分析 表3～表6為不同非平衡數據處理方法在4種分類算法上的實驗結果對比。

經過實例遷移后得到的新數據集(Immigration),其實例在各領域和類別上的分布如表2所示。由表可見,目標數據集中有3個領域實例數目相同,學習領域受限于源數據集的實例分布,其實例分布沒有達到完全平衡,但總體比值由1∶10提升到了1∶3以上,極大地緩解了該領域的非平衡性。從整體上看,所提方法對正面和負面兩類情感的識別性能均有提升,這是以損失一定的平靜情感類別的識別準確率和召回率為代價的。大多數情況下ROC曲線值都有相應地提升,這也說明這種代價是值得的。

從情感分類加權平均指標上看,見表3,多領域實例遷移方法在Random Forest分類算法上取得了最好的實驗結果。由表可見,由于非平衡處理策略主要考慮的是照顧少數類分類結果,因此RF、SVM、NB等算法在Subsampling數據集上的識別指標略差于在Linux_QQ上的表現,而這些方法在SMOTE和Immigration數據集上的性能均優于在Linux_QQ上的實驗結果。

表3 非平衡數據處理方法實驗結果(加權平均)

從少數類情感的分類指標上看,見表4、表5,針對少數類別,SMOTE和Immigration數據集表現穩定,4個分類算法均在其上提高了情感分類的性能。雖然Subsampling數據集在RF算法上有明顯的性能提升,但在其他算法上卻表現一般或者變差。同時,在對少數類分類的實驗中,多領域實例遷移算法生成的Immigration數據集表現最佳。

表4 非平衡數據處理方法實驗結果對比(負面)

表5 非平衡數據處理方法實驗結果對比(正面)

從平靜類情感的分類結果來看,見表6,各個分類器在沒有經過處理的非平衡數據Linux_QQ上大多表現最好。這驗證了其非平衡特性對多數類的傾向和過擬合問題。在Subsampling方法中,4個分類器的表現均最差,分析其原因為欠采樣造成了大量信息丟失。

綜合上述實驗結果可以得出,多領域實例遷移的策略在中文交互文本非平衡情感分類問題上表現良好,該方法有效緩解了交互文本的非平衡問題,使加權平均的接收者運行特征曲線指標提升了11.3%,其與Random Forest分類方法的組合取得了最好的表現。

表6 非平衡數據處理方法實驗結果對比(平靜情感)

4 總 結

針對交互文本中的非平衡問題,本文提出多領域實例遷移方法,分步實現了遷移實例的特征篩選、特征空間的一致性處理以及分領域實例遷移的新訓練集生成方法,適用于多個情感標簽分類問題。經對比實驗驗證,該方法在解決中文交互文本中的非平衡問題時效果較佳,有效地緩解了交互文本的非平衡性,提高了識別精度,為多領域且目標數據集和源數據集特征空間非同質情況下的實例遷移提供了一種解決思路。

本文所提出的多領域實例遷移方法在進行特征篩選時,主要對目標數據集和源數據集的共性特征通過信息增益的加和運算進行選擇。下一步工作可以考慮在特征選擇的過程中,充分發現目標數據集和源數據集中的分類知識相似度,提出基于知識的遷移學習算法,努力在識別性能上得到突破。

[1]OGURA H, AMANO H, KONDO M.Comparison of metrics for feature selection in imbalanced text classification [J].Expert Systems with Applications, 2011, 38(5):4978-4989.

[2]DAI Wenyuan, YANG Qiang, XUE Guirong, et al.Boosting for transfer learning [C]∥Proceedings of the 24th International Conference on Machine Learning.New York, USA:ACM, 2007:193-200.

[3]TIAN Feng, GAO Pengda, LI Longzhuang, et al.Recognizing and regulating e-learners’ emotions based on interactive Chinese texts in e-learning systems [J].Knowledge-Based Systems, 2014, 55:148-164.

[4]TIAN Feng, LIANG Huijun, LI Longzhuang, et al.Sentiment classification in turn-level interactive Chinese texts of e-learning applications [C]∥Proceedings of the 2012 IEEE 12th International Conference on Advanced Learning Technologies.Piscataway, NJ, USA:IEEE, 2012:480-484.

[5]BARANDELA R, VALDOVINOS R M, SNCHEZ J S, et al.The imbalanced training sample problem:under or over sampling? [C]∥Proceedings of the IAPR International Workshops on Structural, Syntactic, and Statistical Pattern Recognition.Berlin, Germany:Springer, 2004:806-814.

[6]CHAWLA N V.C4.5 and imbalanced data sets:investigating the effect of sampling method, probabilistic estimate, and decision tree structure [C]∥Proceedings of the International Conference on Machine Learning from Imbalanced Datasets:Ⅱ.New York, USA:ACM, 2003:1-8.

[7]SUN Yanmin, KAMEL M S, WONG A K C, et al.Cost-sensitive boosting for classification of imbalanced data [J].Pattern Recognition, 2007, 40(12):3358-3378.

[8]ZHOU Zhihua, LIU Xuying.Training cost-sensitive neural networks with methods addressing the class imbalance problem [J].IEEE Transactions on Knowledge and Data Engineering, 2006, 18(1):63-77.

[9]WANG Suge, LI Deyu, ZHAO Lidong, et al.Sample cutting method for imbalanced text sentiment classification based on BRC [J].Knowledge-Based Systems, 2013, 37:451-461.

[10]LIU Ying, LOH H T, SUN Aixin.Imbalanced text classification:a term weighting approach [J].Expert Systems with Applications, 2009, 36(1):690-701.

[11]HAN Jiawei, KAMBER M.數據挖掘概念與技術 [M].2版.范明, 孟小峰,譯.北京:機械工業出版社, 2006:216-217.

(編輯 武紅江)

An Unbalanced Emotion Classification Method for Interactive Texts Based on Multiple-Domain Instance Transfer

TIAN Feng1,2,LAN Tian1,2,CHAO Kuo-Ming3,WU Fan1,2, ZHENG Qinghua1,2,GAO Pengda1,2

(1.Shaanxi Key Laboratory of Satellite and Terrestrial Network Technology Research and Development, Xi’an Jiaotong University, Xi’an 710049, China; 2.School of Electronics and Information Engineering, Xi’an Jiaotong University, Xi’an 710049, China; 3.Department of Computer Science and Technology, Coventry University, Covertry CV1 2JH, UK)

A data level sampling method of target dataset-oriented instance transfer is proposed to solve the problem that the characteristics of interactive texts such as short sentences, missing parts of sentences and unbalanced class distribution in multiple-domains result in difficulties of high dimension, sparse eigenvalue in feature space and lack of positive instances.A function is employed to choose features for evaluating the instance similarity between source and target datasets.The function calculates the sum of the information gains of Top-N common features of these two datasets and their proportions in the sum.Moreover, a homogenization processing method is presented for feature spaces of the target dataset and the source dataset to overcome the feature spaces inconsistency between these two datasets.A method for selecting and transferring instances from a domain of source dataset to the corresponding one of target dataset is adopted to solve the problem of unbalanced class distribution in multiple domains.Experimental results show that the proposed method effectively alleviates the unbalanced problem in target dataset.The proposed method running with four classic classification methods, i.e.support vector machine, random forest, naive Bayes, and random committee, results in an 11.3% improvement in average of weighted receiver operating characteristic curve (ROC).

interactive texts; imbalanced sentiment classification; multiple domain; instance transfer

2014-09-11。 作者簡介:田鋒(1972—),男,副教授,博士生導師。 基金項目:國家自然科學基金資助項目(61472315);國家科技支撐計劃資助項目(2013BAK09B01);教育部“創新團隊發展計劃”資助項目(IRT13035);國家留學基金資助項目(20133018)。

時間:2015-02-10

http:∥www.cnki.net/kcms/detail/61.1069.T.20150210.0924.003.html

10.7652/xjtuxb201504011

TP391.1

A

0253-987X(2015)04-0067-06