改進(jìn)互聯(lián)網(wǎng)電商評論特征詞典的輿情觀點分類

房滿林+董超俊

摘 要：電商評論數(shù)據(jù)往往都是以短文本（在電商領(lǐng)域這種用戶的聲音稱為源聲）形式存在，它在一定程度上會影響商家的知名度，因此對源聲的輿情分析尤為重要。源聲分類技術(shù)的出現(xiàn)正是為了滿足商家的這種需求，針對源聲特征稀疏以及觀點多樣性特征點，而且輿情觀點錯誤識別的問題，提出一種改進(jìn)互信息的方法實現(xiàn)特征約簡，從而創(chuàng)建一個特征詞典集合，對源聲進(jìn)行觀點分類，并作了大量實驗驗證該思想的可靠性。

關(guān)鍵詞：特征提取；源聲；詞典集合；互信息

引言

本文將深入闡述在互聯(lián)網(wǎng)電商評論短文本信息分類領(lǐng)域的研究，構(gòu)建一個特征詞組-分類的map（k，v）集合，觀點是消費者從自身立場出發(fā)對某產(chǎn)品的看法，由于產(chǎn)品領(lǐng)域的多樣性，產(chǎn)品各個領(lǐng)域都會成為評價的對象，因此同一條源聲會有多個觀點，可以將源聲以分隔符進(jìn)行拆分，短文本通過分隔符由內(nèi)向外并行分類方法，從而避免錯誤輸出，并針對此多分類問題，構(gòu)建多映射的hash map集合。

1 短文本結(jié)構(gòu)

1.1 源聲組成

在對源聲觀點識別時常常將源聲拆分3種布局方式：“產(chǎn)品”+“評價”的形式；“領(lǐng)域”+“評價”的形式被稱為二元觀點；“產(chǎn)品”+“領(lǐng)域”+“評價”被稱為三元觀點。拆分示意圖如下所示：

1.2 源聲觀點輸出

VR眼睛這款產(chǎn)品涉及的領(lǐng)域細(xì)分有85種。進(jìn)行源聲分類時，如上述源聲特征“很差”和“外觀”兩個特征項構(gòu)成的單詞序列連續(xù)出現(xiàn)時，機(jī)器很容易理解成“很差的外觀”，造成分類觀點錯誤的輸出。對于源聲“VR眼鏡體驗效果真心很差，可是外觀確實漂亮”，很容易錯誤輸出觀點如圖2所示：

2 特征選擇與特征約簡

特征選擇是在不丟失文本信息的情況下保留那些最能夠代表文檔類別的特征，往往對電商評論數(shù)據(jù)進(jìn)行觀點分類時，起關(guān)鍵作用的不到3個關(guān)鍵詞，本文提出一種改進(jìn)互信息方法提取組成源聲文本的前3個強(qiáng)相關(guān)特征分別代表“領(lǐng)域”“前綴否定”“評價”。這樣可以提高文本分類精度同時減輕計算量和內(nèi)存的消耗。在構(gòu)建類標(biāo)簽特征詞典時，本文提出一種改進(jìn)互信息方法對源聲文本進(jìn)行特征提取。

2.1 特征選擇

特征詞和類別的互信息可表示為特征詞和類別同時出現(xiàn)的概率與特征詞和類別各自分別出現(xiàn)的概率的比值取對數(shù)，主題詞和類別的互信息可表示為主題詞和類別共同出現(xiàn)的頻率與特征詞和類別各自分別出現(xiàn)的頻率的比值取對數(shù)[1]，計算公式：

p（wr）表示主題詞出現(xiàn)的頻率，p（ck）表示類別出現(xiàn)的頻率，p（wr，ck）表示主題詞wr與類別ck共同出現(xiàn)的頻率[2]。

2.2 特征約簡

本文提出一種在給定類標(biāo)簽條件下兩兩不相關(guān)特征詞之間的改進(jìn)MI的計算方式：

（2）

（3）

式中wd代表領(lǐng)域詞，wp代表前綴否定、we代表樣本的評價特征詞，p（wd，we）表示代表源聲文本觀點的“領(lǐng)域”和“評價共同出現(xiàn)的概率”，p（wd|ci）和p（we|ci）分別代表在類標(biāo)簽ci條件下領(lǐng)域特征詞wd和評價詞we出現(xiàn)的概率。p（wd，wp，we）表示代表源聲文本觀點的3個特征詞“領(lǐng)域”“前綴否定”“評價”在該篇文本中共同出現(xiàn)的概率。

3 改進(jìn)特征詞典構(gòu)建

Bag of Words算法稱為詞袋模型，它首先假設(shè)組成文本的每個特征詞是相互獨立的，不關(guān)心每個特征詞出現(xiàn)的順序，將源聲當(dāng)做多個特征詞組成的集合[3]。由于源聲觀點的多樣性以及觀點的誤分性，利用Bag of Words容易產(chǎn)生錯誤輸出。而map鍵值對特性易于理解方便存儲，領(lǐng)域與評價強(qiáng)關(guān)聯(lián)的詞組組成一個map集合，即map（key，value），其中value表示對應(yīng)類標(biāo)簽，即value={v1，v2，…vn}，其中v代表鍵值類標(biāo)簽。

3.1 詞典訓(xùn)練階段

對每一個類別構(gòu)建一個類別詞典，如輿情觀點分類是“外觀不好看”，則經(jīng)過特征篩選組成該類標(biāo)簽的詞典是dictionary1={“色澤”，“外觀”，“外表”，“沒有”，“不”，“好看”，“靚麗”，“上檔次”，“鮮艷”，“精美”}，將源聲經(jīng)過特征提取后經(jīng)過每個類標(biāo)簽匹配，若出現(xiàn)該特征詞用“1”表示，否則用“0”表示，對于有些源聲多個類別，對每個鍵值使用hash函數(shù)，采用鏈?zhǔn)酱鎯ΨㄟM(jìn)行存儲。舉例：源聲“這款VR外觀不太好看”，根據(jù)dictionary1匹配到當(dāng)前類別向量是Vector=[0，1，0，0，1，1，0，0，0，0]，將匹配到的向量作為map集合的key值存儲[4]。

3.2 分類階段

訓(xùn)練好的詞典存儲在HDFS分布式文件集群上，對每個文件分配一個Reduce作業(yè)，以測試樣本為輸入，每條樣本分詞后與詞典集合進(jìn)行匹配，采用分布式可對多個樣本集進(jìn)行并行的測試[5]。

3.3 算法偽代碼（見圖3）

4 實驗

訓(xùn)練樣本數(shù)據(jù)集和測試樣本數(shù)據(jù)集是在各大電商網(wǎng)站等渠道經(jīng)過爬蟲抓取的VR眼鏡數(shù)據(jù)集，主要包含從互聯(lián)網(wǎng)電商上抓取評論數(shù)據(jù)，在源聲去噪后，提取對訓(xùn)練樣本庫有效的源聲信息，最后根據(jù)人工判讀來確認(rèn)源聲樣本庫的分類標(biāo)簽。

本文同樣使用覆蓋率，準(zhǔn)確率，其中準(zhǔn)確率和覆蓋率分別定義了兩個不同側(cè)重點的分類精度，準(zhǔn)確率代表組合分類器正確輸出的源聲觀點與已知組合模型輸出的比值，覆蓋率代表所有實際屬于該類的源聲中，有多大比率被組合模型準(zhǔn)確分到這個類中。為避免出現(xiàn)查全率或查準(zhǔn)率其中一端為1而另一端為0的極端情況出現(xiàn)，本文運用了F1測度值對模型精度的整體評價[6]，公式如下：

（6）

將采集到16400條的電商數(shù)據(jù)集按照3：1比例作為訓(xùn)練樣本和測試樣本，模型觀點輸出的結(jié)果文件以.csv文件存儲，匯總輸出觀點量化指標(biāo)。表1給出了訓(xùn)練樣本經(jīng)過map特征詞典集合觀點輸出匯總結(jié)果：

表2給出了測試樣本經(jīng)過map特征詞典集合觀點輸出匯總結(jié)果：

5 結(jié)束語

本文將爬取下來互聯(lián)網(wǎng)電商評論作為數(shù)據(jù)集，對這種短文本數(shù)據(jù)進(jìn)行觀點分類，主要工作有：針對觀點錯誤分類的原因進(jìn)行了闡述；在處理源聲觀點分類時，源聲數(shù)據(jù)首先經(jīng)過數(shù)據(jù)預(yù)處理，去除沒有觀點的噪聲數(shù)據(jù)并分析每條源聲X拆分后的形式；提出了一種改進(jìn)源聲特征選擇以及特征提取方法；構(gòu)建了文本特征詞典同時構(gòu)建n個map（k，v）分類集合用于與詞典匹配從而進(jìn)行分類。

參考文獻(xiàn)

[1]鄧彩鳳.中文源聲分類中MI特征選擇方法研究[D].成都：西南大學(xué)，2011.

[2]郭泗輝，樊興華.一種改進(jìn)的貝葉斯網(wǎng)絡(luò)短文本分類算法[J].廣西師范大學(xué)學(xué)報（自然科學(xué)版），2010，28（3）：140-143.

[3]Uijlings，J.R R，Smeulders，et al.Real-time bag of words，approximately[J].Proc.acm Int'l Conf.image&Video Retrieval，2009（3）：375.

[4]劉紅光，魏小敏.Bag of Words算法框架的研究[J].艦船電子工程，2011，31（9）：125-128.

[5]熊傳宇.基于Map-Reduce的海量數(shù)據(jù)約簡算法研究[D].武漢：武漢理工大學(xué)，2013.

[6]宋楓溪，高林.文本分類器性能評估指標(biāo)[J].計算機(jī)工程，2004，30（13）：107-109.