數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘在中文產(chǎn)品評(píng)價(jià)中的應(yīng)用研究

宋偉偉 李權(quán)

【摘要】本文主要探討了決策支持系統(tǒng)的應(yīng)用結(jié)構(gòu)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘技術(shù)分析等技術(shù)方面的內(nèi)容。對(duì)數(shù)據(jù)挖掘在中文網(wǎng)絡(luò)產(chǎn)品評(píng)論中的應(yīng)用進(jìn)行了全面深入的探討，介紹了挖掘系統(tǒng)的通用框架，然后對(duì)產(chǎn)品特征提取、主觀句定位、用戶態(tài)度提取、態(tài)度極性判斷、挖掘結(jié)果等五個(gè)任務(wù)進(jìn)行了詳細(xì)闡述。顯然，數(shù)據(jù)挖掘在評(píng)論挖掘中的廣泛應(yīng)用對(duì)于網(wǎng)上購(gòu)物各方面的進(jìn)一步推進(jìn)具有借鑒價(jià)值。

【關(guān)鍵詞】網(wǎng)絡(luò)中文評(píng)論;數(shù)據(jù)挖掘;通用框架;應(yīng)用

1 引言

這篇文章旨在探討了數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘的定義和相關(guān)概念，提出了網(wǎng)絡(luò)產(chǎn)品評(píng)論挖掘的研究背景以及步驟和方法，并在用戶產(chǎn)品評(píng)論分析的基礎(chǔ)上，進(jìn)一步對(duì)產(chǎn)品特征提取、主觀句定位、用戶態(tài)度提取、態(tài)度極性判斷進(jìn)行分析，更全面的介紹了數(shù)據(jù)挖掘在各方面的應(yīng)用和作用。

2 數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的技術(shù)分析

2.1數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)會(huì)隨著時(shí)間而發(fā)生改變，包括數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)建、設(shè)計(jì)以及使用;縱向上所呈現(xiàn)的是數(shù)據(jù)倉(cāng)庫(kù)的管理體系，它最終是通過(guò)元數(shù)據(jù)對(duì)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)進(jìn)行了管理[1]。數(shù)據(jù)具有單向流動(dòng)性，在存儲(chǔ)過(guò)程中還具有層次性。數(shù)據(jù)經(jīng)由源數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，接著在分析處理后進(jìn)入用戶界面。

2.2 數(shù)據(jù)挖掘技術(shù)分析

基于數(shù)據(jù)倉(cāng)庫(kù)的通用數(shù)據(jù)挖掘系統(tǒng)的結(jié)構(gòu)是基于傳統(tǒng)的結(jié)構(gòu)框架以及數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)所分析出來(lái)的，適用于不同的數(shù)據(jù)挖掘。對(duì)網(wǎng)絡(luò)產(chǎn)品有用評(píng)價(jià)信息的挖掘分為用戶產(chǎn)品評(píng)論語(yǔ)料庫(kù)構(gòu)建、數(shù)據(jù)預(yù)處理、產(chǎn)品評(píng)論挖掘和挖掘結(jié)果分析四個(gè)步驟。

3 挖掘技術(shù)在產(chǎn)品評(píng)論中的應(yīng)用

產(chǎn)品評(píng)論挖掘是文本挖掘研究領(lǐng)域中最近幾年興起的研究熱點(diǎn)。以Web上發(fā)表的用戶產(chǎn)品評(píng)論作為挖掘?qū)ο螅捎米匀徽Z(yǔ)言處理技術(shù)，從大量文本中發(fā)現(xiàn)用于對(duì)該產(chǎn)品各方面性能的評(píng)價(jià)。目前產(chǎn)品評(píng)論挖掘分為產(chǎn)品特征提取、主觀句定位、用戶態(tài)度提取、態(tài)度極性判斷和分析挖掘結(jié)果五個(gè)子任務(wù)。

3.1 在產(chǎn)品特征提取中的應(yīng)用

在產(chǎn)品特征方面，生產(chǎn)廠商一般會(huì)給出關(guān)于相關(guān)產(chǎn)品各方面性能的說(shuō)明文件，但是產(chǎn)品評(píng)論挖掘一般不從這樣的說(shuō)明性文件中提取產(chǎn)品特征，主要原因之一是生產(chǎn)廠商和用戶對(duì)產(chǎn)品特征的關(guān)注度不一樣，用戶關(guān)注的是對(duì)于產(chǎn)品的相關(guān)的特征信息，而生產(chǎn)廠商提供的產(chǎn)品特征更多的專注于一些技術(shù)細(xì)節(jié)，對(duì)于這樣的細(xì)節(jié)用戶一般不感興趣。其次產(chǎn)品評(píng)論中對(duì)特征的描述是一個(gè)開(kāi)放性的問(wèn)題。產(chǎn)品特征提取是在分詞和詞性的基礎(chǔ)上，首先提取出全部的名詞，找出出現(xiàn)頻率比較高的名詞作為候選詞匯，之后通過(guò)人工定義，得到用戶關(guān)注產(chǎn)品特征集合F1，假設(shè)產(chǎn)品規(guī)格說(shuō)明書(shū)中提取的產(chǎn)品特征集合設(shè)定為F1，則最終產(chǎn)品特征集合為F=F1∪F2。

3.2 在主觀句定位中的應(yīng)用

判定主觀句的方法主要是查看語(yǔ)句中是否出現(xiàn)了主觀性特征，主觀性特征包括可以表示主觀性的動(dòng)詞、形容詞、名詞短語(yǔ)、文本模式或人工定義的詞匯表，主觀性特征的獲取分為人工定義和自動(dòng)獲取兩種方式。根據(jù)李存青給出的4種漢語(yǔ)評(píng)論常用語(yǔ)法模式基礎(chǔ)上[2]，單曉紅給出了9種語(yǔ)法模式：名詞+形容詞、名詞+動(dòng)詞、名詞+副詞+形容詞、名詞+副詞+動(dòng)詞、名詞+副詞+副詞+形容詞、名詞+副詞+副詞+動(dòng)詞、動(dòng)詞+名詞、副詞+動(dòng)詞+名詞、形容詞+的+名詞，在分詞和詞性標(biāo)注的基礎(chǔ)上，對(duì)于每一條產(chǎn)品評(píng)論句子Ri，構(gòu)造其語(yǔ)法模式集合[14]，來(lái)作為產(chǎn)品評(píng)論中主觀句定位的方法。

3.3 在用戶態(tài)度提取中的應(yīng)用

Kobayashi、Inui和Matsumoto 建立了形容詞的用戶態(tài)度詞匯表（比如：comfortable，tight，supportive）[3]。Li Zhuang從人工標(biāo)注的數(shù)據(jù)中尋找了1093 個(gè)詞匯作為正性詞匯，780個(gè)詞匯作為負(fù)性詞匯，無(wú)論評(píng)論語(yǔ)句中出現(xiàn)了正性還是負(fù)性詞匯，那么都將該詞匯作為表示了用戶態(tài)度的詞匯[8]。Bing Liu和Mingqing Hu提取句法分析樹(shù)中修飾作為產(chǎn)品特征的名詞和名詞短語(yǔ)的形容詞或副詞作為用戶態(tài)度[4]。Kim和Hovy不進(jìn)行句法分析而是直接定義一個(gè)窗口，將在窗口中出現(xiàn)的形容詞作為用戶態(tài)度和使用文本模式提取用戶態(tài)度，將出現(xiàn)在文本模式中的形容詞作為用戶態(tài)度。

3.4 在態(tài)度極性判定中的應(yīng)用

文本的態(tài)度分析分為詞語(yǔ)、短語(yǔ)、句子、篇章等多個(gè)層次，篇章層次的態(tài)度極性的判斷多用于基于情感的多文本摘要等領(lǐng)域，極性詞匯表的建立分為人工定義和自動(dòng)獲取兩種方法。Turney[5]采用互信息和信息檢索結(jié)合（PMI-IR）的方法判定詞匯極性，該方法假設(shè)同一篇文章中出現(xiàn)的詞語(yǔ)具有相同的情感極性方向，首先建立7個(gè)單詞構(gòu)成的正性詞匯集Pwords和7個(gè)單詞構(gòu)成的負(fù)性詞匯集Nwords，對(duì)需要進(jìn)行極性判斷的詞匯Uword，分別計(jì)算Uword 與Pwords和Nwords中的每個(gè)極性詞匯的互信息（PMI：Point Mutual Information），下面的公式采用IR方法計(jì)算兩個(gè)詞的互信息：

PMI（Word1，Word2）=Log2（）

小結(jié)

隨著網(wǎng)上交易信息的快速發(fā)展，伴隨著對(duì)數(shù)據(jù)分析工具的需求，近年來(lái)產(chǎn)品評(píng)論挖掘研究對(duì)數(shù)據(jù)挖掘技術(shù)的研究呈逐步增長(zhǎng)趨勢(shì)。本文主要探討了決策支持系統(tǒng)的應(yīng)用結(jié)構(gòu)、數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理技術(shù)、數(shù)據(jù)挖掘技術(shù)，分析了網(wǎng)絡(luò)產(chǎn)品評(píng)價(jià)挖掘步驟以及挖掘技術(shù)在產(chǎn)品評(píng)論挖掘過(guò)程中的應(yīng)用分析。

參考文獻(xiàn)：

[1]數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù).孫水華、趙釗林、劉建華編著.清華大學(xué)出版社.P5

[2]李實(shí)，葉強(qiáng)，李一軍，Rob Law.中文網(wǎng)絡(luò)客戶評(píng)論的產(chǎn)品特征挖掘方法研究.管理科學(xué)學(xué)報(bào)，2009，12（2）：142-151.

[3]Kobayashi N，Lida R，Inui K，etal.Opinion mining as extraction of attribute-value relation[C]//The 19th Annual Conference of JSAI，Japan，2005.

[4]Hu Mingqing，Liu Bing.Mining opinion features in customer reviews[C]//Proceedings of Nineteeth National Conference on Artificial Intelligience，San Jose，USA，2004.

[5]Kim S M，Hovy E.Automatic detection of opinion bearing words and sentences[C]，2005.