觀點挖掘綜述
2009-01-01 00:00:00王輝王暉昱左萬利
計算機應用研究 2009年1期
(1.天津科技大學 計算機科學與信息工程學院， 天津 300222； 2. 澳大利亞臥龍崗大學 信息學院， 澳大利亞 臥龍崗 2500； 3.吉林大學 計算機科學與技術學院， 長春 130012)
摘 要：互聯網包含著大量的非結構化文本信息，分析這些文本信息是非常重要的。觀點挖掘是當前科研人員研究的一個熱點，因為需要進行自然語言處理，觀點挖掘非常具有挑戰性，然而它有廣闊的應用前景。比如各公司總是希望能夠及時獲取公眾或者消費者對于它們產品和服務的評價，以便進一步改進這些產品和服務。為此，對觀點挖掘的各方面進行了較詳細的描述。其內容主要包括評價文本的挖掘、觀點搜索以及觀點作弊。
關鍵詞：觀點挖掘; 情感分類; 評論; 觀點搜索; 觀點作弊
中圖分類號：TP391 文獻標志碼：A
文章編號：10013695(2009)01002505
Survey on opinion mining
WANG Hui1， WANG Huiyu2， ZUO Wanli3
(1.College of Computer Science Information Engineering， Tianjin University of Science Technology， Tianjin 300222， China； 2.College of Information， University of Wollongong， Wollongong New South Wales 2500， Australian； 3.College of Computer Science Technology， Jilin University， Changchun 130012， China)
Abstract:The World Wide Web contains a huge amount of information in unstructured texts. Analyzing these texts is of great importance. Nowadays， opinion mining is becoming a research hot spot. This task is not only technically challenging because of the need for natural language processing， but also very useful in practice. For example， businesses always want to find public or consumer opinions on their products and services. Once getting such information， they can further improve their products and services. This paper elaborately interpreted almost all aspects of opinion mining on the Web. Those included aspects were three mining tasks of evaluative texts， opinion search and opinion spam.
Key words：opinion mining; sentiment classification; review; opinion search; opinion spam
0 引言
互聯網包含著大量的非結構化文本信息，分析這些文本信息是非常重要的，其重要程度甚至超過了提取互聯網中的結構化數據。這是因為非結構化的文本包含大量有價值的信息；這些文本涵蓋了幾乎所有的信息類型。
本文僅僅關注在互聯網上進行觀點挖掘時需要的技術與方法，因為涉及到自然語言處理技術，觀點挖掘不僅具有挑戰性，而且非常實用。觀點挖掘是當前科研人員研究的一個熱點，也是一個難點。舉例來說：大公司總是試圖及時獲取公眾或消費者對它們產品和服務的評價觀點；而潛在的消費者在享受一種服務或購買一種產品之前，也想知道當前消費者的這些評價觀點。另外，觀點挖掘可以為網頁中放置廣告提供有價值的信息。如果消費者在網頁中對某公司的產品給予了肯定的評價，那么在該網頁中放置該公司的產品廣告就是一個不錯的主意。
互聯網徹底改變了人們表達觀點的方式，用戶不僅可以在商業網站上表達自己對產品的看法，而且還可以在論壇、blogs等上面張貼自己的觀點。上述這種觀點表達方式被稱之為user generated content或user generated media。現在的觀點挖掘技術可以協助企業和個人高效地獲取這些信息。
1 評價文本的挖掘
評價文本（evaluative text）是指包含用戶觀點的文檔。評價文本的三種挖掘任務是：
a）情感分類。該方法將觀點挖掘看做文本分類問題，它將評價文本劃分為積極的和消極的兩大類別。該技術是基于文檔層次上的（documentlevel），因此它不能發現用戶喜歡與不喜歡的具體細節，例如用戶可能對一款數碼相機的外形設計滿意，但是對其電池的使用壽命卻不太滿意。
b)基于特征的觀點挖掘。該方法進入到語句層次（sentencelevel），以便能夠提取觀點的具體細節。例如，一個對象的哪些方面是消費者喜歡或者不喜歡的。當然這里的對象可以是一個產品、一種服務、一個人、一個組織等。例如“the battery life of this camera is too short”這句話，用戶評價的產品特征是該款相機的“battery life”，并且該用戶給出的結論（觀點）是消極的。
c）比較語句和關系挖掘。比較是另一種方式的評價，它直接將一個對象與另一個或幾個相似對象進行比較。例如，語句“the battery life of camera A is much shorter than that of camera B”。該方法試圖尋找上述類型的語句，并且提取包含在這些語句中的比較關系。
1.1 情感分類
給定一個評價文本集合D，情感分類器將該集合中的每一個文檔d∈D進行二元分類（positive或negative）。Positive意味著文檔表達的是積極的觀點，而negative則與之相反。情感分類的一個主要應用是它可以給人們提供關于某個對象的流行觀點。情感分類與傳統的基于主題的文本分類相似，但是又有很大的不同。在基于主題的文本分類中，與主題相關的詞非常重要；而在情感分類中，表明積極或消極觀點的詞最有用，如great、excellent、amazing、horrible、bad、worst等。
1.1.1 基于情感詞組的分類
基于情感詞組的分類方法由Turney[1]提出，它利用詞性標注（partofspeech tagging）方法對用戶的評論（review）進行分類。英語中常用的詞性類別包括noun、verb、adjective、adverb、pronoun、preposition、conjunction以及interjection。本文使用標準的Penn Treebank詞性標注方法。詞性標注就是對一個句子中的每一個詞給予一個適當的詞性標記。Santorini[2]在一個報告中對詞性標注給予了詳細的描述。Penn Treebank詞性標注的網址是http://www.cis.upenn.edu/~treebank/home.html。
文獻[1]中提供的基于情感詞組的分類算法由三個步驟組成：
a）提取一個句子中包含形容詞或副詞的詞組。如果兩個相鄰詞的詞性標注符合表1中的模式，那么就將它們作為詞組提取出來。其中：JJ指代形容詞（adjective）；RB指代副詞（adverb）；RBR指代比較副詞（adverb，comparative）；RBS指代副詞的最高級（adverb，superlative）；VB指代動詞（verb，base form）；NN指代名詞單數或物質名詞（noun、singular或mass）；NNS指代復數名詞（noun、plural）；VBD指代動詞的過去式（verb，past tense）；VBN指代動詞的過去分詞（verb，past participle）；VBG指代動名詞或動詞的現在分詞（verb，gerund或present participle）。例如“this camera produces beautiful pictures”一句，因為詞組“beautiful pictures”符合表1的模式1，所以它將被提取出來。
表1 提取評論中兩詞詞組的詞性標簽模式
第1個詞第2個詞第3個詞(not extracted)
1JJNN或NNSanything
2RB、RBR或RBSJJnot NN nor NNS
3JJJJnot NN nor NNS
4NN或NNSJJnot NN nor NNS
5RB、RBR或RBSVB、VBD、VBN或VBGanything
b）使用逐點互信息（pointwise mutual information）計算方法估計抽取詞組的語義傾向性，如式（1）所示。
PMI(term1，term2)=log2(Pr(term1∩term2))/
（Pr(term1)Pr(term2)）
(1)
這里Pr(term1∩term2)是詞term1與term2同時發生的概率。一個詞組的觀點語義傾向性（semantic opinion orientation，SO）是基于該詞組分別與“excellent”和“poor”的逐點互信息計算得到的，如式（2）所示。
SO(phrase)=PMI(phrase，\"excellent\")-PMI(phrase，\"poor\")(2)
c)給定一個評論，該算法計算評論中所有提取詞組的平均SO值。如果該值大于零，那么推薦該評論；否則不推薦。
1.1.2 使用傳統的文本分類方法進行情感分類
情感分類最簡單的方法是將其看做基于主題的文本分類問題，這樣就有很多算法可以使用，如naive Bayesian、SVM、kNN等。Pang等人[3]對該方法在由兩個類別組成的電影評論領域進行了實驗，結果表明借助于unigram，naive Bayesian和SVM都能取得較好的分類效果。
1.1.3 使用值函數進行情感分類
使用值函數進行情感分類的算法由Dave等人[4]提出，它由兩個步驟組成：
a）使用式（3）對訓練集中的每個單詞（term）進行打分：
score(ti)=(Pr(ti｜C)-Pr(ti｜C′))/(Pr(ti｜C)+Pr(ti｜C′))(3)
其中：ti是一個詞；C是一個類；C′為C的補集；Pr(ti｜C)是詞ti在類別C中出現的條件概率，其值等于單詞ti在類別C的評論中出現的次數除以所有單詞出現的總次數，其取值為[-1，1]。
b)根據式（4）決定一個新文檔di=t1…tn所屬的類別：
class(di)=C eval(di)＞0C′ otherwise
(4)
其中eval(di)=∑jscore(tj)。
總之，文檔層次上的情感分類方法的主要優點是它能夠提供關于一個對象、一個話題或事件的流行觀點。其缺點也是明顯的：不能給出人們喜歡或不喜歡的具體細節；不能將其應用于非評論領域，如論壇、blogs等，盡管它關注的焦點不是對產品進行評論，但是仍然可能包含一些表達觀點的語句。
1.2 基于特征的觀點挖掘
基于特征的觀點挖掘包括兩方面的內容：
a)識別并提取評論者借以表達觀點的產品特征（product feature）。例如“the picture quality of this camera is amazing”一句的產品特征是“picture quality”。
b)決定評論者對該特征的觀點是積極的（positive）、消極的（negative）還是中立的（neutral）。
一個對象可以用一個有限的特征集合表示，F={f1，f2，…，fn}，而其中的每一個特征fi∈F可以用一組有限的詞或詞組Wi表示，W={W1，W2，…，Wn}。給定一個評價文檔集合D，有三種類型的實際問題需要解決：
問題1 F和W均未知（難解決）。
問題2 F已知但W未知（相對容易解決）。
問題3 W已知（當然F也已知）（最容易解決）。
1.2.1 對象特征提取
當前對象特征提取的研究工作主要是針對在線產品評論展開的。互聯網上主要有三種評論格式：
格式1 Pros、Cons以及詳細的評論，參見圖1。
格式2 Pros和Cons，參見圖1。
格式3 自由的格式，參見圖1。
My SLR is on the shelf
by camerafun. Aug 08’05
Pros: Great photos， easy to use， very small
Cons: Battery usage， included memory is stingy
I had never used a digital camera prior to purchasing this Canon A70. I have always used a SLR … Read the full reviewAn example of a review of format 1.
“It is a great digital still camera for this century”
Pros:
It’s small in size， and the rotatable lens is great. It’s very easy to use， and has fast response from the shutter. The LCD…
Cons:
It almost has no cons. It could be better if the LCD is bigger and it’s going to be best if the model is designed to a smaller size.
An example of a review of format 2.
Great Camera， Jun 3， 2004
Reviewer: jprice from Atlanta， Ga.
I did a lot of research last year before I bought this camera…It
kinda hurt to leave behind my beloved …
An example of a review of format 3.
圖1 三種評論格式樣例
1)提取格式1的Pros和Cons中的特征
文獻[5， 6]中提供的算法包括下列三個步驟：
a）準備訓練數據。它包括四個子步驟：
(a)POS標注和序列生成。算法首先執行POS標注，然后生成序列。例如語句片斷“included memory is stingy”經過該步驟處理后變為：〈{included， VB}{memory， NN}{is， VB}{stingy， JJ}〉。
(b)用{$ feature， 〈tag〉}代替實際的特征。代替之后上例變為：〈{included， VB}{$feature， NN}{is， VB}{stingy， JJ}〉。
(c)使用ngram方法將長序列變為短序列。n=3時，上述長序列變為下面兩個3gram序列：〈{included， VB}{$feature， NN}{is， VB}〉〈{$feature， NN}{is， VB}{stingy， JJ}〉。
(d)執行word stemming。
b）LSR（label sequential rule）挖掘。一個規則的實例如下所示：
〈{easy， JJ}{to}{*， VB}〉 →
〈{easy， JJ}{to}{$feature， VB}〉
規則右邊的部分通常被稱之為語言模型。
c）特征提取。將一個新評論中的語句片斷與語言模型進行匹配，提取與$feature 相對應的產品特征。
另外，提取完成之后還有幾個重要問題需要處理：
(a）將隱性特征指示器轉換為隱性特征。例如形容詞“heavy”通常描述一個對象的“weight”特征。
（b）將同義詞進行分組。
（c）決定特征提取的粒度。
2）提取格式2和3評論中的特征
盡管針對格式1的算法也可以應用于格式2和3，但是初步的實驗結果表明，上述這些算法不是太有效。因為一個完整的語句結構更復雜并且包含大量的無關信息。下面描述一個顯性特征為名詞和名詞詞組的非監督學習方法，該算法[7]需要大量的評論，它由兩個步驟構成：
a）發現頻繁的名詞和名詞詞組。
b）利用情感詞發現非頻繁特征。
例如下面的語句：
The pictures are absolutely amazing.
假設“picture”是一個頻繁特征，而“amazing”是一個表示肯定語氣的詞語（觀點），那么“software”可能被作為特征從下列語句中提取出來：
The software is amazing.
因為上述兩個語句符合相同的語言模型，并且“software”在第二個句子中也是名詞。
1.2.2 觀點傾向性分類
格式2和3的評論中包含產品特征的語句，需要將它們分類到positive、negative以及neutral類別中。下面描述兩個主要的分類技術[7]：
a）使用情感詞和詞組。
b）使用1.1節描述的情感分類方法，然而包含否定語氣（negation）的語句以及以“but”“however”等開始的從句需要特殊處理。
1.3 比較語句和關系挖掘
比較語句通常借助于形容詞或副詞的比較級或最高級形式進行表達，它主要包括以下四種類型：
a）Nonequal gradable comparisons。例如句子“the Intel chip is faster than that of AMD”。
b）相等比較（equalitive comparisons）。
c）最高級比較（superlative comparisons）。例如句子“the Intel chip is the fastest”。
d）非等級比較（nongradable comparisons）。例如句子“coke tastes differently from pepsi”。
其中前三種類型為等級比較。
給定一個評價文本d，比較挖掘由以下兩個任務組成：
a）識別d中的比較段落或語句，然后將其分配到不同的類別中。
b）從上述得到的語句中提取比較關系。這涉及到提取實體、實體的被比較特征以及比較關鍵詞。等級形容詞（gradable adjective）的比較關系可以表示為(〈relationWord〉〈features〉〈entity1〉〈entity2〉〈type〉)。其中type取值為nonequal gradable、equalitive或superlative。
本文只討論等級比較語句。
1.3.1 等級比較語句的識別
比較語句通常擁有一個比較關鍵詞，這些關鍵詞包括：
a)形容詞和副詞的比較級（POS標簽分別為JJR和RBR），如more、less、better、longer和er結尾的詞。
b）形容詞和副詞的最高級（POS標簽分別為JJS和RBS），如most、least、best、tallest和est結尾的詞。
c）Same、similar、differ以及那些表示相等關系的詞，如same as、as well as等。
d)其他的詞，如favor、beat、win等。
上述這些詞性標簽為JJR、RBR、JJS和RBS的詞，自身并不作為關鍵詞使用，只是使用它們對應的標簽。這里有一個特殊情況：more、less、most以及least這四個詞被直接作為關鍵詞使用。這是因為這四個詞的用法多種多樣，將它們作為關鍵詞使用，可以使得分類系統能夠捕捉到它們各自的使用模式。
識別過程的四個步驟如下：
a)訓練數據的準備。為了發現環繞上述關鍵詞的語言模式，以這些關鍵詞為支點（pivot）產生序列數據。
b)CSR（class sequential rule）的生成。
c)構建分類器。一個CSR表明當一個語句包含序列模式X時它是比較語句的條件概率，因而這些CSR可以被作為分類器使用。有兩種構建分類器的途徑：將所有的CSR作為一個分類器；使用CSR作為屬性產生一個數據集，然后在其上訓練一個分類器，如樸素貝葉斯分類器。
d)將比較語句分配到三個類別nonequal gradable、equalitive以及superlative中。
1.3.2 比較關系的抽取
該工作由Jindal等人[8]完成，它基于如下假設：
a)一個語句只包含一個關系。
b)實體或特征是名詞和代詞。
Jindal等人[8]提出的算法由下面三個部分組成：
a)序列數據的生成。例如語句“Intel/NNP is/VBZ better/JJR than/IN AMD/NN”。專有名詞Intel和AMD分別被標記為$entity1和$entity2，這兩個標簽分別被作為支點（半徑為4）以產生序列數據。對于語句中的每一個標簽，均對應地生成一個序列，并將其放入序列數據庫中。為了跟蹤所產生的模式中各項與支點之間的距離，特意加入如下位置詞：
(a)Distance Words = {l1，l2，l3，l4，r1，r2，r3，r4}。其中：li表示在支點的左邊第i項；ri表示在支點的右邊第i項。
(b)#start和#end兩個特殊詞分別表示語句的開始和結束。
舉例：比較語句“Canon/NNP has/VBZ better/JJR optics/NNS than/IN Nikon/NNP”中$entity1為“Canon”，$feature為“optics”以及$entity2為“Nikon”。與這兩個實體和特征對應的序列如下所示：
〈{#start}{l1}{$entity1， NNP}{r1}{has， VBZ}{r2}{better， JJR}{r3}{$feature， NNS}{r4}{thanIN}〉
〈{#start}{l4}{$entity1， NNP}{l3}{has， VBZ}{l2}{better， JJR}{l1}{$feature， NNS}{r1}{thanIN}{r2}{$entity2，NP}{r3}{#end}〉
〈{has， VBZ}{l4}{better， JJR}{l3}{$feature， NNS}{l2}{thanIN}{l1}{$entity2， NNP}{r1}{#end}〉
說明：“than”關鍵詞與其POS合并作為一項。
b）LSR的產生。一個LSR規則的例子如下所示：
〈{*， NN}{VBZ}{JJR}{thanIN}{*， NN}〉 →
〈{$entity1， NN}{VBZ}{JJR}{thanIN}{$entity2， NN}〉
c）關系抽取。利用上述LSR規則，可以從下列語句中標記并提取“coke”作為entity1、“pepsi” 作為entity2。該句沒有feature。RelationWord是判定一個句子為比較語句的關鍵詞，在該例中為“better”。
〈{coke， NN}{is， VBZ}{definitely， RB}{better， JJR}{thanIN}{pepsi， NN}〉
2 觀點搜索
觀點搜索系統使得用戶能夠查找關于一個對象的評價觀點。典型的觀點搜索查詢包括以下兩種類型：
a)搜索關于一個特定對象或對象特征的觀點。
b)搜索一個人或組織關于一個特定對象或者對象特征的觀點。
對于第一種查詢類型而言，用戶只要簡單給出對象和/或對象的特征即可；而對于第二種類型的查詢，用戶需要給出觀點擁有者的名字和對象的名字。顯然，對于這兩種類型的查詢，簡單地應用關鍵詞匹配技術是不合適的，因為一個文檔可能含有查詢詞但它未必包含評論觀點。
對于許多具體應用領域而言，如果能夠顯示觀點隨時間變化的趨勢將是非常有用的。另外，與觀點搜索相似，比較搜索也是非常有價值的。例如，為了注冊一個免費郵箱，用戶可能想知道哪一種郵箱是最好的，這時如果他能夠得到當前用戶對Hotmail、Gmail以及Yahoo mail等的特征比較信息，那么這將對他產生一個巨大的幫助作用。
3 觀點作弊
觀點作弊是指那些不誠實的甚至是邪惡的觀點，其目的在于：
a)促銷某些產品或服務。
b）損害其競爭對手的產品或服務的名聲。
這兩種行為分別被稱之為hype spam和defaming spam。
可以使用手工的或自動的方式進行作弊。手工作弊不是一件容易的事，因為有些探測方法可以在多個評論網站中識別出近似重復的評論。相反，自動的作弊方式可能更容易一些，因為這可以借助一些語言模板自動進行。
3.1 作弊隱藏技術
作弊者分為兩種類型：individual spammer和group spammer。為了避免被探測到，作弊者可能采取多種預防措施。下面分別列出這兩種類型的作弊者經常使用的作弊手段。
1）Individual spammer
a)通過給那些自己不關心的產品合理的評論和可以接受的等級（rating），評論者慢慢地建立起自己的聲望，這樣他們就會成為值得信賴的評論者；然而這些人可能對自己真正感興趣的產品給出虛假的評論。
b)作弊者選擇在不同的時間使用多個userid在同一個站點進行注冊，然后以這些userid的名義發表多個虛假的評論，這樣他們給出的評論或等級就不會以孤立點（outlier）的形式出現。
c)作弊者給出了一個合理的高等級，但是卻發表消極的評論。
2）Group spammer
a)小組成員對同一種產品都給予評論，以此降低等級差異（deviation）。
b)當新產品剛剛推出時，一個小組的所有成員選擇大體相同的時間發表評論，以此達到控制該產品的目的。
c)小組成員以隨機的或者無規律的時間間隔發表評論，以此達到隱藏評論峰值（spike）的目的。
當然還有其他的一些作弊隱藏技術，限于篇幅在此不一一詳述。
3.2 作弊探測
作弊檢測對于保障觀點挖掘和/或搜索系統提供的信息質量起著至關重要的作用。作弊探測主要有三種方法。
1）以評論為中心的作弊探測
該方法是基于評論進行探測的。一篇評論主要由兩部分組成，即等級（rating）和內容（content）。鑒于此可以采用四種策略：比較內容的相似度、發現等級和內容的孤立點、比較多個站點之間的平均等級值以及查明等級的峰值。
2）以評論者為中心的作弊探測
該方法假定在一個特定的網站上，每一個評論者的所有評論是可以得到的。在此假設條件下，可以監視早期的評論者、查明早期的補救行為、比較同一個評論者對來自不同品牌的產品的評論等級以及比較評論發表的時間。
3）以服務器為中心的作弊探測
如果一個用戶使用同一個IP地址在同一個網站上進行多次注冊，并且他對同一個產品發表了若干個評論，或使用多個userid對若干個產品發表了評論，那么該用戶是作弊者的可能性就非常大。
4 結束語
互聯網包含著大量的非結構化文本信息，分析這些文本信息是非常重要的，其重要程度甚至超過了提取互聯網中的結構化數據。本文關注的焦點是在互聯網上進行觀點挖掘時需要的技術和方法。
通常，觀點挖掘既可以在文檔層次上進行，又可以在語句層次上開展，這兩種策略各有利弊。觀點作弊是一個值得特別關注的問題，如果沒有有效的作弊檢測手段作為保證，那么觀點挖掘和/或搜索系統提供的信息就失去了參考價值。
當前，觀點挖掘在國內外才剛剛起步，有很多實際問題需要解決。例如有關代詞解析（pronoun resolution）的問題，像語句“I have a Canon S50 camera purchased from Amazon. It takes great photos.”，這里第二個語句中的“it”代表什么? 當然人類知道“it”代表的是“Canon S50 camera”，但是怎樣讓計算機自動發現這些問題的答案呢？這是一個非常有挑戰性的問題，本文爭取在這些問題上有所突破。
參考文獻：
［1］TURNEY P. Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews[C]//Proc of the 40th Annual Meeting of the Association for Computational Linguistics. Philadelphia: Association for Computational Linguistics， 2002:417424.
[2]SANTORINI B. Partofspeech tagging guidelines for the Penn Treebank project[M]. Pennsylvania: ACM Press， 1990.
[3]PANG Bo， LEE L，VAITHYANATHAN S. Thumbs up? Sentiment classification using machine learning techniques[C]//Proc ofEMNLP’02.Philadelphia: Association for Computational Linguistics， 2002:7986.
[4]DAVE K， LAWRENCE S， PENNOCK D. Mining the peanut gallery:opinion extraction and sentiment classification of product reviews[C]//Proc of the 12th Intl World Wide Web Conference. [S.l.]: ACM Press， 2003: 519528.
[5]HU Minqing， LIU Bing. Opinion feature extraction using class sequential rules[C]//Proc of the Spring Symposium on Computational Approaches to Analyzing Weblogs. Stanford:[s.n.]， 2006:1121.
[6]LIU Bing， HU Minqing， CHENG Junsheng. Opinion observer: analyzing and comparing opinions on the Web[C]//Proc of the 14th Intl World Wide Web Conference. New York: ACM Press， 2005:342351.
[7]HU Minqing， LIU Bing. Mining and summarizing customer reviews[C]//Proc of ACM SIGKDD Intl Conference on Knowledge Discovery and Data Mining. New York: ACM Press， 2004:168177.
[8]JINDAL N， LIU Bing. Mining comparative sentences and relations[C]//Proc of National Conference on Artificial Intelligence. Boston: AAAI Press， 2006:101113.
