基于模板的中文人物評論意見挖掘

摘 要:使用基于模板的方法對中文人物評論語句進行意見元素挖掘，提取出句中所含的評價對象、評價詞語，并分析出意見的傾向性。進行了中文人物評論語句的自動意見挖掘實驗，實驗中首先建立了一定數量的熟語料庫，然后從語料庫中生成意見模板，最后用生成的模板來提取語句的意見元素。實驗獲得了72.55%的F-score，表明該算法是有效的。

關鍵詞:意見挖掘; 觀點抽取; 基于模板

中圖分類號:TP391 文獻標志碼:A

文章編號:1001-3695(2010)03-0833-04

doi:10.3969/j.issn.1001-3695.2010.03.007

Pattern-based opinion mining on figures comments in Chinese

LI Juan1，2， ZHANG Quan2， JIA Ning1，2， ZANG Han-fen1，2

(1.Graduate School， Chinese Academy of Sciences， Beijing 100039， China; 2.Institute of Acoustics， Chinese Academy of Sciences， Beijing 100190， China)

Abstract:Using pattern-based method to mine opinions from Chinese figures comments， extract the object，opinion terms，and determine the orientation of the opinion. This paper carried out the experiment to automatically mine the opinions from Chinese figures comments. First established the training corpus， then extracted patterns from the corpus， then used the patterns to extract the opinion elements. The experiment result of 72.55% F-score shows that the method is effective.

Key words:opinion mining; opinion extracting; pattern-based

0 引言

意見挖掘是近年來自然語言處理領域研究中發展起來的一個新方向，意見挖掘研究的不是文檔所談論的話題，而是它所表達的傾向性觀點，即肯定/否定或者褒揚/貶損性意見。意見挖掘的應用范圍很廣泛，針對產品的意見挖掘可以幫助用戶作出理智的購買決定，針對人物的意見挖掘可以監測輿論傾向或民眾意向等。

意見挖掘可以在三個層面上進行，即詞語、語句和篇章，如圖1所示。詞語級的研究[1，2]可以判斷出詞語的語義傾向性，然后在此基礎上可以挖掘語句中的意見元素，也可以判斷篇章的情感傾向。語句級的研究既可以獨立應用，也可以作為篇章級的研究基礎，語句級的研究目標是提取出語句中的意見元素[3]，如評價對象、評價詞語、意見傾向等，研究的結果可以為人們提供具體而詳細的意見內容，也可以提供宏觀的結論，具有重要的價值。本文的研究就是提取出語句中的意見元素。

目前語句級的意見挖掘研究成果較少，已有的語句意見挖掘方法主要是對句子進行句法分析，然后在此基礎上進一步挖掘意見信息。比較有代表性的是上海交通大學的婁德成等人[4，5]提出的方法:首先采用依存語法分析器對句子進行句法分析，然后再對分析出的主謂結構、動賓結構等進行分析處理，最后提取出句中的意見信息。從研究涉及的領域來看，現有的意見挖掘都是針對產品，如數碼相機、汽車、筆記本電腦等，研究成果對于其他的領域則不適用。此外還有基于統計分析的意見挖掘方法[6]、統計分析與語義分析相結合的方法[7]等。

考慮到依存語法的分析能力有限，以此為基礎進行的意見挖掘也會受到句法分析的限制和影響，因此本文嘗試了基于模板的方法;同時，面向人物的意見挖掘也具有重大的價值，研究的結果將對輿情監測等社會生活產生較大影響，因此本文選擇人物評論語句為對象進行意見挖掘。本文首先建立了人物評論語料庫，并對其中的意見元素進行了標注，構成了熟語料庫，再從熟語料庫中提取意見模板，最后用模板提取出未標注的語句中的意見元素。

1 算法設計

1.1 整體設計

本文的基于模板的意見挖掘系統分為兩大模塊，即模板庫生成模塊和意見元素挖掘模塊。系統模塊如圖2所示。

模板庫生成模塊的目的是將已標注的熟語料庫轉換為結構化的模板庫。模塊首先從熟語料中提取出包含模板所需信息的工作子串，然后將工作子串轉換為候選模板，并對候選模板進行統計和過濾，最后形成結構化的模板并存儲為模板庫。意見元素挖掘模塊的目的是對未標注的測試語句進行分析，得到句子中的人物評價的各個意見元素(也簡稱為意見元素)。模塊首先獲取句子的工作子串，提取子串中的部分特定詞語作為檢索關鍵字，并用關鍵字在模板庫中檢索模板。如果檢索到相應的模板，則嘗試將模板匹配到句子中，匹配不成功則挖掘失敗;若匹配成功，通過對意見元素的具體分析可得到意見挖掘結果。

1.2 模板庫生成

1.2.1 模板設計

雖然自然語言在具體的描述上表現得非常靈活，但是仍然有跡可循。這個規律可以是句子的語法結構，也可以是句子的語義結構，如主語—謂語—賓語的結構模式就是一種規律，或稱為模板。這些模板與具體的句子之間形成了一種映射關系，熟語料庫中的句子和未標注的生語料都通過某些規則映射到模板上，并通過這些模板形成相互的對應關系，從而達到對未標注語料進行意見挖掘的目的。因此，模板是整個系統中最重要的一環。

本文認為模板設計應遵循以下原則:a)模板必須包含熟語料的句子中實際出現的意見元素;b)通過模板應能較為方便準確地確定意見元素在句子中的位置;c)模板要有較好的適應性，能夠適應句子在非主要內容上的變化。

這三點原則分別從不同方面對模板進行了限定。原則a)指出了模板所要包含的基本內容，也就是熟語料句子中實際出現的意見元素。模板的目的就是提取意見元素，因此意見元素是模板最主要的成分。原則b)強調的是模板的準確性，同樣的意見元素在不同結構的句子中可能以不同的分布出現，要準確定位意見元素，模板中必須包括與句子結構相關的信息。原則c)強調的是模板的適應性，要求模板能夠適應結構相同而具體表達用詞不同的句子。熟語料的規模是有限的，不可能覆蓋所有的情況，因此需要將有限的模板盡可能多地應用到未知的情況中，以提高系統的適應性。

本文模板的構成分為以下兩個方面:

a)模板的內容。模板包括的內容有意見元素、謂語動詞、連詞、助詞、介詞。根據上文提到的模板的設計原則a)，從熟語料中提取模板時，句中所包含的意見元素毫無疑問地會成為模板的內容。但是原則b)要求模板能夠有效地在生語料中定位意見元素，只包括意見元素的模板是無法達到這一目標的，因此必須在模板中加入句子結構的信息。

謂語動詞是句子的核心，對句子的結構有至關重要的影響，因此謂語動詞是一定要加入模板的。但是這樣的條件仍然過于寬泛。連詞、助詞和介詞這三類詞在句子中起到了連接句子各部分和限定各部分之間關系的作用，因此這三類詞也加入到模板中。

根據模板設計原則c)，模板需要有較好的適應性，因此將模板中的某些內容替換為符號的形式，主要包括表達意見元素所用的詞，這樣可以提高模板對于不同遣詞的適應性。與句子結構相關的部分是不可以替換為符號的，這部分包括謂語動詞、連詞、助詞和介詞，這些部分必須以詞的形式出現才能達到區分句子結構的作用。如:

例1 其實，張明海本身就是愛崗敬業的標兵。

例2 他的同事休#8226;維維安#8226;史密斯記得:“老伊恩肯定是世界上最差勁的證券經紀人之一。”

例3 巴克曼是德軍黨衛軍第2“帝國”裝甲師中最優秀的坦克指揮手。

三個例句中意見元素用斜體字標出，謂語動詞用粗體字標出。例句是對不同人物不同方面的評價，評價意見有褒有貶。可以看到，三個例句的意見元素都不相同，表達的意見也不相同;但是三個例句在句子結構上都有共同之處，它們的謂語動詞都是“是”，意見元素部分的句子結構可總結為被評價者+是+評價詞。由此可見，模板中意見元素的部分應當替換為相應的符號。

綜上所述，模板的內容包括意見元素、謂語動詞、連詞、助詞、介詞。其中意見元素以符號的形式出現，其他部分以詞的形式出現。

b)模板的檢索關鍵字。該關鍵字是用于在模板庫中檢索模板，檢索關鍵字無須與模板一一對應，但需要將模板進行一定的區分以便有效地檢索模板。本文在工作中選取謂語動詞、評價內容和評價詞三者的函數作為模板的檢索關鍵字。函數如下:

key=sort(exist(C)，word(V)，exist(O))

其中:exist()函數檢測意見元素是否出現，如果出現則返回意見元素的符號，否則返回1;word()函數返回謂語動詞的文本，如果沒有謂語動詞則返回1;sort()函數按照謂語動詞、評價內容和評價詞在熟語料中實際出現的順序，對exist()函數和word()函數返回的結果進行排序，并返回排序結果。

例4 來自大洋音尚的葉世榮、賈立怡、SOLER、陳尚實四組藝人去年在樂壇的杰出表現再次得到充分的肯定，而大洋音尚亦成為當晚本地樂壇的最大贏家。

該句出現了評價內容“表現”和評價詞“肯定”，因此exist(C)=C，exist(O)=O;該句的謂語動詞為“得到”，因此word(V)=得到，最終提取出相應模板的檢索關鍵字為C得到O。

1.2.2 模板生成

模板生成的作用是從熟語料庫中抽取出模板。熟語料庫中的句子都已經做過人工標注，一個標注的例子如下:

例5 愛德華的性情中，都是善良和單純。

〈tag〉

〈sentence〉愛德華的性情中，都是善良和單純。〈/sentence〉

〈seg〉愛德華/nr的/u性情/n中/ng，/w都/d是/v善良/an和/c單純/an。/w〈/seg〉

〈P〉0〈/P〉

〈V〉6〈/V〉

〈C〉2〈/C〉

〈O〉7〈/O〉

〈ori〉正面〈/ori〉

〈/tag〉

例子中〈seg〉〈/seg〉標簽的內容是例句的分詞結果;〈P〉〈/P〉、〈V〉〈/V〉、〈C〉〈/C〉、〈O〉〈/O〉分別是被評價者、評價的謂語動詞、評價內容和評價詞在分詞結果中的詞序號，序號以0開始，小于0的序號表示沒有出現該項內容;〈ori〉〈/ori〉標簽是評價的傾向性，正面表示褒義評價，負面表示貶義評價。

1)工作子串

根據1.2.1節的模板設計方案，句中所有的意見元素都轉換為相應的符號，同時謂語動詞V、評價內容C和評價詞O被提取出來，按照它們在句中的順序生成模板的檢索關鍵字。句中除意見元素、謂語動詞、連詞、助詞、介詞之外的詞被去除，這樣形成的結果稱為工作子串。

2)模板的形式

工作子串過濾并結構化后形成模板，最后生成的模板如例6所示。

例6

〈pattern〉

〈V〉是〈/V〉

〈key〉C是O〈/key〉

〈ele〉PCVO〈/ele〉

〈Pattern〉 P 的 C 是 O 〈/Pattern〉

〈Ppos〉 P/nr的/aC/n是/vO/vn 〈/Ppos〉

〈ori〉1〈/ori〉

〈/pattern〉

例子中〈pattern〉〈/pattern〉標簽標記了一個模板，模板的第一個節點是模板中的謂語動詞;〈key〉〈/key〉節點標記了模板中VCO元素的實際出現情況及其順序;〈ele〉〈/ele〉節點標記了模板中實際的意見元素和謂語動詞出現情況及其順序;〈Pattern〉〈/Pattern〉節點標記了模板的內容;〈Ppos〉〈/Ppos〉節點給出了〈Pattern〉節點中每個詞的詞性;〈ori〉〈/ori〉節點標記了該模板的傾向性。

1.2.3 候選模板過濾

有些候選模板在熟語料庫中出現的次數較多，這些候選模板相對比較可信，而那些出現次數較少的候選模板可信度相對較差，因此需要對候選模板進行過濾。過濾閾值為

d=sumnum#8226;δ

其中:d是一個計算得到的結果，它的含義是候選模板在熟語料庫中出現的平均次數乘以一個比例系數，它的值與三個變量有關:sum為所有候選模板在熟語料庫中出現的次數之和;num為候選模板的數量，δ是比例系數，取值為(0， 1)。過濾后得到模板存入模板庫中。在系統實際測試中，sum=465;num=198。

1.3 意見元素挖掘

意見元素的提取可以分為兩步，即模板檢索和模板匹配。其中，模板檢索的作用是根據輸入的未標注句子在模板庫中檢索相應的模板。顯然，未標注的句子是無法直接用于檢索模板的，這中間存在三個問題:用什么樣的關鍵字來檢索模板;如何獲得這些關鍵字;怎樣使用這些關鍵字來檢索模板。模板匹配的作用是應用模板來提取句中的意見元素。

a)需要從未標注句中提取出檢索關鍵字。檢索關鍵字的內容包括謂語動詞V、評價內容C和評價詞O，候選謂語動詞選取詞性標注出的動詞。評價內容一定是與人有關的名詞，本文建立了內容詞表(或稱屬性詞表)，共103詞，然后將VCO組合以形成檢索關鍵字。實際的系統中，各項元素需要按照其實際的出現順序進行排列。組合的方式有四種，即VCO、VO、CO和O。檢索關鍵字采用這四種組合方式是由于傾向性的表達是通過評價詞O來進行的，所以檢索關鍵字中必須包含O，謂語動詞V和評價內容C可以有也可以沒有，因此一共是四種組合。

b)使用檢索關鍵字在模板庫中檢索可能與生語料匹配的模板。由于能夠與模板中的意見元素匹配數量較多的檢索關鍵字更為準確，模板檢索關鍵字按照VCO、VO、CO、O的順序在模板庫中檢索模板，當檢索到模板并成功匹配時，停止繼續檢索，以匹配上的模板作為結果。

c)進行模板的匹配。將檢索到的模板和從未標注句子中提取出的工作子串進行匹配，匹配方式采用尋找兩者的最大公共子串的方式。當檢索到的模板和工作子串的最大公共字串長度與模板長度相同時，表明工作子串和模板可以完全匹配。這時可以根據意見元素在模板中的分布獲得意見元素在工作子串中的分布，并通過工作子串的還原得到原句中的意見元素。下面例7說明意見挖掘的過程。

例7 北京時間8月20日， 中國隊90比121敗于美國隊，但是姚明的表現還是得到了足夠的肯定。

北京/n 時間/n 8月/t 20日/t，/w 中國隊/n 90/m 比/p 121/m 敗/v 于/p 美國隊/n，/w 但是/c 姚明/nr 的/u 表現/vn 還/d 是/v 得到/v 了/u 足夠/a 的/u 肯定/v。/w

例子中是需要進行意見挖掘的句子，已經經過詞性標注。首先在句子中查找候選的意見元素，查找得到評價內容C:表現;評價詞O:肯定;人物P:姚明，謂語動詞V:是、得到。根據候選意見元素提取工作子串:P的C是得到的O。候選意見元素組合成檢索關鍵字: C得到O、得到O、CO、O。檢索關鍵字C得到O在模板庫中檢索到一個相應的模板:

〈pattern〉

〈V〉得到〈/V〉

〈key〉C得到O〈/key〉

〈ele〉PCVO〈/ele〉

〈Pattern〉P 的 C 得到 O 〈/Pattern〉

〈Ppos〉P/nr的/cC/n得到/vO/vn 〈/Ppos〉

〈ori〉1〈/ori〉

〈/pattern〉

模板的內容為P 的C得到O，工作子串為P的C是得到的O，兩者的最大公共字串為P的C得到O，與模板相符，匹配成功。從模板中恢復意見元素的結果如表1所示。

表1 例7意見挖掘結果

被評價者P謂語動詞V評價內容C評價詞O

姚明得到表現肯定

2 實驗結果及分析

本章對系統進行了測試，首先從互聯網收集了600條帶有人物評價信息的句子，并對意見元素進行了人工標注。其中400句作為訓練語料，另200句再加上50句沒有意見的客觀陳述句作為測試語料。先對測試語料進行分詞，對分詞的結果進行了人工校對，然后輸入系統進行測試。測試結果如表2所示。

表2 語句意見挖掘結果

語句總數含有觀點的句子數提出觀點的句子數結果正確結果錯誤召回率/%正確率/%F-score

250200186140467075.372.55

對46個錯誤的句子進行錯誤原因統計，結果如表3所示。

表3 錯誤原因統計

錯誤總數人物屬性錯評價詞錯意見傾向錯其他對象人物錯

465541220

以下舉例給出實驗的結果，如表4~7所示。

例8 周娥皇的美，還是超乎了李煜的想象，雙目流盼，明凈澄澈;櫻桃小嘴別致玲瓏;如云烏發，高高挽起;如玉脖頸，頎長優雅。

表4 例句8挖掘結果

被評價者屬性評價詞情感傾向

李煜嘴別致玲瓏正面

例9 張氏在其夫心里就是一個簡單粗俗、常常醋意大發的人。

表5 例句9挖掘結果

被評價者屬性評價詞情感傾向

其夫無粗俗負面

以上是對象判斷錯誤的例子。例8中都是對周娥皇的評價意見，但是系統把第三小句及其后面的意見都判斷為是對李煜的評價。這是因為系統沒有對人物的句間省略進行詳細的分析和處理，只取最近一個出現的人物進行恢復，因此句中靠后出現的“李煜”就作為第三小句的被評價者而提取出來，沒有提取到正確的被評價者。

例9中出現了兩個人物，而系統判斷被評價者發生了錯誤。句中出現了人物張氏和其夫，被評價者應該是張氏，系統錯誤地判斷成了其夫。這是在模板匹配時出現的錯誤。由于在對工作子串和模板進行匹配時采用的是LCS算法，當工作子串中有兩個人物張氏和其夫，而模板中只有一個人物時，匹配上的是靠后的人物，即其夫。

例10 冰冰做出似傻非傻的神情，很可愛。

表6 例句10挖掘結果

被評價者屬性評價詞情感傾向

冰冰無傻負面

冰冰神情可愛正面

例10是評價詞判斷錯誤的例子，句中的第一個“傻”被判斷成了評價詞，這是由于模板匹配的方法比較機械，沒有對句子結構作詳細分析。一旦出現了可能的意見元素并且有能夠匹配的模板，就會提取出相應結果。

例11 我從來就不曾覺得羅納爾多是忠誠的。

表7 例句11挖掘結果

被評價者屬性評價詞情感傾向

羅納爾多無忠誠正面

例11是傾向性判斷錯誤的例子，這是一個否定句，否定詞和評價詞距離較遠，而系統只會對緊鄰評價詞的否定詞作處理，因此沒有判斷出“忠誠”已經被否定。

通過上面的實驗可以看出，本文所采用的基于模板的方法可以比較有效地從句中提取出意見元素。系統的問題主要在于:a)模板匹配時單純采用LCS算法進行匹配，沒有作進一步的分析;b)系統對于句間人物的省略沒有作很好的處理;c)系統沒有對句子的結構進行分析，因此當評價意見以較為復雜的形式出現時，提取會出現錯誤;d)極性詞、屬性詞等的識別也會對提取效果產生影響。在各項意見元素的提取中，被評價者的錯誤較多，這主要是由于上述a)b)這兩個原因造成的;而第三點原因對其他意見元素的影響較大。在將來的工作中，將會對這些部分作有針對性的改進。

目前語句級的意見挖掘成型的系統不多，且都是針對產品的挖掘，正確率一般在76%以下。本文的工作達到了75.3%的準確率，與他人的工作相比，本文工作取得了較好的效果。召回率略低，主要是由于模板的覆蓋面不夠廣，有些測試語料是模板沒有覆蓋到的，可以通過增加模板來改進系統的性能;由于模板依賴于熟語料庫，本文中熟語料庫規模較小，只有400個句子，影響了模板的覆蓋能力，因此可以通過建立更為完備的熟語料庫來增加模板的數量，從而提高系統的性能。本文選擇的人物評論挖掘，相對于產品挖掘來說難度更大，主要表現在以下幾個方面:a)對主題抽取。人物既可以發表評論，也可以被評論，而產品只能被評論，因此在被評價者抽取上更為困難。b)被評價對象的屬性抽取。人物的屬性復雜而且用語多樣，如“眼”“目”“眼睛”“雙眼”“雙目”“眸”“眸子”“目光”“眼神”等都是指同一個評價屬性。產品的屬性相對較為簡單，稱謂較為固定，如數碼相機的“像素”等。c)評價詞提取。對人物的評價詞靈活而豐富，如“杏眼”“蜂腰”“柳下惠”等，又如“婉順”“寬和”等由多個詞揉合而成，又如“風流”“風騷”等描述人物的詞語常有二義性，因此增加了識別和判斷的難度。d)意見的傾向分析。對人物的評論常常顯得委婉含蓄，不夠直接，表達方式也豐富異常，而產品的評價大多直截了當。因此，綜合考慮上述原因，本文在中文人物評價挖掘方面采用基于模板方法取得了75.3%正確率，具有一定的價值。

3 結束語

本文提出了一種基于模板的中文人物評論語句意見挖掘算法，算法分為模板庫生成和意見元素挖掘兩個模塊。在模板庫生成模塊中，首先在對意見元素及漢語詞性特點的分析基礎上，設計了評價挖掘結構化模板;根據模板設計，從已標注的語料中提取候選模板并過濾，生成模板庫。在意見元素挖掘模塊中，對輸入的測試句子提取工作子串和檢索關鍵字，使用檢索關鍵字在模板庫中檢索相應的模板并將檢索到的模板和工作子串進行匹配，根據匹配的結果挖掘出意見元素。實驗表明，本文的方法能夠較為準確地從測試語料中提取出意見元素，正確率達到75.3%。

參考文獻:

[1]路斌，萬小軍，楊建武，等. 基于同義詞詞林的詞匯褒貶計算[C]//中國計算技術與語言問題研究——第七屆中文信息處理國際會議論文集. 北京:電子工業出版社，2007:17-23.

[2]朱嫣嵐，閔錦，周雅倩，等. 基于HowNet的詞匯語義傾向計算[J]. 中文信息學報， 2006，20(1): 14-20.

[3]KIM S M， HOVY E. Determining the sentiment of opinions[C]//Proc of the 20th International Conference on Computational Linguistics. Morristown:Association for Computation Linguistics，2004:1367-1373.

[4]婁德成，姚天昉. 漢語句子語義極性分析和觀點抽取方法的研究[J]. 計算機應用，2006，26(11):2622-2625.

[5]婁德成. 基于NLP技術的中文網絡評論觀點抽取方法的研究[D]. 上海:上海交通大學，2007.

[6]彭其偉. 基于統計方法的中文文本情感傾向分類研究[D]. 大連:大連理工大學， 2007.

[7]徐琳宏，林鴻飛，楊志豪. 基于語義理解的文本傾向性識別機制[J].中文信息學報， 2007，21(1):96-100.