基于混合類別序列規則的中文比較評論的識別

朱茂然 ,蔣凱艷 ,高 松 ,王洪偉

(1.同濟大學 經濟與管理學院,上海 200092；2.中國信息安全測評中心,北京 100085)

比較在對事物的認識過程中發揮著重要作用[1]。例如,消費者在購物網站輸入關鍵字時,網站會顯示數十個對應的產品,消費者會反復比較和選擇,通過貨比三家買到最滿意的產品。比較凸顯了事物的共性和差異,給予我們評判一個產品好壞的客觀標準[2]。相對于單一商品評論觀點,含有比較信息的評論(簡稱比較評論)涉及兩個或多個產品的特征信息。比較評論反映了多個商品之間的優劣比較,彰顯了評論者具有豐富的購物經歷,也增強了評論的說服效果。

在產品評論中,比較評論約占15%[3],占據了一定的數量,并具有較高的信息價值。近幾年,很多研究關注到該領域,內容涉及比較評論的識別、抽取以及應用[2,4-5]。特別是在比較評論的識別任務中,由于商品評論多是非結構化文本,識別方法一直面臨人工干預多、句子缺乏完整語義以及比較特征不明顯等難題[7],故比較句的識別方法亟待探索。

本文將規則與依存句法關系特征相結合,在縮小人工干預程度的基礎上,提高比較評論的識別效果。首先,將比較評論識別視為比較句的挖掘,比較句分為顯性和隱性比較句。針對顯性比較句,在CSR(Class Sequence Rule)基礎上,融合依存句法關系特征,提出一種新的混合CSR 方法,以期提高CSR 方法在生成規則時的準確率和效率；針對隱性比較句,通過對實體名的識別,挖掘隱含的語義特征,完善整個比較句識別過程。

1 文獻綜述

本質上,比較句識別是分類問題,即把評論句分為比較類和非比較類。研究方法分為基于規則的方法和基于統計的方法：基于規則的方法有CSR 和句法語義規則；基于統計的方法是機器學習技術,如支持向量機(Support Vector Machine,SVM)、樸素貝葉斯(Naive Bayes,NB)和條件隨機場(Conditional Random Fields,CRF)等,如表1所示。

表1 比較句識別方法

基于規則的方法中,規則可以人工制定,也可以從大量標注語料中學習獲得。典型的比較句判別規則包括關鍵詞策略和模式庫等。已有研究指出,單純的關鍵詞策略效果不如同時考慮比較詞和比較結果詞的模式庫方法[12],因為關鍵詞在中文中難以窮盡,并且受領域知識的限制,多領域通用性差。綜合來看,CSR 方法的綜合表現最優[1],是比較句識別研究中最常使用的方法。Jindal等[4]將CSR 方法應用在英文比較句識別之中,結合貝葉斯分類器來學習和識別英文比較評論語句,實現了較好的識別效果。王洪偉等[12]將人工模式庫與句法規則相結合,分別識別出平比、差比這種細分類型的比較句?；谝巹t的方法面臨若干難題：不同語境下的比較關鍵詞差別較大；缺乏公認的比較關鍵詞庫；人工收集困難；規則的生成未考慮深層語義信息,停留在表層的句子序列規則的挖掘。為此,學者也提出了各自的改進意見,如基于關聯詞庫的模式匹配方法[13],考慮語義相似度的模式匹配方法[14]等。上述方法都取得了不錯的識別精度,但依然沒有解決人工的過多干預問題。

基于統計的方法中,常采用支持向量機、樸素貝葉斯等方法進行識別。黃小江等[15]對中文評論的比較關系識別進行了研究,采用SVM 分類器提高了規則的識別結果。張辰等[16]在采用CSR 規則提取的基礎上,利用CRF挖掘實體對象信息及語義角色信息,然后利用SVM 分類器選取不同特征維數調高識別精度。Xu等[17]針對差比關系的比較句,提出一種基于比較句間依賴關系的兩層CRF方法。上述基于機器學習的識別方法依賴于比較特征的組合和優化,而組合和優化的過程中具有不可解釋性。

上述研究都是針對有明確比較關鍵詞的比較句。在比較句識別中,還有一類比較句雖然沒有明確的比較關鍵詞,但是整個句子卻有比較含義。這類比較句的識別難度很大,目前沒有文獻對其進行研究[18]。綜上可知,目前研究存在如下不足：一是對CSR方法本身沒有根本的改進,未結合句法或語義分析方法來生成類別序列規則；二是缺乏對沒有明確比較關鍵詞的比較句識別研究。為此,本文將CSR 方法與句法分析方法結合在一起,改進CSR 序列的生成方法,并尋找生成CSR 的最優策略。在此基礎上,使用實體識別的方法,對隱性比較句進行識別,進一步提高比較評論識別的準確性。

2 研究方法

2.1 基于混合類別序列規則的比較評論識別模型

在線評論是一種非結構化文本,錯別字、網絡用語、中英文詞語等會導致比較關系識別難度加大[18-19],表2示例了產品評論中存在的結構松散和口語化情況。在“但是最坑的是數據線接口和其他安卓系統手機不一樣”這一句中,“最坑的是”用來引導從句,比較關系蘊含在從句“數據線接口和其他安卓系統手機不一樣”中。另一個口語化的例子,“照相感覺還沒有我老g3好”,書面語的語序應當是“感覺照相還沒有我以前的g3好”。上述例子并不適用嚴格按照語序來生成序列模式的傳統CSR 方法,故需在傳統CSR 方法的基礎上,尋找能夠解決上述問題的新方法。自然語言處理中常用的兩種針對句子層級的分析方法是語義角色標注和依存句法分析。考慮到語義角色標注研究的是句子中其他元素與謂語的關系,而依存句法分析關注的是句子成分之間的相互依賴關系。因為依存句法分析更能反映句子整體結構和語義,本文提出的方法是將CSR 方法與依存句法分析方法結合在一起,進行中文比較關系的挖掘。

表2 產品評論中結構松散與口語化示例

此外,盡管大部分中文比較評論中有明顯的比較指示詞,但有的評論中比較含義隱含在語義之中。本文將前者定義為顯性比較評論(對應顯性比較句),后者為隱性比較評論(對應隱性比較句)。通常,顯性比較句出現在一個分句中,通過比較詞和比較搭配展示比較關系。隱性比較句出現在兩個前后相連的分句中,無明顯比較詞和比較搭配,內容上多是對不同產品的同一屬性分別表達觀點。典型的顯性比較句和隱性比較句的示例如表3所示。由表3可以發現,隱性比較句盡管在句子語義和句子結構上不存在固定的模式,但通常會存在相異的產品名,這給隱性比較關系的挖掘提供了可能。

表3 顯性和隱性比較句

綜上所述,提出本文的研究框架,如圖1所示。

圖1 基于混合類別序列規則的比較評論識別模型

首先,對標注后的語料進行文本預處理,包括去除特殊符號、修正錯別字、文本分詞和依存句法分析；然后,將標注語料分為訓練集和測試集；隨后,使用混合CSR 方法識別顯性比較句：①對于序列生成部分,本文提出了3種改進算法進行序列生成,包括CSR_DP、CSR_N2DP 和CSR_HH。②基于生成的序列,采用prefix-span算法進行頻繁CSR 規則的抽取。③將生成的規則運用到測試集中進行匹配,使用模式識別的方法,若一個評論中出現了任意一個頻繁CSR 規則,則對應的特征位置標記為1,否則為0,特征向量元素之和不為0的分句判定為比較句。④識別隱性比較句。針對判定為非比較的評論,進行二次識別,識別過程分為構建品牌系列型號詞典、按產品結構樹規則抽取實體以及產品名規范化。⑤對測試集進行實驗并取得實驗結果。

2.2 混合CSR規則方法

CSR 是傳統的比較關系識別算法,以比較關鍵詞、關鍵詞詞性及鄰近詞的詞性作為序列,在比較句識別中取得不錯的效果。Jindal等[4]以比較詞為中心,3個分詞為半徑,生成待挖掘序列。最后,采用prefixspan算法進行類別序列規則挖掘。以表4為例,按照Jindal等的方法生成待挖掘序列,句子1生成序列1,句子2生成序列2。

表4 傳統CSR方法生成的序列

依存句法分析通過分析句子成分之間的依存關系來解釋句子的結構和含義,依存關系是二元結構,包括核心詞和依存詞,兩者之間有依賴關系。圖2是一個依存句法分析實例：用弧來顯示兩者之間存在依存關系,弧從核心詞發起,指向依存詞,核心詞支配依存詞。依存關系可用如下序列表示：{(w1,relation1,head1),(w2,relation2,head2),…,(wn,relation2,head2)},其 中：wi表示詞；relationi表示依存關系成分；headi表示依存關系指向的詞在句子中的位置。則圖2 中例子可以表示為：{(1/5,ATT,3),(的,RAD,1),(亮度,SBV,9),(跟,ADV,9),(華為,ATT,8),(的,RAD,5),(最低,ATT,8),(亮度,POB,4),(差不多,HED,0)}。其中,比較特殊的依存關系成分是HED,表示整個句子的中心詞。在后續的算法提出中,會將依存關系成分和依存關系指向融入CSR 序列。

圖2 句法分析示例

針對顯性比較句的識別過程分為序列生成、類序列規則生成和模式匹配3步。類序列規則生成采用prefixspan算法,模式匹配則進行規則匹配。本文主要的貢獻在于序列生成這一步驟,考慮到序列生成是決定比較句識別準確度高低的基礎,提出了3種改進算法對這一關鍵步驟進行處理。

(1)CSR_N2DP 算法。首先提出CSR_N2DP算法,它利用句法分析中的依存關系成分替換傳統CSR 方法中的詞性,但不使用依存關系指向。該算法的執行過程為：從句子中抽取序列時采用固定窗口,以比較關鍵詞為中心,首先抽取比較詞和它對應的依存關系成分,然后抽取鄰近n個詞的依存關系成分作為待挖掘的序列。表5中以n=3為例,句子1以比較詞“不如”和它的依存關系成分“HED”作為中心,按順序抽取前后3個詞的依存關系成分,最終形成序列1。

表5 CSR_N2DP方法生成的序列

(2)CSR_DP算法。CSR_N2DP算法是采用固定窗口的方法使得整個句子被截斷,拆解了句子成分,從而影響依存句法分析的優勢。因此,本文在CSR_N2DP算法的基礎上進行改進,提出了CSR_DP 算法。該算法存在兩個優勢：①不僅考慮依存關系成分,而且考慮依存關系指向；②不采用固定窗口方法進行待挖掘序列的抽取,而是利用句法分析中各個詞之間依存關系的指向進行序列抽取。

CSR_DP算法執行過程：首先,對整個語句進行句法分析,得到依存關系各個成分及其指向；然后,抽取比較關鍵詞和其依存關系成分。抽取規則為：若比較關鍵詞是核心成分,即依存關系成分為HED,就抽取依存于關鍵詞前后最近的依存關系成分；若比較關鍵詞為非核心成分,就抽取其依存的詞語的依存關系成分,判斷是否為核心成分。若為核心成分,則停止尋找；若不是,則繼續抽取其依存詞的依存關系成分,直至出現核心成分。

以表6中的句子1為例,比較詞“不如”為句子的核心成分“HED”,然后尋找“不如”前后最近的并且依賴于它的詞。由于“不如”在句子中是第4個成分,故尋找“不如”前后依存關系指向為4的詞。前面有兩個詞“但是”和“信號”,后面有一個詞“好”,按照先后順序取“但是”和“信號”的依存關系成分“ADV”和“SBV”,比較詞本身和其對應的依存關系成分“不如/HED”,最后取“好”的依存關系成分得到序列1。句子2轉換為序列2,與序列1的生成基本一致,運用的是上述比較關鍵詞為非核心成分的規則。

表6 CSR_DP方法生成的序列

(3)CSR_HH 算法。CSR_DP 算法完整地運用了句法分析中的依存關系成分和指向,但是考慮到本文的研究對象為中文在線評論,其句式的隨意性與自由度較大,句法分析的準確性會受到影響。如“跟”對應的詞性僅有“/p”,但其對應的依存關系成分卻存在較多的情況,這將導致頻繁序列模式難以滿足支持度和置信度的要求,被確定為非頻繁序列模式。此外,考慮到比較詞的限定已經很強,若再加上比較詞的依存關系成分會將原本頻繁的規則拆分成幾個弱化規則。因此,提出了CSR_HH 算法,該算法的主要優勢有兩個：①在依存關系中加入詞性,加強頻繁序列模式的針對性識別；②不考慮比較詞的依存關系成分,通過詞性強化規則。CSR_HH 算法的執行過程：在CSR_DP 的基礎上,將比較詞對應的依存關系成分替換成詞性。這樣就融合了傳統的CSR 方法與CSR_DP方法。如表7中的句子1轉化為序列1就是基于表6中的序列1將比較詞“不如”的依存關系成分替換為詞性“c”。

表7 CSR_HH 方法生成的序列

本文在算法特點、算法執行過程與算法缺陷方面,對上述3種方法進行了全方位對比,具體對比結果如表8所示。

表8 3種算法的比對

2.3 基于實體的二次識別算法

在本文的標注語料中,隱性比較評論約占評論總數的4%。在絕大部分隱性比較句中,通常蘊含產品實體,但是無明顯比較詞和比較搭配。本文認為,通過挖掘比較實體可以識別大部分評論中的隱性比較句[16]。在非評論文本中,若文本含有兩個不同實體,通常語義關系包括因果、順承、并列、遞進、轉折和比較等。但在商品評論文本中,評論者評價的主體是某一產品實體,若評論文本中出現了另一產品實體,推測評論者的意圖是用來和當前產品做比較[20]。本文從研究語料中抽樣統計,發現評論中出現另一產品實體并且是表達比較含義的概率高達91.23%,證實了上述結論有一定的合理性。

本文語料來自智能手機的評論文本,其中涉及到的產品名稱具有層次性,可以通過產品名稱結構樹來找出命名規律。如圖3所示,產品名稱結構樹大部分包含產品層、系列層和型號層3層,有時還涉及屬性層,本文只精確到型號這一層次。以手機產品為例,統計京東平臺上知名的手機品牌有32個,手工建立品牌詞典。同時,考慮系列名,一個品牌一般有3～5個系列,能夠建立系列名詞典。由于智能手機的更新換代很快,產品的型號變化較多,故需借助非人工方法來解決。產品名實體識別可以轉化為分層次的標注任務,即分別識別出品牌、系列和型號名稱,組合起來則構成詳細的產品名稱。

圖3 產品名結構樹

基于上述分析,本文提出基于實體名的比較評論二次識別算法,如圖4所示。在比較句一次識別之后,對于非比較部分進行產品命名實體識別,若在該評論中識別出相異于當前評論的實體,則認為該評論為比較評論。識別過程分為3步：構建品牌、系列和型號詞典；按規則抽取產品命名實體；產品名規范化。

圖4 基于實體的二次識別算法

下面依次介紹3個步驟的實現方式。

(1)在構建品牌、系列和型號詞典時,對于品牌、系列和型號分而治之。品牌和系列名稱相對較少,可以通過人工收集。針對型號詞典的構建,本文提出基于相似度的型號詞典構建方法,即收集一部分型號詞典作為種子詞典,以相似度計算的方法,擴展種子詞典[21]。相似度計算借鑒編輯距離算法,該算法是由原字符串變化到目標字符串所需最少的編輯操作次數。編輯距離反映了兩個字符串的絕對差異,但是如果一個字符串長短有差距,則絕對差異的衡量不夠準確。相似度以[0,1]區間的數值反映兩個字符串的相似程度。根據編輯距離計算的相似度為

式中：dist(a,b)表示字符串a、b之間的編輯距離；suma,b表示字符串a、b的字符長度之和。

(2)通過已經構建好的品牌、系列以及型號詞典自動標記語料,再根據產品名結構樹規則,按照品牌、系列和型號的層次抽取。同時,在實驗語料中發現,大多數評論中提及的產品名稱混雜了品牌、型號與系列,本文為此設計了表8中的抽取規則,進行多輪抽取匹配,確定完整實體名稱。

表8 抽取規則

(3)在線評論的口語化特征使得產品名稱經常有缺省,同一個產品在評論中也會有多種命名。調查發現,對于系列、型號缺失的產品名(只出現“品牌+系列”或“品牌”),這種情況多為用戶語義上的省略,很難判斷具體的產品,本文保留原有的產品名實體；對于品牌或系列缺省的情況,采用表9中的規則,實現產品名的替換。基于產品名的識別是實現隱性比較關系判斷的有利方法,若評論語句中存在與被評論對象不同的產品名稱,并且被評論產品與出現的產品在產品樹上距離較大,則判斷該句為比較句,否則為非比較句。

表9 產品名規范化規則

3 實驗和結果

3.1 實驗數據

實驗數據來自國內最大的數碼產品購物平臺——京東購物平臺。編寫爬蟲程序,抓取50個產品的18萬條中文在線評論,最終選取10個品牌的23個手機產品,每個產品隨機抽取1 000 條評論。對評論進行去重、刪除無意義評論和疑問句評論,最終得到19 909條實驗語料。對實驗語料進行文本預處理和人工識別,語料概覽見表10。比較評論數量為4 439條,占整個語料的22.3%,其中,18.43%的評論為顯性比較評論,3.86%為隱性比較評論。

表10 語料概覽

3.2 比較評論識別模型實驗

3.2.1混合CSR 方法識別比較評論實驗 參照黃小江[15]的支持度設計進行CSR 序列的挖掘,選取即規則至少出現一次。置信度閾值設為0.6,CSR 與CSR_N2DP 采用窗口半徑設為4。關于λ,本文將探究其取值在[0.1,0.2,0.3,0.4,0.5]上變化時CSR 的生成情況。

將本文方法與CSR 方法比較,將待比較的算法以字母縮寫的形式表示如下：CSR 表示標準的CSR方法；CSR_N2DP表示依存句法關系成分替代CSR方法中詞性的方法；CSR_DP表示融合句法關系成分與句法關系指向的方法；CSR_HH 表示融合句法成分、句法結構與詞性的CSR 方法的方法。

由于4種方法中均需使用比較詞和比較搭配,故在人工整理比較詞和比較搭配的基礎上,又廣泛參考了部分文獻中的詞語搭配,最終構建了本文的比較詞庫。表11分別列舉了一部分典型的比較詞和比較搭配。

表11 比較詞與比較搭配示例

圖5所示為上述4種方法生成CSR 規則的時間。結果證明,通過依存關系指向對序列模式進行刪減后,CSR 的生成效率由采用傳統CSR 算法所耗費的10.11 min 降為采用CSR_HH 算法的0.05 min。CSR_N2DP與CSR 抽取效果差異并不明顯,而使用了依存關系指向縮短序列長度的CSR_DP和CSR_H H 算法則極大地節約了時間,使得生成序列模式的效率有了很大的提高。

圖5 各算法CSR 生成耗時

采用上述4種算法,從實驗語料中的訓練數據獲取規則,通過測試數據檢驗規則的識別效果。識別過程按分層劃分的方式采用五折交叉驗證,識別結果的評價指標如表12所示。

表12 比較評論識別結果評價

通過4種算法和5個不同λ值生成的20組頻繁序列規則,分別進行抽取與驗證,獲得20組實驗的準確率、召回率和F值,結果如圖6所示。進一步獲得4種算法的最優參數(見表13)和對應的最優識別結果(見表14)。其中,CSR_N2DP、CSR_DP和CSR_HH 的識別準確率都優于CSR,CSR_HH算法達到了最高79.36%的識別準確率,F值達到了78.43%。準確率為：P=Tc/(Fc+Tc)；召回率為：R=Tc/(Fn+Tc),F=(2P×R)/(P+R)；總體準確率=

表14 比較評論識別評價結果 %

圖6 不同λ 值下比較句識別的準確率、支持度和F 值

表13 4種方法下最優參數選擇及CSR數量和耗時

3.2.2比較評論產品名識別實驗 首先構建品牌、系列和型號詞典。借助爬蟲技術,抓取京東手機搜索頁前10頁300個手機產品,從中篩選出179個自營手機產品頁標題,利用正則表達式提取出具體的品牌、系列和型號,小范圍人工修正,得到最終的品牌、系列和型號詞典,如表15所示。本文建有包含52個品牌的品牌詞典,包含17個系列的系列詞典,以及包含143個型號的型號詞典。此外,由于評論中提及型號的詞語口語化嚴重,故基于種子詞典和萊文斯坦比算法,進行型號字典的擴展,最終獲得181個型號。

表15 品牌、系列和型號詞典

本文認為,評論中出現了與當前評論對象相異的產品名稱,即認為該評論具有比較含義,判定為比較句。運用CSR_HH 算法和模式匹配方法,對整個評論語料,包括隱性比較句進行比較句一次識別。對于非比較句的語料,運用上述方法,實現產品名識別的過程,并將出現了其他產品名實體的評論判定為比較評論。最終結果如表16所示。加上實體識別的方法,比較句識別F值為84.67%。

表16 結合實體識別的比較評論二次識別結果 %

由實驗結果還可以發現,基于CSR_H H 方法,對于隱性比較句識別的效果不強。比較實體識別能夠顯著提高比較句的識別效果。

4 結語

本文提出了識別中文在線評論比較關系的新算法,針對顯性比較評論,提出了融合CSR 方法與依存句法分析算法,即通過比較句的形式化結構與內在依存關系兩方面結合,提高比較句識別的精度。針對隱性比較評論,提出了基于產品名識別的方法,可有效識別隱性比較句,由此拓寬了比較句識別的范圍。在線評論中比較關系的識別具有重要意義,通過多個產品兩兩間的比較關系,能夠構建出產品比較網絡,進而分析產品比較網絡中的節點特性與整體結構,發現產品市場中的產品排名與產品分類。

首先,改進后的CSR 方法仍有部分比較模式無法準確識別,這是因為評論文本存在一定比例的比較語句并不嚴格按照語法規則來書寫,存在省略詞、替代詞和網絡用語；其次,本文的方法仍需要借助部分人工標注來實現；最后,二次識別算法中對于隱性比較句的識別處于探索階段,僅僅通過識別不同實體來判斷隱性比較有局限,準確性較低。為此,未來研究需要關注3個方面：①通過機器學習深度理解比較評論的構成,CSR 方法側重于“比較關鍵詞+詞性”,但對于深層次的詞語理解仍有欠缺；②提出基于無監督算法的比較評論識別方法,進一步減少人工干預,有利于大規模的商業應用；③針對隱性比較句識別的優化,一種可能的方法是識別不同的實體-觀點對,通過不同實體對應的情感值來判斷隱性比較評論,因此有待進一步研究。