熱門B2C購物門戶用戶評論質量影響因素分析研究

劉 杰 付曉東 劉 驪 劉利軍

(昆明理工大學信息工程與自動化學院 云南 昆明 650500)

熱門B2C購物門戶用戶評論質量影響因素分析研究

劉 杰 付曉東*劉 驪 劉利軍

(昆明理工大學信息工程與自動化學院 云南 昆明 650500)

用戶的在線評論可以有效地幫助用戶選擇在線商品或服務。然而，熱銷商品的用戶評論數量極其龐大，同時，這些評論的質量參差不齊。因此，評估評論質量并挑選出高質量的評論變得尤為迫切。目前網站采取邀請用戶人工標注的方式評估評論的質量，需耗費用戶大量的時間和精力。為解決這個問題，提出了一個自動化評估評論質量的方法。該方法通過應用基于評論與評論者兩類特征的支持向量機(SVM)分類器實現。在國內著名在線購物網站京東的評論數據上測試了提出的方法。實驗結果表明評估識別高質量評論的準確率達到了87.5%。通過實驗發現，能夠表征評論信息量的詞語數量和語句數量特征很好地評估了評論質量。而由于來自用戶對商品的反饋信息的貧乏，能夠表征用戶反饋的有用性投票數量和回復數量特征并不能很好地評估評論質量。在同時結合評論和評論者特征的基礎上，評估評論質量的表現最佳。

在線評論 評論質量 支持向量機(SVM)

0 引 言

越來越多的網站支持用戶發表評論來分享他們的觀點和經驗。評論的價值在于其中所包含的描述商品質量與屬性信息。文獻[1-2]研究表明評論能夠有效地幫助用戶選擇在線商品或服務。用戶通常在購買商品后就會發表評論。因此，熱銷商品的評論會達到成千上萬條。然而，由于缺乏對評論內容和格式的明確限制，評論的質量也是參差不齊。例如，一些用戶在評論中虛夸或詆毀一些商品，一些用戶發表一些與商品無關的評論。用戶很難快速地從大量的質量不一的評論中獲取有用信息。因此，網站迫切需要對評論質量進行評估并挑選優質的評論以提升用戶的在線體驗。大多數網站通過要求用戶人工標記評論質量來解決這個問題。然而，由于用戶不愿意花費大量的時間和精力去人工標記評論質量，很多評論并沒有用戶的手動標記結果。在文獻[3]中還提到了人工手動標記評論質量的其他缺點，如標注的不平衡偏向，優勝循環和早循環偏向。

評論質量的評估越來越受到重視。文獻[4]為了實現對亞馬遜的評論質量自動評估，主要考量了元數據特征和詞典句法特征等。通過實驗發現，評論的長度和評分級別是影響評估評論質量的主要特征。文獻[5]用類似的方法研究了在線論壇的評論質量評估，并發現了詞匯特征對評論質量評估影響最大。文獻[6]針對亞馬遜網站的圖書商品，通過比較普通評論與最佳評論之間的差距來評估評論的質量。文獻中的最佳評論是由一些評論中的高頻詞匯和表征典型特征的詞匯組成的評論。文獻[7]通過結合經濟理論分析和主觀觀點分析去評估亞馬遜網站的評論質量，并發現主觀觀點分析能夠有效地幫助評估評論的質量。文獻[8]將用戶在社交網絡中的屬性列入了評估評論質量的特征依據，發現用戶社交特征能夠提升評論質量評估的效果。文獻[9]通過人工的有用性標注來評估評論質量。文獻[10]將商品類型作為評估評論質量的特征依據，發現對于搜索類商品，評論的深度對于評論質量評估的影響效果要勝于其對體驗性商品評論質量的評估。文獻[11]運用復雜網絡理論分析了評論有用性與用戶需求的關系，其基礎仍然是評論文本的語義。文獻[12]研究了智能移動設備上的評論內容(被定義為輕型評論)與傳統評論的異同點，得出文本中的情感信息對評論的質量影響最大。

現階段另一方面的研究則集中在低質量的評論檢測。文獻[13]通過語言學和心理學特征檢測發表虛假觀點的欺詐評論。文獻[14]從欺詐者的角度分析了虛假評論的特征屬性。文獻[15,16]通過定義的非正常模式檢測由欺詐團體發布的虛假評論。文獻[17]通過特定時間模式來識別單獨的虛假評論。

在現有的評論研究領域，對于評論質量評估方面，研究大都局限于考慮評論內容本身的詞典或語義等屬性特征，并且存在評論內容特征考慮不全或太過冗雜的情況。而對于低質量評論檢測方面，研究則局限于考慮評論者的行為屬性特征。

本文提出了同時考慮評論內容本身和評論者兩方面屬性特征的，基于支持向量機(SVM)分類器的自動化評論質量評估方法。而且全面考慮了評論內容本身的各種屬性特征，對于冗雜的屬性特征通過主成分分析進行了精簡。本文還在京東網站的數據上測試了提出的方法評估評論質量的效果。并分析了不同屬性特征在評論質量評估過程中的效果。

1 屬性特征定義

為了實現基于不同屬性特征的評論質量的自動化評估，并分析不同屬性特征在評估評論質量過程中的效果，本文從評論和評論者兩方面考量屬性特征。

1.1 評論特征

評論特征是指與評論相關的屬性特征，包括與評論文本內容獨立的元數據以及通過文本分析后得到的評論文本數據。

時間間隔TP(Time Period)：用戶選購商品的時間以及發表評論的時間均被記錄在網站內。這里定義用戶發表評論與購買商品之間的時間差作為時間間隔TP。時間間隔TP的數值為天數的差值。這表明，時間間隔TP數值越大，用戶發表評論與購買商品之間間隔的時間越久。通常，用戶在購買并體驗商品一段時間后，才會發表出高質量的評論內容。

有用回復數值HRN(Helpful votes and Reply Numbers)：有用性投票(helpful votes)是用戶在閱讀評論后，認為評論是有用高質量的，并對評論質量手動標注為有用的行為。其數值是標注評論為有用的用戶的數量。因此，有用性投票可以作為表征評論質量的一個屬性特征。回復評論(reply numbers)是用戶在閱讀評論后，對評論內容感興趣，予以回復互動的行為。其數值為評論獲得回復的數量。因此，評論回復數量也可以作為表征評論質量的一個屬性特征。

然而，由于手動標注需要耗費用戶大量的時間和精力，大量的評論并沒有獲得任何有用性投票或回復數量。在京東數據集中，只有38%的評論獲得了用戶的有用性投票。而且，只有32%的評論獲得了用戶的評論回復。評論的有用性投票和回復數量的分布圖分別如圖1和圖2所示。

圖1 有用性投票分布圖

圖2 回復數量分布圖

據此，猜測有用性投票數量和回復數量具有關聯性，并通過在實驗數據集上進行一個關聯測試來驗證此猜測。測試結果如表1所示，該測試結果表明了有用性投票和回復數量具有關聯性。對于已經獲得有用性投票或評論回復的評論，其有用性投票或回復數量數值大多數都未超過6。由于有用性投票和回復數量具有關聯性，而且數值都較小，定義有用性投票與回復數量的和值作為有用回復數值HRN。

表1 有用性投票與回復數量的關聯性測試

詞語與語句數量WSN(Words numbers and Sentences Numbers)：詞語數量是指評論中包含的各種詞語的數量總和。詞語種類包括名詞、形容詞、動詞和副詞等，詞語和語句數量屬性特征的具體定義及含義如表2所示。語句數量是指評論中包含的語句數量。評論中包含的詞語和語句數量越多，用戶從中能獲取的信息也越多。

表2 詞語數量和語句數量屬性特征

續表2

由于統計類型數據是由句法類型數據計算得到的，統計型數據與句法型數據具有一定的關聯性。為了消除這些屬性特征之間的關聯性，使其變得獨立，對這些屬性特征進行主成分分析，經過分析后的主成分之間具有獨立性。統計型和句法型數據屬性特征的主成分分析結果如表3所示。由表可知，統計型和句法型屬性特征經過主成分分析得到兩個主成分。其中，第一成分為不同詞性詞語數量與語句數量成分，第二成分為嘆詞數量成分。然而，在數據集中，超過95%的評論中并不包含任何嘆詞。因此，我們省掉第二成分(嘆詞數量成分)對評估評論質量的影響。對于第一成分(不同詞性詞語數量和語句數量成分)，詞語數量WN包含了不同詞性詞語(如名詞數量MN，形容詞數量AN和動詞數量VN等)。據此，定義詞語數量WN與語句數量SN的和作為詞語與語句數量WSN的值。

表3 成分矩陣

1.2 評論者特征

評論是由評論者(用戶)發表的，因此，評論的質量也與評論者有著關聯性。為了更好地評估評論質量，需要同時考量評論和評論者兩方面屬性特征。評論者特征是指與評論者(用戶)本身有關的屬性特征。

2 數據集

為了測試基于評論和評論者屬性特征的評論質量評估效果，并分析不同特征在評估過程中的重要性，本文爬取了京東購物網站的用戶商品評論數據。數據的采集是在開源爬蟲軟件Heritrix的輔助下實現的。首先將包含評論的頁面以HTML的格式保存下來，然后通過HTMLParser解析頁面中包含的評論相關的內容，并將其保存到SQL Server數據庫中。共采集了來自499 253 件商品的用戶評論，其中，由14 250名用戶對6 022件商品發表的21 501條評論被京東網站標記為優質評論。

對于每一條評論，獲取以下相關數據：

(1) 用戶對商品的評分，用于計算評分SR

(2) 用戶購買商品以及發表評論的時間，用于計算時間間隔TP

(3) 評論獲得的有用性投票以及回復數量，用于計算有用回復數值HRN

(4) 評論本身的文本內容，用于計算詞語與語句數量WSN、情感詞語數量SWN和描述性詞語數量DWN

(5) 用戶評價的商品的優點以及缺點

(6) 用戶對商品標注的標簽

(7) 商品的類別以及名稱(包括商品編號)

(8) 用戶名(包括用戶編號)以及用戶級別，用于計算用戶級別UL

為了獲得評論文本內容的統計型和句法型數據，通過ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)對評論文本進行分詞處理。評論內容的情感詞語分析是基于一個包含情感詞語集的HowNet語料庫實現的。在該語料庫中，包含積極與消極的感情，以及積極與消極的評論共四類情感詞語。這里從以下兩個維度分析評論的情感：積極的情感詞語(包含積極的感情和評論)與消極的情感詞語(包含消極的感情與評論)。

為了分析評論文本中的描述性詞語，由以下三部分詞語集組成描述詞語庫：用戶評定的商品優缺點文本中包含的名詞、用戶標注的商品標簽文本中包含的名詞以及評論文本內容中的高頻名詞。這些名詞描述了商品的品質特征以及其他用戶關注的商品屬性。

3 評論質量評估

評論質量的評估是通過基于評論和評論者屬性特征的支持向量機(SVM)分類器實現的。支持向量機(SVM)的基本思想是：對于線性不可分的情況，通過定義適當的核函數，將低維空間線性不可分的樣本轉化為高維特征空間，使其線性可分。它是基于結構風險最小化理論之上，在特征空間中構建最優分割超平面，使得學習器得到全局最優化。核函數的引入，避免了“維數災難”，減小了計算量，可以有效處理高維輸入。支持向量機避免了局部極小點，并能夠解決過學習問題，具有良好的推廣性和較好的分類精確性。

在數據集中，有部分評論被京東網站標記為優質的。本文假定被京東標記為優質的評論確實為高質量的評論，而未被京東標記為優質的評論不是高質量的評論。在此前提下，評估京東網站的評論質量轉變為判斷評論是否高質量的分類任務。

根據之前章節對評論和評論者屬性特征的定義，將每一個評論都轉化為一個基于評論及評論者屬性特征的向量。并將未在定義時標準化取值范圍為0至1的屬性特征數值標準化為0至1的取值范圍。

通過網格搜索獲取參數C(懲罰系數，控制最大分類間隔和最小分類錯誤率之間的平衡。C越大，表示主要把重點放在減少分類錯誤上；C越小，表示主要把重點放在分離超平面上，避免過學習問題)和γ(徑向基核函數的一個參數，影響SVM性能優劣)的最優值并執行了十折交叉驗證。利用訓練獲取的模型進行測試與預測。

4 實驗結果

在不同屬性特征組合情況下，評論質量評估交叉驗證的平均準確率如表4所示。從表中結果可以得到，詞語和語句數量WSN屬性特征在單個屬性特征評估評論質量的過程中表現最佳。說明了評論文本中包含的信息量最能直接影響評論質量的評估。在單個屬性特征評估評論質量的過程中，評分SR、情感詞語數量SWN和用戶級別UL也表現良好。

表4 不同屬性特征組合情況的評估正確率

然而，有用性投票和回復數量HRN屬性特征相比較其他屬性特征則表現不佳。有用性投票和回復數量HRN屬性特征表征著用戶對評論的回饋情況。由于用戶手動標注評論有用性以及回復評論行為耗時，評論獲得的有用性投票以及回復數量數據稀疏。從而導致有用性投票和回復數量HRN屬性特征表現欠佳。將評論的各元數據SR、TP和HRN綜合以及將各文本數據WSN、SWN和DWN綜合的情況下，評論質量評估的效果相比較考慮單獨屬性特征的效果有所提升。然而，將以上元數據與文本數據再綜合考慮時，效果卻比單獨元數據或文本數據組合的情況要差。其原因是因為部分評論的元數據屬性特征與文本屬性特征表征的用戶對商品的態度有偏差。在綜合評論和評論者屬性特征情況下，評估評論質量的表現有了顯著的提高。說明評論者屬性特征對于提升評論質量的評估有顯著效果。

5 結 語

網站中充斥著大量質量不一的評論內容。因此，迫切需要評估評論的質量并挑選出優質的評論以改善用戶體驗。然而，大多數網站目前采取了耗時的邀請用戶人工手動標注評論質量的方式來解決上述問題。

本文提出了一種自動化的評論質量評估方法。該方法通過基于若干評論和評論者屬性特征的支持向量機(SVM)分類器來實現。文中通過京東購物網站的部分數據訓練了SVM參數，并在剩余數據上做了測試。測試結果表明，該方法在評估評論質量方面達到了87.5%的準確率。本文還分析了不同屬性特征在評估評論質量過程中的重要性。經過分析得出，單獨的屬性特征在評估評論質量過程中，詞語和語句數量屬性特征表現最佳。其他的評分、情感詞語數量和用戶級別屬性特征也表現良好。然而，有用性投票和回復數量屬性特征由于缺乏用戶的回饋而表現一般。總之，在同時考慮了評論和評論者大量屬性特征的情況下，評估評論質量的表現最優。

本文能夠幫助讀者更好地了解不同屬性特征在評估評論質量過程中的效果。基于不同屬性特征在評估評論質量過程中的重要性，可以有效地對待評估的評論質量進行評估。本文主要研究對象為搜索性商品，未來考慮將研究對象轉變為體驗性商品，并比較評估體驗性商品與搜索性商品的評論過程中，不同屬性特征的效果。

[1]ChevalierJA,MayzlinD.Theeffectofwordofmouthonsales:Onlinebookreviews[J].Journalofmarketingresearch,2006,43(3):345-354.

[2]DabholkarPA.Factorsinfluencingconsumerchoiceofa“ratingWebsite”:Anexperimentalinvestigationofanonlineinteractivedecisionaid[J].JournalofMarketingTheoryandPractice,2006,14(4):259-273.

[3]LiuJ,CaoY,LinCY,etal.Low-QualityProductReviewDetectioninOpinionSummarization[C]//EMNLP-CoNLL,2007:334-342.

[4]KimSM,PantelP,ChklovskiT,etal.Automaticallyassessingreviewhelpfulness[C]//Proceedingsofthe2006Conferenceonempiricalmethodsinnaturallanguageprocessing.AssociationforComputationalLinguistics,2006:423-430.

[5]WeimerM,GurevychI.Predictingtheperceivedqualityofwebforumposts[C]//ProceedingsoftheConferenceonRecentAdvancesinNaturalLanguageProcessing(RANLP),2007:643-648.

[6]TsurO,RappoportA.RevRank:AFullyUnsupervisedAlgorithmforSelectingtheMostHelpfulBookReviews[C]//ICWSM,2009.

[7] Ghose A,Ipeirotis P G.Designing novel review ranking systems:predicting the usefulness and impact of reviews[C]//Proceedings of the ninth international conference on Electronic commerce.ACM,2007:303-310.

[8] Lu Y,Tsaparas P,Ntoulas A,et al.Exploiting social context for review quality prediction[C]//Proceedings of the 19th international conference on World wide web.ACM,2010:691-700.

[9] Danescu Niculescu Mizil C,Kossinets G,Kleinberg J,et al.How opinions are received by online communities:a case study on amazon.com helpfulness votes[C]//Proceedings of the 18th international conference on World Wide Web.ACM,2009:141-150.

[10] Mudambi S M,Schuff D.What makes a helpful review? A study of customer reviews on Amazon.com[J].MIS quarterly,2010,34(1):185-200.

[11] 姜巍,張莉,戴翼,等.面向用戶需求獲取的在線評論有用性分析[J].計算機學報,2013,36(1):119-131.

[12] 張林,錢冠群,樊衛國,等.輕型評論的情感分析研究[J].軟件學報,2014,25(12):2790-2807.

[13] Ott M,Choi Y,Cardie C,et al.Finding deceptive opinion spam by any stretch of the imagination[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies-Volume 1.Association for Computational Linguistics,2011.

[14] Lappas T.Fake reviews:The malicious perspective[M]//Natural Language Processing and Information Systems.Springer Berlin Heidelberg,2012:23-34.

[15] Mukherjee A,Liu B,Wang J,et al.Detecting group review spam[C]//Proceedings of the 20th international conference companion on World Wide Web.ACM,2011:93-94.

[16] Mukherjee A,Liu B,Glance N.Spotting fake reviewer groups in consumer reviews[C]//Proceedings of the 21st international conference on World Wide Web.ACM,2012:191-200.

[17] Xie S,Wang G,Lin S,et al.Review spam detection via temporal pattern discovery[C]//Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining.ACM,2012:823-831.

[18] Hsu C W,Chang C C,Lin C J.A practical guide to support vector classification[J].Mehdi Namdari,2003.

ANALYSIS ON QUALITY INFLUENCING FACTORS OF USER REVIEWSON POPULAR B2C SHOPPING SITE

Liu Jie Fu Xiaodong*Liu Li Liu Lijun

(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,Yunnan,China)

Users’ online reviews are helpful for users to choose products or service online. However, hot sale products hold a large number of reviews which vary considerably in quality. Thus, it’s urgent to assess the quality of reviews and pick out the high-quality ones. It’s a great waste of time and effort for users who are invited by sites to assess the quality manually at present. In order to solve this problem, a method for automatically assessing the quality of reviews is proposed. The method would be implemented with SVM classifier which is based on reviews and reviewers respectively. The review data on popular domestic online retailer JD.com is chosen to be tested. Experimental results show that the accuracy of high-quality reviews assessing has achieved 87.5%. The experiment proves that the quantity feature of words and sentences which can characterize the amount of information could help assess the reviews’ quality well. However, the performance of usable votes and reply quantity feature didn’t help a lot for its lack of feedback from users. It performs the best when combining both review feature and reviewer feature.

Online review Quality of review Support vector machine (SVM)

2016-02-22。國家自然科學

71161015，61462056，61462051，81560296)。劉杰，碩士生，主研領域：服務計算。付曉東，教授。劉驪，副教授。劉利軍，講師。

TP3

A

10.3969/j.issn.1000-386x.2017.03.012