商品口碑數據情感分析及可視化方法研究

謝蕙 李峰 穆文慧

摘要：研究電子商務領域口碑數據分析的完整流程框架，從數據獲取、數據預處理、數據情感分析再到可視化展示四個流程模塊，重點探討對口碑數據進行情感分析的方法和合理的數據可視化方案，探索如何把口碑數據以更加直觀的可視化形式展示給用戶。

關鍵詞：口碑數據;數據獲取;預處理;情感分析;可視化

一、研究背景

近年來，隨著互聯網技術的不斷發展和居民可支配收入的穩定增長，使得網絡購物成為中國網民不可或缺的消費渠道之一，網購用戶規模也穩定增長。電子商務的蓬勃發展豐富了消費者的購物渠道，網絡購物成為主流消費方式，消費者也越來越喜歡在網絡平臺上公開分享自己對商品的購買體驗，表達自己對商品的看法。因此，電商平臺上的商品評論信息大量出現。這些口碑數據對其他消費者的購買決策產生巨大影響，也使得商家開始關注用戶對自家產品的口碑數據，激勵商家將更好的產品展示給消費者，滿足消費者的個性化需求。

二、研究目的和意義

電商平臺擁有數億的用戶背景，而龐大交易數據背后的海量口碑數據不容忽視。大量研究顯示，一方面，這些商品口碑數據對其他消費者的購買行為和商家的產品銷售產生重要大影響;另一方面，數量巨大、種類繁多、時效性高的評論數據，給消費者和商家也帶來了信息過載、檢索低效等問題，大量冗余的評論數據嚴重干擾了消費者和商家對目標信息的準確定位和快速選擇。同時，現有的評論數據多是文本展示，并且存在大量無效評論和過度的主觀描述等一系列問題，對于想要準確購買目標商品的消費者和要優化產品和服務的商家而言，要獲取準確的評論信息較為困難。

因此，論文研究電商平臺的商品口碑數據，既可以輔助消費者進行購買決策，又可以幫助商家提取有效的反饋信息進行產品優化，具有十分重要的現實意義。

三、研究現狀和趨勢

基于商品口碑數據對消費者和商家產生的巨大影響，目前，國內外有很多學者從各種角度對互聯網各大電商平臺數據進行分析和研究。

孫妮使用數據抓取處理工具和數據分析工具研究B2C購物網站消費者的在線評價信息，分析了網絡購物群體的行為規律[1]。劉冰等人對喜茶“網紅店”的網絡口碑數據進行分析，挖掘網紅型創業企業網絡口碑中的核心要素，剖析其對消費者購買行為的影響[2]。羅翔曦通過爬蟲程序獲取商品的評價和屬性等基本數據，提取商品屬性和評價詞，計算出商品的推薦指標[3]。

基于以上研究，論文將以電商平臺的商品口碑數據為研究對象，研究對海量口碑數據進行情感分析的方法，同時研究數據可視化方案，以期輔助消費者快速進行購買決策，幫助商家有效提取反饋信息進行產品優化。

四、商品口碑數據情感分析及可視化方法研究研究思路

首先通過爬蟲技術對電子商務網站爬取商品的用戶評論數據，對這些數據進行去重、壓縮、刪除無效評論等預處理，然后這些數據進行情感分析，建立數據模型，獲取商品所具有的優缺點，設計可視化流程，實現可視化圖表方案。論文依據此研究思路，給出了電子商務領域口碑數據分析的完整流程框架，即從數據獲取、數據預處理、數據情感分析再到可視化展示四個流程模塊，重點研究和探討對口碑數據進行情感分析的方法和合理的數據可視化方案。

1. 獲取商品口碑數據

論文使用Python中的網絡爬蟲框架爬取商品的口碑數據，獲取商品的評論信息，將爬取的數據結果存儲在csv文件中。首先利用Chrome瀏覽器對某電子商城的網頁源代碼進行分析，構造初始頁面URL，采集店鋪地址URL，找到商品詳情頁URL，抓取第一頁的商品評論信息，判斷該頁是否是評論信息的最后一頁，如果是最后一頁，就結束爬取，否則，繼續循環模擬翻頁，獲取下一頁URL，抓取該頁評論信息，直到爬取到最后一頁，爬取結束。

2. 口碑數據預處理

最初爬取到的評論數據存在較大的重復評論以及較多的無用評論，這些數據將會對數據的有效性情感分析產生干擾，因此，要對評論數據進行預處理。預處理過程主要包括：去重、壓縮、刪除無效評論等。

其中，去重的主要目的是為了去重評論數據中的重復部分，以起到去除重復評論的作用。本研究去重算法的主要思想是利用算法分析文本之間的相似度，再根據相似度的高低進行文本去重;

壓縮的主要目的是去掉一條評論語句中連續出現的重復內容。研究發現，連續重復的內容會出現在一條評論的開頭或結尾，所以壓縮操作主要是對語句開頭或結尾的重復內容進行壓縮處理，以便得到較為精煉的評論語句。

3. 口碑數據情感分析方法研究

情感分析的主要目的是識別用戶在評論文本中表達的情感信息，了解人們對于某些事物的偏好或者是對于某些社會現象的觀點。這里需要針對在電子商務網站獲取的商品評論數據，對文本進行分詞、詞性標注、提取文本關鍵詞、進行情感分析等處理，從而對數據文本進行褒義、貶義和中性的判斷。

目前常用的數據情感分析方法主要有基于情感詞典的數據情感分析方法、基于機器學習的數據情感分析方法、基于深度學習的數據情感分析方法。[4]

（1）基于情感詞典的數據情感分析方法

該方法是一種較早的數據情感分析方法，首先使用現有的知識資源構建情感詞典，然后基于情感詞典，構建規則對數據進行情感判斷。該方法需要把詞匯或者詞語根據情感性進行分類，比如，可以根據極性分類為積極、消極、中性等類別，構建不同的情感詞典。判斷情感類別時，可以根據該詞包含的明確情感性得分標記該詞的極性。

（2）基于機器學習的數據情感分析方法

該方法首先提取合適的特征，然后設計分類算法，建立數據分類模型，根據特征項進行數據分類。這里的特征提取，其實是一種降維方法，通過統計學方法對特征詞進行選取，抽取隱含的知識規則，挖掘詞義的信息，獲取情感分析模型中更有價值的數據特征，即提升機器學習模型的效果。

（3）基于深度學習的數據情感分析方法

宋帆在“基于深度學習的商品評論情感分析方法研究”中提出基于深度學習的數據情感分析方法，該方法可以學習模仿人類的認知習慣，把特征提取和分類建模緊密關聯，并且通過網絡參數學習自動提取特征項。深度學習囊括機器學習領域，深度神經網絡旨在效仿人的大腦對信息的分析、加工、處理過程，獲取有價值的特征。

基于情感詞典的數據情感分析方法和基于機器學習的數據情感分析方法都要依賴于實現劃分好的情感字典或特征項，情感字典或特征項對情感判斷有著關鍵影響。而基于深度學習的數據情感分析方法，可以學習模仿人類認知習慣，將特征提取和分類建模緊密關聯，通過網絡參數學習自動提取特征，針對分類模型設計合理的學習網絡結構，能更好地應對商品評論信息中的語句的歧義性、多意性、情感反置等現象。

4. 數據的可視化分析方法研究

數據可視化是利用計算機圖形學和圖像處理技術，將數據轉換成圖形圖像在屏幕上顯示出來，并進行交互處理的理論、方法和技術，把分析得到的口碑數據以直觀的可視化圖表形式展示在用戶面前時，用戶便能快速獲取數據背后隱藏的信息，以提高獲取數據價值的準確性和效率，獲得更好的用戶體驗。

（1）詞云圖

詞云圖是口碑數據可視化研究中心常用的一種工具。對口碑數據進行情感分析以后，按照詞頻降序排列，畫出排序較靠前的詞匯的詞云圖，根據詞語情感分類不同，可以分別畫出正面評論詞云圖和負面評論詞云圖。詞云圖能直觀地把高頻詞匯通過顏色和大小展現給觀眾，能夠將文本信息更加直觀、準確地呈現出來。

（2）可視化模型技術[5]

可以選擇使用一些可視化模型技術突出數據與數據之間的特性。比如，圖表類、抽象類似物、具象類似物、隱喻圖案等這些經典的可視化模型也通過不同的展示方式暗示了數據間的聯系。

其中，圖表類是一種較常用的數據可視化方法，可以突出顯示數據分析結論的科學性，同時也有助于在進行數據分析的過程中輔助觀眾發現數據的關鍵信息，便于進行探索式的數據發現。

五、結論

論文提出了電子商務領域口碑數據分析的完整流程框架，即從數據獲取、數據預處理、數據情感分析再到可視化展示四個流程模塊。電商大數據作為一個擁有龐大數據規模的產業，將其有效應用將對電商行業產生巨大影響，本論文所研究的口碑數據的情感分析和可視化分析是其中非常重要的內容，在精準策劃、精準營銷、提升用戶體驗、提高數據服務等方面都有廣泛的應用前景。

參考文獻

[1]基于B2C網站商品咨詢和評論的網絡消費者行為規律研究.孫妮;陳進;汪菲.圖書情報工作.2014-06-15.152-156.

[2]喜茶“網紅店”網絡口碑的大數據分析.劉冰;張華思;羅超亮.廣西民族大學學報（哲學社會科學版）.2018-11-15. 118-126.

[3]多屬性電商信息采集和推薦系統研究.羅翔曦.云南大學.碩士論文.2018-05.

[4]基于深度學習的商品評論情感分析方法研究.宋帆.陜西科技大學.碩士論文.2020-05.

[5]大數據環境下數據分析與可視化核心技術研究.王宇寧.北京郵電大學.碩士論文.2015-12.

1112500520352