基于用戶評(píng)論大數(shù)據(jù)挖掘的導(dǎo)向應(yīng)用系統(tǒng)設(shè)計(jì)

謝卓亨 邱金波

（廣東石油化工學(xué)院 電子信息工程學(xué)院，廣東 茂名 525000）

1 前言

根據(jù)最新的數(shù)據(jù)顯示，我國(guó)網(wǎng)民規(guī)模為8.02億，互聯(lián)網(wǎng)普及率達(dá)57.7%，截止2018年6月，我國(guó)網(wǎng)絡(luò)購(gòu)物用戶規(guī)模達(dá)5.69億。手機(jī)網(wǎng)絡(luò)購(gòu)物用戶規(guī)模達(dá)到5.57億，使得網(wǎng)絡(luò)店鋪數(shù)量如雨后春筍一般。隨之而來的是不斷的呈現(xiàn)在網(wǎng)民面前的各大網(wǎng)絡(luò)商城，如淘寶網(wǎng)、聚美優(yōu)品、京東商城、易購(gòu)等，用戶選購(gòu)的時(shí)候，面對(duì)網(wǎng)絡(luò)上大量的參齊不齊的評(píng)價(jià)數(shù)據(jù)，用戶消費(fèi)者無(wú)法直觀簡(jiǎn)潔地獲取到該商品的有效 信息。

2 系統(tǒng)的設(shè)計(jì)方案

本文首先分析電商信譽(yù)評(píng)價(jià)體系特點(diǎn)，了解其評(píng)價(jià)指標(biāo)以及每個(gè)指標(biāo)具有的實(shí)時(shí)性和評(píng)分標(biāo)準(zhǔn)，以及產(chǎn)品綜合評(píng)分的評(píng)判指標(biāo)和評(píng)分計(jì)算方法。運(yùn)用python語(yǔ)言的Scrapy框架獲取大量的用戶評(píng)價(jià)信息，并存入mysql數(shù)據(jù)庫(kù)，再利用自然語(yǔ)言SonwNLP文本情感分析系統(tǒng)，對(duì)mysql數(shù)據(jù)庫(kù)中的用戶評(píng)價(jià)進(jìn)行逐句分詞處理。隨即，運(yùn)用關(guān)聯(lián)規(guī)則挖掘算法找出客戶評(píng)價(jià)中描述產(chǎn)品特性的詞匯，并提取出與該產(chǎn)品特性詞匯相關(guān)聯(lián)的觀點(diǎn)詞以及觀點(diǎn)詞的極性。最后，利用建好的數(shù)學(xué)模型和算法并用django和pyecharts數(shù)據(jù)的可視化為消費(fèi)者提供真實(shí)可靠的寶貴信息。

3 各功能模塊設(shè)計(jì)

3.1 數(shù)據(jù)準(zhǔn)備—網(wǎng)絡(luò)爬蟲

首先，根據(jù)選定的研究對(duì)象，利用Scrapy（Scrapy是一種用于抓取網(wǎng)站和提取結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用程序框架，可用于廣泛的有用應(yīng)用程序，如數(shù)據(jù)挖掘，信息處理或歷史存檔。）和requests對(duì)特定數(shù)據(jù)進(jìn)行爬取，然后，對(duì)分散的數(shù)據(jù)按照一定的規(guī)則或格式合并，并存入數(shù)據(jù)庫(kù)。

3.2 數(shù)據(jù)處理—基于評(píng)論內(nèi)容的評(píng)價(jià)指標(biāo)賦值

對(duì)選取的數(shù)據(jù)進(jìn)行在處理，檢查數(shù)據(jù)的完整性和一致性，消除噪音，濾除與數(shù)據(jù)無(wú)關(guān)的冗余數(shù)據(jù)。通過已經(jīng)建立的評(píng)價(jià)指標(biāo)體系, 需要將用戶在線 評(píng)論內(nèi)容中的各個(gè)觀點(diǎn)與上述指標(biāo)一一對(duì)應(yīng)并將用戶 的觀點(diǎn)以及情感強(qiáng)度量化為具體數(shù)值。

SonwNLP數(shù)據(jù)的分析，詞表構(gòu)建，利用Python的Snownlp進(jìn)行中文分詞（Character-Based Generative Model），詞性標(biāo)注（TnT 3-gram 隱馬），情感分析，文本分類（Naive Bayes），提取評(píng)論關(guān)鍵字（TextRank算法），在利用大量的買家在線評(píng)價(jià)內(nèi)容、二次評(píng)價(jià)、買家信用等級(jí)、采集時(shí)間等數(shù)據(jù)，建立數(shù)學(xué)模型。

3.3 溫?cái)?shù)據(jù)的可視化—展示大數(shù)據(jù)

采集為了買家能夠直接地獲取到有用的大數(shù)據(jù)，將采用django（一個(gè)高級(jí)的Python Web框架，采用MVC的架構(gòu)模式）+pyecharts（pyecharts是一個(gè)用于生成Echarts圖表的類庫(kù)）將數(shù)據(jù)可視化展示。

3.4 核心技術(shù)要點(diǎn)

3.4.1 Scrapy爬蟲技術(shù)

通過抓包抓取各大電商的評(píng)論url，并且分析參數(shù)。并且對(duì)不符合條件的數(shù)據(jù)進(jìn)行清洗，消除錯(cuò)誤、冗余和數(shù)據(jù)噪音，以此保證數(shù)據(jù)質(zhì)量。

例如某件商品的質(zhì)量無(wú)法劃分為5個(gè)等級(jí)，而是通過用戶對(duì)商品質(zhì)量好壞的觀點(diǎn)描述及情感傾向來判定其商品質(zhì)量是否滿足用戶的需求，進(jìn)而反映網(wǎng)商的信用。因此用戶評(píng)論所涉及的評(píng)價(jià)指標(biāo)的量化實(shí)際上是根據(jù)情感詞的褒貶詞性以及情感傾向度按照一定的標(biāo)準(zhǔn)進(jìn)行量化后為其所描述的屬性詞進(jìn)行賦值的過程。

3.4.2 Snownlp建模

通過對(duì)大量電子商務(wù)平臺(tái)的觀察與分析，構(gòu)建能夠?qū)?yīng)網(wǎng)商信用度評(píng)價(jià)指標(biāo)的屬性詞表利用Snownlp對(duì)篩選出了的評(píng)論依次進(jìn)行分詞處理。根據(jù)構(gòu)建的屬性詞表篩選出來的評(píng)論進(jìn)行查找匹配，保留匹配成功的屬性詞，并檢查匹配成功的屬性詞是否滿足要求的覆蓋范圍, 符合要求則保留該條評(píng)論。

情感分類的基本模型是貝葉斯模型Bayes，對(duì)于有兩個(gè)類別c1和c2的分類問題來說，其特征為w1,…,wn，特征之間是相互獨(dú)立的，屬于類別c1的貝葉斯模型的基本過程為：

3.4.3 用戶評(píng)論量化的基礎(chǔ)

光敏確定指標(biāo)的量化公式，在用戶的評(píng)論中，既包含屬性詞，同時(shí)還包含對(duì)屬性詞進(jìn)行描述的動(dòng)詞和形容詞以及描述情感強(qiáng)度的副詞，為了達(dá)到統(tǒng)一的評(píng)分標(biāo)準(zhǔn)，在進(jìn)行量化前筆者根據(jù)上述屬性詞表對(duì)評(píng)價(jià)指標(biāo)的得分按照一定的得分規(guī)則進(jìn)行賦值。通過語(yǔ)義分析可以看出，電子商務(wù)環(huán)境下用戶大多數(shù)評(píng)論內(nèi)容中的詞語(yǔ)組合較為淺顯易懂，搭配比較簡(jiǎn)單，例如:“形容詞+副詞”的形式最為普遍，因此可以定義指標(biāo)得分公式為:

其中，s為指標(biāo)最終得分，i為屬性詞的初始值，默認(rèn)為3分，j為副詞的極性得分，如果句子中沒出現(xiàn)副詞則默認(rèn)為1分，k為動(dòng)詞或形容詞極性得分。

4 結(jié)論

本設(shè)計(jì)通過交互控制界面可以實(shí)現(xiàn)用戶評(píng)論大數(shù)據(jù)挖掘的導(dǎo)向應(yīng)用等功能，還可以提供對(duì)大量數(shù)據(jù)進(jìn)行情感分析的數(shù)據(jù)基礎(chǔ)。對(duì)實(shí)際應(yīng)用的大型電子商務(wù)網(wǎng)站的建立，優(yōu)化有一定的工程設(shè)計(jì)應(yīng)用參考意義。