北大荒米業(yè)競(jìng)爭(zhēng)對(duì)手產(chǎn)品評(píng)論數(shù)據(jù)挖掘

安 翔，李世鑫 ，白 雪 ，杜禹墨

（哈爾濱商業(yè)大學(xué)a.基礎(chǔ)科學(xué)學(xué)院；b.經(jīng)濟(jì)學(xué)院，哈爾濱150028）

一、研究的背景與意義

隨著電子商務(wù)的快速發(fā)展，使得網(wǎng)絡(luò)購(gòu)物成為人們選購(gòu)商品的重要途徑之一京東、淘寶、天貓等電商平臺(tái)崛起，使得互聯(lián)網(wǎng)上集中出現(xiàn)大量的商品評(píng)論信息。與線下實(shí)體店購(gòu)物不同，網(wǎng)絡(luò)購(gòu)物時(shí)人們會(huì)更關(guān)注網(wǎng)絡(luò)上的商品評(píng)價(jià)信息。這些信息包含了已購(gòu)買者對(duì)商品各方面的主觀評(píng)價(jià)，對(duì)商品的褒貶評(píng)價(jià)在很大程度上影響著人們的購(gòu)買決策。

北大荒米業(yè)智淘電子商務(wù)有限公司為黑龍江省北大荒米業(yè)集團(tuán)有限公司下屬子公司，業(yè)務(wù)范圍涉及京東、淘寶、天貓超市、蘇寧、一號(hào)店等國(guó)內(nèi)主流電子商務(wù)平臺(tái)，以及跨境電商等業(yè)務(wù)。該公司分析了2017年銷售收入增長(zhǎng)較慢的主要原因，并提出相應(yīng)對(duì)策：“指定主要競(jìng)爭(zhēng)對(duì)手：中糧和十月稻田，針對(duì)其主打產(chǎn)品，調(diào)整產(chǎn)品包裝和品類，搶占市場(chǎng)份額，調(diào)整產(chǎn)品結(jié)構(gòu)。”

本項(xiàng)目針對(duì)以上對(duì)策，從相應(yīng)電商平臺(tái)爬取上述競(jìng)爭(zhēng)對(duì)手產(chǎn)品的評(píng)論數(shù)據(jù)，進(jìn)行文本挖掘，為北大荒米業(yè)提供決策依據(jù)。

二、網(wǎng)絡(luò)爬蟲(chóng)

（一）傳統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)

網(wǎng)絡(luò)爬蟲(chóng)又稱作網(wǎng)絡(luò)蜘蛛或者網(wǎng)頁(yè)追逐者等，其主要負(fù)責(zé)網(wǎng)絡(luò)上的數(shù)據(jù)的收集工作。網(wǎng)絡(luò)爬蟲(chóng)為人們批量獲取互聯(lián)網(wǎng)信息提供了可能性。

在本文中，網(wǎng)絡(luò)爬蟲(chóng)的任務(wù)是從天貓超市和京東商城網(wǎng)頁(yè)中把海量的消費(fèi)者文本評(píng)論數(shù)據(jù)提取下來(lái)，為本文的情感分析提供最原始的分析數(shù)據(jù)。而傳統(tǒng)的爬蟲(chóng)方式存在后期處理任務(wù)冗余、目的性不強(qiáng)、資源浪費(fèi)等缺點(diǎn)。因此，筆者引入了現(xiàn)代網(wǎng)絡(luò)爬蟲(chóng)方式。

（二）現(xiàn)代網(wǎng)絡(luò)爬蟲(chóng)

現(xiàn)代網(wǎng)絡(luò)爬蟲(chóng)技術(shù)大多可以自動(dòng)生成爬蟲(chóng)，節(jié)省時(shí)間。但就操作性而言，集搜客爬蟲(chóng)網(wǎng)站專注于網(wǎng)頁(yè)數(shù)據(jù)采集，它能比較方便地爬取網(wǎng)頁(yè)數(shù)據(jù)，它是先通過(guò)MS謀數(shù)臺(tái)是用來(lái)制作網(wǎng)頁(yè)抓取規(guī)則，包括模擬點(diǎn)擊、翻頁(yè)規(guī)則、抓取內(nèi)容等，再利用DS打數(shù)機(jī)根據(jù)建立的規(guī)則采集網(wǎng)頁(yè)數(shù)據(jù)。所以集搜客屬于“易用型”，它主要通過(guò)模仿用戶的網(wǎng)頁(yè)操作進(jìn)行數(shù)據(jù)采集，只需要指定數(shù)據(jù)采集邏輯和可視化選擇采集的數(shù)據(jù)，即可完成采集規(guī)則的制定。

三、評(píng)論文本的采集與預(yù)處理

（一）數(shù)據(jù)的采集

1.數(shù)據(jù)來(lái)源

參考2017年電商平臺(tái)大米銷量的綜合排名，以北大荒米業(yè)主要競(jìng)爭(zhēng)對(duì)手為主，選擇出了三種具有代表性的大米產(chǎn)品，它們分別是：中糧出品的蘇軟香、十月稻田出品的長(zhǎng)粒香以及稻花香。本項(xiàng)目分別在天貓超市和京東商城中抓取了以上三種大米產(chǎn)品的消費(fèi)者文本評(píng)論，每種大米產(chǎn)品的約在五千條評(píng)論，以此作為研究對(duì)象。

2.使用工具

一是集搜客。GooSeeker是一個(gè)集Web網(wǎng)頁(yè)抓取、數(shù)據(jù)抽取、提取頁(yè)面信息等功能于一體的工具包，主要由 MetaStudio、DataScraper、MetaCamp、DataStore構(gòu)成。該工具能依照操作人的意愿，從網(wǎng)頁(yè)頁(yè)面上篩選出所需信息，并輸出含有語(yǔ)義結(jié)構(gòu)的提取結(jié)果文件。鑒于集搜客目前的功能較為穩(wěn)定，使用面較廣，而且操作上較為簡(jiǎn)易。因此，本項(xiàng)目選用的抓取工具是集搜客。

二是R語(yǔ)言。在數(shù)據(jù)挖掘分析中，本項(xiàng)目選擇使用R語(yǔ)言實(shí)現(xiàn)。相比于其他專業(yè)統(tǒng)計(jì)分析軟件，R語(yǔ)言使用免費(fèi)且不失專業(yè)性。可以大幅度降低成本、提高數(shù)據(jù)分析效率。

（二）數(shù)據(jù)的預(yù)處理

得到產(chǎn)品評(píng)論數(shù)據(jù)之后，由于大多評(píng)論數(shù)據(jù)是用戶的口語(yǔ)化表達(dá)，不乏錯(cuò)別字以及冗余的信息存在。因此，需要對(duì)抓取的數(shù)據(jù)進(jìn)行預(yù)處理。本項(xiàng)目根據(jù)實(shí)際需求和查閱相關(guān)文獻(xiàn)，得到以下數(shù)據(jù)預(yù)處理的具體方法。數(shù)據(jù)預(yù)處理模塊主要由兩個(gè)部分組成：對(duì)評(píng)論數(shù)據(jù)進(jìn)行文本去重和壓縮去詞。

1.文本去重

先對(duì)測(cè)試數(shù)據(jù)集進(jìn)行數(shù)據(jù)去重與清洗，去重是指去除數(shù)據(jù)中重復(fù)或廣告等惡意評(píng)論；清洗是為了清除數(shù)據(jù)中基于特定模板的垃圾信息，從而得到較為純凈的無(wú)歧義的評(píng)論集。文本去重的方法有很多，包括編輯距離去重、Simhash算法去重等，但是大多都存在一些缺陷，經(jīng)過(guò)研究對(duì)比后，本文采用比較刪除法這種相對(duì)簡(jiǎn)單的文本去重思路。文本去重過(guò)程主要針對(duì)以下三類評(píng)論。

一是電商系統(tǒng)自動(dòng)評(píng)論。一些電商平臺(tái)往往會(huì)在客戶長(zhǎng)時(shí)間不進(jìn)行評(píng)論時(shí)，會(huì)有系統(tǒng)自動(dòng)替客戶做出評(píng)論，這種評(píng)論沒(méi)有任何意義并且完全相同，所以有必要對(duì)這些數(shù)據(jù)進(jìn)行去重處理。

二是同一個(gè)人可能會(huì)出現(xiàn)重復(fù)的評(píng)論。可能會(huì)出現(xiàn)相同的顧客購(gòu)買多種大米，然后在進(jìn)行評(píng)論的過(guò)程在多個(gè)大米中采用同樣或相近的評(píng)論。

三是存在無(wú)意義數(shù)據(jù)。除了上述惡意重復(fù)的數(shù)據(jù)外，一些其他無(wú)意義的數(shù)據(jù)也要進(jìn)行刪除。如廣告鏈接和標(biāo)簽等，廣告通常都是一條網(wǎng)址鏈接形式，可能存在符號(hào)、文字等無(wú)意義的信息。標(biāo)簽中含有的無(wú)法匹配的情感詞也會(huì)對(duì)后續(xù)數(shù)據(jù)分析工作產(chǎn)生影響。

2.壓縮去詞

壓縮去詞主要針對(duì)含有冗余的信息、語(yǔ)法錯(cuò)誤及成分殘缺的句子進(jìn)行人工的濾除和修正。為了更好的提高數(shù)據(jù)的準(zhǔn)確性，本文有必要對(duì)評(píng)論句子進(jìn)行壓縮去詞。例如，評(píng)論：“好吃好吃好吃好吃好吃好吃好吃”經(jīng)過(guò)壓縮去詞處理，就變成：“好吃”。

四、評(píng)論的特征分析與主題詞提取

（一）基于詞云的可視化分析

為了探索上述三種不同大米的評(píng)論文本集包含的信息，進(jìn)而挖掘出這三種不同大米的特征，從中更好地提煉出大米的賣點(diǎn)，本文基于R語(yǔ)言統(tǒng)計(jì)高頻詞并且制作詞云，通過(guò)可視化技術(shù)進(jìn)行分析，將評(píng)論文本數(shù)據(jù)轉(zhuǎn)換成直觀的、可交互的展現(xiàn)形式，以利于更好的發(fā)現(xiàn)數(shù)據(jù)中隱藏的特征、關(guān)系和模式。本文將每種品牌大米預(yù)處理得到的評(píng)論看做一個(gè)整體，作為初始文本數(shù)據(jù)，利用R語(yǔ)言進(jìn)行編程設(shè)計(jì)，得到結(jié)果如下表。

表1 對(duì)稻花香評(píng)論的詞頻統(tǒng)計(jì)結(jié)果（前30個(gè)特征詞）

表2 對(duì)長(zhǎng)粒香評(píng)論的詞頻統(tǒng)計(jì)結(jié)果（前30個(gè)特征詞）

表3 對(duì)蘇軟香評(píng)論的詞頻統(tǒng)計(jì)結(jié)果（前30個(gè)特征詞）

至此，已經(jīng)由R語(yǔ)言分詞，去除無(wú)用詞后，統(tǒng)計(jì)詞頻得到了三種品牌大米的特征詞，可以看到，提取的特征詞包括了大米的各個(gè)方面，因?yàn)楸疚闹性u(píng)論都來(lái)自于電商平臺(tái)，自然地“物流”一次成為最主要的關(guān)注點(diǎn)，但值得注意的是，這并不屬于大米的特征詞；除此之外，味道、質(zhì)量、包裝、優(yōu)惠活動(dòng)都是消費(fèi)者較為關(guān)注的特征。但是這些特征詞一共有幾百多個(gè)不同的詞語(yǔ)，十分分散，無(wú)法直接利用這些分散的特征詞作為評(píng)價(jià)大米的指標(biāo)。為了明確在所有的評(píng)論中消費(fèi)者具體關(guān)注了大米的哪些方面的問(wèn)題，本文接下來(lái)考慮采用LDA主題模型，提取大米電商評(píng)論中的共同主題，通過(guò)評(píng)論中包含的共同主題反映消費(fèi)者的關(guān)注點(diǎn)，并以此作為下文情感傾向標(biāo)注的指標(biāo)體系。

（二）基于LDA模型提取主題詞

如果一篇文檔有多個(gè)主題，則一些特定的可代表不同主題的詞語(yǔ)會(huì)反復(fù)出現(xiàn)，此時(shí)，運(yùn)用主題模型，能夠發(fā)現(xiàn)文本中使用詞語(yǔ)的規(guī)律，并且把規(guī)律相似的文本聯(lián)系到一起，以尋求非結(jié)構(gòu)化的文本集中的有用信息。例如，對(duì)于大米的商品評(píng)論，代表大米特征的詞語(yǔ)如“口感”、“包裝”、“質(zhì)量”等會(huì)頻繁地出現(xiàn)在評(píng)論中，運(yùn)用主題模型，將與大米代表性特征相關(guān)的情感描述性詞語(yǔ)，同相應(yīng)的特征詞語(yǔ)聯(lián)系起來(lái)，從而深入了解大米評(píng)價(jià)的聚焦點(diǎn)即生成相應(yīng)的主題詞。LDA模型作為其中一種主題模型，屬于無(wú)監(jiān)督的生成式主題概率模型。

本文使用LDA模型的目的在于，從網(wǎng)絡(luò)評(píng)論中發(fā)現(xiàn)消費(fèi)者主要關(guān)注的大米屬性，并找出屬性包含的大米特征詞，以便將分散的大米特征詞歸并為少數(shù)幾個(gè)大米屬性之中，即主題詞。

本文實(shí)現(xiàn)LDA模型采用的是R語(yǔ)言中l(wèi)da程序包。類似K-Mean方法，LDA模型也要預(yù)先設(shè)定提取的主題個(gè)數(shù)。由于三種不同品牌的大米特點(diǎn)各不相同，銷售方式也略有差別，消費(fèi)者對(duì)于不同品牌的大米評(píng)論可能存在較大差異，因此本文查閱相關(guān)資料，經(jīng)過(guò)多次試驗(yàn)對(duì)比，將提取的主題個(gè)數(shù)設(shè)置為5個(gè)的提取效果最佳，這樣提取主題詞，更有利于后期情感傾向標(biāo)注。利用R語(yǔ)言進(jìn)行編程設(shè)計(jì)，得到的主題詞如下表。

表4 所有消費(fèi)者評(píng)論的前五個(gè)主題結(jié)果

物流——指消費(fèi)者通過(guò)電商平臺(tái)購(gòu)買某種大米之后，對(duì)于發(fā)貨速度以及到貨所需時(shí)間的滿意程度，雖然該詞不屬于大米的特征，但由于網(wǎng)購(gòu)的自身特點(diǎn)，該詞也是影響評(píng)論情感傾向的一個(gè)重要因素。該主題詞涉及的評(píng)論如：“物流快，非常好!”“物流快。購(gòu)物方便。”

口感——指消費(fèi)者食用了該大米之后，作出的相關(guān)評(píng)價(jià)。相當(dāng)于是實(shí)際使用之后，再進(jìn)行的一種評(píng)論，所以參考價(jià)值較高。并且，該詞本身也是食品類商品的重要特征詞，自然地，該詞出現(xiàn)的頻率也較高。該主題詞涉及的評(píng)論如下：“半年多以來(lái)，一直買這種大米，家人都說(shuō)好吃，口感好，又是2017年的新米，好評(píng)!”“經(jīng)常吃這大米，很香，熬粥粘稠，特好吃。”

品質(zhì)——指大米產(chǎn)品的綜合指標(biāo)，包括大米是否新鮮、包裝是否完好等，一系列大米產(chǎn)品的特征。該主題詞涉及的評(píng)論如下：“喜歡，質(zhì)量好，包裝好，一直很滿意。”“一直吃這款大米，質(zhì)量好，味道香，日期新鮮，東北大米，香好吃。”

價(jià)格——指消費(fèi)者對(duì)某種大米價(jià)格的看法。因?yàn)閮r(jià)格是與商品聯(lián)系最為緊密的一個(gè)屬性，該詞包含的特征詞出現(xiàn)的頻率也較高，但大體上只分為兩種“物有所值”或“質(zhì)次價(jià)高”。該主題詞涉及的評(píng)論如下：“很好，比超市便宜很多，經(jīng)常買，值得推薦。”“不怎么好吃，但是價(jià)格也不便宜”

活動(dòng)——指電商平臺(tái)或者商家自身推出的優(yōu)惠活動(dòng)、節(jié)日促銷活動(dòng)等，有些消費(fèi)者若是正好趕上某種優(yōu)惠活動(dòng)，可能就會(huì)作出更多的積極評(píng)價(jià)。而且，對(duì)于商家，也是一個(gè)增加銷量的機(jī)會(huì)。該主題詞涉及的評(píng)論如下：“搞活動(dòng)時(shí)很便宜，實(shí)惠”“米的味道不錯(cuò)，吃起來(lái)口感挺好的，有優(yōu)惠下次還買。”“活動(dòng)買的，價(jià)格便宜。品質(zhì)好，效率高。”

五、情感傾向標(biāo)注

結(jié)合上文的結(jié)果，本小節(jié)對(duì)五個(gè)大米主題詞進(jìn)行情感標(biāo)注，據(jù)此可以判斷主題詞包含特征詞的情感傾向，進(jìn)而得到積極評(píng)論所占百分比，即消費(fèi)者對(duì)于某個(gè)主題的滿意度。分別得到三種不同品牌大米在同一主題詞下的消費(fèi)者滿意度，觀察彼此之間的異同，就可以對(duì)比得出不同品牌大米的特點(diǎn)。

本文采用了基于情感詞典的方法對(duì)大米特征詞的情感傾向進(jìn)行判斷。借鑒目前極性詞典建設(shè)過(guò)程中的成功做法，本文著手構(gòu)建一部滿足該研究需要的情感詞典，該詞典包括：知網(wǎng)（HowNet）詞典、大連理工大學(xué)的情感本體詞匯、程度詞詞典、同義詞詞林。

基于情感詞典方法的主要思想如下。

一是對(duì)于情感詞典內(nèi)包含的詞語(yǔ)，直接依靠情感詞典進(jìn)行標(biāo)注。

二是對(duì)于情感詞典內(nèi)未包含的詞語(yǔ)，利用同義詞林，計(jì)算其與HowNet中詞語(yǔ)的相似度，據(jù)此對(duì)該詞進(jìn)行標(biāo)注。

三是否定詞處理，一句話中若出現(xiàn)奇數(shù)次否定詞，則該句話的情感傾向應(yīng)發(fā)生轉(zhuǎn)變。所以，統(tǒng)計(jì)出否定詞出現(xiàn)次數(shù)的奇偶性判斷是否需要轉(zhuǎn)變情感傾向。

在R語(yǔ)言中進(jìn)行編程設(shè)計(jì)之后，得到三種不同品牌大米在同一主題詞下的消費(fèi)者滿意度，如圖所示。

圖 消費(fèi)者對(duì)各主題滿意度的直方圖

由上圖可知：

一是在物流方面，由于抓取的評(píng)論來(lái)源于不同的電商平臺(tái)，在某種程度上，物流之間的評(píng)論并不能完全體現(xiàn)出差別，所以三種不同品牌的大米消費(fèi)者對(duì)于物流之間的差距甚微、滿意度基本持平，各品牌之間的差異不大，均在72.5%。

二是在口感方面，三種品牌大米就有了較為明顯的差異。其中，屬于東北米的長(zhǎng)粒香大米獲得了83.3%消費(fèi)者的青睞，反觀稻花香和蘇軟香大米，在口感方面，消費(fèi)者滿意度分別為41.8%與63.2%。

三是在品質(zhì)方面，蘇軟香大米獲得消費(fèi)者滿意度最高，為72.1%，主要體現(xiàn)在該類評(píng)論中：“包裝是真空袋，不易破損、漏氣”由于包裝好，所以大米新鮮，消費(fèi)者滿意度自然就提高了。反觀，稻花香大米，它獲得的滿意度最低，為43.5%，與蘇軟香大米相比較，主要是由于包裝不好，導(dǎo)致破損，漏氣，從而影響消費(fèi)者的滿意度。雖然長(zhǎng)粒香大米的口感最好，但在綜合品質(zhì)方面，其消費(fèi)者滿意度也僅為一半。

四是在價(jià)格方面，呈現(xiàn)出與在品質(zhì)方面類似的趨勢(shì)。蘇軟香大米滿意度仍為最高，為62.9%。稻花香大米依然最低，為42.6%。長(zhǎng)粒香大米表現(xiàn)也中規(guī)中矩，為51.8%。

五是在活動(dòng)方面，出現(xiàn)了反常的態(tài)勢(shì)，稻花香大米滿意度最高，長(zhǎng)粒香與蘇軟香相差無(wú)幾，均在一半左右。

六、結(jié)論

對(duì)北大荒米業(yè)提出以下建議。

一是作為東北地區(qū)的米業(yè)公司，必須要牢固把握自身產(chǎn)品的特色。重所周知，東北米晶瑩剔透、顆粒飽滿。無(wú)論是煮粥還是做米飯，都軟糯香甜。所以，東北米的質(zhì)量無(wú)論是在口感還是外觀上，都是蘇北米以及其它地區(qū)的大米不能比擬的。強(qiáng)調(diào)這一事實(shí)，符合消費(fèi)者購(gòu)物的求實(shí)心理，從而在競(jìng)爭(zhēng)激烈的米業(yè)市場(chǎng)能擁有一片天地。

二是產(chǎn)品的包裝不容忽視。上文曾提到，雖然蘇軟香大米口感欠佳，但它的包裝做的好，所以也能更多地吸引消費(fèi)者的注意。故本文建議北大荒米業(yè)在原有的包裝技術(shù)基礎(chǔ)上，盡可能地提升自己產(chǎn)品的包裝質(zhì)量，以及美觀程度，從求異心理的角度深深吸引消費(fèi)者的眼光。

三是同種產(chǎn)品價(jià)格越低滿意度越高，企業(yè)應(yīng)想盡方法降低成本、壓低價(jià)格為消費(fèi)者提供更大的優(yōu)惠，薄利多銷實(shí)現(xiàn)雙贏。

四是對(duì)于產(chǎn)品的相關(guān)促銷活動(dòng)也不能少，無(wú)論是線下，還是線上，都應(yīng)適量舉行促銷活動(dòng)，提高產(chǎn)品知名度和影響力，從而一定程度上提升產(chǎn)品競(jìng)爭(zhēng)軟實(shí)力。