大數(shù)據(jù)背景下數(shù)據(jù)分析服務(wù)的市場(chǎng)分析

金里 對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)

我國近年來互聯(lián)網(wǎng)、大數(shù)據(jù)技術(shù)從普及逐步走向縱深發(fā)展，推動(dòng)了人工智能的覆蓋率，大數(shù)據(jù)存儲(chǔ)量逐年上升，同比增速保持40%左右，由于我國人口基數(shù)大，互聯(lián)網(wǎng)覆蓋率高，數(shù)據(jù)產(chǎn)生量居全球之首，且數(shù)據(jù)增幅高于全球平均水平，市場(chǎng)規(guī)模不斷擴(kuò)大。大數(shù)據(jù)技術(shù)在國際市場(chǎng)價(jià)值日益提升，數(shù)據(jù)分析服務(wù)應(yīng)迎合市場(chǎng)需求和國家有關(guān)政策，對(duì)相關(guān)門戶網(wǎng)站的數(shù)據(jù)信息進(jìn)行收集，并根據(jù)個(gè)人數(shù)據(jù)以及小型數(shù)據(jù)的需求、服務(wù)反饋等，對(duì)二者的優(yōu)缺點(diǎn)及發(fā)展趨勢(shì)做分析。

一、電商服務(wù)現(xiàn)狀分析

（一）淘寶

淘寶是我國電商領(lǐng)軍網(wǎng)購平臺(tái)之一，用戶注冊(cè)量和瀏覽量是電商網(wǎng)站之首，淘寶依靠自身的流量提供數(shù)據(jù)分析服務(wù)，但目前存在以下問題。首先，人工成本估算不準(zhǔn)確，數(shù)據(jù)收益機(jī)制運(yùn)作不成熟，商品沒有統(tǒng)一參考價(jià)格，同品類服務(wù)價(jià)格差異較大，客戶不能準(zhǔn)確找到與自身需求相契合產(chǎn)品。其次，平臺(tái)與客戶之間缺乏基本信任，數(shù)據(jù)把控和使用流量無法控制。淘寶注冊(cè)費(fèi)用較低，商家所承擔(dān)信用風(fēng)險(xiǎn)較低，很難保證個(gè)人權(quán)益。最后，電商銷售存在刷單行為，對(duì)交易的評(píng)價(jià)真?zhèn)坞y以辨別，存在誘導(dǎo)消費(fèi)風(fēng)險(xiǎn)。

（二）大型門戶網(wǎng)站

首先，采用火車采集器可以對(duì)商品明確定價(jià)，適合數(shù)據(jù)處理不需要太深入的客群使用，客戶可以根據(jù)自身的需求選擇相應(yīng)的版本，借助在線客服做服務(wù)指導(dǎo)。八爪魚采集器操作便捷，市場(chǎng)應(yīng)用廣泛，采集教程圖文并茂，更有視頻指導(dǎo)，客戶短時(shí)間內(nèi)易于掌握。采集軟件根據(jù)功能不同價(jià)位也有所區(qū)別，客戶選擇空間較大。其中包括電商采集、市場(chǎng)洞察、數(shù)據(jù)采集等，為不同客戶需求量身打造針對(duì)性方案。再次，前嗅采集器定價(jià)較火車采集器和八爪魚采集器定價(jià)更加詳實(shí)，前嗅可以自主選擇數(shù)據(jù)代采，還可以根據(jù)ForeSpider 采集引擎自行爬取數(shù)據(jù)，實(shí)現(xiàn)客戶數(shù)據(jù)的情感分析和語義識(shí)別。最后，集搜客有專門的爬蟲軟件，可以自行抓取數(shù)據(jù)和內(nèi)容分析。這些數(shù)據(jù)處理軟件與鳳凰網(wǎng)、中國電信等國內(nèi)大型門戶網(wǎng)站保持合作，提高行業(yè)影響力。

二、數(shù)據(jù)分析服務(wù)的商業(yè)需求

（一）淘寶：小型數(shù)據(jù)服務(wù)方

針對(duì)淘寶電商網(wǎng)站的有關(guān)圖片、郵費(fèi)、商品名、銷量、發(fā)貨地等字段采用爬蟲技術(shù)做數(shù)據(jù)分析，并去除掉不符合主題的噪聲數(shù)據(jù)，確保數(shù)據(jù)的有效性。

（二）門戶網(wǎng)站：大型數(shù)據(jù)服務(wù)方

1.火車采集器

互聯(lián)網(wǎng)應(yīng)用最廣泛的是火車采集器，其數(shù)據(jù)處理和分析能力較強(qiáng)，配置靈活，在數(shù)據(jù)采集領(lǐng)域性能較為突出，供客戶選擇的版本氛圍物種，基礎(chǔ)功能可免費(fèi)試用，根據(jù)功能區(qū)分付費(fèi)版本的付費(fèi)金額也不盡相同，客戶購買后可終身試用，贏得了眾多企業(yè)和個(gè)人用戶認(rèn)可。

2.八爪魚采集器

數(shù)據(jù)采集器是否受到客戶認(rèn)可，首先應(yīng)考核其是否操作方法是否便捷。八爪魚采集器使用者及時(shí)不懂網(wǎng)絡(luò)爬蟲技術(shù)，通過數(shù)據(jù)采集器輕松獲取相應(yīng)數(shù)據(jù)信息。目前八爪魚采集器有免費(fèi)和付費(fèi)兩種形式共七個(gè)版本，付費(fèi)版本價(jià)格區(qū)間跨度較大，根據(jù)客戶要求可有針對(duì)性制定節(jié)點(diǎn)，數(shù)據(jù)服務(wù)沒有固定價(jià)格，應(yīng)根據(jù)客戶需求制定相應(yīng)方案來確定價(jià)格。

3.前嗅智能大數(shù)據(jù)專家

前嗅是我國唯一具有自主知識(shí)產(chǎn)權(quán)的Web 服務(wù)器，可以實(shí)現(xiàn)數(shù)據(jù)采集、自然語言處理，制定和研究可視化報(bào)告等功能，服務(wù)起步價(jià)低廉，價(jià)格更加明確，劃分較多功能板塊，并根據(jù)客戶需求衍生多種服務(wù)。

4.集搜客GooSeeker

集搜客是可以把互聯(lián)網(wǎng)裝進(jìn)表格里的數(shù)據(jù)庫軟件，可以對(duì)網(wǎng)頁實(shí)現(xiàn)抓取和內(nèi)容分析，目前網(wǎng)絡(luò)爬蟲軟件除了免費(fèi)版本以外還有三個(gè)定制服務(wù)版本，根據(jù)功能不同，價(jià)格區(qū)間在49 元-20000 元之間。

每個(gè)門戶網(wǎng)站服務(wù)方所輻射客群有所不同，功能需求存在本質(zhì)區(qū)別。其中以數(shù)據(jù)采集為主打的軟件有火車采集器和八爪魚采集器，由于受眾客群不同、功能不同，價(jià)格差別也有所區(qū)別，火車采集器價(jià)格相對(duì)更加低廉。前嗅智能大數(shù)據(jù)專家功能更加齊全，包括大數(shù)據(jù)衍生服務(wù)等。集搜客重點(diǎn)服務(wù)文本的處理和情感分析需求的客群，市場(chǎng)定位是網(wǎng)頁抓取和內(nèi)容分析。以上門戶網(wǎng)站根據(jù)市場(chǎng)客戶需求，逐步擴(kuò)大自身技術(shù)優(yōu)勢(shì)，提高市場(chǎng)核心競(jìng)爭(zhēng)力。

三、數(shù)據(jù)調(diào)查與分析的方法及過程

隨著近年來爬蟲技術(shù)的深入發(fā)展，針對(duì)當(dāng)前小型數(shù)據(jù)和個(gè)人數(shù)據(jù)分析服務(wù)，對(duì)銷量、價(jià)格、客戶評(píng)分、大型電商網(wǎng)站服務(wù)質(zhì)量、種類和價(jià)格等做深入分析。

（一）價(jià)格分析

通過爬蟲軟件獲得的爬蟲價(jià)格信息價(jià)位多樣，單價(jià)金額較為隨機(jī)，淘寶電商零售平臺(tái)沒有明確分析標(biāo)準(zhǔn)，存在一定差異。商品標(biāo)價(jià)不是真實(shí)交易金額，交易價(jià)格存在一定彈性，經(jīng)過供需雙方交流后確定的。如果商品價(jià)格沒有明確標(biāo)準(zhǔn)，客戶在交易之前心理預(yù)期價(jià)格與實(shí)際價(jià)格不符，很難敲定實(shí)際交易價(jià)格，客戶難以做出快速選擇。

（二）月銷數(shù)量

爬蟲軟件爬取付款信息進(jìn)行分析（見圖1），單項(xiàng)付款人數(shù)最多為757 人，單項(xiàng)付款人數(shù)最少為0 人，月銷售量大于100 單的占爬蟲獲取付款信息的10%，通過分析付款信息無法判斷交易人數(shù)，由于每個(gè)交易人數(shù)同時(shí)可以拍下數(shù)單，例如單價(jià)200 元商品，客戶同時(shí)拍下3 單，實(shí)際付款為600 元。

圖1 月銷售數(shù)量占比

（三）高頻次關(guān)聯(lián)詞

由圖2 可見，爬蟲軟件爬取信息中，高頻詞匯有spss 出現(xiàn)61 次，可視化出現(xiàn)63 次，stata 出現(xiàn)31 次，爬蟲出現(xiàn)32 次，python 出現(xiàn)28 次，統(tǒng)計(jì)出現(xiàn)20 次，其中統(tǒng)計(jì)分析工具包括spss、stata、python，其中可視化出現(xiàn)頻次最高，表明客戶趨于對(duì)可視化功能的需求，所處領(lǐng)域不同，對(duì)數(shù)據(jù)分析工具要求也有所區(qū)別。

圖2 高頻關(guān)聯(lián)詞出現(xiàn)次數(shù)

（四）發(fā)貨地分析

由圖3 可見，爬蟲軟件爬取發(fā)貨地信息具體為，北京40 次，上海32 次，南京16次，深圳12 次，四大城市累計(jì)100 次，占比達(dá)到50%，表明上述四大城市數(shù)字發(fā)展領(lǐng)先國家其他城市。

圖3 發(fā)貨地分析

分析高頻詞出現(xiàn)次數(shù)、銷量、發(fā)貨地址等，其中小型數(shù)據(jù)服務(wù)方銷量高低不一，沒有明確定價(jià)標(biāo)準(zhǔn)，價(jià)格界限不清晰等，無法判斷實(shí)際銷量。其中從高頻詞出現(xiàn)次數(shù)的數(shù)據(jù)分析來看，其中可視化出現(xiàn)率最高，足以說明當(dāng)前客戶對(duì)可視化迫切需求；發(fā)貨地點(diǎn)占比較高的多為北京、上海等一線城市，表明數(shù)據(jù)經(jīng)濟(jì)與地方經(jīng)濟(jì)關(guān)系成正向發(fā)展關(guān)系。

四、結(jié)論與建議

電商數(shù)據(jù)分析服務(wù)通過前沿的科學(xué)技術(shù)手段進(jìn)行研判，獲取了以淘寶電商為代表的小型數(shù)據(jù)分析服務(wù)，證實(shí)目前結(jié)構(gòu)體系不完善，商品標(biāo)題應(yīng)添加關(guān)鍵詞，商品詳情界面缺乏相關(guān)服務(wù)的名稱、價(jià)格、范圍等，還需進(jìn)一步與客服溝通才能全部掌握。其中大型門戶網(wǎng)站的數(shù)據(jù)分析服務(wù)，其體系清晰明確，產(chǎn)品分類詳實(shí)，定價(jià)標(biāo)準(zhǔn)，明確服務(wù)的范圍，可以根據(jù)客戶需求推出主打產(chǎn)品，滿足不同客戶體驗(yàn)需求。我國數(shù)據(jù)資源發(fā)展起步較晚，面對(duì)技術(shù)瓶頸沒有能力轉(zhuǎn)化為商品化和資產(chǎn)化，質(zhì)量、定價(jià)、權(quán)屬等界定和評(píng)估能力不夠，無法形成有效流通。根據(jù)當(dāng)前狀況建議如下：首先，數(shù)據(jù)商品體系應(yīng)不斷走向商品化、資產(chǎn)化發(fā)展，并建立數(shù)據(jù)監(jiān)督機(jī)構(gòu)，過期和錯(cuò)誤等沒有實(shí)際應(yīng)用價(jià)值數(shù)據(jù)摒棄，監(jiān)督機(jī)構(gòu)可以控制數(shù)據(jù)的可靠性和可用性。其次，小型數(shù)據(jù)分析服務(wù)應(yīng)將所提供的服務(wù)價(jià)格和范圍界限劃定清晰，為客戶提供更加便捷、高效的數(shù)據(jù)服務(wù)，明確自身基本框架。最后，完善數(shù)據(jù)收益機(jī)制和人工成本核算機(jī)制。針對(duì)當(dāng)前淘寶和大型門戶網(wǎng)站的數(shù)據(jù)服務(wù)價(jià)格參考，各品類之間價(jià)格差異較大，構(gòu)建成熟的人工成本估算，可以避免客戶認(rèn)為價(jià)格高的就是好得心理，規(guī)避部分客戶為了節(jié)約成本而購買到假的數(shù)據(jù)信息。

五、結(jié)束語

我國數(shù)據(jù)化發(fā)展速度加快，引領(lǐng)市場(chǎng)經(jīng)濟(jì)發(fā)展，數(shù)據(jù)經(jīng)濟(jì)已經(jīng)覆蓋眾多領(lǐng)域。本文重點(diǎn)研究了數(shù)據(jù)電商服務(wù)框架、服務(wù)對(duì)象等，針對(duì)不同類型做出相應(yīng)的策略，表明，不同定價(jià)的數(shù)據(jù)電商服務(wù)，在數(shù)據(jù)獲取和定價(jià)上存在一定模糊因素，隨著大數(shù)據(jù)技術(shù)的進(jìn)一步開展，數(shù)據(jù)電商服務(wù)體系將逐步完善和成熟。