web數(shù)據(jù)挖掘在電商商品推薦的應(yīng)用

(北京物資學(xué)院 北京 101149)

一、引言

數(shù)據(jù)挖掘是隨著數(shù)據(jù)庫(kù)和人工智能技術(shù)的發(fā)展來(lái)的一種全新信息技術(shù)，尤其是現(xiàn)今處在大數(shù)據(jù)時(shí)代，電子商務(wù)的蓬勃發(fā)展為商業(yè)網(wǎng)站等營(yíng)銷平臺(tái)帶來(lái)越發(fā)白熱化的競(jìng)爭(zhēng)，而其中數(shù)據(jù)量龐大而知識(shí)匱乏的問(wèn)題愈演愈烈。

在這種情況下，進(jìn)行網(wǎng)絡(luò)交易活動(dòng)的商家越發(fā)需要具備較強(qiáng)的客戶信息挖掘、管理、組織以及利用能力，從而實(shí)現(xiàn)與客戶維護(hù)、客戶關(guān)系管理、客戶滿意度營(yíng)造有關(guān)的一系列工作的進(jìn)展。而實(shí)現(xiàn)這一系列目標(biāo)的一個(gè)重要的途徑，便是進(jìn)行有效的數(shù)據(jù)挖掘從而解決商家在電子商務(wù)發(fā)展過(guò)程中的瓶頸問(wèn)題，幫助其在激烈的市場(chǎng)競(jìng)爭(zhēng)中取得優(yōu)勢(shì)。對(duì)于當(dāng)前的商業(yè)領(lǐng)域，數(shù)據(jù)挖掘已經(jīng)成為備受關(guān)注的輔助決策工具，商家的業(yè)務(wù)發(fā)展趨勢(shì)、發(fā)展前景、決策制定的正確性以及競(jìng)爭(zhēng)地位的有利與否，都與其數(shù)據(jù)挖掘系統(tǒng)的有效性與實(shí)用性直接相關(guān)。因而能否做好這一環(huán)節(jié)成為電子商務(wù)運(yùn)營(yíng)商越發(fā)重視的課題。

二、數(shù)據(jù)挖掘與電子商務(wù)相關(guān)內(nèi)容

(一)數(shù)據(jù)挖掘的定義

Web數(shù)據(jù)挖掘，簡(jiǎn)稱Web挖掘，是由Oren Etzioni在1996年首先提出的，是數(shù)據(jù)挖掘和Web應(yīng)用研究相結(jié)合的領(lǐng)域。Web數(shù)據(jù)挖掘具有綜合性和交叉性的特征，它所涉及的技術(shù)是多方面的，包括數(shù)據(jù)挖掘、計(jì)算機(jī)技術(shù)、Web技術(shù)、數(shù)據(jù)庫(kù)技術(shù)、統(tǒng)計(jì)學(xué)、人工智能等多方面領(lǐng)域的技術(shù)，Web數(shù)據(jù)挖掘技術(shù)是各種技術(shù)在網(wǎng)絡(luò)環(huán)境下的相互融合。

(二)Web數(shù)據(jù)挖掘的流程

1.數(shù)據(jù)源的收集

數(shù)據(jù)收集方式之一便是建立服務(wù)日志，將用戶在訪問(wèn)時(shí)通過(guò)頁(yè)面請(qǐng)求所產(chǎn)生的信息全部記錄下來(lái)。另一種數(shù)據(jù)收集的方式便是客戶端采集方式，它在功能上比服務(wù)器數(shù)據(jù)采集更具有優(yōu)勢(shì)?？蛻舳藬?shù)據(jù)采集的方式可以通過(guò)遠(yuǎn)程代理的方式來(lái)實(shí)現(xiàn)，即通過(guò)客戶端的遠(yuǎn)程代理，直接向服務(wù)器發(fā)送客戶的訪問(wèn)行為及訪問(wèn)時(shí)間信息等。

Web挖掘的數(shù)據(jù)源主要有兩種形式的來(lái)源，一是儲(chǔ)存于Web上的各類文檔，二是用戶的相關(guān)訪問(wèn)數(shù)據(jù)。在Internet環(huán)境當(dāng)中，Web服務(wù)器可以自動(dòng)收集客戶的瀏覽信息并以日志文件的形式進(jìn)行保存。

2.數(shù)據(jù)的預(yù)處理

數(shù)據(jù)的預(yù)處理主要是指對(duì)網(wǎng)絡(luò)日志預(yù)處理后得到的數(shù)據(jù)與相關(guān)后臺(tái)數(shù)據(jù)進(jìn)行匹配，形成數(shù)據(jù)挖掘庫(kù)，也就是我們通常所說(shuō)的網(wǎng)絡(luò)購(gòu)買者特征倉(cāng)庫(kù)，所得到的信息將會(huì)被進(jìn)行歸納、總結(jié)。遵此原理，不同模塊中的信息都可以進(jìn)行抽取、清洗[8]。

3.數(shù)據(jù)的挖掘階段

在數(shù)據(jù)的預(yù)處理流程完成以后，就要進(jìn)行所獲得的信息的轉(zhuǎn)化，使其成為多維數(shù)據(jù)模型中的星型模式，Web數(shù)據(jù)挖掘的挖掘階段可舉例為如下步驟：確立目標(biāo)樣本；獲取特征信息；獲取網(wǎng)絡(luò)信息；信息特征匹配。

(三)電子商務(wù)的定義

電子商務(wù)是指用Internet和WWW通過(guò)電子信息傳輸進(jìn)行的各種商務(wù)活動(dòng)的過(guò)程，其中電子商務(wù)網(wǎng)站模塊主要由商品展示模塊、在線購(gòu)物模塊、支付模塊、評(píng)論模塊、賣家/買家管理模塊、搜索模塊等組成。

(四)電子商務(wù)的分類

根據(jù)電子商務(wù)所涉及的對(duì)象和商品內(nèi)容，我們可以將電子商務(wù)細(xì)分為八種，分別是B2B、B2C、C2C、C2B、F2C、B2Q和O2O模式，其中市場(chǎng)應(yīng)用最主流是B2B、B2C、O2O、C2C四種模式。

三、Web數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用

(一)電子商務(wù)中Web的挖掘的數(shù)據(jù)資源

對(duì)電子商務(wù)網(wǎng)站進(jìn)行Web挖掘時(shí)，數(shù)據(jù)來(lái)源具有類型多、數(shù)據(jù)量大、非結(jié)構(gòu)化等特點(diǎn)。通過(guò)對(duì)這些數(shù)據(jù)源進(jìn)行Web挖掘，能夠發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式信息，進(jìn)而了解用戶行為，對(duì)其進(jìn)行預(yù)測(cè)性分析，從而轉(zhuǎn)化為商業(yè)價(jià)值。

1.Web服務(wù)器端網(wǎng)頁(yè)數(shù)據(jù)及日志文件

在電子商務(wù)網(wǎng)站系統(tǒng)中，每個(gè)商品都是以Web頁(yè)面的形式呈現(xiàn)給用戶。它們主要是用于記錄用戶訪問(wèn)的相關(guān)信息，同時(shí)也是Web挖掘的一個(gè)重要來(lái)源。

2.代理服務(wù)器端數(shù)據(jù)

代理服務(wù)器相當(dāng)于在Web服務(wù)器和用戶瀏覽器之間充當(dāng)緩存功能的作用，這樣可以減少web服務(wù)器的信息流量并加快Web頁(yè)面的運(yùn)行速度。對(duì)代理服務(wù)器進(jìn)行Web挖掘，可以發(fā)現(xiàn)隱藏在數(shù)據(jù)中的用戶行為模式信息，了解用戶的訪問(wèn)模式，并且預(yù)測(cè)性的分析判斷，進(jìn)而能挖掘有潛在價(jià)值信息。

3.查詢數(shù)據(jù)

查詢數(shù)據(jù)是用戶在查找自己需要的信息時(shí)，在服務(wù)器端產(chǎn)生的記錄，是Web站點(diǎn)在服務(wù)器上生成的典型數(shù)據(jù)。

4.Web頁(yè)面鏈接關(guān)系

假如一個(gè)Web頁(yè)面被很多頁(yè)面所引用，則該頁(yè)面被認(rèn)為是一個(gè)關(guān)鍵頁(yè)面，這也是商家和企業(yè)所需要的知識(shí)模式，可以采用Web爬蟲來(lái)挖掘這類知識(shí)模式。

5.用戶注冊(cè)信息

用戶注冊(cè)信息指用戶在Web頁(yè)面上輸入并提交給服務(wù)器相關(guān)信息。為了提高挖掘的準(zhǔn)確度，用戶的個(gè)人背景信息在Web挖掘中和訪問(wèn)日志被集成在一起。

(二)電子商務(wù)中Web的挖掘過(guò)程

挖掘不是一個(gè)無(wú)人干預(yù)的自動(dòng)從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)的算法，而是一個(gè)分為多步驟的挖掘過(guò)程。其主要步驟如圖所示:

圖1 數(shù)據(jù)挖掘的過(guò)程

把Web挖掘的思想和方法應(yīng)用到電子商務(wù)中去，通過(guò)對(duì)用戶訪問(wèn)行為、內(nèi)容和頻度的分析，就可以得到關(guān)于群體用戶訪問(wèn)行為的信息。利用這些挖掘到的有價(jià)值的信息，電子商務(wù)網(wǎng)站可以有針對(duì)性的開展商務(wù)活動(dòng)。

(三)聚類分析在電子商務(wù)中的應(yīng)用

1.個(gè)性化服務(wù)的重要性

隨著電商規(guī)模的發(fā)展，個(gè)性化服務(wù)作為一種嶄新的智能信息服務(wù)提供方式，使得以往電商平臺(tái)主導(dǎo)的購(gòu)物體驗(yàn)方式轉(zhuǎn)變?yōu)榭蛻糁鲗?dǎo)。通過(guò)數(shù)據(jù)挖掘技術(shù)根據(jù)顧客瀏覽行為留下的后臺(tái)服務(wù)器日志進(jìn)行挖掘，能夠更好地理解用戶，找出用戶群體的行為規(guī)律以及用戶隱藏的購(gòu)買興趣，根據(jù)這些挖掘出來(lái)的知識(shí)制訂針對(duì)性的服務(wù)內(nèi)容和策略，按照用戶的個(gè)性化需求主動(dòng)提供推薦服務(wù)，能夠提高電子商務(wù)網(wǎng)站商品交叉銷售能力和用戶忠誠(chéng)度的同時(shí)得到潛在客戶。個(gè)性化服務(wù)已成為提高電商市場(chǎng)占有率的利器。

2.聚類分析模型

聚類分析的目的是將具有相似消費(fèi)行為模式的客戶聚集。在一個(gè)簇中，交易數(shù)據(jù)庫(kù)中記載了客戶每次交易購(gòu)買的商品。通常一個(gè)客戶在商務(wù)網(wǎng)站上有多次交易行為，因此，需要將一個(gè)客戶多次的交易記錄合并為一條記錄，用來(lái)反映該客戶的消費(fèi)行為。電子商務(wù)網(wǎng)站對(duì)客戶的消費(fèi)行為進(jìn)行挖掘生成記錄數(shù)據(jù)并合并，再合并后的數(shù)據(jù)集合提交給聚類分析模塊.將客戶群劃分為不同的簇。

圖2 基于聚類分析的推薦系統(tǒng)模型

3.電子商務(wù)網(wǎng)站用戶簇的劃分

對(duì)于電子商務(wù)模式的個(gè)性化服務(wù)，應(yīng)該建立在電商網(wǎng)站用戶分類的基礎(chǔ)之上，通過(guò)后臺(tái)對(duì)其購(gòu)買記錄的挖掘，判斷顧客所在的分類簇，在網(wǎng)站上現(xiàn)給他們展示符合其購(gòu)買習(xí)慣和需求的商品。

針對(duì)電子商務(wù)的購(gòu)物模式，其消費(fèi)群體可以劃分為以下幾類：

①第一次購(gòu)買的消費(fèi)者。瀏覽者已經(jīng)確定其所購(gòu)買的目標(biāo)商品，因此會(huì)通過(guò)站內(nèi)的搜索引擎通過(guò)關(guān)鍵字直接定位到相關(guān)商品，會(huì)仔細(xì)地瀏覽其商品詳細(xì)信息。

②經(jīng)常網(wǎng)購(gòu)的消費(fèi)者。他們?cè)谏唐窞g覽上會(huì)更具有針對(duì)性，而且也會(huì)注意到商品的銷量排行、評(píng)價(jià)排行以及促銷優(yōu)惠信息，并且會(huì)根據(jù)其促銷信息買一些自己暫時(shí)用不到的商品。

③正在比價(jià)的消費(fèi)者。這類顧客的瀏覽模式是集中于瀏覽同類商品，通過(guò)不斷地比較挑選性價(jià)比最高的商品。

④隨便看看的消費(fèi)者。這些瀏覽者基本上沒(méi)有明確的購(gòu)買商品目標(biāo)，只是簡(jiǎn)單地點(diǎn)擊商品瀏覽打發(fā)時(shí)間，碰到自己特別中意并且價(jià)格實(shí)惠會(huì)有一定的可能購(gòu)買，但幾率比較小，不是購(gòu)買主力軍。

⑤信息收集的消費(fèi)者。這些瀏覽者主要是收集大量商品信息，為以后購(gòu)買商品積累經(jīng)驗(yàn)。

這是劃分客戶群體的基礎(chǔ)，在了解各個(gè)群體購(gòu)買習(xí)慣的基礎(chǔ)之上就可以針對(duì)不同群體的客戶開展相應(yīng)的促銷方式。以便實(shí)現(xiàn)電子商務(wù)對(duì)顧客的個(gè)性化提供相應(yīng)的服務(wù)。

基于聚類分析方法，識(shí)別電子商務(wù)用戶行為，能夠在海量的、不規(guī)則的電子商務(wù)用戶行為數(shù)據(jù)中發(fā)現(xiàn)潛在用戶行為的數(shù)據(jù)模式，從而揭示出電子商務(wù)用戶行為數(shù)據(jù)中隱藏的規(guī)律，為電子商務(wù)發(fā)展提供有效的用戶營(yíng)銷決策，提升電子商務(wù)市場(chǎng)競(jìng)爭(zhēng)力。

(四)關(guān)聯(lián)分析在電子商務(wù)中的應(yīng)用

1.關(guān)聯(lián)分析和CRM

CRM即客戶關(guān)系管理，企業(yè)通過(guò)運(yùn)用CRM技術(shù)有效地管理公司和客戶之間的關(guān)系，最終目的是為了擴(kuò)大銷售額，占領(lǐng)更大的市場(chǎng)份額及獲取更多的經(jīng)濟(jì)效益。數(shù)據(jù)挖掘作為強(qiáng)有力的數(shù)據(jù)分析工具，面對(duì)電商的海量數(shù)據(jù)在管理和分析CRM的優(yōu)勢(shì)已經(jīng)凸現(xiàn)出來(lái)。

關(guān)聯(lián)分析最主要的現(xiàn)實(shí)應(yīng)用即為廣泛被熟知的“啤酒和尿布”的故事，關(guān)聯(lián)分析在電子商務(wù)中最主要的應(yīng)用主要體現(xiàn)在購(gòu)物籃的分析中。這種影響有兩種方式，即正面影響和負(fù)面影響。可以利用關(guān)聯(lián)分析對(duì)顧客的購(gòu)買行為模式進(jìn)行數(shù)據(jù)挖掘，針對(duì)顧客在瀏覽電商網(wǎng)站進(jìn)行購(gòu)物時(shí)在后臺(tái)服務(wù)器中留下了的訪問(wèn)信息，對(duì)這些歷史數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，可挖掘出顧客的購(gòu)買行為模式。進(jìn)而可以從中發(fā)現(xiàn)對(duì)于提高電子商務(wù)網(wǎng)站中商品交叉銷售率的知識(shí)和規(guī)率,提高網(wǎng)站的銷量。

2.關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)

當(dāng)客戶訪問(wèn)某一網(wǎng)頁(yè)時(shí)，一般會(huì)通過(guò)興趣詞條搜索出相關(guān)的興趣網(wǎng)頁(yè)通過(guò)鏈接繼續(xù)訪問(wèn),這種關(guān)聯(lián)產(chǎn)生的數(shù)據(jù)如果能夠按照某種策略進(jìn)行挖掘分析，統(tǒng)計(jì)出客戶訪問(wèn)某些頁(yè)面及興趣關(guān)聯(lián)頁(yè)面的比率，就可以很好的組織站點(diǎn)，實(shí)施有效的市場(chǎng)策略。為此，需要對(duì)頁(yè)面的節(jié)點(diǎn)、節(jié)點(diǎn)間的鏈接、興趣節(jié)點(diǎn)及興趣節(jié)點(diǎn)之間的關(guān)聯(lián)進(jìn)行說(shuō)明和定義，找出它門之間的關(guān)系。頁(yè)面節(jié)點(diǎn)可以定義為一個(gè)二元組(t,s)。頁(yè)面的鏈接可以表示為三元組(S-node,L,T-node)，其中S-node為源頁(yè)面節(jié)點(diǎn)，L為源頁(yè)面節(jié)點(diǎn)和目標(biāo)頁(yè)面節(jié)點(diǎn)的鏈節(jié)點(diǎn)，T-node目標(biāo)頁(yè)面節(jié)點(diǎn)。對(duì)興趣節(jié)點(diǎn)及興趣節(jié)點(diǎn)之間的關(guān)聯(lián)定義如下:

設(shè)I={i1,i2,……,in}為項(xiàng)目集,其中{i1,i2,……,in}為項(xiàng)目，表示電子商務(wù)網(wǎng)站中的商品集合。則興趣節(jié)點(diǎn)可定義為二元組(i,right)，簡(jiǎn)記為N(i),其中i∈I,right為i項(xiàng)目的權(quán)重。興趣節(jié)點(diǎn)的聯(lián)系稱為興趣關(guān)聯(lián)規(guī)則，用三元組(N(is),right,N(it))表示，其中right表示由興趣節(jié)點(diǎn)N(is)轉(zhuǎn)到興趣節(jié)點(diǎn)N(it)的權(quán)重，00.5時(shí)，客戶選擇瀏覽該節(jié)點(diǎn)的機(jī)會(huì)就很大。由于興趣關(guān)聯(lián)規(guī)則很多，因此可以將所有興趣關(guān)聯(lián)規(guī)則的集合表示為Rule。從Rule中找出有價(jià)值的規(guī)則作為興趣知識(shí)庫(kù)中的知識(shí)，當(dāng)客戶再次訪問(wèn)時(shí)，就可以從興趣知識(shí)庫(kù)的興趣關(guān)聯(lián)規(guī)則中找出相關(guān)的項(xiàng)目，從而判斷客戶可能進(jìn)行的訪問(wèn)鏈接。

3.關(guān)聯(lián)分析后的商品推薦

通過(guò)關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘結(jié)果組織商品展示方式，不但可以提高電商的交叉銷售額，也可以讓顧客體驗(yàn)到更好的購(gòu)物服務(wù)。

根據(jù)顧客的需求周期，運(yùn)用關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘，可以從中發(fā)現(xiàn)常駐客戶，電商可以通過(guò)客戶的購(gòu)買規(guī)律進(jìn)行一些促銷返利活動(dòng)使他們更加青睞在這一電商網(wǎng)站進(jìn)行網(wǎng)購(gòu)。同時(shí)也達(dá)到了客戶關(guān)系的良好維護(hù)。

實(shí)現(xiàn)針對(duì)電子商務(wù)的個(gè)性化服務(wù)，提高顧客購(gòu)買體驗(yàn)服務(wù)質(zhì)量顧客的購(gòu)買習(xí)慣不是一成不變的，會(huì)隨著時(shí)間而發(fā)生改變，互聯(lián)網(wǎng)信息時(shí)巧客戶偏好的不斷改變，因此要不斷地進(jìn)行關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘快速掌握客戶購(gòu)買習(xí)慣的改變，并且及時(shí)調(diào)整應(yīng)對(duì)策略，才能緊跟時(shí)代把握客戶需求。同時(shí)電商可以通過(guò)CMR管理使用關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘技術(shù)對(duì)客戶歷史瀏覽記錄信息所挖掘的知識(shí)，預(yù)測(cè)市場(chǎng)潛在消費(fèi)需求，及時(shí)調(diào)整相應(yīng)服務(wù)以做出相應(yīng)的正確決策。

基于關(guān)聯(lián)規(guī)則技術(shù)的電子商務(wù)用戶資源管理通過(guò)對(duì)后臺(tái)海量信息的數(shù)據(jù)挖掘可以發(fā)現(xiàn)隱藏其中的知識(shí)，電商可以對(duì)其制定針對(duì)性的營(yíng)銷方式，給網(wǎng)購(gòu)客戶提高相應(yīng)的個(gè)性化服務(wù)，促進(jìn)管理創(chuàng)新和技術(shù)創(chuàng)新，最終能夠幫助電商提高銷售額和市場(chǎng)占有率。

四、總結(jié)與展望

本文首先闡述了數(shù)據(jù)挖掘和電子商務(wù)的相關(guān)知識(shí)，包括數(shù)據(jù)挖掘的功能和技術(shù)，電子商務(wù)的分類和發(fā)展，然后將數(shù)據(jù)挖掘應(yīng)用到電子商務(wù)中的以數(shù)據(jù)挖掘技術(shù)進(jìn)行了詳細(xì)闡述，將以數(shù)據(jù)挖掘主要用到的關(guān)聯(lián)規(guī)則法和聚類分析法進(jìn)行了簡(jiǎn)單介紹。

本文初步運(yùn)用挖掘的思想,分析了電子商務(wù)的日志,得到了一些有用的規(guī)則。這對(duì)于擴(kuò)大數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用具有十分積極的意義。相信隨著研究工作的不斷深入,將為這方面的研究工作獻(xiàn)出更多的力量。