Web數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用

延麗平

摘 要： 電子商務(wù)的迅猛發(fā)展產(chǎn)生了海量的Web數(shù)據(jù)，從電子商務(wù)的大數(shù)據(jù)中發(fā)現(xiàn)潛在的、有用的知識(shí)和信息，是電子商務(wù)健康發(fā)展的需要。在電子商務(wù)中應(yīng)用Web數(shù)據(jù)挖掘技術(shù)，可實(shí)現(xiàn)從電子商務(wù)的Web文檔和Web活動(dòng)中抽取出隱藏的有用模式。本文通過(guò)介紹Web數(shù)據(jù)挖掘技術(shù)，分析其在電子商務(wù)中的挖掘流程，對(duì)其在電子商務(wù)中的具體應(yīng)用進(jìn)行了探討。

關(guān)鍵詞： 電子商務(wù)； Web挖掘； 數(shù)據(jù)挖掘； 大數(shù)據(jù)

中圖分類(lèi)號(hào)：TP311.1 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2016）03-43-02

Application of Web data mining technology in E-commerce

Yan Liping

（Guangzhou Vocational College of Technology & Business， Guangzhou， Guangdong 511442， China）

Abstract： The rapid development of E-commerce has produced massive Web data， to discover the potential and useful knowledge and information from the big data of E-commerce is the need of the healthy development of electronic commerce. Application of Web data mining technology in e-commerce can extract hidden useful model from Web documents and Web activities of E-commerce. In this paper， the Web data mining technology is introduced， its mining process in E-commerce is analyzed， and its application in E-commerce is discussed.

Key words： E-commerce； Web mining； data mining； big data

0 引言

我國(guó)電子商務(wù)交易量增長(zhǎng)迅猛，電子商務(wù)平臺(tái)和網(wǎng)站越來(lái)越多，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)。面對(duì)海量的Web數(shù)據(jù)，對(duì)企業(yè)而言，構(gòu)建良好的客戶(hù)管理關(guān)系，吸引新客戶(hù)留住老客戶(hù)，發(fā)現(xiàn)顧客潛在的購(gòu)買(mǎi)興趣等都成為了企業(yè)要關(guān)注的問(wèn)題。對(duì)用戶(hù)而言，如何從爆炸式的大數(shù)據(jù)中發(fā)現(xiàn)與自己相關(guān)的信息存在一定的難度。數(shù)據(jù)挖掘技術(shù)是一種從大量的、不完全的、有噪聲的、隨機(jī)的、模糊的數(shù)據(jù)中提取隱含在其中的人們事先不知道的，但又具有潛在價(jià)值的信息和知識(shí)的技術(shù)[1-2]。在電子商務(wù)中應(yīng)用數(shù)據(jù)挖掘技術(shù)，從已有的信息數(shù)據(jù)中挖掘出潛在的有用的信息，已成為人們關(guān)注和研究的熱點(diǎn)。

1 Web數(shù)據(jù)挖掘

Web數(shù)據(jù)挖掘是將傳統(tǒng)的數(shù)據(jù)挖掘思想和技術(shù)應(yīng)用于Web環(huán)境中，從Web文檔集和Web活動(dòng)中抽取出感興趣、潛在的、有用的模式和知識(shí)的過(guò)程。Web數(shù)據(jù)挖掘根據(jù)Web信息不同可以分為Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用挖掘三個(gè)方面。

Web內(nèi)容挖掘是從文檔內(nèi)容或其描述中直接抽取有用信息的過(guò)程，通過(guò)對(duì)文本內(nèi)容的檢索，獲取和提煉知識(shí)和信息。用于Web內(nèi)容挖掘的數(shù)據(jù)既有無(wú)結(jié)構(gòu)的自由文本，也有網(wǎng)民留言、帖子、中文微博等半結(jié)構(gòu)化的信息和來(lái)自于數(shù)據(jù)庫(kù)的結(jié)構(gòu)數(shù)據(jù)。所以Web內(nèi)容挖掘需要從Web頁(yè)面及后臺(tái)數(shù)據(jù)庫(kù)中開(kāi)展挖掘任務(wù)，從大量元數(shù)據(jù)、文本、視頻、音頻等網(wǎng)絡(luò)數(shù)據(jù)集中找到特定的信息[2]。

Web結(jié)構(gòu)挖掘是從Web組織結(jié)構(gòu)和鏈接中推導(dǎo)知識(shí)，對(duì)頁(yè)面進(jìn)行分類(lèi)、聚類(lèi)，提高檢索效率和找出權(quán)威頁(yè)面，目的是發(fā)現(xiàn)頁(yè)面的內(nèi)部結(jié)構(gòu)和文檔間的結(jié)構(gòu)，利用這些結(jié)構(gòu)蘊(yùn)含的信息幫助發(fā)現(xiàn)有用的知識(shí)和模式。超鏈接是Web頁(yè)面的基本元素，經(jīng)常可以利用超鏈接對(duì)Web結(jié)構(gòu)進(jìn)行挖掘。進(jìn)行Web結(jié)構(gòu)挖掘的常用算法有計(jì)算頁(yè)面權(quán)威的PageRank算法、基于網(wǎng)頁(yè)分析的HITS算法等。

Web使用挖掘是從服務(wù)器端記錄的用戶(hù)訪問(wèn)日志或用戶(hù)的瀏覽信息中獲取數(shù)據(jù)，通過(guò)分析這些數(shù)據(jù)抽取出隱藏在這些數(shù)據(jù)后面的用戶(hù)模式，進(jìn)行預(yù)測(cè)性分析。通過(guò)Web使用挖掘，可以發(fā)現(xiàn)隱藏的與用戶(hù)訪問(wèn)行為相關(guān)的規(guī)律，如頻繁訪問(wèn)路徑、相似用戶(hù)群和相似的Web頁(yè)面等[3]。

2 面向電子商務(wù)的Web數(shù)據(jù)挖掘

2.1 Web數(shù)據(jù)挖掘過(guò)程

在電子商務(wù)環(huán)境下，Web數(shù)據(jù)挖掘過(guò)程要經(jīng)歷以下幾步，它是不斷反復(fù)修正的過(guò)程，直至得到準(zhǔn)確的知識(shí)，如圖1所示。

⑴ 確定挖掘任務(wù)，建立挖掘模型。構(gòu)建模型的任務(wù)主要是將數(shù)據(jù)進(jìn)行規(guī)格化處理，使用不同的算法、調(diào)整參數(shù)來(lái)優(yōu)化挖掘任務(wù)，數(shù)據(jù)挖掘技術(shù)本身就是一個(gè)不斷反復(fù)、不斷迭代的過(guò)程，通過(guò)多次的循環(huán)構(gòu)造才能得出更好的評(píng)估模型[2]。

⑵ 數(shù)據(jù)源：電子商務(wù)網(wǎng)站每天都會(huì)產(chǎn)生海量的交易數(shù)據(jù)和用戶(hù)訪問(wèn)記錄，收集的數(shù)據(jù)數(shù)量和質(zhì)量都會(huì)影響到挖掘的結(jié)果。由于Web的結(jié)構(gòu)大體為客戶(hù)端→代理服務(wù)器→Web服務(wù)[4]，所以Web的數(shù)據(jù)源主要有Web服務(wù)器上的Web日志文件、從代理服務(wù)器端收集信息及其從Web頁(yè)面中提取數(shù)據(jù)等。

⑶ 數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理的目的是提高挖掘效率，提供有效的挖掘數(shù)據(jù)，使得結(jié)果更合理。Web文檔的數(shù)據(jù)很多都是半結(jié)構(gòu)或非結(jié)構(gòu)化的，很難對(duì)采集的Web數(shù)據(jù)直接進(jìn)行處理。采集的Web數(shù)據(jù)需根據(jù)挖掘主題選擇相關(guān)的數(shù)據(jù)項(xiàng)，經(jīng)過(guò)初步的篩選，縮小數(shù)據(jù)處理范圍。另外，Web數(shù)據(jù)具有不完全性、冗余性和模糊性等特性，通過(guò)補(bǔ)全不完全項(xiàng)、去除冗余項(xiàng)、處理模糊項(xiàng)等，去掉無(wú)用、不合理的數(shù)據(jù)，最后生成標(biāo)準(zhǔn)的數(shù)據(jù)集。

⑷ 模式發(fā)現(xiàn)：根據(jù)挖掘需求選擇合適的Web挖掘算法和工具，實(shí)現(xiàn)從數(shù)據(jù)集發(fā)現(xiàn)潛在的、有用的知識(shí)和模型。常用的Web挖掘算法有：路徑分析用來(lái)發(fā)現(xiàn)Web站點(diǎn)中最經(jīng)常被訪問(wèn)的路徑；關(guān)聯(lián)規(guī)則用于關(guān)聯(lián)知識(shí)的發(fā)現(xiàn)，了解網(wǎng)頁(yè)之間的關(guān)系；序列模式可以挖掘出交易集之間有時(shí)間序列關(guān)系的模式；運(yùn)用分類(lèi)和聚類(lèi)算法對(duì)數(shù)據(jù)進(jìn)行分組等Web挖掘。

⑸ 模式分析：對(duì)于發(fā)現(xiàn)的模式進(jìn)行驗(yàn)證、解釋、說(shuō)明，獲取對(duì)決策支持有用的信息。根據(jù)模式分析的反饋，如果沒(méi)有得到合適的結(jié)果，重復(fù)上述步驟，重新挖掘知識(shí)，直至得到滿意的結(jié)果。

⑹ 結(jié)果可視化：Web數(shù)據(jù)挖掘的意義不是獲取龐大的數(shù)據(jù)信息，而是要將獲取的知識(shí)或者模型采取用戶(hù)可理解的方式展現(xiàn)給用戶(hù)，這意味著要將分析結(jié)果可視化。數(shù)據(jù)可視化主要是借助于圖形化手段，依據(jù)數(shù)據(jù)本身及其內(nèi)在的模式和關(guān)系，清晰有效地傳達(dá)與溝通信息。

2.2 Web數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用

將Web數(shù)據(jù)挖掘技術(shù)應(yīng)用在電子商務(wù)中，從技術(shù)角度，可以提供優(yōu)化網(wǎng)站結(jié)構(gòu)和頁(yè)面的策略；從商家角度，可以增加交叉銷(xiāo)售量，盡可能將瀏覽者變?yōu)橄M(fèi)者；從用戶(hù)角度，為用戶(hù)提供了個(gè)性化服務(wù)。以下是Web數(shù)據(jù)挖掘在電子商務(wù)中的具體應(yīng)用。

⑴ 改進(jìn)站點(diǎn)的訪問(wèn)效率。通過(guò)對(duì)Web結(jié)構(gòu)和Web日志的分析，對(duì)Web頁(yè)面之間的組織關(guān)系、引用關(guān)系和超鏈接關(guān)系的分析，可以挖掘用戶(hù)網(wǎng)頁(yè)瀏覽行為模式、頁(yè)面瀏覽情況等，對(duì)頁(yè)面的重要性進(jìn)行評(píng)估，有助于商家重新調(diào)整頁(yè)面結(jié)構(gòu)和頁(yè)面布局，改進(jìn)Web站點(diǎn)設(shè)計(jì)，提升訪問(wèn)效率，吸引更多用戶(hù)。

⑵ 提供個(gè)性化服務(wù)。電子商務(wù)的快速發(fā)展，為用戶(hù)提供了更多的選擇，同時(shí)，面對(duì)電商網(wǎng)站眾多的商品和越來(lái)越復(fù)雜的網(wǎng)站結(jié)構(gòu)，如何能快速查找到自己感興趣的商品是一個(gè)費(fèi)時(shí)費(fèi)力的問(wèn)題。個(gè)性化服務(wù)是電子商務(wù)網(wǎng)站爭(zhēng)取更多用戶(hù)、防止用戶(hù)流失以及實(shí)現(xiàn)市場(chǎng)目標(biāo)的重要手段。協(xié)同過(guò)濾算法是目前使用最多、應(yīng)用最成熟的一種推薦技術(shù)[5]。在電子商務(wù)中，運(yùn)用協(xié)同過(guò)濾等推薦算法，構(gòu)建基于Web電子商務(wù)的個(gè)性化推薦系統(tǒng)，可以制定不同的個(gè)性化營(yíng)銷(xiāo)策略。

⑶ 商品推薦服務(wù)。運(yùn)用聚類(lèi)、分類(lèi)、關(guān)聯(lián)規(guī)則等數(shù)據(jù)挖掘技術(shù)，可以從用戶(hù)的訪問(wèn)數(shù)據(jù)中發(fā)現(xiàn)商品之間的聯(lián)系，挖掘用戶(hù)感興趣的商品。比如通過(guò)用戶(hù)購(gòu)買(mǎi)商品A，推導(dǎo)出商品B也是用戶(hù)感興趣的商品。通過(guò)基于Web電子商務(wù)的智能推薦系統(tǒng)，客戶(hù)可以在較短時(shí)間內(nèi)購(gòu)買(mǎi)到滿意的商品，同時(shí)增加商家的交叉銷(xiāo)售量。

⑷ 識(shí)別電子商務(wù)潛在客戶(hù)。通過(guò)對(duì)Web已有的老客戶(hù)數(shù)據(jù)的公共屬性、類(lèi)別關(guān)鍵屬性及其屬性間的相互關(guān)系進(jìn)行分析，建立分類(lèi)模型。對(duì)于一個(gè)新的用戶(hù)，根據(jù)已建立的分類(lèi)模型，對(duì)新用戶(hù)進(jìn)行正確的分類(lèi)，根據(jù)類(lèi)別判斷用戶(hù)是否潛在客戶(hù)。

⑸ 理解客戶(hù)意圖。通過(guò)分析用戶(hù)的瀏覽路徑等多個(gè)數(shù)據(jù)源，運(yùn)用路徑游歷模式等發(fā)現(xiàn)算法，發(fā)現(xiàn)被頻繁訪問(wèn)的路徑，從而發(fā)現(xiàn)用戶(hù)的真實(shí)訪問(wèn)意圖。

3 結(jié)束語(yǔ)

Web挖掘能夠在海量的大數(shù)據(jù)中尋找出潛在的有用的信息和知識(shí)，Web挖掘技術(shù)在電子商務(wù)中的應(yīng)用越來(lái)越廣泛，制作基于Web挖掘的個(gè)性化推薦系統(tǒng)、智能化的電子商務(wù)系統(tǒng)已經(jīng)成為電商網(wǎng)站的發(fā)展趨勢(shì)。但同時(shí)電子商務(wù)數(shù)據(jù)存在異構(gòu)性、規(guī)模大、復(fù)雜性等特點(diǎn)，使得傳統(tǒng)的Web挖掘技術(shù)遇到挑戰(zhàn)，下一步需要深入研究針對(duì)電子商務(wù)數(shù)據(jù)的Web挖掘算法。

參考文獻(xiàn)（References）：

[1] 中國(guó)新聞網(wǎng).上半年電子商務(wù)交易額約為5.66萬(wàn)億同比增

30.1%. http：//www.chinanews.com/gn/2014/07-29/6437457.shtml，2014-7-29

[2] 張素智，曲旭凱，張琳.基于電子商務(wù)的Web數(shù)據(jù)挖掘研究[J].

現(xiàn)代計(jì)算機(jī)（專(zhuān)業(yè)版），2015.9：12-18

[3] 于小兵，郭順生，黃小榮.基于Web使用挖掘的智能電子商務(wù)

及其應(yīng)用[J].計(jì)算機(jī)集成制造系統(tǒng)，2010.16（2）：439-446

[4] 周梅.Web挖掘技術(shù)在電子商務(wù)的應(yīng)用研究[J].商場(chǎng)現(xiàn)代

化.2009.6：83-84

[5] 馬小龍.基于協(xié)作過(guò)濾算法的電子商務(wù)個(gè)性化推薦系統(tǒng)的研

究[J].微型機(jī)與應(yīng)用，2014.33（15）：13-15