Ｗｅｂ挖掘在電子商務系統(tǒng)中的應用

[摘要] 本文闡述了在電子商務應用中，利用Web挖掘技術，有效地將用戶訪問過程中的數(shù)據(jù)記錄到日志文件中，并對日志文件進行有效地分析和挖掘；利用Apriori改進算法FT－樹增長算法，找出對電子商務系統(tǒng)有指導作用的關聯(lián)規(guī)律。

[關鍵詞] 電子商務 數(shù)據(jù)挖掘 日志挖掘 知識發(fā)現(xiàn) 人工智能

隨著電子商務的發(fā)展，企業(yè)的數(shù)據(jù)越來越多，而當其數(shù)據(jù)積累到一定程度時，必然會反映出一定規(guī)律性的東西，也就是說，企業(yè)的海量、分布、動態(tài)、復雜、非結構化的數(shù)據(jù)中蘊含有可以為其利用的規(guī)律。因此，人們迫切希望使用一種技術，從中挖掘出具有價值的規(guī)律來，形成對企業(yè)的技術和經(jīng)營的指導。數(shù)據(jù)挖掘技術是可以用來挖掘這些規(guī)律的一種有效工具。

Web中包含的豐富和動態(tài)的超鏈接信息，以及Web頁面的訪問和使用信息，為數(shù)據(jù)挖掘提供了豐富的資源。如何對Web中的數(shù)據(jù)進行有效的資源和知識發(fā)現(xiàn)，是Web挖掘需要解決的問題。

一、Web信息數(shù)據(jù)的特征

傳統(tǒng)數(shù)據(jù)挖掘的信息局限于數(shù)據(jù)庫中的結構化數(shù)據(jù)，而Web信息數(shù)據(jù)是半結構化或非結構化的，具有如下特征: 一是大規(guī)模海量數(shù)據(jù)信息。二是信息分布廣泛。三是異質、動態(tài)的信息源。Web及其數(shù)據(jù)的更新、增長速度極快， Web上的信息幾乎都是隱藏的、未知的。四是信息具有豐富的內涵。既有涉及各方面豐富的信息內容，又蘊涵著訪問頁面、路徑、時間、用戶IP地址等這些潛在的訪問信息。

二、數(shù)據(jù)挖掘及Web挖掘技術

1.數(shù)據(jù)挖掘

數(shù)據(jù)挖掘，又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)，近幾年來已被數(shù)據(jù)庫界所廣泛研究。它是在數(shù)據(jù)倉庫或大型數(shù)據(jù)庫的基礎上，從大量的、模糊的、隨機的數(shù)據(jù)中提取出數(shù)據(jù)間重要的但容易被人工分析忽略的知識和信息。數(shù)據(jù)挖掘技術涉及數(shù)據(jù)庫、人工智能、神經(jīng)網(wǎng)絡、預測理論、機器學習和統(tǒng)計學等多種相關技術。數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KDD）是從大量數(shù)據(jù)中提取出可信的、新穎的、有效的并能被人們理解的模式的高級處理過程。模式可以看作是我們所說的知識，它給出了數(shù)據(jù)的特性或數(shù)據(jù)之間的關系，是對數(shù)據(jù)包含的信息更抽象的描述。

2.Web挖掘

Web挖掘是對數(shù)據(jù)挖掘的一種新的發(fā)展和應用，但不同于傳統(tǒng)的數(shù)據(jù)挖掘，其主要區(qū)別在于傳統(tǒng)的數(shù)據(jù)挖掘的對象局限于數(shù)據(jù)庫中的結構化數(shù)據(jù)，并利用關系表等存儲結構來挖掘知識，而Web挖掘的對象是半結構化或非結構化特征。

Web挖掘就是從大量的Web文檔和Web活動中發(fā)現(xiàn)、抽取感興趣的、潛在的有用模式和隱含的、事先未知的、潛在的信息。它以數(shù)據(jù)挖掘、文本挖掘、多媒體挖掘為基礎，并綜合運用計算機網(wǎng)絡、數(shù)據(jù)庫與數(shù)據(jù)倉庫、人工智能、信息檢索、信息提取、機器學習、統(tǒng)計學、概率理論、可視化、計算機語言學、自然語言理解等多個領域的技術，并將傳統(tǒng)的數(shù)據(jù)挖掘技術與Web結合起來。Web挖掘分為：Web內容挖掘、Web結構挖掘和Web使用記錄挖掘，如下圖所示。

圖 Web挖掘的分類

三、基于Web日志挖掘的算法

Web日志記錄了用戶訪問的信息，包括用戶的訪問方式、訪問時間、訪問人數(shù)、用戶IP地址、被請求文件的URL HTTP版本號、傳輸字節(jié)數(shù)、引用頁的URL等。

1.符號與定義

Web日志文件是由一條記錄組成的，一條記錄實際上記錄的是用戶對Web頁面的一次訪問。

定義1關聯(lián)規(guī)則：設I是Web日志的一條記錄，即I={i1，i2，…，im}，其中ij(1≤j≤m)是某用戶訪問一種商品的數(shù)據(jù)，每次訪問一種商品都包含有如商品編號、訪問時間、訪問次數(shù)、客戶號、客戶IP地址等數(shù)據(jù)，稱此類數(shù)據(jù)為數(shù)據(jù)項。Ti∈I為I的一個子集。D={T1，T2，…，Tn}是關于Ti的集合，且X∈I，Y∈I，X∩Y =Ф，則記錄X=>Y為在集合D中X與Y相互關聯(lián)的規(guī)則。

定義2支持度：如果X=>Y在T中的S%成立，則稱X＝>Y的支持度為S%，即

S% =(|{t|t中含有X，Y}|/|T|)·100%

支持度S%表示X=>Y中出現(xiàn)的普遍程度。

定義3置信度C%

C%=(|{t|t中含有X，Y}|/|{t|t中含有X}|)·100%

置信度表征的是規(guī)則的強度。

定義4頻繁模式：大于給定的支持度的模式X=>Y稱為頻繁模式，并將它看成是T中一條有意義的關聯(lián)規(guī)則。

2.算法描述

根據(jù)FP－增長或頻繁模式增長（Frequent-pattern Growth）算法，將關聯(lián)規(guī)則的挖掘分為兩個步驟實施：根據(jù)所提供的最小支持度和最小置信度找出所有的頻繁項集；利用所產(chǎn)生的頻繁項集，產(chǎn)生合理的關聯(lián)規(guī)則。

（1）FP－增長算法的具體算法描述如下：

輸入事務數(shù)據(jù)庫D，最小支持度閾值min_sup

輸出D中的所有頻繁項集

方法1按以下步驟掃描構造FP－樹：

①掃描事務數(shù)據(jù)庫D一次。收集頻繁項的集合F和其支持度。對F按支持度降序排序，結果為頻繁項表L。

②創(chuàng)建FP－樹的根節(jié)點，以“1”標記。對D中每個Trans，執(zhí)行：

選擇Trans中的頻繁項，按L中的次序排序。設排序后的頻繁項表為[p│P]，其中p是第一個元素，P是剩余的元素表。調用insert_tree([p│P] ，T)。即：如果T有子女N使得N.item－name = p.item－name，則N的記數(shù)增加1，否則創(chuàng)建一個新節(jié)點N，并將其計數(shù)設置為1，鏈接到它的父節(jié)點T，并通過節(jié)點鏈接結構將其鏈接到具有相同item–name的節(jié)點。如果P非空，遞歸調用insert_tree（P，N）。

方法2procedure FT_growth(Tree，α)

if Tree含單個路徑P then

for P中節(jié)點的每個組合（記作β）產(chǎn)生模式β∪α，其支持度support=β中節(jié)點最小支持度；

else for each αi在Tree的頭部{

產(chǎn)生一個模式β=αi∪α，其支持度support =αi·support；

構造β的條件模式基，然后構造β的條件FP－樹Treeβ；

if Treeβ≠φthen

調用FP_growth(Treeβ，β)；}

（2）產(chǎn)生頻繁項集。本文主要介紹如何產(chǎn)生所有頻繁項集。假設有一個兩維的Web日志數(shù)據(jù)文件。一維是商品號，共有三種商品，分別標志為T1，T2，T3；另一維包括商品的訪問次數(shù)，為簡化處理，分別標志為Interview1，Interview2，Interview3，Interview4，Interview5。另假設Min_sup=0.3，Minconf =0.5，表1給出了兩維的事務數(shù)據(jù)庫，表2給出的是一維頻繁項集，表3給出的是二維頻繁項集。

表1 事務數(shù)據(jù)庫表2 一維頻繁項集表3 二維頻繁項集

四、結束語

本文提出了一種基于日志的Web數(shù)據(jù)挖掘方法，對電子商務系統(tǒng)具有較強的現(xiàn)實指導意義。Web日志挖掘所得到的結果既有利于提高網(wǎng)站的性能和安全性，也可以作為優(yōu)化站點拓撲結構和頁面之間的超鏈接關系的依據(jù)，也是在Web上進行市場開發(fā)和開展電子商務活動的依據(jù)，也可以作為網(wǎng)站為用戶提供個性化服務和構建智能化Web站點的依據(jù)。

本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。