Ｗｅｂ日志數(shù)據(jù)挖掘技術(shù)及應用

陳勇飛　王羨欠

[摘要]隨著Web應用的高速發(fā)展和廣泛普及，在Web服務器上收集大量的Web日志，這些日志記錄Web用戶對Web頁面的每一次訪問的過程，是一種寶貴的信息財富。主要介紹數(shù)據(jù)挖掘技術(shù)的應用。

[關(guān)鍵詞]Web日志 數(shù)據(jù)挖掘 應用

中圖分類號：TP3文獻標識碼：A文章編號：1671－7597（2009）0220072－01

一、Web數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中提取隱含的、事先未知的、具有潛在價值的有用信息。隨著Web技術(shù)的發(fā)展，我們的網(wǎng)絡正在面臨著信息時代的挑戰(zhàn)，大量的數(shù)據(jù)和記錄充斥Internet，如何從中找到我們需要的有價值的信息和知識是我們面臨的問題。Web數(shù)據(jù)挖掘就是從與Web相關(guān)的資源和行為中抽取感興趣的、有用的模式和隱含信息的過程。Web包含了豐富和動態(tài)的超鏈接信息，以及Web頁面的訪問和使用信息，這為數(shù)據(jù)挖掘提供了豐富的資源。

（一）Web數(shù)據(jù)挖掘技術(shù)概述

Web數(shù)據(jù)挖掘可分為內(nèi)容挖掘、使用記錄挖掘和結(jié)構(gòu)挖掘等。所挖掘的對象為服務器日志數(shù)據(jù)、在線市場數(shù)據(jù)、Web頁面、Web頁面超鏈接關(guān)系及其它信息，通過對Web的挖掘，可從Web頁面中提取所需的知識：對總的用戶訪問行為、頻度、內(nèi)容的分析，可得到關(guān)于群體用戶訪問行為和方式的普遍知識，用以改進我們的Web服務端設計。而更重用的是，通過對這些用戶特征的理解和分析，可以有助于開展有針對性的電子商務活動，而對每個用戶訪問行為、頻度、內(nèi)容等的分析，能提取出每個用戶的特征，為用戶提供個性化的電子商務服務。發(fā)現(xiàn)Web用戶訪問模式可改進網(wǎng)站的拓撲結(jié)構(gòu)以及改善分布式網(wǎng)絡系統(tǒng)的性能，如在有高度相關(guān)的站點間提供快速有效的訪問通道，幫助改善市場營銷決策等等。

（二）Web使用挖掘的過程

Web使用挖掘過程主要包括數(shù)據(jù)預處理過程、發(fā)現(xiàn)模式的過程以及分析結(jié)果模式的過程。如下圖1所示。

二、數(shù)據(jù)挖掘技術(shù)的應用

數(shù)據(jù)挖掘技術(shù)的潛在應用是十分廣泛的，從政府管理決策、商業(yè)經(jīng)營、科學研究、工業(yè)企業(yè)決策支持和Internet服務等各個領域都可以找到數(shù)據(jù)挖掘技術(shù)的用武之地。下面舉出目前開展的比較活躍的數(shù)據(jù)挖掘的應用方向。

（一）商業(yè)中的應用

其實，數(shù)據(jù)挖掘技術(shù)從一開始就是面向應用的。目前，在銀行、電信、保險、交通、零售（如超級市場）等商業(yè)領域，數(shù)據(jù)挖掘所能解決的典型商業(yè)問題包括：數(shù)據(jù)庫營銷(Database Marketing)、客戶群體劃分(Customer Segmentation&Classification)、背景分析(Profile Analysis)、交叉銷售(Cross-selling)等市場分析行為，以及客戶流失性分析(Churn Analysis)、客戶信用記分(Credit Scoring)、欺詐發(fā)現(xiàn)(Fraud Detection)等等。

數(shù)據(jù)挖掘技術(shù)在企業(yè)市場營銷中得到了比較普遍的應用，它是以市場營銷學的市場細分原理為基礎，其基本假定是“消費者過去的行為是其今后消費傾向的最好說明”。

通過收集、加工和處理涉及消費者消費行為的大量信息，確定特定消費群體或個體的興趣、消費習慣、消費傾向和消費需求，進而推斷出相應消費群體或個體下一步的消費行為，然后以此為基礎，對所識別出來的消費群體進行特定內(nèi)容的定向營銷，這與傳統(tǒng)的不區(qū)分消費者對象特征的大規(guī)模營銷手段相比，大大節(jié)省了營銷成本，提高了營銷效果，從而為企業(yè)帶來更多的利潤。

（二）企業(yè)中的應用

數(shù)據(jù)挖掘可用于對企業(yè)數(shù)據(jù)庫中的大量業(yè)務數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助經(jīng)營決策的關(guān)鍵性數(shù)據(jù)，可以挖掘出影響生產(chǎn)能力的關(guān)鍵因素如預測機器故障、預測生產(chǎn)銷售額、決定庫存量、批發(fā)點分布的規(guī)劃、調(diào)度等，甚至在企業(yè)危機管理中也得到了普遍的應用。信息是企業(yè)競爭的關(guān)鍵因素。在企業(yè)管理過程中，可以利用Web挖掘技術(shù)對企業(yè)外部環(huán)境信息進行收集、整理和分析，盡可能地收集政治、經(jīng)濟、政策、科技、金融、各種市場、競爭對手、供求信息、消費者等與企業(yè)發(fā)展有關(guān)的信息，集中精力分析處理那些對企業(yè)發(fā)展有重大或潛在重大影響的外部環(huán)境信息，抓住轉(zhuǎn)瞬即逝的市場機遇，獲得企業(yè)發(fā)展的先兆信息，采取有效措施規(guī)避危機，促使企業(yè)健康、持續(xù)地發(fā)展。

利用數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)倉庫技術(shù)和聯(lián)機分析技術(shù)，管理者能夠充分利用企業(yè)數(shù)據(jù)倉庫中的海量數(shù)據(jù)進行分析，并根據(jù)分析結(jié)果找出企業(yè)經(jīng)營過程中出現(xiàn)的各種問題和可能引起危機的先兆，如經(jīng)營不善、觀念滯后、產(chǎn)品失敗、戰(zhàn)略決策失誤、財務危機等內(nèi)部因素引起企業(yè)人、財、物、產(chǎn)、供、銷的相對和諧平衡體遭到重大破壞，對企業(yè)的生存、發(fā)展構(gòu)成嚴重威脅的信息，及時做出正確的決策，調(diào)整經(jīng)營戰(zhàn)略，以適應不斷變化的市場需求。

（三）Internet上的應用

Internet上有海量的數(shù)據(jù)信息，怎樣對這些數(shù)據(jù)進行復雜的應用成了現(xiàn)今數(shù)據(jù)庫技術(shù)的研究熱點。數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容，解決數(shù)據(jù)的應用質(zhì)量問題。充分利用有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)的最重要的應用。除了Web內(nèi)容，其服務效率也很重要，通過Web日志數(shù)據(jù)挖掘，可以提供網(wǎng)站服務效率全方位的信息。從而有助于找到平衡服務器負荷，優(yōu)化傳輸減少擁塞的方法，縮短用戶等待時間，提高系統(tǒng)效率和服務質(zhì)量。

隨著Internet技術(shù)的迅猛發(fā)展，Web結(jié)構(gòu)的復雜度也在飛速地提高。因此，Web站點和Web服務器的設計和維護難度也在增加，通過Web日志數(shù)據(jù)挖掘提供的用戶使用網(wǎng)站信息，可以幫助網(wǎng)站設計者確定如何修改網(wǎng)站結(jié)構(gòu)。

參考文獻：

[1]吳艷，web日志挖掘技術(shù)的研究及應用[D].杭州，浙江工業(yè)大學.

[2]楊厚群，web日志挖掘技術(shù)及應用研究[D].重慶，重慶大學.