基于興趣的電子商務數據挖掘技術的研究

[摘要] 本文對電子商務Web頁數據挖掘技術做了全面分析，對于個性化電子商務網站中難以發現用戶興趣行為特征問題，給出了Web頁面關聯算法。利用數據倉庫技術可有效挖掘用戶興趣特征，從而指導電子商務網站資源的組織和分配，為商務型網站的投資者和建立者提供正確的盈利導向。

[關鍵詞] 電子商務數據挖掘興趣特征

數據挖掘技術是隨著數據庫技術和人工智能技術發展起來的一種新型的交叉信息技術。無論是B2B、B2C還是B2G電子商務模式，商品的采購者都需要通過Web方式與商品的供應商及其合作者之間建立信息流的交互，面向電子商務的數據挖掘的特點就是從Web數據庫中，運用關聯、分類、聚類等技術手段，從中提取出可以指導市場策略的有用數據。它基于“消費者過去的行為預示著其今后的消費傾向”的原理，通過收集、分析和處理從網上獲取的有關消費者消費行為的數據，從潛在的、隱含的、事先不知的狀態，經過提取、洗滌、加工變為潛力巨大的價值信息，從而實現網絡營銷的目的，確定特定消費群體或個體的消費習慣、愛好、傾向，進而預示出消費者下一步的消費行為，有針對性地提供服務。

一、電子商務Web數據挖掘技術

1.電子商務Web數據挖掘技術的分類

電子商務Web數據挖掘一般可分為三個部分：內容挖掘、結構挖掘、用法挖掘。Web內容挖掘有兩種策略：直接挖掘文檔內容和在其他檢索工具搜索的基礎上進行改進。Web結構挖掘是從WWW上的組織結構和鏈接關系中推導知識。Web用法挖掘的主要目標是從Web的訪問記錄中抽取感興趣的模式。大多數基于數據庫的數據挖掘方法均可作用于電子商務Web數據挖掘。

在研究以電子商務網上購物為應用背景的工作時發現。商家在Web上建立自己的在線商品目錄，顧客（即用戶）通過瀏覽器可以瀏覽商品目錄、實現網上訂購甚至網上支付等。用戶與商家的Web服務器間交互的過程信息（包括用戶的登錄信息、用戶的瀏覽記錄）以及用戶的個人簡要信息等，都能以日志文件或顧客數據庫的形式存在，從中找出規律性，對商家的市場銷售是至關重要的；從大量顧客數據及日志數據中，應用到計算機并行處理、神經元網絡、模型化算法和其他信息處理技術手段，挖掘出有意義的用戶訪問模式及相關的潛在顧客群，從中可得到商家用于向特定消費群體或個體進行定向營銷的決策信息。同時有效地對這些Web日志進行定量分析，揭示其中的關聯關系、時序關系、頁面類屬關系、客戶類屬關系和頻繁訪問路徑、頻繁訪問頁面等，不但可為優化Web站點拓撲結構提供參考，而且還可為企業更有效地確認目標市場、改進決策獲得更大的競爭優勢提供幫助。

2.電子商務Web數據挖掘模型構建和基本流程

電子商務Web服務器自動收集客戶瀏覽信息并保存在訪問日志、引用日志和代理日志中。典型的電子商務Web服務器日志文件包括以下信息:IP地址，請求時間，方法(如get)，被請求文件的URL，HTTP版本號，返回碼，傳輸字節數，引用頁的URL和代理。

電子商務Web挖掘，首先對日志文件進行預處理，預處理主要由兩部分構成:數據清洗(data cleaning)和事務識別(transaction identification)。包括對Web日志進行清洗、過濾和轉換以及無關記錄的剔除，判斷是否有重要的訪問沒有被記錄，并從中抽取感興趣的數據;并將URL、資源的類型、大小、請求的時間、在資源上停留的時間、請求者的Internet域名、用戶、服務器狀態作為數據cube的維數變量;再將對模塊、頁面和文件請求次數，來自不同Internet域請求次數、事件、會話、帶寬、錯誤次數、不同瀏覽器種類、用戶所在組織作為度量變量建立data cube;而將文件、圖像腳本及多媒體等其他文件轉換成可用于Web使用挖掘的數據格式，從而可將數據挖掘技術用于Web流量分析、典型的事件序列分析和用戶行為模式分析及事務分析。

定義函數log={ip，uid，url，time}表示電子商務Web服務器日志。其中，ip，uid，url，time分別標識客戶ip、客戶id、客戶請求的url和瀏覽時間。

在經過數據預處理階段后，即可針對電子商務中不同的挖掘目標可以采用不同的數據挖掘方法，選擇數據挖掘模式，如統計分析、關聯規則、時序模式、路徑分析(path analysis)及聚類、分類技術。

進行實際的挖掘操作的要點有:首先決定如何產生假設；選擇合適的工具；發掘知識的操作；證實發現的知識。

二、基于興趣的關聯算法在電子商務中的Web挖掘應用

關聯分析是尋找在同一個事件中出現的不同項的相關性，比如在一次購買活動中所買不同商品的相關性。序列模式與此類似，它尋找的是事件之間時間上的相關性，假設I={i1 ，i2 ，…，im} 是所有項的集合， 相當于商品的所有種類的集合，D是所有事務的集合， 也即數據庫中記錄的集合， 事務T={t1 ，t2 ， … ，tn}，tiI， 相當于交易中的商品列表。設X是一個I中項的集合，如果XTk，那么稱交易Tk包含項集X，若X，Y為項集，XI， YI，并且X⌒Y=Φ，則形如X==>Y的表達式稱為關聯規則。

計算方法：

交易數據集中同時包含X和Y的交易數與所有交易數之比：

support(XY)=P(X∪Y)=|{T:XYT，T∈D}|/|D|×100%（其中|D|是交易數據集D中的所有交易數），給定一個交易集 D， 挖掘關聯規則問題就是產生支持度和可信度分別大于用戶給定的最小支持度 (minsupp)和最小確信度(minconf)的關聯規則。當規則的確信度和支持度分別大于minsupp、minconf 時，我們認為規則是有效的，稱為強關聯規則。當數據項集X的支持度大于minsupp時， 稱X為高頻數據項集。

關聯規則發現任務的本質是要在數據庫中發現強關聯規則。在電子商務中關聯規則的發現也就是要找到客戶對網站上各種文件之間訪問的相互聯系。例如，用關聯規則發現技術，我們可以找到以下的相關性:40%的客戶訪問頁面/company/product1時，也訪問了/company/product2。30%的客戶在訪問/company/special時，在/company/product1進行了在線定購。利用這些相關性，可以更好的組織站點，實施有效的市場策略。

三、數據挖掘技術的工具

隨著電子商務和數據庫技術的發展，越來越多的公司、廠家開始開發數據挖掘工具。如Oracle公司通過從Thinking Machine公司獲得Darwin產品來增強其數據挖掘功能；IBM公司的Intelligent Miner提供了基于DB2的數據挖掘能力，提供了支持C++類和方法的API(應用程序接口）;SAS公司推出的SAS／EM(Enterprise Miner)數據挖掘軟件可以對Oracle、Informix、Sybase、DB2的數據集進行操作。Accrue公司更是推出了一個綜合性Web數據挖掘工具，能夠對網站的運行狀況進行深入、細致和準確的分析。

四、小結

電子商務Web數據挖掘很好地解決了從數據到知識轉化的問題，為我國的商務網站個性化定制提供了技術的可行性，并為網站實現經濟效益提供了一條發展的新路。