基于Web數據挖掘的電子商務網站個性化服務的研究

【摘 要】本文在闡述Web數據挖掘技術的定義、過程基礎上，把Web數據挖掘應用到電子商務網站個性化推薦服務系統中，形成了基于Web數據挖掘的個性化服務電子商務網站模型，并對數據挖掘技術在個性化服務的不同層面的應用進行分析。

【關鍵詞】Web數據挖掘 個性化服務、電子商務、用戶建模

1 引言

08 年美國引發的全球性的金融危機對中國市場造成了很大的沖擊。中國出口快速下降，中國領導人迅速做出決策。要大力發展電子信息化產業，并大力扶持物流產業的發展。在這種大背景下，許多企業紛紛轉向求助互聯網，開辟拓展內銷市場，電子商務產業得到很好的發展，與此同時企業之間的競爭不可避免的爭強了。為了不斷提升企業的競爭力，企業決策者會想方設法搭建出有創新性的、競爭力強的、個性化的電子商務網絡平臺，因此電子商務的個性化服務體系應運而生。

電子商務個性化服務是指企業根據每一位顧客的年齡、身份、職業、品味等個人特點，以及顧客的購買行為和購買偏好等因素，因人而異的提供獨特的產品和針對性服務。一般來說，網上用戶在電子商務網站中實現交易要經歷確認需求、收集信息、評價解決方案、購買四個階段。企業利用Web數據挖掘技術，查找Web服務器、瀏覽器中用戶實現交易時留下的網絡行為和購買方式，抽取用戶感興趣的市場信息，動態地調整頁面結構， 提供差異化的網絡營銷策略，也就是說，企業的電子商務網站的個性化服務行為，是靠Web數據挖掘技術對顧客的網絡行為進行挖掘來實現的。

2 電子商務網站個性化服務體系中的數據挖掘

2.1電子商務網站個性化服務體系中的數據挖掘定義

數據挖掘(Data Mining)原意旨在從大量的、不完全的、有噪聲的、模糊的、隨機的數據中， 提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識。電子商務網站中的數據挖掘是數據挖掘在電子商務網站產品信息處理領域的應用。具體說，是利用數據挖掘技術對網絡中的客戶訪問信息進行挖掘，得到客戶的瀏覽行為和訪問模式，從而發現客戶的興趣、愛好等有用的市場信息，以便針對客戶進行個性化服務。由于電子商務網站信息的特殊性，它與傳統的數據挖掘相比又增添了新的特質。首先Web 挖掘的對象是大量異質分布的Web文檔，每個數據源都是異構的;其次Web 文檔本身是半結構或無結構的而且缺乏機器可理解的語義，使得挖掘更具復雜性。因此，電子商務網站中的數據挖掘是網絡信息處理技術發展的一個新階段。

2．2 電子商務網站個性化服務體系中的數據挖掘對象

電子商務網站個性化服務體系中的數據挖掘對象是個性化服務信息，他是記錄用戶的使用行為、習慣、偏好和特點的信息。因此，對用戶需求、興趣、愛好的了解和獲取是針對用戶進行個性化服務成敗的關鍵。目前，獲取網絡用戶信息的方法有兩種:一是通過人-機交互模式獲取用戶的信息，即用戶在網上填寫并發送一個表達其信息需求的表單，要求用戶十分仔細地填寫自己的個性化信息需求，這種方法的優點是可以準確地獲得用戶的信息需求，缺點是主動性差，不能及時反映用戶信息需求的變化。二是通過對用戶信息行為的記錄進行挖掘，從而獲取其需求、興趣和愛好，這種方法主動性強，動態性好，能及時了解用戶信息及變化情況。個性化服務信息的記錄形式有以下幾種：

（1） 服務器數據。客戶訪問站點時會在Web服務器上留下相應的日志數據，Web訪問日志(Web access log)記錄(主要包含URL，時間，IP地址和Web頁面等內容信息)。這些日志數據通常以文本文件的形式存儲在服務器上。一般包括servers logs、error logs、cookies logs等。其中 Cookie是用戶曾經訪問的站點所發送的小數據包，不僅存儲在服務器上而且還存儲在用戶的瀏覽器中，因此可作為用戶在服務器一方(發送Cookie的站點)的唯一標識，并可重復利用。Cookie提供了追蹤用戶的方法，它給用戶加標識，確切地說是給用戶的瀏覽器文件加標識，當再次訪問發送Cookie的站點時，瀏覽器被作為唯一可以鑒別的實體。

（2）查詢數據。它是電子商務站點在服務器上產生的一種典型數據。例如，對于在線存儲的客戶也許會搜索一些產品或某些廣告信息，這些查詢信息就是通過cookie或是登記信息連接到服務器的訪問日志上。

（3） 在線市場數據。這類數據主要是傳統關系數據庫里存儲的有關電子商務站點信息、用戶購買信息、商品信息等數據。

（4）瀏覽器上的Bookmark記錄。當用戶在因特網上用瀏覽器瀏覽網頁時，遇到自己喜歡的站點或網頁，只要點一下瀏覽器上的Bookmark菜單，就能將當前的站點存入Bookmark中，想再次訪問時，只要從Book-mark中取出即可。用戶可以對Bookmark進行多級目錄管理，不同的目錄反映其不同的興趣和愛好，這為對用戶的信息需求進行挖掘提供了可能。

（5）郵件列表(Maillist)。郵件列表是一種可以獲得特定客戶群的電子郵件地址，并能快速方便地發送大量電子郵件的工具。郵件列表具有傳播范圍廣，使用簡單方便的特點，只要能夠使用電子郵件，就可以使用郵件列表。許多網上用戶通過電子郵件特別是郵件列表建立專題討論組的事例越來越多，這些討論內容反映了用戶的真實信息行為，反映了用戶的真實興趣。對專題討論組成員的電子郵件列表進行挖掘，不但可以挖掘出個人的興趣，還可以發現具有相同興趣的成員組，為合作式挖掘提供了可能。

（6） 客戶登記信息。客戶登記信息是指客戶通過Web頁輸入的、要提交給服務器的相關用戶信息，這些信息通常是關于用戶的人口特征。在Web的數據挖掘中，客戶登記信息需要和訪問日志集成，以提高數據挖掘的準確度，使之能更進一步的了解客戶。

2.2電子商務網站個性化服務體系中數據挖掘過程

電子商務網站個性化服務體系中數據挖掘過程概括起來有以下幾個基本步驟：數據收集、數據預處理、數據建模、模式分析與預測。

數據收集指在服務器端、客戶瀏覽器端、代理服務器端對用戶訪問記錄進行收集。數據收集是Web使用挖掘的第一步，數據的真實性、全面性直接影響到后續工作能否順利進行，影響到最后個性化推薦服務的優劣。數據預處理就是要將那些不夠完整的、含有噪聲的、不一致的數據庫進行統一改造，使之成為完整的、不含噪聲的、一致的數據庫，從而建立可挖掘的數據庫，以備后用。數據預處理工作中，主要包括：數據清理、用戶識別、用戶會話識別、數據格式化。

數據建模就是要將經過數據預處理的數據結合起來存放在一個數據倉庫中。通過對數據倉庫中的數據進行分析和挖掘，可以發現用戶或者用戶群體的興趣，從而構造興趣模型。模式分析的目的是根據實際應用，通過觀察和選擇，把發現的統計結果、規則和模型轉換為知識，經過篩選后用來指導實際的電子商務行為。常用的手段有：信息過濾、可視化、聯機分析處理等。

2.4 電子商務網站個性化服務體系中數據挖掘技術

（1） 路徑分析技術。最常用的是圖，網站上的頁面定義成節點，頁面之間的超級鏈接定義成圖中的邊。通過對網站頁面之間的聯系及超鏈接的分析，判定出在一個Web站點中最頻繁訪問的路徑或引用訪問序列。

（2）關聯規則發現技術。關聯規則發現技術可以找到客戶對網站上各種文件之間訪問的相互關系，可以找到用戶訪問的頁面與頁面之間的相關性和規律性。

（3）序列模式發現技術。通過時序分析和序列模式的挖掘來預測企業產品未來的銷售情況，以及發掘潛在客戶，促進產品銷售。例如，根據前三個月企業產品的銷售情況來預測下個月的銷售情況。當客戶在線購買一臺個人電腦時，系統會根據挖掘出來的序列模式“購買這種電腦的人在一個月以后很可能再來購買一臺打印機”而建議他同時購買一臺打印機。

（4）分類技術。就是為具有某些公共屬性的特定群體建立概要特征，這些特征可以用來對新增到數據庫里的數據項進行分類。分類能夠使商家根據訪問網站的人口統計學信息和用戶的訪問模式得出訪問某一商業網站的用戶輪廓特征。對用戶分類后，就可以發現未來的潛在客戶并開展有針對性的商務活動。

（5）聚類分析技術：聚類分析可以從服務器訪問信息數據中聚集出具有相似特性的客戶組，即把有相似特性的用戶、數據項集合到一起。如自動給一個待定的顧客聚類發送銷售郵件。通過這些舉措使商務活動能夠在一定程度上滿足客戶的要求，實現目標營銷。

3.基于Web數據挖掘的電子商務網站個性化服務體系的實現

基于Web 數據挖掘的電子商務網站個性化服務體系實質上就是一種以用戶需求為中心的Web站點， 該站點主要是將數據挖掘的思想和方法應用到Web服務器日志及Web數據庫等資源上，挖掘出客戶的訪問規律，劃分出具有相似興趣的顧客群體，根據每一客戶群體的不同特征構造出不同的興趣模型，然后提供差異化的營銷策略，實現個別化服務。

3.1 基于Web 數據挖掘的電子商務個性化服務系統模型

基于Web 數據挖掘的電子商務個性化服務系統由六大模塊組成：數據收集模塊、數據預處理模塊、數據存儲模塊、數據挖掘模塊和用戶訪問推薦模塊、電子商務網站調整模塊。其系統結構模型如圖一所示：

數據收集模塊通過收集Web數據庫、使用日志和訪問記錄上留下的數據，形成數據采集庫；數據預處理模塊能夠對數據采集庫中的數據進行預處理，例如洗去數據中的冗余信息，數據預處理的質量與挖掘的效率和結果緊密相關；數據存儲模塊將預處理后的數據存入用戶事務庫（即數據倉庫）中，在數據倉庫中把信息進行分類，一般分為客觀信息、認識信息和表達信息，通過對信息的分類為數據挖掘技術的實現做準備；數據挖掘模塊中的挖掘引擎使用數據挖掘技術如統計分析、關聯規則、聚類分析、序列模式等，來發現用戶瀏覽模式，并通過模式分析對其進行分析與解釋，根據實際應用，通過觀察和選擇，把發現的統計結果、規則和模型轉換為知識，經過篩選后得到有用的模式用來指導實際的電子商務行為；電子商務調整模塊根據數據挖掘得出的用戶對產品的需求度、感興趣度調整電子商務網站，修改頁面，制定和研發新產品；用戶訪問推薦模塊在Web服務器前端設置了推薦引擎，它將用戶當前的瀏覽活動與瀏覽出的頁面推薦集結合起來考慮，生成相應推薦集，然后在用戶最新請求的頁面上添加推薦集的頁面，再通過Web服務器傳遞到用戶端的瀏覽器，為用戶實現實時個性化服務。

3．2基于Web數據挖掘的電子商務站點個性化服務體系分析

電子商務站點個性化服務體系通過數據挖掘收集用戶信息， 而后對用戶信息進行分類聚類分析，建立用戶模型，在構建的用戶模型的基礎上進行模式發現與分析，提供個性化的服務策略和服務內容。目前，電子商務站點個性化服務體系通常包括四個層次：用戶信息搜集模塊、用戶建模模塊、個性化服務模塊和用戶。結構如圖二所示。

用戶信息收集模塊是個性化服務系統的基礎模塊，其信息來源有: 用戶輸入搜索引擎的查詢關鍵詞、 用戶瀏覽的頁面; 用戶瀏覽的行為; 服務器日志; 用戶下載、保存的頁面和資料等;個性化服務系統收集到用戶信息后， 提交給用戶建模模塊來進行處理， 構建用戶模型。個性化服務模塊根據用戶模型向用戶提供相應的服務。 這種服務包括兩種形式，一、針對用戶的個性化服務。包括將所有與用戶模型相匹配的內容推薦給用戶；以及通過Web使用挖掘，挖掘出客戶的購買行為規律，進而建立規律性購買模型和序列性購買模型，實現個性化服務方案；二、個性化網站建構服務。通過數據挖掘對客戶在網站上駐留時期所采取的行為進行分析，找到客戶的興趣和偏好，從而動態地改變網站整體布局的設計，進行電子商務網站建設。

3.3 基于Web數據挖掘的電子商務個性化服務實現方法

個性化推薦服務是個性化服務體系得以實現的重要方法和途徑，個性化體服務體系是個性化推薦服務的基礎和來源。沒有個性化服務體系思想做指導，個性化推薦服務便失去方向；沒有個性化推薦服務也無法實現電子商務網站的個性化服務。個性化推薦服務是通過數據挖掘技術揭示出用戶的需求（包括顯性需求和隱性需求），從而根據用戶偏好程度的高低推薦給用戶最喜愛的N個產品，并且當系統中的產品庫和用戶興趣資料發生改變時，給出的推薦序列會隨之自動改變。個性化推薦服務分為以下幾種方法：

(1)基于內容的推薦技術(content-based rec-ommendation) 是指通過比較資源與用戶模型的相似程度向用戶推薦信息的方式.

（2）基于規則的推薦：是指根據已經生成的聯系規則和序列規則向用戶推薦信息方式。在電子商務網站， 根據用戶瀏覽和購買的日志生成規則， 向用戶推薦感興趣的商品. 例如，通過關聯分析發現啤酒與尿不濕之間的關聯規則是購買啤酒的用戶同時也會購買尿不濕。這就可以將這兩種相關商品擺在一起組合銷售或“購買200 元尿不濕送兩罐啤酒”來促進銷售。

(3)合作推薦：是指通過相同或相近興趣的用戶對資源的評價向用戶推薦信息的方式。該方法是通過比較用戶之間的相似性來推薦信息， 即先對用戶進行聚類，然后對不同用戶群組進行分類。他既適用于可計算的文本領域，又可應用于其它領域， 如音樂、電影、書籍等.

(4)混合推薦：是指既通過比較資源與各個用戶模型的相似度進行基于內容的推薦， 又通過相似興趣的用戶群進行合作推薦的一種方式.這是最先進的個性化功能，可以在客戶端或服務器端實現。

總的來說，在電子商務站點個性化服務系統中運用數據挖掘技術有三個階段：數據采集階段、數據預處理階段以及模式發現和使用階段。

表1指出了不同個性化推薦服務中采用的Web數據挖掘技術。針對不同的個性化推薦服務方法，不同數據挖掘階段都對應著不同的Web數據挖掘技術。在數據采集階段，隨著服務功能的逐漸強化，數據采集技術從簡單的Cookie 逐漸強化到采集客戶端、服務器端數據的技術；在數據預處理階段，除了基于內容的推薦服務只需要用戶識別功能外，其余三項服務都需要采用用戶會話識別技術；在模式發現階段，基于內容的推薦和合作推薦功能都需要采用分類技術，其中合作推薦還需要配合聚類技術，基于規則推薦和混合推薦則主要采用關聯規則和序列模式發現技術。

4. 總結和展望

本文在對電個子商務網站中的數據挖掘進行了一個較為全面闡述的基礎上，構建了基于Web數據挖掘的電子商務個性化服務系統模型，并對該模型進行了解釋。同時，著重分析了如何把Web數據挖掘技術應用到電子商務網站的個別化服務體系中，即用戶信息搜集階段、用戶建模階段和個別化服務推薦階段。并且，通過列表直觀闡述了Web 數據挖掘在不同性化服務推薦中的技術實現。

把Web 數據挖掘技術應用到個別化服務系統還是個比較新興的研究領域，還有許多技術仍處于研究階段，依然具有許多改進的空間。比如只通過日志來識別用戶的效果并不理想，較好的改進方法是綜合考慮多種因素，如用戶IP、網站拓撲圖、參考網頁和agent 等來識別單個用戶，其具體技術實現還有待于進一步改進。

參考文獻:

1．孟曉明．搜索引擎在網絡信息 挖掘中的應用．計算機與信息技術，2003(5)

2．張燕．淺談網絡信息挖掘．情報探索，2000(4)

3．張愛明．基于關鍵詞網絡信息檢索與知識檢索的比較．情報探索，2006(5)

4．徐剛．面向網絡用戶的個性化推薦服務實現．情報雜志，2008(8)

5．錢慧麗．我國B2B電子商務平臺的內容管理策略研究．北方經貿，2007(6)