基于Ｗｅｂ日志挖掘的頁面興趣度量方法研究

崔江彥　馬　靜

摘要:本文主要針對電子商務網站的Web日志進行分析和挖掘,提出一種更好的度量頁面興趣度的方法,并在此基礎上對頁面實現模糊聚類,找到用戶感興趣的頁面類,為用戶提供個性化服務同時也為電子商務網站結構設計提供依據。

關鍵詞:電子商務 頁面興趣度 模糊聚類

一、引言

互聯網的發展催生了全新的商業模式—電子商務,電子商務改變了廠商和顧客的關系,也使得經濟模式發生了變化,由于電子商務企業的競爭往往只在鼠標的一點之間,因此如何獲取并維護更多的網絡用戶成為了各電子商務企業之間競爭的焦點。通過對電子商務網站的Web日志進行挖掘可以找到用戶感興趣的內容從而為用戶提供個性化服務,同時根據對網站商品關聯分析找出潛在的有關聯的商品,從而進行“捆綁式”銷售,還可以根據頁面之間的關聯關系為網站的結構調整提供依據。

二、Web日志挖掘

Web日志指的是用戶在訪問網站時在web服務在里留下的“腳印”,里面包含了用戶的大量信息,如用戶的ip地址、用戶訪問的頁面、瀏覽的時間等。典型的Web服務器日志包含以下信息:

Date:用戶請求頁面的日期

Time:用戶請求頁面的時間

Client Ip Address:通過身份驗證的訪問服務器的用戶名不包括匿名

Server Ip Address:服務器端的IP地址

Method:用戶執行的方法,如 GET等

URI stem:被訪問的資源

Bytes sent:接受數據的字節數

Bytes received:接受數據的字節數

Time taken:瀏覽消耗的時間(以毫秒為單位)

Referral page:用戶瀏覽的前一個網址,當前網址是從該網址鏈接過來的

下面的某電子商務網站的Web日志片段:

2008-10-08 00:00:14 220.181.32.26 172.16.2.197 80 GET HTTP/1.1 200 0 3328 58974 250 0 /buy/results.asp akeyword=禮品工藝品&bodytype;=buy37&nowpage;=6 -

2008-10-08 00:00:14 61.191.92.137 172.16.2.197 80 GET HTTP/1.1 200 0 4140 76867 358 0 /userpic/tianlantian/200773112204011569.jpg - -

2008-10-08 00:00:15 220.181.32.26 172.16.2.197 80 GET HTTP/1.1 200 0 1781 58424 248 0 /buy/results.asp akeyword=個人保養&bodytype;=buy5&nowpage;=11 -

2008-10-08 00:00:15 220.181.32.26 172.16.2.197 80 GET HTTP/1.1 200 0 1812 61659 244 0 /buy/results.asp akeyword=肩章&bodytype;=buy24&nowpage;=3 -

我們看到原始的Web日志中包含了很多我們不需要的信息,預處理過的web日志才能進行下一步的數據挖掘。

三、頁面興趣度量的新方法

夏敏捷和張錦歌[1]構造了UserID-Url關聯矩陣其中矩陣元素為是i用戶在一段時間內訪問第j個頁面(Url)的次數;并且認為行向量即反映了用戶類型,也勾勒出用戶的個性化訪問。而列向量則代表站點的結構,也蘊含有用戶共同的訪問模式。

褚紅丹、焦素云和馬威[2]定義了一個四元組

表示用戶對頁面i的興趣,表示瀏覽該頁面的次數,則興趣度定義為:

I值(平均閱讀時間)越大表示用戶對該頁面單位信息量閱讀時間越長,則用戶對該頁面越感興趣,相反,值越小表示當訪問到該頁時,用戶平均閱讀的時間短,則對此頁面不感興趣。

李珊、袁方[3]做了頁面改進興趣度的計算,用戶興趣度

:用戶i在第j個頁面上花費的時間;:用戶i瀏覽第j個頁面的頻度;:用戶i瀏覽第j個頁面發送的字節數。

在頁面興趣度的度量最常用的方法就是用用點擊次數反映用戶的興趣,這種方法簡單且易于實現,同時web日志中還有其他因素也能反映用戶的興趣,所以應該綜合考慮各種影響因素。后兩篇論文中都提到了三種因素可以反映頁面興趣,下面我們對這些因素進行分析。

通過查詢電子商務網站的日志分析,找出用戶對頁面的訪問時間、服務器發送字節數和接收字節數的數據記錄,因為從總取出75169條數據用spss軟件做數據相關性分析,通過Pearson Correlation分析得出如下分析結果

計算結果現實用戶在網頁上的瀏覽時間和服務器發送字節數的Pearson相關系數為0.225,而和服務器接收字節數的Pearson相關系數為-0.041。

通過對比Pearson相關系數對比,我們發現瀏覽時間和服務器發送字節數以及瀏覽時間服務器接收字節數都是微弱相關,所以我們在考慮用戶興趣度量因素的時候可以不再考慮發送字節數和接收字節數的對頁面興趣的影響。

因此定義頁面興趣矩陣:

因為是用戶i瀏覽頁面j的總時間,為用戶i點擊頁面j的次數,

表示用戶i瀏覽頁面j的平均時間,這樣計算的用戶興趣度更能反映用戶對頁面的興趣。

四、基于頁面興趣度的網頁聚類

頁面進行聚類分析,可以找到對于所有用戶訪問情況相同或相似的網頁,把這樣的頁面放在一起可以找到不同頁面之間的聯系進而調整整體網站拓撲結構,迎合用戶的訪問偏好。

(1)將數據集轉化成頁面興趣矩陣,如下所示:

(2)對于頁面興趣矩陣通過模糊距離公式

計算頁面與頁面的之間的相似程度,得到一個對角線為1的對稱方陣

我們只考慮它的下三角部分(不包括1),設置閾值,我們令

為如果模糊相似矩陣比大那么就將頁面i和頁面j聚在一起。

隨著互聯網的發展,Web服務的個性化趨勢已成必然。本文提出了一個新的頁面興趣方法,雖然日志數據能體現用戶的真實信息,但所包含的信息有限。在以后的研究中應考慮利用用戶的背景信息,這樣挖掘出來的用戶興趣模型會更準確。

參考文獻:

[1]夏敏捷、張錦歌,Web日志挖掘中應用聚類改進網站結構的研究[J].中原工學院學報,2005,16(6):39-41.

[2]褚紅丹、焦素云、馬威,用戶訪問興趣路徑挖掘方法[J].計算機工程與應用, 2008,44(35):135-137.

[3]李珊、袁方,基于Web日志挖掘的頁面興趣度方法的改進[J].計算機時代,2007,3:29-31.

[4]李桂英、李吉桂,基于模糊聚類的Web日志挖掘[J].計算機科學,2004,31(12):130-131.

[5]吳福保、李奇、宋文忠,模糊聚類分析的傳遞方法[J].東南大學學報.1999.29(3):105-110.

作者簡介:崔江彥,女(漢),河北保定人,南京航空航天大學經管學院碩士,主要信息管理與信息系統研究;馬靜,南京航空航天大學經管學院教授,碩士生導師,研究方向:知識管理,情報學。

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文