基于Web數據挖掘技術下的個性化信息服務

[摘 要]隨著個性化時代的到來，信息服務機構必須提供個性化服務，才有可能在激烈的競爭中取得勝利#65377;web數據挖掘技術是實現個性化信息服務的關鍵技術#65377;在構建基于web數據挖掘的個性化信息服務的實現模型后，還對建立在web數據挖掘基礎上的個性化信息服務系統運行的基本流程#65380;web挖掘的數據資源#65380;web挖掘的技術方法#65380;信息系統的服務內容#65380;系統運行的注意事項等進行了探討#65377;

[關鍵詞]個性化信息服務;web數據挖掘;信息服務機構

[中圖分類號]G202 [文獻標識碼]B [文章編號]1008-0821(2010)03-0067-04

Personalized Information Service Based on Web Data Mining TechniquesDing Jinlong

(Library，Hunan Institute of Engineering，Xiangtan 411104，China)

[Abstract]With the era of personalized information services to provide personalized service，it will be possible in the fierce competition in the win.Web data mining technology is a personalized information services to key technologies.Data Mining in building web-based personalized information services，implementation of model，also based on web data mining based on personalized information service system is running the basic flow，web mining data sources，web mining technology，methods，information systems of services，the system runs for attention were discussed.

[Key words]personalized information service;web data mining;information service

隨著信息技術的飛速發展，以及經濟一體化#65380;競爭全球化#65380;服務網絡化#65380;需求個性化趨勢的不斷推進，眾多社會組織都必須面臨新的工作環境#65380;學習環境與競爭環境，信息服務組織也不例外#65377;特別是互聯網目前已成為人們學習#65380;工作和生活的重要組成部分，信息服務組織如何在網絡環境下開展有效的信息服務，在日趨激烈的市場競爭中取得佳績，是一個值得大家探討的課題#65377;

1 個性化信息服務概述

自1995年3月Robert Armstrong等人在美國人工智能協會上提出個性化導航Web Watcher以來，在世界范圍內掀起了個性化學術研究的熱潮，現在已逐漸走向實際運用，很多公司紛紛推出個性化系統，提供個性化服務#65377;信息服務組織也受到這股熱潮的深刻影響，正在經歷傳統通用信息服務階段向個性化信息服務階段的轉變#65377;

1.1 傳統通用信息服務的弊端

隨著計算機技術#65380;通信技術#65380;網絡技術的發展，眾多信息服務組織紛紛“觸網”，建立了基于互聯網的信息服務系統(如圖1所示)，在一定程度上實現了信息服務的自動化和網絡化#65377;

圖1 傳統通用信息服務系統結構示意圖 但不可否認的是，這類信息服務系統多是以系統自身為中心，并沒有充分考慮用戶的需求與習慣，要求用戶來適應系統而不是系統去適應用戶，沒有充分按照用戶的興趣#65380;愛好#65380;專業等來提供信息，易造成交互性差#65380;信息服務質量偏低等諸多問題#65377;如果信息資源庫中的數據非常龐大，而每個用戶真正感興趣的信息又非常有限的話，用戶為了找到真正感興趣的信息，需要耗費大量的時間和精力，易形成“信息迷航”與“信息過載”現象#65377;

1.2 個性化信息服務的內涵

顯然傳統信息服務系統這種“人找信息”的服務模式已經越來越難于適應人們對迅速增長的信息資源的需求，用戶迫切需要一種能夠根據自身特點自動組織和調整信息的服務模式，個性化信息服務應運而生#65377;對于個性化信息服務的概念，目前業內存在多種解釋#65377;國內學者劉榮認為，個性化信息服務是指能夠滿足用戶個體信息需求的一種服務，是根據用戶提出的明確服務要求，或通過對用戶個性#65380;使用習慣的分析而主動向用戶提供其可能需要的信息服務#65377;國外學者James和Charles則認為，個性化信息服務是針對用戶的個人需求#65380;環境#65380;心理#65380;知識等特征實施的信息服務，即以符合用戶興趣#65380;身份和滿足用戶特定需求的信息形式為其提供針對性的服務#65377;盡管兩者的定義在表述上有差異，但都體現著個性化信息服務“以用戶為中心”的服務原則，其實質就是要做到以下3個方面:服務時空的個性化#65380;服務方式的個性化#65380;服務內容的個性化#65377;個性化信息服務是解決用戶“眾口難調”問題的關鍵，它是適應用戶多樣化需求的重要手段，也是信息服務機構應對信息資源多樣化的一個重要措施#65377;網絡環境下的個性化信息服務體系結構如圖2所示#65377;

圖2 個性化信息服務體系結構框絮圖2010年3月第30卷第3期現?代?情?報Journal of Modern InformationMar.，2010Vol.30 No.32010年3月第30卷第3期基于Web數據挖掘技術下的個性化信息服務Mar.，2010Vol.30 No.32 web數據挖掘是個性化信息服務的關鍵技術

個性化信息服務不僅需要針對不同的用戶需求提供不同的服務，更重要的在于發現用戶的潛在需求進行主動的信息服務，而對用戶需求#65380;興趣#65380;愛好#65380;身份的了解和獲取是個性化信息服務具備針對性的前提#65377;20世紀80年代末興起的數據挖掘(Data Mining)技術，特別是Web數據挖掘技術，為解決此問題開辟了一條道路#65377;數據挖掘是信息服務活動不可缺少的重要工具，能為正確的服務行為提供強有力的支持和可靠的保證，但是傳統的數據挖掘方法大部分只能對同質#65380;同構的數據進行分析，這對于互聯網上大量的異構文本信息#65380;日志信息#65380;超鏈接等不太適用#65377;因此，在傳統數據挖掘的基礎上產生了一個新的技術——web數據挖掘#65377;Web挖掘可分為三類:Web內容挖掘#65380;Web結構挖掘和web使用記錄的挖掘，其所處理的對象包括靜態網頁#65380;Web數據庫#65380;Web結構#65380;用戶使用記錄等信息，其分類如圖3所示#65377;Web數據挖掘的主要方法包括訪問路徑分析#65380;關聯規則發現#65380;序列模式分析#65380;分類規則發現#65380;聚類分析等#65377;Web數據挖掘技術是實現個性化信息服務的關鍵技術#65377;從圖2可以看出，個性化信息服務系統能否正常運轉的關鍵在于用戶建模，即通過收集用戶的各種信息，然后分析用戶數據，進而創建符合用戶特性的訪問模式#65380;需求模式#65380;愛好模式#65377;而Web數據挖掘通過訪問路徑分析#65380;關聯規則發現#65380;序列模式分析#65380;分類規則發現#65380;聚類分析等技術，能夠實現用戶建模，使個性化信息服務的實現成為可能#65377;

圖3 Web數據挖掘技術的簡單分類3 基于web數據挖掘的個性化信息服務的模型

Web數據挖掘是輔助個性化信息服務的綜合分析工具和關鍵技術，運行在信息服務系統的用戶數據庫和數據倉庫之上，應包括以下功能模塊:(1)過濾器，用來從Web數據庫中抽取相關數據，進行二義性分析，消除不一致性#65377;(2)挖掘綜合器，是一個挖掘驅動引擎，根據挖掘要求和挖掘方法的知識庫到Web數據挖掘算法庫中去選擇合適的挖掘方法，并且使用該方法去執行挖掘任務#65377;(3)方法選擇專家系統及知識庫，是Web數據挖掘的“大腦”，是一個規則集合，能夠根據不同的挖掘要求來選擇最有效的挖掘算法或幾種算法的序列組合，并且隨著應用的深人，該知識庫可以不斷融入新的規則，以增加專家系統的智能性#65377;(4)Web數據挖掘算法庫，是一個數據挖掘分析方法的綜合性算法庫#65377;(5)用戶評估界面，提供一個和分析人員交互的友好界面#65377;如果本次的挖掘結果不能滿足分析人員的需要或者還有進一步的猜想，就可以再次從這里輸入挖掘需求#65377;(6)方法驅動模塊，它利用挖掘出來的有益信息，去進行相應的統計與分析工作#65377;據此分析，可以構建一種基于Web數據挖掘的個性化信息服務系統(如圖4所示)#65377;

圖4 基于Web數據挖掘的個性化信息服務系統模框架4 基于web數據挖掘的個性化信息服務系統的運行

該系統結構以Web數據挖掘模塊為中心，對多個數據源的信息進行處理，是一個將用戶數據#65380;信息轉化為知識的過程#65377;

4.1 系統運行的基本流程

(1)明確Web數據挖掘的目標，確定個性化信息服務的應用主題，并對挖掘目標建立恰當的模型#65377;挖掘目標主要有兩個方面:一是從與信息資源#65380;用戶相關的數據中發現對個性化信息服務起關鍵作用的新的有價值的知識;二是通過數據挖掘去驗證假設是否成立#65377;(2)圍繞個性化信息服務主題收集數據源，并對數據進行清理#65380;轉換#65380;集成等技術處理，裝載進入用戶原始數據庫和數據倉庫#65377;(3)在正式挖掘之前，對數據進行格式化操作，并將所有數據導入到特制的數據集市中#65377;(4)選取合適的數據挖掘方法，構建數據挖掘模型，從目標數據中提取有價值的知識與數據，然后對結果進行分析和驗證，調整數據挖掘模型，從而保證結果的可靠性和實用性#65377;(5)挖掘結果評估與知識表示，將這些知識集成到用戶模式庫，融合專家知識與領域規則，以信息機構自有資源庫和Web信息資源庫為基礎，向用戶提供個性化信息#65377;

4.2 web挖掘的數據資源

web挖掘的數據資源有以下4類:

4.2.1 Web服務器數據

當用戶訪問Web服務器時就會在服務器上產生相應的服務器數據，這些數據可以分為日志文件#65380;查詢數據兩種#65377;日志文件是Web服務器上用以記錄用戶訪問頁面情況的文件，分為server logs#65380;error logs和cookie logs#65377;用戶每訪問一個頁面，Web服務器的日志中就會增加一條記錄#65377;不同的Web服務器的產品日志格式不同，但通常都包括訪問者的IP地址#65380;訪問時間#65380;訪問方式#65380;訪問頁面#65380;協議#65380;錯誤代碼以及傳輸的字節數信息#65377;服務器日志數據是使用Web數據挖掘技術的重要數據來源#65377;查詢數據是信息服務機構網站在服務器上產生的一種典型數據，它是在線用戶在查詢所需信息時生成的，這些查詢信息通過cookie或是登記信息連接到服務器的訪問日志上#65377;

4.2.2 用戶登記信息

它是指用戶通過web頁在屏幕上輸入的要提交給服務器的相關信息，包括注冊信息#65380;登錄信息#65380;網上留言等#65377;在Web數據挖掘中，用戶登記信息必須和訪問日志集成，以提高數據挖掘的準確度#65377;通過對用戶登記信息和日志信息的綜合，能夠更好地了解用戶的行為，并針對不同的用戶制定不同的政策#65377;

4.2.3 代理服務器數據

代理服務器相當于在客戶瀏覽器和web服務器之間提供了緩存功能的中介服務器，它的緩存功能減少了web服務器的網絡流量，加快了網頁的運行速度，同時將大量的用戶訪問信息通過代理日志的形式保存起來#65377;

4.2.4 業務往來數據

信息服務機構內部#65380;信息服務機構之間，因為業務往來關系，其中也產生了大量的數據，這些數據對于個性化信息服務機制具有重要的參考價值#65377;因此，這些業務往來數據也是Web數據挖掘技術需要分析的數據#65377;

4.3 web挖掘的技術方法

對于個性化信息服務系統來說，關鍵就是要通過web數據挖掘來挖掘出用戶的興趣#65380;愛好#65380;偏好#65380;專業#65380;使用習慣等，提高信息服務的針對性#65380;合理性#65380;安全性和可操作性#65377;在該系統中，用到的Web數據挖掘技術方法主要有以下幾類:

4.3.1 關聯規則

它是描述數據庫中數據項之間存在關聯的規則，根據一個事物中某些項的出現可導出另一項在同一事物中也出現，即隱藏在數據間的關聯或相互關系，其基本表述為:只要訪問頁面A就有可能訪問B(或C……)#65377;Apriori算法是挖掘用戶興趣關聯規則的經典算法#65377;用戶的行為反映了用戶的興趣，通過用戶集與會話集的關聯分析，可以得到個性化信息服務的最重要的信息——用戶的興趣，發掘出每個用戶的所有的興趣信息;也可以得出用戶同時訪問不同站點的訪問模式#65380;不同興趣(會話)之間同時出現的概率#65377;在個性化信息服務中，關聯規則可用于優化網站信息組織為用戶提供預取可能請求的頁面，以減少等待時間，建立起一個方便有效的服務環境#65377;

4.3.2 聚類分析

聚類是把一組個體按照相似性歸成若干類別，即“物以類聚”#65377;在web挖掘中存在兩種類型的聚類，即用戶聚類和網頁聚類#65377;用戶聚類主要是把具有相似訪問特征的用戶分在一組;網頁聚類，則可以找出具有相關內容的網頁組#65377;聚類分析可以從服務器訪問信息數據中聚集出具有相似特性的用戶組，即把有相似特性的用戶#65380;數據項集合到一起，能為用戶提供個性化信息服務發揮巨大作用#65377;如根據用戶的詢問或過去所需信息的歷史來生成靜態或動態頁面，從而向用戶推薦相關的超鏈接;自動給一個特定的用戶群發送信息服務郵件，當屬于一個用戶群的用戶再次訪問信息服務系統時，為其動態地改變站點的內容等#65377;

4.3.3 分類規則

分類是將一組組個體分門別類地歸入預先設定好的幾個類中#65377;分類的目的是通過統計方法#65380;機器學習方法(包括決策樹法和規則歸納法)#65380;神經網絡方法等構造一個分類模型，然后把數據庫中的數據映射到給定類別中的某一個特定類，以對同一類別中的用戶提供相似的服務#65377;在個性化信息服務系統中，可通過用戶填寫的個人信息及用戶訪問行為模式的分析，用分類方法可以得出用戶輪廓特征，以提供相似或個性化的信息服務#65377;同時，還可以發現未來的潛在用戶并開展有針對性的信息服務活動#65377;

4.3.4 統計分析

統計分析是用來統計用戶最常訪問的網頁#65380;每頁平均訪問的時間#65380;瀏覽路徑的平均長度等數據，以獲得用戶訪問站點的基本信息#65377;此外還能提供有限的低層次的錯誤分析，比如檢測未授權入口點，找出最常見不變的URL等#65377;在個性化信息服務系統中，可以分析單個用戶的訪問次數#65380;總停留時間#65380;訪問的信息量#65380;對哪些信息內容停留時間較長，還可統計系統某個時間段內訪問的次數#65380;訪問次數最多的用戶URL地址等#65377;這樣，就可以對用戶的訪問行為進行預測，為開展個性化信息服務提供決策支持#65377;

4.3.5 序列模式

序列模式挖掘技術就是試圖在時間戳有序的事務集中找到一組數據項之后出現另一數據項的內部事務模式，即挖掘出會話集之間有時間序列關系的模式，從而形成一組按時間排序的會話#65377;在網站日志里，用戶的訪問是以時間段來標記的，經數據清理和事務識別后是一個間斷的時間序列#65377;通過序列模式研究，能夠預測用戶的訪問模式，了解用戶的興趣及需求所在，可以解決個性化信息服務中針對各種類型用戶提供優質服務的問題，使用戶在自己的網站上駐留更長的時間#65377;

4.3.6 依賴關系建模

依賴關系建模是建立一個能描述web領域中各種變量間具有的顯著依賴關系的模型，通過該模型得到用戶的興趣遷移模式#65377;有多種方法可以為用戶的瀏覽和信息獲取行為建模，如決策樹學習法#65380;神經網絡法#65380;隱馬爾可夫鏈模型#65380;貝葉斯信念網絡法等#65377;通過建模，不僅為分析用戶的行為提供了理論框架，還具有預測系統資源消耗的潛力，為改進用戶導航的便利性提供依據，改進個性化信息服務的質量與效率#65377;

4.3.7 模式分析

模式分析通過選擇和觀察把發現的規則#65380;模式和統計值轉換為知識，再經過分析得到有價值的模式，即那些有意義#65380;感興趣的規則#65380;模式，采用可視化技術，以圖形界面的方式提供給使用者#65377;

4.4 信息系統的服務內容

建立在web數據挖掘技術基礎上的個性化信息服務系統，能夠根據用戶的需求#65380;興趣#65380;愛好#65380;專業#65380;習慣#65380;身份等，提供以下極具個性化的服務:

4.4.1 個性化定制服務

個性化信息服務系統能根據用戶的興趣特征#65380;需求偏好，提供個性化定制服務#65377;這類定制服務主要包括服務內容定制#65380;服務界面定制和服務方式定制#65377;服務內容定制是指用戶可以選擇常用的數據庫#65380;電子期刊#65380;搜索引擎以及搜索的專業范圍等，服務內容不再是千篇一律，而是各取所需;服務界面定制是指用戶能夠根據自己的喜好或審美角度，選擇不同的系統界面總體模塊#65380;頁面組合和布局形式，彰顯個性;服務方式定制是指用戶可以設定電子郵件#65380;手機短信#65380;電話告知#65380;專家咨詢等服務方式，以便根據自己的時間和地理方位獲得信息服務#65377;

4.4.2 個性化文獻信息服務

現階段，眾多信息服務機構除了提供數字化信息外，紙質文獻信息也是其信息資源的重要組成部分#65377;通過個性化信息服務系統，信息服務機構可根據用戶各自的具體特征和需求，事先組織#65380;分類#65380;聚合自身的文獻信息資源和服務，向用戶提供針對性較強的一次文獻書目信息#65380;附加價值較高的二次文獻及三次文獻等信息#65377;

4.4.3 個性化推薦服務

個性化推薦服務是一種比較深層次的信息服務方式，它在深入分析用戶專業特征#65380;研究興趣的基礎上，主動向用戶推薦其可能需要的信息#65377;個性化推薦的原理是根據用戶模型尋找與其匹配的信息，或者尋找具有相近興趣的用戶群而后相互推薦瀏覽過#65380;檢索過#65380;下載過#65380;借閱過的信息#65377;它的實質是一種“信息找人”的服務模式，可以減少用戶尋找信息的時間，提高服務效率，這也是信息服務機構競爭制勝的法寶之一#65377;

4.4.4 個性化檢索服務

個性化信息檢索是指根據用戶的興趣和特點進行檢索，返回與用戶需求相關的檢索結果#65377;由于在檢索中考慮了用戶的差異，個性化信息檢索可以大大提高檢索的效率#65377;目前個性化信息檢索還處于研究階段，對于信息服務機構來說，應緊跟信息技術的發展，一旦技術成熟，就可以將其與Web挖掘技術相結合，向用戶提供個性化信息檢索服務，提高競爭力#65377;

4.4.5 個性化決策支持服務

這種服務強調充分運用數據挖掘#65380;語義網絡#65380;知識發現等先進技術，對有用的信息內容再進行深層次的分析與挖掘，向用戶提供能夠用于決策支持#65380;智能查詢#65380;科學研究#65380;解決問題等知識服務方面的規則和模式#65377;

4.5 系統運行的注意事項

(1)發揮人的主觀能動性#65377;技術不是萬能的，技術也不可能解決所有問題，要提高信息服務質量和效率，需要信息服務機構的工作人員增強責任感和事業心，精心維護系統，提高信息加工質量，夯實服務基礎#65377;(2)保護用戶隱私#65377;建立在Web挖掘基礎上的個性化信息服務系統必_須有用戶的參與，同時還要分析用戶反饋的信息，這就可能涉及到用戶的隱私#65377;因此，信息服務機構在提供個性化信息服務時，要充分考慮用戶的隱私權問題，在尊重用戶自己選擇的前提下提供主動服務;同時，要避免用戶個人信息的外泄，從而保護用戶的合法權益#65377;(3)提高系統性能#65377;建立在web挖掘基礎上的個性化信息服務系統一般都繼承了瀏覽器/服務器結構，當中間處理過程費時過多或用戶數量過大時，必然會延長響應時間，系統性能不穩定，這易造成部分用戶的抱怨或離開#65377;因此，信息服務機構還需想辦法提高系統性能#65377;

參考文獻

[1]趙紅霞，趙玉梅.Web數據挖掘在電子商務中的應用[J].華南金融電腦，2004，(11):96-99.

[2]李德杰.Web數據挖掘工具及其在電子商務中的應用[J].微計算機應用，2002，(7):180.

[3]朱曉云.Web數據挖掘與個性化信息服務中用戶研究[J].情報雜志，2004，(2):34-35.

[4]張淼，張國鵝.個性化遠程教育平臺的研究與實現[J].計算機時代，2004，(8):34-37，43.

[5]張冬梅，張志東.構建基于Web數據挖掘技術的信息服務系統[J].圖書情報工作，2003，(2):88-89，83.

[6]楊小平.利用數據挖掘提升internet個性化服務[J].統計與決策，2005，(9):130-131.