Web數據挖掘系統的設計及關鍵技術研究

西南科技大學 四川 綿陽 621000

在Web上有著大量的信息，當前數據挖掘領域所面臨的新問題就是如何從非格式化的數據信息中挖掘出有用的信息，與數據庫中所存在的信息不同，Web上的數據信息，沒有統一的格式，因為他無法向數據庫一樣，有著規范的結構，另外，對于數據對象的處理，Web挖掘技術與傳統數據挖掘技術之間也完全不同，一些異質的非結構化信息是傳統數據挖掘技術的死角，但自從Web挖掘技術應用以后，大量的Web信息資源，不再能夠用數據模型來表示，因為這些數據大部分是非結構化，或者是半結構化，因此，必須以很多個數據倉庫挖掘技術來進行Web的數據挖掘，顯然，這挑戰性是非常強的。

一、Web挖掘的概念

眾所周知，Web挖掘是數據挖掘的過程，在這個挖掘過程中主要針對的內容是Web頁面內容，用戶訪問信息，用戶注冊信息以及電子商務交易信息等等，在數據挖掘方法下，Web挖掘能夠獲取到很多有用的知識，借助Web挖掘技術，人們可以對站點設計進行改進，確保個性化服務能夠得到有效提供。因此一般情況下加等不利弊挖掘分為三種，分別是內容挖掘使用挖掘以及結構挖掘。

1.1 Web內容挖掘 所以Web內容挖掘指的就是對Web頁面的內容進行挖掘，Web頁面內容中包括以音頻數據，圖像數據或文本數據為主的非結構化的數據，另外還包括這些數據相融合的多媒體數據等。

文本挖掘是Web挖掘的基礎，因此，在內容挖掘上，這種方式也占據主導地位，通常情況下，平面文本挖掘功能和方法與之相類似，相對于數據庫中的結構化數據來說，Web文檔的結構是比較有限的，甚至有的Web文檔根本沒有結構，這些是文本信息資源的主要特征，現有的很多數據挖掘技術之所以無法在文本上進行預處理，都與這些文本信息源的特征有關，為了成為文檔，中間的表現形式可以在挖掘過程中抽取其特征，并采用結構化的形式進行保存。以文本特征表示為基礎，對特征子集進行提取，文檔特征在子集算法上一般會選取一個評價函數，針對特征進行獨立的評估，這樣確保每一個特征都會有一個屬于自己的評估分，按照評估分的大小進行排序，選擇預訂數目最佳的特征，作為最終的結果，當Web文本實現結構化以后，Web上的大量文檔內容都可以進行總結分類，這一系列的挖掘工作都能夠得以實現。

1.2 Web結構挖掘 對web頁面內部或者是之間的結構進行挖掘的基本思想，指的就是Web結構挖掘，Web，結構挖掘實際上，可以將其看做一個有相圖，W頁面是它的頂點，有相圖的編制的就是頁面間的超鏈接，結合圖論，對Web的拓樸結構進行分析，Web，結構的基本算法是hs，它有兩部分構成，分別是構造紙圖和迭代計算，Web結構挖掘以一個網頁的歸類為基礎，展開不同頁面關聯度與像素信息的獲取。

總的來看，Web文本挖掘與Web結構挖掘的局限性還是比較大的，前者對于頁面的拓撲結構信息沒有進行充分的考慮，后者對于Web，數據挖掘的文本信息沒有得到充分考慮，因此，在使用過程中，Web文本挖掘和Web結構挖掘進行結合，可謂是最好的使用方法，兩者結合對于Web頁面能夠實現更好的評價。

1.3 Web日志挖掘 從Web訪問日志中發現到用戶的訪問模式，從而對用戶的測覽行為進行預測，就是Web的日志玩具，雖然Web屬于一個比較龐大的信息，但是每一個Web服務器中，訪問日志都得以保留，而且Web服務器中的日志結構非常完，你要用戶訪問Web戰，間頁面用戶的相關信息都能夠在日志中有所記錄，因此，Web日志挖掘主要是挖掘Web用戶訪問時的痕跡。

二、基于數據挖掘的Web挖掘系統

2.1 Web挖掘系統的邏輯架構 以數據挖掘為基礎的Web挖掘系統模型為Web挖掘提供了一個良好的集成環境，這環境中，整個挖掘系統的整體性能得到有效提高，Web挖掘系統原型Web MS的三個邏輯層次。數據獲取層的主要功能是對半結構化的Web數據進行模型抽取和調換，并用結構化的數據來表示，最終抽取和轉換的結果，利用結果建立起多層次的Web數據庫，采用預籌里的手段，對Web服務器的日志數據進行處理，這樣Web日志數據庫就形成了。在數據存儲層多層Web數據庫，以及Web日志數據庫都被稱作Web信息庫。

2.2 Web MS原型 Web MS是Web，數據挖掘系統的原型，WebMS的基本挖掘功能多面性更強，使Web內容挖掘和使用挖掘在整個系統中得得到集成，在Web MS中多種挖掘算法都實現了嵌入，并且與系統中的其他模塊之間實現了緊密配合，結合Web挖掘方法庫調用方法以及接口規范，使Web挖掘能夠共同完成。

在整個系統內部中各個模塊之間的功能是相對獨立的，他們在使用過程中又產生了一定的協同配合，用戶的需求下，數據采集對Web資源進行搜索，在相關處理器過濾器的處理下，形成數據存儲形式，挖掘綜合器并能夠對這些數據進行使用，結合挖掘要求，挖掘綜合器可以在方法庫中選擇恰當的方法對其進行挖掘，并輸出挖掘結果，用戶根據結果，來判定是否結束任務，如果用戶滿意，那么任務就會隨時截止，如果用戶不滿意，則會對挖掘要求進行調整，從而進行新的挖掘，可以在系統維護過程中實現新挖掘方法的加入，這樣系統并能夠實現升級。

總結

Web挖掘可謂是當今最熱門的研究領域，而且伴隨著信息技術的不斷發展，這么個領域的應用前景非常廣闊，無論是在技術上，還是在工具上Web挖掘都具有無限的潛力，因此，在Web的挖掘上還應該更深入。