基于數據挖掘建模語言的數據挖掘系統設計

林 芳

（廣西工商職業技術學院，南寧 530003）

0 引言

數據挖掘技術在許多行業得到了廣泛的運用，特別在保險、金融及醫療等方面，發揮著非常重要的作用。但是，由于不同的廠商采用的技術體制不一樣，實現的數據挖掘系統存在著差異，致使挖掘模型不可以在眾多的數據挖掘系統間進行資源的共享，這就阻礙了數據挖掘的作用發揮。而且，由于數據源分布位置的不同，也導致了數據集中要花費較高的成本。為了促進和加強數據挖掘模型的標準化，目前一些組織及廠商（例如IBM，Microsoft，KXEN）已經提出了有關的標準。在這些標準中，影響最廣的是數據挖掘組織（Data Mining Group，DMG）提出的預測模型標記語言(Predictive Model Markup Language，PMML)。

為此，本文設計了一種基于預測模型標記語言和Web服務的開放式數據挖掘體系，把預測模型標記語言當成數據挖掘標準，進行模型的描述，因此就能夠方便地進行模型實施的可視化及模型的多種應用。采用Web服務技術，能夠使數據挖掘系統可以構建應用至應用的結構，具備較好的動態擴展性及可移植性，達到模塊間松散耦合的目的，而且，采用作為Web服務發布的不只是封裝的算法，也可以是模型預測，數據預處理，模型可視化等。把這兩者進行結合，引入至數據挖掘系統里，可以實現各種硬件和軟件資源的共享。

1 數據挖掘建模語言概述

依據側重點及功能的不同，可以把數據挖掘語言劃分成三個類型，即：挖掘建模語言、挖掘查詢語言以及通用挖掘語言。

1.1 數據挖掘查詢語言

查詢語言是數據挖掘原語構成的，通過數據挖掘原語，來進行對數據挖掘任務的定義。通過數據挖掘系統與數據挖掘原語之間的通信，促使更加有效地知識發現。該原語主要有五種類型，即：挖掘知識種類、用戶關心的數據集、測量模式估值、指導挖掘專業知識以及挖掘知識的可視化過程。

1.2 數據挖掘建模語言

建模語言是定義及描述數據挖掘的模型的語言，即通過規范的建模語言，讓在模型描述及定義方面，數據挖掘系統可以遵循相關的標準，從而讓眾多挖掘系統間能夠進行模型的共享，這不但能夠克服各系統間封閉性問題，而且能夠將數據挖掘模型嵌入到應用系統中，有效解決單獨知識發現問題。而預測模型標記語言，恰是符合這種要求的一種建模語言。

1.3 通用數據挖掘語言

該語言是把上面兩種語言進行綜合，不但有模型定義功能，還可以作為查詢語言和數據挖掘系統實施通信，實施特定的挖掘和交互。標準化的通用數據挖掘語言，是當前數據挖掘領域一個最佳的解決方案。其中，OLE DB for Data Mining語言就是微軟公司提出的一種通用數據挖掘語言。

2 數據挖掘與Web服務技術的結合

1）數據挖掘系統中，數據的表示機制及存儲的一致性是分布式情況下要解決好的一個重要問題。而采用基于XML語言的Web服務技術，其設計了一個獨立的數據表示機制，能夠有效解決數據的不兼容性問題及私有化問題，讓在不同應用系統中交換數據不再成為問題。

2）數據挖掘系統采用了Web服務技術之后，將會極大地提高系統的易用性。由于Web服務技術為構建在因特網基礎上的，因而能夠通過WSDL及SOAP技術，部署在任何的地理位置供使用。而且，其接口具有平臺獨立性特點，具有自應用至應用的結構優點，與用戶至應用結構有明顯的區別。

3）隨著數據挖掘技術的不斷發展，用戶需求的不斷變化，要求數據挖掘系統具有可擴展的、動態的架構。將Web服務技術引入進來之后，各供應廠商采用Web服務發布的組件就能夠實施動態地調用，滿足新技術發展需求及用戶的需求變化的需要。

3 數據挖掘系統設計

3.1 體系結構

采用PMML與Web服務技術的數據挖掘系統，可以跨越數據結構及平臺的異構性，移植性較好，還可以跨越代理服務器與防火墻實施通信，具有良好的可擴展性、用戶透明性以及使用靈活等特點。基于Web服務的數據挖掘系統結構設計如圖1所示。在圖1中能夠看出，該挖掘平臺是由四個邏輯模塊組成的，分別是：挖掘服務模塊、Web應用模塊、UDDI模塊和用戶接口模塊。

3.2 挖掘任務流程

數據挖掘任務與挖掘步驟如下。

1）構建在UDDI接口上的用戶界面，為系統提供Web服務的實時查找功能。

2）UDDI注冊中心針對全部記錄進行查詢，并將符合條件的記錄返回至用戶界面。

圖 1 基于Web服務的數據挖掘系統的結構

3）某個挖掘服務被用戶選中后，系統將該請求、參數及數據等發送至遠程服務端。

4）當遠端服務端收到該請求以后，進行數據挖掘任務的執行。

5）當任務執行完之后，由服務端把形成的挖掘模型發送給用戶。

3.3 功能模塊設計

典型的數據挖掘系統通常由三個模塊組成，即：數據準備模塊，模型建立模塊及模型應用模塊。把Web服務應用到挖掘系統之后，挖掘系統將全部的挖掘過程及挖掘組件進行封裝，變成Web服務的形式，并生成UDDI注冊中心，進行動態的服務管理。其中的UDDI模塊，其主要功能就是完成對服務的管理，例如服務的發布、查詢以及注銷等。功能模塊設計圖如圖2所示。

圖 2 數據挖掘系統的功能模塊

3.3.1 UDDI模塊

把Web服務引入至數據挖掘系統里來，封裝數據挖掘應用成Web服務，還需要有針對被封裝的挖掘服務的Web服務管理機制。針對該挖掘服務的主要操作是：服務發布，更新，發現，刪除等，而這些操作均能夠以UDDI管理的方式進行實現。通過UDDI模塊，使系統具備了較好的可擴展性特點。UDDI模塊的構成主要有四個部分，即：服務發布模塊、服務注銷模塊、服務發現模塊和UDDI注冊中心。UDDI模塊結構如圖3所示。

圖 3 UDDI模塊結構圖

3.3.2 模型構造模塊

該挖掘系統關鍵模塊，就是模型構造模塊。模型構造模塊進行挖掘算法的調用，當數據完成預處理之后，就在數據集上進行實際數據挖掘任務，形成數據挖掘模型，同時要對挖掘模型實施驗證分析，最后，采用預測模型標記語言進行挖掘模型的表示。模型構造模塊的模型驗證模塊，也是其中非常重要的一個模塊，模型驗證是對模型的有效性及可信度的評價，可以有效地輔助決策者辨別出有意義的模型。

3.4 PMML模塊結構設計

為跨越各企業間及系統平臺、實現資源共享，還需要完成模型的共享，為此，還需要應用獨立的PMML模塊。此模塊的主要功能有兩個方面：

1）在當前的數據挖掘系統中，取得數據挖掘模型，應用PMML模塊，把它以標準化的PMML規范進行描述。采用PMML格式挖掘模型能夠方便地引入至其它數據挖掘應用里，實施模型的部署，預測，集成，以及可視化。

2）把現有的PMML描述的挖掘模型，使用PMML模塊實施解析。經過PMML文檔解析之后，從而獲得了實際的模型信息，該信息能被其他挖掘系統所調用。PMML模塊的應用如圖4所示。

圖 4 PMML模塊的應用

根據上述的PMML模塊功能分析，PMML模塊提供了不同挖掘系統間的通信紐帶。所以，PMML模塊需要有較強的獨立性，還要能夠完整地支持PMML規范操作。此外，PMML模塊要進行動態的不同類型挖掘模型添加處理。為此，本文使用了模塊化的、面向對象的設計，提供一套應用程序接口，因而不同的應用系統就可以進行對應的接口調用，實現PMML規范的良好支持。與此同時，實現PMML規范支持方法要有多種，可以及時地變換實現方法，促使其性能更加穩定。另外，實施了模塊化的設計，PMML的內部模塊耦合度也相應地降低，可以很容易地支持新的挖掘算法。

4 結束語

綜上所述，本文在對Web服務技術及數據挖掘語言實施了分析和研究后，提出一種在PMML和Web服務基礎上的數據挖掘系統架構。該架構具有可動態擴展性、平臺無關性及可移植性等特點，可以實現知識共享、應用集成及節約資源的目的。

[1] 侯敬軍, 曾致遠, 向凌. 一種基于Web服務的分布式數據挖掘體系結構[J]. 微機發展, 2006, 14(6): 48-51.

[2] 方駿, 方云, 肖杰. 數據挖掘的工業標準的現狀和展望[J]. 計算機應用研究, 2007, 6: 8-10.

[3] 石峰, 周紹梅. 數據挖掘語言及其標準化淺析[J]. 江西科學, 2007, 23(1): 69-71.

[4] 蘇衛. 數據挖掘工具的應用與標準化[J]. 計算機工程(增刊), 2008, 30: 40-42.

[5] 王闖舟. PMML實現高速便捷的數據挖掘[J]. 金融電子化, 2007, 4: 57-58.