科學數據挖掘網格服務框架

摘 要：在分析科學數據網格環境下數據挖掘之特點的基礎上，提出了科學數據挖掘網格服務框架。科學數據挖掘網格服務以網格服務的形式提供了科學數據網格環境下的數據挖掘解決方案。與傳統的數據挖掘系統相比，科學數據挖掘網格服務具有諸多優點，更適合科學數據網格和科學數據庫環境。目前已經實際應用于幾個數據庫中，不僅具有簡單的查詢檢索功能，而且可以進行數據統計分析及知識發現，進一步提高了科學數據網格服務的水平。

關鍵詞：數據挖掘； 網格服務； 科學數據庫； 開放網格服務體系結構

中圖分類號：TP311.13文獻標志碼：A

文章編號：1001-3695(2007)06-0025-05

0 引言

中國科學院科學數據庫是從1983年開始建設的一個大型綜合性數據庫群，是目前國內信息量最大、學科專業最廣、服務層次最高、綜合性最強的科技信息服務系統［1］。“十五”期間，在中國科學院信息化建設專項的支持下，科學數據庫的發展進入一個新的階段。目前已有45個建庫單位（中科院的研究所），截至2005年10月底，達到專業數據庫503個，總數據量16.6 TB。科學數據庫將數據網格技術作為“十五”科學數據庫建設的核心技術，其目標就是通過建立科學數據網格，實現科研工作的信息化。科學數據網格（Scientific Data Grid，SDG）［2］是以科學數據資源的共享以及在此基礎上的協同工作為核心的應用網格。它集成了當前在信息化環境中的科學研究的主要資源——科學數據和數據分析處理所需要的計算能力，是在科學研究領域中非常有代表性的應用網格。目前，科學數據上的數據挖掘和知識發現的重要性日益提高。許多領域，諸如生物信息學、地球物理學、天文學、醫藥學、氣象學、粒子物理學等學科，面臨著數據量的指數級增長。計算基礎設施的進步，使得科學家可以從桌面電腦上訪問大量的數據和計算資源。EScience的首要挑戰是從數據的“雪崩”中有效地抽取、集成、探測、分析和表達知識，使科學家能夠利用數據的潛能。這引發了一系列不同領域的需求。軟件工程師需要建設把眾多的數據資源集成到一起的計算基礎設施；計算機科學家需要開發集成和探測數據的算法；各個領域的專家需要定義元數據標準并提出挖掘目標。

中國科學院正在建設以EScience為核心的新型科研環境與支撐平臺，為知識創新提供強有力的支持，為國家科技事業的發展作出貢獻。科學研究的信息化（EScience）將改變人們從事科學研究的方式和方法，為科研人員提供一個信息化的科學研究環境，極大地促進科學研究的發展，并有力地推動社會的信息化與進步。科學數據網格的目標是建設一個資源共享、協同工作的開放式科研平臺。它使得全球性的、跨學科的、大規模科研合作，跨越時間、空間、物理障礙的資源共享與協同工作成為可能；將改變科學家們從事科研活動的方法和模式，極大地促進交流合作，推動科學研究的發展；是下一代互聯網絡技術及信息基礎設施在科研領域的率先應用；提供了一種信息化的科學研究環境和平臺，在不同的科學研究領域和科學研究活動中，開發針對特定需求的應用。

網格計算是新興的分布式計算和應用集成的良好平臺；而科學數據網格是在科學數據庫多年建設成果的基礎上，引入網格計算技術，提供科研信息共享和協作的應用網格。數據挖掘技術提供了分析海量數據，從中提煉知識的強大工具。

本文主要討論科學數據網格環境下如何通過構建科學數據挖掘服務，提供科學數據挖掘解決方案。由于科學數據網格涵蓋的領域非常廣泛，數據類型極其豐富，數據應用各式各樣，科學數據網格環境下的數據挖掘具有下列特點：（1）分布式異構數據環境。

科學數據網格是由分布在全國各地的若干數據存儲資源聯合提供網格服務構成的。各個存儲資源可能具有不同的軟硬件環境。數據存儲的格式包括各種關系數據庫、數據倉庫和文件系統等多種類型。

（2）多種數據類型。

科學數據網格中不僅存在關系型數據和結構化數據，也存在大量的半結構化和無結構的數據。數據類型包括數值型、類別性、布爾型及文本型，并且具有不同的計量單位。

（3）多種數據挖掘功能和方法。

數據挖掘系統利用的技術越多，得出的結果精確度就越高。原因很簡單，對于某一種技術不適合的問題，其他方法卻可能奏效。科學家可能利用科學數據網格提供的數據資源作各種各樣的分析、處理和挖掘，用于發現多種模式。因此，科學數據挖掘網格服務需要提供多種數據挖掘功能和方法。

（4）面向眾多的學科領域。

科學數據庫的內容涵蓋了化學、生物、天文、材料、腐蝕、光學機械、自然資源、能源、生態環境、湖泊、濕地、冰川、大氣、古氣候、動物、水生生物、遙感等多種學科。科學數據挖掘系統面向眾多的學科領域，提供數據挖掘服務，而不是針對一個特定的問題給出具體實現。

（5）可伸縮性。

目前，在越來越多的科學、生產、工程等領域，如生物、醫學、天文學、高能物理、全球氣候模擬等，每天產生的數據正在以爆炸性的趨勢迅速增長，數據量已經達到TB級，并且將很快達到PB級。大尺寸數據集逐漸成為一種重要的數據資源。因此，科學數據挖掘系統需具有良好的可伸縮性，能夠處理海量數據。

（6）面向網格計算環境。

科學數據挖掘的目標是為科學數據網格的用戶提供靈活方便的數據挖掘解決方案，促進科學研究的發展。因此，科學數據挖掘系統是一個面向科學數據網格環境，為網格用戶提供數據挖掘服務的系統。

1 網格體系結構

網格體系結構是關于如何建造網格的技術，包括對網格基本組成部分和各部分功能的定義和描述、網格各部分相互關系與集成方法的規定、網格有效運行機制的刻畫。顯然，網格體系結構是網格的骨架和靈魂，是網格最核心的技術，只有建立合理的網格體系結構，設計和建造好網格，才能夠使網格有效地發揮作用。目前網格體系結構的設計已有了一定的研究。其中層次協議結構和開放網格服務體系結構（Open Grid Service Architecture， OGSA）是最重要、最具代表性的兩個。

1.1 五層沙漏結構

層次協議結構是在Globus項目中提出的具有一般性的網格體系結構。它是以協議為中心的協議結構，強調協議在網格的資源共享和互操作中的地位。根據層次協議結構中各組成部分與共享資源的距離，將對共享資源進行操作、管理和使用的功能分散在五個不同的層次，分別是構造層、連接層、資源層、匯集層和應用層，如圖1所示。

五個層次的功能描述如下：

（1）構造層。它是物理或邏輯實體，其功能是向上提供網格中可以提供共享的資源。

（2）連接層。它是網格中網絡事務處理通信與授權控制的核心協議。構造層提供的各種資源間的數據交換均在這一層的控制下實現。各個資源間的授權驗證、安全控制也在這里實現。

（3）資源層。其作用是對單一資源實施控制，與可用資源進行安全連接，對資源作初始化，監測資源運行狀況，對有關的資源使用數據作統計與實施付費。

（4）匯集層。其作用是將資源層提供的受控資源匯集在一起，供虛擬組織的應用程序共享、調用。

（5）應用層。該層是網格上用戶的應用程序。應用程序通過各層的API調用相應的服務，再通過服務調用網格上的資源來完成任務。

五層沙漏結構是一種抽象層次結構，其特點是整體結構呈沙漏形狀，而且各部分協議的數量是不同的。沙漏瓶頸作為核心部分定義了核心抽象和協議的一個小集合，由資源層和連接層共同組成。各個高層（沙漏的頂部）行為映射到它們上面，它們自身也能被映射到不同的基本技術之上（沙漏的底部）。另外，此結構實現了更高程度的共享。這種共享不只是交換文件，而是更強調對計算機、軟件、數據以及其他資源的直接訪問，并且這種共享是一種隨時間變化的動態共享，可以跨越不同的單位與組織的管理范圍，也可以跨越不同的地理位置。這種共享是深層次、廣泛、動態、具有多種形式的、有條件受控制的共享。

1.2 開放網格服務結構

OGSA是在以IBM為代表的工業界的影響下，在考慮到Web技術的發展與影響后，Foster等人結合Web服務提出的，是繼五層沙漏之后最重要，也是目前最新的以服務為中心的網格體系結構，被稱為是下一代的網格結構。相對于五層沙漏結構的以協議為中心的協議結構，OGSA是以服務為中心的服務結構，如圖2所示。這里的服務所指的概念更為廣泛，包括各種計算資源、存儲資源、網絡、程序、數據庫等，一切均是服務。在OGSA中實現的是對服務的共享。它將資源、信息、數據等統一起來，十分有利于靈活、一致、動態共享機制的實現，使得分布式系統管理有了標準的接口和行為。

為了使服務的思想更加明確和具體，OGSA定義了網格服務的概念，它是Web服務的一個擴展。它把Globus標準與面向商業應用的萬維網服務結合起來，把網格計算從科學與工程計算應用擴展到更廣泛的以分布式系統服務集成為主要特征的商業應用領域。OGSA將一切都看做是網格服務。網格服務可以不同的方式聚集起來滿足虛擬組織的需要。虛擬組織自身也可以部分地根據它們操作和共享的服務來定義。

圖1 五層沙漏結構的協議分層圖2 開放網格服務結構OGSA

網格服務=接口/行為+服務數據。在OGSA中，目前已提供服務生命周期管理、創建臨時服務、注冊服務、主鍵服務、消息發布服務、消息接收服務、句柄映射七個服務接口。其中服務生命周期管理服務是必需的。每一個服務接口均提供了相應的操作。網格服務通過提供一組相對統一的核心服務接口，所有的網格服務均基于這些接口實現。這樣就可以很容易地基于簡單的、基本的、具體的服務構造出具有層次結構的、更高級別的抽象服務。這些服務可以跨越不同的抽象層次，以一種統一的方式來看待，有利于通過統一的標準接口來管理和使用網格。與五層模型一樣，在OGSA中也非常重視互操作性。從服務的觀點看，OGSA將互操作性問題轉換為兩個子問題，即定義服務的接口和識別激活特定接口的協議。

以網格服務為中心的模型具有如下好處：①由于網格環境中所有的組件均是虛擬的，通過提供一組相對統一的核心接口，所有的網格服務均基于這些接口實現，就可以很容易地構造出具有層次結構的、更高級別的服務。這些服務可以跨越不同的抽象層次，以一種統一的方式來看待。②虛擬化也使得將多個邏輯資源實例映像到相同的物理資源上成為可能，在對服務進行組合時不必考慮具體的實現，可以在底層資源組成的基礎上，在虛擬組織中進行資源管理。通過網格服務的虛擬化，可以將通用的服務語義和行為，無縫地映像到本地平臺的基礎設施之上。

Web服務是網格服務及OGSA的基礎。因此了解Web服務的體系結構能夠更好地理解和部署網格服務。Web服務是一種分布式計算技術（類似CORBA、RMI、EJB等），它能在所有支持Internet通信的操作系統上實現。目前被大量部署于商業應用的C/S模式中。Web服務的基本結構是基于服務提供者（Web服務容器）、請求者（客戶機）和中介者（UDDI注冊中心）三個角色之間的交互、交涉及服務的發布、發現和服務請求者與服務提供者之間的綁定三個動作。可簡單地歸結為客戶根據需求向Web服務發送服務請求，Web服務向客戶返回服務結果。Web服務的所有協議均基于標準的Web協議，如HTTP、XML、SOAP、WSDL、UDDI等。這些協議組成堆棧的形式，每一個下層提供對它上層的支持；同時每一個上層均必須基于所有的下層協議之上。

開放網格服務結構基于統一的Web服務框架。一個Web服務就是一個可以被URI識別的軟件應用。其接口和綁定可以被XML語言描述和發現，并且可以通過基于Internet的協議直接支持與其他基于XML的軟件應用進行交互。OGSA架構從下到上依次是：

（1）資源層。它包括物理資源和邏輯資源。物理資源包括存儲器、網絡、計算機、顯示設備、服務器和其他相關的本地服務。邏輯資源通過虛擬化和聚合物理層的資源來提供額外的功能和通用的中間件，如文件系統、數據庫、目錄、工作流管理和安全認證等，在物理網格上提供這些抽象服務。

（2）Web服務層。在這一層所有的網格資源（物理的和邏輯的）均被建模為服務。OGSI（Open Grid Services Infrastructure）規范定義了網格服務并建立在標準Web服務技術之上。OGSI進一步擴展了Web服務的定義，利用如XML和WSDL這樣的Web服務機制，為所有網格資源指定標準的接口、行為和交互，提供動態的、有狀態的和可管理的Web服務的能力。

（3）網格服務層。基于OGSI架構的網格服務層是Web服務層及OGSI擴展為上一層提供的基礎設施。目前，研究人員致力于在程序執行、數據服務、核心服務等方面定義基于網格架構的服務。定義這些核心網格服務，主要是因為它們最有可能得到大多數高級服務的利用。實現這些高級服務或者是為了支持程序執行，或者是支持數據訪問，或者是將它們實現為特定領域的服務。

這些核心服務包括：①服務管理。提供相關功能來管理分布式網格中部署的服務。

②服務通信。支持網格服務用來與其他網格服務通信的基本方法。提供支持多種通信的模型，允許進行有效的服務間通信。

③策略服務。提供用于創建、執行和管理系統操作策略和協議的一般框架，包括控制安全、資源分配和性能策略，以及一個用于策略敏感的服務的基礎結構，以便使用策略來控制它們的操作。

④安全服務。以一種使不同操作系統能夠安全互操作的方式，支持、集成和統一現在流行的安全模型、機制、協議和技術。這些安全服務啟用并擴展了核心Web服務安全協議和綁定，同時提供面向服務的身份驗證、授權、信任策略、證書轉換等機制。這些服務的提供，使OGSA變成更加有用的面向服務的架構（Service Oriented Architecture， SOA）。

（4）網格應用層。隨著基于網格架構的服務不斷被開發出來，使用一個或多個基于網格架構的服務的新網格應用程序亦將大量出現，構成網格應用層。

1.3 網格服務

網格服務是網格環境中進行分布式計算的基本構造模塊。網格開放的標準以及用戶與網格應用程序之間的通信和協作產生了網格計算環境。在網格環境下，網格服務成為應用程序集成的平臺。網格應用是通過使用多個不同來源的網格服務構造而成的。這些網格服務相互協同工作，而不管它們位于何處或者如何實現。網格服務是物理和邏輯資源，以及暴露在網絡上的應用功能的邏輯展現。網格服務具有以下特點：

（1）網格服務通過標準的協議向網格用戶提供有用的功能。

（2）網格服務可以非常詳細地說明其接口，這使網格用戶能夠創建客戶端應用程序與它們進行通信。

（3）網格服務通過注冊中心注冊后，網格用戶能夠輕易地找到這個網格服務。這是通過通用的發現、說明和集成機制來完成的。

在OGSA框架下有簡單運行模式、虛擬運行模式和組操作模式。所謂簡單運行模式，是指在一個簡單的或小的管理范圍內的資源集成和共享。例如在一個商業化IT基礎設施的內部，甚至是一個J2EE應用服務、Microsoft .NET系統或Linux集群內。所謂虛擬運行模式，是指與虛擬組織相關聯的資源可能跨越異構、地理分布的多個運行環境。組操作模式是一種更高級的形式。在組操作模式環境中，可以提供給虛擬組織參與者更復雜的、虛擬的、組或端到端的服務。這三種應用模式從簡單到復雜，包含的服務從具體到抽象。OGSA的Factory、Registry、GridService、HandleMap等接口支持臨時服務實例的創建，可以發現并且描述與組織相關的服務實例。

一般而言，網格用戶提出的服務要求均比較抽象和復雜，但可將其層層分解，轉換為多個相對基本的要求或服務，直到找到基本的可以滿足的服務。這些不同服務的實現可以直接映射到局部操作。基于上述三種應用模式，注冊后的網格服務組，可以跨越多個分布式的資源池，支持滿足服務質量要求的功能。可以借助于一些應用和中間件來開發這些服務，在本地/遠程透明以及局部優化的基礎上，實現跨越異構平臺的資源管理。與多個虛擬組織相聯系的服務集合可以映射到相同的底層物理資源上。這些資源在邏輯上可以是不同的，但是可以在更低的物理層次上共享資源。

網格服務包括永久服務和瞬時服務。網格需要提供對永久服務的發現和調用、動態創建和銷毀瞬時服務。每一個服務實例有一個全局唯一的、不變的名字GSH（Grid Service Handle）；它通常是一個全局唯一的URL，沒有攜帶網絡協議和地址等信息。網格服務引用GSR（Grid Service Reference）描述了與服務實例交互所需的實例特殊信息，包括協議綁定信息、網絡地址等。客戶程序使用GSR與服務實例進行交互。GSR在服務實例生命期內會發生變化，一個GSH可能對應多個GSR，但在一個時刻是一一對應的。這種名字與實現的分離方便了服務的升級和演變。映射接口（Mapper Interface）將GSH映射到GSR。工廠服務提供了創建新的網格服務實例的接口。網格注冊服務實例維持網格服務的信息，注冊管理接口允許網格服務的軟狀態注冊。網格服務實例可以周期性地注冊其GSH到注冊服務。GSH注冊接口與GSH相關服務屬性定義分開。服務發現接口允許客戶查詢服務實例的信息，可以用來發現服務實例集合。客戶程序通過調用工廠服務創建所請求的網格服務實例，返回網格服務實例的網格服務句柄GSH和網格服務引用GSR。這個過程如圖3所示。

圖3 創建網格服務實例的過程

2 科學數據挖掘網格服務

科學數據網格是以科學數據資源的共享以及在此基礎上的協同工作為核心的應用網格。它集成了當前在信息化環境中科學研究的主要資源——科學數據和數據分析處理所需要的計算能力。科學數據網格的目標是為網格用戶在科學數據庫的基礎上提供更好的服務，并促進科研信息化的發展。

2.1 虛擬存儲

計算網格的初衷是通過網絡互連，使Internet 成為高性能的計算環境，面向科學計算，支持大規模計算密集型問題的求解。但是隨著應用的發展，數據密集型應用逐漸成為廣為關注的焦點，數據網格的概念被提出。它通過集成網絡上分布的多個數據集資源，形成單一虛擬的數據訪問、管理和處理環境，為用戶屏蔽底層異構的物理資源，建立分布海量數據的一體化數據訪問、存儲、傳輸、管理與服務架構［4］。相比于計算網格，它更側重于數據的存儲、傳輸和管理。用戶向數據網格提交數據請求，網格接收請求后，查找符合要求的數據，并將找到的結果返回給用戶。整個過程由網格自動完成，對用戶完全透明，他不必關心數據的物理存儲位置、數據的存儲管理方式，因此在很大程度上簡化和方便了用戶的使用。

數據網格關心的不僅僅是存儲，還包括了數據、信息、用戶以及網格節點等多種資源。數據網格雖然是一個全新的概念，但它并不是另起爐灶，完全從頭開始。它并不排斥現存數據存儲管理技術，而是在這些技術的基礎上對它們進行補充、集成和發展，在更高一個層面上為數據的存儲和管理提供一種解決方案［5］。在數據網格中，物理資源通過網格服務映射到虛擬資源，服務化各類資源，如圖4所示。對資源的訪問位置透明、多協議綁定和服務的多種實現。多個網格服務可以組成高級服務，不關心各服務如何構成實現。

圖4 數據網格存儲虛擬化

2.2 科學數據挖掘網格服務框架

科學數據網格通過提供網格服務——科學數據挖掘網格服務（Scientific Data Mining Grid Service， SDMGS），為用戶程序提供網格環境下的數據挖掘解決方案。用戶程序在科學數據網格中進行數據挖掘的步驟如圖5所示。

圖5 科學數據挖掘網格服務

科學數據挖掘工廠（Scientific Data Mining Factory）是一個可以動態創建科學數據挖掘服務實例的工廠，為用戶程序提供數據挖掘服務。SDMGS實例從科學數據挖掘工具集（Scientific Data Mining Toolkit， SDMK）獲得數據預處理算法和數據挖掘算法。SDMK提供了數據預處理工具和多個數據挖掘算法，包括關聯規則發現、聚類算法、分類算法、序列模式算法等。這些數據挖掘算法具有統一的屬性和方法的描述方式，系統可以動態地增加和刪除算法；對于所有的挖掘算法，可以采用統一的方式調用。科學數據挖掘工具集解決了傳統數據挖掘應用中數據挖掘算法固定、不可增刪的問題。

數據挖掘的數據來源是用戶在挖掘任務中指定的一個或多個數據服務。SDMGS實例通過訪問這些數據服務，選取用于挖掘任務的數據，進而構造成數據挖掘模型。SDMGS實例挖掘的結果是用PMML［6］表示的數據挖掘模型。數據挖掘模型是利用某種數據挖掘算法對一組數據進行分析之后得到的規則和知識。數據挖掘模型可以是多種多樣的：它可能是一組關聯規則、一棵決策樹、一條曲線或是對某些聚類的描述。數據挖掘模型是數據挖掘算法的實際應用形式。用戶程序使用可視化工具把數據挖掘模型展現出來，并且可以對數據挖掘模型進行瀏覽和查詢。

科學數據網格環境下，用戶程序使用科學數據挖掘網格服務進行數據挖掘的各個步驟描述如下：

（1）用戶程序向科學數據網格中的注冊服務提出請求，請求發現一個科學數據挖掘工廠和一個數據存儲工廠。其中數據挖掘工廠能夠創建科學數據挖掘服務實例；數據存儲工廠用于存儲挖掘的結果。

（2）注冊服務向用戶程序返回發現的科學數據挖掘工廠和數據存儲工廠的網格服務句柄和網格服務引用。

（3）客戶程序向科學數據挖掘工廠請求創建一個科學數據挖掘服務實例。創建的科學數據挖掘服務實例為用戶提供數據挖掘服務。

（4）客戶程序向數據存儲工廠請求創建一個存儲服務實例，用于存儲科學數據挖掘服務產生的結果。

（5）科學數據挖掘服務訪問用戶指定的挖掘目標，產生用戶感興趣的模式。這一步是整個過程的核心。它接受用戶交互模塊的數據挖掘任務請求，對該任務加以分析，調用科學數據挖掘工具集SDMK提供的預處理算法和挖掘算法；根據算法的要求訪問數據服務以獲取相應的數據傳回挖掘算法，完成數據挖掘運算；最后根據運算結果對數據挖掘模型加以處理，并將相應的結果存儲到用戶申請到的存儲資源空間中，同時通知用戶程序。

（6）數據挖掘的結果保存到數據存儲服務實例中。科學數據挖掘服務產生的數據挖掘模型被存儲到用戶申請到的存儲服務中，以便用戶程序訪問。

（7）用戶程序訪問數據挖掘的結果，將數據挖掘任務的結果以人們可以理解的形式展示給用戶。數據挖掘的結果可能是多種多樣的。它可以是一棵決策樹，可以是一張表格，可以是一組曲線，可以是一張圖表，甚至可以是一段描述性文字；對于任務執行者來說，它是一篇符合PMML規范的模型描述文檔。該部分要求將復雜的知識轉換為人腦思維可容易理解的形式，可以運用各種可視化技術實現。

3 結束語

黃河流域水文泥沙數據庫和黃土高原地區氣候數據庫是中國科學院水土保持所建設的科學數據庫項目。目前已經將數據挖掘技術應用于這兩個數據庫中。在此，主要的數據挖掘功能包括：①利用關聯規則發現算法發現屬性之間的關系，如黃土高原地區氣候數據庫中各種氣候屬性之間的關系。②利用聚類算法在黃河流域水文泥沙數據庫中發現水文特征相似的觀測站的集合；在黃土高原地區氣候數據庫中發現氣候特征相似的觀測站的集合。③利用序列模式發現算法發現屬性值的變化規律，為科研工作者分析水文參數和氣候特征變化提供參考。④利用預測算法預測水文特征和氣候特征演變的規律和發展趨勢，為科研工作者進行分析和預測提供參考。

本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。