云計算環境下面向領域的數據挖掘服務平臺研究

曹小春 曾安 潘丹

(溫州廣播電視大學1,浙江 溫州 325000;廣東工業大學計算機學院2,廣東 廣州 510006;美國Batteries Plus公司3,威斯康辛州 哈特蘭市 53029)

云計算環境下面向領域的數據挖掘服務平臺研究

曹小春1曾安2潘丹3

(溫州廣播電視大學1,浙江 溫州 325000;廣東工業大學計算機學院2,廣東 廣州 510006;美國Batteries Plus公司3,威斯康辛州 哈特蘭市 53029)

為促進數據挖掘開發及其商業應用,采用云計算技術、領域工程和數據挖掘等技術,結合領域驅動設計和云計算框架,提出了一種面向領域的數據挖掘云平臺框架,并闡述了云計算環境下面向領域的數據挖掘服務的機理。定義了面向領域的數據挖掘云平臺服務開發模式,這對面向領域的數據挖掘、云計算環境下的數據挖掘服務模式以及數據挖掘服務的開發和應用都有一定的參考價值。

云計算 領域工程 數據挖掘 面向領域 領域驅動

0 引言

目前,關于云計算和大數據的研究已成為計算機科學中的研究熱點之一。隨著互聯網和企業業務的發展,海量商業信息數據成為了企業的又一寶貴財富。當然隨之而來的問題是怎樣有效地從這些大數據中挖掘出具有商業價值的信息。顯然,建立一個分布式的、高效的、靈活的、擴展性強的數據挖掘模式和云計算平臺已然成為了當務之急。而基于云計算環境的數據挖掘通常不能很好地適應跨領域或多領域的數據挖掘任務,且難以適應多變的需求,對領域人員的知識、經驗的要求較高。本文考慮基于領域構件的軟件復用,將云計算、數據挖掘、領域工程相結合,提出了一種面向領域的數據挖掘云平臺架構。

1 相關技術

1.1 領域工程

在軟件工程環境中,領域是指一組具有相似或相近軟件需求的應用系統所覆蓋的功能、問題、問題解決方案或知識區域[1]。領域工程是為一組相似或相近系統的應用工程建立基本能力和必備基礎的過程,它覆蓋了建立可復用的軟件構件的所有活動[2]。領域工程是針對應用工程中多個系統共享的領域需求開發和組織特定領域的可復用構件的過程,具體而言是將領域知識轉化成系統中共同的規約、設計和架構。通過領域工程產生的可復用構件來源于領域系統中現有的系統,體現了領域中系統的本質需求[3]。

領域工程包括以下三個主要階段。

①領域分析:目標是獲得領域分析模型。結合用戶需求,通過分析、研究一組應用系統的特性,發現并描述出需求的共性和特性,從而界定領域的邊界。

②領域設計:目標是獲得特定領域的軟件架構(domain-specific software architecture,DSSA)。領域設計是以領域分析模型為基礎,獲取特定領域的軟件體系結構DSSA的過程(又稱復用基礎設施)。

③領域實現:目標是實現DSSA和構件,并依據領域分析模型和DSSA組織可復用構件庫。

領域工程和應用工程是兩個并行的過程,兩者關系圖如圖1所示。在應用工程中,重用領域工程的結果,是利用在領域工程中開發的可復用資源制作具體系統的過程。領域工程的三個主要階段是一個反復迭代、逐漸求精的過程。

圖1 領域工程和應用工程關系圖Fig.1 Relationship between domain engineering and application engineering

1.2 領域驅動設計和經典分層架構

2004年,Eric Evans發表領域驅動設計(domaindriven design-tackling complexity in the heart of software, Evans DDD)。領域驅動設計分為兩個階段:以一種領域專家、設計人員、開發人員都能理解的通用語言作為交流工具,進而發現領域概念并將其設計成領域模型;由領域模型驅動軟件設計,用代碼來實現該領域模型。

領域驅動設計的經典分層架構如圖2所示。

圖2 領域驅動設計的經典分層架構圖Fig.2 Classical hierarchical architecture of domain driven design

各層具體說明如下。

①用戶界面/展現層:負責向用戶展現信息以及解釋用戶命令。

②應用層:定義軟件要完成的任務。

③領域層:負責表達業務概念、業務狀態信息以及業務規則,領域模型處于這一層,是業務軟件的核心。

④基礎設施層:為其他層提供通用的技術能力;提供層間的通信;為領域層實現持久化機制。

構建領域數據挖掘系統,需要不同領域專家、行業人員及開發人員相互協作完成。結合領域工程和云計算技術的數據挖掘云平臺開發模式是非常關鍵的。

2 領域數據挖掘云平臺

面向領域的數據挖掘云平臺架構的基本要求如下。

①云資源透明:數據挖掘工作不要求使用人員深入了解云資源或云技術;數據挖掘服務必須在合適的云平臺服務機器上執行。

②應用開發支持:存在云服務中的數據挖掘應用服務、技術以及相關資源能夠在數據挖掘應用程序中被有效啟用,且不受應用程序的干擾。

③數據挖掘和領域架構及操作:系統應該有效地依靠存在的和整合的云相關標準,采用廣泛的開源和構件技術。

針對這些基本要求,結合領域設計和領域驅動設計經典分層架構,面向領域的數據挖掘云平臺自然而然分解成多層次架構。在此提出一種面向領域的數據挖掘云平臺框架,具體如圖3所示。圖3主要呈現的是積木式的框架層次以及構件和接口。從系統結構層面來看,在云平臺環境有利于數據挖掘和領域知識的有機結合,且使得數據挖掘更加開源化。

在云計算環境中,根據不同的抽象層提供面向領域數據挖掘應用、特殊服務資源和平臺。

從面向領域數據挖掘云平臺的全面建設和有效運行的角度出發,面向領域數據挖掘云平臺應用架構模型由四部分組成:物理資源、領域構件資源庫和數據資源、領域數據挖掘服務平臺、面向領域的數據挖掘軟件服務。這些層次自下而上依次滿足物理資源整合、數據和領域構件整合、數據挖掘服務整合和面向領域數據挖掘的整合需要,按照領域工程和應用工程的發展向用戶提供領域數據挖掘服務。與傳統的數據挖掘系統架構相比,該平臺具有高可擴展性、海量數據處理能力、面向服務、硬件成本低廉等優越性。

圖3 面向領域數據挖掘云平臺應用架構Fig.3 Cloud platform application framework of domain oriented data mining

從面向領域數據挖掘云平臺的全面建設和有效運行的角度出發,面向領域數據挖掘云平臺應用架構模型主要包含如下四個部分。

2.1 面向領域的數據挖掘軟件服務

面向領域的數據挖掘應用服務是一個軟件即服務(software-as-a-service,SAAS)。SAAS服務平臺向用戶提供云服務、數據挖掘應用管理、數據挖掘云服務。此外,還針對專家的領域專家服務,結合第三方數據挖掘服務(如:Weka數據挖掘算法等)為用戶提供服務。該應用服務平臺主要包括以下三個方面的內容。

①面向用戶的可視化應用接口,即為用戶提供面向領域的數據挖掘可視化應用接口,包括數據的抽取-轉換-加載(ETL)、數據挖掘模型、算法演示以及云計算平臺各服務展示。

②面向領域的數據挖掘過程服務,即在該服務過程中,將領域工程和基于數據挖掘的應用工程相結合。從領域構件的有效利用角度,將面向領域的數據挖掘過程服務規劃成領域知識服務、領域軟件規劃、領域需求分析服務和領域軟件設計服務四個主要過程。

③功能服務,該服務主要從云計算平臺、數據挖掘云服務以及領域構件資源的角度出發,為系統提供一系列的服務,如數據挖掘(data mining,DM)應用管理服務、云資源服務、算法服務、DM云服務、領域專家服務等。

2.2 面向領域數據挖掘服務平臺

面向領域數據挖掘服務平臺在云服務的基礎上為用戶提供數據挖掘核心服務,是平臺即服務(platformas-a-service,PAAS),主要包括信息服務、服務管理、系統監控、數據挖掘服務、DM算法服務、領域服務等。在PAAS服務中,不僅實現了為用戶提供領域數據挖掘相關服務、云資源管理服務、服務調度和系統監控,還為可復用領域構件資源庫的開發提供了技術支撐。

①數據挖掘服務:該服務功能中包括面向領域數據挖掘的核心功能。在該服務中提供ETL引擎、算法引擎和SQL引擎以及數據管理中間件。該服務功能實現了數據挖掘中的強大的數據處理功能,它的基礎性、通用性毋庸置疑。

②DM算法服務:該服務提供算法學習、算法調度、算法管理等服務功能,同時在數據層提供算法庫,這樣才能針對不同領域,提供適合該領域的ETL數據處理算法、數據挖掘算法等。

③領域服務:該服務功能包括對領域知識庫的管理、調度以及領域構件資源庫的相關操作功能。

④面向領域的數據挖掘應用支持框架:以領域模型、領域驅動設計和領域架構為依據,提供數據挖掘系統所需的基礎應用開發環境,可作為數據挖掘應用系統參考原型。支持框架為領域構件組裝和數據交換提供標準接口,根據用戶的個性化需求,實現快速的構件開發與交付。

2.3 領域構件資源、數據資源

領域構件資源和數據資源為面向領域數據挖掘云平臺不同層次上的服務和功能提供數據資源交換和共享、領域知識、算法知識、數據挖掘模型以及領域構件資源的相關整合等。該層是基礎架構即服務(infrastructure-as-a-service,IAAS)。

通過虛擬化技術,把云環境下的各種分布式資源集中匯集,并封裝成服務資源,為上層提供服務和應用。

①數據庫:集中存放面向自適應領域的服務構件所需的領域數據信息,為面向領域數據挖掘的運行提供強大的數據支撐。

②領域構件資源庫:存放各種可復用的領域構件資源。針對不同領域的數據挖掘,需要根據不同的領域規則來處理。根據領域工程和應用工程,把這些過程開發或封裝成可復用的領域構件,為面向領域數據挖掘服務提供有利的支撐,增加系統的靈活性和有效性。

③領域知識庫:通過領域專家并結合應用知識規定的各種針對各領域的數據標準、結構標準、信息標準等,領域知識庫為領域工程和面向領域的數據挖掘相關服務提供統一的標準規范。

④算法庫:存放不同領域的DM算法,為數據挖掘過程中的算法服務提供強大的算法資源。如決策樹算法、關聯規則算法、分類算法、聚類算法等。

2.4 物理資源

物理資源即基礎設施層,為面向領域的數據挖掘云平臺服務提供所需的計算存儲資源。利用相應接口,把分布式的軟硬件資源通過云計算和網絡技術,實現資源的互聯和共享,同時為虛擬化數據資源過程提供服務。

3 開發模式和相關實現

基于云計算環境下的面向領域數據挖掘應用就是利用云計算服務和可復用的領域構件為用戶提供更多的數據挖掘服務。數據挖掘應用包括執行數據挖掘算法、領域構件、數據挖掘工具、領域知識庫、數據倉庫等。這些數據挖掘應用是云計算環境中靈活的、可擴展的以及分布式的服務資源。結合傳統的數據挖掘模式和服務流程,研究了多個數據挖掘應用的設計和開發過程,提出了如圖4所示的云平臺開發模式。

圖4所示的開發模式按領域工程的分析、設計、實現的流程逐步結合應用工程,最后與云計算技術融合構造數據挖掘應用系統。在具體的實現中,面向領域的數據挖掘云平臺開發模式可以歸納為由圖5所示的三個主要服務開發過程構成。

圖4 面向領域的數據挖掘云平臺開發模式Fig.4 Cloud platform development mode of domain oriented data mining

圖5 服務開發過程Fig.5 The service development process

3.1 面向領域的數據挖掘分析與建模

領域分析在對領域中若干典型成員系統的需求進行分析的基礎上,考慮預期的需求變化、技術演化、限制條件等因素,確定恰當的領域范圍,識別領域的共性特征和變化特征,獲取一組具有足夠可復用性的領域需求,并對其抽象形成領域模型。而在面向領域的數據挖掘云平臺中,首先從領域專家和領域知識庫中獲取相應的領域知識,對特定領域的數據挖掘進行分析,提取領域內的可復用需求,并形成領域服務規約。在分析的基礎上,為面向領域的數據挖掘建立靜態、動態等領域需求模型。

3.2 領域構件、服務和架構設計

根據需求模型和服務規約,在云計算環境中為面向領域的數據挖掘系統設計可復用領用構件和面向特定領域的服務,并設計出基于特定領域的數據挖掘系統架構。這些抽象的、靈活的、可復用的領域構件和服務進一步提高了開發的效率,降低了系統的復雜性,同時也增強了系統的可擴展性、可重構性和可維護性。

3.3 領域構件、服務和系統架構實現

在這個階段,結合云計算環境特性和現有的開發技術,實現面向領域數據挖掘的可復用構件和支撐DM系統以及云計算平臺服務。這些構件和服務,在領域規約和應用工程的基礎上進行高內聚、低耦合的功能集成。當然在云計算中要充分考慮到并行計算、分布式調用等問題,如MapReduce并行計算編程模型,它可屏蔽分布式處理的諸多問題。

3.4 相關實現和期望

現階段云計算平臺已處在蓬勃發展期,像Google App Engine[4-5]和Amazon Elastic Compute Cloud等。在數據存儲方面,Google Bigtable與Amazon Simple Storage Service等為實現海量數據的分布式存儲與訪問提供了支持。本文將在Google App Engine平臺下結合Java編程語言,利用插件技術實現領域構件,實現基于云平臺的數據挖掘系統原型。眾所周知,醫學和生物學是兩大聯系緊密的領域,生物學中的生物技術、化學以及中藥等都對醫學做出了重大貢獻,它們之間有很多的交集。生物醫學的發展關系到醫療診斷水平和人類健康的重要工程領域。隨著人類基因組計劃、分子生物學、DNA、蛋白質等生物數據的涌現,心電圖、腦電圖、核磁共振成像、臨床等醫學數據不斷增多。為了更好地利用這些數據,幫助生物工程、臨床診斷、藥物臨床作用的發展以及將它們有機結合起來,從面向醫學和生物學數據挖掘角度出發,結合本文提出的平臺框架和服務開發模式,設計相應的領域構件和數據挖掘原型系統,利用醫學和生物醫藥學數據集,做一定的數據挖掘驗證。

4 結束語

鑒于現有的數據挖掘服務研究和應用存在的不足,在云平臺服務架構基礎上,將領域工程技術、應用工程技術和數據挖掘技術結合在一起,提出了面向領域的數據挖掘云平臺體系結構。同時,定義了面向領域的數據挖掘云平臺應用開發模式。該模式對面向領域的數據挖掘、云計算環境下的數據挖掘服務模式以及數據挖掘服務的開發和應用都有一定的參考價值。在下一步研究中,將進一步完善系統架構,使其能服務更多的領域。同時在云計算平臺下,針對特定領域,實現相關的數據挖掘服務,從而進一步驗證本文提出的面向領域的數據挖掘云平臺的應用價值。

[1] Tracz W.Domain specific software architecture(DSSA)frequently asked questions(FAQ)[J].Software Engineering Notes,1994,19(2):52-56.

[2] 李克勤,陳兆良,梅宏,等.領域工程概述[J].計算機科學,1999, 26(5):21-25.

[3] Prieto R.Domain analysis for reusability[J].IEEE Computer Society, 1987,23(7):23-29.

[4] Stanoevska K,Wozniak T.Cloud basics an introduction to cloud computing[J].Grid and Cloud Computing,2010(7):47-61.

[5] Chang F,Dean J,Ghemawat S,et al.A distributed storage system for structured data[C]∥Proceedings of the 7thSymposium on Operating Systems Design and Implementation(OSI'06),2006:205-218.

Research on the Domain-oriented Data Mining Service Platform under Cloud Computation Environment

To promote the development and commercial applications of data mining,by adopting technologies of cloud computation,domain engineering and data mining,and combining domain driving design and cloud computing framework,the domain-oriented architecture of data mining cloud platform is proposed and the mechanism of domain-oriented data mining service under cloud computation environment is described. The development mode of domain-oriented data mining service is defined,it possesses certain reference value for the development and application of domain-oriented data mining,data mining service mode under cloud computation environment and data mining service.

Cloud computation Domain engineering Data mining Domain-oriented Domain-driven

TP311+.5

A

國家自然科學基金資助項目(編號:61300107)。

修改稿收到日期:2014-04-10。

曹小春(1976-),男,2011年畢業于同濟大學計算機科學與技術專業,獲碩士學位,講師;主要從事計算機應用、遠程教育、網絡與信息安全等方向的研究。