基于元數(shù)據(jù)的環(huán)境數(shù)據(jù)服務(wù)總線*

曹　云，曹永忠，刁勁輝

基于元數(shù)據(jù)的環(huán)境數(shù)據(jù)服務(wù)總線*

曹云1，曹永忠1，刁勁輝2

（1.揚(yáng)州大學(xué)信息工程學(xué)院，江蘇揚(yáng)州225000；2.揚(yáng)州環(huán)境保護(hù)局，江蘇揚(yáng)州225000）

環(huán)境監(jiān)測、收費(fèi)、統(tǒng)計(jì)等方面存在大量信息孤島，導(dǎo)致數(shù)據(jù)不一致及共享困難。立足于共享環(huán)境數(shù)據(jù)，將共享數(shù)據(jù)抽取到數(shù)據(jù)中心，利用元數(shù)據(jù)實(shí)現(xiàn)目錄化管理，并設(shè)計(jì)相應(yīng)粒度Web服務(wù)，在企業(yè)服務(wù)總線（Enterprise Service Bus，ESB）上實(shí)現(xiàn)數(shù)據(jù)共享。

環(huán)境數(shù)據(jù)；元數(shù)據(jù)；企業(yè)服務(wù)總線；數(shù)據(jù)共享

0　引言

目前，環(huán)境問題已經(jīng)嚴(yán)重影響了人們的生活和健康。雖然各環(huán)保局大部分都建立了監(jiān)測系統(tǒng)，但是這些系統(tǒng)分屬不同部門管理，數(shù)據(jù)不能實(shí)現(xiàn)共享。運(yùn)用元數(shù)據(jù)實(shí)現(xiàn)環(huán)境數(shù)據(jù)目錄化管理，克服了傳統(tǒng)數(shù)據(jù)集成不完善問題，從而使環(huán)境數(shù)據(jù)能夠得到更好的共享。

1　系統(tǒng)總體框架

各業(yè)務(wù)系統(tǒng)像一個(gè)個(gè)信息孤島，如何將各自獨(dú)立的環(huán)境數(shù)據(jù)集成到環(huán)境數(shù)據(jù)中心并在ESB上實(shí)現(xiàn)共享是研究重點(diǎn)。為了消除這些信息孤島，實(shí)現(xiàn)信息共享和資源整合［1］，應(yīng)用元數(shù)據(jù)管理技術(shù)建立元數(shù)據(jù)管理平臺，建立環(huán)境數(shù)據(jù)目錄管理體系，實(shí)現(xiàn)元數(shù)據(jù)增加、刪除、修改及檢索，并結(jié)合數(shù)據(jù)倉庫技術(shù)對各類環(huán)境數(shù)據(jù)進(jìn)行抽取、清洗、加載，建立環(huán)境數(shù)據(jù)中心；再應(yīng)用中間件技術(shù)建立信息發(fā)布平臺以提供數(shù)據(jù)查詢、數(shù)據(jù)分析、自定義圖表和數(shù)據(jù)個(gè)性化定制等功能；在數(shù)據(jù)服務(wù)支持下建立環(huán)保服務(wù)總線架構(gòu)，實(shí)現(xiàn)環(huán)境數(shù)據(jù)資源共享。環(huán)境數(shù)據(jù)中心架構(gòu)圖如圖1所示。

圖1　環(huán)境監(jiān)測數(shù)據(jù)中心的架構(gòu)

數(shù)據(jù)資源中心將各業(yè)務(wù)節(jié)點(diǎn)的數(shù)據(jù)通過ETL過程存儲到中心數(shù)據(jù)倉庫，實(shí)現(xiàn)元數(shù)據(jù)的抽取和審核，建立完整的數(shù)據(jù)目錄并存儲在元數(shù)據(jù)庫中，同時(shí)在數(shù)據(jù)中心設(shè)計(jì)并建立粒度適當(dāng)?shù)腤eb服務(wù)。各業(yè)務(wù)系統(tǒng)可通過ESB向中心發(fā)出元數(shù)據(jù)查詢請求，獲得元數(shù)據(jù)后的業(yè)務(wù)系統(tǒng)可構(gòu)成數(shù)據(jù)服務(wù)請求，通過總線下載自己所需要的數(shù)據(jù)。這樣，可以在以后開發(fā)的增值服務(wù)中很方便地使用整個(gè)數(shù)據(jù)域的數(shù)據(jù)，達(dá)到真正意義上消滅信息孤島的目的。

2　關(guān)鍵技術(shù)

2.1元數(shù)據(jù)管理

2.1.1元數(shù)據(jù)

在信息技術(shù)高速發(fā)展時(shí)代，從大量環(huán)境數(shù)據(jù)抽取有用數(shù)據(jù)進(jìn)行分析與加工成為難題。為此選擇了數(shù)據(jù)倉庫作為存儲信息的平臺，將信息中的知識進(jìn)行抽取形成元數(shù)據(jù)，并存儲于元數(shù)據(jù)庫中［2］。元數(shù)據(jù)是一種結(jié)構(gòu)化的信息，用于對某項(xiàng)信息資源進(jìn)行描述、解釋、定位，使其易于提取和使用［3-4］。在已有Oracle數(shù)據(jù)倉庫基礎(chǔ)上，以元數(shù)據(jù)管理技術(shù)將數(shù)據(jù)倉庫中環(huán)境數(shù)據(jù)進(jìn)行目錄化管理，從而實(shí)現(xiàn)按用戶需求動(dòng)態(tài)地以層次化目錄形式管理環(huán)境數(shù)據(jù)。元數(shù)據(jù)管理框架如圖2所示。

圖2　元數(shù)據(jù)管理框架

客戶向門戶網(wǎng)站發(fā)出環(huán)境數(shù)據(jù)查詢申請，再通過注冊的用戶名登錄網(wǎng)站進(jìn)行元數(shù)據(jù)查詢；系統(tǒng)通過檢索元數(shù)據(jù)庫將客戶申請的元數(shù)據(jù)信息通過ESB共享并返回給客戶。

2.1.2元數(shù)據(jù)規(guī)范

元數(shù)據(jù)規(guī)范以XML/XSD格式定義，元數(shù)據(jù)規(guī)范中規(guī)定以下內(nèi)容：題名、名稱、標(biāo)示符、語種、語法、語義、客戶信息、版本信息、創(chuàng)建日期和Web Service信息等。XML Schema定義元數(shù)據(jù)部分信息如下：

＜xs：element name="Metadata"＞

＜xs：complexType＞

＜xs：sequence＞

＜xs：attribute name="definition"type="xs：string"/＞

＜xs：attribute name="date"type="xs：string"/＞

＜xs：attribute name="keywords"type="xs：string"/＞

＜xs：attribute name="classification"type="xs：string"/＞

＜/xs：sequence＞

＜/xs：complexType＞

＜/xs：element＞

2.1.3元數(shù)據(jù)環(huán)境管理

元數(shù)據(jù)管理系統(tǒng)的主要功能是將資源數(shù)據(jù)中心采集的環(huán)境數(shù)據(jù)進(jìn)行目錄化管理。元數(shù)據(jù)環(huán)境管理功能圖如圖3所示。

圖3　元數(shù)據(jù)環(huán)境管理功能圖

編輯元數(shù)據(jù)和導(dǎo)入、導(dǎo)出元數(shù)據(jù)負(fù)責(zé)元數(shù)據(jù)編輯；業(yè)務(wù)邏輯管理針對客戶，其定義和變化往往產(chǎn)生新的規(guī)則，成為數(shù)據(jù)規(guī)則管理的對象；環(huán)境數(shù)據(jù)規(guī)則管理包含了數(shù)據(jù)抽取和轉(zhuǎn)換規(guī)則、數(shù)據(jù)匯總和加載規(guī)則的管理；環(huán)境數(shù)據(jù)變更管理面向數(shù)據(jù)使用規(guī)則，跟蹤和協(xié)調(diào)業(yè)務(wù)使用要求的變化，更新元數(shù)據(jù)和數(shù)據(jù)倉庫；環(huán)境數(shù)據(jù)展現(xiàn)管理通過統(tǒng)一應(yīng)用程序編程接口和模式，建立統(tǒng)一的企業(yè)信息門戶標(biāo)準(zhǔn)和允許個(gè)性化定制的功能。

2.2企業(yè)服務(wù)總線技術(shù)

2.2.1ESB

ESB定義通常如下：它是由中間件技術(shù)實(shí)現(xiàn)并支持面向服務(wù)架構(gòu)的一組基礎(chǔ)架構(gòu)功能，支持異構(gòu)環(huán)境的服務(wù)、消息以及基于事件的交互，并且具有適當(dāng)?shù)姆?wù)級別和可管理性［5-7］。企業(yè)服務(wù)總線框架如圖4所示。

圖4　企業(yè)服務(wù)總線框架

客戶向門戶網(wǎng)站W(wǎng)eb服務(wù)注冊中心注冊登錄名，申請查詢Web元數(shù)據(jù)環(huán)境信息和系統(tǒng)內(nèi)部檢索元數(shù)據(jù)庫環(huán)境信息是元數(shù)據(jù)管理任務(wù)核心。系統(tǒng)將客戶申請查詢的信息上傳到ESB，ESB再將查詢結(jié)果共享給客戶。

2.2.2Web Service技術(shù)

Web Service是一種分布式技術(shù)，它所使用標(biāo)準(zhǔn)XML協(xié)議可以使得Web服務(wù)平臺、語言和發(fā)布者能夠互相獨(dú)立［8］。同時(shí)，Web Service基于SOAP、UDDI、WSDL等網(wǎng)間傳輸協(xié)議標(biāo)準(zhǔn)［9］。

Web Service運(yùn)行機(jī)制如下［10］：各環(huán)境監(jiān)測數(shù)據(jù)中心采集的異構(gòu)環(huán)境數(shù)據(jù)在UDDI服務(wù)注冊中心發(fā)布，并提供WSDL接口，Web Service根據(jù)接口將異構(gòu)的分布式數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，形成統(tǒng)一的XML形式發(fā)送至元數(shù)據(jù)庫中，客戶通過Web Service訪問元數(shù)據(jù)。

其中，基于WSDL的描述為：客戶向Web服務(wù)注冊中心注冊登錄名、調(diào)用Web元數(shù)據(jù)庫以及訪問WebService元數(shù)據(jù)接口。基于Web Service元數(shù)據(jù)接口WSDL定義部分信息如下：

＜message name="doMetadataSearchRequest"＞

＜part name="key"type="s：string"/＞

＜/message＞

＜message name="doMetadataSearchResponse"＞

＜part name="return"type="s0：doMetadataSearchResponse"/＞

＜/message＞

＜portType name="MetadataSearch"＞＜o(jì)peration name=" doMetadataSearch"＞

＜input name="key"message="s0：doMetadataSearchRequest"/＞

＜o(jì)utputname="return"message="s0：doMetadataSearchResponse"/＞

＜/operation＞

＜/portType＞

3　實(shí)施與驗(yàn)證

基于元數(shù)據(jù)的環(huán)境數(shù)據(jù)服務(wù)總線技術(shù)已基本實(shí)現(xiàn)并在揚(yáng)州市環(huán)境監(jiān)測中心站完成試點(diǎn)應(yīng)用。系統(tǒng)已具備環(huán)境監(jiān)測各類實(shí)驗(yàn)室分析數(shù)據(jù)、質(zhì)控?cái)?shù)據(jù)的采集、綜合查詢、匯總統(tǒng)計(jì)、分析等功能。以揚(yáng)州市瓜洲水質(zhì)檢測為例，監(jiān)測的環(huán)境數(shù)據(jù)與MATLAB模擬的環(huán)境數(shù)據(jù)基本吻合，如圖5所示，驗(yàn)證了技術(shù)的穩(wěn)定性與準(zhǔn)確性。

圖5　瓜洲水質(zhì)監(jiān)測對比圖

4　結(jié)論

本文采用面向?qū)ο蠓治鲈O(shè)計(jì)方法，對目前比較成熟的企業(yè)服務(wù)總線技術(shù)進(jìn)行了創(chuàng)新并加入了元數(shù)據(jù)管理技術(shù)，實(shí)現(xiàn)了基于元數(shù)據(jù)的環(huán)境數(shù)據(jù)共享。幾個(gè)監(jiān)測站的試點(diǎn)表明，該技術(shù)應(yīng)用效果良好，在環(huán)境數(shù)據(jù)業(yè)務(wù)整合方面還不完善的今天，預(yù)期應(yīng)用前景將比較樂觀。

［1］李梓，楊斌.企業(yè)服務(wù)總線技術(shù)（ESB）在大型企業(yè)中的應(yīng)用［J］.信息技術(shù)，2013（2）：146-147.

［2］李艷，郝大鵬，徐行.圖書館元數(shù)據(jù)信息發(fā)布平臺及其應(yīng)用［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2014，24（2）：234-236.

［3］NISO Press.Understanding metadata［EB/OL］.［2004-09-01］. http：//www.niso.org/publications/press/UnderstandingMetadata.pdf.

［4］張宇，蔣東興，劉啟新.基于元數(shù)據(jù)的異構(gòu)數(shù)據(jù)集整合方案［J］.清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2009，49（7）：1037-1040.

［5］MICHELSON B M.Enterprise service bus Q&A［EB/OL］. ［2006-10-28］.http：//www.ebizq.net/hot-topics/esb/features/ 6117.htm l.

［6］CHAPPELL D.Enterprise service bus［M］.O′Reilly Publishing，2004.

［7］柴華，周興社，楊剛，等.基于企業(yè)服務(wù)總線的信息共享交換平臺研究［J］.微電子學(xué)與計(jì)算機(jī)，2008，25（4）：116-120. ［8］ROBERT V S，LAVETTE C T.Object oriented systems analysis and design with UML［M］.Prentice Hall，2004.

［9］謝紹鋒.基于Web Service的林業(yè)分布式多源異構(gòu)數(shù)據(jù)集成技術(shù)研究［J］.中南林業(yè)調(diào)查規(guī)劃，2011，29（4）：25-29.

［10］劉剛，余暉.利用WSDL和UDDI為公共Web Service建立統(tǒng)一接口［J］.計(jì)算機(jī)應(yīng)用研究，2003（5）：150-152.

Environmental data in ESB based on the metadata

Cao Yun1，Cao Yongzhong1，Diao Jinhui2
（1.School of Information and Engineering，Yangzhou University，Yangzhou 225000，China；2.Yangzhou Environmental Protection Bureau，Yangzhou 225000，China）

Environmental monitoring，charging，statistics and other aspects have a large number of information islands，which lead to data inconsistency and sharing difficultly.This article is based on the shared environmental data，and the shared data is extracted to the data center.It utilizes metadata to achieve the directory management.It designs corresponding granularity of web services in order to realize data sharing in ESB.

environmental data；metadata；ESB；data sharing

TP39

A

1674-7720（2015）04-0083-03

江蘇省科技型企業(yè)技術(shù)創(chuàng)新資金項(xiàng)目（SBC201211055）

（2014-09-18）

曹云（1990-），通信作者，女，碩士研究生，主要研究方向：嵌入式，Linux，數(shù)據(jù)庫。E-mail：18352764287@163.com

曹永忠（1968-），男，工學(xué)博士，副教授，碩士生導(dǎo)師，主要研究方向：Web服務(wù)組合，工作流技術(shù)。

刁勁輝（1977-），男，工程碩士，副主任，主要研究方向：元數(shù)據(jù)，GIS等。