Web服務(wù)異構(gòu)數(shù)據(jù)集成在石油行業(yè)中的研究

李昌武

摘要：針對石油行業(yè)信息系統(tǒng)數(shù)據(jù)異構(gòu)分布、形成信息孤島等問題，設(shè)計了Web服務(wù)異構(gòu)數(shù)據(jù)集成框架。在此基礎(chǔ)上，對Web服務(wù)異構(gòu)數(shù)據(jù)集成算法展開了研究，該算法對運行時的Web服務(wù)進行評估，考慮了性能、可靠性等指標(biāo)，選取最優(yōu)的Web服務(wù)作為數(shù)據(jù)集成服務(wù)，以提高數(shù)據(jù)集成的效率和效果。模擬實驗對數(shù)據(jù)集成的效果進行了驗證，實驗結(jié)果表明本數(shù)據(jù)集成框架和算法能高效、可靠地解決石油行業(yè)異構(gòu)數(shù)據(jù)集成問題。

關(guān)鍵詞：石油行業(yè);數(shù)據(jù)集成;Web 服務(wù);可靠性;異構(gòu)

中圖分類號：TP311? ? ? ? 文獻標(biāo)識碼：A? ? ? ? 文章編號：1009-3044（2019）03-0012-02

1 研究背景

信息的深化應(yīng)用是XX石油公司在日益激烈的市場競爭中處于優(yōu)勢地位的關(guān)鍵。在信息化建設(shè)過程中，由于信息系統(tǒng)在不同的時期內(nèi)建設(shè)，XX石油公司無法做到對核心數(shù)據(jù)庫和應(yīng)用進行規(guī)劃和分析，沒有形成圍繞核心數(shù)據(jù)庫進行信息系統(tǒng)開發(fā)的理念，由于內(nèi)容標(biāo)準(zhǔn)驗證滯后，各個應(yīng)用系統(tǒng)之間的數(shù)據(jù)定義和數(shù)據(jù)模型互為不同，應(yīng)用接口和數(shù)據(jù)交換沒有標(biāo)準(zhǔn);系統(tǒng)運行在不同的軟硬件平臺上，數(shù)據(jù)不能相互共享，歷盡艱辛建設(shè)的一個個IT支持系統(tǒng)變成了信息孤島。

因此，尋找一種對運行在不同操作系統(tǒng)、分布在不同網(wǎng)絡(luò)位置、不同廠商的數(shù)據(jù)庫的數(shù)據(jù)進行集成的方法刻不容緩。另一方面，數(shù)據(jù)集成系統(tǒng)部署在動態(tài)多變的網(wǎng)絡(luò)環(huán)境中，其面臨的環(huán)境變得更加復(fù)雜和不確定，因此數(shù)據(jù)集成系統(tǒng)的性能和可靠性保障也是需要解決的關(guān)鍵問題。

2 研究現(xiàn)狀

為了實現(xiàn)企業(yè)數(shù)據(jù)資源的共享集成，已有學(xué)者在數(shù)據(jù)集成方面做了大量的工作。文獻[1]提出了數(shù)據(jù)倉庫的概念，即建立一個數(shù)據(jù)庫，由ETL（Extract， Transform and Load）工具定期從數(shù)據(jù)源過濾數(shù)據(jù)然后裝載到數(shù)據(jù)倉庫，供用戶查詢，但是該方法投入的費用昂貴，開發(fā)周期長，而且很難做到與數(shù)據(jù)源保持實時同步。為了實現(xiàn)異構(gòu)平臺上的數(shù)據(jù)集成，各大廠商紛紛推出了自己的集成平臺，如IBM在2003年7月推出了DB2信息集成軟件[2]，目的是整合異構(gòu)環(huán)境中的網(wǎng)絡(luò)信息;ODI（Oracle Data Integrator）是Oracle公司針對Oracle數(shù)據(jù)庫推出的數(shù)據(jù)集成平臺[3]，它能滿足用戶一般需求，支持高性能審批等優(yōu)點;微軟公司推出的MSSIS（Microsoft SQL server2005 integration services） 是利用數(shù)據(jù)倉原理實現(xiàn)的[4]，是一種性能較高的集成平臺。這些解決方案存在的主要問題是他們都是基于自己的產(chǎn)品進行的數(shù)據(jù)集成，對其他廠家的數(shù)據(jù)庫兼容性不高。

XX石油公司的關(guān)鍵業(yè)務(wù)系統(tǒng)運行在不同的軟硬件平臺上，現(xiàn)有的解決方案無法滿足其數(shù)據(jù)集成的要求。因此，研究如何對XX石油公司的系統(tǒng)數(shù)據(jù)進行全面的集成，對提升XX石油公司的信息化能力、提高員工和客戶的滿意度具有深遠的意義。

3 Web服務(wù)異構(gòu)數(shù)據(jù)集成框架及算法

3.1 Web服務(wù)異構(gòu)數(shù)據(jù)集成框架

XX石油公司關(guān)鍵業(yè)務(wù)系統(tǒng)的數(shù)據(jù)具有明顯的異構(gòu)性和分布性，其平臺、數(shù)據(jù)格式和語義等方面存在較大差異。為了解決以上異構(gòu)數(shù)據(jù)的集成問題，本文采用Web 服務(wù)作為異構(gòu)數(shù)據(jù)集成平臺關(guān)鍵技術(shù)。Web服務(wù)是使用SOAP進行通訊 、使用UDDI進行發(fā)布和使用WSDL進行描述的一種新型的分布式計算模型[5]。Web服務(wù)是一項新型技術(shù)，它最大的優(yōu)點是使分布在網(wǎng)絡(luò)上運行在不同操作系統(tǒng)、使用不同編程語言的應(yīng)用程序無須借助第三方軟件或硬件，通過標(biāo)準(zhǔn)的XML消息傳遞機制，可實現(xiàn)數(shù)據(jù)集成、數(shù)據(jù)交換等操作，因此本文采用Web服務(wù)關(guān)鍵技術(shù)對異構(gòu)數(shù)據(jù)進行集成是可行的。

本文采用的是虛擬化視圖法中的中介系統(tǒng)（Mediated? System）體系結(jié)構(gòu)進行數(shù)據(jù)集成[6]，其工作方式是用戶只需訪問中介系統(tǒng)的地址，無須了解各數(shù)據(jù)源的訪問方法、模式和位置。圖1是本文的基于中介系統(tǒng)的數(shù)據(jù)集成框架。在整個框架中主要模塊有Web服務(wù)數(shù)據(jù)集成中介（Web Services data integration medium），Web服務(wù)應(yīng)用服務(wù)器群（Web service application server）和UDDI。

數(shù)據(jù)集成中介平臺的主要功能是攔截用戶的消息，解釋消息的內(nèi)容、調(diào)用相應(yīng)遠端的Web服務(wù)進行數(shù)據(jù)抽取并實現(xiàn)相應(yīng)的業(yè)務(wù)邏輯，最后把結(jié)果返回給用戶。同時為了提高數(shù)據(jù)集成的可靠性和性能，在企業(yè)廣域網(wǎng)內(nèi)同時發(fā)布多個功能相同的Web服務(wù)，并對Web服務(wù)的存活情況、性能等狀態(tài)進行實時監(jiān)測，以便挑選出性能、可靠性最高的服務(wù)對異構(gòu)數(shù)據(jù)進行抽取和組合。具體包括：1）SOAP消息攔截器（Message Interceptor，MI），其功能是對用戶請求消息進行攔截，并把數(shù)據(jù)集成后的處理結(jié)果返回給用戶; 2）情境感知器（Context Detector，CD）負責(zé)探測遠端Web服務(wù)的運行時狀態(tài)，如執(zhí)行時間、性能、可靠性等指標(biāo);3）業(yè)務(wù)邏輯執(zhí)行器（Business Logic Actuator， BLA），數(shù)據(jù)集成業(yè)務(wù)通過Web服務(wù)組合來完成，BLA負責(zé)把用戶請求分解，調(diào)用相關(guān)的Web服務(wù)進行數(shù)據(jù)抽取，并根據(jù)業(yè)務(wù)邏輯對數(shù)據(jù)進行計算和集成;4）集成數(shù)據(jù)庫（Integrated? Database，ID）主要的作用是保存數(shù)據(jù)抽取的中間結(jié)果、運算后的最終結(jié)果和Web服務(wù)評價結(jié)果，同時還保存集成業(yè)務(wù)系統(tǒng)的重要數(shù)據(jù);5）失效檢測器（Failure Detector，F(xiàn)D）負責(zé)定期向遠端Web服務(wù)發(fā)送SOAP消息，以獲取其存活狀態(tài)。

Web服務(wù)應(yīng)用服務(wù)器群部署核心數(shù)據(jù)抽取Web 服務(wù)，負責(zé)對數(shù)據(jù)庫服務(wù)器（Database server）上的數(shù)據(jù)進行抽取。為了提高數(shù)據(jù)集成的性能和可靠性，Web服務(wù)采用冗余的方式進行部署，即在多臺服務(wù)器中部署功能相同的Web服務(wù)。圖1中的WS1表示數(shù)據(jù)庫1（Data Server 1）的數(shù)據(jù)抽取Web服務(wù)，WS2表示數(shù)據(jù)庫2的數(shù)據(jù)抽取Web服務(wù)，依此類推……核心Web服務(wù)發(fā)布到企業(yè)私有的UDDI服務(wù)器上，并以服務(wù)組（Service Group）的方式對功能相同的Web服務(wù)進行管理，數(shù)據(jù)集成中介平臺與UDDI交換獲取服務(wù)組成員。

3.2 服務(wù)選擇算法和集成算法

關(guān)鍵業(yè)務(wù)系統(tǒng)進行數(shù)據(jù)集成后所面臨的環(huán)境更加復(fù)雜、應(yīng)用動態(tài)變化，為了提高數(shù)據(jù)集成的可靠性，在眾多功能相同的Web服務(wù)中尋找一個負載率、可靠性、集成速度最優(yōu)Web服務(wù)作為數(shù)據(jù)抽取服務(wù)是關(guān)鍵的，以下是Web服務(wù)選擇算法描述：

綜上數(shù)據(jù)集成框架和運行時因素評估的Web服務(wù)選擇算法，提出了本文的基于多因素運行時評估的異構(gòu)數(shù)據(jù)集成算法HDIRE（HeterogeneousData Integration algorithm based on Runtime factors Evaluation），其核心思想是在中介系統(tǒng)中記錄每個服務(wù)執(zhí)行任務(wù)所需的時間、可靠性等要素，并對這些要素進行計算，最終選擇最優(yōu)的服務(wù)作為數(shù)據(jù)集成服務(wù)，算法的執(zhí)行過程是：1）用戶首先訪問Web服務(wù)數(shù)據(jù)集成中介，集成中介的攔截器（MI）攔截用戶消息，業(yè)務(wù)邏輯執(zhí)行器（BLA）解釋用戶消息，對用戶消息進行分解，分解后得到相應(yīng)所需的數(shù)據(jù)源;2）根據(jù)CD對運行時Web服務(wù)的評估情況，選取性能、可靠性最高服務(wù)作為數(shù)據(jù)的抽取服務(wù);3）數(shù)據(jù)抽取完畢后BLA對業(yè)務(wù)邏輯進行處理，并把處理結(jié)果返回給用戶。

4 異構(gòu)數(shù)據(jù)集成在石油行業(yè)中的應(yīng)用驗證

我們把設(shè)計好的原型系統(tǒng)部署在石油企業(yè)的廣域網(wǎng)中進行驗證，選取兩個運行環(huán)境差別很大的業(yè)務(wù)系統(tǒng)進行異構(gòu)數(shù)據(jù)集成。中介系統(tǒng)部署在8核CPU、64G內(nèi)存、操作系統(tǒng)是Windows2008上;UDDI服務(wù)部署在另一個服務(wù)器上。本實驗是對業(yè)務(wù)系統(tǒng)A的數(shù)據(jù)和業(yè)務(wù)系統(tǒng)B的數(shù)據(jù)進行集成，自動集成這兩個業(yè)務(wù)系統(tǒng)的銷售數(shù)據(jù)。業(yè)務(wù)系統(tǒng)A的數(shù)據(jù)庫是Sybase，運行在AIX操作系統(tǒng)中;業(yè)務(wù)系統(tǒng)B的數(shù)據(jù)庫Oracle，操作系統(tǒng)是LINUX。每個系統(tǒng)的數(shù)據(jù)集成功能對應(yīng)一個Web服務(wù)，為提高Web服務(wù)的可靠性，每個Web服務(wù)部署2個副本，通過UDII進行發(fā)布供中介系統(tǒng)調(diào)用，中介系統(tǒng)實時對這兩個副本進行失效檢測和對其性能、負載、執(zhí)行時間等指標(biāo)進行實時評估，選擇存活并且性能較好的Web服務(wù)作為數(shù)據(jù)集成服務(wù)。當(dāng)用戶點擊數(shù)據(jù)集成界面的銷售數(shù)據(jù)集成按鈕時，A業(yè)務(wù)系統(tǒng)和B業(yè)務(wù)系統(tǒng)的銷量便能顯示出來，達到了數(shù)據(jù)集成預(yù)期的效果。

為了測試本文HDIRE算法的性能，本文采用Loadrunner性能測試軟件模擬1000個用戶同時訪問數(shù)據(jù)集成平臺，在實驗中將統(tǒng)計用戶請求平均響應(yīng)時間，分別進行兩種情形測試：1）不考慮運行時因素的數(shù)據(jù)集成算法（標(biāo)記為Normal-DI）;2）本文的HDIRE算法。測試結(jié)果如圖2所示：

從實驗結(jié)果看出，一方面，本文的數(shù)據(jù)集成研究可以對運行在不同操作系統(tǒng)的異構(gòu)數(shù)據(jù)集進行集成;另一方面，由于本文考慮了對運行時的性能和可靠性進行評估，即在服務(wù)組中挑選出一個可靠性、性能最高的Web服務(wù)進行數(shù)據(jù)集成，所以減少了用戶請求的平均響應(yīng)時間。

5 結(jié)論

本文從XX石油公司的信息系統(tǒng)實際出發(fā)，研究現(xiàn)有系統(tǒng)的數(shù)據(jù)集成、共享等問題。在研究過程中我們結(jié)合目前比較流行的Web服務(wù)技術(shù)和虛擬化視圖，提出了Web服務(wù)數(shù)據(jù)集成框架，在此框架基礎(chǔ)上給出了數(shù)據(jù)集成算法，該算法考慮了Web服務(wù)的可靠性、執(zhí)行時間和性能，目標(biāo)是提高數(shù)據(jù)集成的性能和可靠性。模擬實驗表明，本文的解決方案一方面可對異構(gòu)數(shù)據(jù)進行集成，另一面在數(shù)據(jù)集成質(zhì)量保障方面獲得較好的優(yōu)化效果。

參考文獻：

[1] Ab1teboul，Agrawal，Bernstein P， Carey M， Ceri S， Croft B. The Lowell Database Research Self-Assessment Meeting[C]. Lowell Massachusetts，2003.

[2]劉軍.IBM DB2 簡介[EB/OL].http：//soft.chinabyte.com/23/8288023.shtml，2008-09-01/2010-3-10.

[3]Mark Rittman.實時數(shù)據(jù)集成簡介[EB/OL].

http：//www.oracle.com/technology/global/cn/artieles/rittman-odi.html，2010-03-10/2010-3-10.

[4]Microsoft.概述（Integration Services）[EB/OL]. http：//msdn.microsoft.com/zh-cn/library/ms14126.aspx，2009-07/2010-3-10.

[5] 范小芹，蔣昌俊，王俊麗，等.隨機QoS感知的可靠Web服務(wù)組合[J].軟件學(xué)報，2009，20（3）：546-556.

[6] Wu W，Yu C，Doan A，Meng W.An Interactive Clustering-based Approach to Integrating Source Query Interfaces on the Deep Web. Porc. Of the ACM SIGMOD Intl Conf.on Management of Data（SIGMOD 2004）[C].ACM Press，2004：95-106.

【通聯(lián)編輯：代影】