基于A1系統(tǒng)的異構(gòu)數(shù)據(jù)源集成技術(shù)研究

[摘 要] 中石油實(shí)施的勘探開(kāi)發(fā)技術(shù)數(shù)據(jù)管理系統(tǒng)（A1），實(shí)現(xiàn)了油田數(shù)據(jù)的統(tǒng)一管理，石油企業(yè)體系龐大，涉及的數(shù)據(jù)種類繁多，不同的數(shù)據(jù)采用不同的軟件系統(tǒng)進(jìn)行管理，因此如何保證系統(tǒng)間的數(shù)據(jù)訪問(wèn)，是一個(gè)重要的研究課題。本文以A1系統(tǒng)為研究對(duì)象，在異構(gòu)環(huán)境中實(shí)現(xiàn)數(shù)據(jù)共享為目標(biāo)，加快信息系統(tǒng)之間的數(shù)據(jù)流通，從而有效的利用資源，實(shí)現(xiàn)數(shù)據(jù)的共享和集成。針對(duì)A1涉及的軟件產(chǎn)品，介紹了研究思路、方法并對(duì)關(guān)鍵技術(shù)進(jìn)行了詳細(xì)的說(shuō)明，并以實(shí)際應(yīng)用效果進(jìn)行了驗(yàn)證。

[關(guān)鍵詞] A1系統(tǒng)； 異構(gòu)數(shù)據(jù)； 集成

[中圖分類號(hào)] TP315 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1673 - 0194（2013）20- 0074- 02

0 引 言

石油行業(yè)在多年的信息化建設(shè)過(guò)程中，中石油勘探開(kāi)發(fā)技術(shù)數(shù)據(jù)管理系統(tǒng)（A1）等統(tǒng)建項(xiàng)目的成功建設(shè)及推廣，形成了地震、測(cè)井、勘探開(kāi)發(fā)綜合數(shù)據(jù)管理與服務(wù)的技術(shù)體系，建成了規(guī)模宏大的數(shù)據(jù)資產(chǎn)庫(kù)，全面地為油田科研院所、采油廠提供了有力的數(shù)據(jù)支持，數(shù)據(jù)管理的能力和水平得到了較大的提高。然而，隨著勘探開(kāi)發(fā)主營(yíng)業(yè)務(wù)對(duì)數(shù)據(jù)服務(wù)執(zhí)行效率要求的不斷提高，A1系統(tǒng)的一些功能需要進(jìn)一步的完善。

當(dāng)前的A1系統(tǒng)數(shù)據(jù)管理與應(yīng)用架構(gòu)主要存在以下兩個(gè)方面的問(wèn)題。首先，多平臺(tái)的數(shù)據(jù)服務(wù)模式需要改進(jìn)。在A1系統(tǒng)中，測(cè)井?dāng)?shù)據(jù)存儲(chǔ)在Recall系統(tǒng)中，地震處理、解釋成果數(shù)據(jù)存儲(chǔ)在PetroBank和OpenWorks系統(tǒng)中，其它結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在EPDM系統(tǒng)中。多源異構(gòu)的數(shù)據(jù)管理環(huán)境，導(dǎo)致各系統(tǒng)的數(shù)據(jù)服務(wù)服務(wù)平臺(tái)獨(dú)立部署，不同數(shù)據(jù)不同平臺(tái)給研究人員的數(shù)據(jù)訪問(wèn)帶來(lái)了一定的不便。在A1主庫(kù)到研究人員工作庫(kù)之間數(shù)據(jù)傳輸，均需經(jīng)歷“下載-整理-上傳-加載”的應(yīng)用過(guò)程，沒(méi)有數(shù)據(jù)主庫(kù)到項(xiàng)目環(huán)境數(shù)據(jù)加載功能，在一定程度上降低了專業(yè)人員的工作效率。

1 大慶油田A1系統(tǒng)集成技術(shù)路線總體設(shè)計(jì)

針對(duì)上述問(wèn)題，大慶油田制定了基于A1系統(tǒng)的異構(gòu)數(shù)據(jù)源集成技術(shù)路線（圖1）。

該路線分為3個(gè)層次：

（1） 數(shù)據(jù)管理層。在數(shù)據(jù)管理層，通過(guò)對(duì)Recall、PetroBank、OpenWorks、MLDBS等A1相關(guān)系統(tǒng)底層數(shù)據(jù)模型及數(shù)據(jù)管理機(jī)制的剖析，擴(kuò)充并完善EPDM相關(guān)數(shù)據(jù)模型，將地震、測(cè)井等大塊數(shù)據(jù)索引信息加載至EPDM中，從而實(shí)現(xiàn)以EPDM為核心的大塊數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的一體化管理。

（2） 數(shù)據(jù)綜合服務(wù)層。數(shù)據(jù)綜合服務(wù)層的技術(shù)路線可分為三個(gè)部分。首先，開(kāi)發(fā)主庫(kù)大塊數(shù)據(jù)訪問(wèn)適配器，通過(guò)對(duì)底層各大塊數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)訪問(wèn)機(jī)制的剖析，開(kāi)發(fā)基于EPDM的各類大塊數(shù)據(jù)的查詢、展示及下載功能，并通過(guò)Web服務(wù)對(duì)上述功能進(jìn)行封裝以實(shí)現(xiàn)任意平臺(tái)對(duì)主庫(kù)大塊數(shù)據(jù)的訪問(wèn)，為實(shí)現(xiàn)A1系統(tǒng)數(shù)據(jù)的單一界面訪問(wèn)功能提供大塊數(shù)據(jù)保障；其次，開(kāi)發(fā)用戶中間成果數(shù)據(jù)訪問(wèn)適配器。通過(guò)對(duì)研究人員常用軟件或平臺(tái)數(shù)據(jù)管理及訪問(wèn)機(jī)制的剖析，開(kāi)發(fā)用戶中間成果數(shù)據(jù)的實(shí)時(shí)訪問(wèn)功能，并通過(guò)Web服務(wù)的方式對(duì)上述功能予以封裝以實(shí)現(xiàn)任意平臺(tái)對(duì)用戶中間成果數(shù)據(jù)的實(shí)時(shí)訪問(wèn)；最后，開(kāi)發(fā)面向區(qū)域的數(shù)據(jù)綜合服務(wù)模塊。通過(guò)區(qū)域研究環(huán)境數(shù)據(jù)模型的建立，利用Oracle的空間運(yùn)算功能，調(diào)用相關(guān)數(shù)據(jù)訪問(wèn)適配器，實(shí)現(xiàn)對(duì)研究人員項(xiàng)目開(kāi)展全生命周期的數(shù)據(jù)支持。

（3） 數(shù)據(jù)應(yīng)用層。在數(shù)據(jù)應(yīng)用層，通過(guò)對(duì)當(dāng)前主流應(yīng)用軟件或平臺(tái)數(shù)據(jù)加載機(jī)制的剖析，開(kāi)發(fā)各類數(shù)據(jù)的快速加載Web服務(wù)，打通主庫(kù)與工作庫(kù)之間、工作庫(kù)與工作庫(kù)之間的數(shù)據(jù)通路，實(shí)現(xiàn)數(shù)據(jù)的無(wú)縫傳輸。

2 大慶油田A1系統(tǒng)集成技術(shù)路線實(shí)現(xiàn)

在上述技術(shù)路線中，主要技術(shù)難點(diǎn)包括： （1） A1系統(tǒng)大塊數(shù)據(jù)管理系統(tǒng)底層數(shù)據(jù)模型及管理機(jī)制分析及EPDM相關(guān)數(shù)據(jù)模型擴(kuò)充與完善； （2） 主庫(kù)大塊數(shù)據(jù)訪問(wèn)適配器開(kāi)發(fā)； （3） 用戶中間成果數(shù)據(jù)訪問(wèn)適配器開(kāi)發(fā)； （4） 常用數(shù)據(jù)無(wú)縫傳輸模塊開(kāi)發(fā)。

下面本文主要針對(duì)主庫(kù)大塊數(shù)據(jù)訪問(wèn)適配器開(kāi)發(fā)展開(kāi)論述。

A1主庫(kù)的大塊數(shù)據(jù)管理系統(tǒng)主要包括Recall與PetroBank，分別用于常規(guī)測(cè)井?dāng)?shù)據(jù)、地震處理成果數(shù)據(jù)的管理。上述數(shù)據(jù)管理系統(tǒng)的建立提升了A1系統(tǒng)的數(shù)據(jù)管理能力，但多源異構(gòu)的數(shù)據(jù)管理架構(gòu)也帶來(lái)了數(shù)據(jù)訪問(wèn)及綜合檢索的不便，為了解決上述問(wèn)題，建立A1主庫(kù)數(shù)據(jù)的單一訪問(wèn)界面，需要開(kāi)發(fā)具有平臺(tái)無(wú)關(guān)性的主庫(kù)數(shù)據(jù)訪問(wèn)適配器。

以PetroBank地震處理成果數(shù)據(jù)訪問(wèn)適配器為例

地震處理成果數(shù)據(jù)訪問(wèn)適配器應(yīng)具有數(shù)據(jù)查詢、展示及下載三部分功能。對(duì)于數(shù)據(jù)查詢功能，在集成管理的基礎(chǔ)上，通過(guò)對(duì)EPDM的訪問(wèn)即可完成地震數(shù)據(jù)查詢功能的開(kāi)發(fā)；對(duì)于數(shù)據(jù)展示功能，可通過(guò)讀取PetroBank所存儲(chǔ)的Segy數(shù)據(jù)，開(kāi)發(fā)數(shù)據(jù)回放模塊實(shí)現(xiàn)，也可通過(guò)讀取PetroBank數(shù)據(jù)加載過(guò)程中所產(chǎn)生的Image圖片實(shí)現(xiàn)。對(duì)于第一種方案，優(yōu)點(diǎn)是數(shù)據(jù)回放靈活，缺點(diǎn)是效率過(guò)低；第二種方案的優(yōu)點(diǎn)是效率高，缺點(diǎn)是靈活性較差。考慮到數(shù)據(jù)服務(wù)效率的因素，筆者建議采用方案二，通過(guò)讀取PetroBank底層索引表，獲取目標(biāo)測(cè)線圖片存儲(chǔ)位置，并開(kāi)發(fā)相應(yīng)服務(wù)實(shí)現(xiàn)圖片回放，實(shí)現(xiàn)過(guò)程簡(jiǎn)單。

地震處理成果數(shù)據(jù)訪問(wèn)適配器的核心及難點(diǎn)在于數(shù)據(jù)下載功能的實(shí)現(xiàn)。出于充分利用PetroBank相關(guān)功能及數(shù)據(jù)質(zhì)量、數(shù)據(jù)下載效率等因素的考慮，筆者選擇通過(guò)模擬PetroBank數(shù)據(jù)下載訂單，調(diào)用相應(yīng)下載模塊實(shí)現(xiàn)地震處理成果數(shù)據(jù)的技術(shù)路線。該技術(shù)路線的實(shí)現(xiàn)需解決以下兩個(gè)問(wèn)題，第一是下載模塊環(huán)境變量設(shè)置，第二項(xiàng)技術(shù)難點(diǎn)是地震處理成果數(shù)據(jù)下載訂單的模擬。

模擬地震處理成果數(shù)據(jù)下載訂單的關(guān)鍵在于理清PetroBank訂單數(shù)據(jù)模型。通過(guò)分析地震數(shù)據(jù)訂單下載前后PetroBank底層數(shù)據(jù)庫(kù)記錄數(shù)的變化，確定了訂單涉及的11張數(shù)據(jù)表，并進(jìn)一步通過(guò)單線下載、多線下載、不同類型數(shù)據(jù)體下載等實(shí)驗(yàn)，最終確定了PetroBank訂單數(shù)據(jù)模型，并完成相關(guān)SQL腳本編寫工作。

在上述工作的基礎(chǔ)上，筆者開(kāi)發(fā)了地震處理成果數(shù)據(jù)下載腳本并利用Java實(shí)現(xiàn)了功能的封裝及Web服務(wù)發(fā)布，并在Java、Dephi、C#多個(gè)環(huán)境中實(shí)現(xiàn)了調(diào)用，效率及性能良好。

3 結(jié) 語(yǔ)

基于A1系統(tǒng)的異構(gòu)數(shù)據(jù)源集成技術(shù)的研究，打破A1系統(tǒng)EPDM主庫(kù)、測(cè)井主庫(kù)、地震處理成果庫(kù)、地震解釋成果庫(kù)之間的數(shù)據(jù)壁壘，解決A1主庫(kù)數(shù)據(jù)多平臺(tái)訪問(wèn)的問(wèn)題，打通主庫(kù)與工作庫(kù)之間的數(shù)據(jù)通路，從而有效的減少“信息孤島”的存在，真正的實(shí)現(xiàn)數(shù)據(jù)的集中存儲(chǔ)、共享應(yīng)用，形成數(shù)據(jù)管理與數(shù)據(jù)應(yīng)用的良性循環(huán)。

主要參考文獻(xiàn)

[1] 郭志勇. 基于模型驅(qū)動(dòng)的異構(gòu)數(shù)據(jù)集成平臺(tái)研究與實(shí)現(xiàn)[D]. 長(zhǎng)春：吉林大學(xué)，2008.

[2] 姚崇東. 基于XML的多源異構(gòu)數(shù)據(jù)集成的實(shí)現(xiàn)方法研究[D]. 哈爾濱工程大學(xué)，2007.

[3] 張江龍. 異構(gòu)數(shù)據(jù)源集成技術(shù)研究[D]. 北京：中國(guó)石油大學(xué)，2007.

[4] 高凱，林傳彬，馮宗凡. 信息化建設(shè)中異構(gòu)數(shù)據(jù)體的整合與集成模式[J]. 吐哈油氣，2003，8（4）.