油田數(shù)字化的異構(gòu)數(shù)據(jù)源整合與集成技術(shù)

梁鴻軍 李良 魏紅芳 賈劉靜

油田數(shù)字化的異構(gòu)數(shù)據(jù)源整合與集成技術(shù)

王娟1；2梁鴻軍1；2李良1；2魏紅芳1；2賈劉靜1；2

1中國(guó)石油長(zhǎng)慶油田分公司勘探開發(fā)研究院；2低滲透油氣田勘探開發(fā)國(guó)家工程實(shí)驗(yàn)室

在長(zhǎng)慶油田數(shù)字化建設(shè)中，油田數(shù)據(jù)整合需要實(shí)現(xiàn)3個(gè)目標(biāo)：平臺(tái)和專業(yè)軟件間數(shù)據(jù)交換和共享，成果數(shù)據(jù)在各種專業(yè)軟件之間傳遞共享；提供統(tǒng)一數(shù)據(jù)接口，平臺(tái)中各模塊調(diào)取成果和數(shù)據(jù)；基于EPDM數(shù)據(jù)模型主庫，遷移專業(yè)庫數(shù)據(jù)。針對(duì)數(shù)字化油田建設(shè)中異構(gòu)數(shù)據(jù)源的信息提取問題，提出使用數(shù)據(jù)服務(wù)總線（DSB）技術(shù)，并給出了以數(shù)據(jù)總線為基礎(chǔ)的異構(gòu)數(shù)據(jù)源整合和集成技術(shù)方法。這種方法能有效實(shí)現(xiàn)油氣田勘探開發(fā)過程中多種異構(gòu)數(shù)據(jù)源的融合、交互，從多種數(shù)據(jù)源中提取有效信息，為決策提供支持。

數(shù)字化油田；數(shù)據(jù)庫；異構(gòu)數(shù)據(jù)源；數(shù)據(jù)服務(wù)總線

1 背景介紹

數(shù)據(jù)服務(wù)總線DSB（DataServiceBus）是一種使用靈活的數(shù)據(jù)整合技術(shù)，主要應(yīng)用在數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)同步、歷史數(shù)據(jù)遷移、數(shù)據(jù)質(zhì)量管理等領(lǐng)域，為系統(tǒng)之間的數(shù)據(jù)同步提供了整體解決方案，能有效解決分散數(shù)據(jù)同步過程中的數(shù)據(jù)篩選與清洗。使用DSB技術(shù)，可以解決數(shù)字化油田的各個(gè)專業(yè)庫之間數(shù)據(jù)的雙向同步問題；提供多種多個(gè)油田的專業(yè)庫同步過程中遇到網(wǎng)絡(luò)異常的處理方式；確保數(shù)據(jù)在同步過程中的安全性、完整性。

長(zhǎng)慶油田在數(shù)字化油田建設(shè)中，針對(duì)數(shù)字化油田建設(shè)中異構(gòu)數(shù)據(jù)源的信息提取問題，提出使用數(shù)據(jù)服務(wù)總線（DSB）技術(shù)[1]，并給出了以數(shù)據(jù)總線為基礎(chǔ)的異構(gòu)數(shù)據(jù)源整合和集成技術(shù)方法。這種方法能有效實(shí)現(xiàn)油氣田勘探開發(fā)過程中多種異構(gòu)數(shù)據(jù)源的融合、交互，從多種數(shù)據(jù)源中提取有效信息，為決策提供支持。

2 數(shù)據(jù)整合技術(shù)

油氣田研究以及開發(fā)工程中，異構(gòu)數(shù)據(jù)源的整合與集成的目的是為油氣田研究決策提供信息查詢和決策支持服務(wù)。為了實(shí)現(xiàn)這個(gè)目的，經(jīng)過整合和集成處理后的油氣田數(shù)據(jù)必須保持?jǐn)?shù)據(jù)集成性、完整性、一致性。

數(shù)據(jù)的集成性是將不同專業(yè)的數(shù)據(jù)、不同業(yè)務(wù)流程中的業(yè)務(wù)信息在數(shù)據(jù)整合、集成過程中，發(fā)掘出它們的內(nèi)在邏輯聯(lián)系，形成一個(gè)有機(jī)的、相互關(guān)聯(lián)存儲(chǔ)的整體。

數(shù)據(jù)完整性是在油氣田研究的各個(gè)業(yè)務(wù)流程中，提取其他相關(guān)的業(yè)務(wù)流程各個(gè)環(huán)節(jié)的具體數(shù)據(jù)，用以支撐本業(yè)務(wù)研究。由于專業(yè)數(shù)據(jù)庫資源歸屬于不同的研究部門，甚至歸屬不同的油田公司，這些數(shù)據(jù)庫的管理方式不一致，無法統(tǒng)一。因此，在保證數(shù)據(jù)完整性的基礎(chǔ)上，必須設(shè)計(jì)出整合集成后的綜合數(shù)據(jù)庫的統(tǒng)一用戶安全管理模式，來保障對(duì)原有數(shù)據(jù)源訪問權(quán)限的隔離和控制。

數(shù)據(jù)的一致性是在數(shù)據(jù)整合中屏蔽了各業(yè)務(wù)流程中不同數(shù)據(jù)的訪問方式、存儲(chǔ)格式等方面的差異，對(duì)數(shù)據(jù)的操作由異構(gòu)數(shù)據(jù)整合系統(tǒng)統(tǒng)一進(jìn)行。因此，整合后的異構(gòu)數(shù)據(jù)對(duì)于不同油氣田的研究人員來說是一致的。

3 用DSB技術(shù)實(shí)現(xiàn)數(shù)據(jù)整合

在長(zhǎng)慶油田數(shù)字化建設(shè)中，油田數(shù)據(jù)整合需要實(shí)現(xiàn)3個(gè)目標(biāo)：平臺(tái)和專業(yè)軟件間數(shù)據(jù)交換和共享，成果數(shù)據(jù)在各種專業(yè)軟件之間傳遞共享；提供統(tǒng)一數(shù)據(jù)接口，平臺(tái)中各模塊調(diào)取成果和數(shù)據(jù)；基于EPDM數(shù)據(jù)模型主庫，遷移專業(yè)庫數(shù)據(jù)。

數(shù)據(jù)整合技術(shù)收集來自于不同機(jī)構(gòu)、不同專業(yè)軟件的信息，提供給不同的用戶所使用。長(zhǎng)慶油田結(jié)合自身數(shù)字化建設(shè)的特點(diǎn)，采用圖1所示結(jié)構(gòu)實(shí)現(xiàn)數(shù)據(jù)的整合。

數(shù)據(jù)整合技術(shù)主要由數(shù)據(jù)提取模塊1、數(shù)據(jù)處理模塊2和數(shù)據(jù)輸出模塊3組成。數(shù)據(jù)提取模塊1主要用于提取數(shù)據(jù)，包括測(cè)井庫、儲(chǔ)量庫、其他庫及數(shù)據(jù)文件，向數(shù)據(jù)處理模塊2中提供數(shù)據(jù)；數(shù)據(jù)處理模塊2包括數(shù)據(jù)虛擬化，數(shù)據(jù)虛擬化提供的多源、異構(gòu)、分布式的數(shù)據(jù)虛擬化功能，通過DSB實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、數(shù)據(jù)適配，為第三方應(yīng)用模塊3提供數(shù)據(jù)接口；第三方應(yīng)用模塊3主要用于接收數(shù)據(jù)，包括綜合生產(chǎn)管理系統(tǒng)、油田OA系統(tǒng)、油田HR系統(tǒng)。

圖1 數(shù)據(jù)整合技術(shù)結(jié)構(gòu)

長(zhǎng)慶油田數(shù)據(jù)整合技術(shù)主要由主數(shù)據(jù)庫和數(shù)據(jù)服務(wù)總線組成。

3.1 主數(shù)據(jù)庫

主數(shù)據(jù)又稱公共數(shù)據(jù)，包括油田名、區(qū)塊名、井名、測(cè)線號(hào)等核心實(shí)體數(shù)據(jù)。針對(duì)油氣田建設(shè)主數(shù)據(jù)庫，可以邏輯關(guān)聯(lián)勘探開發(fā)各類數(shù)據(jù)，實(shí)現(xiàn)統(tǒng)一管控和集成應(yīng)用。

數(shù)據(jù)庫中的關(guān)鍵要素，勘探開發(fā)數(shù)據(jù)結(jié)構(gòu)符合EPDM（中國(guó)石油勘探開發(fā)一體化數(shù)據(jù)模型）數(shù)據(jù)模型要求，模型完整涵蓋了石油上游業(yè)務(wù)流程，能夠?qū)熬策M(jìn)行全生命周期的數(shù)據(jù)管理，涉及專業(yè)包括地球物理、鉆井、錄井、測(cè)井、試油試采、地質(zhì)油藏、生產(chǎn)測(cè)井、試井、油氣生產(chǎn)、井下作業(yè)、井設(shè)備、油氣集輸，共有近千張數(shù)據(jù)表，兩萬多數(shù)據(jù)項(xiàng)。

按照EPDM數(shù)據(jù)模型建立主數(shù)據(jù)庫結(jié)構(gòu)，并開發(fā)現(xiàn)有專業(yè)數(shù)據(jù)庫到EPDM主庫數(shù)據(jù)庫接口，將各專業(yè)數(shù)據(jù)庫中的數(shù)據(jù)遷移到EPDM模型主庫。進(jìn)行各專業(yè)數(shù)據(jù)庫的規(guī)范統(tǒng)一化工作，主要有井號(hào)的統(tǒng)一、油田區(qū)塊統(tǒng)一、坐標(biāo)統(tǒng)一。如鉆井?dāng)?shù)據(jù)庫、錄井?dāng)?shù)據(jù)庫、地質(zhì)綜合庫中都有井基本數(shù)據(jù)，需確定數(shù)據(jù)的唯一性、正確性；建立長(zhǎng)慶油田井基本實(shí)體庫，并按照EPDM模型規(guī)范進(jìn)行井號(hào)代碼的制定，作為井的唯一標(biāo)識(shí)，便于數(shù)據(jù)整合服務(wù)的建立。

3.2 數(shù)據(jù)服務(wù)總線技術(shù)DSB（DataServiceBus）

數(shù)據(jù)服務(wù)總線（DSB）是一項(xiàng)靈活易用的數(shù)據(jù)集成技術(shù)，主要應(yīng)用在數(shù)據(jù)采集、數(shù)據(jù)交換、數(shù)據(jù)同步、歷史數(shù)據(jù)遷移、數(shù)據(jù)質(zhì)量管理等領(lǐng)域。DSB基于數(shù)據(jù)整合技術(shù)和數(shù)據(jù)虛擬化技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)集成和數(shù)據(jù)即時(shí)訪問兩大功能，可以根據(jù)用戶的業(yè)務(wù)需求，快速搭建所需的數(shù)據(jù)服務(wù)平臺(tái)，為用戶提供統(tǒng)一完整的數(shù)據(jù)融合方案。DSB分為數(shù)據(jù)連接層、數(shù)據(jù)處理層、邏輯處理層、數(shù)據(jù)集成層、數(shù)據(jù)整合層五層架構(gòu)[2]。

DSB支持各類數(shù)據(jù)庫數(shù)據(jù)和不同類型的文件數(shù)據(jù)，以全量、增量、自定義條件等方式，進(jìn)行數(shù)據(jù)的加工、組織與傳輸。如圖2所示，對(duì)于來自不同數(shù)據(jù)庫的數(shù)據(jù)首先經(jīng)過抽取，然后經(jīng)過轉(zhuǎn)換、清洗等處理，最后用多種傳輸方式送到目標(biāo)數(shù)據(jù)庫中。

圖2 多元數(shù)據(jù)整合流程

4 結(jié)論

結(jié)合長(zhǎng)慶油田數(shù)字化油田建設(shè)的實(shí)踐，針對(duì)數(shù)字化油田建設(shè)過程中的異構(gòu)數(shù)據(jù)問題，提出了一種異構(gòu)數(shù)據(jù)源整合和集成方法：首先建立數(shù)據(jù)主庫，然后使用數(shù)據(jù)服務(wù)總線，使油田開發(fā)中已有的多種專業(yè)數(shù)據(jù)庫的不同數(shù)據(jù)間能夠融合，同時(shí)為未來在油氣田開發(fā)中使用多種數(shù)據(jù)庫提供統(tǒng)一的數(shù)據(jù)接口，有效地實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源中的信息挖掘。

[1]劉二燦．基于共享的異構(gòu)數(shù)字化資源整合[J]．情報(bào)雜志，2004（1）：81-83.

[2]祝建中．異構(gòu)數(shù)據(jù)庫文件的轉(zhuǎn)換[J]．微型機(jī)與應(yīng)用，1999（1）：20-21.

（欄目主持 李艷秋）

10.3969/j.issn.1006-6896.2014.11.005