陳建華
[摘 要] 中心數據庫建設是數字油田建設的基礎。本文對近年來部分油田在中心數據庫建設中存在的模型問題、數據質量控制問題和管理體系問題進行了分析,結合新疆油田的建設經驗,提出了油田中心數據庫建設的內容、方法和流程,供油田信息主管人員參考。
[關鍵詞] 數字油田;中心數據庫;EPDM模型;知識庫
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 01. 034
[中圖分類號] F270.7;TP392 [文獻標識碼] A [文章編號] 1673 - 0194(2014)01- 0063- 03
1 引 言
1.1 中心數據庫建設的必要性
國內油田的信息化建設基本上起步于20世紀90年代中期。受認識程度和信息化手段的限制,鉆井、錄井、測井、試油、采油、集輸等業務板塊的信息化都是獨立進行的,信息化程度也各不相同。這些信息化成果雖然在很大程度上促進了業務的開展,提高了勞動生產率,但也帶來一些問題,主要包括:
(1)獨立的數據庫設計導致業務板塊間的數據共享極其困難。
(2)數據標準不一致嚴重制約了地質研究工作的深入開展。
(3)信息化的不平衡對業務板塊間的協調發展造成了一定的障礙。
隨著油田業務的深入開展,業務板塊間的合作越來越密切,整體的協調發展變得越來越重要。尤其是近年來數字油田概念的興起,人們更加認識到信息化的平衡性和整體性是油田業務深入開展的關鍵所在。因此,打破原來獨立的、分散的信息化建設模式,采用數字油田的基本思想,建設整體的、統一的信息化格局是未來油田信息化發展不可逆轉的大趨勢。
建設整體的、統一的信息化體系,基礎的工作就是建設油田中心數據庫。中心數據庫存儲所有業務板塊的基礎數據,向所有業務部門提供全面的、統一標準的數據及服務。各業務板塊的應用系統全部架設在中心數據庫上,建設原來幾乎不可能建設的跨部門、跨專業的綜合應用系統將會變得易如反掌。中心數據庫建設的必要性和重要性已逐漸被各油田的各級領導和業務部門所認識,分歧的意見逐步得到統一。
1.2 中心數據庫建設面臨的問題
近幾年,國內各大油田紛紛開展了數字油田總體規劃和頂層設計工作,為數字油田的全面建設奠定了良好的基礎。中心數據庫建設基本上都作為一期工程進行了啟動,但進展層次各不相同。走在前面的,如新疆油田和勝利油田,已經基本建成了中心數據庫,并投入運行。但大部分油田仍處于建設中期,有些則面對很多難以克服的困難,進展緩慢。總體上,中心數據庫建設面臨的主要問題包括:
(1)數據庫模型問題。選擇EPDM模型、國外其他應用模型?還是根據自身情況獨立設計模型?應該說每種模型都有自身的優勢和劣勢,這令許多油田信息主管部門猶豫不決。
(2)歷史數據兼容問題。各大油田都積累了大量的歷史數據,由于標準不同,如何才能保持與新的數據模型兼容?
(3)數據質量控制問題。數據源頭在各生產部門的一線班組,操作人員的信息化水平差異很大且信息傳輸手段受限,如何才能保證入庫數據的質量?
(4)管理體系建設問題。在舊的體制下,數據從采集、審核到入庫都在同一個業務部門的管理之下,交接關系容易處理。中心數據庫需要向所有業務部門采集數據,各環節的管理相對就比較復雜。
任何油田在中心數據庫的建設過程中都無法回避這些問題。基于新疆油田成功建設中心數據庫的經驗,結合其他油田好的思路,本文通過對主要問題的分析,提出一套可供借鑒的中心庫建設思路和方法。
2 建設問題分析
2.1 中心數據庫模型
中石油EPDM模型是一種面向對象設計的新型的勘探開發一體化數據庫模型。從數據組織上說,具有油田數據管理的很多優勢,是未來的發展趨勢。但其不足也是明顯的,主要包括:①各油田的業務存在較大的差異,有的以稀油為主,有的以稠油為主,再加上地質條件千差萬別,導致開采流程、工藝措施、集輸方法等存在巨大差異。因此,一個統一的模型很難涵蓋所有業務特例。②EPDM模型是面向數據倉庫的設計思想,適用于數據存儲,在數據挖掘方面優勢較大,但在應用效率上明顯不足。尤其是基于中心數據庫構建跨部門、跨專業的綜合應用時,由于用戶量較大,即使采用強大的服務器也難以獲得很高的效率,影響用戶使用。
仍采用EPDM模型是大多數油田的共識,也符合中石油集團的信息化發展思想。對第一個問題,基本解決思路是,根據各油田業務的特殊性,進行模型擴展,滿足自身需要。這需要業務專家與信息專家的密切結合。第二個問題在實踐中也有多種解決思路,采用物理視圖效果很好,也可以通過分庫的方式減少數據量來解決。
2.2 歷史數據兼容
中心數據庫模型建好后,面對的第一個問題就是歷史數據的遷移問題。由于新舊數據庫差異較大,數據直接拷貝過來幾乎是不可能的。并且,不同專業對同一類數據設定的標準可能不同,因此,需要分專業設定遷移規則。主要建設思路是:
(1)建立新舊數據表映射關系。新模型和舊模型的數據表不可能是一對一的,一般既有一對多,也有多對一。
(2)建立字段映射關系。一般字段都是一對一的,但也有一對多和多對一的情況。
(3)建立數據遷移規則。由于業務的發展,新舊模型對數據精度的要求可能不同。例如:舊模型里一個字段保留3位小數,新模型里該字段保留2位小數,這就需要對相關數據建立遷移規則。一個字段對多個字段的情況會更復雜一些。
規則定好后就可以編寫軟件程序實現數據遷移。
2.3 數據質量控制
數據質量控制是針對新數據的采集和入庫過程的。好的數據質量是應用系統建設和地質科研工作開展的基礎,把好數據質量關責任重大。數據質量包括數據的及時性、完整性、規范性和準確性。數據質量控制的基本思路如下:
(1)建立字段約束規則。設定各字段的合理范圍,超出范圍則不允許入庫,或人工核準后才允許入庫。
(2)建立相關字段關聯規則。對油田大部分專業而言,一個字段往往與多個字段之間存在關聯關系,例如:井號,井別,日期與鉆井進尺等。如果相關聯的字段值存在矛盾,則不允許入庫。
(3)建立歷史數據關聯規則。新數據與歷史數據往往存在密切的關聯,例如:同一口井的井號、井別等字段值不一致,當日鉆井進尺與前一日的鉆井進尺如果存在矛盾或不合理,禁止入庫。
(4)建立表間關聯規則。一個數據表往往構成一個完整的數據體,某些表與表之間存在完整的相關關系,且又存在相互印證、控制和規范的作用。
(5)建立專業間關聯規則。不同專業間的數據有時也存在一定的關聯,例如:鉆井與錄井,測井與試油,采油與集輸等。各專業間的入庫數據相互聯系又獨立存在,相互聯系的數據必須協調一致。
針對以上規則編寫校驗軟件,隨時檢查入庫數據,提示錯誤。
2.4 管理體系建設
管理體系包括計劃、制度、流程及獎懲措施等。由于整個數據采集、入庫過程牽涉多個環節、多個業務部門,因此,管理體系建設不是僅靠信息主管部門就能夠完成的,需要多部門的密切合作。主要建設思路是:
(1)建立基層數據采集崗位責任制。包括采集崗位對采集軟件的使用權限管理、采集內容、采集時間、上報方式、數據質量檢查等規定。
(2)建立數據多級審核機制。數據源單位需要建立三級審核機制,信息管理部門也需要建設數據多層次審核機制。除借助于軟件的審核外,專家人工審核也是一個重要環節,因為任何規則都不可能窮盡所有特例。
(3)建立獎懲機制。對于數據質量一直較高的單位應給予一定的獎勵和表彰,對質量持續較差的單位給予通報批評。通過鼓勵與鞭策,持續提高數據質量。
建設初期難免會存在一些問題,但實現常態化后就可以確保中心數據庫的高效運行。
3 建設內容與方法
3.1 中心庫模型建設
基于中石油EPDM模型進行中心數據庫模型的擴充,首先需要做的就是建立各專業的擴充次序,這需要考慮專業間的業務關聯性,也就是上下游關系。過程中需要業務專家、模型專家和數據庫專家的密切配合。擴充過程包括如下幾個階段:業務流程分析、數據流程分析、概念模型形成、物理模型形成、SQL腳本編寫、數據庫實例測試(如圖1所示)。
需要明確的是,任何一個專業的中心庫模型擴充都不是一次就可以完成的。第一,業務需要反復梳理;第二,其他專業的梳理會發現本專業模型存在的問題;第三,實例化測試會發現問題;第四,實際應用會發現問題。因此,中心數據庫模型的建設是一個長期的、不斷完善的過程。
3.2 歷史數據建設
歷史數據是油田寶貴的無形資產,其建設過程需要大量的投資。建設流程應包括如下幾個步驟(如圖2所示):
第一,應開展應用需求研究。數據建設最終都是為生產服務。通過研究,明確數據的服務目的、服務方式,以及歷史數據需求的輕重緩急。
第二,建立電子化管理流程。針對大量的紙質歷史數據,制定電子化建設的標準,電子化直接面向新的中心庫模型,數據直接進入中心數據庫。
第三,建立電子歷史數據遷移流程和規范。建立新舊數據之間的轉移規范和相關規則,并按新的數據庫模型和標準進行一致性和完整性校驗。
歷史數據建設,尤其是紙質歷史數據建設,工作量大、周期長,還涉及數據標準變化的問題,需要分批分期、穩步推進。
3.3 專業規則知識庫建設
專業規則知識庫用于入庫數據的檢查和校驗,是自動校驗軟件編寫的基礎。該庫的建設與各專業的具體業務內容密不可分,因此,需要業務專家與數據庫專家的共同參與。由于油田業務數據的產生基本來自于生產儀器和儀表,因此,對專業性儀器和儀表的研究是不可缺少的一個環節。此外,還需要研究應用上對數據的需求和精度要求,這也是建立規則的基本依據之一。基于這些規則建立油田業務規則知識庫。建設流程如圖3所示。
與中心數據庫模型的建設一樣,專業規則知識庫的建設也是一個長期的、不斷完善的過程。一方面,各專業的具體業務內容會隨著業務的深入開展而發生一些變化;另一方面,儀器儀表也在不斷更新換代,精度越來越高。
3.4 軟件體系建設
圍繞中心數據庫的采集、校驗和人工審核進行。總體包括3部分內容:①源點數據采集軟件,包括數據的錄入、緩存、三級審核,以及權限控制等。②自動校驗軟件,源點發來的數據并不直接進入中心數據庫,而是進入一個緩存數據庫,在這里進行自動校驗。合格后進入專家審查階段,不合格則退回源點單位重新修改檢查。③專家審核軟件,各業務專家針對緩存數據庫里自動校驗通過的源點數據進行人工檢查,存在問題則退回源點單位,沒有問題則進入中心數據庫。總體流程圖如圖4所示。
軟件體系建設與管理體系建設密不可分,相輔相成。管理制度和規范要體現在軟件里,而軟件的應用又促進了管理體系的完善。
4 結束語
中心數據庫建設是數字油田建設的基礎,直接關系到后期應用系統建設的成敗,其重要性不需贅述。必須從全局著手,通盤考慮,結合油田自身的實際情況分階段建設。必須認識到,中心數據的建設是一個長期的、不斷完善的過程,任何急功近利、急于求成的方式方法都可能造成不可挽回的損失。同時,應多參考兄弟油田的成功經驗,盡量避免走彎路。