孫敏
[摘 要]數據治理,是油田智能化的基礎建設之一,也是最重要的一項工程。本文以油田數據建設為研究對象,基于數據治理工程的思想理念和體系,以數據池技術和數據治理工具技術為基礎,建立了油田的數據池平臺,促使油田數據鏈路逐漸趨于正常化,數據存儲逐漸趨于標準化,數據應用逐漸趨于智能化,數據管理的效率也得到了明顯的提升。
[關鍵詞]數字油田;數據治理;數字化;智能化
doi:10.3969/j.issn.1673 - 0194.2018.06.021
[中圖分類號]F270.7 [文獻標識碼]A [文章編號]1673-0194(2018)06-00-02
0 引 言
慶新油田于2010年開始實施油田數字化管理建設,并取得了良好的成果,目前,運行良好。其雖然具有良好的油田數字化建設系統,但缺少科學的反饋機制、數據管控組織架構及有效的數據管理工具等,從而造成了數據質量控制的很多問題,最為關鍵的是,“數據鴻溝”與“信息孤島”的現象比較嚴重,嚴重影響智能油田的建設與發展。因此,為了完善油田大數據應用,為現代化油田數據應用奠定基礎,為慶新油田從數字油田邁向智能油田提供足夠的數據支撐,需要在慶新油田范圍內實施全面的數據治理工程。
1 油田數據治理工程
1.1 油田數據治理工程理念
數據治理是指,針對油田現有的數據,因條塊分割、“數據鴻溝”和“信息孤島”而導致的數據混亂狀態,實施統一、規范化的整治與合理化、科學化的建設過程。
油田數據治理工程遵循的基本思想理念有以下幾方面。
①將數據作為一項工程,加大對數據的科學研究。②油田數據建設是智能油田建設的中心工作,需加快思想及技術轉型,要由IT思維轉為DT思維。③數據建設的核心是,打開從數據到數據、從數據到應用的通道。④依照數據采、存、管、用規律,完成數據鏈路上每一個環節的智能化。
依據數據治理的這一理念,本文針對慶新油田數據存在的數據分散與“信息孤島”現象,使數據共享應用困難;數據多樣化,缺少統一標準,數據集成應用困難;數據存在質量問題多,難以支撐精準化、智能化的高級別應用;數據生產部門多、數據使用部門廣、數據管理部門因為管理機制等問題互相推脫,導致數據應用不暢,效率低下;油田行業雖形成了大數據,但針對其應用處理非常困難,尤其還存在數據基礎工作沒有完善、無法支撐高級應用等問題,導致無法開展智能油田建設,因此有必要實施大規模的、全體總動員的數據治理工程。
1.2 油田數據治理工程體系建設
數據治理,需要很強的理論指導,更需要完整的工程體系。慶新油田在數據治理之前,首先完成了數據治理工程體系的建設,包括4大部分:組織體系、管理體系、技術體系和執行體系,如圖1所示。
1.2.1 組織體系
由于數據治理是一個巨大的系統工程,所以,必須要具有強有力的組織領導機制。本文依照數據規律,在油田范圍內劃分出數據生產者、數據使用者和數據管理者,以加強對數據治理的組織與領導。
1.2.2 管理體系
管理體系是進行數據治理的重要基礎內容,旨在保障數據治理可以在科學合理的標準和機制下進行,包括制定數據標準、建立數據運行機制、制定數據應用規則、創建數據模型以及制定數據管理與監督制度。
1.2.3 技術體系
技術體系是以數據融合、整合、治理工具為基礎,完成數據治理的基本步驟,主要包括數據探查與鉆取、數據清洗和整理、數據集成和提升以及數據融合和應用。
1.2.4 執行體系
在全面的數據治理后,將會形成以數據池為核心的數據產生機制、數據管理機制、數據應用規則與數據服務機制。執行體系的建立包括業務梳理、數據分析、考核評估與管控機制等。
1.3 油田數據治理工程解決方案
本文根據慶新油田數據治理思想理念與慶新油田數據治理體系架構,形成了慶新油田數據治理工程解決方案,如圖2所示。
圖2顯示,在數據治理中包含兩大核心關鍵技術:數據治理工具技術與數據池。其中,數據治理工具是整個數據治理工程的技術核心。本文引入長安大學數字油田研究所自主研發的Datist技術,其特點包括強大的數據讀取能力,可視化的數據處理過程,豐富的數據處理方法,能夠實現數據的提取、清洗、整理、呈現、推送等處理工作,專業的GIS分析功能,實時推送數據功能。
數據池是數據治理的核心部件,主要包括虛擬的大數據庫技術與思想。數據庫可以存放在云端交織在一起的各類數據,其格式是不同的,可以是Oracle,也可以是MySQL等關系型數據庫。數據池兼容多種數據格式,也包含其他非數據文件。各個數據池之間彼此獨立,互不影響,無大小、邊界限制,擴充能力強。
2 油田數據治理工程實施案例及應用效果
2.1 案列背景分析
本文以開關井日數據臺賬為例,這是油井動態分析的一項重要工作,主要涉及“開關井日數據表”“單井基礎信息表”“油井產量數據表”“關井原因代碼表”等多個數據。其中,前三張表存放在A系統庫中,這個庫的數據量十分龐大,想要查詢一條記錄往往需要幾分鐘甚至幾十分鐘。查詢到想要的數據后,還需要對各個表之間的數據進行關聯,對關井前的產量進行統計,費時費力,效率低。本文希望通過數據治理,快速而準確地加以解決。
2.2 方法與技術
為了數據的快速、好用,本文需要解決三個問題:查詢速度、自動統計、報表呈現。
第一,查詢速度。根據管理體系規則,通過數據庫技術,定期將“關井日數據表”“單井基礎信息表”“油井產量月數據表”中的有效數據同步到數據池中,同步完成后,查詢速度從數分鐘提高到秒級。
第二,自動統計。依據技術體系的規范,運用Datist數據專家,制作“關井單井日數據臺賬”的流程。由于Datist強大的數據驅動能力及可視化的處理過程,原本需要掌握復雜數據庫知識的數據庫開發人員或者編程人員才能完成的復雜程序,現在通過Datist數據專家軟件就能快速設計出來。
第三,報表呈現。當數據組織完成后,Datist就可以輸出獨立的報表。
2.3 數據治理工程效果
實踐表明,經過先期數據治理工程的實施和數據池平臺的建立,有效解決了一定范圍內的數據共享和集成問題,使得數據的錄入、轉存、同步、查詢、過濾等效率成倍提升,取得了顯著的效果。例如:完成了包括組織體系、管理體系、技術體系和執行體系的油田數據治理工程體系;形成了以數據治理工具為技術核心、數據池為核心部件的數據治理工程解決方案;數據治理工程也有效解決了一定范圍內的數據共享和集成問題;將原來的數據獲取時間縮短到秒級,具有速度快、效率高的特點,為開展智能油田建設和油田大數據應用了奠定了良好的數據基礎。
主要參考文獻
[1]高志亮,梁寶娟.數字油田在中國——油田物聯網技術與進展[M].北京:科學出版社,2013
[2]高志亮,高倩.數字油田在中國——油田數據工程與科學[M].北京:科學出版社,2015.
[3]馮莉.數據質量控制體系在油田信息管理中的應用[J].科技創新導報,2012(24).
[4]李清輝,曾穎.油田數據中心建設及發展方向探討[J].石油工業計算機應用,2005(3).
[5]陳建華.油田中心數據庫建設思路與方法[J].中國管理信息化,2014(1).
[6]段鴻杰.油田企業數據中心建設思考[J].數字石油和化工,2007(6).