基于ＥＴＬ油水井工況宏觀控制管理系統(tǒng)的實(shí)現(xiàn)

摘要：本文以油水井工況宏觀控制圖管理系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)為例，對(duì)ETL過程中數(shù)據(jù)清洗、數(shù)據(jù)多重轉(zhuǎn)換以及應(yīng)用ETL技術(shù)采取B/S/S系統(tǒng)架構(gòu)進(jìn)行了分析。提出了應(yīng)用ETL技術(shù)進(jìn)行數(shù)據(jù)挖掘改造原有系統(tǒng)時(shí)應(yīng)注意的幾個(gè)問題。

關(guān)鍵詞：數(shù)據(jù)挖掘；ETL；工況控制；數(shù)據(jù)抽取；數(shù)據(jù)轉(zhuǎn)換

中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2008)20-30366-03

Implementation of the Oil Water Wells Working Status Macroscopic Control Chart Management System Based on ETL

GUO Yu-Ming1，ZHANG Bao-an1，GUO Hai-ping2，WANG Wei1

(1.Department of Information Center，Dongxin Petroleum Production Plant，Shengli Oilfield， Dongying 257094， China;2. Xi'an Jiao Tong University，Xi'an 710049， China)

Abstract: This paper takes the design and implementation of Oil Water wells working status macroscopic control chart management system as an example， analyzed the ETL process of data cleansing， data multiple transformation and the application of ETL technology to B/S/S system architecture. It raised several issues about the ETL application of data mining technology when it transforms the original system.

Key words: Data mining; ETL; Working Status Control; Data extract; Data transform

1 引言

油水井工況宏觀控制圖是為了油水井生產(chǎn)和管理需要而繪制，用于反映油水井工作狀況的圖件。根據(jù)油水井在不同的工況區(qū)域的分布情況，來分析與決策下一步對(duì)油水井的管理采取的措施。上世紀(jì)90年代初，勝利油田東辛采油廠在借鑒大慶油田抽油機(jī)井工況控制管理技術(shù)的基礎(chǔ)上，結(jié)合東辛采油廠復(fù)雜斷塊油田的實(shí)際，自主開發(fā)了抽油機(jī)井工況控制圖繪制軟件。但由于受當(dāng)時(shí)數(shù)據(jù)庫資源、硬件網(wǎng)絡(luò)環(huán)境、技術(shù)人員計(jì)算機(jī)應(yīng)用能力等多種因素的影響，推廣應(yīng)用的維護(hù)難度較大。90年代后期，工況控制圖繪制軟件停用，產(chǎn)生了一些不良的效果。由于缺少了對(duì)油井工況進(jìn)行評(píng)價(jià)以及對(duì)各礦、采油隊(duì)工況管理指標(biāo)進(jìn)行考核的機(jī)制，油井的工況管理處于某種程度的失控狀態(tài)，造成方案設(shè)計(jì)、生產(chǎn)參數(shù)的調(diào)整方面的隨意性比較大，油井工況管理指標(biāo)下滑，工況不合理的井明顯增多。

近幾年，隨著勝利油田數(shù)據(jù)庫建設(shè)的深入和完善，數(shù)據(jù)資源不斷豐富，硬件網(wǎng)絡(luò)環(huán)境也得到很大改善，尤其是基層技術(shù)人員計(jì)算機(jī)應(yīng)用能力水平的不斷提高以及軟件開發(fā)工具的不斷更新。基于以上條件的具備，2006年—2007年，采取數(shù)據(jù)挖掘的ETL技術(shù)對(duì)油水井工況宏觀控制圖管理系統(tǒng)進(jìn)行了重新設(shè)計(jì)與實(shí)現(xiàn)。

2 ETL技術(shù)介紹

數(shù)據(jù)ETL是一個(gè)來源于數(shù)據(jù)倉庫的概念，指數(shù)據(jù)抽取(Extraction)、轉(zhuǎn)換(Transformation)、清洗(Cleaning)、裝載(Loading)的過程，是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)[1]。用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去[2]。

在ETL技術(shù)應(yīng)用過程中，最困難部分是用戶需求分析和模型設(shè)計(jì)，而ETL規(guī)則設(shè)計(jì)和實(shí)施則是工作量最大的。這個(gè)過程非常繁雜，是整個(gè)數(shù)據(jù)倉庫建設(shè)過程中工作量最大的一部分[2]。約占整個(gè)項(xiàng)目的60%-80%，這是國內(nèi)外從眾多實(shí)踐中得到的普遍共識(shí)。

數(shù)據(jù)預(yù)處理、數(shù)據(jù)集成和數(shù)據(jù)歸約[3]。這是ETL系統(tǒng)的核心部分，是數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)清洗的過程。數(shù)據(jù)倉庫中有可能存在著大量的噪聲數(shù)據(jù)。引起的一般原因有：數(shù)據(jù)采集不規(guī)范、數(shù)據(jù)輸入錯(cuò)誤、丟失值、行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)信息變化與更新等，都有可能導(dǎo)致 “垃圾進(jìn)，垃圾出”（garbage in， garbage out），系統(tǒng)根本就不可能為決策分析提供準(zhǔn)確可靠的支持。為了清除噪聲數(shù)據(jù)，必須在數(shù)據(jù)庫系統(tǒng)中進(jìn)行數(shù)據(jù)清洗。數(shù)據(jù)預(yù)處理負(fù)責(zé)對(duì)抽取到的數(shù)據(jù)進(jìn)行初步的清洗，解決一些數(shù)據(jù)的簡(jiǎn)單變換問題，必須將多模式與數(shù)據(jù)集進(jìn)行統(tǒng)一映射，轉(zhuǎn)換為單一的結(jié)果集。這就是數(shù)據(jù)集成的過程。在數(shù)據(jù)規(guī)約過程中，首先針對(duì)數(shù)據(jù)集進(jìn)行匹配，即發(fā)現(xiàn)重復(fù)異常，然后根據(jù)匹配結(jié)果進(jìn)行處理，刪除部分記錄或者將多個(gè)記錄合并為一個(gè)更完整信息的記錄。值得注意的是，數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)清洗并不是孤立的，而是滲透在整個(gè)數(shù)據(jù)抽取、數(shù)據(jù)裝載甚至整個(gè)數(shù)據(jù)ETL過程中。

一般來講：數(shù)據(jù)加載(L)也不是孤立的。與E、T過程相比較，技術(shù)難度不是很高；通常有兩種方式：邊轉(zhuǎn)換邊加載；轉(zhuǎn)換完畢后集中加載。可根據(jù)實(shí)際情況選擇合適的數(shù)據(jù)加載方式。

3 ETL技術(shù)在油水井工況宏觀控制圖開發(fā)中的實(shí)現(xiàn)

3.1 工況宏觀控制圖數(shù)據(jù)抽取(E)

抽取油水井工況宏觀控制圖所需數(shù)據(jù)采取的策略是：首先對(duì)所需要抽取的數(shù)據(jù)進(jìn)行分類，一類是靜態(tài)數(shù)據(jù)，即一段時(shí)間內(nèi)數(shù)據(jù)變化不大，或者很少變化的數(shù)據(jù)。如在油水井不改層生產(chǎn)的情況下，油井的原油物性參數(shù)：原油密度、原油粘度以及井號(hào)、單位代碼、油層中部數(shù)據(jù)、層位、泵徑、沖程、沖次、泵深、動(dòng)液面（正常生產(chǎn)情況下波動(dòng)不大可作為靜態(tài)數(shù)據(jù)處理）等；另一類是動(dòng)態(tài)數(shù)據(jù)，即經(jīng)常發(fā)生波動(dòng)的數(shù)據(jù)，還包括對(duì)計(jì)算轉(zhuǎn)化結(jié)果產(chǎn)生影響比較大的數(shù)據(jù)，如日產(chǎn)液、含水、油氣比等，這部分?jǐn)?shù)據(jù)主要來源于油水井生產(chǎn)的日?qǐng)?bào)數(shù)據(jù)表。對(duì)于靜態(tài)數(shù)據(jù)的抽取采取按月份分單位進(jìn)行抽取（對(duì)應(yīng)下圖的工況基本數(shù)據(jù)管理），而動(dòng)態(tài)數(shù)據(jù)則從日?qǐng)?bào)數(shù)據(jù)表中抽取。抽取動(dòng)態(tài)數(shù)據(jù)時(shí)與靜態(tài)數(shù)據(jù)關(guān)聯(lián)，得到最終的抽取數(shù)據(jù)結(jié)果集。

一般ETL過程，抽取數(shù)據(jù)過程中需要對(duì)不合適的數(shù)據(jù)進(jìn)行清洗。但考慮油田油水井生產(chǎn)數(shù)據(jù)的特點(diǎn)，采取先抽取數(shù)據(jù)后清洗，此時(shí)需要人工對(duì)所抽取的數(shù)據(jù)進(jìn)行校驗(yàn)或是恢復(fù)，以保證每口生產(chǎn)井的數(shù)據(jù)經(jīng)過轉(zhuǎn)換都必須進(jìn)入工況結(jié)果數(shù)據(jù)表，滿足基層技術(shù)人員對(duì)該井工況控制的需要。

3.2 工況數(shù)據(jù)多重轉(zhuǎn)換(DT)

對(duì)于抽取的批量數(shù)據(jù)理論上講是可以一次性進(jìn)行數(shù)據(jù)轉(zhuǎn)換，但考慮到當(dāng)前的數(shù)據(jù)質(zhì)量、多次轉(zhuǎn)換后的數(shù)據(jù)結(jié)果使用用戶層次不同等因素，在該系統(tǒng)中采取按油水井所屬單位代碼劃分方法，縮小轉(zhuǎn)換數(shù)據(jù)量，降低處理數(shù)據(jù)服務(wù)器的負(fù)載，實(shí)行多重?cái)?shù)據(jù)轉(zhuǎn)換，這樣處理的優(yōu)點(diǎn)是：在轉(zhuǎn)換中斷情況下可以人工校驗(yàn)轉(zhuǎn)換初始數(shù)據(jù)。能很好地保障整個(gè)系統(tǒng)的安全性和性能。

以抽油機(jī)井?dāng)?shù)據(jù)轉(zhuǎn)換為例簡(jiǎn)要介紹其步驟：

1)經(jīng)過校驗(yàn)數(shù)據(jù)的第一次轉(zhuǎn)換（First Transformation）：即抽油機(jī)井批量數(shù)據(jù)工況點(diǎn)計(jì)算。包括原油物性參數(shù)、油氣水性質(zhì)、多相垂直管流壓力曲線計(jì)算，最終計(jì)算每口井的泵吸入口壓力、泵效等。計(jì)算結(jié)果加載，至此第一次T過程完成。若計(jì)算過程中發(fā)生數(shù)據(jù)不合理造成異常，則返回轉(zhuǎn)換錯(cuò)誤記錄，并定位到該記錄，提示用戶校驗(yàn)抽取數(shù)據(jù)。直至所需轉(zhuǎn)換數(shù)據(jù)校驗(yàn)合理，完成第一次數(shù)據(jù)加載為止。

2)以第一次轉(zhuǎn)換結(jié)果以及初始抽油機(jī)井邊界條件參數(shù)為基礎(chǔ)實(shí)現(xiàn)第二次數(shù)據(jù)轉(zhuǎn)換（Second Transformation）：由邊界參數(shù)確定抽油機(jī)井圖版上的邊界線，由第一次轉(zhuǎn)換結(jié)果處理各井所處圖版的位置，并進(jìn)行分區(qū)。實(shí)現(xiàn)第二次轉(zhuǎn)換數(shù)據(jù)的加載；第二次轉(zhuǎn)換結(jié)果顯示如圖1。

3)第三次轉(zhuǎn)換（third Transformation）：根據(jù)第二次轉(zhuǎn)換結(jié)果（理論上工況宏觀控制圖可以每天進(jìn)行），按月份、單位代碼進(jìn)行統(tǒng)計(jì)分析，統(tǒng)計(jì)數(shù)據(jù)以該單位本月第二次加載結(jié)果最新數(shù)據(jù)為準(zhǔn)。形成第三次轉(zhuǎn)換結(jié)果，前提是所有下級(jí)單位必須在該月進(jìn)行第二次數(shù)據(jù)轉(zhuǎn)換，統(tǒng)計(jì)結(jié)果數(shù)據(jù)實(shí)現(xiàn)第三次加載。第三次數(shù)據(jù)轉(zhuǎn)換結(jié)果如圖2。

該系統(tǒng)中數(shù)據(jù)加載方式：由于數(shù)據(jù)是按單位代碼批量抽取，采取了批量加載的策略，即轉(zhuǎn)換一次完成后加載。其數(shù)據(jù)加載技術(shù)難度比較簡(jiǎn)單，本文不探討數(shù)據(jù)加載問題。圖3是油水井工況宏觀控制ETL過程圖(參照參考文獻(xiàn)[4])。

3.3 多重ETL轉(zhuǎn)換結(jié)果使用層次對(duì)象

每次經(jīng)過轉(zhuǎn)換結(jié)果數(shù)據(jù)都需要進(jìn)行加載，以便提供給不同生產(chǎn)管理層次人員使用。第一次和第二次加載結(jié)果主要使用對(duì)象為采油隊(duì)（管理區(qū)）技術(shù)人員或地質(zhì)、工藝設(shè)計(jì)人員，目的是對(duì)每口井采取相應(yīng)的措施的依據(jù)；第二次轉(zhuǎn)換既是基層技術(shù)所需結(jié)果數(shù)據(jù)，也是向第三次轉(zhuǎn)換的中間過程。第三次加載結(jié)果使用對(duì)象主要是中層或高層管理人員使用。以便對(duì)所屬單位油水井生產(chǎn)情況以及管理水平有總體上的把握，為下一步油水井的管理工作做出更符合實(shí)際的決策。

其他采油方式（如電泵井）以及水井工況宏觀圖的ETL數(shù)據(jù)處理與抽油機(jī)實(shí)現(xiàn)過程相同。

3.4 采取ETL技術(shù)時(shí)有關(guān)系統(tǒng)架構(gòu)設(shè)計(jì)

早期的工況宏觀控制繪制軟件是單機(jī)版，很難實(shí)現(xiàn)數(shù)據(jù)資源共享，其使用對(duì)象局限于基層技術(shù)人員，而且數(shù)據(jù)采集工作量比較大。為充分利用現(xiàn)有的數(shù)據(jù)資源，在架構(gòu)該系統(tǒng)時(shí)采取B/S/S（Browser/Web Server/Oracle Server）架構(gòu)。通常B/S/S系統(tǒng)架構(gòu)下，用戶工作界面是通過WWW瀏覽器來實(shí)現(xiàn)，極少部分事務(wù)邏輯在前端（Browser）實(shí)現(xiàn)，Web Server端處理用戶與Oracle Server端交互信息，主要事務(wù)邏輯在服務(wù)器端（Oracle Server）實(shí)現(xiàn)，形成所謂三層3-tier結(jié)構(gòu)。這樣就大大簡(jiǎn)化了客戶端電腦載荷，減輕了系統(tǒng)維護(hù)與升級(jí)的成本和工作量，降低了用戶的總體成本。

在進(jìn)行油水井工況宏觀控制管理系統(tǒng)架構(gòu)設(shè)計(jì)時(shí)，考慮到數(shù)據(jù)第一次轉(zhuǎn)換，其轉(zhuǎn)換計(jì)算量以及復(fù)雜程度是非常大，每口井在計(jì)算多相垂直管流時(shí)要多次反復(fù)迭代，當(dāng)處理數(shù)據(jù)量較大時(shí)，全部負(fù)載由Oracle Server承擔(dān)會(huì)造成用戶響應(yīng)時(shí)間過長(zhǎng)，系統(tǒng)整體性能較差，實(shí)際生產(chǎn)中Oracle Server還提供其他應(yīng)用系統(tǒng)數(shù)據(jù)服務(wù)。因此，在設(shè)計(jì)該系統(tǒng)架構(gòu)時(shí)，為降低系統(tǒng)負(fù)載以及平衡Web服務(wù)器與Oracle數(shù)據(jù)庫服務(wù)器，除對(duì)抽取數(shù)據(jù)按單位分批量轉(zhuǎn)換外，部分計(jì)算工作分配在Web Server端進(jìn)行，發(fā)揮Web Server與Oracle Server相互協(xié)作與各自對(duì)處理數(shù)據(jù)的優(yōu)勢(shì)，對(duì)其數(shù)據(jù)ETL負(fù)載進(jìn)行均衡與優(yōu)化，使系統(tǒng)在比較穩(wěn)定與優(yōu)化的狀態(tài)下運(yùn)行。

4 系統(tǒng)投入運(yùn)行應(yīng)用效果分析

系統(tǒng)投入運(yùn)行得到生產(chǎn)管理部門的積極配合與支持，建立相關(guān)的工況運(yùn)行管理規(guī)定與考核機(jī)制，并以此為依據(jù)開展工況分析。經(jīng)運(yùn)行前后結(jié)果對(duì)比分析，取得了比較好的應(yīng)用效果。以抽油機(jī)井為例，其前后對(duì)比如圖4。

對(duì)比分析發(fā)現(xiàn)：合理區(qū)(A區(qū))與優(yōu)良區(qū)(F區(qū))除一個(gè)單位工況變化不大外（分析該單位區(qū)塊以高壓低滲為主，邊界條件不太適合，系統(tǒng)需要針對(duì)該單位調(diào)整其邊界），其他五個(gè)單位所占比例均有不同程度提高。整體運(yùn)行效果比較明顯。

5 認(rèn)識(shí)和結(jié)論

借助現(xiàn)有的網(wǎng)絡(luò)環(huán)境與數(shù)據(jù)庫資源，對(duì)以往單機(jī)版軟件采取ETL技術(shù)進(jìn)行改造和升級(jí)，有以下幾個(gè)方面需要注意：

1)對(duì)抽取數(shù)據(jù)進(jìn)行合理的分類，該策略往往能降低數(shù)據(jù)抽取難度；還應(yīng)盡量避免用戶數(shù)據(jù)的重復(fù)采集，抽取出的數(shù)據(jù)是清洗還是校驗(yàn)應(yīng)根據(jù)實(shí)際情況來決定。

2)在ETL過程中，通常Ｔ過程非常復(fù)雜，即使數(shù)據(jù)經(jīng)過清洗或校驗(yàn)，仍很難避免轉(zhuǎn)換過程中發(fā)生異常，導(dǎo)致轉(zhuǎn)換失敗；通常需要將T過程分解，分解為比較容易實(shí)現(xiàn)的幾個(gè)T過程，用戶與轉(zhuǎn)換結(jié)果數(shù)據(jù)進(jìn)行交互，能很好改善轉(zhuǎn)換過程。當(dāng)然，并不是分解的T過程越多越好，T過程太多，勢(shì)必會(huì)增加系統(tǒng)的其他開銷，用戶操作也會(huì)變得復(fù)雜，關(guān)鍵是分解Ｔ過程掌握一個(gè)適當(dāng)?shù)亩取Ａ硗猓?dāng)轉(zhuǎn)換數(shù)據(jù)過多，轉(zhuǎn)換過程過于復(fù)雜時(shí)，還可采取批量處理方式。

3)采取ETL技術(shù)設(shè)計(jì)應(yīng)用系統(tǒng)架構(gòu)時(shí)，不可生搬硬套某個(gè)系統(tǒng)架構(gòu)的理論知識(shí)，要根據(jù)應(yīng)用系統(tǒng)實(shí)際靈活變通；在油水井工況宏觀控制管理系統(tǒng)架構(gòu)中，合理分配各服務(wù)器的負(fù)載，提高系統(tǒng)整體性能。

本文從實(shí)際角度出發(fā)，設(shè)計(jì)出了一個(gè)面向數(shù)據(jù)挖掘的數(shù)據(jù)ETL系統(tǒng)，提出了采取ETL技術(shù)改造原有系統(tǒng)需要注意的幾個(gè)方面。通過實(shí)際應(yīng)用說明：該ETL系統(tǒng)是可用的、有效的，在數(shù)據(jù)挖掘的應(yīng)用中，顯示了其一定的靈活性和實(shí)用性。

參考文獻(xiàn):

[1] 張寧.數(shù)據(jù)倉庫中ETL技術(shù)的研究[J].計(jì)算機(jī)工程與應(yīng)用，2002，38(24).

[2] 王克龍，王玲，王平立，宋斌.數(shù)據(jù)倉庫中ETL技術(shù)的探討與實(shí)踐[J].計(jì)算機(jī)應(yīng)用與軟件，2005.

[3] 付中偉，張浩，陸劍峰.面向數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的ETL設(shè)計(jì)與應(yīng)用[J].微型機(jī)與應(yīng)用，2005，(11).

[4] Rodney Gleghorn.Enterprise Application Integration:A Manager’s Perspective.November December 2005 IT Pro.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文。”