大數據挖掘技術在數據治理方面的探索與應用

賈煥煥

【摘 要】隨著信息化建設逐步完善，新型采油管理區依托生產信息化逐步完善體制機制建設。管理區生產運行以生產指揮中心為樞紐，開展信息化條件下的生產運行、風險管控、應急處置和跟蹤評價的綜合管理，通過PCS海量數據實時自動采集、系統實時自檢、異常預報警信息分專業、分角色、按崗位實時推送，指揮中心綜合運行崗、采注監控崗、集輸監控崗實時協調處理，并對處理全過程進行自動跟蹤考核，生產現場實現了可視化、立體化、智能化管理。

【關鍵詞】新型管理區;大數據挖掘;PCS;實時數據治理

1、數據治理的項目背景

為精準定位采集設備問題點、數據傳輸流程問題點，并快速解決問題，按照廠領導要求，在全廠管理區開展物聯網數據治理工作，在“四化”數據傳輸、監測、清洗、甄別等方面下功夫，建立“四化”數據清洗池，全面監測甄別異常數據（超出正常值的數據、突然的波動數據）、假數據（空值、問題儀表采集的數據）、啞數據（卡死數據），通過部署物聯網實時數據治理系統，實時精準定位采集設備故障，保證物聯網設備正常采集率，提高物聯網實時數據質量。

1.1儀表類故障問題多、發現難、維修周期長

一是故障發現的流程上存在滯后，由監控中心發現問題到班組問題確認再到問題整改，中間環節多流程長，出現發現之后的現象;二是目前設備故障類型多，容易發現的如網絡中斷、設備損壞等都可通過數據表征發現，不容易發現的如設備卡死、井場接線亂、油干壓倒掛等問題;三是由于現在的問題都是有數據問題體現的，數據報警后人工往往需要分析大量的輔助數據來確認問題，延長了維修周期。

1.2采集設備故障導致數據質量低

在大量的自動化數據中，存在部分錯誤數據或不能反映實際情況的噪音數據，主要分為異常數據（超出正常值的數據、突然的波動數據）、假數據（空值、問題儀表采集的數據）、啞數據（卡死數據）等錯誤及噪音數據。此類數據的長期存在，影響正常的工況診斷和生產經營分析，導致大量不實報警和錯誤診斷。

1.3數據質量制約數據應用分析

目前的油井計產均通過四化數據自動算產，數據不準確帶來了功圖、生產時間問題，直接影響產量;錯誤而功圖的問題直接影響了對油井工況的判斷;流量計問題影響了水井實注水量的準確性;多功能電表設置錯誤、電參采集錯誤影響了單設備耗電量的正常計算，為能耗分析、線損治理工作帶來大量不實數據，影響正常能效分析提升。

2、數據治理的技術方案與實施

實現“四化”數據傳輸、監測、清洗、甄別，建立數據“清洗池”，全面監測甄別假數據、啞數據以及異常數據，并進行公示，在各管理區之間開展比學趕超排名。建立數據清洗結果表，對假數據、啞數據以及異常數據進行標記處理;建立噪音數據和錯誤數據表，將剔除的數據單獨存儲形成的結果表。

將數據清洗結果進行公示，并對結果進行處理，作為數據質量指標。

2.1問題數據診斷預警思路

在大量的自動化數據中，存在部分錯誤數據或不能反映實際情況的噪音數據，通過設定判定規則、數據關聯分析、極值處理及檢查數據的完整性、一致性，濾除異常數據、假數據、啞數據等錯誤及噪音數據，為生產提供可用性數據。對錯誤數據進行分析，找到錯誤原因，進行維護。

針對問題數據診斷可通過對常規生產實時參數的管理和抽油機錯誤功圖的管理兩個方面實現。以現場采集實時數據為基礎，對油水井設備狀態異常原因和對應的數據主要特征狀態進行總結并轉化為系統知識，提取電流、電壓、載荷、沖程、沖次、油壓、套壓等特征參數，建立典型生產故障特征參數樣本庫，結合事件識別規則，實現油水井設備狀態跟蹤監控。

數據治理流程主要分四個步驟，分別是生產狀態診斷、智能預警告警、報警情況跟蹤、自動消警與狀態跟蹤。

通過對不同節點故障的特征分析，映射成后端的數據邏輯，建立自動診斷模型。常規實時參數可通過設備故障模型可有效的將問題數據進行利用，結合問題設備的數據規律，建立設備問題檢查模型，找到出現損害、斷線、失電、卡死等問題的設備，及時告知運維人員進行設備維護，從而提高數據的可用率和準確率。

2.2診斷模型部署

2.2.1自動化設備故障模型

目前基于不同風險檢測方法和多節點數據采集對比分析，建立傳感器故障、井場連接異常、RTU故障、網絡異常等50多種數據異常情況進行智能甄別模型，實現生產物聯網設備異常精準報警和數據的智能清洗。

2.2.2工況異常預警模型

通過趨勢法、狀態法建立工況預警模型，實現近10類油水井工況預警。以泵示功圖分析為依據，對異常工況產生原因和對應示功圖主要形態特征進行總結，并結合現場專家經驗轉化為系統知識，提取功圖面積、載荷、沖程損失、提前加載量等特征示功圖參數，建立典型工況特征參數樣本庫，結合示功圖診斷決策樹，實現異常工況判斷。系統實時當前最新功圖進行錯誤功圖站別，并統計24小時內的錯誤功圖比率。可輔助技術人員及時發現存在的錯誤功圖。系統支持錯誤功圖剔除功能，可對已發現的錯誤功圖進行實時剔除，消除錯誤功圖對功圖算產的影響。直接修改掉算產標志，讓錯誤功圖不參與每天的日產液量計算，進一步提高功圖算產的準確率。

建立了量化診斷的評價因子，有效提高了故障診斷的準確率，同時也提升了單井管柱、分析化驗等數據應用的質量。目前在桿斷、泵漏失、油管漏失、結蠟、氣影響等都有報出，通過技術人員核對分析，準確率在80%以上。

3、數據治理實施后的效果

3.1推進管理區運維模式的轉變，提高精細化管理水平

一是將推進管理區運維模式的轉變，向著“管控實時、運行一體、分析智能、應急快捷、效率更優”的目標前進了一大步。設備巡檢時間、故障發現時長縮短到30分鐘以內，故障定位準確率、原因分析正確率提高到95%以上，運維站人員24小時住崗值守，為運維工作有序開展提供數據支撐。

二是工作針對性增強，運維管理成本降低，為提質增效做保障。2019年上半年，僅郝現管理區一家單位通過功圖卡死組合預警及時發現異常井功圖卡死3井次，2口泵漏井、1口結蠟通過及時治理恢復正常生產，減少作業費用近60萬元，提高油井開井時率，減少作業占產，直接創效60余萬元。信息化水平提升，運維管理成本降低15萬元，創效6萬元。

三是承包商管理加強，為生產信息化建設過程中，產品和集成商評測提供第一手的數據資料。

四是模型研究主要對象為標準化產品庫中產品、判斷模型具普遍性和通用性，可復制，可推廣。

3.2數據質量“比學趕幫超”，提高指標運行管理水平

一是網絡監控設備健康評估實時診斷，確保設備上線率，為資源協同應用，安全環保全業務管控、關鍵生產設施、重點施工環節全程監控，提供全方位監測、全時段守護。準確的溫度壓力數據為管網穿孔預警模型提供可靠精準的數據支撐，年度發現管網穿孔160余次，規定時間內問題發現及時、處置及時，提高現場安全環保管理水平。

二是隨著數據診斷模型的布置使用加深，自動入庫率和設備完好率維持在99.9%以上，數據修正率下降4%，各管理區“四化”運行指標穩步提升，采油廠“四化”運行指標由2018年12月份第7名提升至2019年5月份第2名。

4、結語

依托海量自動化儀器儀表數據，通過實時數據治理，從前端設備著手，完善自動化儀器儀表故障診斷預警模型，從源頭上治理解決假數據、啞數據、空數據，更好發揮“四化”應用千里眼、順風耳作用，為構建油藏動態無關化分析、油水井工況智能化預警、管網電網精準化管控提供精準的數據支撐，全力支撐采油廠向精細。集約管理轉型升級作保障。