油田場站分布式實時數據庫設計與應用研究

◆張馨元

（安達市慶新油田開發有限責任公司 黑龍江 151413）

1 主要研究內容及規模

1.1 主要內容

1.1.1 實時數據庫的分布式技術研發

采用Erlang 開發語言，使用分布式技術，研發生產數據自動采集、數據過濾存儲技術。研究并發體技術，在采集與存儲時采用并發體實現分布式計算。需支持多個標準接口，可與PLC，DCS，以及現場各種關系型數據實現數據交換。實現對海量實時數據收集、壓縮、存儲、檢索。根據數據記錄特點，對冗余數據，可考慮有損壓縮和無損壓縮處理。數據緩存技術研究，網絡中斷建立本地緩存機制。自動根據網絡連接情況推動到實時數據庫。

1.1.2 分布式實時數據采集

基于TCP 協議的工業PC 與PLC 的以太網通信。工業PC 與PLC通過以太網基于TCP 協議通信具有廣泛的適用性，工業PC 端不受操作系統環境的制約，PLC 端也不受PLC 品牌的限制，只需通信雙方具備以太網通信硬件和支持TCP 協議軟件環境即可。目前這種條件非常容易滿足，同時通信的報文格式和內容也可以根據通信的具體應用自由定義，具有非常大的靈活性。

支持四則運算法則及精度處理，從而得到具有物理含義的數值。

實現數據采集點規則的配置，能夠控制數據采集的頻率和采集器的批量啟停。

1.1.3 實時數據的海量存儲

有效的利用實時數據的特性，采用先進的數據壓縮算法，對大量的實時數據進行原型壓縮，同時結合高效的檢索策略設計了實時數據庫的存儲系統。針對不同的應用，數據壓縮有多種算法，實時數據庫系統不僅要求能夠在有限的硬盤空間中存儲大量歷史數據，而且還要求這些數據能夠快速被訪問。采用基于時間和空間維度的高效的壓縮算法，死區與線性壓縮相結合。

1.2 研究的技術指標

根據油田實際生產需求，油田站庫實時數據信息量越來越大，對數據處理的功能要求也越來越高。這些應用有著與傳統應用不同的特征，主要表現在兩個方面：一方面，要維護大量共享數據和控制知識；另一方面，其應用活動（任務或事務）有很強的時間性，要求在規定的時刻和（或）一定的時間內完成其處理。

1.2.1 研究目標

（1）實時正確采集聯合站及中轉站實時數據。

（2）實時海量數據存儲，并壓縮存儲空間。

（3）查詢實時數據的快速響應。

1.2.2 主要技術經濟考核指標

（1）數據采集正確性不低于99%。

（2）實時海量數據存儲，實現數據永久保存。

（3）查詢實時數據的響應速度不應高于5s。

2 技術原理

2.1 研究現狀

隨著油田自動化與數字化范圍的擴大，企業數據容量很快從TB級擴展到PB 級，傳統的數據處理與分析技術無法滿足百萬甚至千萬級設備同時在線的性能需求，建立符合油氣生產規則的大數據處理云平臺以及應用標準成為當務之急：

（1）油氣大數據云能同時管理海量物聯設備，不僅能夠滿足千萬級并發處理要求，而且需要確保數據的實時性響應達到工業級（低于20ms）。

（2）油氣大數據云通過制定數據行業標準，規范設備接入數據格式，實現設備即插即用，為物聯網快速擴展提供基礎。

目前我國在社交網絡、金融等領域，已經相繼建設了大數據平臺，但是在傳統油氣工業領域，存在著大數據產品數據格式不統一，諸多新技術應用標準化研究還比較匱乏的問題。為建立油氣行業大數據云平臺，需要如下幾個角度開展研究：

（1）大數據采集與存儲技術

在油氣開采領域需要處理的結構化和非結構化數據量巨大、類型多樣，主要包括各類數據體、成果文檔、圖件報表及“四化”（標準化設計、模塊化建設、標準化采購、信息化提升）建設實施采集監控、儀表數據等。對于非結構化數據、整體管理比較弱、除部分實時數據，更多數據存儲在磁盤上，存在各數據橫向間無法聯通等應用瓶頸，數據應用間標準缺乏。為了準確地對多個數據源進行數據分析，所有數據集應包含一致的元數據或描述性信息來解釋測試數據被保存的原因。元數據模型包括數據結構的定義、全局數據的分片、分布、授權、事務恢復等描述。在底層架構和文件系統上要高于傳統技術，能夠彈性擴展。以往存儲系統和存儲區域網絡等體系，存儲和計算物理設備分類，之間通過網絡接口連接，處理數據密集型計算，I/O 容易形成瓶頸。通過分布式文件系統將計算和存儲在物理上結合在一起，可解決I/O 吞吐量制約。大數據對存儲另一個技術要點就是數據格式可擴展性，對各種非結構數據進行高效管理需求。

（2）大數據管理技術體系

大數據管理及處理能力已經成為引領網絡時代IT發展的關鍵；獲取大量運行數據并建立對其進行動態高效處理的能力，已經成為產業競爭力的體現。 從數據庫（DB）到大數據（BD），看似是簡單技術演進，其實還是有本質差別，有些地方顛覆了傳統數據管理方式。大數據管理系統需建立類似于傳統數據管理評測基準。具體有用于評測、比較不同數據庫系統性能的規范，性能指標值能夠客觀、全面地評測各個數據庫系統的性能差距。大數據價值完整體現需要多種技術協同。

因此，伴隨著油田下一步智能化建設需要，首先應結合目前業界已有的云技術和大數據分類方法、通過油田大數據現狀進行分析、梳理油田大數據的種類和數量、界定大數據采集范圍、大數據處理及管理技術規范制定。針對不同類型數據采取不同策略。參考工業大數據白皮書，結合油氣生產需要制定規范如下標準。1）基礎標準。如：術語、架構、平臺標準等；2）數據表示標準、如編碼規范、元數據規范；3）數據處理標準、采集標準、處理階段相關標準規范

2.2 數據采集引擎設計原理

2.2.1 對接協議

根據PLC 設備型號進行數據格式解析，建立見解析規則，可與PLC 直接配置連接，可輕松接入各類自動化數據、設備管理信息。

2.2.2 采集引擎

支持分布式采集，使用Erlang 并發特性，即每個PLC 使用一個單獨的進程根據PLC 點表規則去采集數據，每個進程之間無共享數據，每個進程都是一個單獨的個體，一個PLC 出現問題，并不影響其他PLC 的數據采集。充分利用服務器的多核處理器和多服務器進行分布式的采集。保證讀取數據的高效性、穩定性、容錯性。

3 經濟和社會效益分析

3.1 經濟效益分析

在油田領域，由于存在不同時期的系統，存在多個系統，形成“信息孤島”，從而使得企業內部各部門間協作效率低，如何保證在既有系統上設計一種簡便、有效、安全的異構數據（實時數據到關系數據）交換方案，成為亟待解決的問題。在油田網絡管理、過程控制及智能設備不斷升級基礎上，本系統對擴展原有系統數據應用，提高數據有效收集、存儲、應用具有一定創新性解決方案和思路，隨著現代數據庫技術的發展和實時庫應用認識的進一步深入。基于目前方案的實時數據庫系統以其靈活性和開發性的價格必將有著更廣闊的應用，也能夠基于實時數據應用門檻的降低提高數據的應用價值，能夠給油氣生產帶來更多的信息，從而為油田生產潛力的挖掘提供更強有力的支撐，帶來更大的經濟效益。

3.2 社會效益評價

一方面，通過實時數據的有效采集通道的建立，節省了油氣生產現場數據采集與設備維護人員的投入，不斷改善一線工作人員的工作環境，提升其工作滿意度和工作熱情；另一方面，通過實時數據的永久保存和應用分析，能夠實時掌握油氣生產各工藝環節的生產狀態，及時發現油氣生產中的各類問題，提前介入，在保證正常生產的前提下，降低生產故障發生的概率，為油田周邊生態環境提供了一道保障，為打造油田生態系統奠定了良好基礎。

4 結論及認識

4.1 結論

（1）按照研究內容要求，按時保質保量完成了實時數據庫的設計、數據采集協議的解析與采集設備的接入、數據應用與數據對外服務接口的開發，并且經過四次正式的部署測試，達到了正式上線運行和驗收的要求。

（2）建立了異構數據庫交互規范、可視化點表管理機制，采用了Erlang 分布式編程、數據編解碼算法處理等先進技術，能夠確保實時數據的永久存儲與系統應用平臺的高效率。

（3）該系統平臺的搭建，能夠大幅降低操控人員對數據庫業務知識的掌握要求，提高多應用訪問實時數據的便捷性、數據流轉的實時性與安全性、油田數據的利用率，提升對歷史數據的全方位分析能力，實現生產全生命周期管理。

4.2 建議

該系統正式上線運行后，能夠對所有PLC 采集的數據進行自動采集存儲，但站庫采集對象的梳理不是特別明確，建議對站庫靜態數據進行梳理，從而確保實時數據結構的合理性。