實時數據云平臺在稠油油田的應用

韓光?韓夢蝶?蘭明菊

摘要：風城油田作業區物聯網建設發展快速，已形成一套成熟生產監控體系設計與管理流程，為了更加充分發揮物聯網數據價值，需要建立以“專業分析模型+實時數據”為驅動的智能化深化應用模式。而在基于物聯網數據智能化分析時，遇到數據獲取不及時、質量不可控等難題，通過構建風城油田作業區實時數據中心，直接對接RTU、PLC和DCS進行采集與存儲，為第三方系統提供高速數據調用接口，促進稠油油田智能化管理技術手段的快速升級。

關鍵詞：實時數據；云平臺；分布式采集；預警報警

一、前言

A11建設初期，風城油田作業區實時數據庫采用iFIX的IH，且當前已接入15萬以上采集點規模，該數據庫主要用于滿足iFIX的SCADA系統使用。在第三方應用系統需要從IH中獲取實時數據時，若調用頻次高或一次性調用數據量大，容易導致IH數據庫的不穩定運行，最終引起SCADA系統的運行異常。另外，部分數據采集依賴于第三方軟件，數據采集的可控性、穩定性、時效性無法保證，例如功圖數據采集依賴于第三方軟件（功圖小鍵盤），PLC數據采集依賴于IGS、KEPWARE等。通過剖析傳統實時庫產品在實際應用中遇到的不足，研究分布式實時數據平臺，徹底解決數據采集規模與頻次受限、數據共享能力不足等問題，專門為實時數據深化應用提供數據服務，打造雙實時數據庫建設應用模式，保障生產運行監控與智能化應用分析正常穩定開展。

二、重點解決問題

實時數據云平臺主要解決實時數據采集性能差、存儲分散、數據共享能力不足三類問題[1]：

（一）實時數據采集對第三方軟件依賴程度大，中間件的存在導致了數據采集流程復雜、可維護性差、數據穩定性不足、采集時效性差等問題。實時數據云平臺通過自主開發各類驅動程序實現了RTU、PLC的直接對接，不依賴于第三方中間件，同時采用分布式并發采集機制確保采集性能大幅提升。

（二）常見實時數據庫可部署在不同的服務器節點，但各服務器節點間數據同步實時性與穩定性差，無法實現數據的統一管理與應用。實時數據平臺可將百萬級數據點同時存儲到一個平臺，且能夠確保數據應用的高實時性能；可把全油田的數據存儲在一個平臺中，實現數據集中管理與大數據分析；可通過多節點間實時數據主動備份，規避數據丟失問題。

（三）傳統方案中，實時數據量存儲達到一定程度后，數據讀取需要幾分鐘，甚至會導致系統宕機，無法保障大數據分析應用業務的正常開展。實時數據云平臺在實時數據積累到千億量級時，數據讀取速度仍可保證可用性。

三、實時數據云平臺設計

以分布式思想為基礎，建立涵蓋數據采集、處理、存儲的三層架構，有效確保實時數據采集與存儲的高效、穩定，為數據服務、數據應用提供可靠的保障。

數據采集層：支持從RTU、PLC、DCS油田現場自動化數據采集設備，按照不同協議類型進行數據解析；支持高并發數據采集，提高數據采集時效性與穩定性。

數據處理層：內置多種常用函數，支持復雜數據運算與關系換算，滿足不同應用場景下的數據處理需求。

數據存儲層：支持多節點數據存儲、無損壓縮，提供高穩定性API數據訪問接口。

基于分布式架構，共設計五大類功能，如圖1所示，實現了實時數據的高效分布式采集與存儲，并為第三方應用系統提供了靈活的數據調用接口[2-4]。

（一）分布式實時數據采集

基于Erlang語言的高并發處理能力，針對每一個采集任務建立單獨的采集服務，每個采集服務之間相互獨立，一旦某一個服務出現運行異常，不會影響其他服務?；谠摬呗?，可最大頻次地提升數據采集的頻率及數據采集穩定性。系統支持RTU、PLC、DCS等各類現場設備的直接數據采集，支持數值、數組、文本等數據類型，兼容不同類型通訊方式并進行采集穩定性優化，完美滿足了油田多樣化的數據采集要求。

（二）分布式數據存儲

支持多節點分布式存儲方式，實現實時數據集群管理，任何一個節點發生問題均不影響數據的存儲及異?；謴秃髷祿耐教幹?。在數據寫入庫時，采用分段、分塊方式在數據庫中進行數據存儲。當數據流進庫后，數據庫自動以“段號+塊號+時間戳+數據+加密”的方式為每個數據包生成唯一的數據ID，方便數據查詢，如圖2所示。同時，采用緩存技術利用服務器的系統資源在內存中緩存部分最近數據，也可最大化地提升數據查詢效率。在數據采集一段時間后，數據庫自動對歷史數據進行壓縮，節省磁盤空間，提高處理速度。

（三）實時數據管理

1.數據一鍵查詢

如圖1所示，可按照采集單元、生產對象，對實時數據進行在線實時查詢，有效幫助實時數據管理人員評價數據接入質量。

2.歷史數據查詢

按對象、采集點、時間段查詢一段時間的實時數據，有助于分析實時數據接入的穩定性和準確性。

3.點表管理

提供Web頁面，用于管理RTU、PLC、DCS等不同采集終端采集點表的增刪改查操作，可按設備名稱、IP等條件進行查詢過濾，如圖4所示。

RTU點表配置時，可對采集數據進行預處理，從而確保采集轉換后的數據具有物理含義，系統提供的采集器功能開發了預處理表達式解析模塊，支持常規四則運算法則及按需精度處置，方便實施人員進行配置操作。

（四）實時數據訪問接口

按照風城作業區應用系統數據接入需求，提供API接口，由第三方系統主動調用API接口獲取所需數據。

1.接口類型

提供支持實時數據、歷史數據調用的API接口：多對象、多參數、時間點、時間段等。只需調用接口時輸入相關關鍵字即可實現數據的調用。

2.接口性能特點

系統提供的API接口與iFIX提供的OPC接口性能對比結果如表1所示。

四、實時數據云平臺部署

系統部署于風城作業區機房，采用多臺服務器進行集群模式搭建。在數據采集端，直接對接RTU、PLC、DCS等硬件設備，實現了所有實時數據的接入、存儲。在客戶端，通過B/S版實時數據管理平臺實現已采集數據、采集對象基礎信息、采集點配置等相關數據與信息的管理。同時，該平臺為第三方應用系統提供了標準的API調用接口，并實施了DMS、稠油生產監控報警輔助等應用系統的數據對接。

五、實時數據云平臺運行效果

（一）實時數據接入運行狀況

接入數據規模與iFIX一致，超過15萬點，數據采集穩定（除網絡不穩定影響外），設定的采集周期與實際采集周期一致。

服務器長時間運行，平均CPU占用不高于15%，內存占用不高于12%，系統資源占用穩定，無明顯的資源消耗波動。

在當前采集數據量及采集周期下，一天大約能產生1G的數據，預計一年所需的硬盤空間為370G左右。

（二）實時數據調用效果

以稠油生產監控報警輔助系統為例，對接實時數據平臺之后，采集周期可以從60+s提高到5s，而且數據獲取穩定，時間符合實際要求。具體對接前后性能變化如表2所示。

六、實時數據云平臺優勢

實時數據云平臺擴容后，其特征為“三個突出，一個穩定”，徹底打通了實時數據從感知、采集、存儲到應用的數據流程的關鍵瓶頸（數據時效性、穩定性、共享性不足）。

1.數據采集性能突出：RTU、PLC實時數據采集頻率可達1秒；功圖數據采集頻率可達秒級；DCS通過OPC方式數據采集頻率可達秒級；

2.數據調用接口數據共享能力突出：支持十萬級數據量的秒級調用，保證第三方系統對于實時數據、歷史數據應用的按需調用；

3.第三方軟件對接效果突出：稠油系統數據頻率由1分鐘提升至5秒；DMS實時數據調用方式簡單、易維護，能夠快速實現按需調用。

4.服務器集群運行穩定：資源占用率低且穩定，數據采集、存儲服務運行穩定。

七、實時數據云平臺發展潛力

可建立面向百萬級采集點的數據采集與存儲中心，實現油田（或油公司）全生產過程數據的高效采集與存儲，成為油田唯一的實時數據來源，為所有第三方應用系統提供高效、標準的數據服務，避免實時數據庫的重復搭建。

建立基于數據整合模型的實時數據到生產數據、管理數據、計算分析指標的自動計算，實現生產與分析指標的統一算法標準，避免重復計算與重復開發造成的資源浪費。

建立基于實時數據平臺的智能生產運行管理平臺，實現深度實時監控分析、設備全生命周期管理、深度能耗分級管控等方向的系統擴展；同時將數據挖掘技術、專業分析模型、專家經驗等相互融合，構建符合油田實際業務需求的專業分析模型，并借助先進的IT技術不斷提升技術研究成果的可靠性[5-6]。

八、結語

應用服務器集群，構建了風城油田作業區實時數據平臺。一方面，通過實時數據高性能數據采集架構的設計與開發，極大地提升了油氣物聯網管理中數據采集與設備運維工作效率的提升，減少人員負擔、改善工作條件、提升工作能力與工作熱情；另一方面，多節點實時數據采集方案能夠實現數據的高性能永久存儲及數據共享，在數據應用時可實時進行調用，滿足油氣生產運行監控及實時數據深化應用分析需要，及時發現油氣生產工況異常，提前預警，提前處置，有效降低生產運行事故發生概率，提供生產安全能力，進一步為油田HSE安全管理保駕護航，為打造油田生態系統奠定了良好基礎。

1.數據采集、存儲、調用等相關服務均采用Erlang技術，確保了高并發數據采集、存儲、應用能力，高性能的數據處理技術最大限度地保障了海量實時數據采集的時效性、穩定性。

2.本次搭建的實時數據云平臺前端采用B/S開發架構，便于系統的部署、應用、維護、升級，大幅提升數據運維工程師的工作效率。

3.提供的標準API接口與數據訂閱機制，實現了基于第三方數據庫或應用接口的數據對接機制，滿足了現場不同類型應用軟件系統的數據對接需求，滿足了各種第三方應用系統或數據庫對實時數據提取調用的要求。

參考文獻

[1]韓菲，謝光華，蔣能記，等.風城稠油處理站物聯網系統建設及應用[J].儀器儀表用戶，2016，23（1）：62-64+67.

[2]陸興，蔣能記，韓菲，等.采油廠物聯網實時數據平臺的設計及應用[J].信息系統工程，2019，309（9）：47-48.

[3]湯姆，趙金龍，楊帆.天行實時數據云平臺在油田生產狀況報警中的應用——以石西油田生產監控系統分析為例[J].信息系統工程，2020，318（6）：107-109.

[4]梁佩.實時數據采集系統方案設計與實現[D].成都：西南交通大學，2015.

[5]周國亮，朱永利，王桂蘭，等.實時大數據處理技術在狀態監測領域中的應用[J].電工技術學報，2014，29（S1）：432-437.

[6]黃恒君，漆威.海量半結構化數據采集、存儲及分析——基于實時空氣質量數據處理的實踐[J].統計研究，2014，31（5）：10-16.

作者單位：韓光、韓夢蝶，中國石油新疆油田分公司數據公司；蘭明菊，中國石油新疆油田分公司風城油田作業區