基于大數(shù)據(jù)云平臺的天然氣運營管理系統(tǒng)設計

許宜菲，梅玉杰，杜石存，梁洪弋，段芳斌

(1.新天綠色能源股份有限公司，河北 石家莊 050000； 2.中科星圖空間技術(shù)有限公司，陜西 西安 710100)

根據(jù)國家發(fā)改委、能源局發(fā)布的《中長期油氣管網(wǎng)規(guī)劃》，到2025年全國油氣管網(wǎng)將從12萬km發(fā)展到24萬km，倍增式增長對管道的安全和運營效率提出更高的要求。天然氣運營管理單位由于能源產(chǎn)業(yè)結(jié)構(gòu)升級、環(huán)保要求提升，管網(wǎng)規(guī)模增大和輸氣量增長，企業(yè)需要耗費大量人力物力用于生產(chǎn)數(shù)據(jù)的維護和更新，即便是這樣，數(shù)據(jù)準確性和對緊急情況下的快速反應能力仍然難以保障[1]，如何增值保值、快速、有效地利用這些數(shù)據(jù)，成為亟待需要的新課題，云計算、物聯(lián)網(wǎng)、大數(shù)據(jù)、移動應用等技術(shù)的興起，為這一課題的解決提供了技術(shù)資源。

天然氣管道在規(guī)劃、可行性研究、初步設計、施工圖設計、工程施工、投產(chǎn)、竣工驗收、運維、變更、報廢等整個生命周期中會產(chǎn)生各類數(shù)據(jù)[2]，這些數(shù)據(jù)具有以下特點：①非結(jié)構(gòu)化數(shù)據(jù)比例大，數(shù)據(jù)來源廣泛且分散：數(shù)據(jù)有來源于生產(chǎn)現(xiàn)場工業(yè)控制網(wǎng)絡的監(jiān)控數(shù)據(jù)，有來源于現(xiàn)有的信息化系統(tǒng)數(shù)據(jù)，也有來源于各生產(chǎn)運營子公司或合作商[3]；②數(shù)據(jù)相關性強，既存在關聯(lián)關系，也存在因果關系：天然氣大數(shù)據(jù)的產(chǎn)生和應用都圍繞管道全生命周期，數(shù)據(jù)之間存在很強的關聯(lián)性，并且分析準確性要求高[3]；③時空序列特性強，信息量大：數(shù)據(jù)來源于各信息化系統(tǒng)或傳感設備，具有產(chǎn)生頻率快、信息量大和穩(wěn)定性要求高等特點，需要采用可靠的數(shù)據(jù)采集、高效的數(shù)據(jù)存儲、快速的海量數(shù)據(jù)處理工具進行管理[3]；④面向天然氣運營管理領域，專業(yè)性強：數(shù)據(jù)需要解決面向信息化、智能化的全生命周期、故障檢測、健康預測等深層次分析和應用的問題[3]。

本設計將天然氣管道全生命周期中各類數(shù)據(jù)進行統(tǒng)一接入、集成并建立私有云平臺系統(tǒng)進行統(tǒng)一的數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)分享、數(shù)據(jù)檢索、數(shù)據(jù)分析、數(shù)據(jù)可視化展示[4]。在建立標準化業(yè)務規(guī)范和數(shù)字化信息庫的基礎上，系統(tǒng)以數(shù)據(jù)全面統(tǒng)一、感知交互可視、系統(tǒng)融合互聯(lián)、運行智能高效為特征，通過“端+云+大數(shù)據(jù)”體系架構(gòu)集成管網(wǎng)、場站全生命周期生產(chǎn)經(jīng)營數(shù)據(jù)，提供智能分析支持，用信息化手段實現(xiàn)燃氣板塊業(yè)務的可視化、集成化、智能化，具備全方位感知、綜合性展示、標準化管控的能力。

1 總體設計

1.1 架構(gòu)設計

需要對企業(yè)核心數(shù)據(jù)進行整合、管理并提供對外服務，需要保證引入數(shù)據(jù)的有效性、收益性及可擴展性[5]，這就需要對系統(tǒng)進行合理的架構(gòu)設計以滿足需求企業(yè)運營管理需求。本系統(tǒng)整體分為4個層次，即基礎設施層、數(shù)據(jù)匯聚傳輸層、數(shù)據(jù)中心層、平臺應用層，總體架構(gòu)如圖1所示。

圖1 系統(tǒng)總體架構(gòu)Fig.1 Overall system architecture

(1)基礎設施。基礎設施主要包含燃氣業(yè)務板塊下數(shù)據(jù)中心的底層數(shù)據(jù)采集、轉(zhuǎn)發(fā)服務器及相關操作系統(tǒng)、網(wǎng)絡安全通信設施、通信運營商專線等，為系統(tǒng)提供平臺底層基礎設施和功能保障。

(2)數(shù)據(jù)匯聚傳輸。數(shù)據(jù)匯聚傳輸基于不同的開發(fā)接口協(xié)議，采用統(tǒng)一的數(shù)據(jù)標準規(guī)范通過加密服務、SSL證書、DDoS防護、傳輸身份認證等安全措施，實現(xiàn)集成SCADA數(shù)據(jù)、生產(chǎn)經(jīng)營計劃各系統(tǒng)數(shù)據(jù)、服務資源及第三方數(shù)據(jù)的準確采集及安全轉(zhuǎn)發(fā)。數(shù)據(jù)匯聚傳輸形式可以是公司各信息化系統(tǒng)的數(shù)據(jù)庫，可以是各單位上報的報表，也可以是手工導入系統(tǒng)的公司歷史檔案數(shù)據(jù)。總之，凡是在公司生產(chǎn)經(jīng)營計劃管理中產(chǎn)生的數(shù)據(jù)，均能夠成為數(shù)據(jù)匯聚的組成部分。

(3)數(shù)據(jù)中心。在軟硬件基礎之上，構(gòu)建天然氣大數(shù)據(jù)云存儲與應用服務中心，提供大數(shù)據(jù)下的對象存儲、文件存儲，采用時空組織框架提供大數(shù)據(jù)展示與智能分析服務，為各類綜合應用提供平臺服務插件、功能服務插件、數(shù)據(jù)服務插件、接口開發(fā)插件、可視化展示插件、應用插件和二次開發(fā)工具，實現(xiàn)數(shù)據(jù)資源各核心業(yè)務數(shù)據(jù)集中管理，固化統(tǒng)一數(shù)據(jù)管理流程。數(shù)據(jù)中心通過企業(yè)服務總線(ESB)、主數(shù)據(jù)庫、主數(shù)據(jù)管理平臺的建設，實現(xiàn)多個業(yè)務系統(tǒng)數(shù)據(jù)統(tǒng)一共享，集中對核心業(yè)務數(shù)據(jù)進行清洗、脫敏等管理，最終以服務的形式把統(tǒng)一的、完整的、準確的數(shù)據(jù)分發(fā)給其他需要使用這些數(shù)據(jù)的業(yè)務系統(tǒng)。

(4)平臺應用。平臺應用包括：場站SCADA實時監(jiān)控展示、場站生產(chǎn)工藝流程組態(tài)展示、管網(wǎng)仿真數(shù)據(jù)可視化展示、氣源/用戶資源目錄展示、綜合報表展示、信息查詢定位、GIS可視化展示、生產(chǎn)經(jīng)營計劃指標體系展示、指標趨勢對比分析、場站二三維展示、數(shù)據(jù)挖掘二次開發(fā)、數(shù)據(jù)接口開發(fā)等功能，提供面向精益化管理決策，精準運營以及合作伙伴的各種智能化應用[5]。

1.2 拓撲結(jié)構(gòu)設計

天然氣運營管理系統(tǒng)需要接入生產(chǎn)運行、三維模型、地理信息等數(shù)據(jù)，需要向其他第三方系統(tǒng)提供數(shù)據(jù)，系統(tǒng)制定了標準化數(shù)據(jù)方案和數(shù)據(jù)管理權(quán)限，設計了統(tǒng)一的數(shù)據(jù)訪問接口，可根據(jù)不同的需求提供生產(chǎn)運行、三維模型、地理信息等數(shù)據(jù)，保證有效范圍內(nèi)數(shù)據(jù)的安全接入。同時規(guī)范了數(shù)據(jù)轉(zhuǎn)發(fā)、接入?yún)^(qū)域，用于接收和獲取天然氣廠商的運營管理數(shù)據(jù)。數(shù)據(jù)通過聯(lián)通專線接入運營系統(tǒng)中，具體網(wǎng)絡拓撲如圖2所示。

圖2 系統(tǒng)拓撲Fig.2 System topology

1.3 數(shù)據(jù)接口設計

系統(tǒng)從邏輯功能上可以抽象為數(shù)據(jù)采集、數(shù)據(jù)引接存儲、數(shù)據(jù)管理和數(shù)據(jù)展示3個部分。數(shù)據(jù)管理部分通過數(shù)據(jù)服務接口，向云平臺寫入或更新基礎空間信息數(shù)據(jù)。數(shù)據(jù)存儲部分向數(shù)據(jù)管理部分發(fā)送基礎數(shù)據(jù)，數(shù)據(jù)展示部分向數(shù)據(jù)管理部分請求數(shù)據(jù)，云平臺保持數(shù)據(jù)庫與其他數(shù)據(jù)庫之間消息與數(shù)據(jù)的同步，并通過地圖服務接口，為數(shù)據(jù)管理提供地圖服務。具體如圖3所示。

圖3 接口設計Fig.3 Interface design

1.4 功能設計

天然氣運營管理系統(tǒng)主要包含大數(shù)據(jù)云平臺、智慧綜合信息展示系統(tǒng)、協(xié)同管理駕駛艙建設等3部分內(nèi)容。

(1)大數(shù)據(jù)云平臺。大數(shù)據(jù)云平臺的核心與基礎，可引接物聯(lián)網(wǎng)平臺采集的各類型結(jié)構(gòu)化、半結(jié)構(gòu)化的海量數(shù)據(jù)，平臺采用分布式高速可靠數(shù)據(jù)采集、

高速數(shù)據(jù)全映像等大數(shù)據(jù)技術(shù)，采用高數(shù)據(jù)解析、轉(zhuǎn)換與裝載等大數(shù)據(jù)整合技術(shù)[6]。平臺滿足運營單位未來數(shù)據(jù)擴展與應用，建立起基礎支撐平臺，具體的組成結(jié)構(gòu)圖如圖4所示。

圖4 大數(shù)據(jù)云平臺組成結(jié)構(gòu)Fig.4 Composition diagram of big data cloud platform

大數(shù)據(jù)云平臺實現(xiàn)對數(shù)據(jù)的引接、治理、存儲、計算和分析，平臺按照滿足天然氣未來5年業(yè)務發(fā)展的需求設計，同時滿足大數(shù)據(jù)快速存儲及分析需求。①數(shù)據(jù)引接。要求單機吞吐高，數(shù)據(jù)記錄不丟、不重，在單點故障發(fā)生的情況下，不影響數(shù)據(jù)的持續(xù)接入。同時要求數(shù)據(jù)質(zhì)量治理在采集和接收“前端”完成，數(shù)據(jù)接收過程中逐條核查時序數(shù)據(jù)的質(zhì)量，避免“垃圾進—垃圾出”。 ②數(shù)據(jù)治理。數(shù)據(jù)治理實現(xiàn)對接入的數(shù)據(jù)進行格式轉(zhuǎn)換、數(shù)據(jù)過濾清洗、數(shù)據(jù)效驗核對等功能。③數(shù)據(jù)管理。數(shù)據(jù)管理主要包含數(shù)據(jù)瀏覽、數(shù)據(jù)標準化、生命周期管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理等功能。數(shù)據(jù)瀏覽提供圖形化的數(shù)據(jù)瀏覽展示，將總體的表數(shù)量及各子系統(tǒng)的數(shù)據(jù)量以圖表的形式直觀地展示出來；系統(tǒng)提供數(shù)據(jù)全生命周期的流動管理(包括從數(shù)據(jù)到數(shù)據(jù)過時被刪除)；數(shù)據(jù)質(zhì)量管理實現(xiàn)對數(shù)據(jù)從計劃、獲取、存儲、共享、維護、應用、失效全生命周期里可能引發(fā)的各類質(zhì)量問題進行識別、度量、監(jiān)控、預警，采集到數(shù)據(jù)中心的各類數(shù)據(jù)經(jīng)過質(zhì)量管理、標準化處理后，方可流入業(yè)務模型中。④數(shù)據(jù)存儲。數(shù)據(jù)存儲建立并存儲通過關聯(lián)規(guī)則和序列模式挖掘基于時間、空間、屬性和事件的多維關聯(lián)關系，實現(xiàn)數(shù)據(jù)資源管理、塑化劑更新管理、歷史數(shù)據(jù)數(shù)據(jù)管理及數(shù)據(jù)傳輸管理。⑤數(shù)據(jù)計算。基于實時接入能力和服務能力擴展的需要，在萬兆網(wǎng)絡、使用雙副本的條件下，對于高效模式單臺數(shù)據(jù)總線服務器支持的業(yè)務數(shù)據(jù)加載速度不低于300 Mb/s，可以線性擴展。對于可靠模式支持的業(yè)務數(shù)據(jù)加載速度不低于20 Mb/s，可以線性擴展。高效模式下數(shù)據(jù)允許有萬分之一以內(nèi)的丟失。可靠模式下加載數(shù)據(jù)要求與輸入數(shù)據(jù)一致。單集群支持的數(shù)據(jù)總線服務器總數(shù)不少于100臺。數(shù)據(jù)從輸入到訂閱者能夠訂閱到時延不高于1 s。⑥資產(chǎn)分析。資產(chǎn)分析通過圖、表等可視化的方式，直觀的對資產(chǎn)大數(shù)據(jù)進行統(tǒng)計分析。⑦安全管理。采用防火墻、防病毒軟件等保護工具，利用磁盤的RAID機制、容災備份、軟件服務主備自動切換、數(shù)據(jù)可備份與恢復、數(shù)據(jù)加密、數(shù)據(jù)脫敏等安全措施預防和解決系統(tǒng)或應用程序在使用過程中出現(xiàn)計算、傳輸數(shù)據(jù)泄漏或數(shù)據(jù)失竊等問題。⑧平臺管理。平臺管理是天然氣運營管理系統(tǒng)的運行管家，包括資源管理、業(yè)務監(jiān)控、平臺監(jiān)控、平臺用戶管理、權(quán)限管理、配置管理、日志管理等。

(2)智慧綜合信息展示系統(tǒng)。智慧綜合信息展示在大數(shù)據(jù)云平臺服務基礎上，形成以二維、三維綜合展示能力為主的信息顯示。系統(tǒng)需要具備良好的擴展能力和靈活部署能力，可以滿足不同用戶對天然氣生產(chǎn)運營的監(jiān)視需求。智慧綜合信息展示系統(tǒng)功能結(jié)構(gòu)如圖5所示。智慧綜合信息展示系統(tǒng)分大屏展示和PC端展示，大屏展示主視圖采用GIS二三維可視化展示手段，結(jié)合高分辨率衛(wèi)星影像數(shù)據(jù)、管網(wǎng)空間地理數(shù)據(jù)、生產(chǎn)經(jīng)營數(shù)據(jù)、SCADA歷史數(shù)據(jù)、實時數(shù)據(jù)、在線仿真數(shù)據(jù)、仿真預測數(shù)據(jù)、管道巡檢數(shù)據(jù)、設備完好率數(shù)據(jù)，通過多維度的監(jiān)控，直觀顯示用戶關注的所有重要數(shù)據(jù)，實現(xiàn)對管網(wǎng)的溫度、壓力、流量、管存量等燃氣大數(shù)據(jù)的綜合展示與監(jiān)控，使調(diào)度員快速掌握管網(wǎng)過去、現(xiàn)在、未來的運行情況。

圖5 綜合信息展示功能結(jié)構(gòu)Fig.5 Composition diagram of integrated information presentation

(3)協(xié)同管理駕駛艙建設。協(xié)同管理駕駛艙作為本系統(tǒng)的頂層設計，滿足管理生產(chǎn)、經(jīng)營的建設需求，是推倒產(chǎn)生“信息孤島”的部門墻，搭接貫通“信息群島”的業(yè)務橋[7]。云平臺系統(tǒng)單獨開發(fā)數(shù)據(jù)接口為其提供需求數(shù)據(jù)，并保證數(shù)據(jù)傳輸準確性、完整性、及時性。為滿足數(shù)據(jù)與管理駕駛艙的共享和交換，建立統(tǒng)一的數(shù)據(jù)交換平臺，統(tǒng)一協(xié)議，統(tǒng)一接口對外提供數(shù)據(jù)交換。主要是建設統(tǒng)一接口的數(shù)據(jù)交換服務平臺，包含基本數(shù)據(jù)和GIS數(shù)據(jù)以及其他數(shù)據(jù)。①建設統(tǒng)一接口數(shù)據(jù)交換服務，以燃氣基本模塊數(shù)據(jù)為基準，統(tǒng)一接口服務的協(xié)議和標準，數(shù)據(jù)協(xié)議采用http協(xié)議，報文交換采用JSON格式。②建設統(tǒng)一接口數(shù)據(jù)交換服務，GIS數(shù)據(jù)根據(jù)項目需要可通過統(tǒng)一服務和矢量數(shù)據(jù)的形式統(tǒng)一對外提供。③建設統(tǒng)一接口數(shù)據(jù)交換服務，其他數(shù)據(jù)(三維模型)可根據(jù)與其他廠商協(xié)調(diào)溝通的方式統(tǒng)一轉(zhuǎn)化和處理[8]。

3 結(jié)語

天然氣運營管理系統(tǒng)以大數(shù)據(jù)云平臺為中心，通過多維度，多角度對天然氣管道全生命周期中的各類生產(chǎn)經(jīng)營、仿真、SCADA等數(shù)據(jù)進行挖掘、分析、統(tǒng)計，結(jié)合三維GIS地理信息手段、站場、閥室二三維模型進行展示，打通了應用系統(tǒng)的信息孤島模式，滿足了企業(yè)對燃氣板塊的數(shù)據(jù)接入要求，提高了企業(yè)對不同設備收集的海量信息進行梳理的能力，提升了企業(yè)信息系統(tǒng)的計算能力和數(shù)據(jù)消化能力，實現(xiàn)了對天然氣運營數(shù)據(jù)的實時而有針對性的分析，對企業(yè)的研發(fā)、運營和管理方式進行智能化創(chuàng)新，實現(xiàn)了信息流、知識流、服務流的高度集成與融合，使得企業(yè)持續(xù)創(chuàng)新，并不斷開發(fā)新業(yè)務、新服務。