天然氣儲氣調峰大數據信息平臺構建

胡 堯 何 沙 韓群群 鐘 虹 王 好

西南石油大學經濟管理學院

0 引言

2017年國內冬季天然氣供應緊張現象（“氣荒”）直接影響了民生和國民經濟的發展。“氣荒”的直接原因是“藍天保衛戰”中“煤改氣”的快速推進、我國天然氣進口某主要來源國的不可控因素以及我國天然氣消費量的階梯式增長，但其深層次原因則在于：①我國缺乏有效的手段方法對天然氣供需態勢進行預判，應對能力相對滯后；②中游基礎設施（輸送管網、儲氣設施和LNG接收站）建設滯后[1-2]，天然氣儲氣調峰資源未實現最優化利用；③政府以及油氣企業相互間協調能力較低等。因此。我國急需尋求有效的方法以解決上述問題。從長期發展規劃中不斷增加供給比例，加大天然氣開發力度與加快儲氣調峰設施的建設是第一選擇，而中短期規劃中如何整合利用現有儲氣調峰資源以應對天然氣短缺現象則是當務之急。

2015年3月，李克強總理在政府工作報告中提出制定“互聯網＋”行動計劃，推動移動互聯網、云計算、大數據等與現代制造業的結合[3]，大數據的應用正引領創新驅動推動我國高質量發展。天然氣生產、進口、儲存、運輸與消費的過程中會不斷產生體量巨大的數據，借助于同時日趨成熟的大數據技術，建立天然氣儲氣調峰平臺以應對天然氣短缺現象，具有重要的現實意義。

1 相關概念界定

1.1 大數據技術

大數據又稱超量數據，通常所涉及的數據規模巨大，利用新處理模式實現收集、儲存、分析與應用的信息資產[4]。大數據技術是利用數據分布式集成模型，將大數據隱藏關聯信息進行高效快速地提取、分析與應用[5]。當前各行各業的發展都與大數據技術密切相關，例如何偉等[6]將地災監測與大數據技術進行融合，構建了大數據信息平臺，提高了地震監測預警能力；馬麗梅等[7]將大數據技術成功運用到鐵路交通行業中，通過構建大數據關鍵技術平臺，提升了貨物的運輸能力與安全管控水平。

大數據技術是大數據處理全過程的基礎支撐，包括以下技術。

1.1.1 大數據采集技術

數據的采集指利用數據庫將網絡、傳感器等方式形成的各種數據由系統外部輸送到系統內部的接口[8]。天然氣數據的來源十分廣泛，包括以天然氣開采與進口為主的生產數據、以儲氣調峰設施為主的儲存數據、以管網與槽車為主的運輸數據以及以工業用戶與居民用戶為主的消費數據等。這些數據的來源主要通過現場數據監測系統不間斷傳輸進入油氣企業數據庫中，可采用Hive數據采集框架Flume進行數據的采集，Flume是建立數據庫的基礎構架，其提供了一系列的工具進行數據的有效采集。

1.1.2 大數據預處理技術

天然氣有關數據為非結構化數據，包括所有格式的辦公文檔、文本、圖片、標準通用標記語言下的子集XML、HTML、各類報表、圖像和音頻、視頻等信息，體現了大數據種類與來源的多樣性，數據參雜了噪音和干擾項，給數據的分析處理帶來一定的難度，需經過數據預處理這一環節，一方面將非結構化數據轉化為結構化數據，另一方面將數據進行“凈化”，提高數據的可靠度[9]。可以采用Mediator/Wrapper技術，由包裝器Wrapper與中間器mediator構成，利用中介模式特點，將數據源進行包裝與封裝，轉化為能提供一致訪問的中介數據形式[10]。

1.1.3 大數據分布式存儲技術

超量的數據無法通過傳統的集中式進行儲存，需要利用分布式儲存技術，考慮到天然氣有關數據的繁雜性和多元化，可采用Hadoop分布式文件系統技術（HDFS），利用高容錯性與高吞吐量的特點，采用可擴展的系統結構，通過儲存服務器的分擔能力與服務器定位存儲能力將超量數據進行分類、分區儲存[11]。

1.1.4 大數據挖掘分析技術

天然氣儲氣調峰平臺的核心是挖掘出天然氣相關數據中隱藏的關聯信息，為解決天然氣短缺現象提供決策輔助方案，因此需要利用大數據挖掘分析技術，依托各類算法模型，對儲存的各類數據進行分析，進而得到預估的結果[12]。可以采用由谷歌公司設計的MapReduce技術[13]，運用并列式數據處理模式，通過“Map”分解能力與“Reduce”合并處置能力為數據挖掘和分析提供技術支撐。

1.1.5 大數據解釋技術

大數據分析結果由各類抽象數據組成，而天然氣儲氣調峰平臺的終端使用者為平臺決策人員，如何有效地將抽象數據轉換為文字圖像的形式展示給決策人員，需要利用大數據解釋技術提供平臺技術支撐，本文主要采用可視化技術和GIS技術。可視化技術是指通過計算機圖形學和圖像處置技術，把數據調整為圖形或者圖像通過屏幕展示出來，并給予交互處置的理論和方式[14]。GIS技術又被稱為地理信息系統技術，以地理空間為基礎，通過地理分析模型，不但能夠提供具備空間性質的天然氣資源地理信息[15-16]，而且能夠對不同階段的天然氣資源情況和生產運輸消費變動給予動態監測與解析對比，為解決資源調度問題及保障可持續供應提供技術支持。

1.2 大數據背景下天然氣儲氣調峰平臺定義

筆者結合天然氣儲氣調峰、相關平臺與大數據技術的相關定義，提出了天然氣儲氣調峰大數據信息平臺定義，即以國家發布的法律、政策、規范等有關文件為依據，以天然氣決策部門為指揮中心，利用互聯網傳輸途徑，以天然氣生產、進口、儲存、運輸、調峰、消費過程為主線，基于大數據收集、預處理、儲存、分析及應用5大技術，實現軟件設計與硬件工具支撐的天然氣儲氣調峰保障系統[17]。該平臺能夠提供數據匯聚、信息展示、預警通知、輔助恢復等功能，可為決策者提供全面的信息支持以應對天然氣短缺現象。

2 天然氣儲氣調峰平臺框架設計

要構建天然氣儲氣調峰大數據信息平臺，實現對天然氣短缺現象的監測、預警、處置等全過程動態管理和控制。依托大數據技術，通過主體體系構建與總體框架，從以下兩個方面進行設計，建立三級天然氣儲氣調峰平臺。

2.1 平臺主體體系構建

根據《加快儲氣設施建設和完善儲氣調峰輔助服務市場機制的意見》要求，明確政府與企業的責任和義務，因此平臺主體對象包括國家、省級（包括省、自治區、直轄市，下同）政府以及企業三級層面，構建以國家總平臺為第一層，省級平臺為中間層，企業平臺為基礎層的三位一體化儲氣調峰平臺體系（圖1）。其中國家儲氣調峰總平臺負責全國儲氣調峰工作，管理全國所有調峰資源；省級儲氣調峰平臺負責省、自治區、直轄市的儲氣調峰工作，受國家級儲氣調峰總平臺的統一指揮；企業調峰設施平臺負責本企業儲氣調峰工作，受省級儲氣調峰平臺的指揮，儲氣調峰設施由企業所屬，包括儲氣庫、管網、氣田、LNG接氣站與LNG儲罐等。

圖1 儲氣調峰平臺體系結構圖

三級平臺整體運行的模式與工作流程是相同的，只是管理區域與職能權力不同。國家級總平臺、省級平臺與企業級平臺之間實行縱向信息互聯互通，企業調峰設施間實現平行信息共享，當發生天然氣短缺現象時，平臺間可及時獲取相關信息，并充分利用各種調峰資源力量，進行處置及恢復。

2.2 天然氣儲氣調峰平臺總體框架

從儲氣調峰過程中信息流動的全過程出發，基于儲氣調峰平臺體系結構，結合大數據技術特點，構建天然氣儲氣調峰平臺框架，框架主體由5個部分組成，即資源收集層、數據凈化層、信息儲存層、分析指導層與可視應用層[18]（圖2）。

2.2.1 資源收集層

資源收集層作為整個儲氣調峰平臺的第一層，提供天然氣相關信息的收集。天然氣相關信息包含基本數據、專題數據、歷史數據、監測數據、實時數據與突發性數據6大數據源。所有的數據匯集于各企業的數據庫中，因此可通過Hive數據采集框架Flume從企業數據庫中獲取[18]。

1）基本數據：指天然氣儲氣調峰設施基本的信息情況，包括儲氣庫、氣田、LNG接氣站等儲氣調峰設施區域分布，數量情況、儲存狀況等多方面的數據。

2）專題數據：主要指天然氣短缺應急預案資料、應急處置情況、恢復演練信息以及天然氣調峰專家資料等相關專題數據。

3）歷史數據：指以往相同或者接近的國內乃至國際天然氣儲氣調峰數據。

4）監測數據：針對包括地下儲氣庫、管網、氣田、LNG接氣站以及LNG儲罐等基礎調峰設施，利用各種數據監測設備，收集天然氣儲存量、流量、壓力、溫度、濕度等數據。

圖2 天然氣儲氣調峰平臺框架圖

5）實時數據：指天然氣收集、運輸乃至儲存過程中人為登記的有關數據，包含過程登記、作業日記、監測登記、會議記錄等。

6）突發性數據：指天然氣短缺現象發生前、發生時、發生后三維梯度下產生的突變信息數據。

2.2.2 數據凈化層

數據凈化層主要對數據進行凈化處理，將通過上述6大數據源收集到的異構數據運用Mediator/Wrapper技術進行辨識處理，對數據反復篩選，去掉多余的、內容關聯不大的數據，填補存在格式缺陷的數據，把構成的文字、聲音、視頻數據模型轉變為計算機系統可辨識的通用模型，同時把相似的二維碼數據源包裝器給予封裝處理，構成規范化數據塊，傳輸到信息儲存層[18]。

2.2.3 信息儲存層

信息儲存層是把凈化后的數據在平臺上進行分類儲放保存，將分布式儲存區域命名為“庫”，利用Hadoop分布式文件系統技術（HDFS）將凈化后的數據按照各自種類特征分層級分區域地放置于各自“庫”中。該層包括5大儲存信息庫。

1）基礎數據庫：主要存放優化后的基本數據與專題數據，包括區域分布信息，數量狀態情況、儲存狀況等一系列調峰設施基礎信息、天然氣短缺應急預案信息、天然氣調峰相關專家資料、應急恢復配置狀況、應急恢復演練信息等。

2）實時監測數據庫：主要存放優化后的監測數據，包括天然氣儲存量、流量、壓力、溫度、濕度等數據。

3）歷史數據庫：主要存放過往同類型或全球天然氣儲氣調峰產生的類似性數據。

4）應急決策支持庫：主要提供天然氣產供儲銷動態計算模式、天然氣短缺風險等級評估模型等應急決策支持基礎算法。

5）突發事件信息庫：主要存放天然氣短缺現象發生前、發生時、發生后三梯度下產生的信息數據，可為視頻、文字、聲音等內容。

2.2.4 分析指導層

分析指導層在天然氣儲氣調峰平臺中占據核心地位，一方面，其對信息存儲層中體量巨大的信息資源進行提取分析，尋找信息與信息間的相互隱藏關系；另一方面，其是信息可視應用的基礎和依據，主要作用在于能為解決天然氣短缺現象提供指導意見。這是大數據技術獨有的計算優勢，將大量不同類型的信息進行提取、相互整合后提煉出關鍵信息，通過大數據技術分析提出天然氣突發性短缺應急恢復參考意見。

采用大數據技術中具有較強處理能力的MapReduce技術，在5大信息庫中設立處理節點，同步式進行數據分析和挖掘，提高數據資源的處理效率，提煉數據間的隱藏聯系。數據的分析挖掘主要考慮以下兩種情況：①未發生天然氣短缺現象的日常情況。通過MapReduce技術預測估算出天然氣短缺現象的發生概率、發生地區與導致的供氣缺口量。②發生突發事件的特殊情況。通過MapReduce技術在短時間內進行分析識別，提供應急恢復參考意見，其中應急恢復參考意見包括供氣缺口量的走勢、相關專家人員名單、可采用的儲氣調峰設施、國家、省級政府與企業等相關負責部門機構的應急恢復基本情況[18]。

2.2.5 可視應用層

可視應用層是儲氣調峰平臺中人機交流界面，分析指導層傳遞的價值信息通過大數據可視化技術形成圖像、圖形等可辨識形式與GIS地理技術精準定位能力在顯示屏中進行直觀顯示。顯示內容包括3個方面：預警通知、信息展示和輔助恢復。

1）預警通知：以天然氣短缺量的情況和覆蓋地區為參考，設置預警等級，確定報警閾值，利用報警系統自動通知與等級相匹配的天然氣儲氣調峰平臺，根據缺口等級大小，分別對應通知國家級儲氣調峰平臺、省級儲氣調峰平臺與企業間儲氣調峰平臺。

2）信息展示：主要指將分析指導層傳遞的天然氣缺口氣量、可調度的儲氣調峰設施狀況以及缺氣地區生產與生活狀況等信息通過大數據可視化技術的人機交互界面進行展示，為決策指揮人員應對天然氣短缺事件提供決策依據；同時展示的圖形圖像等信息會根據現場狀況不間斷地更新變化，力求提供最真實的情況。

3）輔助恢復：通過GIS地理技術提供天然氣短缺區域就近地下儲氣庫、管網天然氣、LNG接氣站及儲罐等應急資源位置關系，并提供天然氣管網、槽車等運輸工具的優化調度方案供決策人員參考，此外，對該地區天然氣缺口氣量給予及時監測，追蹤現場狀況，及時變更應急恢復最優調整方案意見。

3 天然氣儲氣調峰平臺情景構建

“情景構建”是一種結合事故案例、工程技術模擬，對事件發生進行全景式描述的方法。根據天然氣大規模短缺現象形成的過程，選擇2017年由天然氣短缺現象演變為供氣緊張（“氣荒”）事件為此次情景構建的原型，利用“空白對照”理論進行情景構建。

空白原型描述：隨著2016年“藍天保衛戰”政策實施，“氣代煤”工作已經在我國北方地區逐步開展，2017年1月土庫曼斯坦以“設備維修”為理由，減少了管道天然氣的進口量，2017年9月國內天然氣市場競價情況火爆，2017年11月河北省率先拉響天然氣供應橙色預警，開始限氣、停氣。同年12月上旬，供氣緊張從華北蔓延到華東地區，到2017年12月底，進一步蔓延到西南地區，從而形成了2017年全國性“氣荒”現象[19]（表1）。

表1 天然氣短缺演變 氣荒 事件情景信息表

根據“氣荒”的演變過程，可以看出，整個過程經歷初始、顯現、蔓延與形成階段，形成由點到面的多米諾效應，首先引發供需失衡的是企業，接著蔓延到各省份地區，最后擴散至全國。整個過程發展迅速，當前我國的調峰能力不足以應對天然氣短缺演變的“氣荒”事件，因此引入天然氣儲氣調峰三級平臺進行情景模擬（圖3）。

天然氣開采、進口、輸送、儲存與消費的過程中會產生大數據，通過Hive數據采集框架Flume進行數據的不間斷收集，并利用Mediator/Wrapper大數據技術進行非結構化數據或半結構化數據的凈化，將凈化后的數據保存在國家級、省級及企業級儲氣調峰平臺信息儲存層中，采用大數據HDFS技術進行辨識并分類儲存。

2016—2017年1月，天然氣供需矛盾初顯，隨著“藍天保衛戰”政策的實施與“氣代煤”工作的開展以及土庫曼斯坦減少供應，企業調峰平臺分析指導層中的MapReduce技術對上中游生產、供氣企業供應量突然減少，下游燃氣企業需求量逐步增加進行信息關聯與判別分析，將分析結果傳遞到可視應用層，進行企業預警通知，并將天然氣缺口氣量、企業儲氣調峰設施狀況以及可調度的調峰氣量等終端信息通過大數據可視化技術的人機交互界面，以圖像文字的形式出現在計算機顯示屏，利用地理信息系統技術（GIS技術）提供企業內部調峰設施最佳調度方案，給企業決策者提供一定的指導與參考，并將具體情況反饋給省級平臺，供省級有關部門對“藍天保衛戰”政策的實施與“氣代煤”工作的下一步安排，在基礎層面應對天然氣短缺問題。

圖3 情景模擬流程圖

2017年2—10月，天然氣供需矛盾進一步凸顯，天然氣市場競價情況火爆，企業需要大量購入天然氣才能滿足工業生產與居民生活的需要，企業調峰平臺已經無法通過自身能力解決天然氣短缺現象，企業平臺將當前天然氣缺口氣量等突發性信息上傳至省級調峰平臺，省級調峰平臺開始運作，采用相同的大數據技術運行機理，將省內天然氣缺口量、可調峰氣量、調峰設施情況以及最優調度方案等相關信息傳遞給省級有關部門，供省級決策者參考使用，并將具體情況反饋給國家總平臺，供國家有關部門指定下一步的工作安排，在中間層面應對天然氣短缺問題。

2017年11—12月，天然氣供需矛盾完全呈現，隨著河北省率先拉響天然氣供應橙色預警，河南省省級調峰平臺無法利用省級調峰能力去解決天然氣短缺現象，省級調峰平臺將當前省內天然氣缺口氣量等突發性信息上傳至國家級調峰總平臺，國家級調峰總平臺開始運作，向國家能源部門提供全國可余調峰氣量、全國調峰設施資源狀況，調峰資源最優調度路徑、可參考應急預案等相關信息。國家能源部門有關決策者根據有關信息指揮各省級管理部門、儲氣調峰設施所屬企業開展應對工作，同時將應對信息通過企業平臺、省級平臺上傳至國家級總平臺，國家級總平臺根據反饋信息進行動態調整。通過一系列的循環式信息處理，最大化地降低天然氣短缺造成的蔓延影響，防止各省份的缺口出現進一步蔓延，造成更嚴重的“氣荒”現象。

4 結論

1）結合我國《加快儲氣設施建設和完善儲氣調峰輔助服務市場機制的意見》等政策意見的要求，構建了“國家級、省級、企業級”三主體儲氣調峰平臺體系，將政府職能與企業能力進行無縫銜接，充分調動政府與企業相互間的協調能力。

2）基于大數據處理過程與大數據技術特點，設計了“資源收集層、數據凈化層、信息儲存層、分析指導層與可視應用層”五層面天然氣儲氣調峰平臺總體框架，實現了對天然氣供需狀況與態勢的有效預判和儲氣調峰資源的優化利用。

3）將2017年“氣荒”事件形成過程分解為初始、顯現、蔓延與形成4個階段，利用“空白對照”理論進行了情景構建，模擬了企業平臺、省級平臺、國家總平臺各層級應對天然氣短缺現象的處理過程。