中國能源大數據獲取分析機制研究及實現

鄭曉東， 胡漢輝， 趙林度， 黃建城

(1.東南大學 經濟管理學院，江蘇 南京 211189；2.江蘇省電力設計院，江蘇 南京 211102)

中國能源大數據獲取分析機制研究及實現

鄭曉東1,2， 胡漢輝1， 趙林度1， 黃建城2

(1.東南大學 經濟管理學院，江蘇 南京 211189；2.江蘇省電力設計院，江蘇 南京 211102)

借助信息系統的建設和智能傳感技術的深入應用，能源行業采集了體量巨大、結構復雜的能源大數據，蘊含著極高的經濟利益和社會效益，對能源行業的業務開展、管理提升、輔助決策等具有重要意義。基于能源行業的發展規律與方向，結合互聯網大數據理論，梳理了能源大數據多源采集、管理、分析流程，提出了能源大數據獲取分析機制和算法，在此基礎上構建了能源大數據規劃研究系統架構，并通過江蘇能源規劃研究平臺進行了實證。結果表明，基于能源大數據獲取分析機制和算法的江蘇能源規劃平臺能夠有效應用于實際生產，挖掘有效信息，支撐綜合分析和輔助科學決策。

能源大數據； 大數據采集； 大數據存儲； 大數據分析； 數據挖掘

0 引言

借助互聯網+、信息化和智能傳感等先進技術的深入應用，煤炭、石油、天然氣、電力等能源領域數據及人口、地理、氣象等其他領域數據正以高復合增長率快速膨脹[1-3]，這些多源異構的海量數據共同構成了能源大數據。利用能源大數據，人們可以掌握更加豐富詳實的實時信息、歷史信息，進行時間跨度更大、涉及業務范圍更廣的綜合分析，以輔助更優決策。例如，為克服新能源出力不穩的缺點，提高對新能源預測的準確度，人們需要充分考慮天氣、氣象等因素(如溫度、氣壓、濕度、降雨量、風向、風力等變量)，進行綜合分析[4]。但是，現有的數據管理方式、數據分析方法難以支撐如此大量、復雜且快速增長數據的存儲、管理與分析[5-6]。因此，急需引入能源大數據獲取分析機制，以滿足能源及電力行業各階段不同的應用需求，加強信息數據采集、存儲、加工、處理和分析全價值鏈的處理能力，為管理提升、優化整合、輔助決策及服務轉型提供技術支撐。

本文基于能源行業的發展規律，利用互聯網大數據理論，研究能源大數據獲取分析機制，梳理能源大數據采集、管理、分析流程，構建能源大數據規劃系統架構，并通過江蘇能源規劃研究平臺進行實證。

1 能源大數據特征

能源大數據以“4V”為其典型特征，即體量大(Volume)、類型多(Variaty)、速度快(Velocity)和價值高(Value)。

(1)體量大：體量大是能源大數據的重要特征。隨著信息化的快速發展和智能電力系統的全面建成，電力設備產生了大量的運營數據。同時，與電力存在能源轉化和互通互動的供熱系統、供冷系統、燃氣系統、交通系統的數據都被納入到能源大數據體系中，這進一步增加了能源大數據的數據規模[4]。

(2)類型多：能源大數據涉及結構化數據、半結構化數據和非結構化數據[6]。隨著信息傳播技術、多媒體技術的發展以及可視化功能在能源管理系統的普及，圖像、音頻、視頻等非結構化數據在能源數據中的占比逐漸加大。此外，能源大數據應用過程中還需要大量的環境數據、經濟數據等進行關聯分析，這些都直接導致了數據類型的增多，從而極大地增加了能源大數據的復雜度。

(3)速度快：主要是指對能源數據采集、處理、分析速度的要求。能源大數據中包含著很多實時性數據，數據的分析結果也往往具有實時性要求，這需要能源管理系統有較快的響應速度和強大的數據處理分析能力[4]。

(4)價值高：能源大數據涵蓋能源生產、配送、轉換、交易和消費的方方面面，利用大數據技術挖掘有效信息，可以用于科學分析、預測、管理及規劃，取得巨大的經濟效益、社會效益和環境效益。

2 能源大數據獲取分析機制

為充分挖掘能源大數據的有效信息，推動開展綜合分析與合理預測，大力支撐科學規劃與優化決策，需要研究并建立能源大數據獲取分析機制。能源大數據獲取分析流程主要包括數據采集與融合、數據存儲與管理、數據分析與挖掘三個部分，三者緊密相連，層層遞進，共同支撐起能源大數據的規劃研究工作，流程圖如圖1所示。

圖1 能源大數據獲取分析流程

2.1能源大數據采集與融合

多源數據的集成技術是能源大數據獲取機制的核心技術。能源大數據不僅包含能源類數據，還包含了大量其他類別的結構化/非結構化數據，如資源環境、經濟社會數據等。因此，能源大數據的集成需要綜合考慮多源數據的數據來源、采集方式和采集內容。具體而言，能源大數據的采集與融合主要包括如下內容：

(1)借助綜合感知設備采集能源數據，包括燃氣網、熱力網、電網等來源的信息，如儲能、微燃機、空氣源熱泵、太陽能熱、生物質能、電動汽車充電樁等信息[7]。

(2)從電力運行、管理系統集成能源類數據，包括調度自動化系統、配網自動化系統、用電管理系統、智能電表AMI、地理信息系統GIS等[7]。

(3)從外部系統采集的能源相關數據，主要包括從統計部門網站和數據庫采集的宏觀經濟數據、從氣象部門網站和數據庫采集的氣候氣象數據、從政府部門網站和數據庫采集的相關法律法規數據。

(4)多源數據的采集可能會引發數據種類交叉、數據冗余、數據不一致等問題。這就需要通過制定數據校驗與清洗規則，建立數據價值評估體系，從而消除多領域跨部門之間的數據孤島與藩籬，解決多源數據沖突的矛盾[6]。

2.2能源大數據存儲與管理

高效、可靠、低成本的存儲與管理模式是能源大數據的關鍵技術之一，更是進行后續深度挖掘、科學分析的基礎和保障。能源大數據的存儲與管理，軟件層面要能存儲結構化數據、半結構化數據、非結構化數據，硬件層面則需要合理利用底層的物理設備性能，滿足上層應用對存儲性能和可靠性的要求。最適合的方式是采用分布式文件系統和分布式數據庫。

(1)分布式文件系統：分布式文件系統向用戶提供底層的數據存儲與管理功能，用戶可以將數據存放在分布式文件系統中，并可對其進行讀、寫、編輯、刪除等操作。與傳統的文件系統不同的是，分布式文件系統存儲的資源并非集中在單一的主機或服務器上，而是分散在一個網絡中，文件通過層級結構和統一的視圖在用戶之間共享。

主流的分布式文件系統有GFS和HDFS。GFS是Google公司為存儲海量搜索數據而設計的一個可拓展的分布式文件系統，它可以被部署在由廉價的普通硬件組成的集群上，通過容錯功能為用戶提供高效、可靠的服務。HDFS是Apache基金會對GFS的編程實現，已發展成為Apache的核心開源項目。GFS和HDFS的架構遵從主/從框架體系，主服務器作為管理節點，保存系統的元數據，并負責整個文件系統的管理；數據服務器負責具體的數據存儲和讀寫操作，數據被劃分后以數據塊的形式存儲在不同的數據服務器上。主服務器和數據服務器之間通過心跳機制保持聯系，并不進行數據傳輸。這種設計大大降低了主服務器的負載，提高了系統的穩定性和可拓展性。

(2)分布式數據庫：分布式數據庫的基本思想是將數據庫管理系統的完整拷貝副本，或者部分拷貝副本放置在不同的主機上并在主機上建立自己局部的數據庫。將這些分散的主機通過網絡進行連接，共同組成一個完整的、全局的、邏輯上集中、物理上分布的大型數據庫。

分布式數據庫的種類繁多，主流的分布式數據庫有MySQL、Oracle、SQL Server、MongoDB、BigTable、HBase等。其中，MySQL、Oracle和SQL Server是行導向的數據存儲系統，是傳統關系型數據庫管理系統在分布式環境上的應用；MongoDB是文檔導向的數據存儲系統，其具有廣泛的適用性，可運行在Linux、Windows或OS X平臺；BigTable和HBase是列導向的數據存儲系統，這類數據庫十分適合批量數據處理和即時查詢。

能源大數據包含的數據結構復雜、種類繁多，能源領域不同業務的數據需求方面差異也較大。因此，需要全面考慮數據量、存儲模型、讀寫頻度、響應時間等因素，結合大數據存儲技術，建立能源大數據的綜合存儲體系，進行數據優化管理。結構化數據可采用行式數據庫進行存儲，非結構化數據可采用HDFS等分布式文件系統進行存儲，半結構化數據可采用列式數據庫進行存儲。

2.3能源大數據分析與挖掘

能源大數據的分析與挖掘是發掘數據價值、支撐優化分析、輔助科學決策的關鍵技術。對于規模巨大、結構復雜、變化迅速、價值稀疏的能源大數據，其處理亦面臨計算復雜度高、任務周期長、實時性要求高等難題。為解決這些難題，不僅要引入互聯網大數據處理技術來加強數據計算與處理能力，更需要立足能源系統業務需求，梳理分析能源行業工作特色，拓展創新能源領域的應用方向。

(1)大數據分析技術

能源大數據的深度加工和有效表達需要借助專業的統計分析工具，主流的大數據分析方法有：遺傳算法[8]、神經網絡[9]、回歸分析[10]、空間分析[11]、時間序列分析[12]等。

(2)能源大數據應用方向

數據采集與監視控制：以電力系統自動化的實時數據為基礎，采用分布式控制框架，建立電力自動化監控體系，對現場的運行設備進行監視和控制，實現數據采集、設備控制、測量、參數調節以及各類信號報警等功能。

能源供需預測：從已知的經濟、社會發展和能源(電力)需求情況出發，通過對歷史數據的分析和研究，探索事物之間的內在聯系和發展變化規律，以未來年份經濟、社會發展情況的預測結果為依據，對能源(電力)需求作出預先估計和推測，是能源項目研究、規劃、建設的基礎。

能源(電力)規劃：研究整個電力系統中各個電站如何配合運轉、供電條件在年、月、日中的變化情況以及各發電廠機組進行年計劃檢修的時間安排和負擔全系統負荷備用、事故備用等情況，根據系統負荷要求對已建成的和正在規劃、設計中的水、火及新能源電站的容量和發電量進行合理安排，使他們在規定的設計負荷水平年中達到容量和電量的全面平衡。

智能電網分析：融合地理信息數據與電網數據，將不同區域、不同年份、不同類型的電網數據整合到地圖中進行直觀展示，在給定電力系統網絡拓撲、元件參數和發電、負荷參量條件下，計算有功功率、無功功率及電壓在電力網中的分布，并將計算結果顯示在電網圖中，以此檢驗電網規劃方案的可行性、科學性，輔助分析決策。

3 能源大數據平臺建設

江蘇省能源規劃研究中心設在江蘇省電力設計院，負責開展江蘇省能源發展戰略、規劃和政策研究，新技術研究及推廣，能源信息收集及分析以及能源項目咨詢和評估等工作。為了充分利用上述能源大數據獲取分析機制指導能源規劃研究工作，提升能源系統智能化、信息化水平，江蘇院聯合軟件商建設了江蘇能源規劃研究平臺，該平臺與國家能源局現有相關系統原理一致，模型真實、算法權威，技術先進。

3.1總體設計

江蘇能源規劃研究平臺將接入國內外商業數據資源，尤其是江蘇能源信息，同時集成江蘇院已有信息資源，實現各類能源數據信息的整合管理，支持各類分析、規劃研究業務的開展。基于上述能源大數據獲取分析機制，平臺總體架構如圖2所示。

(1)基礎設施層：通過VMWare虛擬化平臺抽象成計算資源、存儲資源、網絡資源來進行靈活擴展、統一管理、對外提供透明的服務。

(2)數據采集層：主要銜接院內已有信息系統與外部各類信息來源，形成數據采集機制，依據不同的數據來源通過數據抓取、系統接入等多種方式完成數據采集錄入。

(3)數據存儲層：主要承載系統涵蓋的所有數據，主要利用分布式的存儲系統與文件系統，實現對各類結構化與非結構化數據的存儲與管理，非結構化數據采用HDFS分布式文件系統存儲，結構化數據采用分布式數據庫存儲，并建立數據倉庫。

圖2 平臺總體架構

(4)數據處理與分析層：實現對各類數據的統一管理，涵蓋數據抽取/清洗/轉換并接入，同時利用大數據的流式、分布式、內存計算能力，依據平臺需要的分析功能，構建出各類數據挖掘模型，同時提供各類統計分析功能支撐。

(5)平臺服務層：服務層主要將本平臺的基礎功能以REST風格的Web服務發布，包含數據可視化、規劃仿真、數據分析、數據管理等。

(6)平臺管控層：平臺管控層主要提供負載均衡、狀態監控、故障告警等管控功能，確保平臺的穩定運行。

(7)平臺應用層：涵蓋平臺的能源信息、能源項目、負荷預測、電力平衡、新能源消納、電網分析等應用模塊。能源信息與能源項目實現各類數據接入、采集，并對數據進行清洗、整合，形成最全面的規劃研究指標體系，為平臺提供基礎數據支撐。負荷預測、電力平衡、新能源消納、電網分析作為系統專業研究模塊，能夠對接不同專業仿真計算模型，實現科學的規劃研究，具體平臺功能架構如圖3所示。

圖3 平臺功能架構

3.2建設內容

(1)能源基礎信息管理：江蘇能源規劃研究平臺充分考慮了能源大數據的復雜性和多樣性。平臺建立了穩固的信息采集渠道，廣泛集成了全方位的能源綜合數據。數據類別涵蓋基礎地理信息數據、能源生產、能源消費、能源交換、能源能效、能源需求數據、電源數據、電網數據等，具體數據分類如表1所示。同時，系統對數據指標進行歸納，形成種類齊全、覆蓋面廣的能源規劃數據指標體系。

在采集信息的基礎上，江蘇能源規劃研究平臺構建了能源基礎信息庫，通過數據倉庫實現對能源大數據的管理與存儲。通過索引庫實現各類指標索引數據的更新和管理，一方面可以提高數據的查詢效率；另一方面可以保證索引的時效性和準確性。能源基礎信息管理主要功能有：數據存儲、數據檢索、統計分析、數據可視化、數據輸出、數據維護等。可視化查詢界面如圖4所示。

(2)能源(電力)需求預測：平臺借助經典負荷預測算法，如彈性系數法、回歸分析法、用電單耗法、增長率法、滑動平均法、負荷密度法對能源大數據進行計算，預測電力需求。其中，彈性系數法、用電單耗法、增長率法采用用戶設置的負荷預

表1 江蘇能源規劃研究平臺數據分類

圖4 數據可視化查詢界面

測參數進行計算得到結果；回歸分析法、滑動平均法、負荷密度法采用樣本分析的方法得到預測結果。此外，平臺在省級負荷預測的基礎上提供地市負荷預測功能，能精準計算各地市的負荷預測結果。能源需求預測如表5所示。通過建立基礎性、長效性、動態性的電力需求預測模型系統，輔助規劃人員更準確地判斷江蘇省及各地市能源(電力)需求發展趨勢，有利于能源(電力)規劃研究工作的準確把握。

表5 能源需求預測表

(3)能源規劃：建立火電消納模型和新能源消納模型，進行規劃區域內的火電、風電光伏消納能力的預測分析。其中，火電消納模型的電力平衡計算基于掃描切割負荷曲線的方法，通過對各類電源逐機組逐月安排工作位置進行電力平衡計算并合理統籌安排電源檢修計劃；新能源消納模型根據各類電源工作位置計算調峰裕度曲線，根據風電光伏的輸入計算風電光伏實際可以消納的電量，更新調峰平衡中的備用容量和系需電力，各類電源的發電利用小時數，整理結果，完成計算。同時建設了可視化的在線數據維護與計算平臺，并可智能輸出研究報告，輔助能源規劃研究與決策。

(4)電網分析：平臺融合地理信息數據與電網數據，在地圖上對不同區域、年份、類型的電網方案進行直觀展示。此外，集成了多個專業電網分析的模型和算法，對電網方案進行潮流計算，并將計算結果以潮流圖的形式進行展示。結合可視化信息平臺的優勢，對不同的電網規劃方案進行對比與修正，在滿足規劃期內輸電能力要求及各項技術指標的前提下統籌優化電網建設。

3.3建設成果

(1)實現了基于大數據技術的數據獲取與可視化管理。基于大數據技術，建立了涵蓋電力、石油、天然氣、煤炭、新能源等各類能源信息的綜合型能源基礎數據庫，整合現有資源，持續收集、積累各類業務相關數據，并建立了能源資源數據的標準化管理流程，為江蘇省能源戰略規劃和產業布局等相關咨詢工作提供基礎數據支撐。

(2)實現了基于大數據技術的分析挖掘。建設了基于大數據的能源(電力)研究平臺，針對江蘇省內特點，集成與開發了能源(電力)需求預測分析、電力電量平衡、新能源消納分析、電網分析計算等模型，提高了設計工作的科學性、宏觀性、全面性和效率性。

(3)實現了信息化與規劃研究業務緊密結合。以國家能源規劃研究為研究對象，建設了具有數據全面權威、可視化的數字化工作平臺。系統遵循簡潔、友好、易用等原則，考慮用戶使用習慣和使用頻次，對功能與界面進行了合理的劃分，從而輔助能源規劃工作的高效開展。

4 結論

改進能源生產利用方式，提高能源利用效率和智能化程度，建設以清潔能源輸送為主導的低碳環保、安全高效的現代能源體系是能源行業的發展方向。這一發展方向離不開對能源大數據的深入研究與探索。研究能源大數據獲取分析機制能夠促進能源生產和輸送企業的業務變革，提升能源領域的智能化水平和管理水平，為加快能源發展改革、實現清潔能源目標提供堅實的理論基礎和技術支持。

基于能源大數據獲取分析機制的江蘇能源規劃研究平臺在現階段取得了顯著成果。平臺實現了能源(電力)大數據的采集、存儲、分析、展示的一體化操作，大大提高了工作效率、管理水平和決策能力。

此外，能源大數據獲取分析機制還存在較大的改進創新空間，一方面，現有的大數據分析技術多數仍處于研究或初步應用階段，本身還存在一定的缺點，如數據收集和處理的工作很大，分析計算比較復雜，未經實地驗證等；另一方面，能源行業發展迅速，新的業務需求和應用方向不斷涌現。因此，今后還需要進一步結合能源行業的業務需求和發展方向，繼續完善數據采集方式、優化管理平臺和創新分析模型。

[1] 楊佩, 蔡皓, 裘洪彬,等. 面向能源互聯網的大數據關鍵技術研究[J]. 電力信息與通信技術, 2016,14(4):9-12.

[2] 劉敦楠, 唐天琦, 趙佳偉, 等. 能源大數據信息服務定價及其在電力市場中的應用[J]. 電力建設, 2017, 38(2)：52-59.

[3] 饒瑋,蔣靜,周愛華,等.面向全球能源互聯網的電力大數據基礎體系架構和標準體系研究[J]. 電力信息與通信技術, 2016,14(4):1-8

[4] 劉世成, 張東霞, 朱朝陽,等. 能源互聯網中大數據技術思考[J]. 電力系統自動化, 2016, 40(8):14-21.

[5] 薛禹勝, 賴業寧. 大能源思維與大數據思維的融合(一)大數據與電力大數據[J]. 電力系統自動化, 2016, 40(1):1-8.

[6] 薛禹勝, 賴業寧. 大能源思維與大數據思維的融合 (二)應用及探索 [J]. 電力系統自動化, 2016, 40(8):1-13.

[7] 李棟華, 耿世奇, 鄭建. 能源互聯網形勢下的電力大數據發展趨勢[J]. 現代電力, 2015, 32(5):10-14.

[8] 馬永杰, 云文霞.遺傳算法研究進展[J]. 計算機應用研究, 2012, 29(4):1201-1206.

[9] 范高鋒, 王偉勝, 劉純,等. 基于人工神經網絡的風電功率預測[J]. 中國電機工程學報, 2008, 28(34):118-123.

[10] 康重慶, 夏清,劉梅,等. 應用于負荷預測中的回歸分析的特殊問題[J]. 電力系統自動化, 1998,22(10):38-41.

[11] 蘇海鋒, 張建華, 梁志瑞, 等. 基于GIS空間分析與改進粒子群算法的變電站全壽命周期成本規劃[J]. 中國電機工程學報, 2012, 32(16):92-99.

[12] 孫文文, 劉純, 何國慶,等. 基于長時間序列仿真的分布式新能源發電優化規劃[J]. 電網技術, 2015, 39(2):457-463.

Investigation and Implementation of Acquisition & Analysis Mechanism of China’s Energy Big Data

ZHENG Xiaodong1,2， HU HanHui1， ZHAO LinDu1， HUANG Jiancheng2

(1.School of Economics and Management, Southeast University, Nanjing 211189, China; 2. Jiangsu Power Design Institute Co., Ltd. of China Energy Engineering Group, Nanjing 211102, China)

With the progress of information technology and reform of energy industry, the energy data which are huge in volume and complex in structure is daily increased. The energy big data are of high industry value, commercial value and management value as well. The energy big data have attracted increasing attention in the energy field in recent years. Based on the development of the energy industry and the internet big data theory, the paper investigates the acquisition and analysis mechanism of energy big data, and arranges the processes of the data collection, data management and data analysis, and then constructs a planning and research system. The Jiangsu energy planning and research platform is taken as an example to demonstrate the research contents of this paper. It is found that the acquisition and analysis mechanism proposed can be effectively applied to practical production and information mining, and it can also support the comprehensive analysis and scientific decision-making.

energy big data; big data collection; big data storage; big data analysis; data mining

10.3969/j.ISSN.1672-0792.2017.09.001

TP315

A

1672-0792(2017)09-0001-07

2017-05-31。

國家自然科學基金面上項目(70673010)。

鄭曉東(1976-)，男，博士，高級工程師，東南大學博士后，主要研究方向為企業信息化、知識與信息管理、系統工程等。