能源管理大數據關鍵技術研究與應用＊

趙丹，杜戰朝，李丹丹，趙菲菲，張馨以

（電力規劃總院有限公司，北京 100120）

1 研究背景

能源大數據是將電力、石油、煤炭等能源領域數據以及人口、地理、氣象等諸多領域數據，進行綜合采集、處理、分析與應用，是實現政府能源監管、提升企業運行效率、推進能源信息社會共享的重要手段[1-2]。大數據技術已在能源各領域開展了廣泛的研究與應用。在能源規劃領域，已輔助開展能源需求預測、能源規劃研究等工作[3]；在能源生產領域，已應用于電站運行監測[4]、可再生能源發電功率預測[5]、跨區域新能源消納[6]等方面；在能源消費領域，已開展基于大數據的用戶側能源管理[7]、并行負荷預測[8]等研究。

目前能源大數據在應用中存在流通共享機制尚不成熟、數據來源相對狹窄、技術標準不一等問題，同時支撐能源宏觀管理層面的研究與應用還相對薄弱，影響了中國能源行業監管效率和科學決策效果。本文立足于面向能源宏觀管理，開展能源數據獲取渠道研究，提出了能源管理大數據數據指標構建基礎框架；針對能源大數據采集、存儲、分析關鍵技術開展研究，提出能源管理大數據平臺總體架構，支撐高效采集和有效整合；同時基于能源監測預警、能源規劃研究、能耗雙控管理等場景開展應用分析，為能源管理大數據技術應用提供參考。

2 能源管理大數據獲取與指標體系構建研究

2.1 數據獲取渠道研究

結合能源管理需求梳理大數據主要獲取渠道，目前主要是政府渠道、行業協會、能源企業、科研機構、互聯網與國際機構等。

政府渠道主要包含國家及各地統計局、自然資源部、海關總署等具有能源統計職能的部門或單位?？赏ㄟ^網站、年鑒、報告、報表等方式定期獲取宏觀經濟、能源資源、生產、消費、價格、進出口、效率、能源平衡等反映國家及地區能源發展總體情況的數據。該渠道為當前能源管理大數據最可靠的數據來源，但存在發布時間滯后、高頻數據占比較少的問題。

行業協會渠道主要包括中國電力企業聯合會、中國煤炭運銷協會、中國石油和化學工業聯合會等，通過其定期發布的統計數據、開放的商業用途數據庫等方式，獲取分行業能源生產、消費、效率、價格等體現行業發展狀況的數據指標，該來源與政府渠道均為能源管理大數據獲取的最直接來源。

能源企業渠道主要包括各大發電、電網、煤炭、油氣、新能源等企業，主要通過數據上報、已有平臺數據接入等方式獲取企業生產經營過程中產生的產量、銷量、庫存、能耗、能源項目進展等數據。該渠道數據豐富，高頻數據占比高，可作為能源數據獲取的重要補充。

科研機構層面，通過高校、科研院所、能源企業下屬研究機構等科研機構發布的研究報告、能源發展報告等可以獲取能源發展與預測相關的數據。

互聯網層面，通過對各類能源統計、能源資訊網站自動爬取以及購買商業數據庫等方式獲得能源觀點與輿情類信息。

國際數據獲取渠道重點包含聯合國、世界銀行、ⅠMF、BP、ⅠEA、EⅠA 等，可通過其對公開的網站信息、年鑒等，以直接下載或數據庫購買的方式獲取，可以獲得世界各國各品種能源儲量、能源生產、能源消費、能源平衡、能源進出口、能源價格、碳排放等國際能源數據。

能源管理大數據獲取渠道如表1 所示。

表1 能源管理大數據獲取渠道

2.2 指標體系構建

2.2.1 構建原則

能源數據指標體系是建立在能源系統流程的基礎上，以準確反映能源供應、流通和消費等全過程。構建中應遵循系統性、可操作性、可比性、開放性原則。系統性原則是指體系要能全面反映能源發展狀況，兼顧能源流轉全過程?？刹僮餍栽瓌t是指需考慮指標是否能方便、準確地采集到基礎數據。可比性原則是指指標體系設計需考慮指標縱向和橫向的比較、分析需求，指標之間要具有可比性。開放性原則是指能源統計指標體系應是一個開放性的系統，通過不斷修改完善，從而更客觀、更真實地反映能源供應、生產和消費等各種情況。

2.2.2 指標體系

按照GB/T 4754—2017《國民經濟行業分類》[9]、《能源統計報表制度》等國家相關制度與標準的規定，遵循上述構建原則，結合相關數據實際狀況及應用價值開展能源指標體系構建研究，將能源品種、能源流轉各環節、能源數據應用場景等進行梳理分類，形成如圖1 所示的能源指標體系。

圖1 能源管理數據指標體系

第一層按照能源流轉環節，能源供應、流通和消費等全過程進行分類，主要包含了宏觀經濟、能源資源、能源生產與運輸、能源貿易與庫存、能源消費、能源建設、能源價格、能源效率與環境、能源項目、能源規劃與國際能源。

第二層基于能源品種進行分類，主要是煤炭、石油、天然氣、非化石能源與電力。

第三層主要基于能源細分品種、行業與區域3 個不同維度進行指標的梳理。其中能源細分品種，煤炭細分為煤炭與焦炭，石油細分為原油和成品油，天然氣包含管道天然氣、液化天然氣等常規天然氣與頁巖氣、煤層氣等非常規天然氣，非化石能源細分為核能、水能、風能、太陽能、生物質能、地熱能與海洋能，電力細分為水電、火電、核電、風電、太陽能及其他。行業主要按照GB/T 4754—2017《國民經濟行業分類》進行匯總，區域按照國家統計局公開的《統計用區劃代碼和城鄉劃分代碼》標準執行。

3 能源管理大數據平臺基礎體系架構

能源管理大數據平臺應為能源數據的采集與融合、存儲及處理、分析與計算等提供基礎平臺和支撐技術[10]。根據建設應用的范圍和管理的層次，以業務為核心需求，充分考慮系統的高可用性、實用性、可維護性、先進性、可擴展性和安全性等各方面因素，設計形成能源管理大數據平臺的通用技術架構。平臺根據多層架構模式進行設計，應用技術架構按照后端服務化、前端工具化、業務場景化等設計原則完成整個技術系統構建。總體架構從下至上共分為5 層：基礎設施層、數據接入層、數據存儲管理層、平臺支撐層、平臺應用層。具體框架如圖2 所示。

圖2 能源管理大數據基礎體系架構

基礎設施層：主要指建設單位現有基礎設施，包含服務器設施、網絡設備、安全設備、操作系統、數據庫系統、存儲設備等。

數據服務層（數據接入、數據存儲管理）：包括數據來源、數據處理、數據存儲3 部分，同時對上層提供通用的訪問服務。其中數據來源主要包含物聯網設備、互聯網數據、第三方數據接口、企業填報數據、現有歷史數據庫等，基于此數據源，大數據平臺將提供豐富的數據處理手段，利用數據清洗、數據抽取、數據治理等方法，實現數據的存儲、管理及維護。

平臺支撐層：根據能源大數據應用場景，組合形成服務器組件為各應用提供支撐，具體包括界面組件、接口組件、基礎設施組件、可視化組件、全文檢索組件等。層內的各服務組件均可獨立對上層工具提供服務，也可獨立訪問下層數據；同時服務之間也可以相互組合調用，構成新的服務。

平臺應用層：包括基礎應用、高級應用、綜合展現等，其中基礎應用包括數據整合、模型計算、數據分析與挖掘等。高級應用包含能源監測預警、能源規劃管理、能源雙控管理。

4 能源管理大數據關鍵技術

4.1 大數據采集技術

能源大數據不僅包含能源類數據，還包含了大量其他類別的結構化/非結構化數據，如資源環境、經濟社會數據等。同時，能源大數據是多源的，其形式是多模態的，從而導致能源數據的采集很難形成一個統一的接口和標準。因此，能源數據采集技術的關鍵是數據源的選擇、多源數據的實體識別和解析、數據清洗和自動修復、高質量的數據整合[11]。適用的大數據采集技術有ETL 技術、數據填報技術、APⅠ數據接口技術、網絡爬蟲技術和物聯網數據采集技術等。

ETL 技術：用來描述從來源端經過抽取、轉換、加載至目的端的過程，有利于多種異構數據源的連接和海量數據的快速處理，流程清晰。常見的國外ETL軟件包括Ⅰnformatica、Datastage、Kettle、Talend 等，國內ETL 軟件包括TurboDX、Taskctl、DataX 等。

數據填報技術：區別于傳統的使用Excel 進行數據匯總和填報的方式，數據填報技術采用專業的報表工具進行數據填報。

APⅠ數據接口技術：該技術主要指WebService 接口。WebService 是一個SOA（面向服務的編程）的架構，不依賴于語言和平臺，可以實現不同的語言（通過xml 描述）間的相互調用，通過Ⅰnternet 進行基于Http 協議的網絡應用間的交互。

網絡爬蟲技術：網絡爬蟲是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。網絡爬蟲按照系統結構和實現技術，大致可以分為通用網絡爬蟲、聚焦網絡爬蟲、增量式網絡爬蟲和深層網絡爬蟲。

物聯網數據采集技術：借助綜合感知設備采集能源數據，包括燃氣網、熱力網、電網等來源的信息，如儲能、微燃機、空氣源熱泵、太陽能熱、生物質能、電動汽車充電樁等信息。

4.2 大數據存儲技術

高效、可靠、低成本的存儲與管理模式是能源大數據技術選型的關鍵因素，更是進行后續深度挖掘、科學分析的基礎和保障。能源管理大數據平臺除了有大量的結構化數據外，還存在視頻、圖像、地圖等半結構化、非結構化數據，為有效存儲不同類型數據，需要考慮多種存儲技術。

結構化數據存儲技術：結構化數據又稱為行數據，是高度組織和整齊格式化的數據，通過二維表結構進行邏輯表達和實現[12]。該種類型數據主要通過關系型數據庫進行存儲和管理。關系型數據庫是指采用了關系模型來組織數據的數據庫。關系模型即為二維表格模型，所以關系型數據庫也可以理解為一個由二維表及其之間的聯系所組成的數據組織。目前，商業數據庫管理系統以關系型數據庫為主導產品，技術比較成熟，有MySQL、SQL Server、Oracle、PostgreSQL、SQLLite 等。

時間序列數據存儲技術：隨著物聯網技術的不斷發展，能源領域出現了大量物聯網數據，這些物聯網實時監測數據一般具有實時、海量、價值密度低等特點。這類數據被稱為時間序列數據，是一種具有時序特征的高維數據類型，按時間先后順序排列的不同時間點對特定物理量的值進行采樣而構成。關系型數據庫無法支撐此類數據的有效存儲與處理，而時間序列數據庫正是設計用來高效存儲時間序列數據的。時序數據庫具有持續高性能寫入、高性能查詢、低存儲成本、支持海量時間線、彈性伸縮等特點。隨著移動互聯網、大數據、人工智能、物聯網、機器學習等相關技術的快速應用和發展，側重不同時序數據需求的數據庫被業界使用，如OpenTSDB、ⅠnfluxDB、TimeScale 等。

空間地理數據存儲技術：地理數據庫是應用計算機數據庫技術對地理數據進行科學的組織和管理的硬件與軟件系統。地理數據庫屬于空間數據庫，表示地理實體及其特征的數據具有確定的空間坐標，為地理數據提供標準格式、存貯方法和有效的管理，能方便、迅速地進行檢索、更新和分析，使所組織的數據達到冗余度最小的要求，為多種應用目的服務。地理數據庫的目的是存儲矢量和柵格。Esri Geodatabase 是最常見的地理數據庫類型。

文檔類數據存儲技術：能源領域存在大量的文檔類數據，包括相關的政策法規、標準規范、統計報表、科研成果報告、相關新聞資訊等。該類數據需要利用文檔類專用的存儲方案進行存儲管理。目前常用的文檔類數據存儲方案主要依托于分布式文件系統進行存儲，主流的分布式文件系統有GFS、HDFS、Lustre、GridFS、TFS、FastDFS 等。

4.3 大數據管理平臺架構技術

4.3.1 微服務架構技術

能源管理大數據各應用平臺采用微服務的架構進行搭建，利用大數據技術作為支撐，以主流開源微服務框架搭建平臺各類基礎服務與業務功能服務。同時采用前后端分離的模式進行開發，與傳統模式相比，在可定制性、可擴展性、適配性、響應速度、整體性能方面均有顯著優勢。平臺遵循J2EE 技術路線，采用面向服務架構（SOA），通過Web 服務接口實現與其他系統的集成。

4.3.2 數據可視化技術

大數據可視化是利用計算機圖形學和圖像處理技術將數據轉換成顯示在屏幕上的圖形或圖像，并進行各種交互處理的理論、方法和技術。能源管理大數據平臺集成了海量多源異構的能源數據，為了更加直觀清晰地展示數據和高效深入地挖掘數據，使用大數據可視化技術進行展示與分析。

常用數據可視化方式有表格、散點圖、折線圖、柱狀圖、餅圖、面積圖、流程圖、泡沫圖表、錐形樹圖、語義網絡以及圖表的多個數據系列或組合等。其中，空間地理數據通常采用GⅠS 數據可視化技術。目前主要的可視化工具有BⅠ類可視化工具（FineBⅠ、Tableau、PowerBⅠ等）、前端可視化開發框架（ECharts、D3.js、Highcharts 等以及GⅠS 可視化工具如Leaflet、OpenLayers 等）。

4.4 大數據分析技術

能源大數據的分析與挖掘是發掘數據價值、支撐優化分析、輔助科學決策的關鍵技術。對于規模巨大、結構復雜、變化迅速、價值稀疏的能源大數據，其處理亦面臨計算復雜度高、任務周期長、實時性要求高等難題。為解決這些難題，不僅要引入互聯網大數據處理技術來加強數據計算與處理能力，更需要立足能源系統業務需求，梳理分析能源行業工作特色，拓展創新能源領域的應用方向。

能源大數據的深度加工和有效表達需要借助專業的統計分析工具，主流的大數據分析方法有遺傳算法、神經網絡、回歸分析、空間分析、時間序列分析等。業界較為常用的分析工具有Python、R、Matlab、SPSS、Excel 等。

5 能源管理大數據應用分析

5.1 能源監測預警

基于本文的能源管理大數據獲取機制和平臺架構，可支撐能源主管部門實現對管轄區域內電力、煤炭、石油、天然氣等各類能源數據的采集及存儲，基于大數據可視化分析技術實現按年度、季度、月度、日度等不同頻度的能源運行態勢分析，實時監測用電量、能源庫存、能源價格等能源運行核心指標和重大事件，使能源管理者掌握能源宏觀狀況的同時，準確把握能源微觀運行情況。同時，以海量歷史能源數據、未來年份經濟及社會發展數據為支撐，建立能源發展趨勢預測預警模型，對能源運行和發展的演化趨勢進行預期性分析評估，提前發現可能出現的問題和成因，為預先防范和及時采取化解措施提供科學依據，促進能源與經濟社會協調發展。

5.2 能源規劃管理

基于本文的能源管理大數據架構可以結合國家及省區級能源發展規劃要求，分析回顧上期規劃實施完成情況，以能源大數據為支撐客觀評價規劃實施效果，從能源總體規劃、專項規劃等不同維度開展本期規劃目標管理、規劃實施情況動態評估、能源規劃項目進展監測等。在能源規劃項目管理上，全面匯集各類能源項目的地理位置、生產能力、建設進度、核準狀態、建設單位、項目類型、節能減排情況等關鍵信息，建立能源規劃管理項目庫，利用高清衛星影像對項目建設情況進行非現場監管，同時按照規劃對項目準入及執行情況進行監管，并與國民經濟其他規劃、環境容量、資源承載力等信息進行銜接，進而科學引導能源項目規劃建設，從源頭上降低能源項目投資風險。

5.3 能耗雙控管理

基于本文的能源管理大數據架構可以通過接入重點用能單位能耗、能源消費、用能權使用和交易等數據，提供能耗雙控指標監測、能耗雙控對標分析、能耗雙控考核監察等功能。重點從能源消費總量及增速、單位GDP 能耗及下降率、各領域節能降耗情況、高耗能行業用能量等方面，分行業分區域監測能耗情況；基于重點監測指標，開展能耗對標分析；基于能耗大數據，提供能耗指標分解、考核監督情況統計、用能總量指標交易統計等功能，在能耗雙控執行過程中，對農業、工業、建筑、交通、公共機構等各領域以及重點用能單位進行節能監察，科學指導能耗雙控工作。

6 結語

隨著國家數字化轉型戰略的推進及數字化技術的不斷發展，能源大數據將在能源宏觀管理決策中的發揮越來越重要的作用。本文研究了能源管理大數據主要獲取渠道，提出了能源數據指標構建的總體框架，研究了能源管理大數據平臺的總體架構及關鍵技術，分析了大數據在能源宏觀管理中的幾種典型應用，可為能源管理中大數據技術應用提供參考。后續，針對能源管理大數據應用場景拓展還有待開展深化研究。