基于大數據平臺的新能源企業智慧中臺搭建

李文燕，石 宇，陳 釗，潘 博，楊成龍，彭順峰

(國電電力內蒙古新能源開發有限公司，呼和浩特 010020)

0 引言

近年來，為改善中國能源結構，新能源行業扮演著不可或缺的角色，風電作為新能源發電的重要部分，截至2020年底，在中國，風電的并網裝機容量達28153萬kW，同比增長34.6%，占全國發電總裝機容量的12.79%[1]。隨著風電行業的迅猛發展，風電場規模不斷擴大，但這也導致其對風電機組的遠程監控產生壓力，通常一個風電場需要對上百臺風電機組進行遠程監控，人力、物力耗費較大，且監控系統積累的大量風電機組運行數據無法得到有效利用，降低了風電場的運行效率。

隨著大數據時代的到來[2]，機器學習的興起帶動了工業領域的智能潮[3]。當今，數據越來越受到重視，但多元化的數據在提供豐富信息量的同時，無形中也增加了對其進行學習、利用的難度。數據中臺是一個可以使數據更集中、有序并能得到充分利用的平臺，其實現了對現有信息資源和應用系統的充分整合，打破了信息孤島，提高了協調效率和工作效率[4]。

針對風電場無法有效利用風電機組遠程監控系統產生的大量數據的問題，本文搭建了一套基于大數據平臺的新能源企業智慧中臺[5]，并對該智慧中臺的業務架構及技術構架進行了介紹。

1 大數據平臺

1.1 大數據平臺的基本功能

大數據平臺的系統軟件選用國產的成熟的企業級一站式多模型數據管理平臺——TDH套件。大數據平臺采用基于Linux操作系統的Hadoop &Spark技術架構，部署在容器云上，可方便快速地實現資源和軟件節點的擴展，最大能夠擴展至1000個節點，數據量支持可達2000萬個采集點以上。本項目根據新能源企業裝機規模和數據情況部署了6個大數據節點，未來隨著數據量和業務量的增加，可進行平滑擴展。

大數據平臺的功能需要包含以下幾個方面。

1)大數據接口集群：大數據接口主要用于風電機組、電氣設備、風功率等的實時數據的分布式采集，大數據平臺負責開發與其他系統集成的接口，平臺為與集控中心相關聯的系統提供數據接口支持。

2)大數據實時計算集群：主要用于支撐實時數據檢索、異常數據判別和實時數據在線計算。

3)大數據存儲集群：主要用于存儲所有的風電歷史數據、實時數據和關系數據。

4)大數據分析集群：對大數據進行報表分析、可視化分析和建模分析，實現管理區的實時監視、歷史查詢，以及經濟運行的統計分析、大數據建模的分析與挖掘。

1.2 數據挖掘服務

大數據平臺需提供數據挖掘服務，其應包括但不限于以下內容：

1)提供多種數學統計方法與機器學習算法庫，以滿足數據分析與挖掘工作的需求；

2)提供可對數據進行實時預測的流式機器學習算法；

3)根據用戶需求，提供人性化的自定義的分布式數據挖掘算法；

4)將Tensorflow、MXNet等主流深度學習框架與Hadoop & Spark體系相融合，通過相關專業人員搭建深度神經網絡與卷積神經網絡等模型，并使用海量數據樣本訓練模型，得到模型參數后再輸入到模型，以提升算法的準確度；

5)內置豐富的深度學習算子，不僅需涵蓋常用算法，還需支持自定義算法；

6)需支持R語言、python語言接口；

7)需提供圖形化拖拽工具進行模型構建、訓練、預測與檢驗，在工具中支持算子與模型管理，降低數據挖掘開發門檻；

8)支持PMML標準，以滿足在不同系統的使用與模型的部署；

9)支持多種算子庫管理，包括分布式數據預處理算子庫、分布式特征工程算子庫、分布式機器學習算子庫、深度學習算子庫、自定義算子庫等；

10)支持模型協作開發與管理。

1.3 智慧中臺管理開發工具及服務能力

大數據平臺提供的基礎工具及針對企業需求提供的數據資產目錄服務具體包括以下幾個方面。

1)搜索功能：基于分布式數據倉庫對數據進行統一歸集和整理，在數據資產目錄服務可通過數據挖據或搜索引擎對庫表、文件、Schema(即XML Schema，XSD)、業務術語、模型和標簽進行搜索。

2)數據的聚合與展示：平臺提供的業務功能是由數據資產目錄服務對大數據平臺內的數據進行聚合和展示，并可通過列表、搜索、詳情、標簽、操作歷史等方式展示數據信息。

3)數據的探索和分析：數據資產目錄服務支持對數據集進行數據探索，了解更多的數據細節，同時可以將數據接入平臺提供的數據分析工具、建模工具等進行探索式分析。

4)數據的血緣與影響分析：數據資產目錄服務借助大數據平臺在數據的導入、使用、轉換、生成等全鏈路對數據進行標定和記錄，可以實現對數據的操作歷史進行追蹤，同時也可以做血緣分析和影響分析。

5)數據源管理：用戶通過數據資產目錄服務能夠定制策略，添加、管理和刪除各種應用系統的數據源，可對數據進行統計和分析，對數據操作進行審計，對數據的錄入頻率、管理規則進行不同的設置。

6)數據權限管控：數據資產目錄服務需要支持靈活的數據權限管理，支持對數據在大數據平臺層級、租戶層級等進行細粒度權限管控；用戶自主申請，數據管理人員通過工單進行權限審批。

7)數據質量管理：數據資產目錄服務需要支持制定的數據質量規則，同時在數據傳輸過程中根據數據質量規則進行質量管控。

8)業務術語：數據資產目錄服務需要支持業務字典功能，支持用戶定義的業務術語、業務規則、數據分類等功能；能對業務術語和技術元數據進行管理。

9)數據操作審計：數據資產目錄服務需要記錄所有的數據操作，方便以后進行審計工作，并且該服務需具有按照設定的規則對危險或禁止的操作進行特別標記或報警的能力。

2 新能源企業智慧中臺的業務構架

新能源企業智慧中臺的業務構架主要由智能監控層、智能平臺、智慧應用層組成，具體如圖1所示。

2.1 智能監控層

該層需要實現對某個風電場的實時監控及之后多個風電場的遠程集中值班監控，具體需具備以下功能：1)需與風電場的數據采集與監視控制系統(SCADA)/風電機組的可編程邏輯控制器(PLC)實現通信的可靠性與反應速度；2)可實現全量數據的全樣本采集；3)可保證多個風電場SCADA(C/S)控制架構的可靠性；4)可實現智能值班(運行狀態檢測、故障報警、風險預警、智能啟停等)；5) 實現對場站、風電機組的大部件及塔筒的全面智能感知。

2.2 智能平臺

需建設基于大數據的智慧應用支持平臺，具體需包括以下內容：1)數據存儲組件、移動應用組件、智能建模組件；2)數據管理、數據服務、數據集成；3)應用開發組件、配置管理組件、可視化展示組件。

2.3 智慧應用層

需建設新能源企業的智慧發電應用系統，包括以下組成部分：1)管理區智能監屏，其包括智能監視、智能決策、智能值守、智能報表；2)資產管理、領導駕駛艙和移動應用等生產運營管理系統；3)智能運行、智能檢修、智能安全、圖像識別等大數據人工智能應用系統；4)條件供應、市場交易、專家支持等智能協同應用系統。

3 新能源企業智慧中臺的技術構架

新能源企業智慧中臺選用了中國技術領先的一體化“互聯網+”應用平臺，采用基于Hadoop & Spark技術架構的微服務架構平臺。為了更好的支撐上層應用，智慧中臺會封裝一層基礎服務，涵蓋流計算引擎、迭代運算引擎、數據挖掘引擎、圖計算引擎、并行運算引擎、數據可視化引擎、分布式數據共享服務引擎、全文檢索引擎，以及微服務引擎等；此外，智慧中臺的建設除了遵照國家標準、行業標準、企業標準之外，還重點建立了企業的新能源數據體系規范。規范涵蓋數據接入、數據接口、平臺建設、數據安全等一系列標準規范。

新能源企業智慧中臺整體的技術架構包括數據源層、數據接入層、數據支撐層(主題數據庫、數據處理及分析、數據存儲)、應用層和展示層，具體如圖2所示。

圖2 新能源企業智慧中臺的技術構架圖Fig. 2 Technical framework of new energy enterprise smart middle platform

1)數據源層。數據源層主要涵蓋生產運行領域的自動化設備與系統的運行數據(大多數為實時類生產數據，并主要通過集控系統接入)、經營管理領域的信息化系統數據(大多數為企業經營管理類的生產數據)，以及互聯網、外部系統數據(多數為外部系統數據)等。

2)數據接入層。數據接入層主要負責將數據源的數據接入數據平臺，并進行數據的傳輸與清洗。數據接入涵蓋數據統一接口平臺，包括：配置管理端、采集調度框架及各種采集驅動程序，可實現集控系統數據、現場數據、經營管理數據、在線填報數據和其他數據接入數據中心。

3)數據支撐層。數據支撐層即平臺存儲層，可提供平臺的核心功能，存儲介質根據聚焦的數據業務不同而采用不同的技術平臺做支撐；海量且需要并行運算的數據可存儲在HDFS之類的存儲介質上(比如：HIVE倉庫和HBASE數據庫等)；需要迭代運算或高速運算的數據可存儲在內存網格中；實時監控類數據可存儲在實時數據庫中；事務型OLTP類的業務采用Mysql數據庫作為支撐。數據標準化處理作為數據平臺貫穿始終的數據標尺，對數據平臺數據質量的管控和提升起著決定性的作用。

4)應用層。應用層主要為本期實現和后期規劃建設的智慧發電應用，并為各業務單位提供業務支撐能力。應用重點集中在實時監測、生產分析、功率預測、智能運行、智能檢修、資產管理、智能安全、智能營銷、專家系統、VR培訓、圖像識別和移動應用等方面。

5)展示層。展示層以應用層為基礎，整合數據服務和技術組件，以H5/SVG、綜合報表、移動終端、3D等方式展示，能更精準、快速、直觀地將數據分層結構及統計分析的結果進行綜合展示。

4 結論

本文針對風電場無法有效利用風電機組遠程監控系統產生的大量數據的問題，搭建了一套基于大數據平臺的新能源企業智慧中臺。該智慧中臺有助于有效、合理的利用數據，實現新能源企業的智慧化運營，并有利于集中存儲海量新能源數據、標準化數據指標體系、統一管理數據資產、實現數據融合共享，以支撐各應用系統，充分發揮大數據平臺在新能源企業管理與運營中的優勢。