基于Hadoop生態系統的電網量測數據共享技術研究

王新柱，趙杰

（江蘇瑞中數據股份有限公司，江蘇 南京 210000）

隨著智能電網建設的逐步推進，智能電網的業務應用也在不斷地完善和升級，這對于數據的接入和數據的共享提出了更高的要求。而目前電網量測數據從接入、存儲到訪問和應用開發，均未有相關標準進行規范化要求，不利于電網量測數據的深化應用和高效管理［1－2］。由于各個系統的接入方式、存儲模型和訪問模式沒有進行規范化處理，這就導致了無法對數據進行高效的利用。因此，需要對接口訪問規范和采集量測數據共享技術進行深入研究，提出科學、有效的解決方案，為智能電網的構建提供有力的技術支持［3］。

1 電網量測數據共享問題分析

由于電網量測數據的種類繁多，數據來源具有異源性和異構性，并涉及到電力系統的方方面面，因此在數據共享方面普遍存在以下問題：

（1）數據異構現象嚴重。在智能電網構建過程中，由于系統構建的階段性、技術性及其他一些人為因素影響，導致了業務種類繁多和存儲方式、數據格式、數據編碼等不規范、不一致，并造成了數據無法進行有效共享［4］。

（2）數據存儲效率低下。由于部署在智能電網中的業務系統功能復雜，多個業務系統產生的數據包括實時數據、歷史數據、日志數據、多媒體數據等多種門類的數據，數據分布也比較雜散，使得數據資源不便于進行統一的訪問和管理。此外，急劇增長的電網量測數據也對數據存儲提出了更高的要求［5－6］。

（3）缺乏規范化、統一化的體系。數據共享平臺雖然是依據公共信息模型為基礎進行構建的，但是在實際的設計過程中存在數據粒度不一、存儲標準多樣、執行效率低下、數據規范多樣的問題，嚴重影響了數據共享工作的順利展開和推進［7－8］。

（4）智能電網的運行中會積累海量的量測數據，其中涵蓋了很多有價值的信息，如何將這些數據轉換為實際價值意義重大。基于數據共享構建大數據平臺，采用數據挖掘技術等能夠有效提取量測數據的內在價值，將潛在的數據價值挖掘出來，發揮其重要作用。

目前，電力系統數據共享模式是基于統一的數據中心為基礎實現的，數據共享普遍采用的是傳統的方法進行數據的提取、轉換，基于傳統的關系型數據庫進行數據存儲，這就造成了異構數據的不易存儲性、低擴展性、低吞吐性［9］。本文基于Hadoop生態系統為出發點進行研究，實際上是一種分布式數據處理和存儲方法，對電網量測數據進行深度處理、挖掘，從根本上實現了電網量測數據的高度共享，實現了數據資源的優化配置，便于智能電網對大數據進行高效的、科學的管理。

2 Hadoop生態系統

Hadoop生態系統在大數據分析處理領域占據主流地位［10］，其基本框架如圖1所示。最關鍵的部分是底層的Hadoop分布式文件系統（HDFS）和MapReduce框架，此外還包括了的HBase數據庫集群和ZooKeeper集群，二者都與HDFS文件系統和MapReduce框架緊密關聯。Hadoop生態系統具有完整性、多樣性、開放性的特點，為大數據提供了科學、有效、合理的解決方案［11］。

圖1 Hadoop生態系統架構

3 基于Hadoop生態系統的量測數據共享平臺

3.1 電網量測數據共享架構

基于本文所研究的電網量測數據共享平臺，其在技術承載上主要包括標準體系、服務管理、接口服務和共享功能等四個模塊［12］，其具體的組織架構如圖2所示。

圖2 電網量測數據共享架構

（1）標準體系：即構建采集量測數據從接入、存儲到訪問和開發的一整套標準化體系，支撐采集量測數據全過程的規范管理。

（2）服務管理：包括提供采集量測數據接入和訪問接口的監控，采集量測數據接入和訪問的安全認證，采集量測數據相關元數據管理。

（3）接口服務：即對外提供的接口服務。包括提供支撐原有海量平臺應用遷移的UAPI接口服務，提供服務化的Restful接口。

（4）共享功能：主要包括連接管理、數據接入、數據查詢、數據統計、模型管理和跨庫查詢等功能。

3.2 數據集成方法

根據智能電網全業務統一數據中心建設要求，以大數據平臺作為基礎，逐步推進電網量測數據的接入，再利用大數據平臺的計算資源和存儲資源，為業務應用提供采集量測數據的支撐服務。其主要的技術路線是指定完善統一的接口調用規范，按照Restful的架構通過對量測數據訪問組件的服務化，實現外部應用與大數據平臺HBase解耦，為外部應用訪問大數據平臺量測數據提供統一的接口，同時對訪問全過程進行監控，總體集成方案如圖3所示。

圖3 電網量測數據總體集成方案

全業務統一數據中心電網量測數據共享服務構建項目通過調用HBase底層API實現對大數據平臺采集量測數據的訪問功能，對外提供共享訪問服務并對訪問全過程進行監控。需與大數據平臺進行集成。數據集成原理如圖4所示。

圖4 電網量測數據集成原理

采集量測數據共享服務包括后臺訪問服務部署單元和前臺訪問監控應用服務單元。其中，后臺訪問服務部署單元主要是對大數據平臺列式存儲和關系數據庫中的量測數據和檔案數據進行關聯查詢并提供對外訪問服務；前臺訪問監控應用服務單元主要通過界面可視化提供接口權限配置及接口訪問情況監控等方面功能。

3.3 數據訪問功能

在采集量測數據訪問過程中，主要通過建立HBase二級索引、高效的采集量測數據分布式緩存結構兩種技術實現采集量測數據的高效訪問。

（1）建立HBase的二級索引

目前采集量測數據是存到大數據平臺HBase之中的，存儲模型行鍵基本是通過地域、時間及量測類型等進行組合設計。但由于HBase的一級索引就是rowkey，我們通過rowkey進行查詢能夠支持毫秒級的快速檢索，但是對于多字段的組合查詢卻無能為力。為了滿足業務應用對于采集量測數據多維度的查詢需求，我們通過創建HBase的二級索引，基于Solr的HBase多條件查詢，將HBase表中涉及條件過濾的字段和rowkey在Solr中建立索引，通過Solr的多條件查詢快速獲得符合過濾條件的rowkey值，拿到這些rowkey之后在HBase中通過指定rowkey進行查詢將大大提高數據的訪問效率。其訪問機制如圖5所示。

圖5 電網量測數據訪問機制

（2）高效的采集量測數據分布式緩存結構

結合采集量測數據批量和斷面兩種訪問方式的特點，對采集量測最新數據通過分布式緩存服務實現斷面緩存結構和批量緩存結構的存儲。當業務應用使用查詢接口發出查詢數據請求，首先在分布式緩存服務中查找數據，如果查找到則返回，如果未查找到，再根據接口類型在Hbase中查找對應表查詢對應的數據，從而達到采集量測熱數據的高效訪問。其數據存儲架構如圖6所示。

圖6 電網量測數據存儲架構

4 元數據管理方案

在建立數據共享平臺架構的基礎上，采用主從模式的數據倉庫的數據集成模式，構建基于Hadoop架構的數據共享模型。該模型采用的是基于HDFS的元數據管理機制，對數據的操作是以數據塊為單位實現的，主要由元數據結點、次元數據結點、數據結點三部分。HDFS的元數據由數據塊屬性、從屬關系、所屬位置三項因素決定。HDFS對元數據的管理采用“editlog＋fsimage”方式實現，editlog負責記錄元數據的操作記錄，存儲為操作日志，fsimage負責對文件系統進行映射。

5 結論

本文在研究智能電網數據化建設及數據管理現狀的基礎上，對基于Hadoop生態系統的電網量測數據共享模型進行了深入研究，重點包括了電網量測數據共享架構、數據集成方法、數據訪問機制、元數據管理幾個部分。該共享模型對于海量的、異源異構電網量測數據的深度處理和集成具有重要作用，有效解決了智能電網數據擴展性低、吞吐性低、容錯性低、安全性低的問題。結合提出的數據共享平臺總體架構，為智能電網實現數據資源的集中管理、數據信息的深度共享、數據價值深度挖掘提供了技術指導，對智能電網大數據處理技術的發展進步具有重要意義。