基于Hadoop架構(gòu)的電力企業(yè)數(shù)據(jù)共享模型研究

蔣雷雷，代作松 ，秦　賓

(1. 國網(wǎng)臨沂供電公司，山東 臨沂 371300；2.南瑞集團(tuán)，江蘇 南京 210013)

0　引　言

隨著智能電網(wǎng)、大數(shù)據(jù)技術(shù)以及物聯(lián)網(wǎng)技術(shù)的發(fā)展，電力企業(yè)在生產(chǎn)運(yùn)營過程中積累了海量的數(shù)據(jù)資源。由于這些數(shù)據(jù)具有結(jié)構(gòu)多樣、來源復(fù)雜、規(guī)模巨大、系統(tǒng)獨(dú)立等特點(diǎn)，造成企業(yè)數(shù)據(jù)集成與共享難度加大，直接影響數(shù)據(jù)內(nèi)在知識價(jià)值發(fā)現(xiàn)，降低電網(wǎng)運(yùn)營監(jiān)測效率[1,2]。數(shù)據(jù)共享是企業(yè)實(shí)現(xiàn)資源集中管控、提升數(shù)據(jù)應(yīng)用價(jià)值以及完善信息化建設(shè)進(jìn)程中首要考慮的問題，當(dāng)前企業(yè)在實(shí)現(xiàn)數(shù)據(jù)共享中還存在許多問題：數(shù)據(jù)集成方式混亂、缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、海量數(shù)據(jù)的存儲與處理能力低等[3]，傳統(tǒng)的數(shù)據(jù)共享技術(shù)尚不具備完整解決這些問題的能力。目前的理論比較側(cè)重于探索數(shù)據(jù)共享模式原理及機(jī)制，鮮有介紹數(shù)據(jù)共享技術(shù)在實(shí)際企業(yè)中的應(yīng)用[4]。當(dāng)前電網(wǎng)企業(yè)雖然已經(jīng)建成面向不同應(yīng)用需求的業(yè)務(wù)數(shù)據(jù)中心和運(yùn)監(jiān)數(shù)據(jù)中心，但是傳統(tǒng)的企業(yè)服務(wù)總線(ESB)與數(shù)據(jù)交換平臺(DXP)等數(shù)據(jù)集成方式在數(shù)據(jù)可擴(kuò)展性、容錯(cuò)性和數(shù)據(jù)安全方面還略有不足，造成數(shù)據(jù)層面并未真正實(shí)現(xiàn)數(shù)據(jù)資源集中管控、綜合治理和高度共享，因此，需要構(gòu)建一套基于企業(yè)現(xiàn)狀的、完善的及高性能的數(shù)據(jù)共享方案。

數(shù)據(jù)共享就是在邏輯上和物理上有機(jī)地實(shí)現(xiàn)異源異構(gòu)數(shù)據(jù)的集中存儲和統(tǒng)一訪問。文獻(xiàn)[5]分析了當(dāng)前比較成熟的三種數(shù)據(jù)共享框架模式：基于聯(lián)邦數(shù)據(jù)庫的數(shù)據(jù)共享模式、基于中間件技術(shù)的數(shù)據(jù)共享模式和基于數(shù)據(jù)倉庫的數(shù)據(jù)共享模式，國外也開展了許多類似的研究。基于聯(lián)邦數(shù)據(jù)庫的數(shù)據(jù)共享模式雖然構(gòu)建了數(shù)據(jù)源視圖與全局模式間的映射關(guān)系，并能夠滿足用戶的全局查詢請求，但是對于海量用戶的并發(fā)查詢以及節(jié)點(diǎn)容錯(cuò)問題還存在諸多不足；基于中間件技術(shù)的數(shù)據(jù)集成模式具有較強(qiáng)的融合異構(gòu)系統(tǒng)的能力，通過中間件間接訪問源系統(tǒng)，雖然提高了安全性能，但是隨著應(yīng)用系統(tǒng)增多，中間件性能效率大大降低；基于數(shù)據(jù)倉庫的數(shù)據(jù)共享模式通過統(tǒng)一的標(biāo)準(zhǔn)對源數(shù)據(jù)副本進(jìn)行統(tǒng)一存儲，并提供統(tǒng)一訪問接口，但是面對海量數(shù)據(jù)資源，數(shù)據(jù)倉庫的擴(kuò)展能力和容錯(cuò)性略顯不足。Hadoop是一種對大規(guī)模數(shù)據(jù)進(jìn)行高性能分布式處理的開源技術(shù)框架。文獻(xiàn)[6]設(shè)計(jì)了基于Hadoop架構(gòu)的電力數(shù)據(jù)中心云計(jì)算平臺，保證了電力運(yùn)營的高可靠性、高可用性和可伸縮性，但并未提及海量數(shù)據(jù)異源異構(gòu)數(shù)據(jù)的接入技術(shù)。

鑒于以上分析，本文根據(jù)電網(wǎng)企業(yè)數(shù)據(jù)資源管理現(xiàn)狀，針對海量數(shù)據(jù)的集成與共享問題，構(gòu)建分析了基于Hadoop架構(gòu)的電力企業(yè)數(shù)據(jù)共享模型，采用“editlog+fsimage”動態(tài)集成策略實(shí)現(xiàn)對元數(shù)據(jù)管理，增強(qiáng)數(shù)據(jù)共享的容錯(cuò)性和安全性，依據(jù)全局模式和節(jié)點(diǎn)模式之間的映射關(guān)系以及數(shù)據(jù)重建的方式，實(shí)現(xiàn)數(shù)據(jù)的共享交互，提高了模型的可擴(kuò)展性和整體計(jì)算性能。

1　電力企業(yè)數(shù)據(jù)共享問題分析

針對國網(wǎng)公司實(shí)際業(yè)務(wù)情況和數(shù)據(jù)資產(chǎn)管理現(xiàn)狀，企業(yè)數(shù)據(jù)集成共享方面的建設(shè)還存在以下挑戰(zhàn)：

(1)數(shù)據(jù)異構(gòu)嚴(yán)重。電力企業(yè)信息化在建設(shè)過程中，由于企業(yè)統(tǒng)推系統(tǒng)及各個(gè)自建系統(tǒng)建設(shè)的階段性、技術(shù)性以及其它人為因素的影響，導(dǎo)致業(yè)務(wù)系統(tǒng)種類繁多、存儲方式多樣、信息編碼和技術(shù)規(guī)范不統(tǒng)一及數(shù)據(jù)格式不一致等，造成信息資源集成和共享困難。

(2)數(shù)據(jù)存儲低效。由于部署在電網(wǎng)企業(yè)中的信息系統(tǒng)比較龐雜，產(chǎn)生的數(shù)據(jù)包括智能設(shè)備實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、日志數(shù)據(jù)、文本數(shù)據(jù)和多媒體數(shù)據(jù)等，元數(shù)據(jù)系統(tǒng)分布地域廣泛，使得數(shù)據(jù)資源難于實(shí)現(xiàn)統(tǒng)一訪問和管理，另外，“爆炸式”增長的海量電力數(shù)據(jù)對存儲時(shí)間要求和IT基礎(chǔ)設(shè)施提出了更高的要求[7]。

(3)缺乏統(tǒng)一標(biāo)準(zhǔn)體系。企業(yè)數(shù)據(jù)共享平臺建設(shè)雖然依據(jù)國網(wǎng)公共信息模型(SG-CIM)標(biāo)準(zhǔn)要求，但是在實(shí)際的數(shù)據(jù)共享設(shè)計(jì)建設(shè)中還存在數(shù)據(jù)粒度大小多樣、存儲標(biāo)準(zhǔn)不一、執(zhí)行效率低、數(shù)據(jù)規(guī)范不一致等問題，嚴(yán)重阻礙了企業(yè)數(shù)據(jù)共享、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全和數(shù)據(jù)應(yīng)用等方面工作的開展。

(4)企業(yè)在運(yùn)營過程中積累了大量的數(shù)據(jù)資產(chǎn)，其中往往蘊(yùn)含著各種各樣有價(jià)值的知識，如何更好地將這些數(shù)據(jù)轉(zhuǎn)換為實(shí)際價(jià)值成為了研究焦點(diǎn)。基于數(shù)據(jù)共享構(gòu)建大數(shù)據(jù)分析平臺，采用數(shù)據(jù)挖掘和智能技術(shù)能夠有效地發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在知識價(jià)值，為企業(yè)的運(yùn)營管理提供科學(xué)決策支持[8]。

企業(yè)當(dāng)前數(shù)據(jù)共享模式主要是以統(tǒng)一數(shù)據(jù)中心為核心，采用傳統(tǒng)的ESB/DXP/OGG/ETL等數(shù)據(jù)集成技術(shù)實(shí)現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換和加載，并且采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)存儲，造成異構(gòu)數(shù)據(jù)存儲困難、可擴(kuò)展性低、吞吐性能差等問題，為了不斷提升數(shù)據(jù)的存儲效率和性能，本文采用分布式存儲技術(shù)和分布式計(jì)算技術(shù)實(shí)現(xiàn)海量數(shù)據(jù)的存儲需求，構(gòu)建了基于HBase的企業(yè)數(shù)據(jù)共享模型，引入Sqoop、Kafka、Flume等大數(shù)據(jù)集成技術(shù)進(jìn)行數(shù)據(jù)的采集工作，并且進(jìn)一步闡述了數(shù)據(jù)共享運(yùn)行機(jī)制和保障機(jī)制，著力幫助企業(yè)構(gòu)建一個(gè)堅(jiān)實(shí)架構(gòu)，實(shí)現(xiàn)企業(yè)資源高度共享，優(yōu)化資源配置，提高管理效率和客戶服務(wù)水平的一體化企業(yè)數(shù)據(jù)共享平臺[9]。

2　基于Hadoop架構(gòu)的電力企業(yè)數(shù)據(jù)共享平臺總體架構(gòu)

本文構(gòu)建的企業(yè)數(shù)據(jù)共享平臺總體架構(gòu)嚴(yán)格遵循國網(wǎng)公司信息化建設(shè)總體思路以及SG-CIM公共信息模型結(jié)構(gòu)，按照“統(tǒng)一管理、統(tǒng)一應(yīng)用”的原則，開展企業(yè)數(shù)據(jù)資產(chǎn)管理建設(shè)工作，為總部、省市、地市三級中心各業(yè)務(wù)模塊提供數(shù)據(jù)接入管理、數(shù)據(jù)集成與共享、數(shù)據(jù)分析以及數(shù)據(jù)應(yīng)用的全壽命周期數(shù)據(jù)管理服務(wù)。企業(yè)數(shù)據(jù)共享平臺總體架構(gòu)包括數(shù)據(jù)源層、數(shù)據(jù)集成層(ODS)、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層和數(shù)據(jù)應(yīng)用層。總體架構(gòu)如圖1所示。

(1)數(shù)據(jù)源層：由于公司數(shù)據(jù)管理具有業(yè)務(wù)龐雜、系統(tǒng)相互獨(dú)立、數(shù)據(jù)量大、數(shù)據(jù)異構(gòu)、數(shù)據(jù)質(zhì)量低等特點(diǎn)，因此，根據(jù)數(shù)據(jù)類型和集成需求將其分為實(shí)時(shí)數(shù)據(jù)(傳感器數(shù)據(jù)和智能電網(wǎng)設(shè)備數(shù)據(jù))、非結(jié)構(gòu)化數(shù)據(jù)(系統(tǒng)日志數(shù)據(jù)和文本、圖像、視頻文件)及數(shù)據(jù)中心數(shù)據(jù)。

(2)數(shù)據(jù)集成層：數(shù)據(jù)集成層是源數(shù)據(jù)層和數(shù)據(jù)倉庫之間的數(shù)據(jù)緩沖區(qū)，主要負(fù)責(zé)臨時(shí)存儲業(yè)務(wù)系統(tǒng)數(shù)據(jù)，進(jìn)行數(shù)據(jù)的初步清洗、加工和計(jì)算。本模型嚴(yán)格遵循公司現(xiàn)有的數(shù)據(jù)集成技術(shù)，一方面通過ESB/OGG/ETL/Webservice等方式實(shí)現(xiàn)與源數(shù)據(jù)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)貫通；另一方面采用DXP/OGG等技術(shù)可實(shí)現(xiàn)上下級中心間的數(shù)據(jù)交換與共享；另外，實(shí)時(shí)數(shù)據(jù)通過Kafka消息隊(duì)列接收來自不同源系統(tǒng)的實(shí)時(shí)數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)采用Flume組件實(shí)時(shí)的將分布在不同節(jié)點(diǎn)上的數(shù)據(jù)采集到數(shù)據(jù)倉庫中，F(xiàn)lume也具有在線數(shù)據(jù)轉(zhuǎn)換和直接消息的能力[10]。

(3)數(shù)據(jù)倉庫層：數(shù)據(jù)倉庫層的設(shè)計(jì)以國網(wǎng)SG-CIM公共信息模型主題域?yàn)榍疤幔纬山y(tǒng)一的數(shù)據(jù)視圖實(shí)現(xiàn)數(shù)據(jù)共享交換。本文以開源的Hadoop框架為底層架構(gòu)，構(gòu)建基于HBase和Hive的數(shù)據(jù)倉庫層，二者一般都是基于HDFS進(jìn)行元數(shù)據(jù)管理和數(shù)據(jù)存儲，通過Kafka、Sqoop、Flume、Mapreduce等技術(shù)實(shí)現(xiàn)異源異構(gòu)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、日志數(shù)據(jù)、業(yè)務(wù)系統(tǒng)數(shù)據(jù)等的共享交換[11]。Hbase具有很強(qiáng)的實(shí)時(shí)高并發(fā)處理能力，Hive通過類SQL并轉(zhuǎn)換成MapReduce程序，對于歷史數(shù)據(jù)的統(tǒng)計(jì)分析更具優(yōu)勢，二者對于數(shù)據(jù)共享需求優(yōu)勢互補(bǔ)。

(4)數(shù)據(jù)集市：數(shù)據(jù)集市一般面向具體業(yè)務(wù)部門、專業(yè)、具體問題進(jìn)行分析，動態(tài)組建所需的數(shù)據(jù)模型，基于數(shù)據(jù)倉庫中的數(shù)據(jù)，進(jìn)行數(shù)據(jù)靈活加載。數(shù)據(jù)集市層以公司的關(guān)鍵業(yè)務(wù)流程為基礎(chǔ)，可從精準(zhǔn)營銷、客戶管理、構(gòu)建高級場景、專項(xiàng)分析、深度分析、業(yè)務(wù)擴(kuò)展研究等方面開展，同時(shí)滿足數(shù)據(jù)應(yīng)用層的分析應(yīng)用需求，數(shù)據(jù)集市層更加偏向于業(yè)務(wù)方面的戰(zhàn)術(shù)性需求，目標(biāo)在于滿足企業(yè)特定應(yīng)用分析的即時(shí)性和高效性。

(5)數(shù)據(jù)應(yīng)用層：數(shù)據(jù)應(yīng)用層的設(shè)計(jì)依據(jù)國網(wǎng)公司“三集五大”戰(zhàn)略規(guī)劃，根據(jù)業(yè)務(wù)需要以及分析決策需求，采用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)挖掘分析及展示，對企業(yè)的關(guān)鍵業(yè)務(wù)流程進(jìn)行專題分析，通過數(shù)據(jù)訪問接口技術(shù)，實(shí)現(xiàn)企業(yè)人資集約化、財(cái)務(wù)集約化、物資集約化、大規(guī)劃、大建設(shè)、大運(yùn)行、大檢修、大營銷的戰(zhàn)略發(fā)展目標(biāo)。

3　模型的構(gòu)成

當(dāng)前比較成熟的數(shù)據(jù)共享模式主要有三種：基于聯(lián)邦數(shù)據(jù)庫的數(shù)據(jù)集成模式、基于中間件技術(shù)的數(shù)據(jù)集成模式、基于數(shù)據(jù)倉庫的數(shù)據(jù)集成模式。本文在建立的數(shù)據(jù)共享平臺總體架構(gòu)的基礎(chǔ)上，采用基于數(shù)據(jù)倉庫的數(shù)據(jù)集成模式，構(gòu)建了基于Hadoop架構(gòu)的數(shù)據(jù)共享模型，并且研究分析了模型的運(yùn)行機(jī)制，主要包括基于HDFS的元數(shù)據(jù)管理機(jī)制，基于“發(fā)布-訂閱”的數(shù)據(jù)分發(fā)策略，基于HBase的數(shù)據(jù)共享運(yùn)行機(jī)制以及數(shù)據(jù)共享模型容錯(cuò)機(jī)制[12]。

3.1　基于HDFS的元數(shù)據(jù)管理方案

本文研究的數(shù)據(jù)共享模型采用基于HDFS的元數(shù)據(jù)管理機(jī)制，HDFS采用的是Master/Slave模型，其對數(shù)據(jù)的存儲以數(shù)據(jù)塊(Block)為單位，由主元數(shù)據(jù)節(jié)點(diǎn)(Primary NameNode)、次元數(shù)據(jù)節(jié)點(diǎn)(Secondary NameNode)和數(shù)據(jù)節(jié)點(diǎn)(DataNode)構(gòu)成。HDFS的元數(shù)據(jù)由Block的屬性、從屬關(guān)系和所在位置構(gòu)成，其對元數(shù)據(jù)的管理策略采用“editlog+fsimage”動態(tài)集成方式，其中，editlog以操作日志的形式記錄下元數(shù)據(jù)操作的歷史信息，而fsimage是某時(shí)刻整個(gè)文件系統(tǒng)信息的映射文件，并且二者都支持多副本機(jī)制，保持系統(tǒng)運(yùn)行的一致性。基于HDFS的元數(shù)據(jù)管理機(jī)制如圖2所示。

圖2　基于HDFS的元數(shù)據(jù)管理方案

HDFS元數(shù)據(jù)管理機(jī)制：

(1)Primary NameNode通過Secondary NameNode的http post提交請求生成新的日志文件，并在edits.new文件中記錄最新請求的操作日志記錄；

(2)Secondary NameNode周期性的通過http get獲取鏡像文件fsimage和日志文件editlogs；

(3)Secondary NameNode加載fsimage文件到內(nèi)存中，同時(shí)執(zhí)行日志文件的操作，將二者合并為fsimage.ckpt文件；

(4)Secondary NameNode將fsimage.ckpt文件通過http post發(fā)送到Primary NameNode進(jìn)行存儲；

(5)Primary NameNode得到fsimage.ckpt文件后，對節(jié)點(diǎn)原有的鏡像文件和日志文件進(jìn)行更新，生成新的editlogs和fsimage；

(6)當(dāng)系統(tǒng)發(fā)生故障時(shí)，Primary NameNode就可以從Secondary NameNode進(jìn)行元數(shù)據(jù)更新，從而實(shí)現(xiàn)存儲數(shù)據(jù)的恢復(fù)。

3.2　黑板模型思想

黑板模型思想最早由Newell提出，是一種常見的數(shù)據(jù)架構(gòu)模式，針對需要解決的問題和不同的應(yīng)用之間協(xié)作共同完成。其基本思想就是多個(gè)專家協(xié)同來解決黑板上的問題，每個(gè)專家根據(jù)自己的領(lǐng)域更新相應(yīng)策略，然后其他專家在此基礎(chǔ)上進(jìn)一步不斷更新，直至問題全部解決。在數(shù)據(jù)共享模型中，該模式能夠?qū)崿F(xiàn)信息的實(shí)時(shí)共享，并且可以并發(fā)地進(jìn)行消息的更新，具有較高的獨(dú)立性、可維護(hù)性和重用性[13]。

黑板模型主要由三部分構(gòu)成：黑板、知識源(KS)和監(jiān)控機(jī)構(gòu)。黑板就相當(dāng)于本數(shù)據(jù)共享模型的全局?jǐn)?shù)據(jù)倉庫，知識源為集成到數(shù)據(jù)倉庫的各源數(shù)據(jù)庫系統(tǒng)。黑板由輸入數(shù)據(jù)、控制數(shù)據(jù)、部分解、最終解和備選方案等功能構(gòu)成，能夠?qū)Τ跏紨?shù)據(jù)、部分解等進(jìn)行共享處理。知識源是為黑板提供相應(yīng)信息和解空間的途徑，其通過“條件-動作”的形式進(jìn)行數(shù)據(jù)狀態(tài)的更新。監(jiān)控結(jié)構(gòu)通過監(jiān)聽黑板信息變化情況，然后通過相應(yīng)的服務(wù)激活相應(yīng)的數(shù)據(jù)庫接口信息，并將該操作加入到調(diào)度隊(duì)列中，緊接著調(diào)度程序會選擇合適的知識源對黑板上的問題進(jìn)行求解，根據(jù)其求解結(jié)果更新黑板狀態(tài)，最終實(shí)現(xiàn)所有的數(shù)據(jù)更新共享[9]。

3.3　基于“發(fā)布—訂閱”的數(shù)據(jù)分發(fā)策略

本文構(gòu)建的基于HBase的數(shù)據(jù)共享模型，采用了基于“發(fā)布-訂閱”的數(shù)據(jù)分發(fā)策略完成對數(shù)據(jù)的分發(fā)、接收操作。在該策略的模型中主要有三個(gè)角色，分別是消息發(fā)布者、消息訂閱者和發(fā)布訂閱服務(wù)器[10]。元數(shù)據(jù)庫系統(tǒng)針對需要共享的數(shù)據(jù)信息服務(wù)進(jìn)行注冊，同時(shí)HBase數(shù)據(jù)倉庫與發(fā)布訂閱服務(wù)器之間完成發(fā)布服務(wù)注冊以及配置好接口信息。當(dāng)發(fā)布者向發(fā)布訂閱服務(wù)器發(fā)布某條數(shù)據(jù)集成請求時(shí)，服務(wù)器就會自動匹配訂閱服務(wù)信息，并且激活相應(yīng)訂閱者的相應(yīng)操作，完成數(shù)據(jù)的集成共享過程。在實(shí)際應(yīng)用中，為了盡可能提高數(shù)據(jù)分發(fā)性能及效率，應(yīng)該部署專門的服務(wù)器負(fù)責(zé)接收和匹配對應(yīng)的消息和訂閱條件并完成數(shù)據(jù)的分發(fā)。該策略基于HBase的多副本機(jī)制和容災(zāi)機(jī)制，使得單個(gè)故障節(jié)點(diǎn)并不會影響整個(gè)數(shù)據(jù)倉庫的數(shù)據(jù)集成。圖3為“發(fā)布-訂閱”數(shù)據(jù)分發(fā)模型示意圖。

3.4　基于HBase的數(shù)據(jù)共享模式

本文在數(shù)據(jù)集成層和數(shù)據(jù)集市層之間，引入基于Hadoop架構(gòu)的數(shù)據(jù)倉庫層，針對各源系統(tǒng)數(shù)據(jù)，采用Sqoop、Flume、Kafka、ETL等集成技術(shù)實(shí)現(xiàn)數(shù)據(jù)集中管控、綜合治理、智能分析、高度共享。基于HBase的數(shù)據(jù)共享模式主要包括6部分：共享接口、數(shù)據(jù)復(fù)制、訂閱數(shù)據(jù)、共享數(shù)據(jù)管理器、數(shù)據(jù)源和元數(shù)據(jù)管理，將HBase作為數(shù)據(jù)倉庫與源數(shù)據(jù)庫系統(tǒng)之間的橋梁進(jìn)行數(shù)據(jù)共享。

圖3　“發(fā)布?訂閱”數(shù)據(jù)分發(fā)模型

在基于HBase的數(shù)據(jù)共享模式中，作為“黑板”出現(xiàn)的HBase數(shù)據(jù)倉庫與每個(gè)源數(shù)據(jù)庫也就是各個(gè)“知識源”之間，是通過其HBase共享接口與節(jié)點(diǎn)共享接口的連接，實(shí)現(xiàn)數(shù)據(jù)重建和數(shù)據(jù)復(fù)制共享，其中對數(shù)據(jù)的重建是HBase數(shù)據(jù)庫共享數(shù)據(jù)的方式，對于源系統(tǒng)數(shù)據(jù)通過數(shù)據(jù)重建的方式實(shí)現(xiàn)數(shù)據(jù)共享管理，并且對共享數(shù)據(jù)與系統(tǒng)數(shù)據(jù)之間進(jìn)行分開存儲，實(shí)現(xiàn)數(shù)據(jù)的集中管理，基于HDFS元數(shù)據(jù)管理的“監(jiān)控機(jī)構(gòu)”保證了整個(gè)數(shù)據(jù)共享機(jī)制的有序運(yùn)行[14]。

基于HBase的數(shù)據(jù)共享模式主要是通過建立全局模式與節(jié)點(diǎn)模式之間的虛擬映射關(guān)系來實(shí)現(xiàn)的；HBase數(shù)據(jù)倉庫與各元數(shù)據(jù)庫之間通過映射配置接口信息實(shí)現(xiàn)通信；節(jié)點(diǎn)模式下的數(shù)據(jù)資源通過映射關(guān)系轉(zhuǎn)換為全局模式視圖；這樣，HBase數(shù)據(jù)倉庫就會根據(jù)元數(shù)據(jù)庫的請求完成數(shù)據(jù)采集工作。如圖4所示，基于HDFS元數(shù)據(jù)管理技術(shù)主要包括元數(shù)據(jù)的獲取、元數(shù)據(jù)查詢、元數(shù)據(jù)映射、元數(shù)據(jù)操作等。在元數(shù)據(jù)管理技術(shù)的前提下，節(jié)點(diǎn)數(shù)據(jù)源以審核發(fā)布的方式將數(shù)據(jù)以數(shù)據(jù)復(fù)制的方式被存儲到HBase訂閱數(shù)據(jù)組。然后，HBase共享數(shù)據(jù)管理器將這部分?jǐn)?shù)據(jù)以全局視圖模式存儲到HBase數(shù)據(jù)庫中。其次，通過元數(shù)據(jù)映射和模式信息管理機(jī)制，HBase數(shù)據(jù)庫通過審核發(fā)布將數(shù)據(jù)以數(shù)據(jù)重建的方式抽取到節(jié)點(diǎn)數(shù)據(jù)訂閱組，并通過節(jié)點(diǎn)共享數(shù)據(jù)管理器將數(shù)據(jù)存儲到節(jié)點(diǎn)數(shù)據(jù)源中，實(shí)現(xiàn)二者之間的數(shù)據(jù)集成與共享。

圖4　基于HBase的數(shù)據(jù)共享運(yùn)行機(jī)制

4　結(jié)束語

本文在電網(wǎng)企業(yè)現(xiàn)有信息化建設(shè)及數(shù)據(jù)管理現(xiàn)狀的基礎(chǔ)上，研究分析了基于Hadoop架構(gòu)的電網(wǎng)企業(yè)數(shù)據(jù)共享模型，包括基于HDFS的元數(shù)據(jù)管理方案和基于Hbase的數(shù)據(jù)共享模式。該模型針對海量異源異構(gòu)數(shù)據(jù)的集成和處理有一定優(yōu)勢，有效地解決了電網(wǎng)企業(yè)數(shù)據(jù)共享中存在的擴(kuò)展能力低、低效容錯(cuò)、數(shù)據(jù)安全等問題。結(jié)合電網(wǎng)企業(yè)構(gòu)建了基于該模型的數(shù)據(jù)共享平臺總體架構(gòu)，為電網(wǎng)企業(yè)實(shí)現(xiàn)數(shù)據(jù)資源集中管控、數(shù)據(jù)信息高度共享、數(shù)據(jù)價(jià)值深度挖掘提供一定的借鑒，促進(jìn)公司各業(yè)務(wù)數(shù)據(jù)的全面集成和深度融合，幫助企業(yè)更好發(fā)掘數(shù)據(jù)的內(nèi)在價(jià)值，為企業(yè)的運(yùn)營管理提供科學(xué)決策和應(yīng)用價(jià)值。該模型有望為電網(wǎng)企業(yè)統(tǒng)一數(shù)據(jù)中心建設(shè)、全壽命周期數(shù)據(jù)治理體系構(gòu)建、大數(shù)據(jù)分析挖掘領(lǐng)域等提供數(shù)據(jù)層支持。此外，本文僅研究分析了電網(wǎng)企業(yè)數(shù)據(jù)共享建設(shè)框架思路，但是具體的數(shù)據(jù)移植、數(shù)據(jù)集成方案、硬件支撐等實(shí)施方案還需認(rèn)真深入研究。

參考文獻(xiàn)：

[1]王瑋,劉蔭,于展鵬，等.電力大數(shù)據(jù)環(huán)境下大數(shù)據(jù)中心架構(gòu)體系設(shè)計(jì)[J].電力信息與通信技術(shù),2016,14(1):31-36.

[2]張東霞,苗新,劉麗平.智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展研究[J].中國電機(jī)工程學(xué)報(bào),2015,35(1):22-34.

[3]王相偉,史玉良,張建林，等.基于Hadoop的用電信息大數(shù)據(jù)計(jì)算服務(wù)及應(yīng)用[J].電網(wǎng)技術(shù),2015,39(11):3128-3133.

[4]蘇學(xué)能,劉天琪,曹鴻謙，等.基于Hadoop架構(gòu)的多重分布式BP神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測方法[J].中國電機(jī)工程學(xué)報(bào),2016,23(8):43-53.

[5]王海豹.基于Hadoop架構(gòu)的數(shù)據(jù)共享模型研究[D].北京:北京工業(yè)大學(xué),2013.

[6]王德文.基于云計(jì)算的電力數(shù)據(jù)中心基礎(chǔ)架構(gòu)及其關(guān)鍵技術(shù)[J].電力系統(tǒng)自動化,2012,36(11):67-71.

[7]劉友波,劉洋,劉俊勇，等.基于Hadoop架構(gòu)的電力系統(tǒng)連鎖故障分布式計(jì)算技術(shù)[J].電力系統(tǒng)自動化,2016,40(07):90-97.

[8]Silberstein A E, Sears R, Zhou W,etal. A batch of PNUTS: experiences connecting cloud batch and serving systems[C].Proceedings of the 2011 ACM SIGMOD International Conference on Management of Data. Athens: ACM SIGMOD/PODS, 2011:1101-1112.

[9]Baliga J, Ayre R W A, Hinton K,etal. Green cloud computing: balancing energy in processing, storage, and transport[J]. Proceedings of the IEEE, 2011: 149-167.

[10] 齊林海,艾明浩,王金浩.基于Hadoop架構(gòu)的電能質(zhì)量監(jiān)測云模型研究[J].電力信息與通信技術(shù),2014,12(2):10-14.

[11] 刁柏青.智能電網(wǎng)框架下智能運(yùn)營系統(tǒng)的構(gòu)建[J].智能電網(wǎng),2014,2(04):1-7.

[12] 王逸飛,張行,何迪，等.基于大數(shù)據(jù)平臺的電網(wǎng)防災(zāi)調(diào)度系統(tǒng)功能設(shè)計(jì)與系統(tǒng)架構(gòu)[J].電網(wǎng)技術(shù),2016,40(10):11-14.

[13] 宋亞奇,周國亮,朱永利.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].電網(wǎng)技術(shù),2013,37(4):927-935.

[14] 彭小圣,鄧迪元,程時(shí)杰，等.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國電機(jī)工程學(xué)報(bào),2015,35(3),503-511.