新時期基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用探討

摘 要：電力系統(tǒng)發(fā)展中，電力大數(shù)據(jù)與云計(jì)算技術(shù)之間的相互融合，已經(jīng)成為其重要發(fā)展方向，為此可對基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)及應(yīng)用加以探討。本文以梅州供電局為例，首先對云計(jì)算技術(shù)及電力大數(shù)據(jù)進(jìn)行全面分析與有效闡述，進(jìn)而探討云計(jì)算技術(shù)在電力大數(shù)據(jù)分析技術(shù)中的有效應(yīng)用策略。

關(guān)鍵詞：云計(jì)算；電力大數(shù)據(jù)；數(shù)據(jù)資源管理平臺

中圖分類號：TM769 文獻(xiàn)標(biāo)識碼：A 文章編號：1004-7344（2018）35-0110-02

前 言

供電企業(yè)構(gòu)建全面化的數(shù)據(jù)資源管理平臺，強(qiáng)化數(shù)據(jù)分析能力，以滿足供電企業(yè)的實(shí)際需求，通過整合并調(diào)取各種業(yè)務(wù)系統(tǒng)數(shù)據(jù)，按照相應(yīng)數(shù)據(jù)資源管理平臺模型設(shè)計(jì)要求，實(shí)現(xiàn)數(shù)據(jù)信息的有效組織與存儲工作，支撐供電企業(yè)的業(yè)務(wù)開發(fā)及數(shù)據(jù)應(yīng)用，為供電企業(yè)管理及決策提供數(shù)據(jù)基礎(chǔ)。本次研究分析，旨在推動數(shù)據(jù)資源管理平臺的搭建，滿足單位本地化業(yè)務(wù)數(shù)據(jù)應(yīng)用的需求。

1 云計(jì)算及電力大數(shù)據(jù)的相關(guān)論述

1.1 云計(jì)算技術(shù)

云計(jì)算技術(shù)是一種對于數(shù)據(jù)信息的處理系統(tǒng)，可對數(shù)據(jù)信息進(jìn)行云存儲，并通過云計(jì)算對數(shù)據(jù)進(jìn)行大規(guī)模分布式計(jì)算分析，該技術(shù)的應(yīng)用，可滿足用戶對于海量數(shù)據(jù)的處理與計(jì)算能力，可向用戶提供虛擬化與動態(tài)化的信息數(shù)據(jù)服務(wù)，實(shí)現(xiàn)資源的動態(tài)調(diào)配，基于用戶實(shí)際需求提供服務(wù)，以有效避免資源的不必要消耗與浪費(fèi)，提高企業(yè)的競爭力。云計(jì)算技術(shù)的應(yīng)用，可滿足信息化時代對于資源利用的橫向拓展與負(fù)載均衡方面的要求，以云計(jì)算技術(shù)為支撐，為數(shù)據(jù)中心增加節(jié)點(diǎn)，向新的節(jié)點(diǎn)進(jìn)行負(fù)載遷移，采取有效措施實(shí)現(xiàn)節(jié)點(diǎn)負(fù)載均衡，以強(qiáng)化系統(tǒng)業(yè)務(wù)能力，并通過大規(guī)模的數(shù)據(jù)節(jié)點(diǎn)，通過高效化的信息網(wǎng)絡(luò)，向用戶提供計(jì)算及儲存工作所需數(shù)據(jù)。

1.2 電力大數(shù)據(jù)

電力大數(shù)據(jù)是基于智能電網(wǎng)，在電力網(wǎng)絡(luò)運(yùn)行GIS系統(tǒng)、營銷管理系統(tǒng)、計(jì)量自動化系統(tǒng)、配網(wǎng)自動化主站系統(tǒng)等業(yè)務(wù)系統(tǒng)所產(chǎn)生的數(shù)據(jù)信息，均利用電力大數(shù)據(jù)進(jìn)行統(tǒng)一管理。同時，供電單位的業(yè)務(wù)開展涵蓋了輸電、變電、配電、供電等各個環(huán)節(jié)，隨著電力系統(tǒng)的不斷運(yùn)行，職能系統(tǒng)應(yīng)用的日益深入，供電單位信息系統(tǒng)中累積大量歷史數(shù)據(jù)，共同成為供電單位信息數(shù)據(jù)的重要資源。考慮到數(shù)據(jù)量的不斷增加，以及供電單位業(yè)務(wù)開展的需要，應(yīng)強(qiáng)化對于數(shù)據(jù)信息的整合與應(yīng)用，對數(shù)據(jù)背后的業(yè)務(wù)發(fā)展趨勢及發(fā)展規(guī)律加以明確。同時，需要充分明確不同業(yè)務(wù)數(shù)據(jù)之間的關(guān)聯(lián)性，從全面化的角度進(jìn)行主題構(gòu)建，立足于數(shù)據(jù)主題進(jìn)行分析，充分利用數(shù)據(jù)信息對供電單位業(yè)務(wù)工作的開展提供指導(dǎo)，對企業(yè)戰(zhàn)略規(guī)劃提供輔助[1]。

2 立足于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)及其應(yīng)用

2.1 大數(shù)據(jù)的預(yù)處理

電力行業(yè)發(fā)展的同時，電力供應(yīng)、設(shè)備運(yùn)行、故障數(shù)據(jù)、生產(chǎn)調(diào)度、市場營銷等各個環(huán)節(jié)所產(chǎn)生的數(shù)據(jù)信息的規(guī)模不斷增大，隨著電力系統(tǒng)的不斷發(fā)展，這些數(shù)據(jù)信息的增速會越來越快，產(chǎn)生極大的數(shù)據(jù)量，加上各信息系統(tǒng)間數(shù)據(jù)不同源問題，這就需要進(jìn)行高效及時的數(shù)據(jù)處理，以保證各系統(tǒng)的協(xié)同數(shù)據(jù)一致，提高數(shù)據(jù)質(zhì)量水平。可采用云計(jì)算技術(shù)參與電力大數(shù)據(jù)的預(yù)處理，對數(shù)據(jù)信息進(jìn)行清理、集成與轉(zhuǎn)換等操作。

同時，對電力生產(chǎn)及供應(yīng)過程中，各個環(huán)節(jié)的數(shù)據(jù)信息進(jìn)行融合與挖掘，便于及時明確電力能源生產(chǎn)及供應(yīng)中的薄弱環(huán)節(jié)，便于采取相應(yīng)的應(yīng)對與優(yōu)化措施。電力網(wǎng)絡(luò)的發(fā)展，還可基于大數(shù)據(jù)信息與指導(dǎo)，指導(dǎo)電力企業(yè)的運(yùn)行與發(fā)展規(guī)劃，指導(dǎo)電力生產(chǎn)企業(yè)的運(yùn)行與管理工作，基于大數(shù)據(jù)分析，強(qiáng)化對于企業(yè)的日常管理觀念及經(jīng)營決策工作。電力大數(shù)據(jù)還可反映經(jīng)濟(jì)社會發(fā)展中對于能源資源的需求與消耗，電力大數(shù)據(jù)具備較高的時效性與精準(zhǔn)性，可用以分析經(jīng)濟(jì)發(fā)展，并對經(jīng)濟(jì)走勢進(jìn)行有效預(yù)測。

2.2 大數(shù)據(jù)分析系統(tǒng)

2.2.1 功能訴求

電力大數(shù)據(jù)的信息采集乃至數(shù)據(jù)分析階段，需要利用多個環(huán)節(jié)加以實(shí)現(xiàn)。電力大數(shù)據(jù)的采集，也需要較多傳感設(shè)備與智能電表進(jìn)行數(shù)據(jù)采集，在數(shù)據(jù)采集中，需要按照頻率進(jìn)行周期性采集，以信息通訊渠道向數(shù)據(jù)中心進(jìn)行信息傳遞，存于海量準(zhǔn)實(shí)時平臺。海量準(zhǔn)實(shí)時平臺定期向數(shù)據(jù)資源管理平臺回流采集數(shù)據(jù)信息。在采集數(shù)據(jù)信息的過程中，需要進(jìn)行信息的轉(zhuǎn)譯與解析。為避免大面積、大范圍的云存儲系統(tǒng)訪問情況，在完成數(shù)據(jù)采集之后，將數(shù)據(jù)信息首先置于緩沖池，便于對數(shù)據(jù)信息進(jìn)行預(yù)處理。

除了定期采集數(shù)據(jù)之外，設(shè)備設(shè)施及電力系統(tǒng)運(yùn)行中所形成的靜態(tài)信息由省公司數(shù)據(jù)倉庫定期回流至數(shù)據(jù)資源管理平臺，可形成檔案信息庫，在關(guān)系數(shù)據(jù)庫中加以保存，并在云存儲系統(tǒng)中得以復(fù)制。更新檔案數(shù)據(jù)庫時，應(yīng)當(dāng)在云存儲系統(tǒng)中進(jìn)行同步更新，為數(shù)據(jù)信息的計(jì)算結(jié)果精準(zhǔn)性提供保障。在訪問云存儲系統(tǒng)時，可在并行計(jì)算環(huán)境下進(jìn)行，以業(yè)務(wù)邏輯為根基，對數(shù)據(jù)信息進(jìn)行復(fù)雜分析與有效計(jì)算，在云存儲系統(tǒng)中錄入計(jì)算結(jié)果，以滿足數(shù)據(jù)信息在線查詢與在線檢索的需要[2]。

2.2.2 功能模塊

（1）HDFS，該系統(tǒng)模塊為數(shù)據(jù)資源管理平臺的核心模塊，在電力大數(shù)據(jù)領(lǐng)域中的應(yīng)用，可實(shí)現(xiàn)對于大數(shù)據(jù)的長時間存儲。HDFS涵蓋多個數(shù)據(jù)服務(wù)器，被劃分為若干數(shù)據(jù)塊，在不同的數(shù)據(jù)服務(wù)器中均有分布。不同的數(shù)據(jù)塊都包含若干副本，在相應(yīng)數(shù)據(jù)節(jié)點(diǎn)上分布，若出現(xiàn)副本無法訪問的現(xiàn)象，則系統(tǒng)會自行創(chuàng)建新的副本，為系統(tǒng)運(yùn)行的均衡性提供保障。

（2）Hadoop，該模塊基于Map-Reduce并行編程框架，進(jìn)行框架開源處理打造的功能模塊。Map-Reduce包括Map及Reduce兩種函數(shù)，前者當(dāng)輸入數(shù)據(jù)對轉(zhuǎn)換時，可生成中間結(jié)果數(shù)據(jù)對；后者可對key相同一組的value加以處理，確定處理結(jié)果，將其錄入HDFS系統(tǒng)中。

（3）Hive，該模塊以Hadoop平臺為基礎(chǔ)，可實(shí)現(xiàn)對于電力大數(shù)據(jù)的有效分析與數(shù)據(jù)源核算，該模塊具備HiveQL查詢語言，可基于該接口進(jìn)行系統(tǒng)查詢。同時，HQL查詢具備一組Map-Reduce程序，整合數(shù)據(jù)信息，構(gòu)成表格，并在HDFS中進(jìn)行存儲。除此之外，以云計(jì)算為基礎(chǔ)的數(shù)據(jù)資源管理平臺的搭建，還包括監(jiān)控工具及運(yùn)行工具，前者用于對系統(tǒng)狀態(tài)進(jìn)行監(jiān)控，后者用于對資源使用及系統(tǒng)調(diào)度加以運(yùn)行。

2.2.3 關(guān)鍵技術(shù)

云計(jì)算基礎(chǔ)上的大數(shù)據(jù)分析技術(shù)在搭建數(shù)據(jù)資源管理平臺中的實(shí)際應(yīng)用，應(yīng)充分體現(xiàn)在其關(guān)鍵技術(shù)的應(yīng)用方面，弱化電力大數(shù)據(jù)分析與應(yīng)用難度，優(yōu)化Hive的性能及應(yīng)用效果。為推出電力大數(shù)據(jù)信息系統(tǒng)的應(yīng)用價值，可從以下方面采取有效措施：①以網(wǎng)格文件為基礎(chǔ)的多維索引。考慮到Hive并不十分支持多維索引，只具備整體表面掃描的功能，通過這種方式獲取相應(yīng)信息，就會導(dǎo)致較為嚴(yán)重的資源消耗，影響系統(tǒng)性能。針對這種問題，可采取網(wǎng)格文件為基礎(chǔ)的多維索引技術(shù)，以強(qiáng)化多維區(qū)間查詢功能；②以查詢重寫為基礎(chǔ)的自動翻譯工具。Hive可采用SQL子集中的HQL為查詢語言，該查詢語言中的語法差異較為明顯，可采用以查詢重寫技術(shù)為基礎(chǔ)的自動翻譯工具QMapper，解析SQL語句，以實(shí)現(xiàn)查詢重寫；③以數(shù)據(jù)更新為基礎(chǔ)的混合存儲模型，可采取混合存儲架構(gòu)，整合主表及附表，有效提高流式讀寫功能實(shí)現(xiàn)的高效性[3]。

3 結(jié) 語

大數(shù)據(jù)環(huán)境下，電力系統(tǒng)運(yùn)行過程中所產(chǎn)生的電力大數(shù)據(jù)，可以采用云計(jì)算技術(shù)進(jìn)行充分利用，發(fā)揮電力大數(shù)據(jù)的重要作用與價值，為此，可首先利用云計(jì)算技術(shù)對電力大數(shù)據(jù)進(jìn)進(jìn)行預(yù)處理，進(jìn)而利用云計(jì)算技術(shù)，搭建數(shù)據(jù)資源管理平臺，以強(qiáng)化電力大數(shù)據(jù)與云計(jì)算技術(shù)的有效結(jié)合。

參考文獻(xiàn)

[1]吳秉奇.云計(jì)算環(huán)境下電力大數(shù)據(jù)的分析技術(shù)與應(yīng)用[J].淮南職業(yè)技術(shù)學(xué)院學(xué)報，2018，18（03）：4～5.

[2]王向紅，陳瀟一.云計(jì)算與電力大數(shù)據(jù)技術(shù)的現(xiàn)狀及發(fā)展趨勢研究[J].陜西電力，2017，45（06）：70～72.

[3]吳凱峰，劉萬濤，李彥虎，蘇伊鵬，肖 政，裴旭斌，虎嵩林.基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].中國電力，2015，48（02）：111～116+127.

收稿日期：2018-11-7

作者簡介：丘 丹（1988-），女，工程師，大學(xué)本科，主要從事信息運(yùn)維工作。