智能電網建設中云計算大數據處理技術的運用分析

尹君 繆剛 桑遙 李太華

【摘要】 隨著社會的發展，電力系統越來越龐大，這使得電力數據的分析與處理越來越復雜，需要引入現代數據科技以使電力系統在新時代獲得快速發展，進而更好的為人們生產生活服務。本文以云計算技術為視角，對智能電網大數據處理進行詳細分析。

【關鍵詞】 智能電網 云計算 大數據處理

智能電網是電力系統發展的趨勢，是在融合傳統電力技術與現代自動化技術的基礎上對電力系統多個環節采集大量數據，并進行挖掘、分析與決策，從而達到提升電力系統服務質量，增強電網運行穩定性與可靠性。隨著電力系統共的不斷發展，現代自動化技術不斷應用到其中，進而產生海量數據，即電力大數據。

從目前的電力系統大數據分析技術的運用情況來看，多數系統時基于數據庫的，但其可伸縮性差，分析速度慢，難以適應智能電網要求，因此在這種情況下，引入云計算技術能夠取得良好效果。

一、電力系統大數據特征及云計算分析

1.1電力大數據特征

電力大數據主要涉及發電、配電、輸電、營銷及管理等各環節所產生的大數據，這些數據最終匯聚到數據中心進行統一存儲管理。

一般來說，電力大數據具備以下主要特征：一是數據體量大，智能電網中各環節所傳輸入數據中心的數據規模成指數級激增，通常會達到TB甚至PB量級；二是數據種類繁多，通常涉及到整個電網中的所有環節的數據，比如傳統結構性數據以及營銷、管理、服務等非結構化數據等；三是數據采集、傳輸、處理速度快；四是電力大數據通常蘊含用戶用電信息，這對于智能電網的合理規劃和安排十分關鍵；五是跨行業間數據交互頻繁。

1.2云計算優勢

對于云計算的概念界定來看，學術界及自動化、智能網絡等領域對云計算具有以下定義：云計算是一種全新的大規模分布式計算模式，起源于互聯網公司對大量計算機與存儲資源的需求以及對可仲縮、高性能、高可用等特征的追求。云計算技術對于智能電網大數據處理而言具有突出的優勢。云計算聚合了大量分布、異構的資源，能夠向電力用戶提供海量的數據存儲與計算能力。此外，云計算還提供了橫向伸縮與動態負載均衡能力，這無疑極大的提升了智能電網大數據存儲和處理的效率和質量。

二、電力大數據分析系統體系結構

從本質上來講，智能電網的大數據系統實時從電力系統多環節的傳感器與智能電表中采集數據資料，運用云計算技術進行加工處理，并快速準確的提供給用戶查詢。因此基于云計算的智能電網大數據系統結構包括以下主要模塊：①分布式文件系統模塊，用于智能電網大數據持久性存儲；②Hadoop分布式系統基礎框架；③基于Hadoop平臺的數據倉庫系統Hive，對電力大數據進行分析計算；④監控工具與運行調度工具；⑤開發工具集包括SQL翻譯、并行ETL工具、索引管理、任務管理等工具。

三、關鍵技術

3.1基于網格文件的多維索引

對智能電力大數據系統中Hive而言，其自身存在一定的缺點，比如較弱的索引支持，這將導致浪費CPU進而影響大數據分析性能。Hive自身卻又具備多維區間查詢特征，而且查詢維度較為固定，因此在此基礎上引入索引技術來過濾無關數據將明顯提升云計算對大數據的處理性能。對于智能電網的電力大數據特征，且考慮到Hive的弱索引支持，可引入或設計基于網格文件的分布式多維索引，用于提高Hive的索引性能。

3.2基于查詢重寫的SQL到HQL自動翻譯工具

Hive的查詢語言HQL是SQL的一個子集，具有顯著的語法差異。在智能電網的大數據存儲與處理中，電力大數據中存在大量的SQL語句，這些語句中很大比例使用了多項HQL不支持的SQL特性，這使得該語句在向云計算遷移時需要進行必要的翻譯，但是又因為HQL與SQL之間的不兼容，導致這些語句需要經過人工翻譯，這必然極大的加大了工作量，而且還容易出現差錯。在這種情況下，引入自動翻譯工具QMapper，能夠使SQL語句經過翻譯得到多個等價的HQL語句，然后通過JOIN優化器統計與反饋，完成最終的轉換結果。

3.3支持數據更新的混合存儲模型

在智能電網大數據系統中，云計算技術所涉及的Hive不支持數據更新與刪除，智能重寫完整數據表文件，但是實際工作中，對數據的更新與刪除操作較多，這無疑會造成較多的困難。在此基礎上，可設計一種混合型存儲架構，由主表與附表組成，其中主表用于存儲，附表則用于存儲對主表中數據的更改信息。設計的這種混合型存儲架構在原生HQL的基礎上增加了對大數據的數據更新和語意刪除功能，而且當需要讀取數據時，則接口同時訪問主表與附表。隨著存儲數據的不斷增大，一旦主表定期更新之后，附表數據被清空。

參 考 文 獻

[1]黃智鑫.基于云計算的智能電網調度系統的研究[D].天津理工大學.2014.1

[2]孟祥萍，周來.云計算技術在未來智能電網信息處理平臺中的應用[J].計算機測量與控制.2015.10

[3]陳杰，張躍宇.云計算在智能電網中的應用及其安全問題研究[J].中興通訊技術.2012.6