分布式計算技術(shù)在電網(wǎng)計量運行數(shù)據(jù)分析中的應用研究

楊茗 王雷 劉斌 王軼

摘 要：智能電表及低壓集抄改造是深化電力體制改革和互聯(lián)網(wǎng)時代背景下，打造智能電網(wǎng)，實現(xiàn)電力營銷精益管理的必然要求。隨著省級計量自動化系統(tǒng)的應用深入，針對計量運行數(shù)據(jù)的深化應用是實現(xiàn)計量精益化工作的重點，而計量采集數(shù)是按分鐘級進行采集存儲，數(shù)據(jù)維度廣、采集頻率高、數(shù)據(jù)存儲量大，通過傳統(tǒng)的分析方式無法完成如此大量而復雜的數(shù)據(jù)分析工作。本文提出通過構(gòu)建分布式計算技術(shù)，解決目前計量運行數(shù)據(jù)分析中的技術(shù)難題。

關鍵詞：分布式計算;數(shù)據(jù)分析;計量運行數(shù)據(jù)

中圖分類號：TM73 文獻標識碼：A 文章編號：1671-2064（2019）03-0146-02

0 引言

隨著數(shù)字化電網(wǎng)及移動通信網(wǎng)絡的發(fā)展，要求電網(wǎng)發(fā)展向更加智能、高效、可靠、綠色方向轉(zhuǎn)變，企業(yè)管理向精益化方向轉(zhuǎn)變，同時結(jié)合目前電力體制改革和互聯(lián)網(wǎng)+戰(zhàn)略的發(fā)展訴求，對電網(wǎng)企業(yè)電能計量業(yè)務提出了更高的要求。目前電網(wǎng)計量業(yè)務朝著省級集中方向發(fā)展，實現(xiàn)全省計量業(yè)務的統(tǒng)一化、規(guī)范化、一體化開展，在支撐電網(wǎng)常規(guī)計量業(yè)務開展的基礎上，進一步需要開展針對計量運行數(shù)據(jù)的深化應用分析，提升電網(wǎng)企業(yè)在計量故障識別、數(shù)據(jù)采集率、實時線損、停電準確性等方面的深化應用。

1 計量運行數(shù)據(jù)分析現(xiàn)狀

目前計量數(shù)據(jù)涵蓋電力負荷、廠站電能量、配變監(jiān)測、低壓集抄不同維度的數(shù)據(jù)，涵蓋數(shù)據(jù)范圍包括：電壓、電流、潮流、表底、功率因素等不同數(shù)據(jù)，歷史數(shù)據(jù)存儲了幾年以上，需要把“沉睡”的數(shù)據(jù)變?yōu)橛袃r值應用。計量運行數(shù)據(jù)具有如下特點：

（1）數(shù)據(jù)量大：計量自動化系統(tǒng)目前涵蓋電力負荷管理、廠站電能量采集、配變監(jiān)測、低壓集抄四類數(shù)據(jù)，計量點數(shù)量多，采集的數(shù)據(jù)類型包含：電流、電壓、表底、功率因數(shù)等不同維度的數(shù)據(jù)，數(shù)據(jù)采集周期比較短，加上計量自動化系統(tǒng)上線運營的時間比較長，已經(jīng)積累了幾年的歷史數(shù)據(jù)，數(shù)據(jù)量極大。（2）數(shù)據(jù)變化快：系統(tǒng)每天都會產(chǎn)生業(yè)務歸檔數(shù)據(jù)，計量數(shù)據(jù)采集頻率較高，不同類型的數(shù)據(jù)時刻在發(fā)生著變化，即使同一只計量設備的數(shù)據(jù)，也隨著電網(wǎng)的運行時刻發(fā)生著變化。（3）數(shù)據(jù)維度廣：計量自動化系統(tǒng)涉及到電壓、電流、潮流、表底、功率因素等不同數(shù)據(jù)，不同維度的數(shù)據(jù)存儲結(jié)構(gòu)復雜多樣，存儲字段類型多。

目前電力企業(yè)已經(jīng)進行了一些有益嘗試。例如，建設基于數(shù)據(jù)中心的數(shù)據(jù)資源管理平臺，圍繞數(shù)據(jù)采集、存儲與計算相關技術(shù)，完成初步技術(shù)探索，大幅提升了數(shù)據(jù)治理效率，顯現(xiàn)出良好的應用效益，不僅使得分析效率提升數(shù)倍，還將硬件成本降低了50%以上，為后續(xù)構(gòu)建企業(yè)級大數(shù)據(jù)平臺奠定理論基礎。

2 基于分布式計算技術(shù)的分析

2.1 分布式計算技術(shù)簡介

分布式計算是一種計算方法，和集中式計算是相對的。有些應用需要非常巨大的計算能力才能完成，如果采用集中式計算，需要耗費相當長的時間來完成。分布式計算將該應用分解成許多小的部分，分配給多臺計算機進行處理。這樣可以節(jié)約整體計算時間，大大提高計算效率。

2.2 基于lts+zookeeper的分布式分析框架

（1）LTS分布式任務調(diào)度。LTS（light-task-scheduler）是一個輕量級分布式任務調(diào)度框架，參考hadoop的部分思想。有三種角色，JobClient，JobTracker，TaskTracker。各個節(jié)點都是無狀態(tài)的，可以部署多個，來實現(xiàn)負載均衡，實現(xiàn)更大的負載量，并且框架具有很好的容錯能力。（2）Zookeeper分布式應用協(xié)調(diào)。ZooKeeper是一個分布式的開源的分布式應用程序協(xié)調(diào)服務，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分布式同步、組服務等。

如圖1所示，計量數(shù)據(jù)分析任務可以向所有集群組提交，也支持向單個群組提交，例如：表碼分析任務比較大，可以配置讓所有集群組參與計算;亦可以根據(jù)業(yè)務規(guī)模估算任務與集群組處理的配置關系，比如：末端停電用戶分析任務需要快速處理，可由單獨的集群組進行計算處理。

2.3 基于Mycat+Mysql的分布式存儲

（1）Mycat數(shù)據(jù)庫中間件。Mycat是基于阿里開源的Cobar產(chǎn)品而研發(fā)，具有Cobar的穩(wěn)定性、可靠性、可擴展等優(yōu)秀特點。它核心原理就是拆數(shù)據(jù)，將一個張表的數(shù)據(jù)通過某個字段進行水平拆分后存到多張表中，如圖2所示，通過路由字段去不同的數(shù)據(jù)庫中查詢數(shù)據(jù)，同時也存在一定缺陷，那就是查詢語句中如果沒有路由字段Mycat將不知道該數(shù)據(jù)在那個分片數(shù)據(jù)庫上，會查詢所有的分片，在返回結(jié)果給客戶端。

（2）Mysql數(shù)據(jù)庫存儲。MySQL是一個關系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQL AB公司開發(fā)，目前屬于Oracle旗下產(chǎn)品。MySQL是最流行的關系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應用方面，MySQL是最好的RDBMS（Relational Database Management System，關系數(shù)據(jù)庫管理系統(tǒng)） 應用軟件。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標準化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低。

如圖3所示，通過分布式任務分析后的結(jié)果數(shù)據(jù)，基于Mycat進行數(shù)據(jù)路由，實現(xiàn)不同地區(qū)、月份的數(shù)據(jù)進行分布式存儲，解決海量數(shù)據(jù)的分析及存儲壓力。并根據(jù)業(yè)務數(shù)據(jù)的訪問效率，對于只做查詢的數(shù)據(jù)進行歷史表存儲，實現(xiàn)讀寫分離，解決數(shù)據(jù)查詢訪問效率。

3 計量運行數(shù)據(jù)分析應用效果

針對計量運行數(shù)據(jù)量大、數(shù)據(jù)變化快、數(shù)據(jù)維度廣的特點，構(gòu)建分布式計算框架，實現(xiàn)海量數(shù)據(jù)的分布式分析計算，有效地提升計量業(yè)務的精益化管理水平，開展針對電量、功率、電壓、電流、負載率、線損、停電等相關業(yè)務的精益化分析，提升電網(wǎng)運行管理能力。如圖4所示，基于計量日凍結(jié)表碼，每天進行臺區(qū)線損的計算，實現(xiàn)臺區(qū)線損的跟蹤分析，針對有異常的臺區(qū)進行跟蹤處理[1]。

圖5所示，基于日凍結(jié)表碼數(shù)據(jù)，實現(xiàn)對用戶日均用電情況的跟蹤處理，輔助電網(wǎng)企業(yè)進行電量波動、電力現(xiàn)貨交易、竊電等分析工作[2]。

4 結(jié)語

通過對分布式計算技術(shù)在計量運行數(shù)據(jù)分析中的研究，實現(xiàn)對海量計量數(shù)據(jù)的分析挖掘，實現(xiàn)客戶日用電情況分析、異常數(shù)據(jù)監(jiān)控等深度應用，使數(shù)據(jù)的價值得到最大程度的發(fā)揮，突破目前計量數(shù)據(jù)僅僅停留到表底采集的功能應用，把計量運行“沉睡”的數(shù)據(jù)盤活，提升電網(wǎng)企業(yè)計量業(yè)務的精益化管理水平，提升電網(wǎng)企業(yè)營銷業(yè)務管理能力。

參考文獻

[1] 高源晴.分布式計算在電能量計量系統(tǒng)中的研究與應用[J].科技資訊，2013（9）：8.

[2] 衡星辰，周力.分布式技術(shù)在電力大數(shù)據(jù)高性能處理中的應用[J].電力信息與通信技術(shù)，2013（9）：40-43.