基于Spark平臺的全景電網(wǎng)拓?fù)浞治鱿到y(tǒng)設(shè)計

劉晟東　陳以

摘要：在智能電網(wǎng)發(fā)展趨勢下，電力網(wǎng)絡(luò)規(guī)模與復(fù)雜性不斷增加，傳統(tǒng)電力拓?fù)浞治龇椒y以滿足全景大電網(wǎng)對實時性的需求，本文提出一種基于大數(shù)據(jù)框架Apache Spark的全景電網(wǎng)拓?fù)浞治鱿到y(tǒng)，實現(xiàn)復(fù)雜電網(wǎng)的實時拓?fù)浞治鲇嬎恪嶒灡砻魍負(fù)鋵崟r分析性能明顯高于傳統(tǒng)方法。

關(guān)鍵詞：電力系統(tǒng)；大數(shù)據(jù)；拓?fù)浞治觯籄pache Spark

中圖分類號：TM711 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2018）04-0155-01

電力系統(tǒng)拓?fù)浞治鲎麟娏ο到y(tǒng)分析的基礎(chǔ)，是電力系統(tǒng)狀態(tài)估計與仿真的重要組成部分[1]。智能電網(wǎng)的發(fā)展使電網(wǎng)的可靠性需求進(jìn)一步提高，傳統(tǒng)拓?fù)浞治龇绞揭呀?jīng)無法滿足智能電網(wǎng)的需求[2]。為實現(xiàn)全景電網(wǎng)的快速拓?fù)浞治觯岢隽艘环N基于Spark平臺的全景電網(wǎng)拓?fù)浞治鱿到y(tǒng)。該系統(tǒng)能夠處理多廠站互連的全景電網(wǎng)系統(tǒng)，在處理復(fù)雜電網(wǎng)時性能與效率優(yōu)于傳統(tǒng)拓?fù)浞治鱿到y(tǒng)。

1 Apache Spark

Spark是一個基于內(nèi)存分布式計算的集群計算框架，相較于MapReduce框架，Spark引入了彈性分布式數(shù)據(jù)集（RDD）的概念，將數(shù)據(jù)存儲在內(nèi)存中，提高了計算效率[3]。本文所提出的的基于Spark平臺的全景電網(wǎng)拓?fù)浞治鱿到y(tǒng)綜合Spark Streaming與Spark Graphx組件來對復(fù)雜電力系統(tǒng)進(jìn)行拓?fù)浞治觥?/p>

2 基于Spark平臺的全景電網(wǎng)拓?fù)浞治鱿到y(tǒng)

電網(wǎng)拓?fù)浞治鱿到y(tǒng)主要包括數(shù)據(jù)采集傳輸模塊，消息傳輸模塊，分布式流式計算模塊，以及輸出模塊。

2.1 數(shù)據(jù)采集與消息模塊

對于節(jié)點(diǎn)規(guī)模較大的電力系統(tǒng)，傳統(tǒng)電力系統(tǒng)數(shù)據(jù)采集系統(tǒng)SCADA會出現(xiàn)性能不足的問題，采用kafka分布式消息系統(tǒng)與數(shù)據(jù)采集系統(tǒng)結(jié)合的方式，能夠提高系統(tǒng)的吞吐量與響應(yīng)速度。采集系統(tǒng)收集廠站內(nèi)部的拓?fù)湫畔ⅲ凑諘r間間隔上傳給kafka消息系統(tǒng)，Kafka系統(tǒng)將數(shù)據(jù)進(jìn)行解析分區(qū)，傳輸給流計算模塊。

2.2 拓?fù)浞治雠c流計算模塊

運(yùn)行在Spark集群上的流式計算模塊是本文系統(tǒng)核心部分。流計算程序分為三個步驟：

步驟1：讀取Kafka系統(tǒng)傳輸數(shù)據(jù)，對于輸入信息中包含各個地區(qū)信息的Dstream進(jìn)行處理，得到包含全網(wǎng)拓?fù)湫畔⒌腄stream。

步驟2：對步驟1生成的Dstream進(jìn)行操作，構(gòu)建edgesRDD與verticesRDD并構(gòu)造出拓?fù)鋱D，采用GraphX的connect components算法，對拓?fù)鋱D進(jìn)行并行迭代，劃分出拓?fù)鋱D的聯(lián)通片。

步驟3：將步驟2中得出的結(jié)果進(jìn)行解析存儲。

3 實驗與分析

3.1 實驗環(huán)境

采用CDH平臺搭建了一個由六臺服務(wù)器組成的實驗集群，輸入不同規(guī)模的數(shù)據(jù)對系統(tǒng)進(jìn)行實驗測試。

3.2 實驗內(nèi)容與結(jié)果分析

以五個不同規(guī)模的電力系統(tǒng)對系統(tǒng)進(jìn)行測試，分別通過深度優(yōu)先搜索法，廣度優(yōu)先搜索法，關(guān)聯(lián)矩陣法與提出的系統(tǒng)進(jìn)行對比。拓?fù)浞治龅暮臅r對比情況如表1所示，從表中可以發(fā)現(xiàn)，對于節(jié)點(diǎn)數(shù)較多的電力系統(tǒng)，基于Spark的全景電網(wǎng)拓?fù)浞治鱿到y(tǒng)的計算效率優(yōu)于傳統(tǒng)算法。對于規(guī)模越大的拓?fù)鋽?shù)據(jù)，基于Spark平臺的拓?fù)浞治鱿到y(tǒng)的計算處理優(yōu)勢越明顯。

4 結(jié)語

本文提出一種基于Spark 平臺的全景電網(wǎng)拓?fù)浞治鱿到y(tǒng)，采用大數(shù)據(jù)處理技術(shù)分析大型電網(wǎng)拓?fù)洹Ｍㄟ^實驗分析，本系統(tǒng)可提高復(fù)雜電網(wǎng)的拓?fù)浞治鲂剩⑶揖哂辛己玫耐卣剐浴?/p>

參考文獻(xiàn)

[1]徐巖，宋艷爭，張亞剛，等.基于廣域測量系統(tǒng)的改進(jìn)電網(wǎng)拓?fù)浣Y(jié)構(gòu)識別[J].電網(wǎng)技術(shù)，2010，34（9）：88-93.

[2]陳國平，李明節(jié)，許濤，等.關(guān)于新能源發(fā)展的技術(shù)瓶頸研究[J].中國電機(jī)工程學(xué)報，2017，37（1）：20-26.

[3]Zaharia M， Chowdhury M， Franklin M J， et al. Spark： cluster computing with working sets[C]// Usenix Conference on Hot Topics in Cloud Computing. USENIX Association， 2010：10-10.