基于大數(shù)據(jù)的電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)研究

洪凱

（國(guó)家電投集團(tuán)黃河上游水電開(kāi)發(fā)有限責(zé)任公司 青海省西寧市 810008）

隨著智能電網(wǎng)建設(shè)進(jìn)程的不斷推進(jìn)，電力設(shè)備運(yùn)行數(shù)據(jù)呈現(xiàn)出了指數(shù)增長(zhǎng)規(guī)模，所有信息集中到調(diào)控中心，給數(shù)據(jù)分析存儲(chǔ)工作帶來(lái)了不小的壓力。在此背景下，傳統(tǒng)調(diào)控分析手段已經(jīng)無(wú)法滿足實(shí)際需求，研究和推廣大數(shù)據(jù)分析系統(tǒng)勢(shì)在必行。

1 應(yīng)用大數(shù)據(jù)設(shè)計(jì)電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)

1.1 監(jiān)測(cè)電力設(shè)備運(yùn)行狀態(tài)

電力設(shè)備運(yùn)行過(guò)程中，常會(huì)因?yàn)樵O(shè)備缺陷、信號(hào)干擾、不良天氣等因素的影響，出現(xiàn)超負(fù)荷運(yùn)行、跳閘等情況，為整個(gè)系統(tǒng)的運(yùn)行埋下安全隱患，而利用大數(shù)據(jù)技術(shù)，設(shè)備運(yùn)行參數(shù)得以被實(shí)時(shí)傳輸?shù)奖O(jiān)控終端，工作人員只需要對(duì)系統(tǒng)傳回的圖像進(jìn)行查看和分析，就可以發(fā)現(xiàn)這些異常，大大提升可監(jiān)測(cè)工作的靈敏度。其次，在日益激烈的競(jìng)爭(zhēng)環(huán)境下，電力企業(yè)的發(fā)展需求也在日益高漲，通過(guò)大數(shù)據(jù)設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)，企業(yè)方可以深入挖掘消費(fèi)者用電需求，為戰(zhàn)略發(fā)展計(jì)劃的制定提供科學(xué)的數(shù)據(jù)支撐，同時(shí)為班組工作、運(yùn)維計(jì)劃等的安排提供依據(jù)。再者，通過(guò)大數(shù)據(jù)技術(shù)的分析，還可以實(shí)現(xiàn)對(duì)用戶停電情況的監(jiān)測(cè)，通過(guò)繪制停電原因、時(shí)間等因素的關(guān)系圖，便于工作人員了解用戶停電實(shí)況。

1.2 實(shí)現(xiàn)設(shè)備故障動(dòng)態(tài)分析

隨著社會(huì)經(jīng)濟(jì)的發(fā)展，我國(guó)對(duì)電力能源的需求規(guī)模不斷擴(kuò)大，大部分地區(qū)的電網(wǎng)都進(jìn)入了不停機(jī)狀態(tài)，給電力設(shè)備帶來(lái)運(yùn)行壓力的同時(shí)，故障動(dòng)態(tài)分析工作也受到了不小的阻力。應(yīng)用大數(shù)據(jù)分析技術(shù)，一是可以提升主線故障分析效率，當(dāng)主線開(kāi)關(guān)跳閘時(shí)，大數(shù)據(jù)分析系統(tǒng)可以直接對(duì)系統(tǒng)展開(kāi)由上至下的拓?fù)浞治觯瑥亩瓿尚畔⒅辈伞．?dāng)主線出現(xiàn)故障，但并未出現(xiàn)跳閘情況時(shí)，大數(shù)據(jù)系統(tǒng)也可以以各分支線路數(shù)據(jù)為基礎(chǔ)[1]，以電源和開(kāi)關(guān)為起點(diǎn)開(kāi)展閉環(huán)拓?fù)浞治觯瑥亩鴺?gòu)建出停電模型，得出主線故障原因。二是可以對(duì)支線故障進(jìn)行動(dòng)態(tài)分析，支線的分析方式與主線有異曲同工之處，系統(tǒng)不僅可以在故障線路中完成拓?fù)浞治觯部梢砸愿婢绞皆谡麄€(gè)線路中進(jìn)行系統(tǒng)分析。此外，利用大數(shù)據(jù)分析系統(tǒng)，還可以檢測(cè)出設(shè)備失電故障和接地故障，為檢修工作提供依據(jù)。

2 基于大數(shù)據(jù)的電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)

2.1 技術(shù)框架

本文采用Hadoop 作為基礎(chǔ)技術(shù)框架，它具有較強(qiáng)的延展性與穩(wěn)定性，適用于多種場(chǎng)景下的異構(gòu)性數(shù)據(jù)處理。在電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)中，HDFS 負(fù)責(zé)存儲(chǔ)用戶數(shù)據(jù)、設(shè)備參數(shù)等，MapReduce 則負(fù)責(zé)分析處理這些數(shù)據(jù)。分布式存儲(chǔ)模式下，多個(gè)數(shù)據(jù)節(jié)點(diǎn)的使用能有效保障數(shù)據(jù)安全，客戶端識(shí)別功能還可以提高數(shù)據(jù)讀取效率，結(jié)合操作日志文件與元數(shù)據(jù)鏡像文件的使用，操作更新記錄也得以實(shí)現(xiàn)，大大減少了系統(tǒng)崩潰帶來(lái)數(shù)據(jù)丟失的風(fēng)險(xiǎn)。應(yīng)用分布式并行處理系統(tǒng)，則可以同時(shí)完成設(shè)備變配電情況、網(wǎng)線運(yùn)行、用電負(fù)荷等變化劇烈數(shù)據(jù)的處理，同時(shí)，任何一個(gè)map 的故障都不會(huì)影響其余節(jié)點(diǎn)運(yùn)行，整個(gè)框架運(yùn)行更加順暢和穩(wěn)定。此外，利用MapReduce 還可以實(shí)現(xiàn)大數(shù)據(jù)挖掘，通構(gòu)建相關(guān)性模型，有助于挖掘停電設(shè)備、停電區(qū)間、影響因素等項(xiàng)目之間的內(nèi)在關(guān)聯(lián)度，從而有效地規(guī)避風(fēng)險(xiǎn)，以防代修，提升電網(wǎng)運(yùn)行穩(wěn)定性。

2.2 系統(tǒng)結(jié)構(gòu)

在宏觀設(shè)計(jì)思路中，電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)大體可以被分為數(shù)據(jù)采集層、管理層、訪問(wèn)層以及應(yīng)用層，采集層為基礎(chǔ)環(huán)節(jié)，主要負(fù)責(zé)獲取設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)；管理層為核心環(huán)節(jié)，可以通過(guò)OLPA 完成倉(cāng)庫(kù)數(shù)據(jù)提取[2]，負(fù)責(zé)數(shù)據(jù)存儲(chǔ)和分析；訪問(wèn)層則是應(yīng)用環(huán)節(jié)，集統(tǒng)計(jì)、查詢與分析為一體，同時(shí)通過(guò)用戶接口提供數(shù)據(jù)訪問(wèn)功能，應(yīng)用層則主要負(fù)責(zé)實(shí)現(xiàn)面向用戶進(jìn)行查詢統(tǒng)計(jì)、數(shù)據(jù)挖掘等，以提升變配電、售電決策的科學(xué)性，詳見(jiàn)圖1。具體設(shè)計(jì)中：我們采用了B/S 系統(tǒng)結(jié)構(gòu)，服務(wù)器部署于Hadoop 之上，信息內(nèi)容則通過(guò)tomcat 發(fā)布，運(yùn)用RESTful Web 作為服務(wù)器和瀏覽器之間的通信工具。實(shí)際操作過(guò)程中，工作人員只需要登錄瀏覽器，并點(diǎn)擊相應(yīng)板塊的頁(yè)面，就可以發(fā)出內(nèi)部資源共享申請(qǐng)，工作完成后，Hadoop 會(huì)以MapReduce 作為基本編程模型，同時(shí)借助聚類算法等調(diào)取數(shù)據(jù)庫(kù)內(nèi)部資源，重新使網(wǎng)站回到電力設(shè)備狀態(tài)評(píng)估頁(yè)面。作為遠(yuǎn)程通信的主要技術(shù)，RESTful Web 可以將數(shù)據(jù)以JSON 的格式打包，發(fā)送給分析層，經(jīng)過(guò)數(shù)據(jù)統(tǒng)計(jì)和挖掘，將結(jié)果傳輸回業(yè)務(wù)平臺(tái)，一旦落實(shí)確認(rèn)，就可以再次以JSON 格式打包發(fā)回客戶瀏覽器，以直觀的表格形式呈現(xiàn)在頁(yè)面上。

圖1：基于大數(shù)據(jù)技術(shù)的電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)思路

2.3 功能模塊

分析系統(tǒng)中一共設(shè)有五個(gè)功能模塊，一是用戶管理模塊，用戶可以通過(guò)輸入賬號(hào)和密碼的方式完成登錄，基于主體不同，該模塊還進(jìn)行了差異化設(shè)計(jì)，分為消費(fèi)者和電力主管部門，可以根據(jù)實(shí)際需要進(jìn)行權(quán)限賦予。在實(shí)際應(yīng)用過(guò)程中，要注意保護(hù)用戶隱私，對(duì)用戶個(gè)人信息采取加密處理，同時(shí)簡(jiǎn)化頁(yè)面信息，方便客戶尋找使用板塊，提升系統(tǒng)便捷性。二是電池性能檢測(cè)模塊，它可以對(duì)電力設(shè)備備用電源指標(biāo)進(jìn)行智能化分析，并自動(dòng)產(chǎn)生重組方案，以達(dá)到延長(zhǎng)適應(yīng)時(shí)間，提升運(yùn)行穩(wěn)定性的目的。三是數(shù)據(jù)監(jiān)測(cè)模塊，這一模塊架構(gòu)可以在輸變電系統(tǒng)內(nèi)部進(jìn)行數(shù)據(jù)收集和監(jiān)測(cè)，并將數(shù)據(jù)實(shí)時(shí)更新記錄到數(shù)據(jù)庫(kù)中，方便管理人員查看。以電壓等級(jí)分析為例，工作人員可以借助系統(tǒng)對(duì)油色譜、溶解氣體產(chǎn)生率等進(jìn)行大數(shù)據(jù)分析，結(jié)合GIS 系統(tǒng)，還能快速定位故障點(diǎn)。四是設(shè)備檢測(cè)模塊，當(dāng)監(jiān)測(cè)模塊發(fā)現(xiàn)數(shù)據(jù)異常時(shí)，就可以啟用這一模塊，對(duì)一定范圍內(nèi)的電力設(shè)備進(jìn)行地毯式排查，準(zhǔn)確顯示故障發(fā)生點(diǎn)，為檢修工作提供依據(jù)。五是設(shè)備信息管理模塊，主要負(fù)責(zé)對(duì)設(shè)備的型式、出廠日期、維修保養(yǎng)信息等進(jìn)行記錄、修改、刪除，在電力設(shè)備全生命周期的管理工作中意義重大。

2.4 數(shù)據(jù)采集

電力設(shè)備數(shù)據(jù)分析系統(tǒng)的建立讓嵌入式數(shù)據(jù)采集方式成為了可能，電力設(shè)備運(yùn)行過(guò)程中，先由互感器對(duì)大電流進(jìn)行預(yù)處理，然后由嵌入的單片機(jī)以周期性的工作方式定期完成采樣工作，并借助RESTful Web 向遠(yuǎn)程調(diào)控中心傳輸信息。在B/S 架構(gòu)中，單片機(jī)采集系統(tǒng)只能面向特定的客戶黑匣子采集數(shù)據(jù)，不能進(jìn)行智能刪減，因此采集對(duì)象眾多，采集數(shù)據(jù)體量也極大。針對(duì)這一情況，本設(shè)計(jì)中采用了多線程數(shù)據(jù)采集和處理技術(shù)，對(duì)動(dòng)態(tài)化網(wǎng)絡(luò)地址以及多個(gè)電力設(shè)備[3]進(jìn)行數(shù)據(jù)采集，這樣一來(lái)數(shù)據(jù)采集壓力被分解，且不同數(shù)據(jù)之間的獨(dú)立性也能得到有效保障。信息采集既包含設(shè)備技術(shù)參數(shù)屬性、交接試驗(yàn)數(shù)據(jù)、缺陷臺(tái)賬記錄等直接反映設(shè)備狀態(tài)的信息，又包含諸如氣象信息、帶電檢測(cè)數(shù)據(jù)等間接數(shù)據(jù)，數(shù)據(jù)采集附帶時(shí)空標(biāo)志，方便電力企業(yè)進(jìn)行橫向、縱向?qū)Ρ取?/p>

2.5 數(shù)據(jù)分析

Hadoop 領(lǐng)域中，常見(jiàn)的數(shù)據(jù)存儲(chǔ)方案主要有三種，具體對(duì)比可見(jiàn)表1。對(duì)于臺(tái)賬信息、搶修記錄等較為傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，可以采用Hive、Impala 等數(shù)據(jù)庫(kù)工具進(jìn)行存儲(chǔ)，以提升其處理速度。而對(duì)于電氣設(shè)備在線測(cè)試、云慈寧宮狀態(tài)等半結(jié)構(gòu)化或非結(jié)構(gòu)性數(shù)據(jù)，則可以使用分布式HBase 數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。

表1：常見(jiàn)的數(shù)據(jù)儲(chǔ)存方案

由于電力設(shè)備運(yùn)行數(shù)據(jù)體量龐大，其中還存在著大量的冗雜數(shù)據(jù)，因此在大數(shù)據(jù)挖掘之前，必要要經(jīng)歷數(shù)據(jù)預(yù)處理工作，保留電壓、電流等價(jià)值數(shù)據(jù)，提升數(shù)據(jù)質(zhì)量。數(shù)據(jù)清理之后，同樣會(huì)發(fā)回HBase 存儲(chǔ)，不會(huì)覆蓋元數(shù)據(jù)，為新舊數(shù)據(jù)對(duì)比分析奠定基礎(chǔ)。在實(shí)際分析挖掘階段，工作人員首先要將HBase 中的樣本數(shù)據(jù)下載到本地存儲(chǔ)器中，并根據(jù)電力設(shè)備信號(hào)特點(diǎn)進(jìn)行提取，通過(guò)迭代法提取聚類中心，通過(guò)一定算法得出結(jié)果，完成模型構(gòu)建，實(shí)現(xiàn)分析結(jié)果的可視化。

2.6 異常處理

異常處理機(jī)制主要是為了對(duì)用戶的違規(guī)輸入進(jìn)行中止和提醒，以降低系統(tǒng)崩潰機(jī)率。在本次電力設(shè)備數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)中，主要是從以下幾個(gè)方面開(kāi)展異常處理設(shè)計(jì)的：一是異常持久化，當(dāng)用戶出現(xiàn)違背數(shù)據(jù)庫(kù)或程序的操作時(shí)，系統(tǒng)會(huì)自動(dòng)記錄異常產(chǎn)生時(shí)間、類型、級(jí)別以及代碼位置，在此基礎(chǔ)上形成二進(jìn)制流文件[4]，傳送到數(shù)據(jù)庫(kù)中。數(shù)據(jù)持久化則借助了PROTOBUF 技術(shù)，以蛇形間隙法對(duì)序列節(jié)點(diǎn)進(jìn)行分配間隔，在優(yōu)先級(jí)規(guī)則的約束下完成節(jié)點(diǎn)存儲(chǔ)，并建立映射關(guān)系，完成異常信息的序列化。二是異常分析，系統(tǒng)可以根據(jù)異常類型，從數(shù)據(jù)庫(kù)中調(diào)取與異常相對(duì)應(yīng)的編號(hào)和提示，并根據(jù)以往經(jīng)驗(yàn)解析異常的詳細(xì)內(nèi)容，如果數(shù)據(jù)庫(kù)中沒(méi)有與之相匹配的項(xiàng)目，則按照通用異常處理。

3 結(jié)論

大數(shù)據(jù)技術(shù)是近年來(lái)極為流行的一種前段科技，代表著企業(yè)甚至國(guó)家的軟實(shí)力水平，神經(jīng)網(wǎng)絡(luò)算法、遺傳算法等都是大數(shù)據(jù)技術(shù)中常用的算法類型，將之應(yīng)用于電力設(shè)備運(yùn)行數(shù)據(jù)分析系統(tǒng)，可以大幅度提升數(shù)據(jù)采集、處理效率，保障電網(wǎng)平穩(wěn)運(yùn)行。因此，電力部門應(yīng)當(dāng)充分重視大數(shù)據(jù)技術(shù)在電力設(shè)備運(yùn)行狀態(tài)分析中的重要性，積極探索和改進(jìn)大數(shù)據(jù)分析系統(tǒng)，提升電網(wǎng)運(yùn)行效率。