基于大數(shù)據(jù)的電力設備運行數(shù)據(jù)分析系統(tǒng)的設計

李 遠

（國網(wǎng)山西省電力公司，山西 太原 030021）

0 引言

應用大數(shù)據(jù)電力設備的運行分析系統(tǒng)，能夠?qū)W(wǎng)絡信息進行實時分析，針對電力設備的運行數(shù)據(jù)展開處理，綜合分析管理。系統(tǒng)實質(zhì)是利用設計軟件，將設備的運行數(shù)據(jù)進行集成化管理，按照電力數(shù)據(jù)的管理需求，設定各項模塊。同時，利用該系統(tǒng)還能完成電力數(shù)據(jù)信息的錄入和修改，或者刪除和查看，進而分析設備是否處于正常狀態(tài)，保證管理的高效性。

1 大數(shù)據(jù)的電力設備運行數(shù)據(jù)分析系統(tǒng)的設計

1.1 技術(shù)架構(gòu)

系統(tǒng)設計將Hadoop 作為云計算框架，使用HDFS技術(shù)存儲系統(tǒng)監(jiān)測的電力數(shù)據(jù)，還可借助MapReduce 技術(shù)輔助并行計算，不斷提高數(shù)據(jù)質(zhì)量。使用HBase 作為數(shù)據(jù)庫，存儲無結(jié)構(gòu)電力數(shù)據(jù)，以Sqoop 作為接入數(shù)據(jù)的工具，傳遞數(shù)據(jù)庫之間數(shù)據(jù)，利用開源服務軟件支持Hadoop 集群運行[1]。

1.2 系統(tǒng)結(jié)構(gòu)

該系統(tǒng)為B/S 結(jié)構(gòu)，在Hadoop（云計算平臺）之上部署服務器，可將網(wǎng)站中的內(nèi)容向tomcat 中發(fā)布，以RESTful 架構(gòu)輔助服務器、瀏覽器二者之間通信。使用階段可通過瀏覽器點擊頁面后，即可申請獲取服務器內(nèi)部服務及資源，Hadoop 平臺內(nèi)，以MapReduce 編程模型，借助聚類算法、AR 模型等挖掘HBase 內(nèi)部狀態(tài)數(shù)據(jù)，之后即可回到設備狀態(tài)的評估頁面。遠程調(diào)用主要使用RESTful 技術(shù)進行，將數(shù)據(jù)封裝為JSON 格式，向分析層發(fā)送，通過數(shù)據(jù)挖掘，將結(jié)果以同樣格式向業(yè)務平臺當中傳輸，經(jīng)過落實處理之后，用JSON 格式進行封裝，之后向客戶瀏覽器中返回，此時瀏覽器即可按照圖表的方式在頁面上顯示相關(guān)數(shù)據(jù)。

1.3 功能模塊

該系統(tǒng)設計模塊有五部分：第一，用戶管理，能夠?qū)κ褂谜吆凸芾聿块T展開統(tǒng)一化管理，通過設置密碼或者更新信息的方式完成；第二，電池性能檢測，按照變電站的備用電源當中電池數(shù)據(jù)指標，自動出示重組方案，將其使用時間延長；第三，檢測模塊，可實時收集設備運行信息，為其運維檢修提供依據(jù)；第四，監(jiān)測模塊，針對輸電系統(tǒng)內(nèi)部設備展開監(jiān)測，及時發(fā)現(xiàn)運行問題；第五，信息管理，針對設備維護和管理信息進行錄入、查詢、修改和刪除操作。

1.4 數(shù)據(jù)采集

系統(tǒng)設計過程，需要尋求同步傳輸和采集多個黑匣子內(nèi)部數(shù)據(jù)方式，并利用網(wǎng)絡完成數(shù)據(jù)傳輸。由于B/S架構(gòu)數(shù)據(jù)采集具有如下特點：第一，由于單片機電力系統(tǒng)只能對特定客戶黑匣子數(shù)據(jù)進行采集，導致該架構(gòu)面臨的電力現(xiàn)場采集對象相對較多，因此數(shù)據(jù)量相對較大；第二，功能完善，B/S 架構(gòu)在數(shù)據(jù)采集的設計方面應該確保不同數(shù)據(jù)的獨立性，提高數(shù)據(jù)采集難度。針對上述設計要點，可利用多線程數(shù)據(jù)采集、處理技術(shù)，用軟件支持，采集動態(tài)化網(wǎng)絡地址和多個設備中的數(shù)據(jù)信息。

1.5 設計數(shù)據(jù)庫

電力設備在運行階段，需要借助系統(tǒng)對于電力設備展開檢測，并記錄檢測、運行數(shù)據(jù)，針對上述數(shù)據(jù)深入分析。傳統(tǒng)形式結(jié)構(gòu)化數(shù)據(jù)，包括設備臺賬信息、權(quán)限分配、用戶信息、搶修記錄等，由于上述信息數(shù)據(jù)隨著設備運行產(chǎn)生的增量相對較小，因此，可利用Oracle 數(shù)據(jù)庫對于信息的記錄速度更快。使用電氣設備完成信息的在線檢測，評價其運行狀態(tài)，能夠?qū)虢Y(jié)構(gòu)化數(shù)據(jù)量有效增加，并用HBase 數(shù)據(jù)庫（分布式）進行存儲[2]。

1.6 事務管理

該系統(tǒng)利用Spring 框架，可提供抽象方式展開事務控制和管理。此框架使用優(yōu)勢為，可提供統(tǒng)一化的編程模型，為各事務提供API 服務，且JTA、Hibernate、JDBC 等也可通過此方法，展開事務管理。

1.7 異常處理

如果不遵守數(shù)據(jù)庫中的約束規(guī)則，或者違反程序約束，系統(tǒng)使用階段就會出現(xiàn)異常的用戶界面。因此，在系統(tǒng)應用階段需要關(guān)注異常數(shù)據(jù)的處理：一方面，系統(tǒng)可將JDBC 和Spring 等封住，因此，可能產(chǎn)生異?，F(xiàn)象；另一方面，如果底層數(shù)據(jù)庫存在異常，那么該層事物就會自動向使用層當中滾動，轉(zhuǎn)移至其他頁面當中。

2 大數(shù)據(jù)的電力設備運行數(shù)據(jù)分析系統(tǒng)功能實現(xiàn)

2.1 數(shù)據(jù)預處理

利用大數(shù)據(jù)進行數(shù)據(jù)挖掘之前，需要對數(shù)據(jù)展開預處理，由于電力設備數(shù)據(jù)信息龐大，其中存在冗余數(shù)據(jù)，對于大數(shù)據(jù)分析可產(chǎn)生影響，因此可利用系統(tǒng)對于上述數(shù)據(jù)展開預處理，保留價值數(shù)據(jù)，提高數(shù)據(jù)獲取質(zhì)量。數(shù)據(jù)類型包括電壓、電流、溫度、設備檢測等數(shù)據(jù)，清洗之后，將價值數(shù)據(jù)篩選出來，并將其存儲于數(shù)據(jù)庫內(nèi)，和原始數(shù)據(jù)同時存在，不會對原始數(shù)據(jù)造成覆蓋，還可對比新舊數(shù)據(jù)，為數(shù)據(jù)分析順利進行奠定基礎。

2.2 采集模塊

采集模塊能夠為上層應用提供數(shù)據(jù)采集功能，采集工具分為三個層次，分別為物理層、訪問層和采集層，其中物理層主要用于電力黑匣子數(shù)據(jù)的采集；訪問層則利用串口協(xié)議連接上位機、黑匣子通信，同時傳輸協(xié)議還能為上層數(shù)據(jù)的采集提供服務。

2.3 數(shù)據(jù)分析

隨著電力設備運行時間的積累，系統(tǒng)當中可產(chǎn)生大量數(shù)據(jù)信息，大數(shù)據(jù)分析需要對歷史數(shù)據(jù)展開快速評估和分析，用戶可按照需求將數(shù)據(jù)信息存儲在數(shù)據(jù)庫內(nèi)，此時系統(tǒng)即可按照特定算法對于數(shù)據(jù)進行分析，流程如下：第一，準備數(shù)據(jù)，將電力設備信號數(shù)據(jù)存儲在Hbase 中，并準備樣本數(shù)據(jù)在本地儲存；第二，提取信號特征，對于電力設備信號數(shù)據(jù)特點進行提取，并存儲；第三，求出聚類中心，通過迭代法將聚類中心提取出來，在Sequence File 當中存儲；第四，給定K-Means 聚類算法和停止條件，將特征信號和聚類中心Sequence File 路徑提取出來，執(zhí)行聚類的過程，并將結(jié)果向HDFS 當中輸出。第五，分析設備狀態(tài)，應用K-Means 模型展開設備狀態(tài)評估，運行到特定階段，可積累大量運行數(shù)據(jù)，新數(shù)據(jù)可調(diào)整模型，利用最新數(shù)據(jù)重新訓練模型，使設備狀態(tài)分析更加精準。

2.4 電池性能分析

系統(tǒng)具備電池信息分析功能，輔助用戶掌握電池性能，為數(shù)據(jù)挖掘與分析提供參考。電池性能相關(guān)數(shù)據(jù)的統(tǒng)計具體包括交流充電量、交流放電量、充電功率、放電功率、放電時間、運行時間、放電量等。利用系統(tǒng)對于上述數(shù)據(jù)展開分析和計算，獲得電池信息報表，向用戶傳達，上述過程主要利用Hadoop 與MapReduce 模型完成數(shù)據(jù)統(tǒng)計，數(shù)據(jù)分析效率更高。

2.5 設備狀態(tài)監(jiān)測

電力設備的狀態(tài)監(jiān)測能夠為設備的運行狀態(tài)判斷和維修管理提供依據(jù)。比如：可利用管理系統(tǒng)展開油色譜分析，對于電壓等級進行分析，統(tǒng)計數(shù)據(jù)，使用大數(shù)據(jù)分析方法對于溶解氣體產(chǎn)生率進行分析，利用GIS 地圖呈現(xiàn)檢測裝置，還能自動提示和預警，為設備運維提供支持。根據(jù)預警裝置，對于故障點準確判斷，快速查找原因，制定檢修策略。還可利用系統(tǒng)點擊圖表，對于設備的歷史監(jiān)測數(shù)據(jù)進行查詢，橫向?qū)Ρ?，判斷關(guān)聯(lián)設備運行狀態(tài)，使用臺賬管理設備。

2.6 用戶管理實現(xiàn)

用戶管理能夠?qū)I(yè)務流程進行協(xié)調(diào)，該系統(tǒng)主要為電力公司的內(nèi)部人員進行設計，所以登錄界面需要將安全問題考慮其中，用戶需要輸入用戶名和密碼，才可順利登錄。同時，還考慮用戶隱私，對于用戶信息采取加密處理措施，系統(tǒng)讀取用戶密碼前，可自動進行加密操作，數(shù)據(jù)庫內(nèi)的密碼是密碼文形式，其他使用者不可看到密碼。除此之外，系統(tǒng)還具備查找權(quán)限，如果用戶順利登錄以后，系統(tǒng)就能記錄相關(guān)信息，利用信息對于用戶權(quán)限進行查詢，快速找到客戶使用板塊，為其操作提供便利。按照用戶權(quán)限將板塊內(nèi)容向用戶前端的頁面加載，保證電力設備數(shù)據(jù)查看的便捷性[3]。

3 結(jié)束語

總之，結(jié)合電力設備的數(shù)據(jù)管理要求，建設大數(shù)據(jù)運行分析系統(tǒng)，對于電力數(shù)據(jù)展開系統(tǒng)化分析，找出系統(tǒng)存在的不足問題，檢測變電設備、輸電設備和電池性能。在智能電網(wǎng)快速發(fā)展之下，更多新型技術(shù)逐漸被應用在電力設備的監(jiān)測和數(shù)據(jù)分析領(lǐng)域，為大數(shù)據(jù)的應用提供更多支持，因此，加大力度研究電力設備數(shù)據(jù)分析系統(tǒng)能夠高效處理電力運行數(shù)據(jù)，使設備管理更加高效。