智能變電站設備管控大數據分析系統研究

李鴻奎，程昭龍，周 蕾，王曼琪，胡國華

(國網山東省電力公司菏澤供電公司，山東 菏澤274000 )

0 引言

隨著智能電網建設規模的不斷增長、電網拓撲結構和運行方式等日趨復雜，電網公司加大了變電站設備管控技術的推廣，智能變電站設備數量的快速增長使得設備管控的信息數據量也在大幅增長[1-2]。該類數據不僅僅包含設備異常運行時的狀態信息數據，同時還包含設備穩定、濕度以及圖像等數據，逐漸構成智能變電站設備管控大數據[3-4]。

如何對智能變電站設備管控大數據進行高效處理和分析是當前重點研究課題。通過對設備管控大數據的存儲、管理和分析，設備管控人員能夠在大數據中心獲取設備的歷史和實時運行狀態，對變電站設備的安全穩定運行提供重要技術支撐[5-6]。然而，智能變電站設備管控系統的大量監測節點向數據平臺傳送所采集到的設備數據，形成海量的多源異構復雜數據。數據中心不僅需要對海量的數據進行存儲，而且需對存儲的數據進行快速分析和處理，并感知變電站設備的運行狀態。

目前，智能變電站設備管控大數據分析系統所面臨的問題和挑戰主要集中在如下幾個方面：

a.智能變電站設備管控數據的體量巨大。據統計，一個數字變電站一天內所產生的數據量高達3 TB，隨著設備管控監測系統的擴大，數據體量還會增加。

b.多源異構數據的關聯關系。海量多源異構數據的關聯性分析需要處理巨大的數據體量，對數據挖掘的效率是一個挑戰。

c.數據多維度屬性。變電站設備具有地理位置屬性，而某一設備數據則具有時間屬性。

d.快速的數據處理需求。智能變電站設備管控要求對海量數據進行批量處理，對數據的處理速度提出了挑戰。

針對上述智能變電站設備管控大數據分析系統所面臨的問題和挑戰，目前被廣泛應用的方法之一是基于云平臺的數據分析技術[7-10]。其中Hadoop分布式文件系統(Hadoop distributed file system，HDFS)在數據處理和分析方面具有獨特的優勢，其具有高吞吐量的數據處理能力，目前在計算機、互聯網公司等領域應用廣泛[11-14]。但是與互聯網領域的云服務技術相比，智能變電站設備管控大數據分析在數據存儲、管理和分析方面都是具有一定的差異性。將Hadoop技術應用于智能變電站設備管控大數據分析是未來的發展趨勢，也面臨著較大的挑戰。

鑒于此，本文在云服務平臺基礎上，分析和設計了一種智能變電站設備管控大數據分析系統。介紹了變電站設備運行狀態的大數據特征、基本框架以及數據集成與預處理、數據存儲與處理、設備狀態評估模型以及數據可視化展示等關鍵技術。最后通過實驗結果驗證所設計的大數據分析系統的有效性。

1 智能變電站設備管控大數據概念

1.1 基本內涵

智能變電站設備管控大數據分析系統主要通過信息化平臺來獲取變電站大量設備的運行數據，采用統計分析、機器學習等方法對設備的運行狀態數據進行分析和挖掘，從分析數據基本規律視角來評估、診斷變電站設備的狀態，能夠對變電站設備異常運行狀態進行快速檢測和評估，全面掌握設備的健康狀態，為變電站設備的管控提供輔助決策依據。變電站設備管控大數據分析是從海量數據中來提取客觀規律，不需要構建復雜的機理模型，其主要優勢體現在：

a.從數據挖掘的視角來揭示設備之間以及設備與變電站運行之間的內在關聯關系，對設備早期的故障信息和故障發展過程進行分析，對不同故障發生的概率進行預測，從而能夠快速、有效地完成設備故障預警和診斷，確保設備的安全穩定運行。

b.利用數據統計、關聯分析以及數據挖掘等方法來獲取不同運行狀況、多維度下的設備運行狀態變化規律，實現多層次、多視角以及多維度下的全方位分析，可有效提升設備狀態預警和診斷的準確性。

c.推動新一代信息互聯與設備預警診斷的深度高效融合，能夠快速分析設備海量數據，實現設備運行狀態的主動預警和智能化診斷，提升變電站設備管控的效率和智能化水平。

1.2 數據來源和特征

從數據來源角度來看，智能變電站設備管控數據可分為內部數據和外部數據兩大類。其中內部數據包含功率、電壓和電流等設備內部信息，該類數據可由數據采集系統、廣域監測系統等獲取。而外部數據則由與電網相連接的其他外部網絡獲取，如物聯網、互聯網等。另外，設備數據可分為靜態數據、動態數據以及準動態數據。其中靜態數據主要包含設備臺賬和技術參數等；動態數據反映設備運行狀態隨時間變化的數據，包括運行數據和帶電檢測數據等；而準動態數據則是通常定期或者不定期獲取并更新，包括定期檢修記錄和故障記錄數據等。

智能變電站設備管控數據表現了典型的大數據特征，主要表現在：

a.較多數據來源。數據分散在眾多變電站設備的管理系統、監測系統當中，各類型的數據相對獨立，數據接口、格式均存在較大的差異。

b.較大數據量。變電站設備種類多，與設備密切相關的狀態監測、預警和診斷等管控的數據量巨大。

c.多類型數據結構。海量數據中除了結構化數據之外，還包含一些非結構化以及半結構化的設備運行管控數據。

1.3 大數據分析框架

智能變電站設備管控大數據分析框架如圖1所示。首先，通過在線監測系統獲取智能變電站設備的多源異構數據；然后對設備異構數據進行數據集成、清洗、規范化和轉換等，并利用分布式處理方法實現大數據分布式存儲，在此基礎上利用機器學習等數據挖掘算法來構建大數據并行化算法平臺；接著基于算法平臺對智能變電站設備大數據的內在關聯關系進行分析，實現變電站設備異常檢測、狀態預警和故障診斷等管控功能；最后利用多維度可視化技術實現變電站設備管控過程的展示，為智能變電站設備運維檢修、電網調度決策等提供輔助決策支持。

圖1 智能變電站設備管控大數據分析框架

2 智能變電站設備管控大數據分析技術

2.1 數據集成與預處理

智能變電站設備管控大數據通常需從設備狀態監控系統和物聯網系統獲取設備數據，依據數據安全、可靠性要求，可采用數據中心數據庫共享方式從不同設備不同業務中抽取數據。這些獲取的數據可能存在數據質量低、冗余、缺失和不一致等問題，需對數據進行預處理，主要的數據預處理方法包括：

a.數據清理。對數據庫中不正確、不完整和不相關的數據進行識別、替換、修改或者刪除。

b.數據集成。組合、存儲多源數據，將類型不一致的數據進行統一化處理，并對組合過程中冗余數據進行清除。

c.數據變換。對數據進行轉換處理，滿足數據挖掘的格式需求，包括數據規格化、規約等。

d.數據規約。采用特征集方法來降低數據挖掘過程中的自變量數量，可用較小規模的數據對原始數據進行替代。

2.2 數據存儲與處理

2.2.1 數據存儲

針對智能變電站設備管控大數據基本特征，采用基于Hadoop平臺的云數據管理技術對數據進行存儲和處理。首先提出一種基于數據相關性的多副本一致性哈希數據存儲算法，該算法具體原理如下：集中處理數據，在查詢、分析數據時，在映射端執行主要工作，能夠減少網絡通信負載，進而提高系統的查詢、分析性能。對于不同結構、類型的數據來說，記錄每一個傳感器采集數據的時間和位置。Hadoop平臺可將數據存儲為數據采集時間、數據采集位置和自定義相關性等3個副本，其中采用一致性哈希算法將第1個副本數據的位置進行哈希映射，將第2個副本數據的采集時間進行哈希映射，并將第3個副本依據自定義相關系數進行哈希映射，能夠滿足數據查詢、分析的具體需求。算法運行中需要建立哈希環，其配置基本原理如圖2所示。

圖2 數據存儲算法示意

因此，基于數據相關性的多副本一致性哈希數據存儲算法的實現步驟如下：

a.對系統大數據的相關系數、冗余副本數量進行監測并配置文件預定義。

b.對每個數據節點的哈希值進行計算，并配置到對應的哈希環區間。

c.通過分析數據的采集時間、采集位置和相關系數，對數據的哈希值進行計算，即對副本1、副本2和副本3的哈希值分別計算并映射到對應的哈希環上。

d.通過分析數據的哈希值和數據節點的哈希值來對數據的存儲位置進行確定。

e.如果數據所存放節點出現存儲空間不足，則跳過該內存不足的節點而存儲至其他節點。

2.2.2 數據處理

在基于Hadoop平臺的智能變電站設備管控中，采用Storm對采集的數據流進行處理。首先對數據處理過程的拓撲結構進行設計，也即是對數據處理的邏輯關系進行設計，數據處理順序采用獲取數據、去噪、特征量計算以及狀態評估。數據處理拓撲結構如圖3所示，數據的起源用Spout表示，能夠支持多種數據的來源，且可分別處理不同數據，例如在設備狀態監測中包含電流信息、動作信息和其他多類型監測數據；Blot可表示數據的去噪處理和特征量計算， 不同Blot代表不同的去噪處理方式、特征計算方式或者狀態評估方式。另外，一個Blot的輸出可以作為另外一個Blot的輸入。

圖3 數據處理拓撲結構

2.3 設備狀態評估模型

在完成智能變電站設備大數據處理工作后，需采用數據挖掘算法來構建設備的狀態評估模型。在Hadoop集群計算框架基礎上，文中采用基于分類算法的數據挖掘算法來建立智能變電站設備狀態評估模型。分類算法是一種監督學習算法，文中采用基于決策樹的分類算法來構建狀態評估模型，首先定義已知數據集的類別，依據所采集數據集的數據特征來構建數據分類器，然后利用此分類器對數據進行分類和預測并輸出離散結果。

2.3.1 決策樹算法

決策樹的原理結構類似于樹形，主要組成部分包括節點和分支，其中節點組成包括內部節點和葉節點。決策樹算法中葉節點表示數據集元素，內部節點表示元素屬性。決策樹算法本質是一種基于布爾算法的決策性函數，所研究對象屬性決定了輸入的取值，某一屬性決策值則是輸出結果。決策樹算法的基本結構如圖4所示。

圖4 決策樹模型架構

2.3.2 模型評價

由于決策樹分類算法屬于一種分類模型，分類算法的性能評價采用混淆矩陣。以二分類模型的混淆矩陣為例，采用Kappa系數對模型性能進行評價。二分類模型混淆矩陣采用4類元素表示，其中元素N11和N22表示模型正確分類的樣本數，元素N12和N21表示模型錯誤分類的樣本數。

Kappa系數是對模型性能評價的一個指標，其取值范圍為(-1,1)，通常情況下取值都處于0到1之間，該指標的值越大則表示分類的精度越高。其中Kappa系數的計算方法為

(1)

K為Kappa的系數取值；r為混淆矩陣的行數；Nij為矩陣第i行第j列的元素值；Ni+為矩陣第i行所有元素值之和；N+i為矩陣第j列所有元素值之和；N為總的樣本數。

表1給出了Kappa系數取值范圍和對應模型精度之間的關聯關系。通常而言，當分類精度處于“非常好”的情況下，即可認為具有非常好的分類性能。

表1 Kappa系數取值范圍與模型精度關系

2.4 數據可視化展示

文中采用一種三維平行散點圖以及人機交互來實現智能變電站設備管控大數據分析系統的數據可視化展示。在Hadoop大數據計算平臺上，采用大數據可視化類庫，實現了智能變電站設備管控大數據的可視化展示，具體步驟如下：

a.讀取變電站設備多源數據庫提取產生的設備狀態信息分布式數據集合，生成某一特定設備狀態信息的元素表。

b.對某一特定設備狀態信息的元素表的每個數據元素進行分解和聚類編號，分別記錄對應的聚類編號和數據點集，并構建聚類編號和數據點集的列表。

c.對聚類編號列表中的每一個聚類編號進行著色，并構建對應的著色列表。

d.以數據點集列表和著色列表作為輸入數據，構建對應的三維平行散點圖。

e.為構建的三維平行散點圖添加坐標軸，并通過人機交互實現數據可視化展示。

3 實驗結果分析

為了驗證本文提出的智能變電站設備管控大數據分析系統的實際效果，在實驗室中搭建了大數據分析系統。實驗室平臺由5臺服務器組成，硬件配置如下：CPU型號為Intel Core i7，內存為16 GB，網絡寬帶為100 MB/s。其中1個節點的功能是控制節點，另外4個節點的功能是工作節點。Hadoop采用2.7.3版本。

本次測試采用的數據是智能變電站某繼電保護設備的實時運行數據，該測試對大數據分析系統的數據處理性能、設備狀態評估結果有效性分別進行了驗證。

對于大數據分析而言，數據吞吐量表示含義是在特定時間內能夠成功處理數據的數據量。通過對數據量不斷增加，分析了采用Storm集群控制和單機控制數據集所需要的運行時間，以此來驗證本文大數據分析系統采用Hadoop的數據集群控制的吞吐能力，Storm集群控制與單機運行時間的對比結果如圖5所示。

圖5 Storm集群控制與單機運行時間對比

由圖5可知，與單機運行相比較，大數據分析系統采用Storm集群控制時，能夠有效縮短數據處理時間，尤其是在數據量較大時，集群控制的數據處理運行時間優勢更為明顯。

另外，為了驗證本文構建的智能變電站設備狀態評估模型的有效性，從采集的數據集中選取20個數據作為樣本，采用構建的決策樹方法來預測其狀態評分，將預測的繼電保護設備狀態評估結果與實際結果進行了對比，并能夠可視化展示，如圖6所示。

圖6 設備狀態評估結果對比

由圖6可以看出，設備狀態評估模型預測結果誤差較小，在智能變電站設備狀態評估應用中具有較高的可靠性。從而進一步說明了智能變電站設備管控大數據分析系統的可行性和有效性。

4 結束語

智能變電站設備管控大數據具有重大研究價值，運用大數據分析方式能夠快速、有效地完成海量智能變電站設備數據的分析和研究。本文基于Hadoop框架提出了一種智能變電站設備管控大數據分析系統，該系統包括數據集成與預處理、數據存儲與處理、設備狀態評估模型以及數據可視化展示等。實驗結果表明：本文設計的大數據分析系統能夠有效提升數據處理的實時性，同時能夠精確地評估智能變電站設備的運行狀態，為智能變電站設備管控的穩定運行提供更加有效和實用性的技術支撐。