基于Spark環境變壓器故障并行診斷

劉　成,牛　銳,范賀明,許　靜，朱永利

(1.華北電力大學 控制與計算機工程學院，河北保定071003；2. 國網冀北電力有限公司 承德供電公司，河北承德067000)

?

基于Spark環境變壓器故障并行診斷

劉成1,牛銳1,范賀明2,許靜1，朱永利1

(1.華北電力大學 控制與計算機工程學院，河北保定071003；2. 國網冀北電力有限公司 承德供電公司，河北承德067000)

摘要：為處理海量的電力設備監測數據，滿足智能電網快速診斷檢修需求，以電力變壓器故障診斷為例，提出了基于Spark環境下電力變壓器監測數據并行診斷方法。以油中溶解氣體數據作為實驗輸入，利用并行樸素貝葉斯進行故障分類。實驗結果表明，并行樸素貝葉斯方法在變壓器故障診斷中診斷速度要快于傳統的單機環境下診斷速度， 基于Spark電力設備監測數據并行診斷實驗平臺，能夠快速處理數據量規模巨大、模型復雜的場景；集群加速比隨著節點個數增加明顯提高，能夠適用電網大數據快速處理的需求。

關鍵詞：Spark；變壓器故障診斷；樸素貝葉斯；智能電網

0引言

電力設備健康是電網運行的關鍵。目前供電公司采取了形式多樣的監測手段，對電力設備進行監測。傳感器技術、數字信號、專家系統等有機整合，可以實現智能化的在線監測。目前，在電力設備監測中有紅外、氣體、電流、濕度、震動等傳感器可以實現對設備的多維度監測[1]。隨著互聯網技術、傳感器技術、物聯網技術的快速發展，每天都會產生海量的電力設備監測數據信息——結構和非結構化的數據信息。傳統的數據分析方法已經不能滿足當下智能電網要求。如何獲取隱藏在海量數據中的價值已經成為亟待解決的問題[2]。Spark云平臺基于內存一棧式大數據處理框架，在大數據快速處理表現出強大的生命力，可以實現對海量監測數據的并行處理。

對比Hadoop大數據技術，Spark在處理迭代過程中產生中間結果都是存儲在內存中，只有在內存不足的時候中間迭代結果才會保存到磁盤中，利用有向無環圖(DAG)優化迭代過程，可以減少處理分析數據的時間，避免了繁重的磁盤讀寫操作。其中彈性數據集(RDD)是Spark的核心數據結構，RDD的操作分為兩種：transformation和action。Spark 將作用于 RDD 的一系列轉換操作記錄下來構建RDD 的依賴關系 Lineage，以保證 RDD 數據的魯棒性[3]。

Spark發布的版本中包括以下幾個模塊：Spark SQL實現對結構化數據查詢功能，對不同的數據源提供通用的訪問方法，Spark Streaming實現對大規模流式數據的處理，MLlib提供豐富的機器學習算法供相關人員直接調用使用，GraphX可以用來對圖形的并行運算。目前，許多企業將Spark技術作為處理數據的首要選擇。亞馬遜在運營過程中，利用 Spark云計算快速計算能力和豐富的機器學習算法來分析數據，降低運行維護成本提高數據分析速度。淘寶利用Spark Streaming的實時流數據處理框架，結合歷史數據和實時數據，能夠對用戶的交易數據、瀏覽數據、收藏數據等數據量進行分析和處理。然而,在電力系統中負荷預測、故障診斷，在線監測等具體應用中還是以Hadoop技術為主，本文以電力變壓器監測數據作為實驗數據，將Spark技術應用在變壓器故障診斷當中，實現了對電力設備監測數據的快速診斷。

1電力大數據發展

在電力系統中數據分為內部數據和外部數據。內部數據來自與系統本身如電力營銷系統、智能電表數據、電力設備監測數據等，這些數據中大部分為非結構化的數據，如視頻、故障錄波等。存儲這些數據包括：原始數據、及時處理后的數據，以及用于電力系統故障分析、負荷預測等業務最終建模結果。在文獻[4]中針對電力大數據種類多、分布廣、數據量大、價值密度低的特點，提出了智能電網大數據多級存儲系統方案，對不同特點和要求的數據采用不同的存儲方法。文獻[5]通過分形理論降低數據緯度，利用密度聚類算法對樣本數據聚類劃分，提取不同數據聚類的特征。在電力系統具體應用模型中，往往需要合并多個數據源，對數據進行匯總。在文獻[6]中采用Hadoop大數據處理框架，選取負荷等內部數據等信息以及外部數據如天氣、日期等，對用戶側并行負荷預測。在數據挖掘中，利用集群多節點對數據并行處理。在文獻[7]結合云平臺數據處理能力設計MapReduce并行算法，在狀態檢測和故障診斷方面具有一定的輔助作用。

中國電科院和相關供電公司積極將大數據建設引入電力系統中。江蘇省電力公司從2013年初開始建設營銷大數據智能分析系統。系統采用Hadoop分布式批處理技術處理數據，半個小時可計算全省每日用電量。同時，接入了氣象、統計部門數據，建立多維數據分析模型。系統還設有電力用戶搜索引擎，可查詢用戶每日用電量情況，用于用電行為分析。北京市電力公司目前正在開展營配數據集成工作，計劃從擴大數據采集覆蓋面、高數據中心的接入率和交互能力、實現全網拓撲貫通、統一數據集成技術標準、開展業務信息系統功能完善能力提升。

2基于Spark云計算電力設備故障并行診斷

2.1常見的變壓器故障診斷方法

電力變壓器油中溶解氣體分析(Dissolved Gas-in-oil Analysis,DGA)是變壓器故障診斷的一種有效方法。DGA監測技術分為在線監測和離線監測兩種方法，對電力變壓器過熱和放電故障敏感有效，不受外界電廠和磁場的影響，DGA在線監測技術最大優點是無需停運變壓器，并且可以查明變壓器發生的早起內部故障。

傳統的診斷方法有特征氣體法、羅杰斯比值法、三比值法等，這些傳統的方法大多局限閥值診斷，不能確切反映表現特征與故障之間的規律，難以分析發現潛伏性故障。針對傳統方法的缺陷，學者和專家提出了各種智能診斷方法如支持向量機、神經網絡、PSO粒子群、深度學習等算法相繼應用在變壓器故障診斷中[8-11]。支持向量機在數據樣本較小時，具有良好的分類效果，但隨著樣本增加效果不會顯著提高，而且在核函數的選擇也比較困難，沒有有效理論支撐。神經網絡也會陷入局部最優解當中，出現“震蕩”現象。深度學習算法模擬人腦對數據進行訓練，基于自編碼、深度信念網絡的方法都存在訓練層數多、訓練時間過長等問題。而且上述方法都是在單個節點進行數據分析，存在訓練時間長等問題，難以面對海量的數據和源源不斷的流式數據。Spark充分利用集群的計算優勢，依賴豐富的數據挖掘算法，可以對海量的變壓器監測數據快速處理，Spark Streaming可以將流式數據分成短小的批處理作業。

2.2樸素貝葉斯并行化

在電力變壓器故障診斷中，樸素貝葉斯算法是一種簡單高效的分類算法。樸素貝葉斯分類定義如下：設x={x1,x2,…，xn}為一個待分類項，c={c1,c2,…,cn}對應分類集合。對于元組x只需求出最高的后驗概率Cmap即可。公式(1)、(2)給出了Cmap和樸素貝葉斯計算公式：

(1)

(2)

又P(x)對于每個相應的類都是常數，在計算過程中可以當作數值1簡化處理。而在樸素貝葉斯中每個條件相互獨立，P(x|ci)可以通過累乘求出結果，具體如公式(3)所示：

(3)

根據公式(2)和(3)，公式(1)可以變換為

(4)

為了避免多條件概率相乘造成的精度損失，引進In函數，將連乘轉變為累加，故公式(4)最終可以轉換為

(5)

并行樸素貝葉斯訓練過程如圖1所示，構建RDD partition。在局部運算中map，reduce等算子操作計算出數據中每種故障類屬性的數據總數、含有屬性特征的數據總數。在全局運算中通過map，combineByKey，collect等算子操作計算某類故障屬性出現的概率。在計算過程中，避免概率為0出現，進行Laplace平滑處理。Spark默認按行處理數據，每一行的數據格式為分類標簽和特征值，每個數值之間用空格分開。Spark樸素貝葉斯訓練步驟如下：

圖1　并行樸素貝葉斯

(1)讀取數據，創建RDD數據切片。

(2)進行map操作成新的RDD，將原RDD中的元素在新RDD中都有且只有一個元素與之對應。定義函數將行字符串映射成list(label，(1，features))，其中，label表示類別號；1是出現的次數；features表示特征值。

(3)進行reduceByKey操作，將相同的label對應的(1，features)進行相加，得到(label，(N，featuresSum))，其中N表示label類出現的次數，featuresSum表示特征值出現的次數。

(4)進行collect觸發操作，得到結果。

3實驗

3.1數據準備與轉化階段

變壓器發生故障時會伴隨多種氣體的產生，選取 H2、CH4、 C2H6、C2H2和C2H4氣體作為屬性，發生不同故障產生的氣體也有差異，因此根據DGA數據可以作為樸素貝葉斯分類的輸入。本文的DGA數據來自文獻[12]以及江蘇電力公司。經過數據過濾，過濾掉數據缺失、不完整或有缺陷的數據，選取600條作為訓練和測試數據，以HFDS文件格式存儲數據，在這些數據中，變壓器故障主要分為下面6種，用C1到C6分為表示不同的故障類型。如表1所示。

表1　常見變壓器故障類型

在表2給出了部分DGA數據以及所對應的故障類型。

表2　部分變壓器DGA數據　μL/L

在多數情況下，可以將連續屬性特征離散化處理，然后在貝葉斯的假設下，計算離散值的概率。把復雜的分布特征轉化為簡單的樸素貝葉斯模型。根據相關文獻[13-14]特征氣體離散化如表3所示。

表3　DGA氣體數據離散化

3.2環境搭建

本文在實驗室搭建一個spark集群系統，對DGA數據并行分析與診斷，其中，Spark版本為spark-1.3.0-bin-hadoop2.4。集群共設置7個節點，一個Master節點配置為處理器 i3-2120 3.30 GHz、內存 3 GB、硬盤250 GB；6個Work節點配置為處理器 E5-2609 v2 2.50 GHz、內存7 GB、硬盤 300 GB。通過交換機成一個內部網絡。配置各個節點的Hadoop配置、修改Spark-env.sh配置文件。

3.3樸素貝葉斯并行驗證

在樸素貝葉斯模型訓練過程中，訓練樣本和測試樣本按照比例2∶1劃分，結果如表4所示，平均準確率達到84.6%。實驗結果表明，基于Spark并行樸素貝葉斯方法具有良好的分類預測效果。

表4　變壓器故障診斷結果

為處理海量的電力設備監測數據，還需要增大樣本數量。由于條件限制，在實驗中通過對已有的數據進行動態隨機復制，生成大規模的測試數據。在大小相同DGA數據集下，測試樸素貝葉斯在Spark平臺上和單機平臺上運行時間，實驗結果如表5所示。

表5　測試時間對比

從表5中可以看出，當數據集較小的時候，單機測試時間要小于集群測試時間，因為在Spark集群中節點之間交互信息，需要消耗一定的時間，當數據集繼續擴大時，集群的測試時間要遠遠小于單機測試時間。加速比是衡量集群計算能力的一個重要指標[15]。Spark技術能夠快速處理大數據，處理能力與集群節點數和文件大小有關。繼續增大文件大小，同時改變集群節點個數。實驗結果如圖2所示。

圖2　并行貝葉斯加速比

結果表明，當數據量達到GB大小時，基于Spark并行貝葉斯加速比隨著集群的節點數增加線性提高，在相同的數據規模下集群節點數增加，每個集群節點分的數據切片變小，算法計算時間越短，加速比越高。同時，當節點數確定，加速比隨著數據大小增加而提高，也體現了Spark處理大數據的優越性能。

4結論

傳統的電力設備監測與診斷方法難以處理海量的監測數據，不能滿足智能電網建設的要求，本文將Spark云計算框架應用于電力設備監測中，以DGA監測數據作為處理樣本，并行實現樸素貝葉斯算法完成對變壓器故障診斷，隨著數據樣本的增加準確率越來越高，通過對原數據的動態復制，數據量到達GB時，Spark并行處理數據時間要遠遠小于傳統的串行診斷方法。

本文只是對電力設備監測數據并行診斷做了實驗，在實驗中處理的數據都是人為的收集整理，不是監測設備傳回的流式實時數據，而且樣本規模小，需要人為復制擴充，應用到具體工程實踐中還有許多工作，在后續工作中還需要優化Spark處理性能，提高監測數據診斷的速度和準確率。

參考文獻:

[1]王海霞, 李傳紅, 李玉珍,等. 無線傳感器電力設備監測[J]. 化工管理, 2014(14):198-198.

[2]甘櫪元. 基于云計算的數據挖掘算法的研究[J]. 電子技術與軟件工程, 2015(7):195-195.

[3]薩初日拉,周國亮,時磊,等.Spark環境下并行立方體計算方法[J].計算機應用,2016,36(2)：348-352.

[4]宋亞奇，周國亮，朱永利.智能電網大數據處理技術現狀與挑戰[J].電網技術，2013，37(4)：927-935.

[5]周國亮，宋亞奇，王桂蘭，等.狀態監測大數據存儲及聚類劃分研究[J].電工技術學報，2013(S2)：337-344.

[6]王德文，孫志偉. 電力用戶側大數據分析與并行負荷預測[J].中國電機工程學報，2015，35(3)：527-537.

[7]王德文，劉曉建. 基于MapReduce的電力設備并行故障診斷方法[J].電力自動化設備，2014，34(10)：116-120.

[8]韓世軍, 朱菊, 毛吉貴,等. 基于粒子群優化支持向量機的變壓器故障診斷[J]. 電測與儀表, 2014(11)：71-75.

[9]阮羚，謝齊家，高勝友，等. 人工神經網絡和信息融合技術在變壓器狀態評估中的應用[J].高電壓技術，2014，40(3)：822-828.

[10]程聲烽，程小華，楊露. 基于改進粒子群算法的小波神經網絡在變壓器故障診斷中的應用[J]. 電力系統保護與控制，2014(19)：37-42.

[11]石鑫，朱永利. 深度學習神經網絡在電力變壓器故障診斷中的應用[J].電力建設，2015，36(12)：116-122.

[12]武中利. 電力變壓器故障診斷方法研究[D].保定：華北電力大學，2013.

[13]張敏. 淺析變壓器油中溶解氣體色譜分析與故障診斷[J]. 科技創新與應用, 2015(23):96-97.

[14]趙文清.基于數據挖掘的變壓器故障診斷和預測研究[D].保定：華北電力大學，2009.

[15]邵津生，管磊.Hadoop加速比性能模型研究[J]. 河南師范大學學報(自然科學版),2014(2)：152-157.

Transformer Fault Diagnosis in Parallel Based on the Spark Platform

LIU Cheng1，NIU Rui1，FAN Heming2,XU Jing1，ZHU Yongli1

(1. School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China; 2. State Grid Jibei Electric Power Co., Ltd., Chengde Power Supply Company, Chengde 067000, China)

Abstract：For dealing with the massive amounts of power equipment monitoring data and meeting the smart grid rapid diagnosis requirements, this paper takes power transformer fault diagnosis as an example and proposes a parallel method based on spark to diagnosis transformer monitoring data. The experiment chooses dissolved gas in oil as input data and uses parallel naive Bayesian classification for fault diagnosis. The results show that the parallel Bayesian method in transformer fault diagnosis is faster than that of the traditional stand-alone environment. The power equipment monitoring data parallel diagnosis platform based on Spark is able to quickly process a great quantity data and complex model scene; the speedup of cluster significantly improves with the nodes increasing, it can also meet for power grid big data quickly processing requirements.

Keywords：Spark；transformer fault diagnosis；naive Bayesian；smart grid

收稿日期：2016-04-16。

基金項目：河北省自然科學基金(F2014502069)；國家電網(2014MS129)。

作者簡介：劉成 (1990-)，男，碩士研究生，研究方向為spark并行計算，E-mail：1554720961@qq.com。

中圖分類號:TP391.9

文獻標識碼:A

DOI:10.3969/j.issn.1672-0792.2016.06.006