基于PCA-MP-BP的智能電網數據融合方法

賴偉平， 林筆星

(國網信通億力科技有限責任公司，福建,福州 350000)

0 引言

隨著智能電網和大數據技術的發展，通過挖掘電網大數據的價值，為提高電力系統安全水平和服務質量帶來了便利，電網大數據的研究對于社會發展具有重要意義[1]。但是隨著電網大數據的增長，如何對多源數據進行整合，從中挖掘出對提高企業的管理水平和客戶服務質量的信息，是一個十分困難的問題[2]。

隨著智能電網技術的飛速發展，帶來了海量的數據，如何在電網大數據中挖掘出對當前服務質量有價值的信息，眾多學者進行了越來越深入的研究。文獻[3]提出針對智能電網產生的海量數據，采用數據融合和分析方法為智能電網的規劃提供數據支撐，提高了智能電網的服務質量。文獻[4]對電網調度站的智能告警系統上傳的數據，進行數據的壓縮，融合后進行分析，并判斷出電網的故障點，提高了故障處理效率。文獻[5]為了提高智能電網的隱私保護水平，提出了一種簽名融合方法，以提高電網的效率和安全特性。文獻[6]針對智能電網中的海量數據問題，提出了4種數據融合算法，提出了智能電網廣域測量數據融合方法，降低了信息開銷，提高了網絡傳輸效率。文獻[7]針對電網中存在的多維異構數據，設計了一種數據融合方法，對數據進行了深入挖掘和特征分析，提高了數據的應用效率。文獻[8]采用受限玻爾茲曼機對電網大數據進行數據融合，該方法對異常信息的準確率，誤報率和偶爆率等方面優于其他傳統異常檢測方法。文獻[9]提出了智能電網數據倉庫架構，建立了大數據應用體系的5級架構，提高了數據的分析效率。

針對如何提高智能電網采集到的大數據利用率問題，提出了采用PCA方法對電力大數據進行降維處理，然后采用MapReduce和BP算法相結合的數據融合方法，實現對風電功率預測，相比于其他傳統方法，具有更快的數據處理速度和更高的預測精度。本文按如下結構進行組織，第一章對智能電網大數據的背景和意義進行了分析；第二章對智能電網大數據技術和數據融合技術進行了研究；第三章提出了基于MapReduce和BP算法的并行融合預測技術；第四章對所提的數據融合算法進行了算例仿真；第五章對全文進行了總結。

1 智能電網大數據融合

1.1 智能電網大數據

隨著智能電網的飛速發展，從發電，輸電，變電，配電等各個環節產生了海量數據，企業對數據進行有效分析帶來了巨大挑戰。大數據指的是在特定時間內的海量，結構各異的復雜數據集。大數據的特征包括：(1)規模性，數據的來源包括電力生產，傳輸和使用的各個環節，而且數據量達到了EP級別。(2)多樣性，數據的格式包括文本、圖像、視頻等，且具有結構化半結構化和非結構化的數據特性。(3)高速性，電力大數據具有動態，快速，及時的特點，而且數據間存在網絡化的關聯。(4)價值密度低，對電力大數據進行挖掘，可以為生產，運行，管理等方面提供建設指導。

電力系統的大數據來自于生產，運行，管理等方面，包括發、輸、變、配、調、用等各個環節，數據類型存在結構化和非結構化數據，因為設備類型和執行標準的不同，數據之間還存在異構特性，從電網的業務來看，包括了發電側，輸變電側和用電側的數據[10]。

1.2 智能電網數據融合技術

存在于智能電網中的數據，由于來源于不同系統和數據特征不同的原因，需要采用信息融合技術，對數據的海量化、冗余、異構等方面進行處理，實現數據的統一利用[11]。采用信息融合的方法對智能電網大數據進行處理，信息融合指的是從多個信息源提取對決策有價值的數據，以提高決策的準確性。信息融合包括數據層、特征層和決策層。數據層融合指的是如果對原始數據進行處理，消耗的計算資源較多，需要對數據進行預處理[12]。特征層融合指的是提取數據的主要特征，能夠表征數據的屬性，不影響數據使用價值。決策層融合指的是整合有價值信息得到最終的決策結果。

在電網中，從發電、輸電、配電、用電等采集至平臺的數據是分散的，互異的，直接對數據進行挖掘，不利用分析結果的準確性，也增加了系統的計算復雜度[13]。為了提高數據挖掘價值，對結果有價值的數據進行融合，提高數據使用效率。智能電網數據融合分析框架如圖1所示。

圖1 智能電網數據融合流程圖

智能電網大數據處理需要采用大數據處理平臺。大數據處理平臺包括傳感量測層、數據管理層和應用層。傳感量測層采集的信息包括電力、溫度、氣象等數據。數據管理層主要用于實現特征融合，剔除冗余，噪聲，不一致的數據，實現數據的清洗。應用層主要是根據采集的數據為電力企業和客戶進行服務。

2 基于PCA-MP-BP的數據融合方法

2.1 主成分分析(PCA)

本文采用主成分分析法(PCA)提取智能電網大數據特征因子[14]。實現過程：設有N個樣本，每個樣本n個參數，表示為X=(xij)N×n。

(1)對X進行標準化處理。

(2)構建相關系數陣：R=(rij)n×n=XTX。

(3)求取R的特征根，記為λ1≥λ2≥…≥λn,對應的特征向量如下:

(1)

(4)提取主成分，取m個特征代替原始數據(m

Fi=a1iX1+a2iX2+…+aniXn(i=1,2…,n)

(2)

XPCA=[F1,F2,…,Fm]=X[a1,a2,…,am]

(3)

(5)計算每個參數的貢獻率，如式(4)，

(4)

2.2 BP算法

反向傳播(Back Propagation,BP)算法是通過輸入層，隱含層，輸出層之間的連接，實現正向傳播信息和反向誤差傳播調整網絡，最終得到網絡輸出。BP神經網絡的結構圖如圖2所示。

圖2 BP網絡拓撲結構

假設輸入為X=(x1,x2,…,xn)T,輸出為Y=(y1,y2,…,ym)T。其中，n,m分別是輸入層和輸出層神經元數量。隱層和輸出層激活函數為Sigmoid函數，如式(5),

(5)

對k層的第i個神經元輸入如式(6),

(6)

該神經元的輸出如式(7),

(7)

誤差反向傳播時，假設期望輸出為Yj，j∈[1,N]。誤差計算用式(8),

(8)

BP網絡的均方誤差記作式(9),

(9)

其中，Y是預測輸出集，Yq是實際輸出值。則k層權值調整方法如式(10),

(10)

其中，η是學習率。

當預測輸出值與實際輸出值誤差大于設定閾值的時候，求取誤差值并反向傳播，按照梯度下降法調整權值，經過多次調整，獲得期望的網絡結構。

2.3 基于MapReduce的BP算法

由于傳統的BP網絡計算時間較長，不適用于解決大數據問題。并行計算是同時處理多個問題，每個問題由一個處理器求解，最終將復雜問題分解成若干個子問題計算，加快了處理效率。并行計算可以按時間方向和空間方向進行劃分。

本文將BP和MapReduce相結合，以提高智能電網大數據處理效率。MapReduce將復雜問題分解成若干個Job,每個Job都存在Map和Reducer[15]。MapReduce能夠高效處理大數據，具有快速收斂，精度高的特點。BP算法和MapReduce并行化的方法如圖3所示。

圖3 BP網絡并行化流程圖

將訓練集數據分塊傳送給各個接收節點，在Map過程中對樣本進行訓練，求取權值，在Reduce過程調整權值并判斷是否需要循環。Map的過程：從HDFS讀取網絡權值矩陣，根據網絡權值得到神經網絡模型，對樣本的輸入、輸出進行歸一化處理，根據誤差值循環迭代算法，最終得到輸出權值對，如圖4所示。

圖4 Map函數流程圖

Reduce的過程：接收Map輸出的鍵值對，求取平均權值，并判斷是否需要循環，如圖5所示。

圖5 Reduce函數流程

2.4 基于MapReduce的融合處理

智能電網的大數據處理要求具有實時性，保障電網運行的安全性。采用Hadoop方案，HDFS用于存儲數據，MapReduce方法實現數據的快速處理。本文所提的基于MapReduce和BP的融合算法(PCA-MP-BP)對風電功率進行預測的流程如圖6所示。

圖6 并行融合處理算法

PCA-MP-BP算法的融合流程如下所述。

(1)數據離散化。采用K-means算法對采集的數據進行聚類處理。

(2)將監測的數據矩陣化。E作為風機某時刻監測矩陣，E=(d1,d2,…,dm,t)。M為維度，di是第i維數據值，t是采樣時間。

(3)對采集的數據進行特征提取。

(4)采用MapReduce和BP并行化方法訓練網絡。

3 算例仿真

3.1 實驗設置

為了驗證本文所提方法的有效性，在Hadoop平臺上，采用風電場數據預測風電輸出功率。建立了10臺配置相同的節點進行實驗分析，平臺如圖7所示。

圖7 基于大數據融合的功率預測平臺

選取某風電場2017年5月風機歷史數據，共1 GB。定義風速(m/s)(X1),有功功率(kW)(X2)，無功功率(kW)(X3)，溫度(℃)(X4),齒輪油溫溫度(℃)(X5),齒輪箱軸承溫度(℃)(X6),相電流(A)(X7)，發電機溫度(℃)(X8),相電壓(V)(X9),機艙溫度(℃)(X10),風向(°)(X11),總電量(kWh)(X12)為輸入。經過PCA-MP-BP處理后，得到的預測輸出為風電功率。本文的預測誤差檢驗方法為均方根誤差(Root Mean Square Error,RMSE)，如式(11)，

(11)

其中，Yt為預測結果，yt為實際值，n為樣本數量。

t檢驗是求取兩個平均值差異，如式(12)，

(12)

加速比用于評價并行算法處理性能，如式(13),

S=t/T

(13)

其中，t為單機耗時，T為集總耗時。

本文分別采用BP算法和PCA-MP-BP算法分別對風電功率進行預測，均為單隱層神經元。采用PCA算法提取出影響輸出的主要特征，當特征集為X1,X2,X4,X8,X10,X11,X12的時候，貢獻率為87.63%，所以將該特征作為輸入特征。經過3種算法預測得到的功率預測對比曲線如圖8所示。

圖8 功率預測對比曲線

通過BP算法和PCA-MP-BP算法的預測結果，可以得到RMSE,MAPE對比結果如圖9和表1所示。

圖9 RMSE對比曲線

表1 誤差對比結果

對算法的計算效率進行分析，將傳統的方法與MapReduce方法進行對比，結果如圖10所示。

圖10 數據處理速度對比圖

3.2 結果分析

從圖8可以看出，本文所提的PCA-MP-BP算法相比于傳統的BP算法具有更高的預測精度。由于PCA方法消除了冗余變量，提取了主要特征因子，使網絡結構更緊湊，建立的模型更準確。

從表1和圖9可以看出，PCA-MP-BP算法的RMSE,MAPE和t檢驗結果均低于傳統的BP算法。驗證了本文所提方法的有效性。

從圖10可以看出，在處理相同數據量的數據時，本文所提的PCA-MP-BP算法比傳統的BP算法具有更快的處理效率。

4 總結

為了提高智能電網大數據的處理效率，提出了PCA-MP-BP算法。對提取的電網大數據，采用PCA方法進行特征提取，對數據進行降維處理，然后采用MapReduce和BP算法相融合的方法對采集的數據進行分節點處理。通過風電功率預測仿真對比，驗證了本文所提的方法相比于傳統的BP算法，具有更高的功率預測精度，而且具有更快的處理效率，說明本文所提的智能電網數據融合方法適用于解決電網大數據問題。