改進雙向門控循環單元的電力系統負荷預測

孫 寧, 陳 田, 徐桂安

(上海電機學院 機械學院, 上海 201306)

電力系統負荷預測按預測時間分類可分為時分、日度、月度、年度預測等,在幫助電力部門合理安排發電目標的同時,精確的負荷預測還能降低發電成本、提升企業效益、增加電力系統的穩定性、保障正常的社會生產活動,因此負荷預測是電力系統經濟調度中的一項重要內容[1],也引起了國內外專家的廣泛討論。

經過多年發展,電力負荷預測有了多種方法,這些方法大致可以分為3類。第1類為統計學方法,代表有專家系統法、線性回歸法[2]、自回歸法[3]等,優點是結構簡單,建模方便,但是對于非線性問題效果不好,且歷史數據一旦有較大誤差就會導致結果不準確,無法進行預測。第2類為應用到了人工智能領域的方法,如支持向量機[4](Support Vector Machine,SVM)、粒度級聯森林算法[5]、人工神經網絡[6](Artificial Neural Network,ANN)等。SVM 無論對線性還是非線性都有著較好的效果,并且具備一定的泛化能力,但在數據量大的情況下收斂速度慢、準確率也會降低。而在ANN 方法中,雖然有著較好的非線性映射能力,但容易出現局部最優的情況。上述方法都各有其缺陷,單一模型不能全面考慮到各種影響因素。第3類為利用組合模型的方法,結合算法優化進行預處理,著名的有經驗模態分解(Empirical Mode Decomposition,EMD)技術、集合經驗模態分解(Ensemble Empirical Mode Decomposition,EEMD)技術、互補集合經驗模態分解(Complementary Ensemble Empirical Mode Decomposition,CEEMD)技術[7]等,通過對時序數據預處理達到提升預測準確率的目的。組合模型能夠做到互相補充、取長補短,擅長應對各種狀況[8]。統計學方法難以處理非線性信息,機器學習方法難以保留信息中的時序信息[9]。隨著計算機算力的增強,很多深度學習思想都能得到實現并加以運用,很快成為了負荷預測研究的關注目標。循環神經網絡(Recurrent Neural Network,RNN)一經提出便成為深度學習中主要網絡之一,其自反饋的神經元有著短期記憶的能力,能夠處理時序信息,但在處理過程中,由于每一步都需要進行雅可比矩陣的累乘,一旦步數過多,就容易導致梯度爆炸或梯度消失,為解決這一問題,長短期記憶網絡[10](Long Short-Term Memory,LSTM)應運而生,比起傳統的RNN 網絡多出來了3個門控制器:輸入門、輸出門和忘記門,在處理時序信息問題上得到了極為廣泛的應用[11-13]。但是,仍然存在收斂慢、結構復雜的缺點,于是進一步優化了雙向門控循環單元[14-15](Bidirectional Gated Recurrent Unit,BiGRU),簡化結構的同時保證了良好的運算效率。

為提升電力系統短期負荷的預測精度,本文提出了一種基于注意力機制(Attention Mechanism,AM)[16-17]的卷積神經網絡(Convolutional Neural Networks,CNN)網絡和BiGRU 單元組合預測的方法,本方法先通過注意力機制應用于CNN 之上將權重分配給輸出信息以達到對所需信息突出化的目的,使BiGRU 中的重要特征不會隨著處理步數增加而消失。結果表明,本方法運行效率高、魯棒性高。

1 相關模型原理

1.1 CNN

CNN在深度學習中是最為常見的網絡結構,二維卷積神經網絡(2D-CNN)在圖像處理領域應用廣泛,能夠提取圖像的特征信息,一維卷積神經網絡(1D-CNN)也類似,可以權值共享、并行處理等。多用于自然語言處理,提取時序特征等,1DCNN可以通過卷積核從時序信息中提取多個具有細粒度特征的特征信息。

1.2 門控循環單元

門控循環單元是在LSTM 結構上進一步優化所得到的變體,結構簡單的同時,有著良好的效果。LSTM 結構中有3個門控單元:輸入門、輸出門和忘記門,分別控制著輸入值、輸出值和記憶值。而門閥循環單元(Gate Recurrent Unit,GRU)中只有2 個門控單元:重置門r t和更新門z t,因此GRU 模型中參數更少,運算效率得到大幅提高,GRU 網絡的基本結構如圖1所示。圖中,重置門和更新門的輸入為t時刻的x t和t-1時刻的隱藏狀態h t-1;σ為Sigmoid 激活函數,隱藏狀態h t-1經過r t后與x t相加,通過tanh激活函數將范圍控制在[-1,1],更新隱藏狀態h t-1后得到h t。內部計算公式為

圖1 GRU網絡的基本結構

式中:Wz、Wr、W為重置門、更新門、隱藏層對應的權值為t時刻的隱藏狀態。

1.3 BiGRU

在GRU 中,狀態的傳輸是從前向后單方向傳播的,然而在處理某些問題時,要考慮的不光是在之前的信息,之后的信息也同樣重要,這種情況下就需要用到BiGRU 網絡結構。

BiGRU 由前向GRU 和后向GRU 組成,其結構如圖2所示,BiGRU 可以對整個時序信息進行預測,t時刻輸入會同時提供給前向GRU 與后向GRU,最后輸出t時刻的隱藏層狀態由前向隱層狀態與后向隱層狀態取一定權重得到,其計算過程為

圖2 BiGRU網絡的基本結構

1.4 AM

AM 是在模型中嵌入的一種特殊的結構,能夠使模型對重要的特征賦予更多的權重[19]。在負荷預測模型中,CNN 經常被用來提取歷史數據與通道特征,但是所提特征的重要性往往不一而足,如果不經過處理直接將信息傳入至下一層,很有可能造成信息丟失。AM 模塊的加入可以改善這一情況的發生,強化模型對重要特征的保留能力,忽略次要的特征。AM-CNN的結構模型如圖3所示。

圖3 AM-CNN網絡的基本結構

由圖可知,特征通道數X的數量為C、特征列數的數量為Q,序列的長度為H的原始輸入數據,經過一次卷積操作后得到U,全局最大池化(Global Max Pooling,GMP)和全局平均池化(Global Average Pooling,GAP)處理后得到通道信息提取向量T1,T2是非線性變化處理后的T1,最后經過加權得到～x。

2 預測模型簡述

2.1 完全集合經驗模態分解

為降低數據集中的噪聲干擾以及數隨機波動性,需要先對數據進行優化處理,傳統的經驗模態分解技術在分解信號的過程中會出現模態混疊的問題,在此基礎上提出算法加入白噪聲來減緩模態混疊,但無法完全消除白噪聲的殘留,其對后續處理形成了干擾[20]。

為解決上述問題,提出一種完全自適應噪聲集合經驗模態分解法(Complete EEMD with Adaptive Noise,CEEMDAN)改進算法,主要通過2個方面解決:①加入經驗模態分解技術處理后的固有模態函數分量,不再直接向原始信號中添加白噪聲;②CEEMDAN在每一次得到固有模態函數分量時進行一次集總運算,高效的解決了噪聲的傳遞問題。處理過程如圖4所示。

圖4 CEEMDAN與預測模型組合預測流程

2.2 歸一化

在電力負荷預測過程中,如果一次性網模型中輸入大量的歷史數據,模型的處理時間會顯著提升,為了提高效率,需要對數據進行一定的預處理操作。采集到的數據集多軸之間量綱不同,為避免單一特征權重過大,需要對所采集到的數據進行歸一化操作,通過線性方法將他們映射至(0,1),具體實現公式為

2.3 評價指標

為了能夠有效的評估模型的效果,本文中采用平均絕對誤差(Mean Absolute Error,MAE)、均方根誤差(Root Mean Squared Error,RMSE)、平均絕對百分比誤差(Mean Absolute Percent Error,MAPE),三者的數值越小越好,代表各自的模型的預測效果更好,其各自的表達式為

式中:n為預測樣本的個數;A t、F t為測試集中的實際值和預測值。

2.4 優化器與損失函數的選擇

本實驗中的所有模型,在訓練過程中選擇的優化器均為Adam 優化算法,損失函數均選擇RMSE。Adam 算法是在梯度下降基礎上的擴展,既能用于梯度稀疏的場合也能緩解梯度波動的問題,迭代權重的效果更加理想,優化損失函數MSE。損失函數Loss為

式中:n為預測樣本的個數;A t、F t為模型中的實際值和預測值。

3 實驗結果及分析

3.1 實驗環境

本文實驗所用的環境為64位Win 10系統,運行內存為160 GB,顯卡為Tesla K80。處理器型號Intel(R)Xeon(R)Platinum 8160 CPU,使用以Python為主體語言的深度學習框架TensorFlow進行網絡的搭建,根據系統選擇cuda 10.2作為GPU 支持,開發環境配置工具為Anaconda3(64-bit),編程語言選用Python3.9。

3.2 CEEMDAN算法分解

為了獲取更加穩定的數據序列,在使用CEEMDAN算法對電力系統負荷時序數據分解過程中,將添加入每組的噪聲信號幅度設置為0.1,原始電力系統負荷時序數據經過CEEMDAN 算法的分解后得到的結果如圖5所示,經過分解后得到8組固有模態函數分量和一組殘余量。

圖5 CEEMDAN算法分解后的電力負荷數據

由圖可知,分解后的每一個固有模態分量序列都十分有序,充分說明CEEMDAN 在處理時序信息上的優越性。

3.3 結果分析

本文采用澳大利亞維多利亞州負荷數據進行預測實驗,將2015年1月—2015年6月的負荷數據作為訓練集,將7月的負荷數據作為測試集。

為了體現本文方法的優越性,用RNN、BiGRU、本文中提出模型得到的結果和實際數據進行對比。預測結果對比如圖6所示。明顯看出本文中提出模型預測精度優于其他模型,且穩定性更好,驗證了AM-CNN模型對BiGRU的優化效果。

圖6 預測結果對比

為了能和其他模型有更為直觀的比較,采用MAE、MAPE、RMSE進行對比展示,詳細4個模型的3個評價指標數據見表1。

表1 4種模型預測效果對比

由表可知,文中所提出的模型在這3個指標評價中都有著較優的表現。MAE、MAPE、RMSE較其他3種方法都有著提升。

4 結 語

為提高電力系統未來負荷數據的預測效果,對電力工作人員提供一個更有參考價值的數據,利用CEEMDAN算法,減少數據不穩定對預測結果的不良影響。通過對多個模型實例分析和對比論證,AM-CNN-BiGRU 組合模型在電力負荷預測上有優越的預測性能和高魯棒性,能夠滿足目前對于預測上的精度要求,為短期負荷預測提供了理論參考和方法依據。