基于CNN-BiLSTM-Attention的超短期電力負荷預測

宋珊珊，潘文林，王嘉梅，梁志茂

(云南民族大學 電氣信息工程學院，云南 昆明 650500)

為了確保電網運行過程中的安全性、高效性、經濟性和穩定性，需要電力調控部門制定有效的能源發電規劃和資源調度配置方案，同時也需要電力市場部制定合理的供電計劃和電能調度方案，而準確的電力負荷預測是保證電力系統高效運營的必要前提[1].電力負荷預測分為超短期電力負荷預測，短期電力負荷預測，中期電力負荷預測以及長期電力負荷預測，其中，超短期負荷預測是指，通過電力負荷預測模型，對未來的 1 h 之內的負荷進行預測的行為.超短期電力負荷預測有隨機性大，不易預測規律難以掌握的特點，但同時具有重要價值，被國內外學者的研究.

對于電力負荷預測的研究，國外很早就開始了這項工作.其中，神經網絡在20世紀80年代就問世了，在后續的電力負荷預測研究中，神經網絡憑借其優越性，在今天對于電力負荷的研究中，也占據重要的地位[2].相較于國外的研究，國內學者對于電力負荷預測的研究探索相對較晚，但近些年來，國內很多專家學制，以及高校，了解到其重要性，紛紛投入到對電力負荷的預測精度的探索中，設計了各種預測模型，并使得預測精度一定程度上得到了提升.目前，國內外學者對負荷預測的進行了很多研究.文獻[3]提出一種基于電力負荷歷史數據挖掘的負荷預測算法.該算法基于粗糙集理論構建了一種組合式神經網絡,文獻[4]提出基于 LSTM 網絡的滾動預測模型.文獻[5]為了提高光伏出力短期預測精度，提出了一種考慮空間相關性采用長短期記憶(long short-term memory, LSTM)神經網絡的預測方法.文獻[6]提出了一種新型熱氣候指數-最大信息系數與振幅壓縮灰色模型的用戶側微電網短期負荷預測方法.

1 相關理論介紹

1.1 卷積神經網絡

卷積神經網絡(convolution neural network)，通常情況下簡稱為CNN，屬于深度學習中的一種重要算法，模擬人類的視覺處理流程，可以高效的提取特征，通常情況下，CNN包括卷積層，池化層(通常是最大池化層)，全連接層，其中，卷積神經網絡中對于特征的高效提取是通過卷積層的卷積計算來實現的，它也是卷積神經網絡的核心層，是卷積神經網絡的重要部分[7].文中主要運用卷積層對電力負荷相關數據進行特征提取.

1.2 循環神經網絡

循環神經網絡(recurrent neural network)，通常情況下簡稱為RNN.與卷積神經網絡CNN一樣，也是神經網絡模型中在學術界備受歡迎的模型之一.然而，與卷積神經網絡用來高效提取特征用法不同，循環神經網絡RNN通常被用來處理時序問題，是一種用于處理時間序列數據的神經網絡[8].在循環神經網絡中，相鄰隱藏層之間相連接，后一層神經元的輸出與前一層神經元的輸出存在關系，RNN神經網絡將前一時刻的輸出選擇性保留并參與到當下時刻的運算中，循環神經網絡的也正是因為這種特征性使得它可以成功的運用到序列式問題當中.RNN結構圖如圖1所示.

圖1 RNN結構圖

1.3 長短期記憶神經網絡

長短期記憶神經網絡(long term and short term memory neural network)，通常情況下簡稱為LSTM.LSTM最早是由 Hochreiter 和 Schmidhuber 提出的，它本質上也是一種循環神經網絡，基于RNN存在的缺陷，它是專門為解決長期依賴時間的問題而設計的，在很多問題，比如在語音識別、圖片描述、自然語言處理等，LSTM 都取得相當巨大的成就，并得到了廣泛的使用[9].

LSTM的實質也是一個循環神經網絡，在與RNN對比下，其優勢是可以解決RNN中存在的梯度消失問題，可以解決有較長時間依賴的時間序列問題，是對RNN的一個改進與升級，其結構圖如圖2所示.

圖2 LSTM結構圖

1.4 雙向長短期記憶神經網絡

LSTM只能依賴過去時刻的序列信息來預測下一時刻的輸出，但是在很多問題中，當前時刻的輸出不僅與過去時刻狀態信息相關，還與未來時刻的狀態信息有關系[10].而BiLSTM解決了這個問題,其在結構上通過2個LSTM相連接，實現結合過去和未來的信息實現對當前時刻的預測，以期對當前時刻的預測精確度得到有效提升.

通過上文介紹知道，RNN神經網絡由于其結構可以參與時序問題的處理與解決，但這種方法通常情況下只考慮過去時刻對當下的影響，而忽略了未來時刻與當下存在的關系.基于這一想法，我們考慮在構建的模型中加入一個環節，即通過將未來時刻信息加入進來，與過去時刻共同參與T時刻的預測，并通過實驗，驗證其是否對預測精度的提高有幫助.其模型結構如圖3所示.

圖3 BiLSTM模型結構

1.5 注意力機制

注意力機制起源于對人體視覺的研究.人體視覺在對信息進行處理時，對信息的接受通常是有選擇性的，而注意力機制模仿了人體視覺對信息處理的部分，在對信息處理中，選擇性的對重要信息進行采集，而對于不重要信息選擇丟棄.注意力機制可以通過概率分配的手段，使得神經網絡具備專注某些特征的能力[11]，同時解決LSTM中序列過長導致的信息丟失問題.因此，將注意力機制引入神經網絡中有可能能將預測精度進一步提升.

2 基于CNN-Bilstm-Attention的超短期電力負荷預測

2.1 影響因素的選取

對電力負荷的預測，通常需要考慮一些影響因素，即在負荷預測中，需要選擇一些影響預測的因素.根據經驗以及相關的文獻閱讀，選擇溫度、濕度以及氣壓作為有可能造成影響的影響因素，并使用皮爾遜相關系數公式(1)進行科學合理的分析判斷，實現了影響因素的科學選擇，并完成相應的分析以及數據搜集，并納入樣本數據中.

(1)

經過皮爾遜相關系數公式，得到溫度與電力負荷的相關系數為0.7，濕度與電力負荷的相關系數為0.31，氣壓與電力負荷的相關系數為-0.32，對于皮爾遜相關系數r而言，當0≤|r|≤0.3時，表示2位數據相關程度為低度相關，當0.3≤|r|≤0.8時，表示2位數據相關程度為中度相關，當0.8≤|r|≤1時，表示2位數據相關程度為高度相關.因此，溫度與用電負荷呈高度相關，氣壓與濕度與電力負荷呈中度相關.對三維數據與電力負荷真實數據繪制熱力圖，如圖4～圖6所示.

圖4 溫度與用電負荷相關系數熱力圖 圖5 相對濕度與用電負荷相關系數熱力圖 圖6 氣壓與用電負荷相關系數熱力圖

因此，選取溫度、氣壓、濕度作為特征向量具有合理性.

2.2 數據預處理

筆者根據經驗以及大量文獻閱讀，對數據進行分析，選擇了溫度，大氣壓強以及相對濕度作為特征向量[12].通過百度以及學術網站，氣象網站搜集到每個采樣點對應的特征向量，將其與電力負荷數據一一對應，進行整合放入數據集中，其部分數據如表1所示.完整數據集共 35 041 行，5列.

表1 訓練數據集

在超短期負荷預測中，其輸入數據通常包含不同類型的數據，表示對預測結果有所影響的不同的特征向量，比如文中的溫度，大氣壓強，相對濕度，以及電力負荷數據，溫度單位為攝氏度，范圍通常在-10到40之間，而電力負荷單位為MW，且值通常在 3 000 到 7 000 間浮動，為了避免因量綱不同而導致的影響度不同問題，需要將各個維度的特征向量先進行歸一化，以獲得同一量綱的不同維度的特征向量.以保證數值范圍大的數據不會淹沒數值范圍小的數據.

通過歸一化，對數據集進行標準化處理，即將不同量綱的數據變換為統一范圍內的數據集，通常情況下，歸一化后數據范圍在[0，1]以及[-1，1]之間.本課題中，我們將數據統一歸一化到[0，1]范圍內.其計算公式如式(2)所示.

yi=(xi-xmin)/(xmax-xmin).

(2)

其中，xi為特征向量中每個值，xmin為該特征中最小的值，xmax為該特征向量中最大的值.yi為經過處理后的數據.

2.3 訓練模型

文中CNN-BiLSTM-Attention神經網絡結構為輸入層，連接卷積層，通過部分鏈接BiLSTM層，通過部分鏈接到Attention層，通過一個Flatten層連接一個全連接層輸出.其神經網絡結構圖如圖7所示.

圖7 CNN-BiLSTM-Attention神經網絡結構

使用Python3.7.6版本，在Keras 2.0.2框架下，將處理好的數據送到構建好的模型中進行訓練，文中定性周期epoch設置為10，batchsize設置為64.經過10輪訓練.得到一個訓練好的模型.

測試集數據通常為總數據集的20%，本課題中選擇末端的5 000條數據經過歸一化處理作為測試集.喂到訓練好的模型中，進行預測.為了降低由于數值過大以及由于不同量綱的特征對預測造成的影響，整個訓練過程使用的都是經過歸一化的數據，因此，需要將預測結果進行反歸一化，得到所需要的預測值，反歸一化公式(3)為：

li=Li*(lmax-lmin)+lmin.

(3)

其中,Li為模型輸出的預測結果，lmax,lmin分別為樣本數據中的最高和最低負荷，li為負荷預測的最終數值.

本文中定性周期epoch設置為10，batchsize設置為64,激活函數為relu.

為了突出該模型的優勢，構建CNN-LSTM神經網絡，CNN-BiLSTM神經網絡預測模型，并將同樣的數據對其進行訓練，并將最后不同模型對同樣數據訓練，預測后的結果進行對比.其神經網絡結構分別如圖8、9所示.

圖8 CNN-LSTM神經網絡結構圖

圖9 CNN-BiLSTM神經網絡結構圖

3 實驗結果與分析

通過將處理好的數據集中前 30 000 數據送到搭建好的3個神經網絡模型中進行訓練，然后調用訓練好的神經網絡模型，選取數據集中末 5 000 個數據進行驗證.

通過對神經網絡模型的訓練，將驗證集輸入模型進行預測，得到預測結果如下：

1)CNN-LSTM神經網絡模型預測結果(如圖10所示).

圖10 CNN-LSTM模型預測結果

2)CNN-BiLSTM神經網絡模型預測結果(如圖11所示).

圖11 CNN-BiLSTM模型預測結果

3)CNN-BiLSTM-Attention神經網絡模型預測結果(如圖12所示).

圖12 CNN-BiLSTM-Attention模型預測結果

圖13所示為在3種不同的模型下，其預測值與真實值的對比曲線.

圖13 預測值與真實值對比曲線圖

從幾種神經網絡模型預測結果，很容易可以得到，在預測精度上，CNN-BiLSTM-Attention神經網絡模型平均絕對百分比誤差MAPE為1.28%，相比較CNN-BiLSTM模型神經網絡模型的1.32%，CNN-LSTM模型的1.44%具有更高的預測精確度.

以平均絕對百分比誤差MAPE作為主要模型評判指標，其他的的模型評判指標平均絕對誤差(MAE)，均方誤差(MSE)以及均方根誤差(RMSE)對比如表2所示：

表2 模型評價指標對比

同時CNN-BiLSTM-Attention神經網絡預測模型在各個預測精度評價指標都表現得更為出色.因此，在超短期電力負荷預測上精度上有進一步提高，存在一定的價值.

4 結語

近年來,國內電力生產運行部門,尤其是自動發電控制(AGC)的運行和實現動態經濟調度都對超短期負荷預測,即預測未來幾分鐘至 1 h 的負荷數據產生迫切的要求.從長遠來看,它也是電力市場的所需信息[13].可見,研究和開發超短期負荷預報具有重要意義和實用價值.

提出了一種CNN-BiLSTM-Attention神經網絡預測模型，在選取合適的特征向量，并對實驗數據進行科學的預處理前提下，通過實驗對模型進行訓練，并通過訓練好的模型進行預測，結果顯示，預測值與真實值的平均絕對百分比誤差達到1.28%.與此同時，同樣的數據量下，其相對于CNN-BiLSTM，CNN-LSTM模型的預測精度也更加精確，具有可行性.