基于互信息和LSTM 的用戶負荷短期預測

鐘勁松, 王少林, 冉懿, 冉新濤, 于金平, 俞海猛

(1.國網新疆電力有限公司電力科學研究院,烏魯木齊市 830000;2.國網奎屯供電公司,新疆維吾爾自治區奎屯市 833200;3.國電南瑞南京控制系統有限公司,南京市 211106)

0 引言

源網荷友好互動系統及電力市場化改革發展都對用戶負荷研究提出了更高要求,準確精細化把握不同類型用戶負荷用電特征及規律對保障電力系統安全可靠運行,實現電網故障時精準切負荷及售電公司開展購售電業務等都具有重要的指導意義[1-4]。

電力市場化改革促進各種類型售電公司應運而生,售電公司從發電廠以較低價格批量購買電能并以較高零售價格賣給工業用戶,依靠替用戶承擔風險獲得相應的收益。 然而,售電公司所上報的合同電量與用戶實際用電量存在不同程度的偏差,給售電公司造成了偏差考核壓力并影響收益[5]。 售電公司為了在電力交易中獲得收益,必須要精準把握用戶用電行為,進而準確預測用戶負荷規模,縮小合同電量與實際用電量的偏差。 由此可見,提高用戶負荷預測精度成為售電公司可持續發展的重要保證。

目前,負荷預測主要對象為系統級負荷,對用戶負荷預測的研究較少。 文獻[6]通過用電模式分層聚類算法對海量用戶進行用戶集群辨識,融合用電模式分析與集群辨識建立條件殘差模擬概率預測模型,實現對海量用戶分層概率預測,獲得了工商業用戶不同分位點預測結果。 文獻[7]建立多層分解與累加原理的城市綜合體月度用電量預測模型,利用改進的經驗模態分解算法分離不同尺度波動和趨勢特性,預測精度相對傳統方法有較大提升。 文獻[8]針對現有單一負荷預測方法難以反映多元負荷間耦合特性的問題,通過“硬共享機制+長短時記憶共享層”方式構建多任務學習負荷預測模型,在預測精度及時間上均具有較好效果。 文獻[9-12]分別對用戶負荷預測及用戶用電行為進行了深入研究,取得較好效果。

為提高用戶負荷預測精度,提出基于最大相關最小冗余(max-relevance and min-redundancy, mRMR)和長短期記憶網絡(long-short term memory network,LSTM)的短期預測模型。 mRMR 是基于互信息理論的特征變量選擇方法,既可以保證輸入變量與目標值間互信息值最大,又使得變量間冗余性最小,可有效選取合適的輸入變量集合。 LSTM 能很好處理和預測延遲較長的時間序列,且不會存在梯度消失和梯度爆炸現象。 首先,采用mRMR 算法對特征變量進行排序并選取合適的輸入變量集合,然后對選取的輸入變量集合建立LSTM 預測模型,最后通過算例驗證模型的有效性。

1 mRMR 實現步驟

mRMR 依據互信息理論計算各變量與目標值間相關性,并采用啟發式搜索策略對各變量相關性進行排序,使得輸入變量與目標值間具有較大的相關性,且輸入變量間冗余性最小[13]。 離散型隨機變量X和Y間的互信息值可表示為[14]:

式中:n、m分別為隨機變量X和Y的樣本個數;p為概率。

定義最大相關和最小冗余測度指標分別為[15]:

式中:S為所選取的輸入變量集合;|S|為輸入變量維度;w為輸出目標;D描述輸入變量集合S中各輸入變量xi與輸出目標w間的互信息均值,反映了輸入變量集合與輸出目標間的相關性;R表示集合S變量間互信息的大小,描述了輸入變量間的冗余性。

設初始特征向量集合為K且含有N維輸入變量,即K={x1,x2,…,xN}。 已選取的m-1 維輸入變量向量集合記為Sm-1,剩余特征向量集合記為F。 mRMR目標便是從剩余特征子集{K-Sm-1}中選擇第m個特征使得目標函數最大化,即該特征滿足式(4)。

采用mRMR 選取輸入變量集合,實現步驟為:

1)初始化已選輸入變量集合S為空集,待選特征集合為K,即K→F,?→S;

2)對?xi∈F,計算xi與目標類w相關性為I(xi;w) ;記x*為滿足max[I(xi;w)] 條件的特征,令F -{x*} →F1,{x*} →S1;

3)設xi∈Fm-1,xj∈Sm-1(m =2,3,…,N) ,從Fm-1中找到使式(4)成立的最大特征并記為x**,令Fm-1-{x**} →Fm,Sm-1+{x**} →Sm;

4)重復步驟3),直至F為?,即可得到輸入變量集合S,并將特征按xi) 值降序排列。

2 LSTM 基本原理

循環神經網絡(recurrent neural network, RNN)處理長時間序列問題時易出現梯度消失和梯度爆炸,限制其廣泛應用。 LSTM 是RNN 算法的改進,通過增加單元狀態c實現信息的遺忘與保留,能夠很好地處理和預測延遲較長的時間序列,并在語音識別、機器翻譯等領域廣泛應用。

如圖1 所示,LSTM 是利用全連接層結構的遺忘門、輸入門及輸出門實現對單元狀態c的有效控制。“遺忘門”通過對前一時刻單元狀態ct-1的控制,決定ct-1有多少信息保留到當前時刻ct中,從而繼續保存長期狀態;“輸入門”實現對當前時刻輸入信息的控制,決定當前時刻網絡輸入xt有多少信息保存到單元狀態ct中;“輸出門”通過控制當前時刻單元狀態ct,決定ct中有多少信息傳遞到LSTM 當前輸出值ht中,并決策是否將ct作為當前時刻LSTM 的輸出[16-21]。

圖1 LSTM 結構模型Fig.1 LSTM structure model

1) 遺忘門計算公式為:

式中:Wf為遺忘門權重矩陣;bf是遺忘門偏置;σ為激活函數,通常為tanh 或sigmoid 函數;[ht-1,xt] 表示將兩向量拼接。

2) 輸入門計算公式為:

式中:Wi是輸入門權重矩陣;bi為輸入門偏置項。

3) 當前輸入的單元狀態c′t由前一時刻LSTM輸出ht-1及當前時刻輸入xt決定,計算公式為:

式中:Wc為權重矩陣;bc為偏置項。

4) 當前時刻單元狀態ct由兩部分組成,第1 部分為前一時刻單元狀態ct-1按元素作用于遺忘門ft獲得的計算值,第2 部分為當前時刻輸入單元狀態按元素作用于輸入門it獲得的計算值,將兩部分相加即可獲得當前時刻單元狀態值,即:

式中:符號?表示按元素乘。

此時,LSTM 將當前記憶c′t和長期記憶ct-1相結合,形成新單元狀態ct。 通過遺忘門控制,LSTM 可保存遠距離信息。 同時,通過輸入門控制,LSTM 又避免了當前時刻無關緊要信息進入記憶。

5) 輸出門控制長期記憶對當前輸出的影響,即:

式中:Wo為輸出門權重矩陣;bo為輸出門偏置項。

6) LSTM 最終輸出由輸出門和單元狀態共同確定,即:

3 基于mRMR 的輸入變量選取

工業用戶相對普通居民和商業用戶,特點是用電體量大,電費支出在所有成本中占較大比重。 該類用戶用電行為較易受生產計劃、行業景氣狀況、季節更替等因素影響。 對某醫藥生產用戶2016年4月1日01:00 至2016年11月30日24:00 共5808 個(采樣時間間隔為1 h)負荷數據分析發現,該用戶生產活動時間為08:00—24:00,每日負荷曲線較為相似,且受季節更替、訂單量、行業景氣狀況、每日設備啟動運行情況等因素影響較大,受溫度、濕度等環境變量及工作日類型影響較小。 建立該用戶負荷短期預測模型時,上述季節更替、訂單量、行業景氣狀況等因素對負荷預測模型精度影響較小,因此本文主要考慮負荷周期特性對模型的影響,采用mRMR 算法對待預測時刻負荷影響因素進行排序并選取前20 個影響較大的特征。

設待預測時刻用戶負荷為Lt,原始特征設置為待預測時刻前一時刻至前168 個時刻負荷值,即待選輸入特征集合為{Lt-1,Lt-2,…,Lt-168}。 根據“近大遠小”的原則及用戶負荷周期特性,Lt-1、Lt-2、Lt-3、Lt-24、Lt-48、Lt-72、Lt-96、Lt-120、Lt-144、Lt-168等輸入變量與待預測時刻互信息值較大,對待預測時刻負荷值有較大影響。 盡管某些變量,如Lt-2、Lt-3、Lt-167與待預測時刻負荷間互信息值較大,但這些因素與Lt-1、Lt-168變量間存在一定冗余信息。 將這些冗余信息輸入至預測模型中,不僅占用計算機內存資源,還會影響模型訓練復雜度及參數尋優過程,在一定程度上可能降低預測模型精度。

mRMR 能夠選取相關性較大的輸入變量,同時避免冗余信息。 因此,首先采用mRMR 算法對所有特征影響程度進行排序,然后基于封裝器工作模式,設置最優輸入變量集合初始值為空集,對mRMR 排序的特征通過前向搜索策略逐個添加變量至已選輸入變量集合,并對已選輸入變量集合建立LSTM 預測模型,通過比較預測誤差大小,確定最優輸入變量。遍歷所有輸入變量后,預測誤差最小時對應的輸入變量構成最優輸入變量集合。

為量化負荷預測值接近真實值的程度,本文選擇電力系統短期負荷預測慣用的平均誤差(mean error,ME)、平均絕對百分比誤差(mean absolute percentage error, MAPE)及均方根誤差(root mean square error,RMSE)三種誤差統計量作為模型預測效果評價指標,計算公式分別為:

式中:n為測試點總數目;yi、y∧i分別為第i時刻測試點用戶負荷的真實值和預測值;IME、IMAPE、IRMSE為三種誤差統計量作為模型預測效果的評價指標。

圖2 為隨機選取2016年8月9日用戶負荷并對其進行提前24 h 預測時,BP、SVM 和LSTM 三種模型在不同維度輸入變量下的誤差變化曲線。 對8月9日用戶負荷進行提前24 h 預測時,選取2016年4月1日01:00 至2016年8月8日24:00 共3120 個負荷數據,考慮周期特性,即Lt-168對Lt負荷的影響,訓練輸入樣本集是由{Lt-1,Lt-2,…,Lt-168}建立的2952 ×168 維矩陣。 在此基礎上,通過mRMR 算法對168 維特征變量進行相關性排序并選擇前20 個影響較大的特征。 通過逐一添加變量,并進行模型訓練與預測誤差比較,選擇最合適的輸入變量維數。 由于ME 指標和RMSE 指標均是描述預測值偏離真實值的距離,在量化預測誤差上具有一定程度重疊性。 因此,本文采用MAPE 和RMSE 指標作為選擇最優輸入變量集合的依據。 從圖中可以看出,當輸入變量維數等于5 時,對應MAPE 和RMSE 指標最小。 因此,選取輸入變量為5 個,分別為Lt-168、Lt-24、Lt-48、Lt-72及Lt-96。 因此,用于預測模型的訓練集合為由Lt-168、Lt-24、Lt-48、Lt-72、Lt-96、Lt構成的2952×6 維矩陣。

圖2 用戶負荷不同模型預測誤差變化曲線Fig.2 Forecasting error curves of different models of consumer load

上述過程中,BP 模型參數設置原則為:學習率為0.01,學習目標為0.001,迭代10000 次;輸入層神經元數量等于輸入變量維度,設為n,則隱含層神經元數量為2n-1。 SVM 模型學習參數C和ε搜素范圍設置為[ -8,8],更新步長為1,通過網格搜索法訓練模型最優參數。 LSTM 學習率為0.01,迭代5000 次。

4 算例測試

在選取最優輸入變量集合基礎上,建立mRMRLSTM 用戶負荷短期預測模型。 圖3 為不同模型對用戶2016年8月9日負荷進行提前24 h 預測的結果。

圖3 用戶負荷真實值及模型預測值(2016年8月9日)Fig.3 True value of user load and model prediction value (August 9th,2016)

由圖3 可以看出,mRMR-BP、mRMR-SVM 及mRMR-LSTM 三種模型都能夠較好地擬合真實數據,預測值反映了真實負荷變化趨勢。 由于用戶負荷具有的較強波動性及隨機性特點,在負荷變化較快的地方預測誤差較大。

表1 為誤差統計情況。 可以看出,mRMR-LSTM模型具有更優的預測效果。

表1 用戶負荷提前24 h 預測誤差統計(2016年8月9日)Table 1 Error statistics of consumer load forecasting 24 hours in advance (August 9th,2016)

為驗證模型的適應性,隨機選取2016年11月20日至11月26日共168 個時刻用戶負荷為研究對象,分別進行提前24 h 和提前1 h 的負荷預測。 其中,提前1 h 用戶負荷預測采用直接預測法,即預測當前時刻采用前一時刻的真實值。 預測11月26日用戶負荷時,訓練樣本集為由用戶2016年4月1日01:00至2016年11月25日24:00 共5736 個負荷數據產生,即構成5568×6 維矩陣。 圖4 及圖5 分別展示了用戶負荷真實曲線及預測結果。

圖4 用戶負荷真實值及提前24 h 預測值(2016年11月20—26日)Fig.4 Real value of user load and the predicted value 24 h in advance(Nov.20—26,2016)

圖5 用戶負荷真實值及提前1 h 預測值(2016年11月20—26日)Fig.5 The real value of user load and the predicted value 1h in advance(Nov.20—26,2016)

表2 為用戶負荷提前24 h 及提前1 h 預測誤差統計情況。 從表中可以看到,mRMR-LSTM 模型預測結果并不總是最優的,如11月20日提前1 h 預測結果,mRMR-LSTM 模型表現反而更差。 尤其在峰值附近,mRMR-LSTM 較其他兩種模型更大幅度偏離真實值,這是模型自身學習的結果。 整體來看,mRMR-LSTM 模型是優于mRMR-BP 和mRMRSVM 模型的。

表2 用戶負荷提前24 h 及提前1 h 預測誤差統計(2016年11月20—26日)Table 2 Error statistics of consumer load forecasting 24 hours and 1 hour in advance (Nov.20—26,2016)

提前24 h 和提前1 h 用戶負荷預測相對誤差區間分布如圖6 和圖7 所示。 可以看出,mRMR-LSTM相對于mRMR-BP 和mRMR-SVM 模型,誤差變動范圍更小,主要集中于-20%和30%之間。 提前24 h負荷預測由于時間尺度較大,負荷具有較大的變化空間,導致其誤差分布較為分散,且誤差較大。 提前1 h負荷預測時,其負荷變化較為緩慢,輸入變量與輸出間的相關性較大,因此預測值較為準確,且誤差分布集中。

圖6 提前24 h 用戶負荷預測誤差分布Fig.6 Error distribution of consumer load forecasting 24 hours in advance

圖7 提前1 h 用戶負荷預測誤差分布Fig.7 The error distribution of consumer load forecasting 1 hour in advance

5 結語

為提高用戶負荷預測精度,本文在采用最大相關最小冗余算法選取最優輸入變量集合的基礎上,建立mRMR-LSTM 用戶負荷短期預測模型,并對比不同場景模型預測的誤差。 算例結果表明,mRMR-LSTM相對于mRMR-BP 和mRMR-SVM 模型能夠更好地處理波動大、隨機性較強的用戶負荷時間序列。