基于改進(jìn)LSTM 的電力負(fù)荷預(yù)測(cè)與成本感知優(yōu)化策略研究

張澤龍，韋冬妮，唐夢(mèng)媛，紀(jì)強(qiáng)，楊燕

（國(guó)網(wǎng)寧夏電力有限公司經(jīng)濟(jì)技術(shù)研究院，寧夏銀川 750002）

當(dāng)前“碳達(dá)峰、碳中和”的目標(biāo)，對(duì)高耗能行業(yè)的發(fā)展提出了新的要求。因而在市場(chǎng)化機(jī)制下，為實(shí)現(xiàn)企業(yè)的可持續(xù)發(fā)展，高耗能企業(yè)面臨著用能結(jié)構(gòu)優(yōu)化轉(zhuǎn)型的巨大壓力[1-3]。

現(xiàn)代用能企業(yè)通常利用物聯(lián)網(wǎng)技術(shù)（Internet of Things，IoT）實(shí)現(xiàn)企業(yè)自身能耗情況的監(jiān)測(cè)，并積累了海量的用能數(shù)據(jù)[4-5]。但對(duì)于如何利用這些數(shù)據(jù)實(shí)現(xiàn)用電負(fù)荷的精準(zhǔn)預(yù)測(cè)，進(jìn)而指導(dǎo)并合理安排生產(chǎn)計(jì)劃，仍是亟需解決的重要問(wèn)題[6-8]。

針對(duì)此問(wèn)題，該文充分利用企業(yè)積累的用能數(shù)據(jù)，同時(shí)結(jié)合人工智能算法技術(shù)，研究并設(shè)計(jì)了一種基于改進(jìn)長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)模型的電力負(fù)荷預(yù)測(cè)算法，從而為企業(yè)用電成本感知優(yōu)化提供指導(dǎo)。

1 算法設(shè)計(jì)

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是一種具有特殊結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，其典型結(jié)構(gòu)如圖1所示[9]。該網(wǎng)絡(luò)擁有共享的拓?fù)浣Y(jié)構(gòu)與網(wǎng)絡(luò)參數(shù)，同時(shí)將前一時(shí)刻的信息共享給后一時(shí)刻，能夠處理時(shí)間序列數(shù)據(jù)。此外，循環(huán)神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別、語(yǔ)言交互等領(lǐng)域應(yīng)用廣泛。

圖1 RNN結(jié)構(gòu)

由圖1 可知，Ct與ht相等，且t時(shí)刻的輸出為：

式中，Wx是輸入xt的權(quán)重系數(shù)，WC是上一時(shí)刻隱藏層輸出Ct-1的權(quán)重系數(shù)，g為激活函數(shù)，b為偏置，et則為激活函數(shù)的輸入。由式（1）可知，當(dāng)前時(shí)刻隱藏層的輸出Ct不僅與當(dāng)前時(shí)刻的輸入xt有關(guān)，還與上一時(shí)刻神經(jīng)單元的狀態(tài)Ct-1有關(guān)。

RNN 采用梯度下降（Gradient Descent，GD）進(jìn)行參數(shù)更新，對(duì)于t時(shí)刻的輸出，其與真實(shí)值之間的誤差損失為：

式中，yt為t時(shí)刻的真實(shí)輸出值。

以損失函數(shù)對(duì)Wx求偏導(dǎo)為例，計(jì)算公式如下：

RNN 常用的激活函數(shù)為tanh 函數(shù)，因此式（3）中Cj的計(jì)算公式如下：

則有：

tanh 函數(shù)導(dǎo)數(shù)的取值范圍為[0,1]。當(dāng)t取值較大時(shí)，式（3）的值便會(huì)接近于0，并導(dǎo)致梯度消失問(wèn)題。

1.2 長(zhǎng)短期記憶網(wǎng)絡(luò)

RNN 由于存在梯度消失的問(wèn)題，導(dǎo)致其無(wú)法較好地實(shí)現(xiàn)對(duì)長(zhǎng)時(shí)間序列數(shù)據(jù)的處理[10]。而LSTM 是一種具有特殊結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)，其可適用于長(zhǎng)時(shí)間序列數(shù)據(jù)的處理。該網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示[11-13]，且循環(huán)模塊即為L(zhǎng)STM 單元。

圖2 LSTM結(jié)構(gòu)

LSTM 單元的輸入包括三部分：當(dāng)前時(shí)刻的輸入信息xt、上一時(shí)刻LSTM 單元的輸出信息yt-1與LSTM 單元的狀態(tài)信息St-1。

遺忘門(mén)根據(jù)xt及yt-1決定St-1信息被傳遞至當(dāng)前時(shí)刻的數(shù)量，其表達(dá)式為：

式中，gt、Wg和bg分別為遺忘門(mén)的輸出、權(quán)重系數(shù)及偏置，σ(·)則為L(zhǎng)ogistic 函數(shù)。

gt的取值范圍是[0,1]，上一時(shí)刻LSTM 單元狀態(tài)信息傳遞至當(dāng)前時(shí)刻的部分為：

輸入門(mén)根據(jù)xt和yt-1決定當(dāng)前時(shí)刻LSTM 單元狀態(tài)信息的更新部分，一方面，通過(guò)Logistic 函數(shù)通道確定更新信息的比例；另一方面，通過(guò)tanh 函數(shù)通道確定更新信息的具體內(nèi)容。

式中，Wh和WS均為輸入門(mén)的權(quán)重系數(shù)；bS、bh則為輸入門(mén)的偏置；ht為更新信息的比例；S′t為更新信息的內(nèi)容。則當(dāng)前時(shí)刻LSTM 單元狀態(tài)信息的更新部分為：

結(jié)合式（6）-（10），當(dāng)前時(shí)刻LSTM 單元狀態(tài)信息為：

輸出門(mén)根據(jù)xt、yt-1與St決定LSTM 單元的輸出信息，并通過(guò)Logistic 函數(shù)通道確定輸出信息的比例，同時(shí)還利用tanh 函數(shù)通道確定輸出信息的內(nèi)容。輸出信息的比例及內(nèi)容計(jì)算公式，分別可表示為：

式中，Wq、bq分別為輸出門(mén)的權(quán)重系數(shù)和偏置，qt、ot則分別為輸出信息的比例及內(nèi)容。

根據(jù)式（12）-（13）可確定當(dāng)前時(shí)刻LSTM 單元的輸出信息為：

2 電力負(fù)荷預(yù)測(cè)與成本感知優(yōu)化

基于上述分析，該文提出了基于改進(jìn)粒子群算法與隨差遺忘長(zhǎng)短期記憶時(shí)間網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)與成本感知優(yōu)化方法，其具體結(jié)構(gòu)如圖3 所示。該方法采用改進(jìn)粒子群算法對(duì)LSTM 網(wǎng)絡(luò)的超參數(shù)進(jìn)行優(yōu)化，利用EFFG-LSTM 網(wǎng)絡(luò)對(duì)生產(chǎn)計(jì)劃、歷史負(fù)荷、季節(jié)、天氣及溫度等數(shù)據(jù)進(jìn)行分析處理，從而實(shí)現(xiàn)電力負(fù)荷精準(zhǔn)預(yù)測(cè)與成本感知優(yōu)化。

圖3 IPSO-EFFG-LSTM算法結(jié)構(gòu)

2.1 改進(jìn)粒子群算法

由于LSTM 網(wǎng)絡(luò)參數(shù)的設(shè)置具有隨機(jī)性，只有通過(guò)大量計(jì)算才能確定最優(yōu)的參數(shù)[14]。因此為了避免無(wú)方向性地搜尋參數(shù)，該文采用粒子群算法對(duì)LSTM網(wǎng)絡(luò)的隱藏層數(shù)、學(xué)習(xí)率及迭代次數(shù)等進(jìn)行優(yōu)化。

在t+1 時(shí)刻，粒子位置xt+1和速度vt+1的更新機(jī)制如下：

式中，rt為粒子最優(yōu)位置；bt為種群最優(yōu)位置；κ1和κ2為加速度系 數(shù)；λ1和λ2為隨機(jī)數(shù)，且滿足0 ＜λ1＜1 和0 ＜λ2＜1；μ為慣性系數(shù)。

傳統(tǒng)PSO 算法的慣性系數(shù)μ通常設(shè)置為定值。當(dāng)μ取值較大時(shí)，算法的全局搜索能力強(qiáng)，但局部搜索能力較差；而當(dāng)μ取值較小時(shí)，算法的求解速度較慢，且易陷入局部最優(yōu)解[15-16]。

為了平衡算法的全局與局部搜索能力，文中對(duì)傳統(tǒng)PSO 算法進(jìn)行改進(jìn)。采用自適應(yīng)的慣性系數(shù)，其計(jì)算方式如下：

其中，μmax與μmin分別為慣性系數(shù)取值范圍的上下界，h為粒子的適應(yīng)度值，havg和hmin則分別代表粒子種群適應(yīng)度平均值及最小值。

2.2 隨差遺忘LSTM

LSTM 單元內(nèi)的遺忘門(mén)決定上一時(shí)刻信息對(duì)當(dāng)前時(shí)刻預(yù)測(cè)結(jié)果的影響。在企業(yè)生產(chǎn)過(guò)程的電力負(fù)荷預(yù)測(cè)與成本感知中，進(jìn)行t時(shí)刻電力負(fù)荷預(yù)測(cè)時(shí)，若已知t-1 時(shí)刻電力負(fù)荷的實(shí)際值，可利用該時(shí)刻電力負(fù)荷預(yù)測(cè)的偏差優(yōu)化調(diào)整上一時(shí)刻信息對(duì)當(dāng)前時(shí)刻預(yù)測(cè)的影響程度。若偏差較大，說(shuō)明上一時(shí)刻預(yù)測(cè)不準(zhǔn)確，故其對(duì)當(dāng)前時(shí)刻的預(yù)測(cè)并無(wú)較大的支撐作用，需減少上一時(shí)刻信息對(duì)當(dāng)前預(yù)測(cè)的影響；反之，則要增加上一時(shí)刻信息的影響。

基于此，該文對(duì)傳統(tǒng)LSTM 的遺忘門(mén)進(jìn)行改進(jìn)。同時(shí)考慮到由于Logistic 函數(shù)的導(dǎo)數(shù)小于1，易出現(xiàn)梯度消失現(xiàn)象。因此，將傳統(tǒng)LSTM 單元中的Logistic函數(shù)改進(jìn)為ReLU 函數(shù)。改進(jìn)后的LSTM 單元結(jié)構(gòu)如圖4 所示。

圖4 隨差遺忘LSTM單元結(jié)構(gòu)

基于誤差跟隨的遺忘門(mén)可描述為：

圖5 IPSO-EFFG-LSTM算法流程

2.3 用電成本優(yōu)化模型

在實(shí)現(xiàn)電力負(fù)荷預(yù)測(cè)的基礎(chǔ)上構(gòu)建企業(yè)用電成本優(yōu)化模型，具體可表征為：

式中，F(xiàn)為目標(biāo)函數(shù)，即企業(yè)用電成本；和Pt分別為t時(shí)段優(yōu)化前后的企業(yè)預(yù)測(cè)用電負(fù)荷；ct為t時(shí)段電價(jià)；Δt為時(shí)間間隔；為優(yōu)化關(guān)閉第k種生產(chǎn)設(shè)備的臺(tái)數(shù)，Pk為第k種生產(chǎn)設(shè)備運(yùn)行功率；則為原計(jì)劃運(yùn)行第k種生產(chǎn)設(shè)備的臺(tái)數(shù)。

3 算例分析

文中結(jié)合某企業(yè)的歷史電力負(fù)荷以及從氣象系統(tǒng)獲取的季節(jié)、天氣與溫度等信息來(lái)構(gòu)建輸入樣本集，且樣本總數(shù)為2 080 條。

3.1 電力負(fù)荷預(yù)測(cè)結(jié)果分析

為對(duì)比分析該文所提算法與LSTM、EFFGLSTM 算法的性能，并將相同訓(xùn)練樣本集作為輸入數(shù)據(jù)，對(duì)神經(jīng)網(wǎng)絡(luò)模型加以訓(xùn)練。同時(shí)，采用測(cè)試集對(duì)訓(xùn)練好的LSTM 模型進(jìn)行測(cè)試。不同算法的評(píng)價(jià)指標(biāo)對(duì)比如表1 所示。

表1 不同算法電力負(fù)荷預(yù)測(cè)誤差

從表中可以看出，LSTM 算法預(yù)測(cè)精度最差，EFFG-LSTM 算法相比LSTM 算法在預(yù)測(cè)精度上具有較大的提升，而所提算法的預(yù)測(cè)結(jié)果更為準(zhǔn)確。

同時(shí)，將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于該企業(yè)某日的電力負(fù)荷預(yù)測(cè)，結(jié)果如圖6 所示。由圖可知，LSTM 算法與真實(shí)負(fù)荷值的差距較大，且平均預(yù)測(cè)誤差大于10%。而EFFG-LSTM 算法則在LSTM 的基礎(chǔ)上，針對(duì)遺忘門(mén)進(jìn)行改進(jìn)，進(jìn)而提高了算法的動(dòng)態(tài)特性，故電力負(fù)荷曲線擬合效果較優(yōu)，平均預(yù)測(cè)誤差約為7.9%。該文算法則在EFFG-LSTM 算法基礎(chǔ)上，又引入了IPSO 算法以解決LSTM 網(wǎng)絡(luò)參數(shù)選取隨機(jī)性較大的問(wèn)題，從而實(shí)現(xiàn)了LSTM 網(wǎng)絡(luò)參數(shù)的最優(yōu)選取，并大幅提高了電力負(fù)荷預(yù)測(cè)的準(zhǔn)確性，且其平均預(yù)測(cè)誤差僅為5.2%。

圖6 不同算法的電力負(fù)荷預(yù)測(cè)結(jié)果

3.2 成本感知優(yōu)化結(jié)果分析

在實(shí)現(xiàn)電力負(fù)荷預(yù)測(cè)的基礎(chǔ)上，企業(yè)可進(jìn)一步結(jié)合該預(yù)測(cè)結(jié)果調(diào)整、安排生產(chǎn)計(jì)劃，優(yōu)化并減少用電成本。但生產(chǎn)計(jì)劃的安排是否合理，依賴于電力負(fù)荷預(yù)測(cè)的準(zhǔn)確性。

對(duì)比采用不同算法進(jìn)行電力負(fù)荷預(yù)測(cè)，優(yōu)化企業(yè)生產(chǎn)計(jì)劃后，用電成本的情況如表2 所示。

表2 不同算法下優(yōu)化后的用電成本

從表中可知，在IPSO-EFFG-LSTM、EFFG-LSTM和LSTM3 種算法預(yù)測(cè)的電力負(fù)荷下，優(yōu)化后的用電成本相比優(yōu)化前分別降低6.8%、4.6%和2.5%。由此可見(jiàn)，該文算法能夠通過(guò)對(duì)電力負(fù)荷的精準(zhǔn)預(yù)測(cè)為企業(yè)生產(chǎn)計(jì)劃安排提供輔助，并進(jìn)一步優(yōu)化用電成本。

4 結(jié)束語(yǔ)

文中開(kāi)展了人工神經(jīng)網(wǎng)絡(luò)算法在企業(yè)用電負(fù)荷預(yù)測(cè)方面的應(yīng)用研究，并通過(guò)仿真分析表明了所提算法對(duì)電力負(fù)荷預(yù)測(cè)的精確度更高，能夠?yàn)槠髽I(yè)生產(chǎn)計(jì)劃的優(yōu)化安排提供技術(shù)支撐，大幅降低用電成本。但所提算法僅能完成小時(shí)級(jí)的電力負(fù)荷預(yù)測(cè)，如何進(jìn)一步改進(jìn)LSTM 模型以實(shí)現(xiàn)多尺度動(dòng)態(tài)電力的負(fù)荷預(yù)測(cè)，這將在后續(xù)研究中開(kāi)展。