基于ResNet-LSTM網絡和注意力機制的綜合能源系統多元負荷預測

王 琛 王 穎 鄭 濤 戴則梅 張凱鋒

基于ResNet-LSTM網絡和注意力機制的綜合能源系統多元負荷預測

王 琛1王 穎1鄭 濤2,3戴則梅2,3張凱鋒1

（1. 復雜工程系統測量與控制教育部重點實驗室（東南大學） 南京 210096 2. 南瑞集團（國網電力科學研究院）有限公司 南京 211106 3. 國電南瑞科技股份有限公司 南京 211106）

綜合能源系統中多種負荷之間可能存在復雜的、較強的相互耦合關系。相對于對各類負荷進行單一獨立的預測，直接開展多元負荷預測能夠進一步挖掘負荷之間的內在聯系，提高預測準確度。該文提出一種基于ResNet-LSTM網絡和注意力機制的多任務學習模型，用于擬合多能負荷之間的空間耦合關系和時間耦合關系。首先，采用多層ResNet作為多能負荷數據的特征提取單元，挖掘多能之間的空間耦合交互特征；然后，通過雙向長短時記憶網絡殘差結構進一步挖掘多能負荷數據的時序特征；接著，使用注意力機制實現多任務對于共享特征不同程度的關注，體現不同子任務對共享特征的差異化選擇，實現多元負荷的聯合預測；最后，結合亞利桑那州立大學Campus Metabolism系統的多能負荷數據，與其他預測模型進行對比分析，結果表明所提出的多元負荷預測方法具有更高的預測精度。

注意力機制 殘差網絡 長短時記憶網絡 多元負荷預測 多任務學習

0 引言

綜合能源系統可實現電、氣、冷、熱等多種異質能源之間的協調、規劃、運行，是滿足不斷增長的能源需求的重要研究方向。綜合能源系統負荷預測作為其調度控制的基礎至關重要。在綜合能源系統中，多種能源網之間通過能量轉換設備互相耦合，如電鍋爐可將電能轉換為熱能，燃氣鍋爐可將天然氣轉換為熱能，電轉氣（Power to Gas, P2G）技術可將電能轉換為天然氣，冷熱電聯產（Combined Cooling Heating and Power, CCHP）系統機組可將天然氣轉換為電能和熱能等[1-2]，再考慮到用戶對于用能需求的多樣化選擇，因此用戶總體的多元負荷之間存在復雜的耦合關系，若采用多元負荷預測技術，在預測中能將多能負荷之間復雜耦合關系考慮進去，將有可能在一定程度上增強負荷預測的準確性。

傳統的負荷預測方法大多是某種單一負荷類型的獨立預測。在電力負荷預測方面，主要包括矢量自回歸模型（Vector Autoregression, VAR）、多元線性回歸法[3]、整合移動平均自回歸模型（Autoregressive Integrated Moving Average Model, ARIMA）[4]等傳統時間序列數據分析方法，以及決策樹[5]、隨機森林[6]、支持向量回歸（Support Vector Returns, SVR）[7]、改進螢火蟲算法[8]、分頻預測[9]、雙向長短時記憶（Long Short-Term Memory, LSTM）網絡[10]、徑向基網絡[11]、改進的廣義回歸神經網絡（Generalized Regression Neural Network, GRNN）[12]、極限學習機[13]、即時學習算法[14]等機器學習方法。文獻[15]提出了一種電力市場中基于Attention-LSTM網絡的短期電力負荷預測模型，該模型將當前電價和歷史負荷作為輸入，并采用注意力機制突出關鍵特征，得到更好的預測效果，說明了注意力機制的有效性。在冷/熱負荷預測方面，文獻[16]采用XGBoost（eXtreme gradient Boosting）方法以改善冷熱負荷的預測準確度；文獻[17]驗證了與回歸分析和隨機森林相比，神經網絡模型擁有更高的冷熱負荷預測精度；文獻[18]根據冷熱負荷的非線性相關性，提出一種基于馬爾可夫鏈的負荷預測模型。在天然氣負荷預測方面，主要包括ARIMA模型[19]、LSTM網絡[20]，以及將果蠅優化算法（Fruit Fly Optimization Algorithm, FFOA）、模擬退火算法（Simulated Annealing, SA）和支持向量機（Support Vector Machines, SVM）多種模型相結合的集成算法[21]等預測方法。

相比于單一負荷預測，多元負荷預測的研究相對較新，主要包括兩類方法：

1）傳統的時間序列分析預測。例如文獻[22]提出一種基于VAR的夏季多能流系統冷、電、氣負荷預測方法。

2）機器學習方法。多元負荷預測模型普遍采用多任務結構，以適應多元輸出要求。例如文獻[23]提出了一種基于徑向基函數神經網絡（Radial Basis Function Neural Network, RBF-NN）模型的電力和天然氣需求的短期預測方法；文獻[24]提出了一種基于核主成分分析（Kernel Principal Component Analysis, KPCA）、二次模態分解、雙向LSTM和多元線性回歸（Multiple Linear Regression, MLR）的多元負荷預測模型；文獻[25]提出了一種以深度置信網絡（Deep Belief Network, RBN）為基礎的多任務多元輸出網絡。此類模型以多任務網絡的方式實現了多元輸出。關于多任務的具體結構，文獻[26]構建了一種以LSTM為共享層的多任務學習負荷預測模型，首先分別進行單一負荷特征的學習，再利用共享層學習輔助耦合信息；文獻[27]在LSTM預測模型中加入注意力層和dropout層提升了模型的預測精度。文獻[20-24]所提出的預測方法未能顯式地考慮多能負荷之間的復雜耦合交互特征，其中LSTM作為一種循環神經網絡具有自身的局限性，其雖然能夠較好地挖掘數據時序特征，但并不能充分地挖掘多能負荷之間的交互耦合關系。在多任務的網絡結構方面，模型共享層與特定任務層之間也只是簡單的“硬連接”方式，不能體現不同的子任務對共享特征具有不同的關注程度。

本文在已有研究基礎上考慮多能負荷數據強交互、強耦合的特點，關注多能負荷數據的多能交互耦合特征和時序特征，將ResNet和LSTM殘差結構相結合，提出了一種基于注意力機制的多元負荷預測多任務學習模型（ResNet-LSTM-Attention-Multi-Task Learning, RLA-MTL）。相比于強調負荷數據時序關系的傳統時間序列方法，本文方法包含顯式的多能負荷數據特征提取環節，更能挖掘多能之間的耦合交互關系。相比于文獻[26]，本文所提出的模型并沒有進行單一負荷特征的學習，而是以ResNet作為特征提取單元，直接進行多能負荷之間的交互耦合特征即空間耦合特征的學習，然后再利用LSTM殘差結構，進行時間序列特征的學習。該方法的優點在于可以通過ResNet層獲取到更直接的多能負荷耦合交互信息，同時也保持了一定的時間序列信息，再通過LSTM網絡進一步學習時序特征。ResNet和LSTM網絡共同構成模型共享層，同時進行多能交互耦合特征和時序特征的挖掘。然后通過注意力機制實現不同子任務對共享特征的差異化選擇，進一步提高了模型預測精度。

本文所建立的模型主要應用于綜合能源系統中多元負荷的聯合預測。通過算例驗證，與其他經典預測方法相比，該模型具有更好的預測性能。

1 數據格式與RLA-MTL網絡結構

綜合能源系統的多元負荷預測一般需要先將多能負荷數據按照統一的標準規范化，再結合所采用模型的具體結構確定數據格式。目前，國內的負荷預測通常需要在當天預測第二天的負荷，預測頻率為1h，即在當天預測下一天的24個負荷節點，此類負荷預測技術是日前調度的重要基礎。近年來常見的負荷預測方法主要以1h為步長，在當前時刻預測未來1h、6h、24h之內的負荷值。本文將分別以最具有代表性的1h和24h為例，進行綜合能源的多元負荷預測。

1.1 數據格式

綜合考慮多元負荷的預測精度和預測時間，本文模型輸入包括預測時刻前72h整點的電、冷、熱負荷歷史數據和與負荷需求密切相關的預測日類型[28]和天氣因素[29]，考慮到輸入信息的不同組合方式對于局部特征提取的影響，模型輸入數據格式見表1。根據前文所述1h預測或24h預測，分別選擇以待預測時刻（=1）或待預測時間段～+23（=24）的電、冷、熱負荷作為模型的輸出，輸出數據格式見表2。隨機選取96h多能負荷數據曲線如圖1所示。

表1 輸入數據格式（t時刻）

表2 輸出數據格式（時刻）

Tab.2 Output data format (Time t)

圖1 96h多能負荷數據曲線

1.2 RLA-MTL網絡結構

本文提出的基于注意力機制的多任務學習預測模型將多能負荷的時序歷史數據作為輸入。首先采用多層的ResNet網絡對輸入時序數據進行64核卷積操作，再進行池化操作以降低模型復雜度，并獲得時間序列特征矩陣。隨后將新的時序特征矩陣輸入三層的LSTM殘差網絡得到共享特征池。每個子任務通過注意力模塊從共享特征池中學習特定于該任務的特征，并通過加權的方式對共享特征施加不同的關注，模型結構如圖2所示。

由圖2可知，該模型的主要特點如下：

1）在模型共享層采用ResNet-LSTM網絡，其中殘差結構（ResNet-block）作為多能負荷數據的特征提取環節，能夠有效地提取多能之間的非線性空間耦合特征；三層LSTM的殘差網絡可以快速有效地擬合多能負荷數據的時間序列特征。隨后將池化層輸出的空間耦合特征和最后一層LSTM輸出的時間序列特征拼接組合，得到具有比較完整時空特性的共享特征池，為后續子任務提供更多有效的信息。

圖2 RLA-MTL模型結構

2）不采用直接“硬連接”的多任務學習方式，而通過注意力機制實現不同子任務對于共享特征不同程度的關注，以體現子任務對共享特征的差異化選擇。

3）模型基本結構具有較強的適用性。首先，ResNet作為廣泛應用的特征提取網絡，具有較強的數據適用性；其次，通過調整特征提取單元（ResNet-block）的層數和輸出神經元的個數，可適用于不同復雜程度的負荷預測任務。

本文所提出的模型理論上可以更合理高效地利用多能之間的耦合互補特性。從多任務的角度而言，模型的總體訓練時間預計將會減少，且各個子任務的預測性能因模型對多能數據的進一步挖掘應有所提升。

2 模型構建

2.1 ResNet網絡

綜合能源系統中多能負荷之間存在強交互、強耦合的特點，為進一步挖掘多能負荷之間的交互耦合特征，本文采用ResNet作為前置特征提取單元。ResNet是當前應用較為廣泛的特征提取卷積網絡。卷積神經網絡（Convolutional Neural Networks, CNN）一直是近年來深度學習研究的熱點，同時作為一種自動特征提取的有效方法而廣泛應用于各種領域。卷積神經網絡的常見結構是交替連接的卷積層和池化層，通過局部感受機制和連續的卷積池化操作來挖掘數據的有效特征，其主要特點是通過局部連接和共享權值的方式獲取數據的局部特征。而作為一種殘差網絡，ResNet一般通過堆疊多個ResNet-block子網絡而構成，本文采用常見于淺層網絡的二層卷積基本殘差單元結構，如圖3所示。

圖3 ResNet基本單元

假設ResNet-block所要求解的網絡映射函數為()，對于不含殘差結構的一般卷積層，()為

而對于采用殘差結構的ResNet-block()為

此時卷積網絡所學習到的映射函數(+w)為殘差()-。因為殘差學習相比原始特征直接學習更容易，當殘差為0時，ResNet-block相當于恒等映射，至少網絡性能不會下降，而實際上殘差不會恒為0，這使得ResNet-block將會在輸入特征基礎上學習到新的特征，從而擁有更好的性能。因此本文使用具有較強數據挖掘能力的ResNet對原始數據進行處理，充分挖掘多能負荷之間的交互耦合特征即空間耦合特征。

2.2 LSTM網絡

為進一步挖掘多能負荷的時序特征，本文采用LSTM網絡作為時間序列特征提取單元。LSTM網絡是一種改進的循環神經網絡（Recurrent Neural Network, RNN），常見用于深度語義分析領域。與標準的前饋神經網絡不同，LSTM具有反饋連接。它不僅可以用于圖像的處理（單個數據點），而且非常適合根據時間序列數據進行處理和預測。LSTM網絡針對在訓練傳統RNN時可能遇到的消失梯度問題進行了改進，增強了長期時間序列數據的處理能力。LSTM網絡的基本神經元如圖4所示。

圖4 LSTM網絡的基本神經元

式中，i為輸入門中Sigmoid模塊的權重；i為輸入門中Sigmoid模塊的偏置；c為輸入門中tanh模塊的權重；c為輸入門中tanh模塊的偏置。

式中，o為輸出門中Sigmoid模塊的權重；o為輸出門中Sigmoid模塊的偏置。

考慮到殘差結構簡化了學習過程，增強了梯度傳播，同時可以有效地提高模型的訓練速度，本文采用如圖2所示的殘差結構LSTM網絡擬合多能負荷的時序特征，并通過算例驗證了該結構的有效性。

2.3 多任務與注意力機制

為實現多能負荷的聯合預測，本文采用基于注意力機制的多任務學習結構，以適應模型多元輸出要求。

多任務學習主要是指利用不同任務之間的共性和差異，以同時完成多個學習優化任務的機器學習方法。1997年，R. Caruana[30]給出了多任務學習的經典描述：“多任務學習通過多任務共享并行學習的方式，使每個任務都能得到其他任務的幫助。而多任務學習有效的原因是任務之間優化學習引起的參數正則化優于模型訓練時防止過度擬合的正則化。”一般情況下，若任務之間具有顯著的共性，采用多任務學習會有較大的性能提升。而近幾年國內外的研究表明多任務學習也可用于學習部分不相關的任務。由于多元負荷預測對模型有多元輸出的要求，本文采用多任務學習的方式構建模型。

多元負荷預測模型中存在多個預測子任務，每個子任務進行不同類型負荷的預測，因而不同的子任務對于共享特征應當具有不同的側重點。而注意力機制正適合作為共享特征的篩選機制，為不同子任務提供差異化的特征池。

注意力機制是模仿人類注意力的機制。當人類粗略觀察一幅畫時，可以觀察到畫的全貌，但當仔細觀察該畫時，注意力就被局限到了畫的部分區域，即人腦對整幅畫的關注不是均衡的，而是有一定的側重點。注意力機制就是對輸入的每個元素采用不同的權重參數，從而自發地關注所需要的信息，而抑制其他無用的信息。本文所采用的注意力機制基本結構如圖5所示，計算方法如式（9）所示。

圖5 注意力機制

式中，為注意力機制的輸入特征；為輸入特征中第個特征序列。其中Softmax(VT)即為輸入特征的權重序列。在實際應用中，注意力機制將在每次識別時計算每個特征的權值，然后對特征進行加權求和，權值越大，該特征對當前輸出節點的貢獻越大。

注意力模型的提出主要是為了解決Encoder-Decoder模型中存在的中間向量長度固定問題，但注意力機制作為一種設計思想，并不是只能依附在Encoder-Decoder框架下的，而是可以根據實際情況與多種網絡模型進行結合。本文采用Attention機制實現對共享特征中高相關性和高價值信息的篩選，同時由于注意力機制可以一步到位地考慮全局聯系和局部聯系，且能并行化計算，進一步提高了多元負荷預測的準確性和實時性。

3 算例分析

3.1 算例設置

算例負荷數據來源為亞利桑那州立大學的Campus Metabolism系統所提供的Tempe校區電、冷、熱負荷歷史數據，天氣數據來源為美國國家氣候資料中心網站中Tempe校區位置的天氣數據，包括溫度、大氣壓、風速和風向。所有數據采樣時間為2019年1月1日0時～2020年11月10日24時，其中80%數據為訓練集、20%數據為驗證集，并以2020年12月負荷數據為測試集。以2019年全年的電、冷、熱負荷數據為例，計算電冷熱負荷之間的Pearson相關系數（Pearson Correlation Coefficient, PCC）及相關統計數據見表3、表4，繪制標準化負荷曲線如圖6所示，可知多能負荷之間存在較強的相關性。本文所提出模型的構建與訓練在Tensorflow2.0框架下進行，所使用硬件平臺為Intel Core i7-9800X 3.8G CPU、32G內存、NVIDIA GeForce RTX 2080Ti GPU。

表3 多能負荷的Pearson相關系數

Tab.3 PCC of multi-energy load

表4 多能負荷統計數據

Tab.4 Multi-energy load statistics

圖6 全年電、冷、熱負荷數據曲線

3.1.1 數據預處理

由于在數據的采集或傳輸過程中可能會產生異常數據，因此需要對數據進行異常值處理[30-31]，主要包括異常值檢測、樣本篩選和均值替代三部分。首先檢測數據中異常值的基本分布；然后剔除存在大量異常值的樣本；最后對于剩余異常數據進行均值替代，以保證數據的相對完整性。以kW作為多能負荷統一計量單位，換算公式為

考慮到模型采用平均絕對百分比誤差（Mean Absolute Percentage Error, MAPE）作為損失函數時零值數據無效問題，本文采用如式（11）所示歸一化方法，與一般歸一化不同之處在于將數據線性變換到（1, 2）范圍內，以保證損失函數MAPE可用，并加速模型收斂。

3.1.2 評價指標

本文使用平均絕對百分比誤差作為模型的評價指標。在多任務學習的網絡參數訓練過程中，需要合理平衡各個任務的訓練進度。與冷熱負荷相比，電負荷的不確定性要更大，這來源于用戶用電需求的不確定性。而用戶對冷熱負荷的需求相對穩定，因此電負荷的預測難度較冷熱負荷要更高一點。考慮到用戶不同用能需求不確定性的差異和綜合能源系統自身結構，對于電、冷、熱負荷預測任務的權重分別設置為0.5、0.2、0.3。

3.1.3 超參數設置

模型超參數對模型的預測精度有著極大的影響。綜合考慮訓練時間成本和預測精度，基于RLA-MTL多任務網絡結構，在多次實驗測試之后，選擇批樣本數量（batch size）為128，采用學習率衰減的Adam方法作為訓練優化器。在網絡訓練過程中學習率隨訓練次數的增加而逐漸減少，學習率初始值設定為0.01，衰減系數DECAY為0.5，學習率隨著迭代次數衰減變化為

式中，iterations為當前迭代次數。

3.2 多能負荷預測結果分析

本節將所提出的RLA-MTL多任務網絡模型與BP神經網絡、LSTM單任務網絡（Single Task Learning, STL）、隨機森林方法（Random Forests）、SVM和RLA-STL模型進行對比。其中RLA-STL模型保持ResNet-LSTM-Attention基本結構不變，對冷、熱、電負荷分別進行獨立預測，以驗證多任務機制的有效性。

3.2.1 1h預測

將RLA-MTL模型中Resnet-block層數設為2，輸出神經元的個數為1，得到模型測試集預測精度見表5。隨機挑選某日0時作為預測時刻點，將該模型與其他模型對比結果如圖7所示。

表5 模型精度對比（1h）

Tab.5 Comparison of model accuracy（1h)

圖7 RLA-MTL模型與其他模型對比（1h）

從圖7中可以看出，這些算法模型對次日負荷預測結果與實際曲線變化趨勢基本一致。結合表5可知，本文所提出的RLA-MTL模型相比于其他五種預測方法精度最高，電、冷、熱負荷預測精度分別為 98.82%、99.64%、99.03%。

3.2.2 24h預測

將RLA-MTL模型中Resnet-block層數設為4，輸出神經元的個數為24，得到模型測試集預測精度見表6。隨機挑選某日0時作為預測時刻點，將RLA-MTL模型預測精度與其他方法中精度最高的隨機森林方法對比，如圖8所示。

由表6可知，除了隨機森林之外的單任務預測方法已無法有效地實現24h的負荷預測，而本文所提出的RLA-MTL模型相比于其他預測方法精度仍最高，電、冷、熱負荷預測精度分別為98.30%、98.86%、98.45%。

表6 模型精度對比（24h）

圖8 RLA-MTL模型與其他模型對比（24h）

在1h預測與24h預測的結果中，不同的負荷展現了不同的精度，直觀上體現了不同的負荷具有不同的預測難度。首先，與冷熱負荷相比，電負荷的不確定性要更大，這來源于用戶用電需求的不確定性。而用戶對冷熱負荷的需求相對穩定，因此電負荷的預測難度較冷熱負荷要更高一點。具體到該綜合能源系統，其中的供冷系統中存在儲冰環節，也使得系統的冷負荷需求相對更加穩定。

從兩種預測的結果中還觀察到，同為ResNet-LSTM-Attention結構的RLA-STL模型預測精度明顯低于其他單任務模型，分析出現此情況的主要原因：RLA-STL模型使用了ResNet作為特征提取單元。ResNet作為一種卷積神經網絡，具有較強的局部二維特征提取能力，常用于圖像處理。對于多能負荷預測而言，ResNet能夠幫助捕捉多能負荷之間的相關性，得到具有時序特征的多能負荷之間耦合信息，再提供給下一模塊（LSTM），從而獲得較好的預測效果。而對于單任務預測而言，模型輸入數據中只有單一負荷和相關天氣、日期信息，沒有不同負荷之間的耦合信息，采用ResNet反而會提取到大量的無用信息，因此RLA-STL模型預測精度明顯低于其他模型。

結合1h預測與24h預測，分析RLA-MTL模型有效的可能原因如下：

（1）RLA-MTL模型將多能負荷數據按時間滑動窗口構造連續的特征向量作為網絡輸入，首先通過ResNet網絡提取多能負荷之間的交互耦合特征，在輸入負荷數據中有效信息的挖掘過程中，盡量保留原始數據的時序特性，以得到具有時間序列結構的多維特征向量。將該時序多維特征向量作為LSTM殘差網絡模型的輸入，得以充分發揮LSTM網絡對時間序列數據的較強擬合能力。

（2）考慮多能負荷之間的較強耦合特性，RLA-MTL模型將電、冷、熱負荷時序特征組合向量作為LSTM共享層的輸入矩陣，采用LSTM殘差結構學習電、冷、熱負荷數據的共享特征，并以多任務的方式，通過特定子任務層學習單一負荷特征，提高了各個子任務的學習效率和預測準確性。

（3）RLA-MTL模型沒有采用直接“硬連接”的多任務方式，而是采用注意力機制在共享特征池中進行有效特征的選擇。每次迭代時，首先學習每個特征點的權值，然后對每個特征點進行加權求和，得到加權特征圖作為子任務的輸入特征，其中特征點的權值越大，表明該特征對當前子任務的貢獻越大，由此為不同子任務提供差異化的特征池。

在預測所需時間方面，以1h預測為例，各個模型分別進行負荷預測，其中各個單負荷獨立預測模型進行并行預測，因此其預測時間為最大單任務時間，所需的預測時間對比結果見表7。

表7 模型預測時間對比（1h）

由表7可知，雖然RLA-MTL模型網絡結構稍顯復雜，但在現有硬件條件下的預測時間仍在可接受范圍內，說明利用本文所提出的多元負荷預測模型可以較快地得到更準確的預測結果。同時可以看出RLA-MTL模型的預測時間明顯小于RLA-STL單一負荷預測時間的累加，表明多任務學習能夠以略高于單一任務的效率較快地完成多個學習任務。

實驗結果表明，RLA-MTL模型結合ResNet和LSTM網絡以及注意力機制的特點，與傳統預測方法和其他神經網絡方法相比，具有更好的預測性能。

4 結論

本文考慮電、冷、熱負荷之間較強的復雜耦合特性，采用基于注意力機制的多任務學習方法，建立多元負荷預測模型以進行多能負荷的聯合預測。該模型采用ResNet挖掘多能負荷之間的交互耦合特征，同時盡可能保留數據的時序特征，形成多維時序特征向量；通過共享的LSTM殘差結構形成共享特征池，采用注意力機制從共享特征池中篩選關鍵子任務特征；再通過各自子任務的特征池進行預測子任務，實現多能負荷的聯合預測。最后通過算例分析得出如下結論：

1）本文所提出的多元負荷預測模型（RLA-MTL）通過ResNet-LSTM共享層學習多能負荷之間的時空耦合特性，并通過特定子任務層學習單一負荷預測任務特征，以多任務學習方式提高了所有負荷預測子任務的學習效率和預測準確性。

2）RLA-MTL模型采用注意力機制在共享特征池中進行共享特征的有效選擇，而不是采用直接“硬連接”的多任務學習方式。注意力機制為不同負荷預測子任務提供了差異化的特征池，體現各個負荷預測子任務對于共享特征不同程度的關注，實現了單一負荷預測子任務在特征選擇環節的自我學習，有效地提升了模型性能。

[1] 刁涵彬, 李培強, 呂小秀, 等. 考慮多元儲能差異性的區域綜合能源系統儲能協同優化配置[J]. 電工技術學報, 2021, 36(1): 151-165.

Diao Hanbin, Li Peiqiang, Lü Xiaoxiu, et al. Coordinated optimal allocation of energy storage in regional integrated energy system considering the diversity of multi-energy storage[J]. Transactions of China Electrotechnical Society, 2021, 36(1): 151-165.

[2] 劉小龍, 李欣然, 劉志譜, 等. 基于負荷重要性和源-荷互補性的離網系統終端電/熱/冷負荷投切策略[J]. 電工技術學報, 2021, 36(3): 552-564.

Liu Xiaolong, Li Xinran, Liu Zhipu, et al. Research on power/heating/cooling load switching strategy of off-grid system based on load importance and source load complementarity[J]. Transactions of China Electrotechnical Society, 2021, 36(3): 552-564.

[3] 鄧帶雨, 李堅, 張真源, 等. 基于EEMD-GRU-MLR的短期電力負荷預測[J]. 電網技術, 2020, 44(2): 593-602.

Deng Daiyu, Li Jian, Zhang Zhenyuan, et al. Short-termelectric load forecasting based on EEMD-GRU-MLR[J]. Power System Technology, 2020, 44(2): 593-602.

[4] 梁榮, 王洪濤, 吳奎華, 等. 基于神經網絡和ARIMA模型的冷熱電短期負荷預測[J]. 電力系統及其自動化學報, 2019, 32(3): 52-58.

Liang Rong, Wang Hongtao, Wu Kuihua, et al. Short-term forecasting of cooling, heating and power loads based on neural network and ARIMA model[J]. Proceedings of the CSU-EPSA, 2019, 32(3): 52-58.

[5] 羅敏, 程將南, 王毅, 等. 基于小波去噪和決策樹的個性化大用戶負荷預測[J]. 南方電網技術, 2016, 10(10): 37-42.

Luo Min, Cheng Jiangnan, Wang Yi, et al. Wavelet de-noising and decision tree based load forecasting of large consumers[J]. Southern Power System Technology, 2016, 10(10): 37-42.

[6] 李焱, 賈雅君, 李磊, 等. 基于隨機森林算法的短期電力負荷預測[J]. 電力系統保護與控制, 2020, 48(21): 117-124.

Li Yan, Jia Yajun, Li Lei, et al. Short term power load forecasting based on a stochastic forest algorithm[J]. Power System Protection and Control, 2020, 48(21): 117-124.

[7] 趙佩, 代業明. 基于實時電價和加權灰色關聯投影的SVM電力負荷預測[J]. 電網技術, 2020, 44(4): 1325-1332.

Zhao Pei, Dai Yeming. Power load forecasting of SVM based on real-time price and weighted grey relational projection algorithm[J]. Power System Technology, 2020, 44(4): 1325-1332.

[8] Kavousi-Fard A, Samet H, Marzbani F. A new hybrid modified firefly algorithm and support vector regression model for accurate short term load forecasting[J]. Expert Systems with Applications, 2014, 41(13): 6047-6056.

[9] 溫錦斌, 王昕, 李立學, 等. 基于頻域分解的短期風電負荷預測[J]. 電工技術學報, 2013, 28(5): 66-72.

Wen Jinbin, Wang Xin, Li Lixue, et al. Short-term wind power load forecasting based on frequency domain decomposition[J]. Transactions of China Electrotechnical Society, 2013, 28(5): 66-72.

[10] 楊龍, 吳紅斌, 丁明, 等. 新能源電網中考慮特征選擇的Bi-LSTM網絡短期負荷預測[J]. 電力系統自動化, 2021, 45(3): 166-173.

Yang Long, Wu Hongbin, Ding Ming, et al. Short-term load forecasting in renewable energy grid based on bi-directional long short-term memory network considering feature selection [J]. Automation of Electric Power Systems, 2021, 45(3): 166-173.

[11] 谷云東, 張素杰, 馮君淑. 大用戶電力負荷的多模型模糊綜合預測[J]. 電工技術學報, 2015, 30(23): 110-115.

Gu Yundong, Zhang Sujie, Feng Junshu. Multi-model fuzzy synthesis forecasting of electric power loads for larger consumers[J]. Transactions of China Electrotechnical Society, 2015, 30(23): 110-115.

[12] 祝學昌. 基于IFOA-GRNN的短期電力負荷預測方法研究[J]. 電力系統保護與控制, 2020, 48(9): 121-127.

Zhu Xuechang. Research on short-term power load forecasting method based on IFOA-GRNN [J]. Power System Protection and Control, 2020, 48(9): 121-127.

[13] 劉念, 張清鑫, 劉海濤. 基于核函數極限學習機的微電網短期負荷預測方法[J]. 電工技術學報, 2015, 30(8): 218-224.

Liu Nian, Zhang Qingxin, Liu Haitao. Online short-term load forecasting based on ELM with kernel algorithm in micro-grid environment[J]. Transactions of China Electrotechnical Society, 2015, 30(8): 218-224.

[14] 朱清智, 董澤, 馬寧. 基于即時學習算法的短期負荷預測方法[J]. 電力系統保護與控制, 2020, 48(7): 92-98.

Zhu Qingzhi, Dong Ze, Ma Ning. Forecasting of short-term power based on just-in-time learning[J]. Power System Protection and Control, 2020, 48(7): 92-98.

[15] 彭文, 王金睿, 尹山青. 電力市場中基于Attention-LSTM的短期負荷預測模型[J]. 電網技術, 2019, 43(5): 1745-1751.

Peng Wen, Wang Jinrui, Yin Shanqing. Short-term load forecasting model based on Attention-LSTM in electricity market[J]. Power System Technology, 2019, 43(5): 1745-1751.

[16] Al-Rakhami M, Gumaei A, Alsanad A, et al. An ensemble learning approach for accurate energy load prediction in residential buildings[J]. IEEE Access, 2019, 7: 48328-48338.

[17] Mokeev V V. Prediction of heating load and cooling load of buildings using neural network[C]//2019 International Ural Conference on Electrical Power Engineering (UralCon), IEEE, 2019: 417-421.

[18] Zhang Tieyan, Li Hening, Hui Qian, et al. Integrated load forecasting model of multi-energy system based on Markov chain improved neural network[C]//2019 11th International Conference on Measuring Technology and Mechatronics Automation (ICMTMA), IEEE, Qiqihar, China, 2019: 454-457.

[19] Hai Wenlong, Wang Yahui. Load forecast of gas region based on ARIMA algorithm[C]//2020 Chinese Control and Decision Conference (CCDC), IEEE, Hefei, China, 2020: 1960-1965.

[20] Wei Nan, Li Changjun, Duan Jiehao, et al. Daily natural gas load forecasting based on a hybrid deep learning model[J]. Energies, 2019, 12(2): 218.

[21] Lu Hongfang, Azimi M, Iseley T. Short-term load forecasting of urban gas using a hybrid model based on improved fruit fly optimization algorithm and support vector machine[J]. Energy Reports, 2019, 5: 666-677.

[22] Li Yujie, Yuan Xiaoling, Xu Jieyan, et al. Medium-term forecasting of cold, electric and gas load in multi-energy system based on VAR model[C]//2018 13th IEEE Conference on Industrial Electronics and Applications (ICIEA), IEEE, Wuhan, China, 2018: 1676-1680.

[23] Tang Yu, Liu Haoming, Xie Yunfei, et al. Short-term forecasting of electricity and gas demand in multi-energy system based on RBF-NN model[C]//2019 IEEE International Conference on Energy Internet (ICEI), IEEE, Nanjing, China, 2019: 542-547.

[24] 陳錦鵬, 胡志堅, 陳緯楠, 等. 二次模態分解組合DBiLSTM-MLR的綜合能源系統負荷預測[J]. 電力系統自動化, 2021, 45(13): 85-94.

Chen Jinpeng，Hu Zhijian，Chen Weinan, et al. Load prediction of integrated energy system based on quadratic modal decomposition and DBiLSTM-MLR[J]. Automation of Electric Power Systems, 2021, 45(13): 85-94.

[25] 史佳琪, 譚濤, 郭經, 等. 基于深度結構多任務學習的園區型綜合能源系統多元負荷預測[J]. 電網技術, 2018, 42(3): 698-707.

Shi Jiaqi, Tan Tao, Guo Jing, et al. Multi-task learning based on deep architecture for various types of load forecasting in regional energy system integration[J]. Power System Technology, 2018, 42(3): 698-707.

[26] 孫慶凱, 王小君, 張義志, 等. 基于LSTM和多任務學習的綜合能源系統多元負荷預測[J]. 電力系統自動化, 2021, 45(5): 63-70.

Sun Qingkai, Wang Xiaojun, Zhang Yizhi, et al. Multiple load prediction of integrated energy system based on long short-term memory and multi-task learning [J]. Automation of Electric Power Systems, 2021, 45(5): 63-70.

[27] 田浩含, 張智晟, 于道林. 基于改進LSTM的區域綜合能源系統多元負荷短期預測研究[J]. 電力系統及其自動化學報, 2021, 33(9): 130-137.

Tian Haohan, Zhang Zhisheng, Yu Daolin. Load short-term forecasting model of regional integrated energy system based on improved LSTM[J]. Proceedings of the CSU-EPSA, 2021, 33(9): 130-137.

[28] 吳潤澤, 包正睿, 王文韜, 等. Hadoop架構下基于模式匹配的短期電力負荷預測方法[J]. 電工技術學報, 2018, 33(7): 1542-1551.

Wu Runze, Bao Zhengrui, Wang Wentao, et al. Short-term power load forecasting method based on pattern matching in Hadoop framework[J]. Transactions of China Electrotechnical Society, 2018, 33(7): 1542-1551.

[29] 李濱, 黃佳, 吳茵, 等. 基于氣象信息粒還原的臺風分時段短期負荷預測[J]. 電工技術學報, 2018, 33(9): 2068-2076.

Li Bin, Huang Jia, Wu Yin, et al. Typhoon-period short term load forecasting based on particle reduction of weather information[J]. Transactions of China Electrotechnical Society, 2018, 33(9): 2068-2076.

[30] 馬然, 栗文義, 齊詠生. 風電機組健康狀態預測中異常數據在線清洗[J]. 電工技術學報, 2021, 36(10): 2127-2139.

Ma Ran, Li Wenyi, Qi Yongsheng. Online cleaning of abnormal data for the prediction of wind turbine health condition[J]. Transactions of China Electrotechnical Society, 2021, 36(10): 2127-2139.

[31] 王方雨, 劉文穎, 陳鑫鑫, 等. 基于“秩和”近似相等特性的同期線損異常數據辨識方法[J]. 電工技術學報, 2020, 35(22): 4771-4783.

Wang Fangyu, Liu Wenying, Chen Xinxin, et al. Abnormal data identification of synchronous line loss based on the approximate equality of rank sum[J]. Transactions of China Electrotechnical Society, 2020, 35(22): 4771-4783.

Multi-Energy Load Forecasting in Integrated Energy System Based on ResNet-LSTM Network and Attention Mechanism

Wang Chen1Wang Ying1Zheng Tao2,3Dai Zemei2,3Zhang Kaifeng1

（1. Key Laboratory of Measurement and Control of Complex Systems of Engineering Ministry of Education Southeast University Nanjing 210096 China 2. NARI Group (State Grid Electric Power Research Institute) Co. Ltd Nanjing 211106 China 3. NARI Technology Development Co. Ltd Nanjing 211106 China）

In an integrated energy system, different types of loads, i.e. electrical loads, heat loads, cooling loads, might have complex and strong coupling relationships among them. Compared with forecasting each type of load separately, to forecast multi-energy loads together in a combined multi-task model can further explore the internal connections and therefore improve the accuracy of forecasting. A multi-task learning model based on ResNet-LSTM network and Attention mechanism is proposed to fit the spatial coupling relationship and time coupling relationship between multi-energy loads. Firstly, the multi-layer ResNet is used as the feature extraction unit of the multi-energy load data to mine the spatial coupling interaction characteristics between the multi-energy; secondly, the LSTM residual structure is used to further mine the time series characteristics of the multi-energy loads data; then, the Attention mechanism is used to realize that multiple subtasks have different degrees of attention to shared features, which reflects the differentiated selection of shared features by different subtasks, and realizes joint forecasting of multiple loads. Finally, we applied the proposed method with the data at the Campus Metabolism system of Arizona State University. Compared with other forecasting models, the results show that the proposed method has higher accuracy.

Attention mechanism, ResNet, long short-term memory(LSTM), multi-energy load forecasting, multi-task learning

10.19595/j.cnki.1000-6753.tces.210212

TM715

王 琛 男，1997年生，碩士研究生，研究方向為綜合能源系統多元負荷預測。E-mail：wangchen1073@126.com

王 穎 女，1989年生，博士，講師，研究方向為電力系統優化、機組組合和經濟調度。E-mail：wyseu@seu.edu.cn（通信作者）

國家自然科學基金（51907025, 51977033）、國家電網公司總部科技項目（基于大數據的電網趨勢預測及操作智能預演技術研究）和東南大學“至善青年學者”支持計劃（2242021R41176）資助。

2021-02-19

2021-05-27

（編輯 赫蕾）