基于深度并行CNN-BiLSTM的能源互聯網電負荷和熱負荷聯合預測模型

廖清陽， 王 軍， 胡凱強， 宋 堯， 宗志亞， 范俊秋

(1. 貴州電網有限責任公司貴安供電局，貴州 貴安 550025; 2. 華南理工大學，廣東 廣州 510599)

0 引 言

能源互聯網系統集成多種能源存儲和轉換裝置，因此電、熱等能源系統存在緊密的聯系，呈現能源互聯的特點[1]。電、熱等負荷預測在能源調度、設備檢修等發揮關鍵作用。為完成負荷預測這一復雜的非線性問題，專家們提出一系列電、熱等負荷預測模型。例如，有專家應用灰度關聯[2]、時空特征變量[3]理論開展電力負荷預測研究工作，并嘗試開展電、熱、冷負荷聯合預測工作[4]。

深度學習技術憑借優異的特征表達能力在多領域發揮重大作用[5]。其中，雙向遞歸神經網絡（bidirectional recurrent neural network，BiRNN）[6]可從前后兩個方向學習數據序列的時序信息，長短期記 憶 網 絡 （ long and short term memory network，LSTM）[7]可學習數據序列的長期依賴信息，卷積神經網絡（convolutional neural network，CNN）[8]可學習數據序列中局部區域的關鍵特征。在BiRNN方面，程換新等[9]應用改進粒子群算法優化RNN，有效優化電力負荷模型網絡權重參數。在LSTM方面，楊甲甲[10]應用LSTM開展工業負荷短期預測研究，取得較好的預測結果；張建寰[11]分別應用LSTM、門循環單元（GRU）神經網絡、棧式自編碼器（SAE）構建電力負荷預測模型，經仿真確定三種預測模型具備一定的可行性，LSTM預測模型對于單因素預測精度較高；呂海燦等[12]提出基于Wide&DeepLSTM的短期電力負荷預測模型，可捕獲多維度和時序性電力負荷特征信息。在CNN方面，呂志星等[13]采用CNN開展用戶短期電力負荷預測研究，預測的誤差值百分比降低了約20%。史佳琪等[14]提出多元負荷預測模型，并驗證其在實際環境中的有效性。對于電力負荷預測任務，存在較多的LSTM和CNN研究成果[15-16]，但神經網絡的應用價值還有待挖掘；同時，學者們主要提取單一能源負荷特征來開展電、熱等負荷預測研究，未考慮多能源的互聯狀態完成負荷預測任務。

本文應用BiRNN和CNN并行網絡的特征提取優勢開展電熱負荷聯合預測研究工作，提出基于深度并行CNN-BiLSTM的能源互聯網電熱負荷聯合預測模型。首先設計了三個電熱負荷聯合預測模型，再仿真確定較優模型，研究并行網絡和聯合預測方式對模型性能的影響，對比分析本模型與同領域模型的負荷預測性能。

1 電負荷和熱負荷聯合預測模型

1.1 模型簡述

基于深度并行CNN-BiLSTM的能源互聯網電負荷和熱負荷聯合預測模型簡圖如圖1所示。

圖1 能源互聯網電負荷和熱負荷聯合預測模型簡圖

采用可表征電負荷和熱負荷序列信息的樣本作為負荷序列數據集；對于特征提取層，設計三個具備不同優勢的網絡從負荷類序列數據集中捕獲關鍵負荷特征信息；對于預測層，應用全局平均池化對不同尺寸的關鍵負荷特征作降采樣操作，再應用一個全連接層統計負荷特征，預測電負荷和熱負荷值。

1.2 深度并行CNN-BiLSTM模塊

雙向長短期記憶網絡（bidirectional short and long term memory network，BiLSTM）可直接從數據序列中捕獲上下文依賴特征；CNN可通過靈活的多分支子網絡提取局部、大感受野、抽象的特征，且保留完整的特征信息，增強特征表達能力。因此，在特征提取層中采用BiLSTM，且為驗證完整、大感受野、抽象的負荷特征對模型的貢獻，修改CNN的多分支子網絡，設計三個深度并行CNN-BiLSTM模塊。

三個深度并行CNN-BiLSTM模塊的頭部均應用BiLSTM捕獲電負荷和熱負荷序列數據的長時間上下文依賴信息。BiLSTM[17]由BiRNN和LSTM兩部分構成。BiRNN計算方式如公式（1）、公式（2）和公式（3）所示。

BiRNN先從負荷序列數據前后兩個方向同時捕獲負荷特征，再采用線性方式組合兩種負荷特征，有效提高模型對負荷序列數據的特征表達能力。但BiRNN不具備捕獲負荷序列中長期依賴關系的能力，因此應用LSTM改進計算方式，捕獲長期依賴信息。計算方式如公式（4）、公式（5）、公式（6）、公式（7）、公式（8）、公式（9）所示。

*——矩陣乘法；

·——點乘運算。

結合BiRNN和LSTM的優點即獲得BiLSTM。BiLSTM從負荷序列數據中捕獲雙向和長期依賴的多層次負荷特征信息，有利于模型的特征表達。

考慮負荷特征信息的完整性對模型的貢獻，設計深度并行CNN-BiLSTM模塊1，如圖2所示。

圖2 深度并行CNN-BiLSTM模塊1

對于深度并行CNN-BiLSTM模塊1的CNN部分，設計兩個分支子網絡。對于第一個子網絡，應用卷積核維度為1、步長為1的卷積操作和ReLU非線性激活函數對負荷特征進行線性和非線性變換，捕獲細致的局部性負荷特征；對于第二個子網絡，僅將輸入負荷特征直接引至輸出端，保留較完整的特征信息。

考慮大感受野負荷特征信息對模型的貢獻，設計深度并行CNN-BiLSTM模塊2，如圖3所示。

圖3 深度并行CNN-BiLSTM模塊2

對于CNN部分，設計兩個分支子網絡。對于第一個子網絡，應用卷積操作和ReLU捕獲細致的負荷特征；對于第二個子網絡，依次應用步長為1、步長為3的卷積操作期望捕獲更大感受野下的多維度特征信息。

在負荷特征信息的完整性和大感受野負荷特征信息的基礎上，同時考慮深層次網絡提取的抽象負荷特征對模型的貢獻，設計深度并行CNN-BiLSTM模塊3，如圖4所示。

圖4 深度并行CNN-BiLSTM模塊3

對于CNN部分，設計四個分支子網絡。對于第一個子網絡，僅應用一個卷積操作捕獲細致的負荷特征；對于第二個子網絡，依次應用步長為1、步長為3和步長為3的卷積操作捕獲大感受野、抽象的負荷特征；對于第三個子網絡，依次應用步長為1、步長為3、步長為5的卷積操作捕獲抽象、多維度的負荷特征；對于第四個子網絡，保留經BiLSTM處理的長期依賴的多層次負荷特征，避免梯度消失現象的出現；對于所有的卷積操作，均應用ReLU對輸出值作非線性變換操作，迫使模型快速收斂。

1.3 仿真環境

為預測某一時刻的電負荷和熱負荷值，需從某個綜合能源系統園區中采集預測時刻前1小時內的電負荷平均值、熱負荷平均值、溫度平均值、濕度平均值、風速平均值、降雨量平均值、工作日/節假日（1/0）標識值，將其組合為向量作為輸入數據序列。

為完成模型的仿真，共采集10000個小時的樣本數據集，依據比例8∶1∶1隨機劃分樣本數據到訓練集、驗證集和測試集中，則有8000個訓練集、1000個驗證集和1000個測試集。

應用Tensorflow深度學習框架在Ubuntu16.04平臺上實現模型；應用Xavier方法初始化所有卷積核權重，迫使權重符合零均值、單位方差的自然分布狀態；設置偏置值為0.02；設置學習率為0.0001。

2 訓練階段仿真分析

2.1 批次樣本量仿真研究

對于模型特征提取層，設置應用深度并行CNNBiLSTM模塊1的模型為電熱負荷聯合預測模型1，則應用深度并行CNN-BiLSTM模塊2的模型為電熱負荷聯合預測模型2，應用深度并行CNN-BiLSTM模塊3的模型為電熱負荷聯合預測模型3。應用誤差值比作為本模型性能評價指標，計算方法如公式（10）、公式（11）和公式（12）所示。

驗證誤差值比比訓練誤差值比具備更高的參考價值。

研究批次樣本量下模型負荷預測性能。合理的批次樣本量有利于獲得具備泛化性的損失值，從而增強模型泛化能力。設置批次樣本量分別為4、8、12、16、20，訓練三個模型至800代，觀察驗證綜合負荷誤差均值比，如圖5所示。

圖5 不同批次樣本量下的驗證綜合負荷誤差均值比

對于各批次樣本量，模型1的驗證綜合負荷誤差均值比明顯高于模型2和模型3，說明模型1從樣本數據中捕獲的負荷信息較少，不具備較好的電熱負荷預測能力；當批次樣本量逐漸增加時，三個模型的驗證綜合負荷誤差均值比首先快速降低，再稍有上升局勢，說明一定數量樣本量有利于模型統計具備代表性的損失值，促進模型優化參數；當批次樣本量為16時，三個模型均具備最佳的驗證綜合負荷誤差均值比，分別為 0.0627、0.0397和0.0314。

2.2 迭代次數仿真研究

研究迭代次數下模型負荷預測性能。結合驗證負荷誤差和訓練負荷誤差可觀察模型是否出現過擬合現象，應用損失值可知模型收斂狀態，便于保存最佳的電熱負荷聯合預測模型。

當批次樣本量為16時，模型1、模型2和模型3的訓練、驗證CLE均值如圖6、圖7、圖8所示，三個模型的損失值變化狀態如圖9所示。模型1的損失值始終高于模型2和模型3，說明模型1的綜合電荷預測值與真實值差值較大；在約600代后，模型1損失值波動較小，到達收斂狀態，驗證CLE均值為0.0627；在約700代后，模型2到達收斂狀態，驗證 CLE均值為 0.0397；在約 600代后，模型3到達收斂狀態，具備最優的驗證CLE均值，為0.0205。

圖6 模型1的負荷誤差均值比

圖7 模型2的負荷誤差均值比

圖8 模型3的負荷誤差均值比

圖9 三個模型的損失值

綜上，在批次樣本量為16時，選擇訓練至600代模型1、訓練至700代模型2和訓練至600代模型3開展后續研究。

3 測試階段仿真分析

3.1 CLE仿真分析

應用CLE評測模型的電熱負荷預測性能。在測試樣本集上統計三個模型的和CLE的平均值，結果如圖10所示。

圖10 模型電熱負荷預測性能

應用模型3預測某一周的電負荷和熱負荷，結果如圖11、圖12所示。

圖11 模型3的電負荷預測結果

圖12 模型3的熱負荷預測結果

對于電負荷和熱負荷的預測任務，模型3的預測結果僅在部分數據突變區域與真實結果有略大差異，在其他數據區域皆逼近真實結果。說明電熱負荷聯合預測模型3具備較優的預測性能。

3.2 串行與并行網絡仿真分析

研究并行子網絡結構與串行網絡結構預測性能?；诒疚碾姛嶝摵陕摵项A測模型，對于特征提取層，設計串行CNN-BiLSTM模型，如圖13所示。

圖13 串行CNN-BiLSTM模型

在同樣的仿真環境中訓練此串行電熱負荷聯合預測模型，并在測試集上統計和CLE平均值，如表1所示。

表1 串行和并行網絡模型電熱負荷預測性能

統計兩個模型的負荷誤差分布情況，箱線圖結果如圖14所示。

圖14 模型的CLE分布情況

模型3的CLE分布區域在4%以下；串行預測模型的CLE分布區域在6%以上，且存在兩個偏離較大的異常值。說明模型3可捕獲電熱負荷的強相關特征信息，有利于完成負荷 預測任務。

應用模型3和串行預測模型預測同一周的電負荷和熱負荷，結果如圖15、圖16所示。

圖15 兩個模型的電負荷預測結果

圖16 兩個模型的熱負荷預測結果

模型3對于電負荷和熱負荷的預測數據僅在部分數據突變區域與真實數據有略大差異；串行預測模型對于電負荷和熱負荷的預測數據與真實數據有較大差異，在熱負荷方面體現得最明顯。說明模型3的并行網絡結構比串行網絡結構具備更優的負荷特征捕獲能力，有效增強模型的特征表達能力。

3.3 聯合預測與單負荷預測仿真分析

采用當前模型3聯合預測電負荷和熱負荷值。為研究單負荷預測性能，對于模型3網絡，分別設置預測目標為電負荷和熱負荷，并在相同環境中訓練模型，測試負荷誤差均值比，結果如表2所示。

表2 聯合預測和單負荷預測階段的誤差均值比

對于電負荷和熱負荷，單負荷預測階段的負荷誤差均值比分別為 0.0597和 0.0692，均高于聯合預測階段的負荷誤差均值比。說明聯合預測方式可學習到電負荷和熱負荷的互聯信息，降低負荷誤差均值百分比約3%，具備較優的預測性能。

研究單負荷預測和聯合負荷預測方式的模型訓練和預測時長。對于訓練階段，記錄模型在訓練集中的負荷特征學習時長；對于預測階段，記錄模型在測試集中的電熱負荷預測時長。結果如表3所示。

表3 聯合預測和單負荷預測階段的訓練和預測時長

與聯合預測方式相比，在訓練階段，單負荷預測方式的電、熱負荷訓練時長略小，但總訓練時長很高；在測試階段，單負荷預測方式的總預測時長同樣很高。說明對于模型訓練和預測過程，聯合預測方式下模型的訓練時長和測試時長分別為4275 s和604 s，均約為單負荷預測方式下時長的一半，具備較高的效率。

3.4 模型綜合分析

研究聯合預測模型的負荷預測性能。經調研，程換新等[9]、呂海燦等[12]、呂志星等[13]、史佳琪等[14]的負荷預測模型應用了深度學習中典型的RNN、LSTM和CNN等技術，獲得較好的結果，因此復現對應模型，分別稱為RNN-Net、LSTM-Net、CNN-Net、Shi-Net， 其 中RNN-Net、LSTM-Net、CNN-Net為電負荷預測模型，Shi-Net為多元負荷預測模型。稱本文模型為BiLSTMCNN-Net。仿真所有模型在本文數據集下的誤差值百分比。其中RNN-Net、LSTM-Net、CNN-Net是單負荷預測模型，所以將它們依次在電負荷序列數據集（電負荷平均值、溫度平均值、濕度平均值、風速平均值、降雨量平均值、工作日/節假日（1/0）標識值）、熱負荷序列數據集（熱負荷平均值、溫度平均值、濕度平均值、風速平均值、降雨量平均值、工作日/節假日（1/0）標識值）下訓練并獲得測試結果；Shi-Net和本文的BiLSTMCNN-Net均為聯合預測模型，所以將Shi-Net在電、熱負荷序列數據集下訓練并獲得測試結果。仿真結果如表4所示。

表4 模型負荷預測結果的誤差均值比

觀察可知，RNN-Net、LSTM-Net、CNN-Net、Shi-Net的平均值分別為 0.0575、0.0424、0.0457、0.0431，平均值分別為 0.1312、0.1390、0.1053、0.0375；RNN-Net、LSTM-Net、CNN-Net原為電負荷預測模型，Shi-Net原為多元負荷預測模型，LSTMNet的均值較低，為0.0424，但它們的均值遠高于Shi-Net；Shi-Net的均值和CLE均值較低，分別為 0.0375和 0.0474；BiLSTMCNN-Net擁有最低的、、CLE均值。說明當前的電負荷預測模型不適用于熱負荷預測任務；多元負荷預測模型Shi-Net具備較好的電、熱負荷預測性能，但仍差于本文的BiLSTMCNN-Net。

綜合分析，本文的聯合預測模型較全面提取電負荷、熱負荷的特征信息，具備較好的應用價值。

4 結束語

本文提出了能源互聯網電負荷和熱負荷聯合預測模型，得出結論：

1）研究各模型負荷預測能力。模型1、模型2和模型 3的 CLE 均值分別為 0.0627、0.0498和0.0311，說明模型3通過四個并行子網絡同時捕獲完整、大感受野、抽象的負荷特征，對電、熱負荷的預測誤差均值比分別為0.0315和0.0301。將模型3作為最終的能源互聯網電熱負荷聯合預測模型。

2）研究模型的并行網絡與聯合預測方式優勢。由四個并行子網絡組成的電熱負荷聯合預測模型的負荷誤差均值比低于串行網絡模型約3%，說明并行網絡有利于模型捕獲多層次負荷特征信息；電熱負荷聯合預測模型的負荷誤差均值比低于單負荷預測模型約3%，且其訓練和預測時間均約為單負荷預測模型的一半，說明聯合預測方式可保持較高的效率學習電熱負荷互聯信息，增強模型的特征表達能力。

3）分析同領域模型負荷預測性能。將本文模型與領域內典型的 RNN-Net、LSTM-Net、CNN-Net、Shi-Net在相同條件下開展仿真分析，可知LSTMNet的均值較低，為 0.0424；Shi-Net的均值和 CLE 均值較低，分別為 0.0375和 0.0474；本文模型的均值、均值和CLE均值最高，分別為 0.0315、0.0301、0.0311。說明本文模型適用于電負荷、熱負荷聯合預測任務。