基于深度學習的熱負荷預測研究

孫玉芝,杜向寧

(山東公用熱電集團有限公司，山東 濟寧 272100)

0 引言

短期預測在能源領域得到了廣泛的應用，如電力負荷預測[1]、熱負荷預測[2]等。

熱負荷預測是準確指導供熱運行管理和供熱調度的前提，不但可以提高集中供熱系統的穩定性和生產效率，而且能降低運行成本[3-4]。早期已有大量研究利用傳統的機器學習方法[5-7]解決短期熱負荷預測問題，如線性回歸、支持向量機(support vector machine，SVM)、人工神經網絡等。然而，傳統機器學習方法存在容易過擬合、模型魯棒性低等缺點。隨著近期深度學習技術飛速發展，已有大量學者將該技術引入熱負荷預測[8-11]領域。然而，供暖季節性明顯、數據存在跳躍現象(第二年氣候變化)，導致現有模型預測性能不高。此外，熱負荷預測對天氣條件非常敏感，尤其是溫度，對供暖有重大影響。

考慮到上述問題，本文提出了一種混合熱負荷預測模型。該模型基于天氣信息和歷史負荷數據對短期熱負荷進行預測，從而進一步提高供暖服務質量，助力資源的合理分配。

1 基于深度學習的熱負荷預測模型

考慮到天氣預報信息為一種典型的時間序列預測數據，本研究使用長短期記憶(long short-term memory,LSTM)作為熱負荷預測的基礎骨干網絡。首先，本文設計了一種基于LSTM單元結構來構造遞歸神經網絡(recurrent neural network，RNN)的模型，從而解決了梯度爆炸和梯度消失的問題。一般情況下，梯度爆炸和梯度消失主要是由于網絡層數過深、損失函數設置不合理或參數初始化等問題而導致的。本研究提出的熱負荷預測基本模型包含兩個堆疊的LSTM層和一個線性輸出層。其中，前一個LSTM層的輸出作為第二個LSTM層的輸入。這樣，通過復雜的多層LSTM進行記憶，可以確保梯度不易消失。此外，通過設置合理的激活函數，可抑制梯度爆炸和梯度消失。以下對模型結構進行詳細介紹。

對于普通RNN單元，隱藏狀態的計算方法為：

ht=tanh(Wihxt+bih+Whhht-1+bhh)

(1)

式中：ht為t時的隱藏狀態,ht∈Rh;xt為 輸入，xt∈Rd；Wih∈Rh×d;Whh∈Rh×h;bih、bhh為可訓練的參數,bih、bhh∈Rh； tanh(·)為激活函數。

LSTM單元比較復雜，除了隱藏狀態ht，還使用一個單元狀態ct來描述記憶。目前，LSTM單元有許多變體。本文采用的LSTM基本模型如圖1所示。

圖1 LSTM基本模型

it=σ(Wiixt+bii+Whiht-1+bhi)

(2)

式中：it為輸入門；Wii和Whi分別為輸入門輸入向量和隱藏狀態的可訓練權重；bii和bhi分別為輸入門輸入向量和隱藏狀態的偏差；σ(·)為sigmoid激活函數。

ft=σ(Wifxt+bif+Whfht-1+bhf)

(3)

式中：ft為遺忘門；Wif和Whf分別為遺忘門輸入向量和隱藏狀態的可訓練權重；bif和fhf分別為遺忘門輸入向量和隱藏狀態的偏差。

gt=tanh(Wigxt+big+Whght-1+bhg)

(4)

式中：gt為單元門；Wig和Whg分別為單元門輸入向量和隱藏狀態的可訓練權重；big和bhg分別為單元門輸入向量和隱藏狀態的偏差。

ot=σ(Wioxt+bio+Whoht-1+bho)

(5)

式中：ot為輸出門；Wio和Who分別為輸出門輸入向量和隱藏狀態的可訓練權重；bio和bho分別為輸出門輸入向量和隱藏狀態的偏差。

ct=fc×ct-1+it×gt

(6)

式中：ct為細胞態,ct∈Rh；× 為求取阿達瑪積。

ht=ot×tanh(ct)

(7)

網絡輸入為歷史天氣預報和熱負荷數據。數據為五維向量，分別對應溫度、壓力、風速、濕度以及歷史熱負荷。輸出對應于第二天的預測熱負荷。此外，為簡化計算過程，本文假設一周前的數據對預測幾乎沒有影響。

熱負荷預測基本模型如圖2所示。

圖2 熱負荷預測基本模型

2 優化策略

2.1 平滑預處理

雖然LSTM在處理非平穩時間序列數據方面表現良好，然而供暖季節在每年的3月中旬結束，并且在每個供暖季的最后一個月，供暖負荷隨著供暖設備逐漸關閉而急劇下降。這種模式每年只發生一次，持續1～2周。這為學習過程帶來一定困難。為此，本文研究對數據進行一定的預處理，從而提高基礎模型訓練性能。

實際情況下，熱負荷數據非常復雜，因此適當的平滑處理可以使模型更容易捕捉局部特征和主要趨勢。令熱負荷通過大小為b的滑動窗口進行平滑處理。處理后，每個數據點都將被前一時間實例(包括其自身)中超過b個連續數據點的平均值所取代。因此，對于t個時間步，平滑操作計算如式(8)所示。

(8)

式中：Yt-1為第(t-1)個時間步時未處理的熱負荷數據；b為滑動窗口的大小(取b=15 )。

2.2 局部重縮放

原始數據的屬性具有不同的比例和分布，在輸入模型前需要作適當的比例調整，否則會導致訓練的收斂速度較慢，使訓練模型的性能變差。因此，在保留數據的統計特征的同時，本文基于最小-最大縮放將所有特征轉換為固定范圍[m,M]。對于給定的時間序列 {xi}，數據重縮放計算如式(9)～式(10)所示。

x′i=sx(xi-xmin)+m

(9)

式中：xmin為時間序列{xi}的最小值；x′i為縮放后的數據。

(10)

式中：xmax為時間序列 {xi}的最大值。

2.3 噪聲處理

為進一步提高模型泛化能力和魯棒性，本文在兩個LSTM單元中每個時間步長之間的隱藏狀態添加高斯噪聲，從而確保模型能夠抵抗輸入數據的擾動。

(11)

式中：N(0,1)為均值為0、方差為1的高斯噪聲；γ為可調參數。

2.4 損失函數

一般情況下，網絡訓練采用測量預測輸出的絕對誤差作為損失函數[12]。損失函數的計算如式(12)所示。

(12)

然而，在局部重縮放下，由于應用了不同的重縮放函數，每個數據鏈上的絕對誤差各不相同。這會影響預測精度。為了解決這個問題，本文引入了加權損失，從而有助于糾正樣本權重的差異。加權損失計算如式(13)～式(15)所示。

(13)

(14)

(15)

此外，對于第i個數據鏈，第t個時間步的熱負荷計算如式(16)～式(18)所示。

Y′it=siYit+di

(16)

(17)

(18)

因此，縮放前的絕對誤差計算如式(19)所示。

(19)

需要注意的是，即使在原始尺度上，不同樣本的絕對誤差仍然不具有同等的重要性。考慮到誤差率為評估結果更常用的測量方法，本文進一步修正每個樣本的損失。

(20)

3 仿真與分析

3.1 數據集與仿真環境

本文所使用的數據為中國某省電力公司提供的2016年3月至2018年12月的所有數據。數據由歷史天氣數據和熱負荷數據組成。歷史天氣數據包括實測天氣數據和天氣預報數據。測量的天氣數據每10 min采集一次，而天氣預報數據則按小時采集。天氣數據主要包括溫度、壓力、濕度和風速。熱負荷數據特點如下：在供暖季節，溫度與供暖負荷呈負相關；壓力與熱負荷呈正相關；風速和濕度與熱負荷無顯性相關性。然而，風速和溫度這兩個因素仍然對熱負荷存在一定影響。根據經驗，如果排除這些變量，預測精度會有所下降。

仿真軟件環境為pycharm搭建算法框架，并由Python基于tensorflow搭建LSTM基礎網絡。同時，算法運行硬件環境為酷睿i7 CPU、內存128 GB ARM的聯想服務器，操作系統為Ubuntu 18.04 64位，顯卡為 NVIDIA RTX2080Ti 11G。

3.2 試驗過程

首先，將天氣預報數據整合到歷史數據。接著，對天氣預報數據進行插值，從而使之與關于時間戳的歷史數據相連接。然后，執行噪聲處理、熱負荷平滑處理以及局部重縮放。再次，對數據進行切片以生成數據鏈。最后，將生成的數據鏈代入所提混合模型，從而對未來熱負荷進行預測。試驗時，訓練集和測試集比例為7∶3。

訓練采用隨機梯度下降(stochastic gradient descent，SGD)優化器訓練模型。試驗時，部分參數定義如下：批量大小為16；初始學習率為10-2；學習率衰減率為10-1；學習率衰減周期為10；最大迭代次數為150；每次迭代訓練為100次。

3.3 性能分析

3.3.1 基礎網絡性能對比分析

首先，本小節對比了所提基礎雙層LSTM模型與隨機森林(random forest，RF)、SVM、RNN、LSTM等模型的性能，從而驗證所提模型的優勢。不同模型平均絕對百分比誤差(mean absolute percentage error,MAPE)比較結果如表1所示。

表1 不同模型MAPE比較結果

由表1可知，RF和SVM這些傳統模型在測試數據上產生的MAPE通常比在訓練數據上產生的MAPE高得多。這表明傳統模型存在過度擬合問題。同時，RNN和LSTM等深度學習算法與傳統模型相比性能有所提升，但MAPE仍有提升空間。本文所提雙層LSTM模型性能優勢明顯，訓練集MAPE為3.69%，測試集為4.80%。與RNN和LSTM相比，本文所提模型在測試集中的MAPE分別下降了5.26%和4.09%。

3.3.2 優化策略性能對比分析

對基礎雙層LSTM模型的優化策略為熱負荷平滑處理、局部重縮放以及改進損失函數。不同損失函數下訓練誤差對比結果如圖3所示。

圖3 不同損失函數下訓練誤差對比結果

由圖3可知，所提修正損失訓練的訓練曲線收斂速度更快(約80代達到最優)，且更平滑(收斂后誤差為0.028)。試驗結果驗證了所提修正損失對提升訓練效果具有一定積極作用。

基礎網絡應用不同優化策略后，不同優化策略下MAPE對比結果如表2所示。由表2可知，增加平滑處理以及局部縮放會使得訓練和測試誤差略有下降。本文所提模型在測試集的MAPE為3.08%，性能較未加入優化策略的基礎網絡提升約1.72%。該仿真結果進一步驗證了所提模型對熱負荷預測具有較高的準確性。

3.3.3 預測性能分析

本文所提模型熱負荷預測曲線如圖4所示。

圖4 熱負荷預測曲線

由圖4可知，2018年供暖季節期間預測和測量的供暖負荷之間存在一定誤差，然而整體預測情況與實測結果基本吻合。仿真結果進一步驗證了本文所提模型的實用性。該模型為電力熱負荷智能化服務發展提供了借鑒。

4 結論

本文對電力熱負荷預測進行了研究與分析，建立了一種基于混合模型的電力熱負荷預測模型，可實現基于天氣信息和歷史負荷數據對短期熱負荷的預測。本文研究可總結為：①為有效學習歷史天氣預報和熱負荷數據特征，提出了一個雙層LSTM基礎模型；②為提高基礎模型訓練性能，提出了一種平滑預處理方案；③考慮到原始數據的屬性具有不同的比例和分布，提出了一種局部重縮放策略；④提出了一種修正損失函數，從而提高模型預測精度。

由于本文的研究任務是預測未來24 h的熱負荷，因此只使用天氣預報的數據作為基礎信息。考慮到不同城市供暖需求可能存在顯著差異(不同城市的天氣條件各不相同)，后續可將本文模型作為基礎模型，利用遷移模型實現對其他城市的熱負荷預測。未來工作可對遷移模型進行研究。