融合注意力機制與LSTM 的建筑能耗預測模型研究

邵必林，史洋博，趙 煜

（西安建筑科技大學管理學院，陜西西安 710055）

0 引言

隨著經濟社會的快速發展，建筑規模不斷增大，建筑能耗也逐年增長。國際能源署（International Energy Agency，IEA）發布了《2018-2040 能源效率分析及展望》［1］，指出2017 年建筑能耗占全球能耗的30%左右，而且在未來一段時期內仍會持續增長。建筑能耗預測是實現建筑節能的前提，相對準確、有效、合理的建筑能耗預測模型是節能與控制能耗的基礎。未來建筑能耗呈現較大的不確定性，如何評估和預測建筑能耗，對于電能需求響應、電網實時平衡具有重要作用。

目前，建筑能耗預測方法主要分為工程方法和數據驅動方法。傳統的工程方法主要利用物理學對建筑整體和子組件能源消耗進行計算。Fumo 等［2］應用度日法并結合動態城市氣象模型計算建筑物的能源預算，結果表明其計算準確率優于其他方法；許馨尹等［3］應用EnergyPlus 軟件對西安高層住宅及辦公建筑進行氣候變化下的建筑能耗動態模擬并進行定量分析，發現隨著氣候的變化建筑能耗有所不同；Jahanshahi 等［4］利用EnergyPlus 軟件模擬能耗輸出變量，并結合能耗小時分布情況預測建筑能耗，實例中每小時誤差值在10%以內。但這些工程方法是將精確的建筑自身結構參數和外部環境參數作為仿真工具的輸入數據，數據獲取難度大、成本高。

數據驅動方法主要包括傳統的統計回歸、機器學習以及深度學習等方法。大多數建筑能耗預測方法都是基于時間序列數據分析，常見的時間序列預測模型有自回歸模型（Autoregressive model，AR）和整合移動平均自回歸模型（Autoregressive Integrated Moving Average model，ARIMA）。Lazos 等［5］使用ARIMA 模型對歐洲國家的住宅能耗進行預測，對結果進行分析后發現ARIMA（0，1，1）模型的預測精度最高；Fumo 等［6］建立了線性和多元線性回歸模型對TXAIR 研究所的小時和日能耗數據進行分析，案例結果表明，隨著數據觀測間隔的增加，回歸模型的預測精度也會提升；Amber 等［7］通過6 個環境變量建立多元回歸模型對教學樓用電能耗進行預測，結果表明，環境溫度和建筑類型以及工作日因素對建筑能耗影響顯著。基于時間序列和回歸的預測方法易于使用和開發，但在處理非線性問題時具有局限性以及缺乏靈活性。

為了避免統計回歸方法處理非線性問題的局限性，機器學習方法逐漸被學者廣泛使用。Neto 等［8］通過Energy-Plus 能耗模擬軟件和簡單的人工神經網絡模型進行建筑能耗預測，結果表明人工神經網絡模型比EnergyPlus 軟件的預測精度更高；李嘉玲等［9］對公共建筑用電能耗特性進行了分析，構建BP（back propagation，BP）神經網絡建筑能耗預測模型，確定超參數后的預測模型能夠精準預測公共建筑用電能耗值；早在2004 年，Dong 等［10］就使用支持向量機（Support Vector Machine，SVM）模型對新加坡地區的四座商業建筑進行能耗預測，實驗中SVM 模型的預測結果方差小于3%，誤差小于4%；吳賢國等［11］在BIM 模型中導入能耗分析軟件獲取能耗數據集，在此基礎上通過最小二乘支持向量機進行預測，結果表明最小二乘支持向量機模型的預測結果相較BP 神經網絡更優。盡管機器學習方法在建筑能耗預測中應用廣泛，但當數據樣本過大時支持向量機無法得到很好的預測效果，人工神經網絡會出現過擬合問題。

傳感器和建筑能耗監測系統的普及使得建筑能耗數據大規模增加，這提升了深度學習在建筑能耗預測中的適用性。Marino 等［12］研究了基于長短時神經網絡（Long Short-term Memory Networks，LSTM）的seq2seq 模型，使用UCI 數據集進行試驗，結果表明seq2seq-LSTM 預測模型在不同時間粒度數據集上表現良好；Kim 等［13］利用卷積神經網絡（Convolutional Neural Networks，CNN）層提取多個建筑能耗變量之間的空間特征，LSTM 層對時間序列數據進行建模，所提出的CNN-LSTM 模型可以有效預測建筑能耗數據中的不規則趨勢，相較于其他機器學習方法在不同時間粒度上都顯示出最優性能；李輝等［14］通過粒子群算法對循環神經網絡（Recurrent Neural Network，RNN）參數進行優化，實驗結果表明改良后的PSO（Particle Swarm Optimization，PSO）-RNN 模型在電力負荷預測精度上有明顯提升；Zagrebina 等［15］分析了氣候因素、工作日因素以及預測地區行業的特殊性，建立基于循環神經網絡的能耗預測模型，與應用廣泛的時間序列預測方法進行對比，結果顯示該模型的預測結果更為準確。

盡管循環神經網絡被廣泛應用于能耗預測，但傳統的循環神經網絡方法預測時關注的重點都是輸入序列的選擇，未考慮到不同位置的輸入序列對于預測結果的影響程度。注意力機制（Attention Mechanism）最早應用于機器翻譯，可對神經網絡隱層單元分配不同的權重，使得隱藏層能夠關注更為關鍵的信息，這種思想被許多學者借鑒用于時間序列預測［16］；彭文等［17］通過最大信息系數法分析了電價與當前時刻負荷的相關性，在此基礎上將注意力機制與LSTM 神經網絡相結合建立短期負荷預測模型，實證結果顯示該模型的預測精度和魯棒性要優于SVM 模型；谷麗瓊等［18］將Attention 機制加入到股票預測模型中，結果表明基于Attention 機制的門控制循環單元（Gated Recurrent Unit，GRU）模型在MAPE（Mean Absolute Percentage Error）、均方根誤差（Root Mean Squared error，RMSE）和R2分數評價指標上均優于其他模型；Hollis 等［19］在金融時間序列上將LSTM模型和Attention-LSTM 模型進行對比，在Kaggle two sigma數據集上的實驗結果表明，Attention-LSTM 模型預測結果確實優于LSTM 模型。

相較于傳統工程方法和機器學習方法，循環神經網絡由于其特殊的網絡結構，可以學習到數據長期的依賴關系，在時間序列預測上可以獲得更好的預測結果。但傳統的循環神經網絡方法未考慮不同位置的輸入序列對預測結果的影響程度，無法有側重地對歷史數據進行利用。本文針對傳統的LSTM 神經網絡難以識別重要信息節點的局限性，將Attention 機制加入到LSTM 神經網絡中建立建筑能耗預測模型。首先利用距離相關系數分析環境變量與建筑能耗的相關性，去除無關影響因素；然后在LSTM 神經網絡中加入Attention 機制，使預測模型可以捕捉到關鍵時間節點的重要特征；最后在小時和日能耗數據集上將Attention-LSTM 模型與LSTM 模型以及其他傳統的機器學習方法進行比較，用數據得出結論。

1 相關理論基礎

1.1 LSTM 神經網絡

循環神經網絡是深度學習領域中一類特殊的內部存在自連接的神經網絡，適合處理時序數據。雖然RNN 在處理時間序列關系上表現良好，但標準RNN 結構存在梯度消失或梯度爆炸問題［20］。長短時神經網絡是RNN 的變體，其改進了傳統RNN 的記憶模塊，避免了因為數據持續輸入而無法長期保存有效歷史信息的問題。

LSTM 神經網絡通過引入細胞狀態來存儲需要記憶的信息，特殊的門結構設計可以刪除或添加信息到細胞狀態。門結構是一種可選擇通過信息的方式，LSTM 神經網絡主要由忘記門、輸入門和輸出門組成。忘記門決定模型從細胞狀態中丟棄什么信息；輸入門負責尋找需要更新的細胞狀態，然后將需要更新的信息添加到細胞狀態中；輸出門通過Sigmoid 層來確定哪部分信息將輸出，將細胞狀態通過Tanh 函數進行激活，并與Sigmoid 層輸出部分相乘得到LSTM 神經網絡輸出的部分。

LSTM 結構單元如圖1 所示，其中F，I，C和O分別代表遺忘門、輸入門、細胞狀態和輸出門；Ct表示當前t時刻的細胞狀態，xt代表t時刻的輸入，ht表示當前時刻的輸出，也是下一個細胞狀態的輸入。Ft、It和Ot分別表示遺忘門、輸入門和輸出門的輸出狀態。

Fig.1 LSTM unit internal structure圖1 LSTM 單元內部結構

如式（1）所示，首先，遺忘門F讀取上一時刻輸出ht-1和當前輸入Xt，Sigmod 函數決定哪些信息需要舍棄，實現在細胞狀態中丟棄信息功能。

其次，輸入門I中包含兩個過程，如式（2）～式（4），既要將需要記憶的信息保存到單元狀態，又需要將更新的信息添加到單元狀態中。

最后通過輸出門O來控制輸出多少內部記憶單元Ct的信息到隱藏狀態ht，其計算公式如式（6）所示。

LSTM 神經網絡的前向傳播如式（1）—式（6）所示，計算出神經元的輸出值。反向傳播與傳統的前饋神經網絡類似，采用誤差反向傳播算法。利用輸出層的誤差求解各層權重，通過梯度下降方式完成權重系數的更新。

1.2 注意力機制

盡管LSTM 神經網絡在處理長時間序列問題上效果很好，但在實際過程中長時間序列特征的重要程度存在差異，而LSTM 神經網絡對于長時間序列輸入沒有區分，會忽略某些包含重要信息量的時序節點。Attention 機制是模仿人類視覺處理全局圖像時注意力分布的一種信息處理方式，可以從大量信息中快速篩選出高價值信息。建筑能耗數據會隨著各種影響因素發生變化，時間序列上各個時間節點上的特征對于預測值的影響程度也不同，與預測節點隱層狀態相似的能耗特征信息對預測節點的影響程度更為顯著。因此將Attention 機制加入LSTM 能耗預測模型中，能有效突出不同時間節點能耗特征的影響程度，從而改善預測效果。

在時間序列中，注意力機制對LSTM 神經網絡輸出的隱層向量進行加權求和計算，其中權重的大小表示每個時間點上的特征重要程度。注意力機制如圖2 所示，圖中H1，H2，，…，Hk表示輸入序列的隱藏層狀態值，q為最后一個隱藏層輸出Hk，通過相似性函數Score（Hi，Hk）獲取最后一個隱藏層輸出Hk與其他每個時間點隱藏層輸出Hi的相似度得分ei。相似性函數Score（Hi，Hk）如式（7）所示，采用點積的方式計算。通過式（8）SoftMax 函數可以得到每個時間點的注意力權值ɑi，計算出注意力機制權重ɑi與隱藏層狀態乘積便可得到Attention 層的輸出向量C。

Fig.2 Schematic diagram of attention mechanism圖2 Attention 機制

2 基于Attention-LSTM 的建筑能耗預測模型

2.1 數據預處理

（1）數據清洗。樣本數據的質量和數量會對預測模型效果產生很大影響。由于建筑能耗數據采集過程受到不同人為因素和客觀因素影響，數據集會出現缺失值和噪聲點，因此需要對數據進行清洗。3sigma 方法是常見的異常數據監測方法之一，如式（10）所示。如果一組數據中某值與平均值的偏差大于3 倍的標準差，那么該值就被認為是異常值。

對于識別出來的異常值和缺失值，在時數據集和日數據集上進行插值處理。

（2）數據歸一化。在完成樣本數據清洗和特征選擇后，還需要對其進行歸一化處理。因為樣本特征數據之間的類型和量綱不同，絕對值相差很大，會導致某些值域范圍較小的特征被忽視，同時數據進行歸一化后可以提升模型的收斂速度和模型精度。本研究采用線性函數歸一化方法，將原始數據置換到［0，1］范圍，歸一化公式如下：

式（11）中，Xnorm為歸一化后的數據，X為原始數據，Xmɑx，Xmin分別為原始數據集的最大值和最小值，預測后得到的結果要進行反歸一化，以得到真實的預測值。

2.2 環境變量選取

初始的環境變量包括最高溫度、最低溫度、露點、云量、風速、壓力、濕度、紫外線指數和可見度等。由于這些變量存在無用或者冗余特征，因此要去除這些冗余特征以降低輸入向量維數，優化學習樣本，從而提高訓練效率。常用的相關性系數有Pearson 和Spearman 相關系數，但Pearson 相關系數只能度量兩個變量間的線性相關關系，且必須服從正態分布的假設。Spearman 相關系數盡管沒有Pearson 系數對數據敏感，但其檢驗效果較差。本研究通過距離相關系數［21］來衡量環境變量和建筑能耗的相關性，避免了傳統相關系數只適用于線性相關的問題。如式（12）中距離相關系數R(X,Y)是通過樣本協方差V(X,Y)和樣本方差V(X)，V(Y)計算得來的，R(X,Y)=0時說明X和Y相互獨立，R(X,Y)越大說明X和Y的距離相關性越強。

式（12）中，{(Xk,Yk:K=1,2,...)}是隨機向量(X,Y)的觀測樣本。

式（13）中，k，l=1，2，…，n，計算出X、Y 向量的ɑkl、Akl、bkl、Bkl，通過式（14）計算出樣本協方差V(X,Y)。

環境變量與建筑能耗距離相關系數的計算結果如表1所示，剔除距離系數小于0.30 的環境特征，保留最高溫度、最低溫度、露點、紫外線指數和濕度5 個環境特征。

Table 1 Distance correlation coefficient of environment variables表1 環境變量距離相關系數

2.3 模型構建

Attention-LSTM 模型結構如圖3 所示。

Fig.3 Attention-LSTM model structure圖3 Attention-LSTM 模型結構

首先獲取建筑能耗歷史數據，對數據進行清洗，通過距離相關系數進行特征選擇，之后進行數據歸一化。在輸入層中，根據距離相關系數得到5 個環境變量以及上一時間點的能耗值作為輸入特征，進行歸一化后的輸入數據維度為［B，T，D］，B 為輸入批次大小，T 為時間步長，D 為輸入的特征維數。用于訓練的樣本可以表述為：

模型由LSTM 神經網絡和注意力機制兩部分構建。數據預處理后將訓練數據Xt 輸入模型，通過LSTM 單元得到隱層狀態Ht。注意力機制計算出LSTM 不同時間點隱含層向量與最后時間點隱含層向量的相似性得分，通過SoftMax函數得到不同時間點對應的權重ɑn。最后對LSTM 不同時間點的隱含層輸出向量與對應的權重相乘并求和，通過全連接層得到最終的預測結果。

2.4 評價指標

為了評估本文預測模型的效果和精準度，采用平均絕對誤差MAE、均方誤差MSE、均方根誤差RMSE 作為預測模型的評價指標。MAE 可以避免正負誤差相互抵消的問題，體現預測值與真實值的差值；MSE 是預測值與真實值之差的平方和的均值，可以評價數據的變化程度；而RMSE是預測值與真實值偏差的平方與觀測次數n比值的平方根，能夠很好地反映出預測精度。

式中，為i時刻的預測值，yi為i時刻的真實值，n為測試樣本數量。

3 算例分析

實驗在同一個計算平臺上進行仿真，模型使用深度學習框架Tensorflow構建，機器學習預測模型使用python skit-learn 進行建模和仿真。

3.1 數據來源

使用Kaggle 網站上公開的建筑能耗數據集［22］，包含部分倫敦住宅用戶2011年11月—2014年12月的能耗數據，數據集時間粒度為小時，同時從Darksky 獲取天氣數據便于進行環境變量分析。圖4和圖5分別為小時能耗和日能耗的密度分布，實驗數據前80%作為訓練集，后20%作為測試集，在時粒度和日粒度分別進行模型預測，在小時數據集上利用過去48h 數據預測下一刻時間點的能耗數據，在日數據集上利用過去7天數據預測未來一天的能耗數據。

Fig.4 Data distribution of hourly building energy consumption圖4 建筑小時能耗數據分布

Fig.5 Data distribution of building daily energy consumption圖5 建筑日能耗數據分布

3.2 比較方法

將本文模型與常見的建筑能耗預測機器學習模型進行比較：多元線性回歸模型（Multivariable Linear Regression model，MLR）、決策樹回歸模型（Decision Tree Regression，DTR）、神經網絡模型（Artificial Neural Network，ANN）、支持向量回歸模型（Support Vector Regression，SVR）。4 種模型參數設置見表2。

Table 2 Parameter settings of traditional machine learning model表2 傳統機器學習模型參數設置

3.3 基礎模型超參數選擇

本研究采用Adam 神經網絡優化算法，為防止深度神經網絡訓練過程中出現過擬合現象，采用Dropout 進行正則化，將MSE 函數作為損失函數。在構建深度學習模型時，超參數對于模型的訓練效果至關重要。網格搜索算法是通過指定參數值對其進行窮舉搜索從而選取最優參數組合。在LSTM 和GRU 模型參數訓練過程中，需要確定的超參數主要包括批次大小、隱藏層節點個數和學習率。表3和表4 列出了日數據集上GRU 神經網絡和LSTM 神經網絡前5 組最優化參數組合，同理在時數據上也進行了調參。

Table 3 Optimal parameter combinations of GRU model表3 GRU 模型的最優參數組合

Table 4 Optimal parameter combinations of LSTM model表4 LSTM 模型的最優參數組合

3.4 實驗結果分析

首先對LSTM 和GRU 模型和加入Attention 機制后的模型進行對比，預測結果如圖6 所示。圖中選取了時能耗數據50 個測試樣本結果進行繪制，可以觀察到4 種深度學習模型存在滯后性，但總體波動趨勢與實際值基本保持一致。相較于基礎模型，加入Attention 機制后的深度學習模型擬合程度更好，尤其是在能耗變化較大的峰值部分，能更為準確反映能耗變化規律。

Fig.6 Comparison of deep learning model prediction of energy consumption data set圖6 時能耗數據集深度學習模型預測對比

從表5 可以看出，加入Attention 機制后GRU 模型的MAE、MSE、RMSE 相較之前誤差分別下降了7.47%、10.17%、7.10%，LSTM 模型的MAE、MSE 和RMSE 分別下降了7.09%、10.25%和3.68%，這表明加入Attention 機制后無論是GRU 模型還是LSTM 模型的預測結果明顯得到提升。未加入Attention 機制時，預測模型對不同時間步長的編碼向量均賦予相同的權重，未能注意到含有更多重要信息的時間點。而加入Attention 機制后，由于重要時間節點的權重增加，使含有重要特征的時間點的預測誤差減小。從表中可以看出Attention-LSTM 模型的結果要優于Attention-GRU 模型，因此將Attention-LSTM 方法作為本研究的建筑能耗預測模型。

Table 5 Test results of energy consumption data set表5 時能耗數據集測試結果

為了更直觀描述注意力權值變化，選取Attention-LSTM 模型3 個不同的測試樣本權值分配情況如圖7 所示。由圖7 可知，LSTM 模型加入Attention 機制后時間節點權重發生了改變，成功地分配了注意力。從圖7 可以看出3個不同時間點的測試數據賦予權重相對較大的是預測點前24h 左右和距離預測點較近的時間步長，其他時間步長上的注意力權重并沒有單調變化，而是在局部范圍內波動。不同測試數據的時間步長權重分布存在較大差異，這表明不同測試數據注意力機制分配的權重不同，與樣本預測節點隱層特征更為相似的時間節點被賦予了更高的權重，因此加入Attention 機制后的神經網絡模型能夠相對準確地捕捉到歷史時間序列上包含更多重要信息的時間節點。

Fig.7 Distribution of attention weight of energy consumption data圖7 時能耗數據注意力權值分配情況

為了驗證Attention-LSTM 模型的有效性，與傳統機器學習模型進行對比，評價指標結果如表6 所示。從表6 可以看出，在大規模數據集上Attention-LSTM 模型效果明顯優于其他傳統機器學習模型，相較于較優的DTR 模型，Attention 模型的MAE、MSE、RMSE下降了9.4%、30.0%、5.17%。傳統的機器學習模型和Attention-LSTM 的預測相對誤差曲線對比如圖8 所示。從圖8 可以看出，傳統的機器學習方法盡管可以描述全局特征趨勢，但描述局部特征的能力很差，而Attention-LSTM 模型預測相對誤差基本處于最小值，可以很好地描述能耗曲線中的局部特征，具有相對良好的精度和魯棒性。

Table 6 Comparison of prediction error indexes of traditional machine learning model in energy consumption data表6 時能耗數據傳統機器學習模型預測誤差指標對比

Fig.8 Comparison of prediction errors of energy consumption data of each model圖8 時能耗數據各模型預測誤差對比

在日能耗數據上進行實驗得到各模型預測性能評價指標值如表7 所示。從表7 可以看出，在數據規模較小的日能耗數據上，單一LSTM 和GRU 的效果與傳統的機器學習方法相差不大。但是加入Attention 機制后的LSTM 模型MAE、MSE，RMSE 評價指標要優于其他模型，這表明Attention-LSTM 模型在樣本數據相對較少的情況下也具有良好效果。

Table 7 Comparison of effect of daily energy consumption of data model表7 日能耗數據模型效果對比

4 結語

建筑能耗預測對于建筑節能在線控制優化以及電能市場化交易具有重要意義。本研究利用距離相關系數進行環境特征選取，通過網格搜索確定LSTM 神經網絡初始參數，通過Attention 機制改善LSTM 神經網絡進行多變量建筑能耗預測，并與LSTM、GRU 模型以及傳統的機器學習模型進行比較。實證結果顯示，在時粒度和日粒度數據集上，Attention-LSTM 模型預測效果都優于常規的LSTM、GRU 和傳統機器學習模型，表明通過加入Attention 機制后的LSTM 神經網絡可以更好捕捉歷史時間序列上包含更多重要信息的時間節點，避免傳統循環神經網絡無法識別重要信息節點的局限性，更好地反映建筑能耗的變化趨勢。

本研究也有一定的缺陷和不足。超參數對于神經網絡的訓練效果至關重要，本研究主要采用網格搜索算法，后續應考慮利用智能優化算法如粒子群算法、遺傳算法來搜索LSTM 和Attention-LSTM 的超參數，減少參數搜索時間，提升建筑能耗模型的預測效率及準確性。