小數據場景下基于遷移學習與BiLSTM的建筑能耗預測方法

田晨璐 劉業春 楊愛新 韓春雪 王璠 梁麗華

摘? 要： 針對由新建建筑或建筑節能改造能耗數據不足引起的深度學習網絡預測精度低的問題，提出一種基于遷移學習與BiLSTM（雙向長短期記憶網絡）的新建建筑能耗預測方法。首先采用MMD（最大均值差異）對源域建筑與目標域建筑的歷史數據進行相似度分析；然后利用相似建筑的歷史數據對BiLSTM進行預訓練；最后微調BiLSTM對目標域建筑進行預測。使用真實的建筑能耗數據進行實驗，結果表明，與其他預測模型相比，所提出方法顯著提高了能耗預測精度。

關鍵詞： 建筑能耗預測； 遷移學習； 相似度分析； 深度學習； BiLSTM

中圖分類號：TU111.195? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-62-05

Abstract： Aiming at the problem of low prediction accuracy of deep learning network caused by insufficient energy consumption data of new buildings or building energy conservation renovation， in this paper， a new building energy consumption prediction method based on transfer learning and BiLSTM （bi-directional long short-term memory network） is proposed. Firstly， MMD （maximum mean difference） is used to analyze the similarity between the historical data of buildings in the source domain and the target domain. Secondly， the BiLSTM is pre-trained using the historical data of similar buildings. Finally， BiLSTM is fine-tuned to predict the buildings in the target domain. Experiments with real building energy consumption data show that the proposed method significantly improves the prediction accuracy of energy consumption compared with other prediction models.

Key words： building energy consumption prediction; transfer learning; similarity analysis; deep learning; BiLSTM

0 引言

建筑用能占全球用能的40%以上[1，2]，也是主要的碳排放來源。建筑物節能管控是實現國家“碳達峰、碳中和”戰略的主要措施之一，而建筑用能預測建筑節能管控中發揮著關鍵的作用。精準的能耗預測對于保證節能措施有效性、降低建筑運維費用等具有重要的意義[3]。為了實現精準的能耗預測，相關研究人員提出了多種基于深度學習的預測方法，例如Jing[4]等人通過灰狼優化算法（GWO）對BP神經網絡的權值等參數進行優化來得到更優的BP神經網絡，從而對辦公建筑的能耗進行了更加精準的預測。Zhang[5]設計了一種以LSTM（長短期記憶網絡）為生成器、卷積式神經網絡的判斷器，對建筑能耗的歷史數據進行多步預測，從而達到降低預測誤差的目的。Yu[6]等人采用樹種算法（TSA）優化的徑向基函數（RBF）與LSTM分別對建筑物能耗數據的低頻分量和高頻分量進行預測，從而達到較高的預測結果。Dou[7]等人針對建筑能耗中單一預測模型預測精度低的問題，提出了多種預測模型相結合的方法。但是這些方法的有效性依賴于充足、高質量的歷史能耗數據，在新建建筑、建筑節能改造等小數據場景下，可用建筑能耗數據較少，上述模型準確率難以保證。

據研究發現，遷移學習[8]在處理小樣本數據預測方面有顯著優勢，已在發電預測、能耗預測、空氣質量預測等領域有了初步的應用。例如文獻[9]針對發電風電場數據不穩定、訓練時間長等問題，提出一種DNN-MRT（深度學習的元回歸器）與遷移學習相結合的方法對風電場的功率進行準確預測。文獻[10]提出聚類特征提取與遷移學習相結合的方法，來解決由于用戶耗能的強隨機性、強波動性造成的預測精度地的問題。文獻[11]為了解決由于水力發電數據頻發導致發電預測精度的問題，提出一種基于樣本數據遷移學習下的CNN（卷積神經網絡）與LSTM（長短期記憶網絡）混合卷積時空網絡。文獻[12]采用ELM（極限學習機）與DQR（直接分位數回歸）結合遷移學習的思想，提出一種區間預測的太陽能發電訓練那模型。文獻[13]采用BiLSTM與遷移學習結合的方法，將現有的空氣監測站的知識遷移到新建空氣監測站中，以解決預測精度低的問題。文獻[14]采用遷移學習與BiRNN相結合的方法，將ICE/HEV的知識通過BiRNN載具模型遷移學習到EV上，進而解決由于EV充電數據少帶來的預測精度低的問題。

為了解決小數據場景下基于深度學習的建筑能耗預測精度低的問題，本文提出了一種基于遷移學習與BiLSTM 的建筑能耗預測方法。該方法利用相似建筑豐富的能耗數據對BiLSTM模型進行預訓練，再利用目標建筑數據集微調模型參數，最終達到提升預測精度的目的。為驗證所提方法的有效性，本文基于SVR（支持向量機）、ELM（極限學習機）、LSTM（長短期記憶網絡）、BiLSTM（雙向長短期記憶網絡）多種模型，建立了建筑用能預測對比方法，并應用到真實的建筑能耗預測中，采用R（皮爾相關系數）、SMAPE（對稱平均絕對百分比誤差）、RMSE（均方根誤差）、MAE（平均絕對誤差）四個評價指標進行精確度分析與驗證。

1 方法介紹

1.1 遷移學習與Fine-tuning（微調）

遷移學習根據學習方式，可分成以下四類[15]：基于樣本、基于特征、基于模型以及基于關系的遷移學習。本文采用基于模型的遷移的方式，基于模型遷移最常見的方法為Fine-tuning（微調），Finetuning體現在源域預測模型到目標域預測模型的調整上。源域數據內包含充足的數據樣本，目標域數據內包含少量的數據樣本。源域數據集在模型 A的基礎上進行預訓練，完成訓練任務A；而后經過Fine-tuning后得到模型B，新的模型 B再針對目標域進行訓練，完成訓練任務B。Fine-tuning的優勢點在于：經過源域充足數據量訓練后的模型，廣義上相當于擴充了目標域的數據量，使得目標域預測模型仍有較好的擬合能力，基于模型的遷移示意如圖1所示。

1.2 最大平均差異MMD

遷移學習的核心為：分析源領域與目標領域的相似性[15]；當源域與目標域之間相似性較低時，遷移之后會產生負面情況的情況，因此有必要對源域、目標域數據進行相似度分析。本文采用最大平均差異MMD作為相似度分析算法。MMD通常被用于測量兩個分布間的差異，MMD是通過將兩分布映射同一空間內，進而計算兩分布的距離。MMD的核心特性就是再生核希爾伯特空間（RKHS），即RKHS具備再生性，標準公式如下：

綜上本文采用MMD，可以作為分析源域、目標域的相似度算法。MMD最終求得的為量分布之間的距離，因此MMD結果越小，相似度越高；反之亦然。

1.3 雙向長短期記憶網絡BiLSTM

LSTM是為了解決循環神經網絡（RNN）形成的梯度爆炸問題。LSTM結構主要包括：輸入門，遺忘門，輸出門，內部記憶單元。其中，遺忘門根據特定的機會監控有無遺忘上一級的隱藏細胞狀況；而輸入門則一般負責管理對當前序列情況的輸入；內部記憶模塊一般由兩部分形成：前一細胞狀態與當前遺忘門輸出的乘積、輸入門的乘積；輸出門一般由兩部分形成：前一序列狀態和當前順序的隱含態與sigmoid激活函數、隱含態與tanh激活函數。

其中[ft、it、Ct、ht]分別代表遺忘門、輸入門、內部記憶單元、輸出門；[Wf、Wi、Wo、Uf、Ui、Uo、bf、bi、bo]表示線性關系的系數與偏移，[σ]為sigmoid激活函數、[⊙]為Hadamard積。BiLSTM在LSTM的基礎上，通過兩個單獨的隱藏層對序列信息進行了正向和反向處理，把兩個連接結合在同一個輸出層，將節點之前的信息和節點之后的信息作為時間序列數據的當前時間基礎。BiLSTM的優勢在于能夠結合前向數據與后向數據的共同知識，從而獲取更為精確的模型知識。

2 數據集與實驗設置

2.1 數據集

從https：//trynthink.github.io/buildingsdatasets下載源域建筑能耗數據，數據包含美國100個匿名商業和工業站點2012年到2013年的能耗數據，每五分鐘采集一次建筑能耗。從其中選擇部分商業建筑、工業建筑作為實驗數據集，并分別建立商業建筑、工業建筑的遷移學習實驗。

2.2 參數設置

⑴ 相似度分析設置

相似度分析算法采用MMD，為了減少計算成本，降低運算時間，設計隨機抽取器對源域建筑能耗數據進行抽取，抽取的步長由目標域新建建筑能耗數據的數量長度決定，初設定抽取三次，將每次抽取的源域子集與目標域進行MMD運算，最后取3次MMD均值作為相似度結果輸出。

⑵ 方法設置

針對所提出的方法中BiLSTM的參數設置如下：BiLSTM的層數為十一層，其中包含一個序列的輸入層用于調整不同輸入數據的大小，四個BiLSTM層，四個Dropout層，一個全連接層以及一個回歸層。各個層級BiLSTM有四十八個隱藏單元，同時在各個層級BiLSTM后面接一層丟失率為0.5的Dropout層，以防止模型訓練過擬合；針對源于數據進行訓練時，采用凍結后兩層BiLSTM，預訓練后解凍后兩層BiLSTM，同時更新全連接層。進一步來說，參加源域數據訓練的有兩層BiLSTM，而后經過微調后有四層BiLSTM參與目標域數據預測。

⑶ 評價指標

采用四個指標來度量模型預測精度，分別為平均絕對誤差（MAE）、均方根誤差（RMSE）、 對稱平均絕對百分比誤差（SMAPE）、皮爾遜相關系數（R），其中MAE、RMSE、SMAPE越低，表明預測精度越高，R越高，表明預測精度越高。標準公式如下：

2.3 微調策略

微調策略采用凍結部分BiLSTM預測模型的BiLSTM層，讓其針對源域數據進行模型預測，經過一定訓練Epoch后，驗證源域擬合效果。而后對BiLSTM模型已凍結層數進行解凍處理，同時設計新的全連接層與解凍后的BiLSTM進行拼接，進而得到新的BiLSTM，新的BiLSTM既包含源域預訓練BiLSTM層，又包含解凍后無權重的BiLSTM層，微調策略示意圖如圖2所示。

3 實驗結果與討論

3.1 相似度分析

根據設計相似度分析算法，分別選取六個商業建筑、六個工業建筑作為備選源域數據，再分別選取另外一商業建筑、工業建筑的一個月的能耗數據作為目標域數據，來模擬出新建建筑的場景。由圖3可得商業建筑備用源域數據中源域5的MMD結果最小，即源域5與目標域最為相似；工業建筑備用源域中源域3的MMD結果最小，即源域3與目標域最為相似。因此商業建筑備用源域選擇源域5作為最終源域訓練數據，工業建筑備用源域選擇源域3作為最終源域訓練數據。

3.2 模型對比及評價指標

表1、表2分別展示了商業建筑、工業建筑BiLSTM-TF以及對比模型的各個評價指標，由表可知所提方法在四個評價指標方面都有較優越的表現。在商業建筑預測模型中R指標至少提高了1.3%，SMAPE指標至少降低了34.45%，MAE指標至少降低了41.23%，RMSE至少降低了27.89%；在工業建筑預測模型中，R指標至少提高了0.6%，SMAPE指標至少降低了22.42%，MAE指標至少降低了12.21%，RMSE至少降低了11.36%。而且對比LSTM與BiLSTM模型預測指標發現，BiLSTM模型的預測性能較為優越，這表明BiLSTM通過結合雙向傳播的信息，達到了更精確的預測精度；再對比BiLSTM與BiLSTM-TF模型預測指標發現，BiLSTM-TF四個指標均有一定的優化，這表明遷移學習在預測中起到了積極的作用。

4 結束語

豐富的歷史能耗數據是實現高預測精度的必要前提，面對新建建筑或建筑節能改造能耗數據不足的問題，本文提出一種基于遷移學習與BiLSTM的新建建筑能耗預測方法。采用對相似源域建筑進行模型預訓練，而后經過微調，再對目標域建筑進行預測，該方法廣義上擴充了目標域建筑的能耗數據量。為了驗證所提方法的優越性，在美國真實的商業建筑、工業建筑上建立對比實驗，實驗結果表明，該方法至少優化了22.42%。

在未來的工作中，我們希望通過消融實驗，確定BiLSTM模型結構以及微調策略的最優解，并在現有目標域建筑能耗數據量的基礎上，建立周期性遷移預測模型，進一步討論所提方法的優越性。

參考文獻（References）：

[1] Gao Yuan， Ruan Yingjun， Fang Chengkuan， Yin Shuai.?Deep learning and transfer learning models of energy consumption forecasting for a building with poor information data. Energy and Buildings，2020，223：110156

[2] Zhang Yan， He Chen-Qi， Tang Bao-Jun， Wei Yi-Ming. China's energy consumption in the building sector： A life cycle approach， Energy and Buildings，2015，94：240-251

[3] Zhang Jinping， Deng Xiaoping， Li Chengdong， Su Guanqun， Yu Yulong. Cloud-edge collaboration based transferring prediction of building energy consumptio.Journal of Intelligent & Fuzzy Systems，2021，41：7563-7575

[4] 井文強，關宏潔，羅薇等.基于改進GWO-BP的辦公建筑能耗預測模型[J].建筑節能（中英文），2022，50（8）：125-129

[5] 張卓淵.一種基于生成對抗網絡的建筑能耗多步預測方法[J].電腦知識與技術，2022，18（23）：92-94

[6] 于軍琪，楊思遠，趙安軍，等.基于神經網絡的建筑能耗混合預測模型[J].浙江大學學報（工學版），2022，56（6）：1220-1231

[7] 竇嘉銘，馬鴻雁.基于多神經網絡組合的建筑能耗預測研究[J].計算機仿真，2022，39（5）：438-443

[8] Karl Weiss， Taghi M. Khoshgoftaar， DingDing Wang. A survey of transfer learning， J Big Data （2016）3：9，https：//doi.org/10.1186/s40537-016-0043-6

[9] Qureshi AqsaSaeed， Khan Asifullah， Zameer Aneela，Usman Anila . Wind power prediction using deep neural network based meta regression and transfer learning， Applied Soft Computing Journal，2017，58

[10] 孫曉燕，李家釗，曾博，等.基于特征遷移學習的綜合能源系統小樣本日前電力負荷預測[J].控制理論與應用，2021，38（1）：63-72

[11] 魏澤濤，劉友波，沈曉東，等.基于樣本數據遷移學習的貧資料地區小水電超短期出力建模及發電預測[J].中國電機工程學報，2022（11）：1-17

[12] Runhao Geng， Huan Long，Wei Gu， Small-Sample Interval Prediction Model based on Transfer Learning for Solar Power Prediction，2022 IEEE 5th International Electrical and Energy Conference （CIEEC），2022：4739-4743

[13] Ma Jun， Li Zheng， Cheng Jack C.P.， Ding Yuexiong， Lin Changqing， Xu Zherui. Air quality prediction at new stations using spatially transferred bi-directional long short-term memory network， Science of the Total Environment，2020，705：135771

[14] Yining Hua， Michele Sevegnani， Dewei Yi， Andrew Birnie， Steve McAslan. Fine-Grained RNN With Transfer Learning for Energy Consumption Estimation on EVs， IEEE Transactions on Industrial Informatics， 2022，18：8182-8190

[15] Zhuang Fuzhen， Qi Zhiyuan， Duan Keyu， Xi Dongbo， Zhu Yongchun， Zhu Hengshu，? Xiong Hui， He Qing. A Comprehensive Survey on Transfer Learning， Proceedings of the IEEE，2021，109：43-76

*基金項目：國家自然科學基金資助項目（61903226，52007109）； 山東建筑大學校內博士基金（X22015Z）

作者簡介：田晨璐（1991-），女，山東濟南人，博士，講師，主要研究方向：建筑能耗預測。

通訊作者：梁麗華（1991-），女，山東濟南人，碩士，實驗師，主要研究方向：智能建筑檢測技術。