結合注意力機制與BIM特征的電力能耗預測

田英杰 郭乃網 徐東輝 龐 悅 周向東 施伯樂

1(國網上海市電力公司電力科學研究院 上海 200437)2(復旦大學計算機科學技術學院 上海 200433)

0 引 言

隨著中國經濟的飛速發展和城市化的快速推進，社會對電力能源的需求日益增加[1]。為保障能源利用可持續發展，提高發電和配電效率，減少資源浪費，我國電網系統正向智能化電網發展[2-3]。智能化電網要求電力系統能夠根據用戶需求動態調整發電與分配方案。因此，準確預測未來電力能耗需求對智能電網的推動起至關重要的作用。

電力能耗預測屬于時間序列預測問題，其主要預測方法是通過回歸機器學習模型。無論是對基于統計學的傳統模型還是深度神經網絡，模型的輸入特征對預測結果都有著決定性作用。勞倫斯伯克利國家實驗室(LBNL)的研究[4]顯示，引入與目標序列相關聯的外因序列進行輔助預測將有效提升預測精度。但是在現實應用中，由于獲取與耗電單位直接相關或顯著相關的外界因素數據成本高、難度大，且同一時間戳往往記錄了多種不同類型的時間序列數據，通過人工挑選和目標序列強相關的外界序列效率低、拓展性差，而直接將多序列作為特征輸入則為目標序列引入噪聲，使預測精度下降，導致多數用電能耗預測僅通過用電序列自身作為特征，根據目標序列自回歸性做出預測，精度有限。因此，倘若模型能從相對容易獲取的外界序列中自動挖掘序列間關系并用以輔助預測，將有助于提升目標序列預測精度。如圖1所示，兩條序列分別為某大型醫院醫療設備I號與醫療設備II號，盡管兩條序列在背景知識下無直接關聯，但兩條序列在部分區段存在明顯的遲滯相關性。倘若模型可以對此加以識別并利用其相關性，將有助于提升預測精度。

圖1 序列間存在隱含相關性

注意力機制(Attention Mechanism)[5]在深度學習中有著重要地位。在多序列預測問題中，通過注意力機制可以根據序列間相關性為目標序列自動選取相關性強的外因序列。因此準確刻畫序列間相關性將決定注意力機制是否能正確對多序列選取。然而僅通過不同序列各自的數值信息無法描述各序列的真實背景，語義模糊，進而使注意力機制難以發揮作用。

建筑信息模型(Building Information Model，BIM)是建筑領域一種新興的建筑設計技術[6]。BIM超越了傳統的二維CAD技術，將信息的表達方式由二維轉換為三維，記錄了整個建筑從項目方案到建筑設計、施工的所有數據信息與特征。圖2為BIM技術建模示例。BIM具有高度的集成性，貫穿在建筑項目的整個生命周期內為設施的所有決策提供可靠依據，支持不同利益相關方協同工作。由于BIM模型中包含豐富的數據特征，通過用電單位的BIM特征將完善用電單位對應時間序列的語義信息，使得不同時間序列間的數字化、離散化描述更加清晰、準確。

圖2 BIM三維建模示例

針對以上問題和設想，本文提出BIMAttenNN模型，結合注意力機制與BIM特征的深度神經網絡模型對多外因能耗序列進行預測，該模型具備自動選取外因序列能力。結合真實多序列電力能耗數據進行預測，實驗表明BIMAttenNN模型提升了預測精度。

1 相關工作

電力能耗預測是時間序列預測問題。時間序列預測多年來一直是專家學者研究的熱門領域。在眾多預測模型中，最經典的是由Whittle[7]在1951年提出的自回歸移動平均模型[8](Autoregressive moving average model，ARMA)及其變種自回歸差分移動平均模型(Autoregressive Integrated Moving Average model，ARIMA)等基于統計學的傳統模型。但是此類模型只能由時間序列的線性自回歸做出預測，并且無法對多序列建模。循環神經網絡(Recurrent Nerual Network，RNN)作為神經網絡中序列模型的代表，由于其強大的非線性建模能力與靈活的建模方式[9]，越來越受到人們的關注。Gao等[10]使用RNN模型對多序列問題建模，該模型可以自適應地學習復雜序列間的關系。而傳統的RNN存在梯度消失的問題[11]，為改善此問題，諸多帶門控的RNN被提出，如Hochreiter等[12]提出的長短記憶網絡(Long Short-term Memory Units，LSTM)和Cho等[13]提出的門控循環網絡(Gated Recurrent Units，GRU)。此后研究多在LSTM或GRU的基礎上建立。Gensler等[14]利用自編碼器對時間序列進行特征抽取并結合LSTM進行預測。Yan等[15]利用卷積神經網絡(CNN)和LSTM搭配的結構對電力能耗進行時間序列預測，用CNN選取特征，LSTM進行數值預測。Li[16]將編碼-解碼網絡用于風能時間序列預測任務中，證明了編碼-解碼網絡在時間序列預測問題中的價值。

注意力機制具備學習權重的能力，Bahdanau等[17]使用帶注意力機制的編碼-解碼網絡，令機器翻譯效果獲得大幅提升。Vaswani等[5]根據注意力機制強大的權重學習能力提出了Transfomer模型，在機器翻譯領域大獲成功。Song等[18]將Transformer結構應用于時間序列預測領域，驗證了注意力機制和Trasfomer模型的價值。Qin等[19]提出了兩步注意力模型，除了將注意力機制用在時間步選取外，還用于外因選擇中，大幅提升目標序列預測精度。注意力機制的有效性為多序列學習任務提供了有效指導。

BIM對電力能耗的預測國內外已有一定研究。張先鋒[1]通過BIM技術對建筑模型進行參數化，并通過小波神經網絡對電力負荷預測，驗證了BIM對能耗預測的可行性。Kim[20]將BIM特征與決策樹結合，搭建了預測建筑能耗支出的模型。Alshibani等[21]利用BIM特征和多層感知機構建了電力支出預測模型。上述研究均直接建模了BIM與電力總能耗的關系，未利用BIM對耗電單位語義描述豐富的特點，因此本文結合注意力模型并使用BIM特征更加清晰地定義序列間相似度，進而提升預測精度。

2 模型設計

2.1 符號與問題定義

給定n個目標序列以外長度為T的耗電單位時間序列X(簡稱外因序列)以及長度同樣為T的目標序列Y和總計n+1個耗電單位的BIM特征Z：

X=(x1,x2,…,xn)′=(x1,x2,…,xT)∈Rn×T

(1)

Y=yT=(y1,y2,…,yT)∈RT

(2)

Z=(z1,z2,…,zn+1)∈R(n+1)×q

(3)

V=(v1,v2,…,vn+1)=(x1,x2,…,xn,y)∈R(n+1)×T

(4)

本文研究的問題為：給定全電力時間序列V的歷史T個值和BIM特征Z，如何準確預測目標序列Y的下一時刻值yT+1：

(5)

式中：映射F(·)即為模型學習目標。

2.2 BIM特征選用

BIM特征建立在工業基礎類(Industry Foundation Class，IFC)數據結構上，IFC結構定義復雜，容納信息量龐大，通過建立類對象實例來描述具體的建筑信息[6]。IFC中的類根據集成關系分為資源層、核心層、共享層、領域層四個層次，每個層次中都使用EXPRESS語言建立了對應的類來描述對象。在IFC文件中將類實例化為對象來存儲建筑信息。IFC層次結構如圖3所示。

圖3 IFC類層次結構

合理選用BIM特征對模型建立有重要意義。BIM特征可以分為IFC類結構信息與建筑描述信息。其中IFC類結構信息主要描述了IFC類之間的繼承關系與類結構屬性等；建筑描述信息則是面向BIM開發人員的建筑、建造單位的顯式建造特征。由于顯式特征的直接相關性，本文使用BIM特征中顯式的建筑描述信息進行建模。以本文使用的數據集為例，選用的BIM特征描述見表1。

表1 BIM特征詳情

其中，數值型特征將直接作為特征使用，類別特征使用獨熱編碼[22]方式轉化為向量形式，多個向量化的類別特征、實數特征拼接構成第k個序列的BIM特征向量zk，即zk=[b1，b2,…,b41,s]′，b1,b2,…,b41∈{0,1},s∈Z。不同數據集可以用同樣的方法構造BIM特征向量。

2.3 模型建立

Qin等[19]在股價預測問題中使用兩步注意力機制的結構，并驗證了注意力機制對外因序列的選擇作用。受此啟發，本文采用兩步注意力機制與編碼器-解碼器結構進行預測。此外，Lai等[23]指出，神經網絡對時間序列建模可能會缺乏對時間序列的線性自回歸部分建模。因此本文在模型中添加線性自回歸預測分支以確保模型對線性映射部分的學習能力。模型由BIM-Attention編碼器、解碼器和自回歸部分組成。整體結構如圖4所示。

圖4 模型整體結構

2.3.1 BIM-Attention編碼器

在機器翻譯領域，編碼器本質上是對輸入序列進行特征抽取，在每個時間步生成對應輸入的編碼向量。在本文研究的多變量時間序列問題中，因各外因序列與目標序列相關程度不明了，故編碼器輸入為全電力序列V=(v1,v2,…,vT)，其中vt∈Rn+1，n是外因數目。編碼器可以學習從vt到ht的映射關系：

ht=f(ht-1,vt)

(6)

式中：ht是輸入序列在t時刻編碼后的編碼向量，ht∈Rm，m為編碼長度；f(·)是編碼器學習到的從輸入向量到編碼向量的映射關系，可以由RNN模型習得。由于LSTM具備克服梯度消失的能力，故本文使用LSTM作為編碼單元。LSTM在每個時間步保持一個細胞狀態和多個門控部分。其中細胞狀態se,t用來記錄長時間步中隱含的信息，遺忘門fe,t控制對歷史信息的舍棄程度，更新門ue,t控制對候選細胞狀態的更新程度，oe,t控制細胞狀態ce,t多大程度轉化為編碼隱狀態ht。具體計算如下：

fe,t=σ(We,f[ht-1;vt]+be,f)

(7)

ue,t=σ(We,u[ht-1;vt]+be,u)

(8)

oe,t=σ(We,o[ht-1;vt]+be,o)

(9)

(10)

(11)

ht=oe,t⊙tanh(se,t)

(12)

式中：[ht-1;vt]∈Rm+n+1是上一時間步ht-1和當前輸入vt的拼接運算；We,f、We,u、We,o、We,s∈Rm×(m+n+1)和be,f、be,u、be,o、be,s∈Rm是模型學習的參數；σ和⊙分別代表邏輯斯蒂運算和逐元素相乘運算。

在編碼階段的LSTM部分前，使用BIM-Attention對輸入的全電力序列重構，對重構后的序vt←BIM-Attention(vt)編碼。注意力機制是學習分配權重的一種方法。本文利用BIM特征與各序列歷史值計算目標序列對各外因序列的注意力分數，從而獲得更加準確的權重向量。在t時刻對第k個外因序列的權重計算公式如下：

(13)

(14)

(15)

通過BIM-Attention編碼器，模型利用BIM特征與序列歷史值學習目序列與全序列的相關程度，從而使模型關注全序列中對目標序列預測真正有幫助的部分，進而達到自動選擇外因序列的目的。

2.3.2 解碼器

為生成未來時刻的預測值yT+1，用另外一支LSTM做解碼器，對編碼器的輸出解碼。并根據目標序列與外因序列間潛在的時間上的遲滯相關性，在每個解碼時刻t，利用解碼器LSTM的p維隱狀態dt-1∈Rp對T個編碼向量利用注意力機制進行權重計算，即：

(16)

(17)

(18)

(19)

(20)

(21)

(22)

(23)

dt=od,t⊙tanh(sd,t)

(24)

2.3.3 自回歸部分

相關研究[23]表明，LSTM等神經網絡模型在時間序列預測問題中，由于其強大的非線性建模能力，可能會造成模型對輸入序列的線性自回歸部分難以學習的問題。因此本文在模型最后的預測部分加入目標序列的線性自回歸部分以克服這一缺陷。

在模型最終的預測部分，將目標序列的T個歷史值Y=(y1,y2,…,yT)和解碼器最終解碼輸出dT拼接，通過一層全連接網絡生成預測值，即：

(25)

2.3.4 訓練過程

模型訓練方法采用小批量隨機梯度下降，優化器為Adam。參數使用標準的反向傳播學習，使用平均平方誤差(Mean Squared Error，MSE)作為優化目標O,N是訓練樣本數：

(26)

3 實 驗

3.1 實驗數據

實驗使用的數據集來自國家電網電力公司與華東建筑設計研究院。數據包含電力數據和BIM數據兩部分，采集于中國上海市某大型醫院。電力數據包含類別有醫療設備、電梯、照明插座、空調等13個類別，共415個不同的用電設備，每個設備的電力數據采樣率為24點/天，共計一年，每條序列8 605個計數值。BIM數據為整座醫院的BIM模型，包含了415個用電設備的各項BIM參數，實驗中使用的BIM特征為設備所在樓層、設備類別、科室類別、所在樓宇類別。

3.2 實驗設置

實驗對比方法包括以下5種。

Lasso回歸：經典的單變量線性自回歸模型，輸入為目標序列的歷史序列。

LSTM：輸入為目標序列的歷史序列。

LSTM-Multi：與LSTM方法結構一致，但是模型輸入為全部電力序列。

InputAtten：在LSTM-Multi輸入前加入普通的注意力機制，輸入為全部電力序列。

AttenNN：將BIMAttenNN中的BIM-Attention替換為普通的注意力模型，輸入為全部電力序列。

本文方法的輸入為全部電力序列。

對比實驗中除不同模型的輸入與模型結構不同外，其他參數均保持一致，如優化目標均為MSE，優化算法均為Adam，實驗均用過去24小時的歷史序列預測未來1小時的電力能耗值。實驗中所有對比方法采用統一訓練集、測試集，其中訓練集占數據集比例為80%，BIM特征使用獨熱編碼。

對比指標包括均方根誤差RMSE，平均絕對誤差MAE，計算公式分別如下：

(27)

(28)

3.3 實驗結果

實驗對比結果如表2所示，指標均在測試集上計算。

表2 對比實驗預測精度

以綜合樓2層檢驗科醫療設備為例，預測表現優秀的LSTM、AttenNN、BIMAttenNN方法在測試集前144點(一周步長)的預測效果如圖5-圖7所示。

圖5 LSTM預測結果

圖6 AttenNN預測結果

圖7 BIMAttenNN預測結果

3.4 實驗結果分析

表2的實驗結果表明，本文提出的基于BIM與注意力機制的BIMAttenNN模型在各目標序列預測上均取得了最優表現，相較于不使用BIM特征，預測表現同樣優秀的AttenNN在MAE指標上平均提升13.26%，RMSE指標上平均提升20.27%，驗證了BIM對多序列融合預測的價值。

對比LSTM與LSTM-Multi模型的預測結果可以看出，對多序列建模時，倘若對多序列輸入不添加任何選取機制，對所有外因序列一視同仁，則會為目標序列預測引入噪聲，帶來干擾。而InputAtten與LSTM-Multi和LSTM的實驗對比說明，同為多外因序列輸入的InputAtten和LSTM-Multi由于InputAtten加入了注意力機制對外因進行了一定程度的區分，其效果要優于LSTM-Multi，證明了注意力機制引入的必要性。但是由于InputAtten的單層結構，導致對目標序列自身信息關注不足，因此在精度上遜于單序列輸入的LSTM。AttenNN則在InputAtten上改善這一缺陷，在解碼階段輸入目標序列歷史值，并且在最后加入目標序列的線性自回歸部分，預測效果得到了改善。

BIMAttenNN與AttenNN模型差別在于AttenNN沒有使用結合BIM特征的注意力機制。BIMAttenNN根據BIM特征清晰地定義了序列間關系，使輸入序列的權重分配更加合理。從而獲得了對比實驗中最高預測精度。本文將兩種方法中的注意力分數繪圖，以直觀的方式闡述結合BIM特征的注意力機制的價值。

繪圖以綜合樓二層檢驗科設備用電序列預測為例，外因序列有25條，預測任務是過去24小時預測未來1小時電力能耗，計算了測試集上1 716條測試數據對25條外因序列在24小時上的平均注意力分數并繪制分布圖。AttenNN的注意力分數分布如圖8所示；BIMAttenNN的注意力分數分布如圖9所示。

圖8 AttenNN注意力分數分布圖

圖9 BIMAttenNN注意力分數分布圖

可以看出，AttenNN對外因序列輸入雖然使用了注意力機制，但是普通的注意力機制對各外因無法有效計算對應的注意力分數，目標序列對各外因序列一視同仁。而BIMAttenNN則有效地結合BIM特征學習到了目標序列與外因序列之間的關聯程度。圖8中，BIM-Attention注意力分數較高的17～25號序列正是和目標序列同為同樓宇的檢驗科或者同一層的醫療設備，而相關性較低的1～16號序列則是同樓地下一層放射科設備或者其他樓的用電設備。

綜上所述，本文提出的BIMAttenNN模型結合注意力機制與BIM特征對電力能耗序列建模預測合理且有效，并且提升了預測精度。

4 結 語

針對電力時間序列預測中多外因序列預測的問題，本文總結了現有方法的不足，提出了一種結合注意力機制與BIM特征的電力能耗預測方法。使用BIM特征與注意力機制對外因序列準確提取，通過編碼器-解碼器網絡結構預測，并在模型中補充線性回歸分支來彌補神經網絡對時間序列線性部分建模能力不足的問題。實驗結果表明，BIMAttenNN能結合注意力機制與BIM特征自動捕捉序列與序列間的關系，具備對輸入外因自動選取的功能，相比于傳統模型具有更高的預測精度。