基于改進(jìn)DaNN的綜合能源系統(tǒng)多能負(fù)荷預(yù)測

何桂雄，金璐，李克成，何偉，閆華光

(1.中國電力科學(xué)研究院有限公司，北京 100192；2.國網(wǎng)江西省電力有限公司，江西 南昌 330096)

0 引言

隨著能源革命的推進(jìn)及雙碳目標(biāo)[1]的落實，傳統(tǒng)各能源系統(tǒng)單獨(dú)規(guī)劃、運(yùn)行的模式由于存在能源利用效率低、靈活性差等缺點，已然不能滿足綠色用能、低碳環(huán)保的需要。在此背景下，強(qiáng)調(diào)多能互補(bǔ)及清潔高效的綜合能源系統(tǒng)(integrated energy system，IES)也應(yīng)運(yùn)而生，隨著研究的深入，IES被廣泛用作鄉(xiāng)鎮(zhèn)、園區(qū)、樓宇的供能系統(tǒng)。由于IES中各能流相互影響，具有較強(qiáng)的耦合關(guān)系[2]，因此對IES進(jìn)行高效規(guī)劃和控制需要對多種能源需求情況有全面的了解，這對IES的負(fù)荷預(yù)測提出了巨大挑戰(zhàn)。

傳統(tǒng)電力系統(tǒng)中，用戶用電負(fù)荷具有隨機(jī)性[3—6]。目前，電力系統(tǒng)負(fù)荷預(yù)測已經(jīng)有了較為成熟的體系。電力負(fù)荷預(yù)測模型可以大致分為：時間序列模型、多元回歸模型[7]、機(jī)器學(xué)習(xí)模型[8]及神經(jīng)網(wǎng)絡(luò)模型[9]。近年來，深度學(xué)習(xí)算法憑借其突出的自動特征提取能力及非線性擬合能力受到了廣大學(xué)者的青睞。為了挖掘時間序列的關(guān)聯(lián)性，文獻(xiàn)[10]利用相空間重構(gòu)對負(fù)荷數(shù)據(jù)進(jìn)行了高維相空間投影，使歷史數(shù)據(jù)按關(guān)聯(lián)性重新排列，并采用深度信念網(wǎng)絡(luò)進(jìn)行建模與預(yù)測。該方法雖然能夠利用時間序列的特性，但缺乏靈活性，無法依據(jù)數(shù)據(jù)的改變自動篩選出重要特征信息。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)憑借其高度的特征總結(jié)能力及深度的非線性結(jié)構(gòu)，能夠有效減少人工提取特征帶來的誤差[11]。文獻(xiàn)[12]利用CNN對日期信息、歷史數(shù)據(jù)、天氣數(shù)據(jù)等進(jìn)行自動特征篩選，并將結(jié)果輸入長短期記憶(long short-term memory，LSTM)網(wǎng)絡(luò)。文獻(xiàn)[13]以文獻(xiàn)[12]為基礎(chǔ)，簡化了網(wǎng)絡(luò)模型，并加入Attention機(jī)制，能有效減少歷史信息丟失并加強(qiáng)重要信息的影響，預(yù)測精度顯著提高。

相較于傳統(tǒng)電力負(fù)荷預(yù)測，涉及IES的多能負(fù)荷預(yù)測中，通常需要分別分析冷、熱、電負(fù)荷的用能特性，建立3種不同的預(yù)測模型，耗費(fèi)大量計算資源和時間成本。目前針對IES的負(fù)荷預(yù)測研究仍然較少[14]，基于對傳統(tǒng)電力系統(tǒng)負(fù)荷預(yù)測的研究，文獻(xiàn)[15]采用Copula理論對特征相關(guān)性進(jìn)行分析，并利用核主成分分析篩選特征后輸入廣義回歸神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測。文獻(xiàn)[16]采用灰色關(guān)聯(lián)度分析證明了冷、熱、電負(fù)荷具有很高的相關(guān)性，進(jìn)而提出改進(jìn)LSTM模型，分別對冷、熱、電負(fù)荷進(jìn)行預(yù)測。上述方法取得了良好的預(yù)測效果，但忽略了多能負(fù)荷間多時間尺度的復(fù)雜耦合關(guān)系，僅將多能負(fù)荷歷史數(shù)據(jù)簡單串聯(lián)作為模型輸入。為此文獻(xiàn)[17]采用遷移學(xué)習(xí)中的多任務(wù)學(xué)習(xí)(multi-task learning，MTL)原理，對多能負(fù)荷進(jìn)行統(tǒng)一建模，從而挖掘多能負(fù)荷的耦合性，提升最終的預(yù)測結(jié)果，同時證明了MTL原理的有效性。文獻(xiàn)[18]提出LSTM-MTL預(yù)測模型，引入一個參數(shù)共享層并輔以沙普利加和解釋技術(shù)對模型進(jìn)行可視化分析，取得了較好的預(yù)測精度。

然而上述IES多能預(yù)測的文獻(xiàn)中，并未對歷史序列大數(shù)據(jù)進(jìn)行有效挖掘，且MTL模型通常只是添加了一層參數(shù)共享層，無法有效降低模型復(fù)雜程度。因此文中以現(xiàn)有研究為基礎(chǔ)提出一種基于遷移學(xué)習(xí)的改進(jìn)領(lǐng)域自適應(yīng)神經(jīng)網(wǎng)絡(luò)(domain adaptive neural network，DaNN)模型對冷、熱、電負(fù)荷進(jìn)行統(tǒng)一建模與預(yù)測，旨在降低模型規(guī)模并通過多個參數(shù)共享卷積層挖掘各能源預(yù)測領(lǐng)域間的關(guān)聯(lián)性，最終提升IES的負(fù)荷預(yù)測精度。

1 基本原理

1.1 CNN

CNN是一種包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。目前，CNN主要應(yīng)用于計算機(jī)視覺(computer vision，CV)領(lǐng)域，憑借其優(yōu)秀的特征提取能力在近些年受到了學(xué)者的廣泛關(guān)注，并涌現(xiàn)出如AlexNet[19]、VGGNet等高性能的深度CNN模型構(gòu)筑。

常見的CNN由輸入層、隱含層和輸出層構(gòu)成，不同于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(neural networks，NN)，CNN的隱含層分為卷積層、池化層和全連接層。CNN通過卷積和池化層的計算可將數(shù)據(jù)重構(gòu)，從而整合有效信息并提高特征提取效率[13]。常見的CNN結(jié)構(gòu)如圖1所示。

圖1 CNN結(jié)構(gòu)Fig.1 Structure of CNN

1.2 DaNN

隨著人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的飛速發(fā)展，NN、決策樹和支持向量機(jī)等智能模型在各學(xué)科的研究中都受到了極大重視，然而傳統(tǒng)的學(xué)習(xí)模型通常是針對特定問題建立的，不具備可遷移性，在面臨新問題時研究者不得不從零開始建立新的模型。針對一些相似性較高的問題，有學(xué)者提出了遷移學(xué)習(xí)的概念，遷移學(xué)習(xí)顧名思義就是“舉一反三”，通過原問題和新問題之間的相似性將基于原問題建立的模型應(yīng)用于新問題中。其中以深度遷移學(xué)習(xí)最為高效，通過微調(diào)已有的深度網(wǎng)絡(luò)可以節(jié)省模型的訓(xùn)練時間，提高學(xué)習(xí)精度[20]。

為了解決遷移學(xué)習(xí)中源域和目標(biāo)域數(shù)據(jù)的適配問題，Muhammad Ghifary等人提出了DaNN[21]。DaNN僅由特征層和分類器層組成，通過最大均值差異(maximum mean discrepancy，MMD)計算源域和目標(biāo)域的分布差異并將其計入損失函數(shù)中。設(shè)存在滿足p分布的隨機(jī)變量x={x1,x2,…,xn}～p，與滿足q分布的隨機(jī)變量y={y1,y2,…,ym}～q。MMD度量的計算表達(dá)式為：

(1)

式中：φ(·)為映射函數(shù)，通過將原數(shù)據(jù)映射至再生核希爾伯特空間(reproducing kernel Hilbert space，RKHS)，并計算x與y在RKHS中均值的距離(采用‖·‖H表示)來衡量各變量分布的差異。然而映射函數(shù)通常未知，因此研究者一般基于RKHS中的再生性[21]將式(1)平方展開并用已知核函數(shù)替代原先的映射函數(shù)。MMD的核函數(shù)表達(dá)式為：

(2)

式中：K(·)為核函數(shù)，通常采用高斯核函數(shù)。遷移學(xué)習(xí)中，通過減小MMD的數(shù)值，能夠使目標(biāo)域和源域的數(shù)據(jù)分布盡可能接近，從而實現(xiàn)源域知識向目標(biāo)域的遷移，因此DaNN的損失函數(shù)為：

(3)

式中：LDaNN為DaNN的損失函數(shù)；LNN為NN的損失函數(shù)；γ為MMD的權(quán)重因子，文中取0.25；qs，qt分別為源域和目標(biāo)域數(shù)據(jù)在特征層上的輸出。DaNN的結(jié)構(gòu)如圖2所示。

圖2 DaNN結(jié)構(gòu)Fig.2 Structure of DaNN

2 基于改進(jìn)DaNN的多能預(yù)測模型

2.1 多能負(fù)荷特征圖

隨著智能測量儀表的普及和通信傳輸設(shè)備的發(fā)展，預(yù)測問題中能夠獲得的歷史數(shù)據(jù)量空前提升，因而合理利用海量歷史數(shù)據(jù)也成為模型性能提升的關(guān)鍵。在傳統(tǒng)的時間序列和機(jī)器學(xué)習(xí)預(yù)測模型中，過多的特征輸入會導(dǎo)致模型的維度災(zāi)難。研究者通常采用過去一小時或一天相同時刻的歷史數(shù)據(jù)作為短期預(yù)測的特征輸入模型，然而此方法忽略了一些潛在相關(guān)的歷史數(shù)據(jù)，造成有效信息的浪費(fèi)。同時，IES的出現(xiàn)使得歷史數(shù)據(jù)成倍增長，為了盡可能掌握IES中多能負(fù)荷變化的規(guī)律并有效減少模型維數(shù)，文中采用CNN模型提取歷史數(shù)據(jù)特征，并構(gòu)建多能負(fù)荷特征圖作為CNN模型的輸入。多能負(fù)荷特征圖通過將不同類別時間序列數(shù)據(jù)橫向展開并按時間縱向堆疊形成。以含冷、熱、電負(fù)荷的IES為例，其中待預(yù)測時刻T的電負(fù)荷特征如圖3所示。

圖3 電負(fù)荷特征Fig.3 Feature picture of electrical load

圖3中各列為不同種特征的時間序列，各行為不同時刻(以小時為單位)的特征數(shù)值。由于IES中各能源的用能特性有較強(qiáng)耦合關(guān)系，因此電負(fù)荷的特征圖中包含了冷負(fù)荷和熱負(fù)荷的用能時間序列。特征1～特征n可分別代表小時、日類型等日期序列或溫度、濕度、輻照等天氣序列。為了控制特征圖的大小、提高計算效率，文中以一周為上限，即取待預(yù)測時刻T前一周的歷史數(shù)據(jù)構(gòu)成負(fù)荷特征圖。冷負(fù)荷與熱負(fù)荷的特征圖可以由相同方法構(gòu)成，僅需分別調(diào)換前3列的位置，即當(dāng)構(gòu)建冷負(fù)荷特征圖時采用冷、電、熱的順序，而構(gòu)建熱負(fù)荷特征圖時采用熱、冷、電的順序。

2.2 多能負(fù)荷預(yù)測模型結(jié)構(gòu)與流程

為減少IES中構(gòu)建多能預(yù)測模型的成本，提高運(yùn)算效率并充分利用數(shù)據(jù)間耦合關(guān)系，文中采用基于遷移學(xué)習(xí)的DaNN對冷、熱、電負(fù)荷進(jìn)行統(tǒng)一建模與預(yù)測。由于傳統(tǒng)DaNN模型僅由2層神經(jīng)元構(gòu)成，無法很好地對序列特征進(jìn)行挖掘，因此在傳統(tǒng)DaNN的基礎(chǔ)上加入CNN結(jié)構(gòu)，利用CNN對復(fù)雜特征進(jìn)行壓縮和降維，改進(jìn)后的DaNN結(jié)構(gòu)如圖4所示。改進(jìn)DaNN由輸入層、卷積層、全連接層和輸出層構(gòu)成，并在全連接層2、3之間加入MMD自適應(yīng)度量計算源域和目標(biāo)域的差異。其中，輸入層分別讀入待預(yù)測時刻的冷、熱、電負(fù)荷特征圖，卷積層包含了1.1節(jié)中提到的卷積和池化計算，全連接層與一般NN隱含層結(jié)構(gòu)相同，輸出層依據(jù)模型輸入的不同分別輸出待預(yù)測時刻的用能負(fù)荷預(yù)測值，通過最小化網(wǎng)絡(luò)損失函數(shù)，即可最大限度縮小電負(fù)荷與冷、熱負(fù)荷特征的分布差異從而使模型對冷、熱負(fù)荷預(yù)測達(dá)到觸類旁通的效果。圖4中，卷積層1、2與全連接層1、2為參數(shù)共享層，全連接層3依據(jù)任務(wù)的不同劃分為3個神經(jīng)元數(shù)相同的獨(dú)立全連接層，圖中分別采用綠色、藍(lán)色和橙色的神經(jīng)元代表電、冷、熱負(fù)荷各自獨(dú)立的全連接層。

圖4 改進(jìn)DaNN結(jié)構(gòu)Fig.4 Structure of improved DaNN

基于IES數(shù)據(jù)庫內(nèi)的冷、熱、電負(fù)荷及對應(yīng)的天氣、日期等原始數(shù)據(jù)，所提改進(jìn)DaNN模型的預(yù)測流程如圖5所示，具體流程如下。

圖5 改進(jìn)DaNN模型預(yù)測流程Fig.5 Flow chart of improved DaNN forecasting model

步驟1：對原始數(shù)據(jù)分別進(jìn)行極差歸一化并保存各自最大、最小值，以便進(jìn)行反歸一化。

步驟2：分別構(gòu)建電、冷、熱負(fù)荷特征圖并劃分目標(biāo)域及源域數(shù)據(jù)集。其中，源域數(shù)據(jù)集包含傳統(tǒng)電負(fù)荷數(shù)據(jù)，目標(biāo)域數(shù)據(jù)集共有2個，目標(biāo)域Ⅰ為冷負(fù)荷數(shù)據(jù)，目標(biāo)域Ⅱ為熱負(fù)荷數(shù)據(jù)。最后在源域與目標(biāo)域數(shù)據(jù)集上分別按7∶3劃分訓(xùn)練集與測試集。

步驟3：基于CNN及DaNN的原理構(gòu)建改進(jìn)DaNN模型，并將步驟2中源域和目標(biāo)域的訓(xùn)練集代入訓(xùn)練。文中采用交叉驗證的方法優(yōu)化部分網(wǎng)絡(luò)超參數(shù)。

步驟4：利用步驟3中訓(xùn)練好的改進(jìn)DaNN預(yù)測模型在測試集上分別對冷、熱、電負(fù)荷進(jìn)行預(yù)測，得到多能負(fù)荷的歸一化預(yù)測值。

步驟5：基于步驟1中保存的最值，對步驟4中取得的歸一化預(yù)測值進(jìn)行反歸一化，即可得到IES中冷、熱、電負(fù)荷的預(yù)測值。

2.3 模型損失函數(shù)

通常遷移學(xué)習(xí)模型僅由單個源域向單個目標(biāo)域遷移，例如DaNN模型通過最小化式(3)使得源域與目標(biāo)域的特征分布盡可能接近，并利用具有參數(shù)共享機(jī)制的分類器層對目標(biāo)域特征進(jìn)行處理，從而達(dá)到一隅三反的效果。然而IES中存在多種能源形式，為減少模型的構(gòu)筑成本并充分利用傳統(tǒng)電負(fù)荷預(yù)測知識，文中將冷、熱負(fù)荷分別劃分為目標(biāo)域Ⅰ與目標(biāo)域Ⅱ。

隨著目標(biāo)域個數(shù)的增加，為使改進(jìn)DaNN模型能夠全面衡量源域與各目標(biāo)域的特征分布情況，損失函數(shù)不僅需要考慮源域與不同目標(biāo)域的MMD值，還需要加入各目標(biāo)域之間的MMD值，避免參數(shù)共享層輸出的特征在各目標(biāo)域中分布差距較大而影響遷移結(jié)果。因此，改進(jìn)DaNN的損失函數(shù)可在式(3)的基礎(chǔ)上改為：

(4)

文中采用均方誤差(mean square error，MSE)衡量目標(biāo)域及源域上所有預(yù)測的誤差。γ1，γ2，γ3為MMD的權(quán)重因子，文中均取1/12；qs，qt1，qt2分別為電、冷、熱負(fù)荷在全連接層2的輸出特征。

以包含電、冷、熱3種能源的IES為例，LNN可以表示為：

(5)

文中所提改進(jìn)DaNN通過最小化式(4)使得冷、熱、電負(fù)荷在全連接層2上輸出的特征分布盡可能相同，最終依據(jù)任務(wù)的不同將特征輸入對應(yīng)的全連接層3即可獲得歸一化的負(fù)荷預(yù)測值，再經(jīng)過反歸一化可得到待預(yù)測負(fù)荷的預(yù)測值。

3 IES算例分析

3.1 IES負(fù)荷數(shù)據(jù)

采用美國國家可再生能源實驗室網(wǎng)站[22]中某樓宇級IES的開源實測值驗證所提改進(jìn)DaNN預(yù)測模型的有效性。該樓宇級IES由冷、熱、電系統(tǒng)組成，采集數(shù)據(jù)包括冷、熱、電負(fù)荷數(shù)據(jù)及對應(yīng)的星期、時間、溫度、平均全球輻照度和平均全球南緯90°輻照度。各數(shù)據(jù)的采集時長為1 a，以小時為單位。其中，冷、熱、電負(fù)荷全年的用能曲線如圖6所示。

圖6 IES負(fù)荷實測數(shù)據(jù)Fig.6 Measured data of IES load

上述原始數(shù)據(jù)已經(jīng)過清洗和校正，文中將數(shù)據(jù)集第8～258天作為訓(xùn)練集，第259～365天作為測試集。算例中對所提模型的驗證在Matlab環(huán)境與Python環(huán)境下基于Pytorch庫進(jìn)行。

3.2 預(yù)測評價指標(biāo)

文中模型最終能夠給出冷、熱、電負(fù)荷的確定性預(yù)測值，對于確定性預(yù)測，通常采用平均絕對百分比誤差(mean absolute percentage error，MAPE)與均方根誤差(root mean square error，RMSE)來衡量預(yù)測效果。由于冷、熱負(fù)荷實際值中存在較多零值，如直接采用MAPE計算會出現(xiàn)無窮值，因此文中追加采用平均絕對誤差(mean absolute error，MAE)衡量冷、熱負(fù)荷的預(yù)測精度。

MAPE，MAE，RMSE的表達(dá)式定義分別如下：

(6)

(7)

(8)

3.3 負(fù)荷特征圖構(gòu)建

基于2.1節(jié)所述，將上文數(shù)據(jù)集中各特征的時間序列按時間縱向展開、依類別橫向排列即可得到電、冷、熱負(fù)荷的特征圖。其中負(fù)荷特征圖中各特征的排列方式如表1所示。

表1 特征排列方式Table 1 Feature arrangement

表1中一共8列特征，并且電、冷、熱負(fù)荷的特征圖僅前3列的排列有區(qū)別，后5列完全相同，這樣能夠避免MMD度量過大造成損失函數(shù)數(shù)值驟增而影響網(wǎng)絡(luò)參數(shù)的訓(xùn)練和遷移學(xué)習(xí)的效果。

由2.1節(jié)可知負(fù)荷特征圖縱坐標(biāo)為168，因此采用168×8像素的負(fù)荷特征圖作為改進(jìn)DaNN的輸入。圖7為訓(xùn)練集上隨機(jī)選取的16個時刻對應(yīng)的電負(fù)荷特征圖。

圖7 電負(fù)荷特征圖Fig.7 Picture of electrical load feature

圖7中顏色越接近暖色代表對應(yīng)位置的像素點值越大，反之，越接近冷色代表對應(yīng)位置的值越小。通過負(fù)荷特征圖的構(gòu)建和卷積層的采用能夠在避免大量增加模型復(fù)雜度的前提下盡可能多地利用歷史數(shù)據(jù)信息，提升預(yù)測精度。

3.4 改進(jìn)DaNN模型構(gòu)建

傳統(tǒng)CNN卷積層一般采用3×3或者5×5的二維卷積核，且池化層也采用2×2的二維核進(jìn)行計算。而負(fù)荷特征圖中各特征之間區(qū)別較大，若采用二維卷積核會使不相關(guān)的變量融合從而導(dǎo)致嚴(yán)重的信息丟失。因此改進(jìn)DaNN卷積層1、2的卷積核與池化核都選用一維，通過縱向?qū)Ω魈卣鲿r間序列進(jìn)行卷積和池化操作，提取歷史關(guān)鍵信息，并將不同特征間的差異性保留至全連接層。

模型采用Adam優(yōu)化器優(yōu)化網(wǎng)絡(luò)參數(shù)，并采用交叉驗證法對神經(jīng)元和卷積核等超參數(shù)進(jìn)行調(diào)優(yōu)。經(jīng)過優(yōu)化的網(wǎng)絡(luò)超參數(shù)如表2所示。由2.2節(jié)可知，依據(jù)預(yù)測目標(biāo)的不同，全連接層3及輸出層由負(fù)責(zé)電、冷、熱負(fù)荷預(yù)測的3個獨(dú)立網(wǎng)絡(luò)構(gòu)成。因此，表2中全連接層3和輸出層后帶有(×3)符號。

表2 改進(jìn)DaNN超參數(shù)Table 2 Super-parameter of improved DaNN

為證明采用CNN處理歷史特征并利用DaNN原理進(jìn)行知識遷移能夠有效減小預(yù)測模型的參數(shù)，文中對改進(jìn)DaNN、深度DaNN與NN的參數(shù)量進(jìn)行比較。以表2中改進(jìn)DaNN模型為例，網(wǎng)絡(luò)參數(shù)量為1.99 M；若保持輸入、輸出維數(shù)相同而將卷積層替換為全連接層(深度DaNN),則網(wǎng)絡(luò)參數(shù)量為2.68 M；若不采用遷移學(xué)習(xí)模型而改用3個獨(dú)立的NN模型則參數(shù)量可達(dá)8.03 M。上述模型的參數(shù)量對比如圖8所示。

圖8 模型參數(shù)量柱狀圖Fig.8 Histogram of the number of model parameters

由圖8中不同模型網(wǎng)絡(luò)參數(shù)的對比不難發(fā)現(xiàn)，通過引入卷積層及遷移學(xué)習(xí)模型可將相同輸入輸出的神經(jīng)網(wǎng)絡(luò)規(guī)模縮減至之前的1/4，從而大幅降低訓(xùn)練難度并減少計算開支。

3.5 預(yù)測結(jié)果

為了驗證文中所提改進(jìn)DaNN模型的有效性，分別采用深度DaNN模型、NN模型、差分整合移動平均自回歸(autoregressive integrated moving average model，ARIMA)模型對測試集進(jìn)行預(yù)測，預(yù)測步長為1 h。其中深度DaNN僅將改進(jìn)DaNN的卷積層1、2替換為神經(jīng)元個數(shù)為168×8的全連接層，即將負(fù)荷特征圖平鋪為一維特征輸入，其余超參數(shù)與表2中相同；NN模型在深度DaNN的基礎(chǔ)上，取消了參數(shù)共享層，即所有層都帶有(×3)符號；ARIMA模型采用赤池信息準(zhǔn)則(Akaike information criterion，AIC)[8]確定模型階數(shù)，其中ARIMA電(22，1，18)，ARIMA冷(24，1，19)，ARIMA熱(25，1，20)，括號中依次為自回歸項數(shù)，滑動平均項數(shù)和差分次數(shù)。測試集上部分待預(yù)測日(第265～272天，共7 d)的預(yù)測曲線與實測負(fù)荷曲線如圖9所示。

圖9 多能預(yù)測結(jié)果Fig.9 Forecast results of various type of energy

圖9(a)中，第24～72小時為周末，此時電負(fù)荷明顯下降，然而傳統(tǒng)時間序列的ARIMA模型擬合非線性能力不強(qiáng)，容易受到負(fù)荷突變的擾動，因此在第24～72小時出現(xiàn)較大波動，無法很好地跟隨電負(fù)荷的變化，這一情況在圖9(c)的熱負(fù)荷預(yù)測中更為明顯。由圖6可知，相較于全年比較平穩(wěn)的電負(fù)荷與用能時段較為集中的冷負(fù)荷，熱負(fù)荷的用能分散性較大，且非線性極強(qiáng)，導(dǎo)致ARIMA時間序列模型的預(yù)測值出現(xiàn)較大的波動，完全無法擬合熱負(fù)荷的用能負(fù)荷曲線。為了更加直觀地了解幾種模型的預(yù)測效果，圖10為各模型第265～272天預(yù)測結(jié)果小時級的誤差分布，其中采用MAPE衡量電負(fù)荷的誤差分布，采用MAE衡量冷、熱負(fù)荷的誤差分布。

由圖10中可見，對于電負(fù)荷和冷負(fù)荷這類變化較為平穩(wěn)的負(fù)荷，文中所提改進(jìn)DaNN和ARIMA的誤差分布較為均勻，而NN和深度DaNN由于未采用CNN等特征整合提取算法而輸入了過多未經(jīng)篩選的特征，導(dǎo)致模型維度過高，影響了模型最終的訓(xùn)練結(jié)果；當(dāng)出現(xiàn)非線性極強(qiáng)的熱負(fù)荷時，ARIMA的預(yù)測效果明顯下降，而改進(jìn)DaNN、深度DaNN與NN模型憑借其優(yōu)秀的非線性擬合能力給出了相對較好的結(jié)果，但可以明顯看出無論是對比熱負(fù)荷MAE的峰值還是均值，改進(jìn)DaNN模型都明顯小于未采用遷移學(xué)習(xí)的NN模型和未采用CNN提取特征的深度DaNN模型。通過觀察圖6中冷、熱負(fù)荷曲線和圖9(b)、(c)不難發(fā)現(xiàn)，冷、熱負(fù)荷存在明顯耦合，當(dāng)冷負(fù)荷較大時，熱負(fù)荷基本很小或者為零值，反之亦然。改進(jìn)DaNN模型也正是利用了多領(lǐng)域數(shù)據(jù)中的關(guān)聯(lián)性，對冷、熱、電負(fù)荷進(jìn)行統(tǒng)一建模，從而有效減少了熱負(fù)荷的預(yù)測誤差。這也說明了遷移學(xué)習(xí)的采用能夠有效挖掘不同領(lǐng)域數(shù)據(jù)的耦合關(guān)系并提升最終的預(yù)測精度。

圖10 多能預(yù)測結(jié)果誤差分布Fig.10 Error distribution of multi energy forecast results

為了更加全面地驗證所提改進(jìn)DaNN的預(yù)測效果，文中計算了各模型在全部測試集上的MAPE、MAE和RMSE指標(biāo)，其中對于電負(fù)荷采用MAPE與RMSE指標(biāo)，而冷、熱負(fù)荷采用MAE與RMSE指標(biāo)。各指標(biāo)的計算結(jié)果如表3所示。

表3 各模型預(yù)測效果Table 3 Forecast performance of each model

表3中，改進(jìn)DaNN在電、冷、熱負(fù)荷預(yù)測中均有較小的評價指標(biāo)，說明改進(jìn)DaNN在綜合能源預(yù)測中有較強(qiáng)優(yōu)越性。相比于基準(zhǔn)模型ARIMA、深度DaNN與NN，所提改進(jìn)DaNN的優(yōu)勢總結(jié)如下：

(1)改進(jìn)DaNN采用CNN作為特征整合與篩選工具，通過卷積層1、2有效整合了有利信息并大幅降低了模型的復(fù)雜程度，模型憑借較少的維度更加易于訓(xùn)練。而深度DaNN和NN由于沒有上述特征整合過程，模型的維度大幅增加，不利于模型的訓(xùn)練與收斂，致使其在傳統(tǒng)的電負(fù)荷預(yù)測及冷、熱負(fù)荷預(yù)測領(lǐng)域效果大打折扣。

(2)改進(jìn)DaNN采用了遷移學(xué)習(xí)理論，通過統(tǒng)一建模預(yù)測的方式建立多層參數(shù)共享層，并有效利用各領(lǐng)域數(shù)據(jù)的耦合關(guān)系，提升了最終的預(yù)測精度。而ARIMA和NN模型只是針對不同負(fù)荷單獨(dú)訓(xùn)練及預(yù)測，因此會出現(xiàn)ARIMA模型雖然在電、冷負(fù)荷的預(yù)測中表現(xiàn)較好，卻在非線性較強(qiáng)的熱負(fù)荷預(yù)測中表現(xiàn)不佳的現(xiàn)象。同樣的，雖然NN模型有較強(qiáng)的非線性擬合能力，但對熱負(fù)荷的預(yù)測精度依然不如改進(jìn)DaNN。

(3)除了模型的預(yù)測精度外，圖8直觀展示了相較于NN模型和深度DaNN模型，改進(jìn)DaNN模型由于采用了卷積層和參數(shù)共享層，能夠有效縮減模型規(guī)模并節(jié)約計算資源；雖然ARIMA自身的算法較為簡單，但采用AIC理論優(yōu)化窮舉參數(shù)不同的ARIMA模型也會耗費(fèi)大量計算資源。

4 結(jié)論

文中針對IES中的冷、熱、電多能負(fù)荷預(yù)測問題，提出了一種基于遷移學(xué)習(xí)的改進(jìn)DaNN模型。首先將多能負(fù)荷數(shù)據(jù)按一定方法形成對應(yīng)的負(fù)荷特征圖，其次通過改進(jìn)DaNN模型中的參數(shù)共享CNN層和參數(shù)共享全連接層對負(fù)荷特征圖進(jìn)行特征整合，最后通過3個各自獨(dú)立的全連接層和輸出層分別對冷、熱、電負(fù)荷進(jìn)行預(yù)測。文中還采用了了美國國家可再生能源實驗室的樓宇級IES實測數(shù)據(jù)對所提模型的有效性進(jìn)行了驗證，并與基準(zhǔn)負(fù)荷預(yù)測模型進(jìn)行對比，得到以下結(jié)論：

(1)改進(jìn)DaNN通過引入CNN和參數(shù)共享層減少了模型的參數(shù)量及維度并節(jié)約了計算資源；

(2)改進(jìn)DaNN挖掘了不同領(lǐng)域數(shù)據(jù)的耦合特性，并通過數(shù)據(jù)之間的關(guān)聯(lián)性提升了預(yù)測的精度。

文中模型涉及3個不同領(lǐng)域的預(yù)測問題，因此在模型的規(guī)劃和超參數(shù)調(diào)優(yōu)上僅基于交叉驗證結(jié)果進(jìn)行了手動粗調(diào)，難以尋得最優(yōu)的超參數(shù)；改進(jìn)DaNN僅在全連接層3前考慮了MMD指標(biāo)，當(dāng)冷、熱負(fù)荷波動較大時，各特征可能在卷積層就出現(xiàn)了明顯的分化，從而使MMD過大而影響訓(xùn)練，因此還可以在更多位置加入MMD計算，保證特征分布的相似性；所提改進(jìn)DaNN模型是以冷、熱、電IES為前提建立的，然而遷移學(xué)習(xí)理論也能夠用于熱、電耦合、電-熱-氣等多種形式的IES負(fù)荷預(yù)測中。后續(xù)工作將逐步研究并完善上述問題。