基于TabNet-LSTNet的多特征短期負(fù)荷預(yù)測

doi：10.11835/j.issn.1000-582X.2023.201

摘要：為了挖掘負(fù)荷預(yù)測中不同輸入特征的重要性，有效處理負(fù)荷數(shù)據(jù)中的線性成分和非線性成分，提高負(fù)荷預(yù)測的精度，提出一種基于TabNet和長期和短期時間序列網(wǎng)絡(luò)（long and short-term temporal networks，LSTNet）的組合負(fù)荷預(yù)測模型。通過引入自監(jiān)督預(yù)訓(xùn)練來提高TabNet的預(yù)測精度，通過訓(xùn)練得到輸入特征的全局重要性和預(yù)測結(jié)果，然后把重要性高的特征輸入到LSTNet訓(xùn)練得出預(yù)測結(jié)果，最后通過方差-協(xié)方差組合方法得出TabNet-LSTNet模型的預(yù)測結(jié)果。通過仿真分析，與傳統(tǒng)的長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）、極端梯度提升機(jī)（extreme gradient boost，Xgboost）、輕量級梯度提升機(jī)（lignt gradient boosting machine，Lightgbm）和其他組合模型相比較，TabNet-LSTNet模型具有更高的精度。

關(guān)鍵詞：負(fù)荷預(yù)測；特征重要性；TabNet；自監(jiān)督預(yù)訓(xùn)練；LSTNet

中圖分類號：TM715文獻(xiàn)標(biāo)志碼：A文章編號：1000-582X（2024）09-129-12

Multi-featured short-term load forecasting based on TabNet-LSTNet

WU Wenhui1，HE Jiafeng1，CAI Gaoyan2，LUO Dehan1

（1.School of Information Engineering，Guangdong University of Technology，Guangzhou 510006，P.R.China;

2.Guangdong Haodi Innovation Technology Co.，Ltd.，F(xiàn)oshan，Guangdong 528200，P.R.China）

Abstract：To explore the importance of different input features in load forecasting，effectively handle the linear and nonlinear components in load data，and improve the accuracy of load prediction，a combined load prediction model based on TabNet and LSTNet（long and short-term temporal networks）is proposed in this paper.First，the prediction accuracy of TabNet is improved by introducing self-supervised pre-training，and then the global importance of the input features and the prediction results are obtained by training.Next，the features with high importance are input to LSTNet，which is trained to obtain the prediction results.Finally，the prediction results of the combined model are derived using the variance-covariance combination method.Simulation analysis shows that the proposed combined model has higher accuracy compared with traditional LSTM（long and short-term memeory），Xgboost（extreme gradient boost），Lightgbm（lignt gradient boosting machine）and other combined models.

Keywords：load forecasting;feature importance;TabNet;self-supervised pre-training;LSTNet

短期負(fù)荷預(yù)測是電力系統(tǒng)運(yùn)行和規(guī)劃的基礎(chǔ)。準(zhǔn)確的負(fù)荷預(yù)測可以保證電力系統(tǒng)安全可靠地運(yùn)行、降低發(fā)電成本和提高經(jīng)濟(jì)效益[1-2]。隨著國家提出“碳中和、碳達(dá)峰”的目標(biāo)，負(fù)荷預(yù)測對促進(jìn)電力供需平衡、構(gòu)建以新能源為主體的電力系統(tǒng)具有重要的意義[3]。

在現(xiàn)代社會中，短期負(fù)荷預(yù)測受多種外部因素的相互影響，如時間因素、氣候因素、用戶因素和歷史負(fù)荷因素等[4]。短期負(fù)荷預(yù)測的核心問題是如何提高輸入數(shù)據(jù)的質(zhì)量和預(yù)測模型的水平。

根據(jù)方法類型，短期負(fù)荷預(yù)測算法可以分為數(shù)學(xué)算法、人工智能算法和組合預(yù)測算法3大類?；跀?shù)學(xué)算法的負(fù)荷預(yù)測模型有線性回歸[5]、指數(shù)平滑[6]和累計(jì)自回歸滑動平均[7]等，這類算法只適用于簡單平滑的時間序列。由于負(fù)荷數(shù)據(jù)具有非平穩(wěn)特性，數(shù)學(xué)算法模型太簡單，不能有效地處理這些特征信息。人工智能技術(shù)正在蓬勃發(fā)展，已有研究將人工智能算法應(yīng)用到負(fù)荷預(yù)測中[8]?；谌斯ぶ悄艿呢?fù)荷預(yù)測算法主要有隨機(jī)森林（random forest，RF）[9]、極端學(xué)習(xí)機(jī)（extreme learning machine，ELM）[10]、支持向量回歸（support vector regression，SVR）[11]和長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）[12]等。這些算法可以有效地從時間序列中提取特征，并提供輸入和輸出之間的有效連接。Huang等[11]采用SVR解決了反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)的預(yù)測模型收斂速度慢、對樣本的依賴性高和泛化能力較弱的缺點(diǎn)。但基于SVR的預(yù)測模型的應(yīng)用很有限，難以處理大規(guī)模的訓(xùn)練樣本和優(yōu)化超參數(shù)。Kim等[12]提出了不同的基于LSTM的深度學(xué)習(xí)預(yù)測框架來預(yù)測住宅負(fù)荷趨勢，解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）模型中的梯度消失和梯度爆炸問題。但當(dāng)輸入數(shù)據(jù)有非線性特征時，模型的預(yù)測性能會下降。

為了進(jìn)一步提高預(yù)測精度，許多學(xué)者提出了混合預(yù)測模型。這種方法通過將多種算法應(yīng)用于數(shù)據(jù)輸入和預(yù)測模型，利用每種算法和預(yù)測模型的特點(diǎn)和優(yōu)勢，滿足短期負(fù)荷預(yù)測對精度的需求。

陸繼翔等[13]構(gòu)建了基于CNN-LSTM的混合神經(jīng)網(wǎng)絡(luò)，通過卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）提取符合的多特征向量，并經(jīng)由LSTM實(shí)現(xiàn)負(fù)荷預(yù)測，提高了預(yù)測精度。孫超等[14]基于雙層Xgboost算法考慮多特征影響進(jìn)行超短期電力負(fù)荷預(yù)測，以第1層篩選出的特征集和負(fù)荷作為負(fù)荷預(yù)測層的輸入變量，改善了單層模型在特征篩選和特征間相關(guān)性挖掘等方面存在的不足。該研究沒有進(jìn)一步挖掘不同時刻下輸入特征的重要性，導(dǎo)致極端情況下預(yù)測精度欠佳。陳緯楠等[15]基于LSTM和Lightgbm組合模型進(jìn)行短期負(fù)荷預(yù)測，通過結(jié)合時序特征和非連續(xù)特征提高對時間序列的感知能力。但是該組合模型無法有效獲取負(fù)荷序列中的長期周期性和短期非線性信息。

通過以上研究發(fā)現(xiàn)，Xgboost和Lightgbm等基于梯度提升決策樹（gradient boosting decision tree，GBDT）的算法未能有效地挖掘出不同時刻輸入特征的重要性。因?yàn)樵诓煌瑫r刻，每個特征對負(fù)荷變化的影響是不同的，特征的重要性會隨著時間發(fā)生改變；例如，溫度在一天中的不同時刻對用電量的影響是有差異的，溫度的重要性隨之改變。TabNet模型是Arik等[16]提出的基于順序注意力機(jī)制的可解釋表格學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它在保留深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）端到端和表征學(xué)習(xí)的基礎(chǔ)上，還具有數(shù)模型的可解釋性和稀疏特征選擇等優(yōu)點(diǎn)。傳統(tǒng)的LSTM模型無法有效挖掘負(fù)荷數(shù)據(jù)的周期性和短期非線性規(guī)律，而LSTNet[17]能使用不同的時間間隔對長期和短期數(shù)據(jù)特征進(jìn)行信息提取，能夠有效地記住多元時間序列的長期趨勢和短期變化。筆者利用TabNet模型的順序注意力機(jī)制實(shí)現(xiàn)特征選擇，并通過引入自監(jiān)督預(yù)訓(xùn)練來讓不同的樣本選擇不同的特征，獲取輸入特征的局部重要性和全局重要性。綜合考慮時間因素、氣象因素和歷史負(fù)荷因素對短期負(fù)荷預(yù)測的影響，通過TabNet-LSTNet模型結(jié)合兩種模型的優(yōu)點(diǎn)，既能有效處理負(fù)荷數(shù)據(jù)中的類別特征和非連續(xù)特征，又能挖掘長期負(fù)荷序列中的內(nèi)在關(guān)系，提高預(yù)測的精度，促進(jìn)現(xiàn)代電力系統(tǒng)安全穩(wěn)定地運(yùn)行。

1基于TabNet的負(fù)荷預(yù)測模型

1.1 TabNet模型原理

TabNet模型經(jīng)由多個決策步驟的子模塊構(gòu)成，每個決策步驟的輸入數(shù)據(jù)為相同的B×D特征矩陣；B是批處理量大小，D是特征的維度。負(fù)荷特征數(shù)據(jù)通常包括類別數(shù)據(jù)和數(shù)字?jǐn)?shù)據(jù)，TabNet能直接使用原始數(shù)據(jù)，將類別特征映射為數(shù)字特征。圖1顯示了TabNet的編碼器結(jié)構(gòu)，主要由特征轉(zhuǎn)換器、注意力機(jī)制轉(zhuǎn)換器和屏蔽層組成。在特征轉(zhuǎn)換器進(jìn)行特征計(jì)算后，注意力機(jī)制轉(zhuǎn)換器會輸出下一個決策步驟的特征，最后通過全連接層（fully connected layer，F(xiàn)C）輸出預(yù)測結(jié)果，并且通過屏蔽層得到特征的重要性。

注意力機(jī)制轉(zhuǎn)換器的結(jié)構(gòu)如圖2所示。屏蔽層通過注意力機(jī)制轉(zhuǎn)換器的輸出結(jié)果來進(jìn)行特征選擇，為

式中：a[i]代表輸入特征；hi表示全連接層和批標(biāo)準(zhǔn)化（batch normalization，BN）層的結(jié)合，hi的作用是實(shí)現(xiàn)特征的線性組合；P[i]為圖2中的先驗(yàn)量表，表示特征在之前決策步驟的重要性；Sparsemax層使得特征選擇更加稀疏；M[i]為屏蔽層矩陣；Lsparese表示M[i]的稀疏性，Lsparese越小，M[i]越稀疏。

特征轉(zhuǎn)換器主要由全連接層，批標(biāo)準(zhǔn)化層和門控線性單元（gated linear unit，GLU）層構(gòu)成。如圖3所示，該結(jié)構(gòu)前半部分的參數(shù)共享，這意味著它們在所有步驟上都是共同訓(xùn)練的，實(shí)現(xiàn)特征的共性計(jì)算；后半部分的參數(shù)不共享，而是在每個步驟上分別訓(xùn)練，用于計(jì)算特征的特性。這種結(jié)構(gòu)使得模型具有更高的魯棒性。

圖4為TabNet的解碼器結(jié)構(gòu)，每一個決策步驟都由一個特征轉(zhuǎn)換器組成。編碼表示為編碼器中沒有經(jīng)過全連接層的加和向量，經(jīng)過若干個步驟的加和得到重構(gòu)的特征。

1.2 TabNet負(fù)荷預(yù)測模型的自監(jiān)督預(yù)訓(xùn)練

自監(jiān)督學(xué)習(xí)主要從大量的無監(jiān)督數(shù)據(jù)中挖掘監(jiān)督信息，并通過構(gòu)建的監(jiān)督信息對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而為下游任務(wù)學(xué)習(xí)提供有價值的信息。自監(jiān)督預(yù)訓(xùn)練可以將參數(shù)約束在一個合適的空間中，使得預(yù)訓(xùn)練的模型能從特征空間中更合適的區(qū)域開始訓(xùn)練。

同一樣本的不同特征是相關(guān)的，所以自監(jiān)督學(xué)習(xí)時先屏蔽一些特征，如圖5所示，通過上文提到的編碼器-解碼器結(jié)構(gòu)來預(yù)測被屏蔽的特征。用這種方法訓(xùn)練的編碼器模型可以有效地描述樣本的特征。

1.3 TabNet負(fù)荷預(yù)測模型構(gòu)建

選取待預(yù)測時刻的溫度、濕度、降雨量、月份信息、小時信息、季度信息、工作日信息、是否月初和月末，以及前一天對應(yīng)時刻的歷史負(fù)荷值作為模型的輸入數(shù)據(jù)，輸出為待預(yù)測時刻的負(fù)荷值。然后利用訓(xùn)練好的模型對單個時刻分別進(jìn)行預(yù)測。圖6為TabNet進(jìn)行負(fù)荷預(yù)測的過程。

表1為TabNet模型參數(shù)設(shè)置，Nd為決策預(yù)測層的寬度，Na為注意力嵌入層的寬度，N_steps為決策步數(shù)；這3個參數(shù)決定了模型的大小，減小這3個參數(shù)能夠避免模型出現(xiàn)過擬合，同時不會顯著降低預(yù)測精度，通過網(wǎng)格搜索找出模型的最優(yōu)參數(shù)。

2基于LSTNet的負(fù)荷預(yù)測模型

2.1 LSTNet模型原理

LSTNet模型[17]的結(jié)構(gòu)如圖7所示。

LSTNet模型使用由卷積神經(jīng)網(wǎng)絡(luò)組成的卷積層來捕捉短期特征和負(fù)荷變量的短期相關(guān)性，由長短期記憶網(wǎng)絡(luò)組成的循環(huán)層和循環(huán)跳躍層捕捉長期特征和負(fù)荷變量的長期相關(guān)性，自適應(yīng)回歸部分由自回歸模型組成，以提高模型的魯棒性。

首先，數(shù)據(jù)輸入到卷積層，用于提取歷史負(fù)荷數(shù)據(jù)和變量之間的短期相關(guān)性。卷積層由多個濾波器組成，第k個濾波器由輸入矩陣X運(yùn)算得到，表達(dá)式定義為

hk=ReLU（Wk*X+bk），（3）

式中：*為卷積運(yùn)算；ReLU為激活函數(shù)；Wk為權(quán)重矩陣；bk為偏置向量。卷積層的輸出矩陣大小為N×T；N為濾波器的數(shù)量；T為向量的長度。

卷積層的輸出作為循環(huán)層和循環(huán)跳躍層的輸入變量。為了解決梯度消失問題，循環(huán)層和循環(huán)跳躍層均由LSTM組成。循環(huán)層使用激活函數(shù)更新隱藏狀態(tài)。在t時刻，循環(huán)層的狀態(tài)計(jì)算如下。

rt=σ（x t Wxr+ht-1 Whr+br），

ut=σ（xt Wxu+ht-1 Whu+bu），

ct=ReLU（xt Wxc+rt?（ht-1 Whc）+b c），

ht=（1-ut）?ht-1+ut?ct。

式中：?表示元素之間相乘；σ表示Sigmod函數(shù)；rt為LSTM的遺忘門；ut為更新門；ht為隱藏層輸出。

LSTM無法捕獲非常長期的相關(guān)性，添加了循環(huán)跳躍層來解決該問題。這是一個具有時間跳躍功能的循環(huán)結(jié)構(gòu)，它擴(kuò)展了輸入序列的時間范圍，簡化了優(yōu)化步驟。具體來說，在相鄰時段中，在當(dāng)前隱藏單元和相鄰時間段的隱藏單元之間添加跳過連接。更新過程可以表示為

rt=σ（x t Wxr+ht-p Whr+br），

c ut=（xt Wxu+ht-p hu+bu，）

式中，p為跳過的隱藏單元數(shù)。

跳過的隱藏單元數(shù)需要作為超參數(shù)預(yù)先設(shè)置，這不利于提取時間序列中的非季節(jié)性特征，因?yàn)殡S著時間推移，周期長度也會相應(yīng)地改變。為了解決這一問題，采用注意力機(jī)制來關(guān)注時間序列中重要性高的特征，為

αt=AttnScore（HtR，hRt-1），（12）

式中：αt為t時刻下的注意力權(quán)重；AttnScore為一些相似的函數(shù)，如點(diǎn)積、余弦；HtR=[h t（R）-q，…，h t（R）-1]為LSTM中的隱藏狀態(tài)的堆疊矩陣。時間注意力層的最終輸出為

h t（D）=W[ct;hRt-1]+b，（13）

式中，h t（D）為加權(quán)向量ct和隱藏狀態(tài)ht（R）-1的串聯(lián)。

通過全連接層結(jié)合循環(huán)層和循環(huán)跳躍層的輸出結(jié)果。卷積層、循環(huán)層和循環(huán)跳躍層組合成一個具有非線性特性的神經(jīng)網(wǎng)絡(luò)。然而，在實(shí)際的負(fù)荷數(shù)據(jù)中，負(fù)荷數(shù)據(jù)通常在峰值附近不斷變化，因此會影響預(yù)測結(jié)果。為了解決峰值不敏感的問題，在LSTNet中，使用自回歸模型作為線性分量，形成自適應(yīng)回歸模塊。自回歸模型表示如下：

h t，（L）i=Σk（q）01 w k（a）ry t-k，i+bar。（14）

式中：ht，（L）i為AR模型的輸出；w k（a）r和bar為模型參數(shù)；qa為輸入矩陣的大小。

最后，將神經(jīng)網(wǎng)絡(luò)和自回歸的結(jié)果結(jié)合起來，輸出最終的預(yù)測值Y（?）t。

Y（?）t=σ（h t（D）+ht（L））。（15）

2.2 LSTNet負(fù)荷預(yù)測模型構(gòu)建

表2為LSTNet模型參數(shù)。歷史負(fù)荷能夠明顯反映負(fù)荷的變化規(guī)律，因此，需要把歷史負(fù)荷值作為短期負(fù)荷預(yù)測模型的輸入特征。歷史負(fù)荷值選取過多或過少都會影響模型的預(yù)測精度，文中時間窗口設(shè)置為4，即選取過去4個時刻的負(fù)荷值作為模型的輸入；由于負(fù)荷數(shù)據(jù)還具有明顯的日周期性，把跳過單元數(shù)設(shè)置為24，即選取前一天同一時刻的負(fù)荷值也作為模型的輸入變量，同時獲取負(fù)荷數(shù)據(jù)的短期關(guān)系和長期關(guān)系。AR窗口尺寸設(shè)置為7，即選取過去7個時刻的負(fù)荷值進(jìn)行線性回歸，以此來解決負(fù)荷數(shù)據(jù)在峰值處不敏感的問題。

3 TabNet-LSTNet負(fù)荷預(yù)測模型

3.1輸入特征選擇

負(fù)荷值由許多因素共同決定，因此，有效地提取和選擇輸入特征是提高模型性能的重要手段。表3為所選用的輸入特征，通過TabNet的順序注意力機(jī)制來實(shí)現(xiàn)特征選擇。

圖8顯示了每個特征的局部重要性，TabNet在第1個和第3個決策步驟之間進(jìn)行特征選擇，顏色越亮表示特征在這個決策步驟中被賦予更大的權(quán)重。

圖9顯示了特征的全局重要性，最高溫度、平均溫度、歷史負(fù)荷值占比較大，而最低溫度、相對濕度、降雨量占比最小，所有特征的重要性相加等于1。因此，把重要性較低的2、4、5號特征刪除，其余特征用作

3.2組合預(yù)測模型

在經(jīng)過TabNet模型篩選特征后，通過滑動窗口構(gòu)建LSTNet模型的輸入數(shù)據(jù)，采用單步預(yù)測的方式預(yù)測當(dāng)前負(fù)荷值。

通過TabNet和LSTNet分別得到預(yù)測結(jié)果后，采用方差-協(xié)方差組合預(yù)測法[18-19]確定2個模型的權(quán)重系數(shù)。假設(shè)2個模型的預(yù)測值分別為y 1和y2，預(yù)測值和真實(shí)值誤差分別為e 1和e2，方差分別為σ1和σ2，組合預(yù)測結(jié)果為

式中：y c為組合預(yù)測結(jié)果；e c為組合預(yù)測誤差；Var（ec）為組合預(yù)測方差；w 1和w2分別為2個模型的權(quán)重系數(shù)。

為了求出合適的權(quán)重系數(shù)，Var（ec）取值應(yīng)最小，可通過拉格朗日乘子法求出w 1和w2的最小值，如式（20）所示。最后，得出組合預(yù)測結(jié)果y c。圖10為組合預(yù)測過程。

4實(shí)驗(yàn)結(jié)果與分析

4.1實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

選取中國廣東省佛山市某地區(qū)2015年1月1日至2016年12月31日每小時的電力負(fù)荷數(shù)據(jù)、對應(yīng)的氣象數(shù)據(jù)和日期相關(guān)數(shù)據(jù)，每天采集24個點(diǎn)，一共17 544條數(shù)據(jù)；按照8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集、測試集。為了驗(yàn)證組合模型的有效性，從測試集中再劃分，前50%的數(shù)據(jù)用于計(jì)算真實(shí)值和預(yù)測值的誤差，為后50%的數(shù)據(jù)提供組合依據(jù)，再用這些數(shù)據(jù)驗(yàn)證模型的預(yù)測精度。

為了避免缺失數(shù)據(jù)對負(fù)荷預(yù)測的不利影響，并考慮負(fù)荷數(shù)據(jù)的隨機(jī)性和特殊性[20]，實(shí)驗(yàn)復(fù)制了前一天同時觀測到的數(shù)據(jù)，以填補(bǔ)缺失值。為了提高預(yù)測的精度和收斂速度，對輸入數(shù)據(jù)和輸出數(shù)據(jù)進(jìn)行歸一化處理：

式中：x（?）（i）為歸一化后的值；xmax和xmin分別為原始樣本數(shù)據(jù)的最大值和最小值。

4.2評價指標(biāo)

采用平均絕對百分比誤差RMAPE（mean absolute percentage error，MAPE）、平均絕對誤差RMAE（mean absolute error，MAE）和均方根誤差RRMSE（root mean square error，RMSE）3個指標(biāo)來評價模型的預(yù)測能力。

RMAPE是實(shí)際負(fù)荷值和預(yù)測負(fù)荷值的絕對誤差之和除以實(shí)際值的平均值，是評估預(yù)測模型可靠性的最常用指標(biāo)。RMAE和RRMSE用于測量預(yù)測負(fù)荷值的總體偏差，它與電力負(fù)荷具有相同的單位，使評估模型的預(yù)測能力變得方便和直接。RMAPE、RMAE和RRMSE的定義如下：

式中：n為預(yù)測樣本數(shù)；yi和y c分別為i時刻的真實(shí)負(fù)荷值和預(yù)測負(fù)荷值。

4.3消融實(shí)驗(yàn)

為了驗(yàn)證所提的自監(jiān)督預(yù)訓(xùn)練和特征篩選的優(yōu)越性進(jìn)行了消融實(shí)驗(yàn)。通過表4的消融實(shí)驗(yàn)誤差可知，TabNet經(jīng)過自監(jiān)督預(yù)訓(xùn)練后，RMAPE、RRMSE和RMAE分別降低了0.47%、41.20 MW、36.02 MW，證明自監(jiān)督預(yù)訓(xùn)練能夠讓模型更有效地學(xué)習(xí)樣本的特征，深入挖掘了不同時刻下輸入特征的重要性，提高模型的性能；LSTNet經(jīng)過特征篩選后，RMAPE、RMAE和RRMSE分別降低了0.37%、43.90 MW、35.59 MW，說明特征篩選讓模型只關(guān)注重要性高的特征，避免了不相關(guān)特征的干擾，有效地提升了預(yù)測性能。

4.4預(yù)測結(jié)果對比分析

為了驗(yàn)證所提出方法的可靠性和有效性，將實(shí)驗(yàn)結(jié)果與其他模型的預(yù)測結(jié)果進(jìn)行比較。由表5可知，LSTNet模型比傳統(tǒng)的LSTM網(wǎng)絡(luò)預(yù)測效果有所提升，RMAPE、RRMSE和RMAE分別下降了1.64%、162.88 MW和113.03 MW；相對于Xgboost、Lightgbm、Catboost這些GBDT模型，TabNet的預(yù)測能力也有顯著提升，RMAPE為1.37%，在所有單一模型中效果最好，說明TabNet模型能更好地表征負(fù)荷數(shù)據(jù)。

由圖11（a）可知，在單一模型中，TabNet模型和LSTNet模型能更好地?cái)M合負(fù)荷曲線。在組合模型中，采用GBDT模型中效果較好的Catboost和LSTNet組合，分別與文獻(xiàn)[13]中的CNN-LSTM模型、文獻(xiàn)[15]中的Lightgbm-LSTM和文中所提出的TabNet-LSTNet模型相比較，TabNet-LSTNet模型的3項(xiàng)指標(biāo)均為最小，分別為1.19%、105.29 MW和78.94 MW；由圖11（b）可知，在負(fù)荷波動較大的峰谷和峰底附近，TabNet-LSTNet模型比其他組合模型更好地?cái)M合負(fù)荷曲線，說明所提出模型能夠充分挖pMJ9RWXoSqDLf8fSpt8ad0HTlRW4cIuENN81Np2PMiU=掘負(fù)荷數(shù)據(jù)規(guī)律和時序信息。

圖12為文中組合模型與單一模型各時刻的預(yù)測誤差對比，與單一的TabNet模型和LSTNet模型相比，TabNet-LSTNet模型的預(yù)測誤差波動更小。在隨機(jī)性和波動性較強(qiáng)的情況下，組合模型有效地降低整體預(yù)測誤差，提高了預(yù)測性能。

表6為TabNet-LSTNet模型和單一模型一天的預(yù)測結(jié)果對比，組合模型的預(yù)測誤差最小，RMAPE、RRMSE和RMAE分別為0.62%、56.33 MW和42.31 MW。該模型充分學(xué)習(xí)了負(fù)荷序列中的依賴關(guān)系，能讓供電部門更好地安排日調(diào)度計(jì)劃，提高經(jīng)濟(jì)效益和安全保障。

5結(jié)束語

為了滿足供電部門對負(fù)荷預(yù)測高精度的要求，提出了一種基于TabNet-LSTNet的短期負(fù)荷預(yù)測模型。通過實(shí)驗(yàn)分析，得出以下結(jié)論。

1）TabNet對影響負(fù)荷預(yù)測的特征具有良好的解釋性，能夠挖掘出每個特征的局部重要性和全局重要性。

2）LSTNet有效地處理時間序列中的線性特征和非線性特征，與傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)相比，能夠獲取相當(dāng)長時間的相關(guān)信息和短期非線性變化規(guī)律。

3）TabNet-LSTNet模型結(jié)合2種方法的優(yōu)點(diǎn)，有效地降低了誤差指標(biāo)，提高了模型的整體預(yù)測性能，為電力系統(tǒng)的穩(wěn)定運(yùn)行提供更有力的保障。

在未來的研究中，可將負(fù)荷預(yù)測應(yīng)用到多個具體的行業(yè)，例如商業(yè)用電、民用用電、工業(yè)用電等，挖掘出每個行業(yè)數(shù)據(jù)特征的規(guī)律，提高全行業(yè)的負(fù)荷預(yù)測準(zhǔn)確率。

參考文獻(xiàn)

［1］焦筱悛，徐青山.電力系統(tǒng)單用戶超短期負(fù)荷預(yù)測算法研究[J].電測與儀表，2020，57（1）：30-35，48.

Jiao X Q，Xu Q S.A new ultra-short-term load forecasting algorithm for single user in power system[J].Electrical Measurement&Instrumentation，2020，57（1）：30-35，48.（in Chinese）

［2］Wang Y Y，Sun S F，Chen X，et al.Short-term load forecasting of industrial customers based on SVMD and XGBoost[J].International Journal of Electrical Power&Energy Systems，2021，129：106830.

［3］López J C，Rider M J，Wu Q W.Parsimonious short-term load forecasting for optimal operation planning of electrical distribution systems[J].IEEE Transactions on Power Systems，2019，34（2）：1427-1437.

［4］Massaoudi M，Refaat S S，Chihi I，et al.A novel stacked generalization ensemble-based hybrid LGBM-XGB-MLP model for Short-Term Load Forecasting[J].Energy，2021，214：118874.

［5］Fang J L，Xing Y，F(xiàn)u Y，et al.Rural power system load forecast based on principal component analysis[J].Journal of Northeast Agricultural University（English Edition），2015，22（2）：67-72.

［6］Ji P R，Xiong D，Wang P，et al.A study on exponential smoothing model for load forecasting[C]//2012 Asia-Pacific Power and Energy Engineering Conference，Shanghai，China.IEEE，2012：1-4.

［7］Zhu X H，Shen M.Based on the ARIMA model with grey theory for short term load forecasting model[C]//2012 International Conference on Systems and Informatics（ICSAI2012），Yantai，China.IEEE，2012：564-567.

［8］徐晴，周超，趙雙雙，等.基于機(jī)器學(xué)習(xí)的短期電力負(fù)荷預(yù)測方法研究[J].電測與儀表，2019，56（23）：70-75.

Xu Q，Zhou C，Zhao S S，et al.Research on short-term power load forecasting method based on machine learning[J].Electrical Measurement&Instrumentation，2019，56（23）：70-75.（in Chinese）

［9］蔣敏，顧東健，孔軍，等.基于在線序列極限支持向量回歸的短期負(fù)荷預(yù)測模型[J].電網(wǎng)技術(shù)，2018，42（7）：2240-2247.

Jiang M，Gu D J，Kong J，et al.Short-term load forecasting model based on online sequential extreme support vector regression[J].Power System Technology，2018，42（7）：2240-2247.（in Chinese）

［10］Ertugrul?F.Forecasting electricity load by a novel recurrent extreme learning machines approach[J].International Journal of Electrical Power&Energy Systems，2016，78：429-435.

［11］Huang N T，Lu G B，Xu D G.A permutation importance-based feature selection method for short-term electricity load forecasting using random forest[J].Energies，2016，9（10）：767.

［12］Kim Y，Son H G，Kim S.Short term electricity load forecasting for institutional buildings[J].Energy Reports，2019，5：1270-1280.

［13］陸繼翔，張琪培，楊志宏，等.基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的短期負(fù)荷預(yù)測方法[J].電力系統(tǒng)自動化，2019，43（8）：131-137.

Lu J X，Zhang Q P，Yang Z H，et al.Short-term load forecasting method based on CNN-LSTM hybrid neural network model[J].Automation of Electric Power Systems，2019，43（8）：131-137.（in Chinese）

［14］孫超，呂奇，朱思曈，等.基于雙層XGBoost算法考慮多特征影響的超短期電力負(fù)荷預(yù)測[J].高電壓技術(shù)，2021，47（8）：2885-2898.

Sun C，LüQ，Zhu S T，et al.Ultra-short-term power load forecasting based on two-layer XGBoost algorithm considering the influence of multiple features[J].High Voltage Engineering，2021，47（8）：2885-2898.（in Chinese）

［15］陳緯楠，胡志堅(jiān)，岳菁鵬，等.基于長短期記憶網(wǎng)絡(luò)和LightGBM組合模型的短期負(fù)荷預(yù)測[J].電力系統(tǒng)自動化，2021，45（4）：91-97.

Chen W N，Hu Z J，Yue J P，et al.Short-term load prediction based on combined model of long short-term memory network and light gradient boosting machine[J].Automation of Electric Power Systems，2021，45（4）：91-97.（in Chinese）

［16］Arik S?，Pfister T.TabNet：attentive interpretable tabular learning[J].Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（8）：6679-6687.

［17］Lai G K，Chang W C，Yang Y M，et al.Modeling long-and short-term temporal patterns with deep neural networks[EB/OL].2017：arXiv：1703.07015.http：//arxiv.org/abs/1703.07015.

［18］朱國森.基于Stacking與Prophet組合模型的短期電力負(fù)荷預(yù)測[D].淮南：安徽理工大學(xué)，2021.

Zhu G S.Short-term power load forecasting based on the combined model of stacking and prophet[D].Huainan：Anhui University of Science&Technology，2021.（in Chinese）

［19］唐祥玲，王平，李思岑，等.基于方差-協(xié)方差組合預(yù)測的中長期電力負(fù)荷預(yù)測研究[J].電氣技術(shù)，2015（1）：15-18.

Tang X L，Wang P，Li S C，et al.Research on medium and long-term electric load forecasting based on variance-covariance combined model[J].Electrical Engineering，2015（1）：15-18.（in Chinese）

［20］Wang Y Y，Chen J，Chen X Q，et al.Short-term load forecasting for industrial customers based on TCN-LightGBM[J].IEEE Transactions on Power Systems，2021，36（3）：1984-1997.

（編輯呂建斌）