基于分量感知動態圖Transformer的短期電力負荷預測

摘 要：準確的短期負荷預測對于電力系統的穩定運行和有效調度至關重要。電力負荷數據因存在非線性、非平穩性而導致預測精度低。分解可以降低序列非平穩性的影響從而有效地提高預測精度，但現有分解預測方法缺乏對分解分量間關系的捕獲且顯著增加了預測時間。為此，提出分量感知動態圖Transformer（component-aware dynamic graph Transformer，CDGT）模型。首先，引入聯合對立選擇（joint opposite selection，JOS）算子和隨機擾動改進雪消融優化算法（snow ablation optimizer，SAO），使用聯合搜索和隨機擾動的SAO（jointly searched and stochastic perturbed SAO，JSSAO）對變分模態分解（variational mode decomposition，VMD）進行參數尋優。VMD對原始的負荷數據進行分解得到不同頻率的分量序列，然后使用圖神經網絡（graph neural network，GNN）來識別和建模分量之間的復雜關系。同時，使用引入頻域指數滑動平均（exponential moving average，EMA）注意力的Transformer來學習分量內部的依賴關系。一次輸出所有分量結果，線性相加后得到負荷預測值。通過兩個公開負荷數據集的實驗表明，CDGT優于一系列先進的基線以及分解預測方法，在澳大利亞數據集和摩洛哥數據集上，MAE分別降低了5.51%～31.08%和15.02%～75.49%。

關鍵詞： 短期負荷預測； 雪消融優化算法； 變分模態分解； GNN關系建模； 注意力機制

中圖分類號： TP391 文獻標志碼： A 文章編號： 1001-3695（2025）02-008-0381-10

doi： 10.19734/j.issn.1001-3695.2024.07.0231

Short-term power load forecasting based on component-aware

dynamic graph Transformer

Zhu Li¹， Gao Jingkai^1’， Zhu Chunqiang^{2， 3}， Deng Fan¹

（1. School of Computer Science amp; Technology， Xi’an University of Science amp; Technology， Xi ’an 710054， China; 2. School of Computer Science amp; Technology， Xi ’an Jiaotong University， Xi ’an 710049， China; 3. State Grid Shaanxi Electric Power Company Training Center， Xi ’an 710032， China）

Abstract：Accurate short-term load forecasting is vital for power system stability and scheduling， but the nonlinearity and nonstationary of power load data often reduce prediction accuracy. Decomposition can alleviate nonstationary， improving accuracy， yet existing methods struggle to capture relationships between components and increase prediction time. To address this issue， this paper introduced the component-aware dynamic graph Transformer （CDGT） model. It enhanced the snow ablation optimizer （SAO） with a joint opposite selection （JOS） operator and stochastic perturbation， resulting in a jointly searched and stochastic perturbed SAO （JSSAO） for optimizing variational mode decomposition （VMD）. VMD decomposed load data into frequency-based components. GNN modeled relationships between components， while a Transformer with exponential mo-ving average （EMA） attention captured internal dependencies. The model outputted all components in one step， with the final load forecast obtained by summing these components. Experiments on two public datasets show that CDGT outperforms advanced baselines， reducing MAE by 5.51%～31.08% on the Australian dataset and 15.02%～75.49% on the Moroccan dataset.

Key words：short-term load forecasting; snow ablation optimizer; VMD; GNN relationship modeling; attention mechanism

0 引言

精確的電力負荷預測是規劃和運行電力系統的關鍵因素。在現代電力系統中，電力負荷的波動性和不確定性使得精確預測成為保障電網安全可靠運行的基礎。短期負荷預測能夠提供未來幾小時到幾天內的電力需求信息，使調度中心合理安排發電計劃、優化資源配置，并及時應對突發事件。此外，負荷預測對電力市場運營也至關重要，有助于合理定價和風險管理^［1］。然而，由于電力負荷序列的非平穩性和非線性特征，使得負荷預測極具挑戰性。

序列分解算法能夠有效降低原始信號的非平穩性，并挖掘出隱藏特征，從而提升對原始序列的預測性能^［2］。分解后的子序列會變得更加平滑，使得深度學習模型更容易捕捉這些子序列內部的模式。在眾多序列分解算法中，變分模態分解（variational mode decomposition，VMD）算法^［3］因其自適應性強、抗噪能力好、非遞歸且數值穩定等優勢而廣受研究人員青睞。VMD能夠有效地分解復雜且非線性強的時間序列，生成多個頻率不同且相對平穩的子序列，非常適合處理非平穩序列。然而，VMD的參數設置是基于經驗的，例如分解層數和懲罰因子，這些參數可能并非最優，從而可能影響分解的有效性。元啟發式優化算法（metaheuristic algorithms，MAs）已廣泛應用于解決各個科學領域的眾多復雜工程問題^［4］。基于群體智能的算法作為其中的一個分支，通過模擬種群之間的協作或信息交換，迭代更新以接近最優解，最終鎖定全局最優解。因此，使用群體智能優化算法對VMD進行參數優化的方法得到了廣泛應用^［5］。Duan等人^［6］利用麻雀搜索算法（sparrow search algorithm，SSA）優化VMD中的分解個數和懲罰因子，提高了電力負荷的分解效果。雪消融優化算法（snow ablation optimizer，SAO）^［7］作為一種新型的基于物理的群體智能算法，表現出良好的性能。然而，其在局部和全局搜索之間仍存在不平衡之處，導致算法的搜索能力不足。因此，本文在此基礎上提出了使用聯合搜索和隨機擾動改進的JSSAO，通過多種改進策略進一步提升了算法性能，并將其應用于VMD的參數優化，提高了分解效果，降低了負荷序列波動性和隨機性對預測精度的影響。

基于序列分解算法的混合模型的構建思路通常為：首先使用選定的分解算法將序列分解為若干分量；然后對每個分量分別使用預測模型進行建模；最后將各個預測結果進行求和匯總作為最終輸出^［8］。Wang等人^［9］使用VMD將時間序列分離為不同分辨率的平穩分量序列，采用改進的門控循環單元（gated recurrent unit，GRU）預測每個固有模態函數（intrinsic mode functions， IMF），通過合并每個分量的預測結果得到最終的負荷預測。由于這種建模方法需要為每個分量構建一個預測模型，所以計算成本較高。部分研究根據子序列的復雜度或相似性進行分類，并對每一組序列進行求和，形成新的若干序列，以此來降低計算成本^［10］。Li等人^［11］使用自適應噪聲完全集合經驗模態分解（complete ensemble empirical mode decomposition with adaptive noise，CEEMDAN）將原始負荷分解為一系列分量序列，通過樣本熵值（sample entropy，SE）將分量重構為波動分量和趨勢分量，并分別對其進行預測，提高了負荷預測的準確性，降低了運算規模。然而，相較于原始模型，這些方法仍然增加了數倍的計算時間，并且由于分量是單獨輸入模型分別進行預測，所以缺乏對序列間關系的提取。分解后的各個分量之間可能存在復雜的非線性關系，這些關系無法通過簡單的線性方法或傳統神經網絡捕捉到。因此，本文提出一種基于GNN的分量感知動態圖的關系建模方法，該方法不僅能有效建模序列間依賴關系，并且結合Transformer可以一次輸出所有分量結果，極大地減少了計算成本。

基于上述分析，目前電力負荷預測任務中存在兩個難點：a）序列分解算法VMD常用來降低負荷序列非平穩性對預測的影響，但其分解參數的確定對于提升分解質量至關重要；b）基于序列分解算法的混合模型通常對每個分量單獨進行預測。然而，這種方法不僅預測效率低下，且忽視了分量間的潛在聯系，這可能導致信息丟失和模型性能的下降。

針對以上問題，本文提出了分量感知動態圖Transformer（CDGT）模型，首先通過JSSAO-VMD對序列形成更有效的分解，然后通過利用注意力機制以端到端的形式學習多個分量序列之間的相關性，有效地推斷潛在的圖結構，并使用GNN通過圖結構來完成跨序列的不同時間模式的建模。同時采用通道獨立輸入表示，利用Transfomer建模序列內部依賴。通過在Transformer 框架內融合GNN，有效建模序列間依賴關系和序列內部依賴關系，提高預測精度。而且一次輸出所有預測結果，線性相加后得到負荷預測值，顯著提高了計算效率。CDGT模型的預測總體流程如圖1所示。

本文的創新與主要貢獻點如下：

a）提出JSSAO-VMD的序列分解算法。使用多種策略增強SAO的局部及全局搜索能力，用于VMD優化，增強了分解效果，降低了序列非平穩性和非線性對預測的影響。

b）提出了分量感知動態圖的序列關系構建方法。該方法使用注意力機制自動學習序列間的依賴關系圖。然后通過GNN來有效地建模時間序列間的潛在關系。

c）將通道獨立的思想引入Transformer中，避免無效的特征混合，并結合指數滑動平均（exponential moving average，EMA）注意力來更有效地建模序列內部依賴。

d）提出一個新的電力負荷預測模型 CDGT。實現了負荷序列分解后各個分量的關系提取和同時預測，提升了預測精度，而且還顯著降低了計算成本。

1 相關工作

1.1 傳統的負荷預測方法

在很長一段時間里，自回歸積分移動平均（autoregressive integrated moving average，ARIMA）^［12］、指數平滑法（exponential smoothing，ETS）^［13］等傳統的統計模型被廣泛使用。盡管這些方法在統計學上具有解釋性，但它們的適應性較差，且在捕捉非線性關系方面存在局限。

機器學習方法可以很好地處理非線性數據，從而提升了模型的預測表現。機器學習算法包括支持向量機（support vector machine，SVM）^［14］、極限梯度提升（extreme gradient boosting，XGBoost）^［15］等。然而，機器學習在提取時間序列數據特征方面效率不高，同時泛化能力不足，容易出現過擬合問題，難以取得理想的預測效果。近年來，深度學習因其卓越的數據表示能力在負荷預測領域備受關注，許多深度神經網絡在負荷預測中得到了廣泛應用^［16］。遞歸神經網絡（recurrent neural network，RNN）^［17］是為處理序列數據而設計的。Smyl等人^［18］提出配備新型擴張循環單元的多層RNN，通過有效地模擬時間序列中的短期和長期依賴關系，提高了負荷預測的性能。長短期記憶網絡（long short-term memory network，LSTM）^［19］緩解了RNN的梯度消失和梯度爆炸問題，可以更好地學習和保持長時間依賴的信息。GRU^［20］對LSTM內部的結構進行了簡化， 獲得了更高的計算效率和收斂速度。盡管這些方法可以捕捉時間序列中的非線性和復雜模式，并實現泛化和信息提取，但它們都未明確考慮序列之間的依賴關系。

1.2 基于Transformer的負荷預測方法

在深度學習模型中，Transformer在多個應用領域取得了顯著成功^［21］。其注意力機制能夠自動學習序列中元素之間的關系，因此非常適合序列建模任務。然而，許多基于Transformer的模型主要關注時間依賴性，通常通過線性變換將不同序列合并到隱藏的時間嵌入中^{［22，23］}。在這些時間嵌入中，序列間的依賴關系未被顯式建模，導致信息提取效率不高。并且有研究發現，這種通道混合嵌入方法會導致快速過擬合，因此，Nie等人^［24］提出了通道獨立的Transformer建模方法。每個通道包含一個單變量時間序列，所有序列共享相同的基于patch的嵌入，從而顯著提升了預測性能。然而，通道獨立建模缺乏對序列間關系的建模能力，無法有效利用序列數據之間的相互作用和依賴關系。

1.3 多變量相關性建模方法

在多變量時間序列數據中，每個組成變量的時間序列往往在其趨勢上表現出不同的變化。不同變量之間存在錯綜復雜的相互作用和相關性。LSTNet^［25］使用CNN提取序列間的依賴性。MTGNN^［26］利用圖形卷積層來建模序列依賴性。Crossformer^［27］采用變量維度的注意力捕獲序列間的依賴性。通過序列間關系的建模，提高了時間序列預測的精度。在深度學習方法中，圖神經網絡（graph neural network，GNN）已被成功用于關系建模^［28］。何婷等人^［29］使用時空位置注意力的圖神經網絡，通過有效捕捉交通節點的空間依賴關系，提高了預測的準確率。使用GNN可以很好地聚合來自相鄰節點的信息并探索時間序列之間的依賴關系。

2 JSSAO-VMD分解算法

2.1 變分模態分解

VMD作為一種非遞歸且自適應的信號處理算法，主要用于從信號中分離出一組本征模態分量。該算法通過迭代過程使每個模態的頻譜圍繞一個自適應調整的中心頻率緊密集中，有效防止模式混疊，并表現出顯著的抗噪能力。VMD在分析非線性和非平穩信號方面尤為有效。其基本原理可以轉換為變分問題的求解，構造的約束模型如下所示。

min_{uk，ωk}∑Kk=1‖?_tδ（t）+jπt×u_k（t）e^－jωkt‖22

s.t. ∑Kk=1u_k（t）=f（1）

其中：u_k表示模態分量；w_k是中心頻率；?_t為偏導運算符；δ（t）為狄拉克函數。

通過在式（1）中引入拉格朗日乘法算子λ（t）和二次懲罰因子α，轉換為非約束變分模型：

L（{u_k}，{ω_k}，λ）=α∑Kk=1‖?_tδ_t+jπt×u_k（t）e^－jωkt‖22+

‖f（t）－∑Kk=1u_k（t）‖22+〈λ（t），f（t）－∑Kk=1u_k（t）〉（2）

通過交替方向乘子法（alternating direction method of multipliers，ADMM）求解式（2），相應地更新模態函數和中心頻率，公式如下所示。

ⁿ⁺¹_k（ω）=（ω）－∑i≠k_i（ω）+（ω）21+2α（ω－ω_k）²（3）

ωⁿ⁺¹_k=∫^∞₀ω|_k（ω）|²dω∫^∞₀|_k（ω）|²dω（4）

當模態分量滿足以下條件時，ADMM算法收斂，上述迭代過程終止：

∑Kk=1‖ⁿ⁺¹_k－ⁿ_k‖22‖ⁿ_k‖22lt;ε（5）

其中：ε為給定的判定精度。

然而，VMD需要預先確定信號的分解層數K和懲罰因子α。選擇合適的K值可以避免信息丟失或過度分解；而適當的α值能幫助精確分離緊鄰的頻率成分，防止模態間的重疊。因此，確定最佳的參數組合［K，α］是必要的。為此，本文提出一種基于改進SAO算法的自適應變分模態分解方法，用于優化 VMD參數選擇。

2.2 改進的雪消融優化算法

SAO是一種于2023年提出的新一代全局優化算法，基于雪的升華和消融行為。該算法具有強大的尋優能力和快速的收斂速度。然而，原始的SAO算法在初期隨機初始化時會形成分布不均勻的種群，導致種群多樣性下降。隨著迭代次數的增加，種群質量以及算法的全局勘探和局部探索能力不斷減弱，使得算法容易陷入局部最優。為此本文在此算法基礎上引入佳點集對種群進行初始化，增加初始種群多樣性，并在迭代過程中引入聯合對立選擇（joint opposite selection，JOS）^［30］算子和隨機擾動，跳出可能陷入的局部最優陷阱，提高VMD的分解效果，其具體優化機制如下：

a）佳點集初始化種群，提升解的初始質量。設G_S是S維歐氏空間的單位立方體，r∈G_S，P_n（k）=（{r^（n）₁·k}，{r^（n）₂·k}，…，{r^（n）_S·k}），其中1≤k≤n，偏差為φ（n）=C（r，ε）n^－1+ε，C（r，ε）是只與r、ε有關的常數，則稱P_n（k）為佳點集，r為佳點。取r={2cos（2πk/p），1≤k≤S}，p是滿足（p－3）/2≥S的最小素數。通過在S維空間的單位立方體中創造一個均勻點集，并將點集映射到個體的初始種群上。

b）全局探索階段。在這一階段，算法采用高斯布朗運動來模擬雪或雪消融后的水轉變為蒸汽時的不規則運動，使搜索代理具有高度分散的特性，從而能夠更好地探索潛在區域。位置更新公式如下：

其中：Z_i（t）表示第t次迭代期間的第i個個體；BM_i（t）為基于表示布朗運動的高斯分布的隨機數向量；符號表示逐項乘法；θ₁表示數字 ［0，1］的隨機數；G（t）表示當前最優解；Elite（t）是從群體中的幾個精英中隨機選擇的個體；Z（t）表示整個群體的質心位置。

c）局部開發階段。在該階段，主要通過度日法模擬雪融過程，鼓勵搜索代理在當前最優解附近尋找高質量的解決方案。位置更新的公式如下：

其中：θ₂表示［-1，1］隨機數；M為度日法融雪模型，其公式為

M=0.35+0.25×e^t/t_max－1e－1×e^－t/t_max（8）

其中：t_max為迭代次數的上限。

d）雙重種群機制。在SAO算法中，為了平衡探索和開發兩個階段，引入了雙種群機制。算法初始階段，將整個種群隨機分為兩個相等的子種群，分別負責探索和開發。隨著迭代的推進，探索種群的規模逐漸增加，而開發種群的規模相應縮小，以達到解決方案空間的平衡。

e）在探索和開發的種群位置更新方式中添加隨機擾動，以平衡種群內部的搜索。

其中：rand表示［0，1］的隨機數；N_a為探索的種群大小；N_b為開發的種群大小。

f）引入聯合對立選擇算子平衡探索和開發階段。JOS是一種新的基于對立的學習技術，可以提高SAO在搜索空間中的性能和效率。其結合了動態對抗（dynamic opposite，DO）和選擇性領先對抗（selective leading opposition，SLO）。

DO使用隨機跳轉策略（random jump strategy，RJS），通過在搜索空間中動態且不對稱地移動來擴大搜索范圍，從而避免陷入局部最優點的陷阱。

X=LB+UB－X（11）

X_r=rand（X）（12）

X_do=X+rand（X_r－X）（13）

其中：X是當前位置；X是對立位置；X_r是一個隨機對立位置；X_do是基于對立位置差異的新位置。

SLO使用斯皮爾曼等級相關系數（Spearman’s rank correlation coefficient）來計算所選代理位置與最佳解決方案位置之間的相關性。如果計算結果小于零或為負，則表明符合條件的搜索代理位置是相反的。

dd_j=|x_ibest， j－x_{i， j}|（14）

src=1－6×∑j=1（dd_j）²dd_j×（dd²_j－1）（15）

X_dc=LB_dc+UB_dc－X_dc（16）

其中：dd_j表示每個維度的差分距離；src是斯皮爾曼等級相關系數；X_dc是基于SLO的新位置。

圖2顯示了JOS嵌入SAO后的算法流程，其中nFE為當前函數求值的次數，maxFE為最大函數求值次數。

2.3 適應度函數

全局優化算法需要依賴適應度函數這一標準來調整參數，并以此評估參數組合的優劣。因此，適應度函數的選擇至關重要。包絡熵能夠有效度量信號的復雜度和噪聲，且具有較低的計算復雜度。因此，采用包絡熵的極小值作為適應度函數。包絡熵的計算公式如下：

E_p=－∑mj=1p_j lg p_j（17）

其中：p_j=a（j）/∑mj=1a（j），m為樣本數；a（j）是IMF分量經過希爾伯特變換后得到的包絡信號。

3 分量感知動態圖Transformer模型

準確地預測多變量時間序列（multivariate time series，MTS）需要精確建模復雜的模式，包括序列間的依賴關系和序列內的變化。本文對基于時間序列分解的預測方法進行了改進，將分解后多分量的時間序列預測看作是多變量的時間序列預測，通過結合GNN的序列間關系建模能力和Transformer強大的序列內建模能力，同時建模分量間的依賴關系和分量內的變化，來提高預測精度。利用Transformer一次輸出所有分量的預測結果來提高預測效率。

3.1 圖神經網絡

為了更有效地識別和建模序列之間的復雜關系，通過圖來表示MTS中的序列間依賴關系。從圖的角度來看，MTS中的不同序列被視為節點，序列之間的關系通過圖鄰接矩陣來描述。將時間序列建模為一個信號集G={V，X，}，節點集V中包含C組MTS數據，其中∈?^C×C是一個加權鄰接矩陣，通過注意力機制學習得到。本文采用全局token來封裝序列信息^［31］，然后使用GNN通過學習到的圖結構來建模序列間的依賴關系。

3.1.1 動態圖學習

在模型中，鄰接矩陣以端到端的方式進行學習，并采用注意力機制自動發現MTS內部的潛在相關性，具備良好的可解釋性。這種方法允許模型通過數據驅動的方式作用于特定任務，在無須先驗知識的情況下捕捉跨序列的關系。通過計算序列間注意力的相似度得分，該方法能夠捕捉不同輸入序列之間的關聯信息。通過計算，輸出矩陣作為圖的鄰接權值矩陣，公式如下：

Q=HW^Q， K=HW^K， =softmaxQK^TD（18）

其中：H∈?^N×D對應節點嵌入；Q和K分別為查詢和鍵的表示，通過線性投影計算得到；D為其隱藏維度大小。

3.1.2 全局消息令牌和圖消息傳遞

為了增強序列信息的交互，對于每個序列，通過預插入的可學習令牌封裝全局的信息。在嵌入的序列X∈?^C×L引入M個token，表示每個序列的聚合信息，得到長度為M+L的有效輸入token序列，通過線性投影和位置嵌入得到最終嵌入X∈?^{C×（M+L）×D}。

在Transformer的編碼器中，在自注意力層后通過迭代地進行圖信息傳遞，將所有序列預嵌入token中的信息G_i←X_{：，i，：}∈?^C×D（i≤M）提取出來，并和學習到的圖鄰接矩陣一起傳遞到GNN進行圖聚合，將每個序列的信息與相鄰序列的信息融合。然后每個處理后得到的嵌入G^_i都被分派到其原始序列，通過連接產生增強圖嵌入X^。GNN的消息傳遞過程如圖3（a）所示，采用了文獻［26］的圖多跳信息融合形式：

G^_i=∑Dd=0A^dG_iW_d （19）

其中：D表示圖聚合的深度；A是圖拉普拉斯矩陣；i為小于等于M的值。

3.2 Transformer

Transformer利用自注意力機制來計算序列中每個位置的依賴關系，可以直接關注序列中任意位置的依賴關系，而無須像RNN那樣逐步傳遞信息。這使得它在處理長距離依賴關系時特別有效。自注意力機制能夠同時關注輸入序列的多個部分，使得Transformer能夠捕獲更豐富的上下文信息，從而生成更好的特征表示。結合通道獨立的輸入表示可以使Transfor-mer更加關注于序列內部依賴關系的建模。

3.2.1 通道獨立的輸入表示

本文采用通道獨立的建模范式對輸入數據進行處理，避免輸入變量間無效的特征混合。具體過程如下：

輸入多變量序列（X₁，…，X_L）被拆分為C個單變量序列X^（i）∈?^1×L，其中i=1，…，C，每個拆分出來的單變量序列X^（i）被獨立地輸入到Transformer模型中進行處理，每個輸入的單變量序列被視為一個獨立的通道。Transformer通過對權重進行共享可以并行處理通道，通過以下的形式轉換可以高效地實現計算：

對于一個輸入張量大小為X∈?^B×C×L的批次數據，通過patch操作生成X_patch∈?^B×C×P×N的4D張量，通過重新排列張量形成大小為X_reshaped∈? ^{（B×C）×P×N}的3D張量。然后輸入Transformer中進行處理。其中，patch劃分的操作為：設patch長度為P，步幅即兩個連續patch之間的非重疊區域為S。經過劃分后，每個時間序列變為一個長度為P的序列X^（i）_p∈?^P×N，其中N=?（L－P）/S」+2。通過使用patch，輸入令牌的總數從L減少到大約L/S。因此，注意機制的內存使用量和計算復雜度降至O（N²/S²）。

3.2.2 編碼器模塊

編碼器部分使用一個普通的Transformer編碼器，通過將輸入X映射到d維的Transformer隱藏維度，并使用一個可學習的加性位置編碼來使模型能夠更好地理解輸入序列的順序：

p^（i）_t=sin（w_k·t）

if i=2k

cos（w_k·t）if i=2k+1（20）

其中：頻率w_k=1/（10 000^2k/d）；d代表向量維度數。

最終得到X_d=W_pX_p+W_pos，其中W_p∈?^d×P為可訓練的線性投影，W_pos∈?^d×N代表位置信息。將其輸入到Transformer的編碼器中，經過一個多頭自注意力層線性投影到不同的表示子空間，得到查詢向量、鍵向量和值向量Q、K、V。

為了更好地處理序列內部短期和長期的多尺度特征，通過采用經典的EMA方法，在查詢和鍵token上引入歸納偏差^［22］，每個查詢token能夠對最近的鍵token獲得更高的關注分數，從而捕捉到隨時間呈指數衰減的依賴關系。這種方法強調局部依賴并限制遠程依賴，使得輸出更加穩健，并提高了準確性。具體的方法如下：

Attention（Q，K，V）=softmax（QK^Td）V（21）

其中：Q、K為經過EMA處理后的查詢向量和鍵向量的表示。

EMA基于查詢的相對滯后時間來構建關注分數，其計算公式如下所示。

y_t=αx_t+（1－α）y_t－1（22）

其中：x_t代表輸入序列；y_t代表輸出序列；α代表平滑參數。Wang等人^［32］指出，EMA參數從固定到可學習對性能影響不大，但顯著增加了訓練時間。因此，本文采用固定的EMA參數。

本文在頻域計算EMA，通過將其表示為n個獨立的卷積，可以使用快速傅里葉變換（fast Fourier transform，FFT）高效地計算，對長度為L的回望窗口實現了O（L log L）的復雜度。頻域EMA注意力的機制如圖4所示。

經過自注意力計算后，通過層歸一化和殘差連接的前饋網絡進行處理得到編碼器層的特征表示。通過線性預測頭得到預測的結果，其過程為：對于編碼器層的輸出Z∈?^B×C×L×d，通過合并后兩個維度形成新的向量Z′∈?^{B×C×（L×d）}，對每一個通道通過全連接的神經網絡應用線性變換映射到預測的目標窗口大小H，得到最終輸出結果的表示Z∈?^B×C×H。Transformer建模過程如圖3（b）所示。

3.2.3 基于信號衰減的損失函數

在使用簡單均方誤差（mean squared error，MSE）進行損失預測任務時，不同時間步長的誤差權重是相等的。然而，由于歷史信息與遠期觀測值的相關性通常低于與近期觀測值的相關性，所以近期損失對模型泛化性能的提升更為顯著。為了緩解對噪聲信息的過擬合問題，引入了一個基于信號衰減的損失函數^［32］，通過信號衰減來增強模型對近期預測的關注能力。其形式為

min_EA1L∑Ll=1l^－1/2‖_t+1－a_t+1‖₁（23）

其中：和a分別代表L步長中每個時間點的預測值和真實值。

4 實驗結果與分析

4.1 數據集描述

本文采用了兩個真實的電力負荷數據集進行實驗，分別是澳大利亞電價和電力負荷數據集以及摩洛哥得土安市電力負荷數據集。澳大利亞數據集的時間為2009年1月1日～2010年12月31日，采樣間隔為0.5 h，共計35 040個負荷數據點。此外，還記錄了該地區的天氣狀況，包括干球溫度、露點濕度、濕球溫度、濕度和電價信息。摩洛哥數據集涵蓋了2017年1月1日～2017年12月30日，采樣間隔為10 min，共計52 416個負荷數據點，同時包含了溫度、濕度、風速和擴散流的信息。兩個數據集的負荷序列的趨勢曲線如圖5所示。

4.2 實驗設置和評價指標

所有實驗均使用PyTorch進行，并在NVIDIA RTX 3080 Ti 12 GB GPU上運行。在澳大利亞數據集上，預測長度H=336；在摩洛哥數據集上，預測長度H=720。回看窗口都是L= 96。CDGT模型的全局令牌長度為3，patch長度P=16，步幅S=8，EMA的平滑參數α=0.5。其他具體實驗參數如表1所示。

誤差指標選用了平均絕對誤差（mean absolute error，MAE）、均方根誤差（root mean squared error，RMSE）和平均絕對百分比誤差（mean absolute percentage error，MAPE）等，從多個角度評估模型的預測性能。具體計算公式如下：

e_MAE=1N∑Ni=1|y_i－_i|（24）

e_RMSE=1N∑Ni=1（y_i－_i）²（25）

e_MAPE=1N∑Ni=1y_i－_iy_i（26）

其中： y_i和_i分別表示原始數據的實際值和預測值；N為預測點的數量。

4.3 數據預處理

將JSSAO-VMD應用于電力負荷數據中，JSSAO的種群數量設為20，最大迭代次數為10次，適應度函數為最小包絡熵，VMD參數K的尋優范圍為［3，10］，α的尋優范圍為［1 000，3 000］。經過迭代，澳大利亞數據集上的優化參數為K=9，α=2 076，摩洛哥數據集上的優化參數為K=6，α=1 102。部分分解結果及其對應的譜圖如圖6所示。由圖6可以看出，VMD將復雜的電力負荷序列分解為不同中心頻率的模態分量，降低了負荷序列的復雜性和隨機性。

為了確保更好的訓練效果并消除不同量綱的影響，對輸入序列進行了標準化處理。這包括去除均值和縮放方差，將所有數據歸一化為均值為0、方差為1的分布。為了得到更加合理的預測結果，標準化后的數據按7∶2∶1的比例分為訓練集、測試集和驗證集。

4.4 JSSAO算法性能測試

為了驗證JSSAO算法的優越性和合理性，選用了IEEE CEC2017^［33］的部分函數作為對比的功能測試集，如表2所示。這一函數集合由一個單峰函數、一個多峰函數、兩種混合函數以及四個組合函數組成，以全面評估每種算法在不同優化問題下的性能。本文選取了天鷹優化算法（aquila optimizer，AO）^［34］、鯨魚優化算法（whale optimization algorithm，WOA）^［35］、麻雀搜索算法^［6］、哈里斯鷹優化算法（harris hawks optimization，HHO）^［36］、算術優化算法（arithmetic optimization algorithm，AOA）^［37］和雪消融優化算法^［7］作為對比算法。將所有群智能算法的起始種群大小設置為30，最大評估次數設置為1 000次，函數維度為10。在此基礎上分別進行20次比較實驗，以保證實驗的公平性。所有實驗都是在Intel^? Core^TM i7-12700H CPU @2.30 GHz的Windows 11 64位操作系統下使用MATLAB R2023a軟件完成。

圖7顯示了所選取的七種優化算法在8個測試函數上的收斂曲線，并將迭代后期的收斂曲線進行了放大。由圖7可以看出，SAO原始算法在6個函數上表現出次優的性能，體現出不錯的尋優能力。而JSSAO在八種測試函數中的尋優結果均優于其他六種算法，在優化搜索的后期階段，JSSAO也能更新為更優的解決方案。這證明了本文所述改進策略的有效性，改進后的算法具備較強的全局搜索能力和跳出局部最優的能力，并且表現出良好的穩定性。

4.5 預測結果對比分析

4.5.1 消融實驗分析

為了確定CDGT中不同模塊的影響，本文在澳大利亞數據集上進行了針對圖分量感知、通道獨立、EMA注意力和信號衰減損失函數的消融研究。表3列出了一系列消融研究，整體上最好的結果以粗體顯示。由表3可見，刪除CDGT中的任何一個子模塊都會導致誤差增加，說明每個模塊都有其獨特的影響。圖分量感知和通道獨立的影響尤其顯著，忽略它們會顯著降低預測精度。具體來說，MAE分別增大了8.75%和5.04%，RMSE分別增大了4.87%和3.90%，MAPE分別增大了10.53%和5.30%。這凸顯了提取分量間關系和通道獨立處理序列以避免特征無效融合的重要性，其次是EMA注意力和信號衰減的損失函數。融合所有模塊的CDGT模型取得了最低的誤差指標，驗證了模型組件的有效性。

表4列出了CDGT和SCDGT在多個數據集上的計算開銷。由表4可見，盡管兩者占用的內存差異不大，CDGT的計算時間卻顯著低于SCDGT。具體而言，CDGT在澳大利亞數據集上的計算時間減少了81.15%，在摩洛哥數據集上減少了79.52%。由此可見，CDGT相較于SCDGT能夠大幅降低計算成本。

為了驗證天氣變量和不同分解方式對預測效果的影響，本文在澳大利亞數據集上采用CDGT模型分別對以下不同處理方式進行了對比：僅負荷序列輸入、分量和天氣變量分別輸入、單個分量分別輸入、分量一起輸入。其中分量為經JSSAO-VMD分解得到的序列。圖8展示了分量一起輸入時各分量訓練的部分預測曲線，將這些結果疊加即可得到最終預測結果。各種輸入方式的預測結果如表5所示。

從表5可以看出，對比僅使用負荷序列進行預測，分量單獨輸入和分量感知輸入范式的預測結果顯示，負荷經過分解后預測精度顯著提升，體現了分解預測的有效性。此外，當分解后的分量加入天氣等變量因素后，預測精度顯著下降，這表明這些分量僅包含了負荷序列的部分信息。引入天氣變量后，特征融合導致預測效果變差，這說明分解預測的方法無法有效利用天氣等輔助信息。

將分解后的分量一起輸入模型，利用分量感知圖構建分量間的關系，不僅提高了預測精度，而且一次輸出結果使訓練時間大幅減少，驗證了所提出的分量序列感知方法的優越性。同時，對比JSSAO-VMD和CEEMDAN分解的分量感知效果，進一步驗證了所提出分解方法的有效性。

4.5.2 對比實驗分析

為了驗證本文模型的有效性，本文采用了三個基于Transformer的模型Crossformer^［27］、ETSformer^［22］和FEDformer^［23］，一個基于patch的模型PatchTST^［24］，一個基于MLP的模型LightTS^［38］，以及一個基于GNN和Transformer的模型SageFormer^［31］進行對比分析。其中，Crossformer提出了結合時間維度和變量維度的兩階段注意力，明確對變量間關系進行了建模，ETSformer使用了指數平滑和頻域注意力，FEDformer引入了周期趨勢項分解和頻域注意力，PatchTST采用了分patch和通道獨立的Transformer建模范式，LightTS使用輕量采樣的MLP網絡進行預測。SageFormer使用圖結構識別序列之間的復雜關系并結合Transformer進行序列建模。這些模型都是廣泛應用于時間序列預測的模型。誤差對比如圖9所示，其中圖9（a）為澳大利亞數據集上的誤差對比，圖9（b）為摩洛哥數據集上的誤差對比。對雷達圖進行了最小-最大歸一化處理，將各種性能指標標準化，以便進行直觀比較。

=e－e_mine_max－e_min（27）

其中：e、e_min和e_max分別代表預測誤差、最小預測誤差和最大預測誤差。

在澳大利亞數據集進行預測結果對比，各模型誤差定量評價結果如表6所示。其中最優結果用加粗表示，次優結果用下畫線表示。由表6可知，CDGT 的 MAE為0.377 GW，RMSE為0.513 GW，MAPE為 4.472%。相較于其他模型，MAE下降了約 5.51%～21.62%，RMSE 下降了約5.00%～17.66%，MAPE下降了約6.13%～22.39%。充分證明了本文模型的有效性。

圖10所示為各個模型的7天短期負荷預測值以及真實值，并將局部位置的值放大，以便對預測結果進行深入分析。由圖10可以看出，所有模型都能反映實際電力負荷的變化趨勢，然而，與其他模型相比，ETSformer和FEDformer在負荷變化的波峰和波谷處，由于未能有效捕捉電力負荷的波動，其預測精度明顯較低，Crossformer和PatchTST雖然波動較小，但有明顯的滯后性，擬合效果較差。SageFormer雖然能緊貼負荷波動，但是在負荷急劇變化的地方存在一定的滯后性。相比之下，本文CDGT能更準確地捕捉負荷波動規律，提高預測精度。

為了進一步驗證CDGT的優越性，在澳大利亞數據集上與一個基于分解的預測模型^［9］和兩個基于分解重構的預測模型^{［10，11］}進行了對比實驗，各模型的預測誤差結果和運行時間如表7所示。可以看出，CDGT取得了最優的預測效果，相比于其他模型，預測指標MAE下降了16.04%～31.08%，RMSE下降了12.16%～28.53%，MAPE下降了16.98%～30.70%。在運行時間上減少了59.65%～88.44%。其中基于分解的預測模型在預測指標上取得了次優，但其運行時間卻大大增加，基于分解重構的預測模型雖然預測時間有所減少，但是預測誤差卻面臨增大的問題。而本文模型充分利用了分量間的關系來提高預測精度，而且做到了各分量結果的同時輸出，降低了模型的運行時間。

在摩洛哥數據集上進行預測結果對比，各模型的預測誤差如表8所示。實驗結果表明，本文模型在MAE和RMSE取得了最高的預測精度，MAPE取得了次優，其中MAE為1.075 MW，RMSE為1.697" MW，MAPE為9.055%。相比于其他模型，MAE下降了15.02%～75.49%，RMSE下降了7.42%～63.85%，MAPE下降了15.55%～77.53%。

圖11顯示了各模型5天的短期負荷預測結果對比，由表7和圖11可知，預測步長翻倍后，各模型的預測誤差均有較大提高，但本文CDGT模型依然能更好地擬合負荷曲線走勢，取得了最好的效果，驗證了本文模型的穩定性。

5 結束語

針對電力負荷數據的波動性和非平穩性導致預測精度低，以及分解預測方法缺乏對分解分量間關系的建模和預測效率低的問題，本文提出了一種基于分量感知動態圖Transformer的短期電力負荷預測模型。通過對SAO進行多方面改進，實現了更優的尋優效果。使用JSSAO-VMD對負荷數據進行分解，生成多個分解分量，降低了負荷序列的波動性和非平穩性對預測精度的影響。然后，利用注意力機制自動學習分量序列間的信息，并使用GNN建模序列間的關系，結合改進后的Transformer建模分量序列內部的依賴關系實現同時預測。實驗結果表明，所提預測方法具有較高的精度和良好的魯棒性，并且提高了分解預測方法的預測效率。下一步將考慮在Transformer內部實現序列間關系的建模，以降低計算開銷，并加入patch內注意力來捕獲局部細節，提高電力負荷預測精度。

參考文獻：

［1］韓富佳， 王曉輝， 喬驥， 等. 基于人工智能技術的新型電力系統負荷預測研究綜述［J］. 中國電機工程學報， 2023， 43（22）： 8569-8592. （Han Fujia， Wang Xiaohui， Qiao Ji， et al. Review on artificial intelligence based load forecasting research for the new-type power system［J］. Proceedings of the CSEE， 2023， 43（22）： 8569-8592.）

［2］Hu Haoxiang， Zheng Bingyang. Short-term electricity load forecasting based on CEEMDAN-FE-BiGRU-Attention model［J］. International Journal of Low-Carbon Technologies， 2024， 19： 988-995.

［3］Dragomiretskiy K， Zosso D. Variational mode decomposition［J］. IEEE Trans on Signal Processing， 2014， 62（3）： 531.

［4］Li Zhihao， Chen Zhongli. Short-term load forecasting based on CEEMDAN-FE-ISSA-LightGBM model［J］. Frontiers in Energy Research， 2023， 11： 1111786.

［5］劉杰， 從蘭美， 夏遠洋， 等. 基于DBO-VMD和IWOA-BILSTM神經網絡組合模型的短期電力負荷預測［J］. 電力系統保護與控制， 2024， 52（8）： 123-133. （Liu Jie， Cong Lanmei， Xia Yuanyang， et al. Short-term power load prediction based on DBO-VMD and an IWOA-BILSTM neural network combination model［J］. Power System Protection and Control， 2024， 52（8）： 123-133.）

［6］Duan Qinwei， He Xiangzhen， Chao Zhu， et al. Short-term power load forecasting based on sparrow search algorithm-variational mode decomposition and attention-long short-term memory［J］. Internatio-nal Journal of Low-Carbon Technologies， 2024， 19： 1089-1097.

［7］Deng Lingyun， Liu Sanyang. Snow ablation optimizer： a novel metaheuristic technique for numerical optimization and engineering design［J］. Expert Systems with Applications， 2023， 225： 120069.

［8］張潔瑩， 石元博. 基于EEMD-AE-LSTM的生活用電短期負荷預測［J］. 計算機應用與軟件， 2024， 41（3）： 70-74， 123. （Zhang Jieying， Shi Yuanbo. Short-term load forecasting of domestic electricity based on EEMD-AE-LSTM［J］. Computer Applications and Software， 2024， 41（3）： 70-74， 123.）

［9］Wang Chunhua， Li Weiqin. A hybrid model of modal decomposition and gated recurrent units for short-term load forecasting［J］. PeerJ Computer Science， 2023， 9： e1514.

［10］邵必林， 紀丹陽. 基于VMD-SE的電力負荷分量的多特征短期預測［J］. 中國電力， 2024， 57（4）： 162-170. （Shao Bilin， Ji Danyang. Multi-feature short-term prediction of power load components based on VMD-SE［J］. Electric Power， 2024， 57（4）： 162-170.）

［11］Li Ke， Huang Wei， Hu Gaoyuan， et al. Ultra-short term power load forecasting based on CEEMDAN-SE and LSTM neural network［J］. Energy and Buildings， 2023， 279： 112666.

［12］王兵， 吳思琪， 方宇. 三支殘差修正的燃氣負荷預測 ［J］. 計算機工程與應用， 2022， 58（22）： 291-296. （Wang Bing， Wu Siqi， Fang Yu. Gas load forecasting with three-way residual correction［J］. Computer Engineering and Applications， 2022， 58（22）： 291-296.）

［13］Smyl S， Dudek G， Pe?ka P. Contextually enhanced ES-dRNN with dynamic attention for short-term load forecasting［J］. Neural Networks， 2024， 169： 660-672.

［14］Zhang Sizhe， Liu Jinqi， Wang Jihong. High-resolution load forecasting on multiple time scales using long short-term memory and support vector machine［J］. Energies， 2023， 16（4）： 1806.

［15］谷云東， 劉浩. 基于最優特征組合改進極限梯度提升的負荷預測［J］. 計算機應用研究， 2021， 38（9）： 2767-2772. （Gu Yundong， Liu Hao. Load forecasting based on optimal feature combination improved XGBoost［J］. Application Research of Computers， 2021， 38（9）： 2767-2772.）

［16］Waheed W， Xu Qingshan. Data-driven short term load forecasting with deep neural networks： unlocking insights for sustainable energy management［J］. Electric Power Systems Research， 2024， 232： 110376.

［17］陳文超， 方博為， 代良， 等. 基于堆疊式對抗變分循環神經網絡的多維時間序列異常檢測［J］. 中國科學： 信息科學， 2023， 53（9）： 1750-1767. （Chen Wenchao， Fang Bowei， Dai Liang， et al. Stacked adversarial variational recurrent neural network for anomaly detection of multivariate time series［J］. Science China Information Sciences， 2023， 53（9）： 1750-1767.）

［18］Smyl S， Dudek G， Pe?ka P. ES-dRNN： a hybrid exponential smoo-thing and dilated recurrent neural network model for short-term load forecasting ［J］. IEEE Trans on Neural Networks and Learning Systems， 2024， 35（8）： 11346-11358.

［19］潘世瑤. 基于集成學習與智能優化算法的LSTM短期電力負荷預測［D］. 徐州： 中國礦業大學， 2023. （Pan Shiyao. Short-term power load forecasting based on integrated learning and intelligent optimization algorithm in LSTM networks［D］. Xuzhou： China University of Mining and Technology， 2023.）

［20］Hua Guoxiang， Sun Yan， Li Weiwei. Hybrid load prediction model of 5G base station based on time series decomposition and GRU network with parameter optimization［J］. IET Generation， Transmission amp; Distribution， 2024， 18（8）： 1548-1558.

［21］Patwardhan N， Marrone S， Sansone C. Transformers in the real world： a survey on NLP applications［J］. Information， 2023， 14（4）： 242.

［22］Woo G， Liu Chenghao， Sahoo D， et al. ETSformer： exponential smoothing Transformers for time-series forecasting ［EB/OL］. （2022-06-20）. https：//arxiv.org/abs/2202.01381.

［23］Zhou Tian， Ma Ziqing， Wen Qingsong， et al. FEDFormer： frequency enhanced decomposed transformer for long-term series forecasting［C］// Proc of International Conference on Machine Learning. ［S.l.］： PMLR， 2022： 27268-27286.

［24］Nie Yuqi， Nguyen N H， Sinthong P， et al. A time series is worth 64 words： long-term forecasting with Transformers ［EB/OL］. （2023-03-05）. https：//arxiv.org/abs/2211.14730.

［25］Dileo M， Zignani M， Gaito S. Temporal graph learning for dynamic link prediction with text in online social networks［J］. Machine Learning， 2024， 113（4）： 2207-2226.

［26］Wu Zonghan， Pan Shirui， Long Guodong， et al. Connecting the dots： multivariate time series forecasting with graph neural networks［C］// Proc of the 26th ACM SIGKDD International Conference on Know-ledge Discovery amp; Data Mining. New York： ACM Press， 2020： 753-763.

［27］Zhang Yunhao， Yan Junchi. Crossformer： Transformer utilizing cross-dimension dependency for multivariate time series forecasting［C/OL］. Proc of the 11th International Conference on Learning Representations. （2023-02-05）. https：//openreview.net/forum？id=vSVLM2j9eie.

［28］Wang Yufeng， Zhang Bo， Ma Jianhua， et al. Artificial intelligence of things （AIoT） data acquisition based on graph neural networks： a systematical review［J］. Concurrency and Computation： Practice and Experience， 2023， 35（23）： e7827.

［29］何婷， 周艷秋， 辛春花. 基于時空位置關注圖神經網絡的交通流預測方法［J］. 計算機應用研究， 2024， 41（10）： 2932-2938. （He Ting， Zhou Yanqiu， Xin Chunhua. Traffic flow prediction method based on spatial temporal position attention graph neural network［J］. Application Research of Computers， 2024， 41（10）： 2932-2938.）

［30］Arini F Y， Chiewchanwattana S， Soomlek C， et al. Joint opposite selection（JOS）： a premiere joint of selective leading opposition and dynamic opposite enhanced Harris’ hawks optimization for solving single-objective problems［J］. Expert Systems with Applications， 2022， 188： 116001.

［31］Zhang Zhenwei， Meng Linghang， Gu Yuantao. SageFormer： series-aware framework for long-term multivariate time series forecasting［J］. IEEE Internet of Things Journal， 2024， 11（10）： 18435-18448.

［32］Wang Xue， Zhou Tian， Wen Qingsong， et al. Card： channel aligned robust blend Transformer for time series forecasting ［EB/OL］. （2024-02-16）. https：//arxiv.org/abs/2305.12095.

［33］Wu Guohua， Mallipeddi R， Suganthan P. Problem definitions and evaluation criteria for the CEC 2017 competition and special session on constrained single objective real-parameter optimization， 201212［R］. Zhengzhou： Zhengzhou University， 2013.

［34］Abualigah L， Yousri D， Abd Elaziz M， et al. Aquila optimizer： a novel meta-heuristic optimization algorithm［J］. Computers amp; Industrial Engineering， 2021， 157： 107250.

［35］Mirjalili S， Lewis A. The whale optimization algorithm［J］. Advances in Engineering Software， 2016， 95： 51-67.

［36］Heidari A A， Mirjalili S， Faris H， et al. Harris hawks optimization： algorithm and applications［J］. Future Generation Computer Systems， 2019， 97： 849-872.

［37］Abualigah L， Diabat A， Mirjalili S， et al. The arithmetic optimization algorithm［J］. Computer Methods in Applied Mechanics and Engineering， 2021， 376： 113609.

［38］Zhang Tianping， Zhang Yizhou， Cao Wei， et al. Less is more： fast multivariate time series forecasting with light sampling-oriented MLP structures ［EB/OL］. （2022-07-04） ［2024-08-25］. https：//arxiv.org/abs/2207. 01186.