基于PLESN和LESQRN概率預測模型的短期電力負荷預測

樊江川 于昊正 王冬生 安佳坤 楊麗君

摘要：針對現有電力負荷預測不能很好反映負荷數據的周期性和趨勢性以及殘差的波動性特征，提出一種考慮周期性建模的泄露積分型回聲狀態網絡點預測模型和泄露積分型回聲狀態分位數回歸網絡概率預測模型組合的短期電力負荷預測方法。首先，為了捕捉負荷的多重特征，定義了周期性和趨勢性損失函數，輔助優化點預測模型；然后，為克服殘差的波動問題，利用概率預測模型對點預測值與真實值的殘差進行建模預測；最后整合同時刻的點預測值與殘差預測區間得到概率預測模型結果。實際算例結果表明，與其他模型相比，所提模型不僅有效抑制尖端振蕩現象，而且能夠生成可靠的概率密度分布。

關鍵詞：短期電力負荷預測；周期性建模；泄露積分型回聲狀態網絡；分位數回歸

中圖分類號： TM715文獻標識碼： ADOI：10.3969/j.issn.1007-791X.2024.01.0070

引言

短期電力負荷預測是智能電網規劃、運行和能源交易等的重要基礎[1]，精確的短期負荷預測結果具有重要的意義[2]。目前，應用較多的短期電力負荷預測模型包括統計學模型[3-4]、深度學習模型[5-6]和其他機器學習模型[7-8]等。其中，統計學模型思路簡單，但難以提取數據間的非線性關系，致使其對未來數據的泛化能力較弱[9]。相比之下，將傳統機器學習方法應用于負荷預測[10]具有較強的非線性規律提取能力和泛化能力，但對于長時間序列而言，存在信息丟失的問題，而且擬合精度也有待提升。近年來，隨著計算機的運算能力逐漸加強，深度學習迅速發展，其在短期電力負荷預測領域表現優異，逐漸成為研究熱點[11]。

目前，短期電力負荷預測類型主要分為點預測和概率預測。點預測是對未來某一時刻或某一段時間的具體負荷進行預測。文獻[12]采用集合經驗模態分解（Ensemble empirical mode decomposition，EEMD）將原始負荷序列分解為高頻和低頻分量，依次由門控循環單元和多元線性回歸進行預測。文獻[13]使用卷積神經網絡提取負荷特征向量，將重構向量作為長短期記憶網絡的輸入以進行最終的預測，提高了預測精度。上述文獻對點預測方法進行了研究，實現了更高的預測精度。另一方面，概率預測可以得到未來負荷的概率分布，更加全面地提供未來負荷的不確定性信息[14]，從而為電力系統的規劃運行提供更有力的數據支撐。文獻[15]將分位數回歸應用于徑向基函數（Radial basis function，RBF）中，以獲得負荷的概率密度分布。文獻[16]提出了支持向量分位數回歸方法，將實時電價作為重要影響因素，有助于獲得準確的負荷波動范圍。文獻[17]將注意力機制融合于時間卷積網絡分位數回歸之中，產生不同分位點之下的預測結果。上述文獻針對概率預測方法，提高了所得概率密度分布結果的可靠性。然而，單一的點預測或概率預測都有各自的局限性：點預測所得結果的可靠性難以得到理論支撐，而概率預測所得概率密度分布要應用于優化、規劃等其他領域又需要對分布進行抽樣等操作，提高了研究過程的復雜程度。所以，在提高負荷預測精確度的同時，得到其概率密度分布的信息對于電力系統的運行、優化等領域具有重要意義。

基于此，本文提出一種基于考慮周期性建模的泄露積分型回聲狀態網絡（Leaky integrator echo state network based on periodicity，PLESN）和泄露積分型回聲狀態分位數回歸網絡（Leaky integrator echo state quantile regression network，LESQRN）概率預測模型的短期電力負荷預測方法，通過LESQRN網絡對PLESN所得結果的殘差進行概率預測并對結果進行修正，在提高精確性的同時，得到負荷的不確定性分布特征。首先，由于負荷時間序列具有明顯的周期性和趨勢性，定義了周期性和趨勢性損失函數作為網絡訓練的輔助損失函數。使點預測模型PLESN在擬合尋優時能充分考慮到負荷的性質與特征，實現對短期負荷的精確點預測。然后，由于點預測值與真實值間的殘差具有極強的波動性，普通的點預測方法難以對其規律進行提取，本文將LESQRN概率預測方法作為殘差預測模型，使產生的預測區間對未來的殘差分布進行充分的反映。通過將上述兩種模型整合，得到概率預測模型，利用同時刻的殘差預測區間對點預測值進行修正，進一步提升預測精度。最后，以實際電力負荷數據為例，對本文所提模型進行驗證。結果表明，本文所提出概率預測模型不僅具有較高的準確性，而且能夠對未來負荷生成可靠的概率分布。

1負荷數據的周期性建模

本文在考慮負荷數據具有顯著的周期性和趨勢性的基礎上，在神經網絡中引入了周期損失和趨勢損失[18]，在網絡訓練階段對負荷數據的周期和趨勢特性進行輔助建模。

1.1周期損失

針對具有周期性的負荷序列，本文考慮負荷當前數據的跨周期關系。在［t1，t2，…，tn］的時間窗上對負荷數據的周期性進行建模，得到如下周期損失函數：

式中，τ為周期，?t表示t時刻的預測值，yt－τ表示跨周期的真實值。

1.2趨勢損失

除周期性模型外，考慮到負荷數據存在升降趨勢和變化范圍等約束，本文還對一段時間內負荷數據的整體狀態進行建模。

在［t1，t2，…，tn］的時間窗上對負荷數據的趨勢性進行建模，本文從均值、最大值、最小值和方差的角度進行考慮，得到趨勢損失函數如下：

式中，Lmeant為均值趨勢損失，Lmaxt為最大趨勢損失，Lmint為最小趨勢損失，Lvart為方差趨勢損失，ω為趨勢窗寬，反映模型考慮的趨勢序列長短。

1.3聯合優化

將周期損失和趨勢損失作為網絡訓練的輔助損失函數，加入到原目標函數之中，聯合優化網絡模型。在此多任務學習框架下，得到新的目標函數如下：

式中，Lm為原目標函數，Ls為周期損失函數，Lt為趨勢損失函數，λs為周期損失函數的權重，λmeant、λmaxt、λmint和λvart分別為各自趨勢損失函數的權重。

2模型算法原理

2.1PLESN模型

泄露積分型回聲狀態網絡（Leaky integrator echo state network， LESN）將普通回聲狀態網絡的儲備池神經元賦予泄露積分屬性，使其能夠更好地適應慢變動態系統[19-20]。而且這類神經元具有狀態動力學屬性，可以通過調整參數使網絡適應各種類型的任務下的時間序列特征。LESN的結構圖如圖1所示。

結構中包含K個輸入單元和L個輸出單元。儲備池包含N個神經元，它們之間進行稀疏連接。實線表示神經元之間存在的必要連接，虛線則表示神經元之間的連接在不同情形下有可能存在。

假設輸入層的輸入向量為u（k）=［u1（k），u2（k），…，uK（k）］T，儲備池的狀態向量為x（k）=［x1（k），x2（k），…，xN（k）］T，輸出層輸出向量為y（k）=［y1（k），y2（k），…，yL（k）］T。則PLESN的狀態方程更新方式為

x（k+1）=（1－α）x（k）+αf（Winu（k+1）+Wx（k）+Wbacky（k））， ???（8）

式中，u（k+1）為k+1時刻的輸入向量，x（k）為k時刻的儲備池狀態向量，y（k）為k時刻的輸出向量，α是泄露率，f（·）為各節點的激勵函數，Win、W和Wback分別為輸入、儲備池和反饋權重矩陣。

由式（8）可以得知，當α=1時，LESN就變為普通ESN網絡。改變參數而對預測結果產生的影響可以由另一個相關參數進行抵消，LESN依舊具有回聲狀態屬性。因此，針對不同數據集，調整參數取值，便能使LESN的擬合能力優于普通ESN。

針對負荷數據進行周期性建模，可以使神經網絡更好地提取負荷時間序列的周期和趨勢特征。因此，本文在LESN的基礎上，以對負荷數據進行周期性和趨勢性建模的損失函數作為附加損失函數，對LESN進行聯合優化訓練，得到PLESN模型，并將其作為點預測模型。

2.2LESQRN模型

分位數回歸（Quantile regression， QR）是在不同分位點之下優化自變量與因變量之間關系的一種建模方法。通過因變量對自變量進行回歸，可以得到多個分位點下的擬合模型，進而在不同程度下反映自變量對因變量的影響。對多個條件分位點結果進行分析，便能得到完整的描述因變量Y的概率分布，實現了對傳統點預測模型的擴充。

假設因變量Y，受到一系列因素X1，X2，…，Xk的影響。在不同分位點之下，可建立線性回歸分位數函數模型：

QY（q|X）=XTβ（q）， ???（9）

式中，q∈（0，1）是分位點設定值，X為多個自變量形成的矩陣，β（q）為參數矩陣的估計，可以通過優化以下損失函數進行反向傳播求得：

式中，ρq為q分位點對應的概率，Yi為與網絡輸出對應的實際值。

本文將式（10）作為QR附加損失函數，應用于LESN的訓練過程中，得到LESQRN模型，構成殘差概率預測模型。

3概率預測模型

3.1概率預測模型應用分析

通過訓練好的PLSEN點預測模型，獲得點預測值

式中，W和Xt表示表示點預測模型的參數和輸入。

利用上述結果可以計算出預測殘差：

上式表明，最終的預測結果yt的計算可以轉化為點預測?t和殘差預測εt的計算。負荷的預測問題進而轉化為點預測問題和殘差預測問題。

由于點預測值決定殘差的大小，因此?t還用作殘差預測模型的輸入特征：

式中，gq和Wq為LESQRN殘差預測模型及相應參數，εt，q為在q分位點下時間t的殘差。

整合點預測值與殘差預測區間便得到了負荷的概率預測結果，即采用一系列的分位點預測值來描述負荷的分布：

式中，?t，q表示在q分位點下時間t的負荷概率預測結果。

綜上，將PLESN點預測模型與LESQRN概率預測模型進行整合，為殘差預測區間對點預測值進行修正，進而得到概率預測模型。

3.2概率預測模型建模方法

該方法包括訓練階段和測試階段：

訓練階段：

1） 將負荷數據分成T1、T2和T3三個部分，其中T1和T2是訓練集，T3是測試集；

2） 應用T1數據集對PLESN點預測模型進行訓練，應用此模型對T2數據集進行虛擬預測，進而結合點預測值和真實數據得到殘差；

3） 將點預測值與T2數據集中的歷史數據和氣象特征相結合，以訓練LESQRN殘差預測模型。

測試階段：

使用T3數據集中的歷史數據和氣象特征進行點預測；然后使用殘差預測模型對殘差數據進行建模，其中將點預測值、歷史數據和氣象特征一起用作輸入特征；最后將點預測值與殘差預測區間整合以產生概率預測。具體建模流程如圖2所示。

此模型對于未來某一個時刻的概率預測結果是一個區間范圍，可以更有效的反應短期負荷預測的波動情況，提供未來數據更多的不確定性信息。

3.3數據歸一化

將數據輸入網絡模型之前，需對其進行歸一化處理，這不僅能夠減輕數據因量綱不同而產生的消極影響，而且有助于模型提取數據規律，加快收斂速度。歸一化公式如下：

式中，xt為原始值，xm為歸一化后的值，xmin和xmax分別為同一特征中的最小值與最大值。

3.4評價指標

為對模型的預測精度進行評估，選取如下評估指標：

1） 平均絕對誤差：

2） 平均絕對誤差百分比：

3） 均方根誤差：

其中，n為樣本數據的數量，yi、?i分別為真實值和點預測值。

4算例分析

本文所采用數據來自2016年“中國電機工程學會杯”全國大學生電工數學建模競賽所提供的電力及氣象數據，數據采樣頻率為15 min即每天有96個采樣數據。其中氣象數據包含每日最高氣溫、最低氣溫、平均溫度、相對濕度、降雨量五種氣象數據，電力數據即電力負荷數據。其中以2012年1月1日至2013年5月31日數據作為訓練集1訓練點預測模型，以2013年6月1日至2014年10月31日數據作為訓練集2訓練殘差預測模型，以2014年11月1日至2014年12月31日數據當作測試集以檢驗模型效果。

應用本文模型在相應數據集上進行訓練，得到測試集的概率預測結果，將本文提出模型所得結果與相同條件下的ESN模型、LESN模型和單一PLESN模型進行精度比較。

4.1實驗環境配置

本文實驗環境采用硬件平臺為Core i9-9900k 3.6GHz CPU，NVIDIA GeForce RTX 2080Ti 11GB，DDR4 16G內存。軟件模型采用 Python 3.6 作為編程語言，網絡模型架構基于Pytorch框架。

4.2超參數確定

超參數的設置對本文模型的預測效果有著決定性作用。優選后，點預測模型和殘差預測模型的參數分別設置如表1所示。

4.3預測結果分析

首先，用本文所提概率預測模型對2014年11月1日至7日數據進行預測。得到10%和90%形成的預測區間與真實值進行對比，如圖3所示。

可見，無論是在負荷平穩變化的階段，還是在不確定性較大的峰谷端附近，本文方法所產生的預測區間均能將真實值包含在內。這證明了應用本文方法對電力負荷進行概率預測具有較高的可靠性。

將2014年11月1日中5：00、11：00、17：00和23：00共計4個時刻的概率密度估計與真實值進行對比，如圖4所示

可以看出，真實值不僅落在概率密度區間內，而且在概率密度值較大處，說明本文方法預測結果具有較強的可參考性。這4個時刻對應的誤差分別為-96.65、80.92、4.97和-243.66。可見，LESQRN模型對較大的誤差真實值進行概率預測時，精度會有所降低。這是因為在誤差數據集中，較大的誤差真實值已經偏離了誤差的基本波動范圍，增大了在不同分位點下的擬合難度。但LESQRN模型仍然可以對誤差真實值賦予較大的概率密度，這為提高點預測模型的預測精度奠定了基礎。

對比2014年11月1日一天內的真實值與各模型結果，如圖5所示。

可見，PLESN模型與ESN模型、LESN模型相比，能夠更好地擬合出負荷的變化趨勢。但是，在具有較大不確定性的電力負荷變化尖端，其擬合效果欠佳。而本文方法由于加入了LESQRN模型考慮殘差對點預測值進行修正，對此則顯示出了優越的擬合能力，有效抑制了尖端預測值的振蕩現象，使得預測結果更加貼近于真實值。

為比較不同模型的點預測精度，選取本文模型中位數預測結果與ESN模型、LESN模型和PLESN模型對MAE、MAPE和RMSE進行對比，如表2所示。

可知，PLESN模型比LESN模型更具優越性，其MAE、MAPE和RMSE分別提升了13.5%、11.2%和9.7%，證明了在損失函數中加入周期損失和趨勢損失進行聯合優化有利于提高預測精度的真實性。本文模型的預測精度與其他模型相比，MAE方面，比LESN和PLESN模型分別提高30.2%和16.7%；MAPE方面，比LESN和PLESN模型分別提高30.5%和21.7%；RMSE方面，比LESN和PLESN模型分別提高22.5%和14.3%。說明本文方法的預測精度比普通模型具有大幅度提升，應用殘差預測值進行修正效果明顯。而LESN模型與ESN模型相比精度提升較小，是因為相鄰時刻數據集變化較小，使ESN模型儲備池狀態矩陣已經擁有了部分慢變性質。

在2014年11月1日至7日的時間尺度上，將本文方法中位數預測結果、LESN模型預測結果與真實值進行對比，如圖6所示。

可以看出，本文方法預測結果與真實值基本重合。其中，11月2日的負荷數據與其他幾天相比差距較大，導致了普通LESN模型難以考慮其特殊性，致使在負荷峰谷端均產生較大誤差。而本文方法由于考慮了周期性建模，使得其在預測11月2日的負荷數據（第97到第192之間的數據）時，可以跨周期的提取到相同趨勢下的負荷變化規律。進而結合殘差預測區間進行修正，使得本文方法對11月2日的負荷數據仍然具有精確的擬合能力。說明本文方法具有較好的泛化能力和魯棒性。

5結論

本文提出了一種基于PLESN和LESQRN概率預測模型的短期電力負荷預測方法。經實例驗證，得到主要結論如下：

1） 在傳統損失函數的基礎上，定義周期損失和趨勢損失進行聯合優化，能夠使網絡模型進一步提取電力負荷數據的周期和趨勢信息，有效減少預測值在尖端的振蕩現象，提高模型泛化能力。

2） 在應用殘差預測模型LESQRN對PLESN模型點預測值與真實值的殘差建模中，多個分位點的應用可以使網絡輸出為預測區間，可以提升波動性較大的殘差的預測可靠性。

3） 整合同時刻的點預測值與殘差預測區間，使本文模型融合了點預測和概率密度預測的優點。不僅在點預測值的基礎上進一步提高預測精度，而且可以對未來負荷數據生成可靠的概率密度分布。相比于其他預測模型，本文模型更具優越性。

然而，由于數據集的限制，本文考慮的相關特征仍不足，后續可以考慮加入電價、日期類別等其他與負荷數據相關性較大的特征，以優化模型預測結果。

參考文獻

[1] 吳云， 雷建文， 鮑麗山， 等. 基于改進灰色關聯分析與蝙蝠優化神經網絡的短期負荷預測[J]. 電力系統自動化， 2018， 42（20）： 67-72.

WU Y， LEI J W， BAO L S， et al. Short-term load forecasting based on improved grey relational analysis and neural network optimized by bat algorithm[J]. Automation of Electric Power Systems， 2018， 42（20）： 67-72.

[2] 林珊， 王紅， 齊林海， 等. 基于條件生成對抗網絡的短期負荷預測[J]. 電力系統自動化， 2021， 45（11）： 52-60.

LIN S， WANG H， QI L H， et al. Short-term load forecasting based on conditional generative adversarial network[J]. Automation of Electric Power Systems， 2021， 45（11）： 52-60.

[3] 萬昆， 柳瑞禹. 區間時間序列向量自回歸模型在短期電力負荷預測中的應用[J]. 電網技術， 2012， 36（11）： 77-81.

WAN K， LIU R Y. Application of interval time-series vector autoregressive model in short-term load forecasting[J]. Power System Technology， 2012， 36（11）： 77-81.

[4] 麥鴻坤， 肖堅紅， 吳熙辰， 等. 基于R語言的負荷預測ARIMA模型并行化研究[J]. 電網技術， 2015， 39（11）： 3216-3220.

MAI H K， XIAO J H， WU X C， et al. Research on ARIMA model parallelization in load prediction based on R language[J]. Power System Technology， 2015， 39（11）： 3216-3220.

[5] 陳緯楠， 胡志堅， 岳菁鵬， 等. 基于長短期記憶網絡和LightGBM組合模型的短期負荷預測[J]. 電力系統自動化， 2021， 45（4）： 91-97.

CHEN W N， HU Z J， YUE J P， et al. Short-term load prediction based on combined model of long short-term memory network and light gradient boosting machine[J]. Automation of Electric Power Systems， 2021， 45（4）： 91-97.

[6] 王增平， 趙兵， 紀維佳， 等. 基于GRU-NN模型的短期負荷預測方法[J]. 電力系統自動化， 2019， 43（5）： 53-62.

WANG Z P， ZHAO B， JI W J， et al. Short-term load forecasting method based on GRU-NN model[J]. Automation of Electric Power Systems， 2019， 43（5）： 53-62.

[7] JIANG H， ZHANG Y， MULJADI E， et al. A short-term and high-resolution distribution system load forecasting approach using support vector regression with hybrid parameters optimization[J]. IEEE Transactions on Smart Grid， 2018， 9（4）： 3341-3350.

[8] GENDEEL M， ZHANG Y X， HAN A Q. Performance comparison of ANNs model with VMD for short-term wind speed forecasting[J].IET Renewable Power Generation， 2018， 12（12）：1424-1430.

[9] 吳瀟雨， 和敬涵， 張沛， 等. 基于灰色投影改進隨機森林算法的電力系統短期負荷預測[J]. 電力系統自動化， 2015， 39（12）： 50-55.

WU X Y， HE J H， ZHANG P， et al. Power system short-term load forecasting based on improved random forest with grey relation projection[J]. Automation of Electric Power Systems， 2015， 39（12）： 50-55.

[10] CECATI C， KOLBUSZ J，RZ.YCKI P， et al. A novel RBF training algorithm for short-term electric load forecasting and comparativestudies[J]. IEEE Transactions on Industrial Electronics， 2015， 62（10）： 6519-6529.

[11] CHEN K J， CHEN K L， WANG Q， et al. Short-term load forecasting with deep residual networks[J]. IEEE Transactions on Smart Grid， 2019， 10（4）： 3943-3952.

[12] 鄧帶雨， 李堅， 張真源， 等. 基于EEMD-GRU-MLR的短期電力負荷預測[J]. 電網技術， 2020， 44（2）： 593-602.

DENG D Y， LI J， ZHANG Z Y， et al. Short-term electric load forecasting based on EEMD-GRU-MLR[J]. Power System Technology， 2020， 44（2）： 593-602.

[13] 陸繼翔， 張琪培， 楊志宏， 等. 基于CNN-LSTM混合神經網絡模型的短期負荷預測方法[J]. 電力系統自動化， 2019， 43（8）： 131-137.

LU J X， ZHANG Q P， YANG Z H， et al. Short-term load forecasting method based on CNN-LSTM hybrid neural network model[J]. Automation of Electric Power Systems， 2019， 43（8）： 131-137.

[14] 李丹， 張遠航， 楊保華， 等. 基于約束并行LSTM分位數回歸的短期電力負荷概率預測方法[J]. 電網技術， 2021， 45（4）： 1356-1364.

LI D， ZHANG Y H， YANG B H， et al. Short time power load probabilistic forecasting based on constrained parallel-LSTM neural network quantile regression mode[J]. Power System Technology， 2021， 45（4）： 1356-1364.

[15] 何耀耀， 許啟發， 楊善林， 等. 基于 RBF 神經網絡分位數回歸的電力負荷概率密度預測方法[J]. 中國電機工程學報， 2013， 33（1）： 93-98.

HE Y Y， XU Q F， YANG S L， et al. A power load probability density forecasting method based on RBF neural network quantile regression[J]. Proceedings of the CSEE， 2013， 33（1）： 93-98.

[16] 何耀耀， 劉瑞， 撖奧洋. 基于實時電價與支持向量分位數回歸的短期電力負荷概率密度預測方法[J]. 中國電機工程學報， 2017， 37（3）： 768-776.

HE Y Y， LIU R， HAN A Y. Short-term power load probability density forecasting method based on real time price and support vector quantile regression[J]. Proceedings of the CSEE， 2017， 37（3）： 768-776.

[17] 龐昊， 高金峰， 杜耀恒. 基于時間卷積網絡分位數回歸的短期負荷概率密度預測方法[J]. 電網技術， 2020， 44（4）： 1343-1350.

PANG H， GAO J F， DU Y H. A short-term load probability density prediction based on quantile regression[J]. Power System Technology， 2020， 44（4）： 1343-1350.

[18] 徐任超， 閻威武， 王國良， 等. 基于周期性建模的時間序列預測方法及電價預測研究[J]. 自動化學報， 2020， 46（6）： 1136-1144.

XU RC， YAN W W， WANG G L， et al. Time series forecasting based on seasonality modeling and its application to electricity price forecasting[J]. Acta Automatica Sinica， 2020， 46（6）： 1136-1144.

[19] 倫淑嫻， 胡海峰. 基于罰函數內點法的泄露積分型回聲狀態網的參數優化[J]. 自動化學報， 2017， 43（7）： 1160-1168.

LUN S X， HU H F. Parameter optimization of leaky integrator echo state network with internal-point penalty function method[J]. Acta Automatica Sinica， 2017， 43（7）： 1160-1168.

[20] LUN S X， HU H F， YAO X S. The modified sufficient conditions for echo state property and parameter optimization of leaky integrator echo state network[J]. Applied Soft Computing Journal， 2019， 77：750-760.

Short-term power load forecasting based on probabilistic

forecasting model of PLESN and LESQRN

FAN Jiangchuan1， YU Haozheng1， WANG Dongsheng2， AN Jiakun3， YANG Lijun2

（1.Economic and Technological Research Institute of Henan Electric Power Company， Zhengzhou， Henan 450002，China;

2.Key Lab of Power Electronics for Energy Conservation and Motor Drive of Hebei Province，

Yanshan University， Qinhuangdao， Hebei 066004，China;

3. Economic and Technological Research Institute of Hebei Electric Power Company， Shijiazhuang， Hebei 050011，China）

Abstract：In view of the fact that the current load forecasting can not reflect the periodicity and trend of load data and the volatility of residual， a short-term power load forecasting method based on the probability forecasting model of leaky integrator echo state network based on periodicity （PLESN） and leaky integrator echo state quantile regression network （LESQRN） is proposed. Firstly， in order to capture the multiple characteristics of the load， periodic and trend loss functions are defined to assist the optimization of the point prediction the PLESN model.Then， in order to overcome the fluctuation of residual error，the probabilistic prediction model is used to predict residual error for modeling prediction. Finally， the point prediction value and the residual prediction interval are integrated to obtain the result of the probability prediction model. The results of actual calculation examples show that， compared with other models， the proposed model not only effectively suppresses the tip oscillation phenomenon，but also can generates reasonable probability density distribution.

Keywords：short-term power load forecasting; periodic modeling; leaky integrator echo state network; quantile regression