基于核極限學習機的負荷多粒度預測模型

崔 嬌，文玉興，余永勝，歐鈺瞧，陳 蒙，谷紫文

(1. 云南電網有限責任公司 昆明供電局，昆明 650011；2. 湖南大學 電氣與信息工程學院，長沙 410082)

準確的負荷預測是保障電網穩定、解決電量偏差、節約能源的有效途徑[1]。隨著存儲技術和數據采集技術的發展，通過歷史數據搭建預測模型進行負荷預測的方式廣受關注[2]。傳統的時間序列預測方法主要包括最小二乘回歸法[3]、回歸分析法[4]等，由于負荷數據的非線性、非平穩性和自相關性等特征[5-6]，這些方法難以達到電力市場的精度要求。神經網絡算法具有較強的非線性特征提取能力，能夠有效提高預測模型的精度。目前，已有大量的神經網絡算法應用在負荷預測模型中，主要包括BP神經網絡[7]、支持向量機(support vector machine，SVM)[8]、長短期記憶神經網絡(long short-term memory，LSTM)[9]、極限學習機(extreme learning machine，ELM)[10]、極限梯度提升(extrme gradient boosting, XGBoost)[11]等。文獻[12]針對風電功率的隨機性和波動性特征，建立了基于遺傳算法優化后的核極限學習機預測模型，具有較好的泛化性能與預測精度。文獻[13]針對負荷數據不確定性動態特征，提出了一種基于約束并行長短期記憶神經網絡分位數回歸的短期電力負荷概率預測模型，該模型有效提高了預測效率和預測精度。文獻[14]提出了一種基于貝葉斯深度學習的多任務概率預測模型框架，通過群集池化的方式增加該框架處理數據的多樣性和數量，不僅解決了過擬合問題，還改善了預測性能。

1 基本理論

1.1 混沌時間序列分析

混沌理論對原始數據進行重構，將原始數據擴展到高維空間，以高維的方式將非線性系統中隱含的特征信息表現出來[16]。根據混沌學Takens的延遲嵌入定理，時間序列可以通過相空間重構恢復到原系統。對于單變量時間序列X∈{x1,x2,…,xn}，通過嵌入維度d和延遲時間τ進行相空間重構，拓撲結構為

X={xi,xi+τ,…,xi+(d-1)τ},i∈[1,n] 。

(1)

進行相空間重構時需要對嵌入維度d和延遲時間τ進行求解，其中交互信息法和虛假近鄰法是計算這2個參數的有效方法。

1.1.1 交互信息法求解延遲時間

交互信息法是一種通過信息論和遍歷論求解非線性系統混沌時間序列延遲時間τ的一種有效方法。對于時間序列X∈{x1,x2,…,xn}，延遲時間τ的交互信息公式為

I(τ)=H[x(i)]+H[x(i+τ)]-H[x(i),x(i+τ)] ，

(2)

式中：I(τ)為x(i+τ)對于x(i)的依賴程度。當I(τ)為0時，說明x(i+τ)和x(i)完全不相關，而I(τ)的第1個極小值表示x(i+τ)和x(i)的最大可能不相關，相空間重構時I(τ)的第1個極小值為最優的延遲時間。

1.1.2 虛假近鄰法求解嵌入維度

虛假近鄰法在相空間重構方面是計算嵌入維數的有效方法。隨著嵌入維度的增大，混沌運動軌跡逐漸打開，低維空間相鄰的2個數據在高維可能相距很遠，那么這2個點便是虛假近鄰點。針對時間序列X∈{x1,x2,…,xn}，令a(i,d)代表維度變換距離之差：

(3)

如果a(i,d)(典型值為[10,50])，則認為這2個數據是由于高維混沌吸引子中2個不相鄰的數據投影到低維空間中變成虛假近鄰點。嵌入維數從2開始，隨著嵌入位數d的增大，直到虛假臨近點的數量少于某一值或者虛假臨近點的數量不再改變時，此時的嵌入維度d便是最小嵌入維度。

1.2 變分模態分解

變分模態分解算法(variational mode decomposition，VMD)能夠將原始非平穩信號S分解為k個具有不同中心頻率和有限帶寬的相對平穩子信號{μ1,μ2,…,μn}。每一個子信號作為原始信號的一種帶限固有模態分量(band-limited intrinsic mode function，BLIMF)[15]，能夠反映原始信號在不同時間尺度下的結構特征。

(4)

μi(t)=Ai(t)cos(φi(t))，

(5)

式中：Ai表示模態分量μi的幅值；φi表示模態分量μi的相位。

文中將原始負荷數據經VMD分解為不同模態分量，考慮不同模態分量的自相關性強弱不同，針對每一模態分量建立各自的預測模型，以提高預測精度。文中模型用于短期負荷預測，在短時間內溫度波動幅度較小，溫度分解對短期預測模型的預測精度影響較小，故不對溫度數據進行VMD分解，以減小模型的復雜度。

1.3 核極限學習機

極限學習機是一種高效的單隱含層前饋神經網絡，廣泛應用在預測回歸和分類領域。極限學習機的輸入為[x1,x2,…,xn]，輸入層與隱藏層之間是全連接。若隱藏單元的個數是m，則隱藏層的輸出矩陣為

H(x)=[h1(x),h2(x),…,hk(x)] 。

(6)

隱藏單元的輸出是輸入節點乘上隱藏節點的權值w加上偏差b，經過一個非線性函數將所有輸入節點求和得：

(7)

其中：g是激活函數，常用的有Sigmoid函數、Gaussian函數等。

從隱藏層到輸出層也是全連接，輸出層的結果為

(8)

1.4 預測質量評價指標

(9)

式中，RMSE的范圍是[0，+∞]，該指標越小，說明預測值越貼近真實值。

(10)

式中，MAE的范圍是[0，+∞]，該指標越小，說明預測值越貼近真實值。

(11)

2 負荷多粒度預測模型

2.1 負荷預測中的時間窗大小取值問題

負荷作為一種時序數列，具有較強的自相關性。此外，用戶用電過程中受溫度因素的影響，導致負荷與溫度之間存在潛在的互相關性。針對多變量單值預測模型，其數學模型為

yt+m=f(X,Z) ，

(12)

X={xt,xt-1,…,xt-kx} ，

(13)

Z={zt+h,zt+h-1,…,zt+h-kz} ，

(14)

式中：t表示時刻；m表示預測步長；f表示預測模型；X表示歷史負荷數據；Z表示預測溫度數據；y表示預測負荷。

由式(12)所代表的負荷預測模型可知，預測質量不僅與預測模型擬合的函數f有關，還與輸入數據的時間窗大小kX和kZ有關。文中分析負荷數據的自相關性以及負荷數據與溫度數據之間的互相關性，研究輸入數據的時間窗大小對模型預測精度的影響。

選擇核極限學習機作為預測模型，采用1.4節中的評價指標衡量模型的預測質量。當預測步長較小時，負荷數據的自相關性對預測模型影響較大。設置預測步長大小為1，預測溫度時間窗kZ大小為24，預測質量與輸入負荷時間窗大小的關系曲線如圖1所示。由圖1可知，當輸入負荷時間窗大小為25時，模型的預測質量最高，說明合適的負荷時間窗大小能夠提高模型的預測精度。

圖1 預測質量與輸入負荷時間窗大小的關系曲線Fig. 1 Relationship between the prediction quality and the size of the input load-time window

當預測步長較大時，負荷數據與溫度數據之間的互相關性對預測模型影響較大。設置預測步長為5，預測負荷時間窗kX大小為25，預測質量與輸入溫度時間窗大小的關系曲線，如圖2所示。由圖2可知，當輸入溫度時間窗為26時，模型的預測質量最高，說明合適的溫度時間窗大小能夠提高模型的預測質量。

圖2 預測質量與輸入溫度時間窗的關系曲線Fig. 2 Relationship between prediction quality and the size of input temperature-time window

2.2 負荷多粒度預測模型

文中提出的基于MG-KELM的負荷預測模型的總體框架，如圖3所示，該模型包括3個階段：信號分解階段、時間窗求解階段和多粒度預測階段。

圖3 基于MG-KELM的多粒度預測模型的總體框架Fig. 3 Framework of the prediction model based on MG-KELM

第1階段：信號分解階段。與其它時序信號比較，臺區負荷的頻率分量相對較少。為此，將負荷信號X分解為3個中心頻率遞增的子信號：主要特征信號XL，細節特征信號XM和隨機特征信號XH。可根據經驗得到負荷信號分解的個數，實驗發現分解個數為3比較合理。如果原始信號最優的分解個數為2或者4，則需相應建立數量為2或者4的子信號預測模型，文中模型作相應修改即可。

第2階段：時間窗求解階段。通過混沌時序分析，利用嵌入維度和延遲時間求解每個模態在進行預測時的時間窗。

1)混沌特性分析。在進行相空間重構時，延遲時間τ和嵌入維度m由于數據時間長度有限導致求解時不存在。此外，混沌系統具有對初始值的極端敏感性，即2個差別很小的初值經過混沌系統處理后產生的差距將越來越大，并且呈現指數級分離，Lyapunov指數是描繪這一現象的方法。只要最大Lyapunov指數大于0便可判定該系統存在混沌特性。因此，一個系統是否具有混沌特性可以從2個方面判斷：在一定條件下延遲時間和嵌入維度是否可解，最大Lyapunov指數是否大于0。

2)時間窗求解。在數據Xi處，理想時間窗的窗內數據與之時序相關，窗外數據與之時序無關。根據數據是否具有混沌特性，時間窗的計算方法分為2種情況。

情況一：數據具有混沌特性。在單變量相空間重構過程中，延遲時間τ和嵌入維度m使得{xi,xi-τ,…,xi-(m-1)τ}中，數據之間保持相互獨立但又不完全隨機。由于時間窗的大小與延遲時間和嵌入維度有關，由混沌時間序列中延遲時間τ和嵌入維度m，得到混沌時間序列中數據之間最大不相關的時間尺度T的最終表達式為

T=(m-1)τ。

(15)

情況二：數據不具有混沌特性。對于不具有混沌特性的系統，無法進行相空間重構，說明該數據系統的時序相關性較弱。若數據不具有混沌特性，則將時間窗大小設為定值24。

第3階段：多粒度預測階段。針對每個模態建立不同時間窗大小的KELM預測模型，再對各個預測模型進行累加求和，最終反標準化得出預測負荷數據。多粒度預測階段的目的是針對不同頻率的模態分量，建立不同時間窗大小的KELM預測模型，基于KELM的單一模態分量預測模型，如圖4所示。

Step1:構建多粒度數據。根據上一階段時間窗求解方法，分別計算主要特征分量XL、細節特征分量XM、隨機特征分量XH和溫度數據的時間窗大小kXL、kXM、kXH和kZ。因此，多粒度訓練數據的結構為

yt+m=[xt,…,xt-kx,zt+h,…,zt+h-kz] 。

(16)

Step2:多粒度訓練。根據Step1中的多粒度訓練數據，建立各個模態分量的KELM訓練模型。由于ELM只需設定隱藏層節點個數和激活函數類型，參照文獻[17]的方法進行設置。

Step3:多粒度預測。累加各個模態分量的KELM模型的輸出值，通過反標準化得出最終預測結果。

圖4 基于KELM的單一模態分量的預測模型Fig. 4 Prediction model of single-mode function based on KELM

3 案例分析

著重考慮負荷自相關性和非平穩性對于預測模型精度的影響，選取歐盟互聯電網(europe electricity transmission system operator，ENTSO)公布的臺區負荷數據作為案例，驗證文中模型的有效性。數據類型包括負荷數據和溫度數據，采樣時間為2015年1月1日至2017年5月1日，采樣間隔為1 h。訓練數據的樣本規模為15 000，測試數據的樣本規模為2 000。

3.1 時間窗有效性分析

為了驗證時間窗大小對預測精度的影響，各個模態分量通過不同大小的時間窗，以MG-KELM模型進行預測實驗。表1為原始數據以及VMD分解后各個模態分量的混沌特性分析，根據最大李雅普諾夫指數判斷，都具有混沌特性。因此，以延遲時間和嵌入維度求解的時間窗進行負荷預測。

表1 數據混沌特性分析

時間窗大小與模型預測精度關系，如圖5所示，圖中藍色曲線為不同時間窗大小時模型的預測結果，紅色五角星是使預測模型預測質量最高時的時間窗大小，黑色圓圈是根據混沌時序分析預估的時間窗大小。從圖5可知，最佳時間窗大小使得預測精度最高，在圖中表現為RMSE、MAE和R2的極值點，說明時間窗大小能夠影響模型的預測精度。

當時間窗過大，模型提取時序特征存在冗余；當時間窗較小，模型提取時序特征較不完整。此外，各個模態分量的最佳時間窗大小不同，說明數據中不同模態分量的時序特征不同，表達其時序特征所需的序列長度也不同。對比表1可知，根據混沌相時序分析求解的時間窗取值接近最佳時間窗,說明文中方法能夠有效預估時間窗的大小。

圖5 時間窗大小與模型預測精度關系Fig. 5 Relationship between the size of the time window and model prediction accuracy

3.2 預測模型對比

為了驗證文中模型的有效性，采用長短期神經網絡(LSTM)作為對比實驗。根據原始負荷是否通過VMD分解，設立如表2所示的4種對比試驗。其中，與ELM相關的預測模型的隱藏層數量設為100，激活函數設置為徑向基函數(RBF)類型；與LSTM相關的預測模型的隱藏層單元數量設置為100，梯度閾值設置為1，迭代次數設置為150，激活函數設置為S型函數(Sigmoid)類型。為了消除隨機因素的影響，所有預測模型進行20次仿真實驗，去除各自實驗結果中最壞和最好的情況后，以平均值作為最終的預測結果。

表2 實驗對照組

當預測步長為1時，各個模型預測結果的評價指標如表3所示，滑動預測24 h的結果如圖6所示。由表3可知，MG-ELM在所有預測模型中的RMSE指標值和MAE指標值最小，說明文中模型的單點預測值與實際值最為接近；MG-ELM在所有預測模型中的R2系數最大，說明文中模型的整體擬合度最高。觀察圖6中各個模型預測數據形成的曲線形態，所有模型在進行單步預測時均能較好地擬合出原始負荷數據的曲線形態，但在9:00、16:00、24:00等時刻ELM和LSTM的預測值與原始值存在較大差異。

圖6 預測步長為1時各個模型的預測結果Fig. 6 Prediction results of each model when the prediction step is 1

表3 預測步長為1時的預測評價指標對比

當預測步長為7時，各個模型預測結果的評價指標如表4所示，滑動預測24 h的結果如圖7所示。由表4可知，隨著預測步長的增大，各個模型的預測精度均有下滑，但是MG-LELM和MG-LSTM均保持較好的預測質量。觀察圖7中各個模型預測數據形成的曲線形態，ELM與原始負荷數據形態差異最大；LSTM與原始負荷數據雖然形態相似，但是各個時刻的負荷值相差較大；MG-ELM和MG-LSTM不僅與原始負荷形態相似，所預測的負荷大小也與原始負荷大小相近。表明通過變分模態分解算法和混沌時序分析方法，針對負荷數據進行多粒度的時序特征處理，能夠提升原有模型的多步長預測精度。

表4 預測步長為7時的預測評價指標對比

圖7 預測步長為7時各個模型的預測結果Fig. 7 Prediction results of each model when the prediction step is 7

4 結束語

文中MG-KELM模型通過變分模態分解建立時間多粒度的極限學習機進行短期負荷預測，考慮負荷數據存在時序數列的自相關性，通過混沌時序分析方法計算時間窗的大小。不同模態分量的中心頻率不同，不同模態的自相關性強弱也不同，針對每一種模態分量進行混沌相空間時序分析，建立各自的預測模型。這種多粒度的負荷預測模型，可以提高所有模態的擬合程度，最終提升對原始負荷數據的預測精度。結果表明，通過變分模態分解的方法進行多粒度時序預測可以提升原始預測模型的精度，通過混沌時序分析方法可以估算最佳時間窗，提高各個模態的預測精度。