多算法多模型與在線第二次學(xué)習(xí)結(jié)合的短期電力負(fù)荷預(yù)測方法

周 末，金 敏

(湖南大學(xué) 信息科學(xué)與工程學(xué)院，長沙410084)

多算法多模型與在線第二次學(xué)習(xí)結(jié)合的短期電力負(fù)荷預(yù)測方法

周 末，金 敏*

(湖南大學(xué) 信息科學(xué)與工程學(xué)院，長沙410084)

為了提高短期電力負(fù)荷預(yù)測精度，首次提出多算法多模型與在線第二次學(xué)習(xí)結(jié)合的預(yù)測方法。首先,利用互信息方法和統(tǒng)計方法對輸入變量進(jìn)行選擇; 然后, 通過Bootstrap方法對數(shù)據(jù)集進(jìn)行多樣性采樣，利用多個不同的人工智能算法和機(jī)器學(xué)習(xí)算法訓(xùn)練得到多個差異化較大的異構(gòu)預(yù)測模型; 最后,用每個待預(yù)測時刻最近一段時間的實際負(fù)荷值、第一次學(xué)習(xí)生成的多異構(gòu)預(yù)測模型的負(fù)荷預(yù)測值構(gòu)成新訓(xùn)練數(shù)據(jù)集，對新訓(xùn)練數(shù)據(jù)集進(jìn)行在線第二次學(xué)習(xí)，得到最終預(yù)測結(jié)果。對中國廣州市負(fù)荷進(jìn)行預(yù)測研究，與最優(yōu)單模型、單算法多模型和多算法單模型相比，在每日總負(fù)荷預(yù)測中，全年平均絕對百分誤差(MAPE)分別下降了21.07%、7.64%和5.00%，在每日峰值負(fù)荷預(yù)測中，全年MAPE分別下降了16.02%、7.60%和13.14%。實驗結(jié)果表明，推薦方法有效地提高了負(fù)荷預(yù)測精度，有利于智能電網(wǎng)實現(xiàn)節(jié)能降耗、調(diào)度精細(xì)化管理和電網(wǎng)安全預(yù)警。

短期電力負(fù)荷預(yù)測；多樣性采樣；異構(gòu)模型；多算法多模型；在線第二次學(xué)習(xí)

0 引言

電力負(fù)荷預(yù)測是智能電網(wǎng)建設(shè)的基本環(huán)節(jié)之一，精準(zhǔn)、時效的負(fù)荷預(yù)測是智能電網(wǎng)實現(xiàn)節(jié)能降耗、調(diào)度精細(xì)化管理和電網(wǎng)安全預(yù)警的基礎(chǔ)。由于影響電力負(fù)荷變化的因素呈現(xiàn)出較高的隨機(jī)性，使得電力負(fù)荷的變化也具有較高的隨機(jī)性，加大了預(yù)測的難度。已有電力負(fù)荷預(yù)測模型總體分為經(jīng)典預(yù)測模型、人工智能預(yù)測模型和機(jī)器學(xué)習(xí)預(yù)測模型。經(jīng)典預(yù)測模型主要有回歸分析法[1]、時間序列法[2]等，經(jīng)典預(yù)測模型是一種簡單的線性方法，模型結(jié)構(gòu)簡單，預(yù)測速度快，但對于電力負(fù)荷非線性變化問題預(yù)測精度不高。人工智能預(yù)測模型主要是神經(jīng)網(wǎng)絡(luò)[3-6]，例如反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network, BPNN)、極限學(xué)習(xí)機(jī)等。神經(jīng)網(wǎng)絡(luò)算法具有很強(qiáng)的非線性擬合能力和自學(xué)習(xí)能力，但大部分網(wǎng)絡(luò)結(jié)構(gòu)需要經(jīng)驗進(jìn)行確定；雖然極限學(xué)習(xí)機(jī)能夠解決網(wǎng)絡(luò)結(jié)構(gòu)的問題，但極限學(xué)習(xí)機(jī)不穩(wěn)定。機(jī)器學(xué)習(xí)預(yù)測模型主要有支持向量機(jī)(Support Vector Machine, SVM)[7]、最小二乘支持向量機(jī)(Least Square Support Vector Machine, LSSVM)[8-10]、隨機(jī)森林(Random Forest, RF)[11-12]和GBRT(Gradient Boosting Regression Tree)[11,13]等。LSSVM是標(biāo)準(zhǔn)SVM的一種擴(kuò)展，克服了標(biāo)準(zhǔn)SVM的缺點，降低了計算復(fù)雜度，提高了求解速度，在負(fù)荷增長較大時預(yù)測效果依然較好，但LSSVM對異常值的魯棒性不夠好，且模型訓(xùn)練參數(shù)需要通過尋優(yōu)的方法獲得，增加了訓(xùn)練時間和難度；隨機(jī)森林和GBRT這兩種算法本質(zhì)是樹型算法，克服了LSSVM的缺點，對異常值的魯棒性好，模型訓(xùn)練所需參數(shù)少，預(yù)測精度較高，GBRT算法在迭代過程中可能出現(xiàn)過擬合問題，用RF算法去學(xué)習(xí)一個回歸模型，將模型的預(yù)測輸出初始化GBRT(initialized GBRT, iGBRT)[14]，可以有效避免過擬合問題，且訓(xùn)練效率更高，預(yù)測性能相比RF和GBRT有所提升，但樹型算法在負(fù)荷增長較大時預(yù)測精度不高。

任何一種預(yù)測模型都有其特定的適用范圍。在模型訓(xùn)練時，單模型方法可能出現(xiàn)過擬合、泛化能力受限，在模型預(yù)測時，每個單模型在相同的時間點上預(yù)測效果不一樣，預(yù)測精度仍有提升空間，為了進(jìn)一步減小預(yù)測誤差，多個領(lǐng)域?qū)Χ嗄Ｐ图煞椒ㄟM(jìn)行了研究，如圖像識別、醫(yī)療診斷等[15-17]。目前訓(xùn)練多模型的方法主要分為兩種: 一種是針對單個算法，通過數(shù)據(jù)集采樣多樣性、設(shè)置不同模型參數(shù)、選取不同輸入變量等方式，生成多個模型[18-20]，這種方法較好地解決了單模型可能出現(xiàn)過擬合、泛化能力受限等問題，但該方法局限于單一算法，無法解決單個算法適用范圍受限的問題; 另一種是針對多個算法，每個算法生成一個模型[21-23]，多個算法優(yōu)勢互補克服了單個算法適用范圍受限的缺點，但每個算法采用的依然是單一模型，容易造成過擬合、泛化能力不強(qiáng)等問題。在多模型融合方法中，應(yīng)用廣泛的是簡單平均方法和加權(quán)平均方法，但這些都是一種線性的融合方法，電力負(fù)荷變化具有非線性特性，利用線性加權(quán)融合仍有一定的缺陷。

針對上述問題，本文提出多算法多模型與在線第二次學(xué)習(xí)結(jié)合的預(yù)測方法，通過Bootstrap方法進(jìn)行多樣性采樣，利用LSSVM、iGBRT和BP算法訓(xùn)練得到多個差異化較大的預(yù)測模型，將待預(yù)測時刻最近一段時間的負(fù)荷預(yù)測值與實際值構(gòu)成融合矩陣，使用LSSVM算法對融合矩陣進(jìn)行在線第二次學(xué)習(xí)，得到最終預(yù)測結(jié)果。本文將該方法應(yīng)用在電力系統(tǒng)城市每日總負(fù)荷和每日峰值負(fù)荷預(yù)測中，通過實驗研究探索數(shù)據(jù)集的選取、多模型構(gòu)建、在線第二次學(xué)習(xí)，分析比較不同模型的預(yù)測性能。

1 多算法多模型與在線第二次學(xué)習(xí)

1.1 LSSVM

LSSVM是標(biāo)準(zhǔn)支持向量機(jī)的一種擴(kuò)展，克服了標(biāo)準(zhǔn)支持向量機(jī)的缺點，優(yōu)化指標(biāo)采用平方項，并用等式約束代替標(biāo)準(zhǔn)支持向量機(jī)的不等式約束，即將二次規(guī)劃問題轉(zhuǎn)化為線性方程組求解，降低了計算復(fù)雜性，提高了求解速度，在預(yù)測性能方面表現(xiàn)較強(qiáng)[24]。

F(x)=ωT·φ(x)+b

(1)

其中:ω為權(quán)值向量，b是閾值，φ(x)是從輸入空間到高維特征空間的非線性映射。LSSVM優(yōu)化目標(biāo)為:

(2)

s.t.yi=ωT·φ(xi)+b+ei,i=1,2,…,N

根據(jù)Karush-Kuhn-Tucker (KKT)最優(yōu)條件和Lagrange方法來解此優(yōu)化問題可得LSSVM的回歸模型：

(3)

對于非線性回歸，使用一個非線性映射φ(x)將數(shù)據(jù)映射到一個高維特征空間，再在高維特征空間中進(jìn)行線性回歸，其關(guān)鍵問題是核函數(shù)的選取，目前常用的核函數(shù)有多項式核函數(shù)、Sigmoid核函數(shù)和徑向基核函數(shù)(Radial Basis Function, RBF)，其中RBF中只有1個參數(shù)調(diào)節(jié)，且有很好的性能，在本文中選用RBF作為核函數(shù)：

K(x,xi)=exp (-‖x-xi‖2/2σ2)

(4)

因此，在訓(xùn)練LSSVM時有兩個參數(shù)需要調(diào)節(jié)：一個是核函數(shù)參數(shù)σ，一個是正規(guī)化參數(shù)C。

1.2 初始化GBRT

GBRT算法在迭代過程中需要對縮減參數(shù)和迭代輪數(shù)進(jìn)行權(quán)衡：當(dāng)縮減參數(shù)很大時，迭代輪數(shù)很小，模型容易出現(xiàn)過擬合，預(yù)測精度不高；當(dāng)縮減參數(shù)很小時，為了降低過擬合，提高預(yù)測精度，迭代輪數(shù)就必須增大。本文對縮減參數(shù)和迭代輪數(shù)進(jìn)行權(quán)衡，將RF作為一個低成本、對參數(shù)選擇不敏感和不容易過擬合的算法去學(xué)習(xí)一個回歸模型，將模型的預(yù)測輸出初始化GBRT(iGBRT)，使GBRT的迭代起始點接近迭代終點，即使縮減參數(shù)比較小，也能使用較小的迭代輪數(shù)達(dá)到全局最優(yōu)，使GBRT有效避免過擬合問題，且訓(xùn)練效率更高，預(yù)測性能相比RF和GBRT更好。

(5)

其中:H(x;αm,βm) 為一個簡單的參數(shù)函數(shù)，稱為基函數(shù)，本文中是CART樹。α、β是決策樹的參數(shù)，M為基函數(shù)的個數(shù)。

在訓(xùn)練過程中，根據(jù)式(6)不斷得到新的回歸樹：

(6)

得到一個新的回歸樹之后，就更新整個模型：

Fm(x)=Fm-1(x)+νH(x;αm,βm)

(7)

其中:ν是縮減參數(shù)，避免損失函數(shù)下降過快，防止過擬合。當(dāng)m=0時，F(xiàn)0(x)是所有訓(xùn)練樣本輸出值的均值。本文選擇的損失函數(shù)是ψ(y,F)=(y-F)2/2。

1.3 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的主要特點是信號前向傳遞，誤差反向傳播[27]。在前向傳遞中，輸入信號從輸入層經(jīng)隱含層逐層處理，直至輸出層。每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果輸出層得不到期望輸出，則轉(zhuǎn)入反向傳播，根據(jù)預(yù)測誤差調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，從而使BP神經(jīng)網(wǎng)絡(luò)預(yù)測輸出不斷逼近期望輸出。

1.4 算法流程

本文提出多算法多模型與在線第二次學(xué)習(xí)結(jié)合的預(yù)測方法，通過Bootstrap方法進(jìn)行多樣性采樣，利用LSSVM、iGBRT和BP算法訓(xùn)練得到多個差異化較大的預(yù)測模型，將待預(yù)測

時刻最近一段時間的負(fù)荷預(yù)測值與實際值構(gòu)成融合矩陣，使用LSSVM算法對融合矩陣進(jìn)行在線第二次學(xué)習(xí)，得到最終預(yù)測結(jié)果。

該方法的具體步驟如下所示，主要分為四步：

第一步 數(shù)據(jù)集選取。影響電力負(fù)荷變化的因素眾多，總體分為社會因素和自然因素。社會因素，包括經(jīng)濟(jì)增長規(guī)模、工業(yè)用戶類型與數(shù)量、星期類型和節(jié)假日等，其中經(jīng)濟(jì)增長規(guī)模、工業(yè)用戶類型與數(shù)量，其短期數(shù)據(jù)一般暫未公開,無法獲取，而星期類型和節(jié)假日，可以通過日歷和政府網(wǎng)站獲得其公開數(shù)據(jù)。自然因素，典型的包括溫度、濕度、氣壓、風(fēng)速、降雨量等氣象因素，可以從氣象科學(xué)數(shù)據(jù)網(wǎng)站獲得其公開數(shù)。為追溯電力負(fù)荷變化源頭、揭示電力負(fù)荷變化的內(nèi)在規(guī)律和趨勢，本文在數(shù)據(jù)集選取方面，不僅選用電力系統(tǒng)領(lǐng)域的電力負(fù)荷歷史數(shù)據(jù)，而且選用來源于非電力系統(tǒng)領(lǐng)域的多種負(fù)荷變化影響因素的可得數(shù)據(jù)，包括星期類型數(shù)據(jù)、節(jié)假日數(shù)據(jù)和氣象數(shù)據(jù)(包括溫度、氣壓、濕度、風(fēng)速等)，并且采用互信息和統(tǒng)計信息衡量這些數(shù)據(jù)與負(fù)荷變化間關(guān)聯(lián)關(guān)系的強(qiáng)弱以篩選出特征值。

互信息是一種信息度量，表示一個隨機(jī)變量包含另一個隨機(jī)變量的信息量，度量兩變量之間的相關(guān)性[28-29]。本文采用互信息對氣象特征值進(jìn)行選取，剔除噪聲變量，降低模型訓(xùn)練的規(guī)模及計算復(fù)雜度, 提高模型預(yù)測性能。在互信息標(biāo)準(zhǔn)中，兩個隨機(jī)變量X和Y的統(tǒng)計依存關(guān)系用互信息來度量：

(8)

其中：I(X,Y)代表變量X和Y的互信息，互信息越大，表示兩變量之間的相關(guān)性越大。

得到互信息之后，選擇前N個互信息最大的氣象特征值Wj(j=1,2,…,N)作為部分特征值；通過對不同星期類型WTi和節(jié)假日Hi電力負(fù)荷使用情況進(jìn)行統(tǒng)計，分析出相關(guān)規(guī)律，構(gòu)造特征值。對于第i時刻，其前M時刻的歷史負(fù)荷Yi-k(k=1,2,…,M)對負(fù)荷預(yù)測也有影響，將WTi、Hi、Wj與Yi-k作為全部特征值與實際負(fù)荷Yi(i=1,2,…,n，n代表總樣本數(shù))構(gòu)成數(shù)據(jù)集：

D=[WTi,Hi,Wi1,Wi2,…,WiN,Yi,i-M,Yi,i-M+1,…,Yi,i-1,Yi];i=1,2,…,n

第二步 構(gòu)建多模型。為了有效降低單模型可能出現(xiàn)的過擬合，增強(qiáng)模型泛化能力，增加模型多樣性，提高預(yù)測精度，使多個算法優(yōu)勢互補，通過Bootstrap方法，使用采樣率μ對數(shù)據(jù)集D進(jìn)行m1、m2和m3次可重復(fù)采樣，利用LSSVM算法訓(xùn)練m1個模型L1,L2,…,Lm1，iGBRT算法訓(xùn)練m2個模型G1,G2,…,Gm2和BP算法訓(xùn)練m3個模型B1,B2,…,Bm3，得到Multi-model。

Bootstrap方法稱為自助法，它是一種有放回的抽樣方法，是一種用小樣本估計總體值的非參數(shù)統(tǒng)計方法。已經(jīng)證明，在初始樣本足夠大的情況下，Bootstrap抽樣能夠無偏地接近總體的分布。其核心思想和基本步驟是：1)設(shè)定抽樣比例，即從原始樣本中按照指定的比例抽取樣本；2)設(shè)定樣本集個數(shù)N，即重復(fù)上述N次，得到N個樣本集。

第三步 在線第二次學(xué)習(xí)。利用Multi-model對待預(yù)測時刻前K時刻負(fù)荷進(jìn)行預(yù)測，將負(fù)荷預(yù)測值作為融合矩陣的特征值，與負(fù)荷實際值Y構(gòu)成融合矩陣：

因為電力負(fù)荷變化具有非線性特性，融合矩陣較小。LSSVM 是基于結(jié)構(gòu)風(fēng)險最小化原則，在小樣本和非線性情況下，使用LSSVM算法對融合矩陣進(jìn)行學(xué)習(xí)，仍然能保證較好的泛化能力。學(xué)習(xí)完成后得到?jīng)Q策模型。

第四步 最終預(yù)測。通過第一步得到的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，第二步訓(xùn)練得到的Multi-model，以及第三步二次學(xué)習(xí)得到的決策模型，最后一步將待預(yù)測時刻的Multi-model的電力負(fù)荷預(yù)測值和實際值構(gòu)成預(yù)測樣本，輸入到融合模型進(jìn)行預(yù)測，得到最終預(yù)測結(jié)果。

2 實驗研究

本文實驗研究的環(huán)境包括處理器：Inter Core 2 Duo E7500，內(nèi)存： 4 GB，主頻：2.94 GHz，操作系統(tǒng)：Windows 7。

2.1 特征值選取

實驗所用的數(shù)據(jù)集包括歷史負(fù)荷數(shù)據(jù)、氣象數(shù)據(jù)、星期類型數(shù)據(jù)和節(jié)假日數(shù)據(jù)，其中歷史負(fù)荷數(shù)據(jù)是廣東省廣州市近3年的數(shù)據(jù)，每15 min采集一次；氣象數(shù)據(jù)來自于中國氣象科學(xué)數(shù)據(jù)共享服務(wù)網(wǎng)；星期數(shù)據(jù)和節(jié)假日數(shù)據(jù)通過日歷和政府網(wǎng)站獲得。氣象包括溫度、濕度、氣壓、風(fēng)速、降雨量等因素，但不同的因素對電力負(fù)荷變化影響程度或強(qiáng)或弱，因此需要對氣象因素進(jìn)行選取。根據(jù)式(8)計算，圖1(a)是氣象候選特征值與每日總負(fù)荷之間的互信息，圖1(b)是氣象候選特征值與每日峰值負(fù)荷之間的互信息，圖中已對互信息值進(jìn)行了降序排列。

圖1 氣象候選特征值與每日負(fù)荷之間的互信息Fig. 1 Mutual information between weather candidate feature and daily load

圖1表明，每個氣象特征值對負(fù)荷的影響程度不一樣，本文選擇0.3作為閾值，選擇圖1(a)中前7個作為每日總負(fù)荷預(yù)測氣象特征值，包括日平均氣溫、日最高氣溫、日最低氣溫、平均水汽壓、日最高本站氣壓、平均本站氣壓、日最低本站氣壓；選擇圖1(b)中前5個作為每日峰值負(fù)荷預(yù)測氣象特征值，包括日平均氣溫、日最高氣溫、日最低氣溫、平均水汽壓。

圖2(a)是兩年工作日、雙休日和節(jié)假日平均每日總負(fù)荷，圖2(b)是兩年工作日、雙休日和節(jié)假日平均每日峰值負(fù)荷。圖2表明，工作日負(fù)荷是最高的，且工作日負(fù)荷大小接近，雙休日負(fù)荷較低，節(jié)假日負(fù)荷是最低的。在本文中，將星期類型用1、0標(biāo)志表示，1代表工作日，0代表雙休日；節(jié)假日用1、0標(biāo)志表示，1代表節(jié)假日，0代表非節(jié)假日。用選擇的氣象特征值、星期特征值、節(jié)假日特征值和待預(yù)測日前7天的歷史負(fù)荷值構(gòu)成數(shù)據(jù)集全部特征值，預(yù)測值分別是每日總負(fù)荷和每日峰值負(fù)荷。

圖2 兩年工作日、雙休日和節(jié)假日平均每日負(fù)荷Fig. 2 Average daily load for each working day, weekend and holiday of two years

2.2 模型評估指標(biāo)

針對電力負(fù)荷預(yù)測系統(tǒng)性能評估的方法有很多，其中平均絕對百分誤差(Mean Absolute Percentage Error, MAPE)是使用最多的方法，因此本文選擇MAPE作為評估指標(biāo)：

(9)

2.3 預(yù)測性能研究

在單模型方法研究中，為了獲得更高預(yù)測精度，單模型訓(xùn)練集選擇每個預(yù)測時刻之前所有數(shù)據(jù)，測試集是第3年數(shù)據(jù)；在多模型方法研究中，多模型訓(xùn)練集是前兩年數(shù)據(jù)，測試集是第3年數(shù)據(jù)，在進(jìn)行第2次學(xué)習(xí)時，新訓(xùn)練數(shù)據(jù)集由待預(yù)測日前k=60d的原星期類型和節(jié)假日特征值、氣象特征值、歷史負(fù)荷特征值、負(fù)荷預(yù)測值和實際值構(gòu)成。LSSVM中核函數(shù)參數(shù)σ和正規(guī)化參數(shù)C采用十字交叉驗證和網(wǎng)格搜索進(jìn)行參數(shù)尋優(yōu)；iGBRT中的RF算法樹數(shù)目為500，GBRT算法樹總數(shù)為30，學(xué)習(xí)速率為ν=0.1，基學(xué)習(xí)器為CART；BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點數(shù)為20。構(gòu)建單算法多模型和多算法多模型時，采樣率μ=0.7，訓(xùn)練數(shù)據(jù)集個數(shù)m1=10，m2=10，m3=10；構(gòu)建多算法單模型時，采樣率μ=1，訓(xùn)練數(shù)據(jù)集個數(shù)m1=1，m2=1，m3=1。

案例1 本實驗對LSSVM、iGBRT和BP單模型以及本文預(yù)測模型預(yù)測性能進(jìn)行研究。表1是不同模型全年負(fù)荷預(yù)測誤差。

表1預(yù)測結(jié)果表明，本文方法與最優(yōu)單模型LSSVM相比，在每日總負(fù)荷預(yù)測中，MAPE減少了21.07%；在每日峰值負(fù)荷預(yù)測中，MAPE減少了16.02%，這說明本文方法比單模型泛化能力更強(qiáng)，預(yù)測精度更高。

表1 本文方法與單模型全年負(fù)荷預(yù)測誤差對比 %Tab. 1 Forecasting errors of the proposed model and single-models for a one-year period %

表2給出了4種方法的運行時間，其中總體運行時間為離線運行時間和在線運行時間之和。對本文方法而言，離線運行時間用于多模型離線訓(xùn)練，在線運行時間用于在線第二次學(xué)習(xí)和在線預(yù)測。從表2中可以看出，本文方法總體運行時間較長，主要是因為多模型離線訓(xùn)練階段消耗時間長，為225.767 s，在線第二次學(xué)習(xí)和在線預(yù)測階段消耗11.136 s。在實驗中，多模型的離線訓(xùn)練只進(jìn)行一次，因此系統(tǒng)的實際運行時間就是在線運行時間(用于在線第二次學(xué)習(xí)和在線預(yù)測)，考慮本文的實驗環(huán)境，11.136 s的時間開銷完全可以滿足實際預(yù)測系統(tǒng)的應(yīng)用需求。

表2 本文方法與單模型方法運行時間對比 sTab. 2 Runtime comparsion of the proposed method and single-modles s

圖3是7月每日總負(fù)荷和每日峰值負(fù)荷實際曲線、預(yù)測曲線和預(yù)測誤差曲線。圖3誤差曲線表明，BP誤差曲線存在較大的誤差點，這說明單算法單模型存在過擬合問題，采用多樣性采樣可以避免單模型過擬合問題；LSSVM、iGBRT和BP單模型在相同時間點上預(yù)測效果有差別，且都有各自預(yù)測最好的時間點，而在大部分預(yù)測時間點上，本文方法預(yù)測值比單模型預(yù)測值更接近實際負(fù)荷值，這說明本文方法綜合利用了多個算法的優(yōu)點、解決了單個算法適用范圍受限的問題，泛化能力更強(qiáng)。從圖3負(fù)荷曲線可知單模型大部分預(yù)測值都低于負(fù)荷實際值，這說明對于負(fù)荷存在的增長率問題，單模型沒有很好地學(xué)習(xí)到，泛化能力受限。

案例2 本實驗對不同融合方法預(yù)測性能進(jìn)行研究。將本文在線第二次學(xué)習(xí)方法與文獻(xiàn)[14]中推薦的偏最小二乘法(Partial Least Squares, PLS)方法進(jìn)行對比。在線第二次學(xué)習(xí)和PLS集成所用到的訓(xùn)練數(shù)據(jù)集是每個待預(yù)測時刻最近一段時間的Multi-model負(fù)荷預(yù)測值及實際值構(gòu)成訓(xùn)練數(shù)據(jù)集D1，D1_PLS是PLS方法對D1數(shù)據(jù)集進(jìn)行多模型集成，D1_LSSVM是LSSVM對D1數(shù)據(jù)集進(jìn)行第二次學(xué)習(xí)。表3是不同融合方法全年負(fù)荷預(yù)測誤差。

表3 不同融合方法全年負(fù)荷預(yù)測誤差 %Tab. 3 Forecasting errors of different combination methods for a one-year period %

表3預(yù)測結(jié)果表明，D1_LSSVM進(jìn)行多模型二次學(xué)習(xí)的預(yù)測精度明顯高于D1_PLS加權(quán)平均方法，這說明對于電力負(fù)荷變化具有非線性特性，采用非線性融合方法比線性加權(quán)融合方法學(xué)習(xí)得更好。

圖3 七月負(fù)荷實際曲線、預(yù)測曲線及預(yù)測誤差曲線Fig. 3 Actual load, forecasting load, and forecasting errors for July

案例3 本實驗對單算法多模型、多算法單模型方法預(yù)測性能進(jìn)行研究。單算法多模型由LSSVM、iGBRT和BP算法分別采用Bootstrap方法進(jìn)行重復(fù)采樣，每個算法訓(xùn)練5個模型構(gòu)建；多算法單模型由LSSVM、iGBRT和BP算法進(jìn)行兩兩組合和全部組合的方式構(gòu)建，每個算法訓(xùn)練1個模型。表4是不同多模型全年負(fù)荷預(yù)測誤差，所有多模型都使用案例2中D1_LSSVM進(jìn)行在線第二次學(xué)習(xí)。

由表4可知，在每日總負(fù)荷預(yù)測中，3種多模型方法中各自最優(yōu)的模型是LSSVM_iGBRT、Multi_LSSVM和本文方法；在每日峰值負(fù)荷預(yù)測中，3種多模型方法中各自最優(yōu)的模型是BP_LSSVM、Multi_LSSVM和本文方法。在每日總負(fù)荷預(yù)測中，本文方法相比LSSVM_iGBRT和Multi_LSSVM方法，全年平均MAPE減少了5.00%和7.64%，在每日峰值負(fù)荷預(yù)測中，本文方法相比BP _LSSVM和Multi_LSSVM方法，全年平均MAPE減少了13.14%和7.60%。在每日總負(fù)荷預(yù)測中，LSSVM_iBGRT在多算法單模型中全年平均預(yù)測精度最高，在每日峰值負(fù)荷預(yù)測中， Multi_LSSVM和Multi_ BP在單算法多模型中全年平均預(yù)測模式下，表現(xiàn)的預(yù)測性能不同。而多算法多模型方法在全年平均預(yù)測精度上都是最高的，這說明本文方法比單算法多模型和多算法單模型方法預(yù)測精度更高，說明多算法多模型方法將多個算法優(yōu)勢互補克服了單算法多模型中單個算法適用范圍受限的缺點，也提高了多算法單模型泛化能力，應(yīng)用更加自由。

表4 本文方法與多算法單模型、單算法多模型全年負(fù)荷預(yù)測誤差 %Tab. 4 Forecasting errors of the proposed model, multi-algorithm & single- models and single-algorithm & multi-models for a one-year period %

表5顯示了多模型方法的運行時間，從表5中可以看出，多模型方法總體運行時間都比較長，主要是因為多模型離線訓(xùn)練階段消耗時間長。綜合考慮負(fù)荷預(yù)測精度和實驗環(huán)境，與其他多模型方法相比，本文方法依然是較優(yōu)的方法。

表5 本文方法與單算法多模型、多算法單模型運行時間對比 sTab. 5 Runtime comparision of the proposed method, multi-algorithm & multi-models and multi-algorithm & single-models s

3 結(jié)語

本文首次提出多算法多模型與在線第2次學(xué)習(xí)結(jié)合的預(yù)測方法。對廣東省廣州市近3年每日總負(fù)荷和每日峰值負(fù)荷進(jìn)行預(yù)測研究，實驗結(jié)果為，本文預(yù)測方法與最優(yōu)單模型、最優(yōu)多算法單模型和最優(yōu)單算法多模型相比，在每日總負(fù)荷預(yù)測中，全年MAPE減少了21.07%、5.00%和7.64%，在每日峰值負(fù)荷預(yù)測中，全年MAPE減少了16.02%、13.14%和7.60%。實驗結(jié)果表明：通過利用氣象數(shù)據(jù)、星期類型數(shù)據(jù)、節(jié)假日數(shù)據(jù)和負(fù)荷數(shù)據(jù)更好地揭示了負(fù)荷變化的內(nèi)在規(guī)律和趨勢; 對訓(xùn)練集進(jìn)行多樣性采樣，克服了單模型過擬合問題，泛化能力增強(qiáng)，使多個算法優(yōu)勢互補，解決單個算法適用范圍受限的問題； 采用在線第二次學(xué)習(xí)方法，解決了電力負(fù)荷存在的增長率和近因效應(yīng)問題。

本文提出的預(yù)測方法不局限于電力負(fù)荷預(yù)測領(lǐng)域，對于交通流量預(yù)測、電價預(yù)測等領(lǐng)域，本文方法同樣適用，只是在構(gòu)建多算法多模型時，需要針對各個領(lǐng)域數(shù)據(jù)集的不同特點選擇不同的算法。

References)

[1] DUDEK G. Pattern-based local linear regression models for short-term load forecasting [J]. Electric Power Systems Research, 2016, 130: 139-147.

[2] CHO M Y, HWANG J C, CHEN C S. Customer short term load forecasting by using ARIMA transfer function model [C]// Proceedings of the 1995 International Conference on Energy Management and Power Delivery. Piscataway, NJ: IEEE, 1995: 317-322.

[3] LI S, WANG P, GOEL L. Short-term load forecasting by wavelet transform and evolutionary extreme learning machine[J]. Electric Power Systems Research, 2015, 122: 96-103.

[4] XIAO Z, YE S J, ZHONG B, et al. BP neural network with rough set for short term load forecasting [J]. Expert Systems with Applications, 2009, 36(1): 273-279.

[5] 師彪,李郁俠,于新花,等.改進(jìn)粒子群 —— BP神經(jīng)網(wǎng)絡(luò)模型的短期電力負(fù)荷預(yù)測[J]. 計算機(jī)應(yīng)用,2009,29(4):1036-1039. (SHI B, LI Y X, YU X H, et al. Short-term load forecast based on modified particle swarm optimizer and back propagation neural network model [J]. Journal of Computer Applications, 2009, 29(4): 1036-1039.)

[6] 郎坤,張明媛,袁永博.基于迭代誤差補償?shù)暮藰O端學(xué)習(xí)機(jī)模型在短期電力負(fù)荷預(yù)測中的應(yīng)用[J]. 計算機(jī)應(yīng)用,2015,35(7):2083-2087. (LANG K, ZHANG M Y, YUAN Y B. Application of extreme learning machine with kernels model based on iterative error correction in short term electricity load forecasting [J]. Journal of Computer Applications, 2015, 35(7): 2083-2087.)

[7] 吳倩紅,高軍,侯廣松,等.實現(xiàn)影響因素多源異構(gòu)融合的短期負(fù)荷預(yù)測支持向量機(jī)算法[J]. 電力系統(tǒng)自動化,2016,40(15):67-72. (WU Q H, GAO J, HOU G S, et al. Short-term load forecasting support vector machine algorithm based on multi-source heterogeneous fusion of load factors[J]. Automation of Electric Power Systems, 2016, 40(15): 67-72.)

[8] CHEN Y H, HONG W C, SHEN W, et al. Electric load forecasting based on a least squares support vector machine with fuzzy time series and global harmony search algorithm[J]. Energies, 2016, 9(2): 7-82.

[9] LIN W M, TU C S, YANG R F, et al. Particle swarm optimisation aided least-square support vector machine for load forecast with spikes [J]. IET Generation, Transmission & Distribution, 2016, 10(5): 1145-1153.

[10] 胡時雨,羅滇生,陽霜,等.基于多變量LS-SVM和模糊循環(huán)推理系統(tǒng)的負(fù)荷預(yù)測[J]. 計算機(jī)應(yīng)用,2015,35(2):595-600. (HU S Y, LUO D S, YANG S, et al. Load forecasting based on multi-variable LS-SVM and fuzzy recursive inference system [J]. Journal of Computer Applications, 2015, 35(2): 595-600.)

[11] PAPADOPOULOS S, KARAKATSANIS I. Short-term electricity load forecasting using time series and ensemble learning methods [C]// Proceedings of the 2015 IEEE Power and Energy Conference at Illinois. Piscataway: IEEE, 2015: 1-6.

[12] WU X Y, HE J H, YIP T, et al. A two-stage random forest method for short-term load forecasting [C]// Proceedings of the 2016 IEEE Power and Energy Society General Meeting. Piscataway, NJ: IEEE, 2016: 1-5.

[13] TAIEB S B, HYNDMAN R J. A gradient boosting approach to the Kaggle load forecasting competition [J]. International Journal of Forecasting, 2014, 30(2): 382-394.

[14] MOHAN A, CHEN Z, WEINBERGER K. Web-search ranking with initialized gradient boosted regression trees[C]// Proceedings of the 2010 International Conference on Yahoo! Learning to Rank Challenge. Haifa, Israel: JMLR, 2010, 14: 77-89.

[15] LI N, JIANG Y, ZHOU Z H. Multi-label selective ensemble[C]// Proceedings of the 12th International Workshop on Multiple Classifier Systems. Berlin: Springer, 2015: 76-88.

[16] ZHOU Z H, WU J X, TANG W. Ensembling neural networks: many could be better than all [J]. Artificial Intelligence, 2002, 137(1): 239-263.

[17] WANG B, CHIANG H D. ELITE: ensemble of optimal input-pruned neural networks using TRUST-TECH [J]. IEEE Transactions on Neural Networks, 2011, 22(1): 96-109.

[18] LI S, GOEL L, WANG P. An ensemble approach for short-term load forecasting by extreme learning machine[J]. Applied Energy, 2016, 170: 22-29.

[19] CHEN L G, CHIANG H D, DONG N, et al. Group-based chaos genetic algorithm and non-linear ensemble of neural networks for short-term load forecasting [J]. IET Generation Transmission & Distribution, 2016, 10(6): 1440-1447.

[20] RIBEIRO G T, GRITTI M C, AYALA H V H, et al. Short-term load forecasting using wavenet ensemble approaches [C]// Proceedings of the 2016 International Joint Conference on Neural Networks. Piscataway, NJ: IEEE, 2016: 727-734.

[21] SIWEK K, OSOWSKI S, SZUPILUK R. Ensemble neural network approach for accurate load forecasting in a power system [J]. International Journal of Applied Mathematics & Computer Science, 2009, 19(2): 303-315.

[23] DUDEK G. Heterogeneous ensembles for short-term electricity demand forecasting [C]// Proceedings of the 2016 17th International Scientific Conference on Electric Power Engineering. Piscataway, NJ: IEEE, 2016: 1-6.

[24] SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3): 293-300.

[25] BREIMAN L. Random forests [J]. Machine Learning, 2001, 45(1): 5-32.

[26] FRIEDMAN J H. Greedy function approximation: a gradient boosting machine [J]. The Annals of Statistics, 2001, 29(5): 1189-1232.

[27] HECHTNIELSEN R. Theory of the back propagation neural network[C]// Proceedings of the 1989 International Joint Conference on Neural Networks. Piscataway, NJ: IEEE, 1989: 593-605.

[28] GUILLEN A, HERRERA L J, RUBIO G, et al. New method for instance or prototype selection using mutual information in time series prediction [J]. Neurocomputing, 2010, 73(10): 2030-2038.

[29] BONNLANDER B V, WEIGEND A S. Selecting input variables using mutual information and nonparametric density estimation[EB/OL].[2016- 11- 20].http://pdfs.semanticscholar.org/0cbb/68b53c3a079545790e1e97e9f14bb4d613a9.pdf.

This work is partially supported by the National Natural Science Foundation of China (61374172), the National Scientific and Technological Achievement Transformation Project of China (201255).

ZHOUMo, born in 1990, M. S. candidate. His research interests include artificial intelligence, power load forecasting.

JINMin, born in 1973, Ph. D., professor. Her research interests include embedded system, artificial intelligence, big data, industry 4.0, power load forecasting.

Short-termpowerloadforecastingmethodcombiningwithmulti-algorithm&multi-modelandonlinesecondlearning

ZHOU Mo, JIN Min*

(CollegeofComputerScienceandElectronicEngineering,HunanUniversity,ChangshaHunan410084,China)

In order to improve the forecasting accuracy of the short-term power load, a forecasting method combining multi-algorithm & multi-model and online second learning was newly proposed. First, the input variables were selected by using mutual information and statistical information and a dataset was constructed. Then, multiple training sets were generated by performing diverse sampling with bootstrap on the original training set. Multiple models were obtained using different artificial intelligence and machine-learning algorithms. Finally, the offline second-learning method was improved. A new training set was generated using the actual load, and the multi-model forecasts for recent period within the forecasted time, which is trained by online second learning to obtain the final forecasting results. The load in Guangzhou, China was studied. Compared to the optimal single-model, single-algorithm & multi-model and multi-algorithm & single-model, Mean Absolute Percentage Error (MAPE) of the proposed model was reduced by 21.07%, 7.64% and 5.00%, respectively, in the daily total load forecasting, and by 16.02%, 7.60%, and 13.14%, respectively, in the daily peak load forecasting. The experimental results show that the proposed method can improve the prediction accuracy of the power load, reduce costs, implement optimal scheduling management, and ensure security with early warnings in smart grids.

short-term power load forecasting; diversity sampling; heterogeneous model; multi-algorithm and multi-model; online second learning

2017- 05- 08;

2017- 06- 16。

國家自然科學(xué)基金資助項目(61374172);國家科技成果轉(zhuǎn)化項目(201255)。

周末(1990—)，男，湖北漢川人，碩士研究生，主要研究方向：人工智能、電力負(fù)荷預(yù)測； 金敏(1973—)，女，湖南岳陽人，教授，博士，主要研究方向：嵌入式系統(tǒng)、人工智能、大數(shù)據(jù)、工業(yè)4.0、電力負(fù)荷預(yù)測。

1001- 9081(2017)11- 3317- 06

10.11772/j.issn.1001- 9081.2017.11.3317

(*通信作者電子郵箱jinmin@hnu.edu.cn)

TP391.9

A