基于Stacking模型融合的光伏發電功率預測①

楊榮新,孫朝云,徐 磊

(長安大學 信息工程學院,西安 710064)

近年來,光伏發電產業憑借著自身清潔、環保和無污染的諸多優勢,以及在國家相關政策的大力支持下,實現了跨越式發展[1].但太陽光的光照強度、環境溫度等多種因素都會對太陽能發電的輸出功率產生影響,這使得光伏發電出力表現出強烈的間接性和時間波動性.所以,研究如何有效提高光伏發電輸出功率的預測精度對光伏發電力網系統的組件調度和電力管理有著非常重要的意義[2].

國內外針對光伏發電功率預測的方法主要分為物理預測法和統計預測法.基于物理的預測法把光伏電站的地理位置、氣象條件等結合太陽能輻射傳遞方程和光伏組件方程來加以實現[3].統計預測方法將太陽輻射強度、風速、溫濕度、氣壓等因素作為輸入變量,通過線性回歸、BP 神經網絡(Back Propagation Neural Network,BPNN)、支持向量機(Support Vector Machines,SVM)等技術挖掘輸入變量與光伏發電功率間的隱含關系,并結合天氣預報數據進行預測[4–6].針對神經網絡初始參數的隨機性缺點,文獻[7]提出了一種結合啟發式算法優化BP 神經網絡權重和閾值的光伏發電功率預測方案;文獻[8]在對數據集的預處理上采用了聚類算法,將聚類后不同類別的光伏電場數據分別建立SVM 預測模型;文獻[9]則提出了一種選擇相似日的方法,把輸出功率相似的時間段進行捆綁,建立了最小二乘向量機的光伏陣列輸出功率預測模型.

上述研究方案都是利用單一的算法模型對光伏發電的輸出功率進行預測,其預測精度不會很高,表現出較大的局限性,為此很多研究學者提出了組合預測的方法[10].組合預測方法因其可以結合各單一模型的優點于一身,因此在很多領域也得到了廣泛應用.文獻[11]提出了將相似日的光伏發電時間序列數據進行模態分解后,對固有模態和趨勢分量分別建立基于人工蜂群算法優化的支持向量機預測模型;文獻[12]為了減輕不確定性對電網的負面影響,提出了一種灰色神經網絡(灰色?神經網絡)混合模型來預測光伏發電的短期輸出功率;文獻[13,14]充分發揮各單一預測模型的優勢,并按權重將其進行優化整合以提高預測精度;文獻[15–17]將原始光伏發電數據按照信號分解的方式進行解耦,使得特征分解為互異的模態向量,并對這些分量構建預測模型.采用這些組合預測模型雖然可在一定程度上提高光伏功率的輸出功率預測精度,但模型融合大多采用簡單的線性加權整合,魯棒性無法得到保證.

基于以上研究,本文在分析了光伏發電功率預測與人工智能技術發展背景的基礎上,利用Stacking 集成學習框架對XGBoost、LightGBM、Random Forest、型的優勢,進一步提高了光伏發電輸出功率的預測精度.

1 算法理論介紹

1.1 XGBoost 算法機理

XGBoost 是經過優化的集成樹模型,從梯度提升樹模型改進和擴展而來.樹的集成模型由式(1)表示:

其損失函數為:

那么損失函數可以表示為:

對損失函數進行泰勒展開有:

其中,

移除常數項有:

將第j個葉子節點定義為Ij={i|q(xi)=j},即有:

然后將上式求導并令求導結果等于0,可得:

把wj的最優解wj*帶入目標函數,得到:

XGBoost 在進行節點分裂時,采用一種貪心算法,每次在已有的葉子節點中加入分裂.假設IL和IR分別是分裂后的左和右葉子節點的集合.信息增益如下:

從式(11)中可知,這個信息增益與ID3、C4.5和分類與回歸樹是類似的,都是利用分裂后的某種熵值減去分裂前的固有熵值.同時,為了限制樹的深度,加入了閾值γ,這種策略以正則化的方式有效地避免了過擬合.

1.2 LightGBM 算法機理

根據梯度單邊采樣丟棄掉某些小梯度樣本數據的主要思想原則為出發點,LightGBM 在對數據集進行采樣時保留梯度大的樣本,對梯度較小的樣本則按照一定比例進行下采樣.為了抵消對數據分布的影響,梯度單邊采樣小梯度的樣本數據在計算信息增益時引入系數(1–a)/b,a表示大梯度數據的采樣率,b表示小梯度數據的采樣率,梯度單邊采樣的具體步驟如下:

(1)按照數據集的梯度絕對值進行排序,并選取最大的a×100%數據集保留,作為大梯度樣本點子集.

(2)從剩余數據集中隨機選取b×100%數據生成小梯度樣本點集合.

(3)將小梯度樣本點集合乘以常數(1–a)/b放大樣本數據.

(4)合并樣本集,得到一個采樣集,通過該采樣集的訓練,產生一個弱學習器.

(5)不斷重復上述4 個過程,直至訓練的模型達到提前設置的迭代次數或者出現收斂的狀態.

為了提高模型訓練的并行能力,LightGBM 不僅對訓練樣本的數據進行了按梯度采樣的策略,同時也對高維稀疏性的互斥特征進行了融合綁定,例如,進行獨熱編碼后的數據,這些數據在進行獨熱編碼后不僅維度升高,而且呈現出稀疏的特性.為了減少數據的特征維度,LightGBM 采用基于直方圖(histogram)的方式將這些高維稀疏且互斥的特征捆綁在一起,以提高節點的分裂效率.如圖1所示,這種算法首先將輸入連續特征的數據離散化為k個整數值,形成k個捆綁的結果,每個結果內各個特征都是互斥的,然后構建寬度為k的直方圖,在對訓練數據進行遍歷時,只需要統計每個離散值在直方圖上的累積量即可.由于在計算分裂增益時,是通過遍歷排序直方圖的離散值而得,因此只需要計算k次,且在特征分裂時,只需要保存特征離散化后的值,相較于XGBoost 而言,減小了計算和存儲的成本,提高了分裂點尋找的效率,降低了模型的計算復雜度.

因此，構建醫學院校思想政治教育工作網絡陣地，通過網絡對學生進行思想政治教育，使之與網絡外的思想政治教育相聯系，以拓展醫學生思想政治教育工作空間，這是非常重要且必要的。

圖1 Histogram 算法基本過程示意圖

1.3 基于Stacking 的集成學習方式

如圖2所示,在基于Stacking 的集成學習方式下,整個模型的構建分為兩個階段,通過以學習器級聯的方式進行預測結果的傳遞,提高預測精度[19].在第一階段,首先將原始數據集進行切分,按照一定比例劃分為訓練集和測試集,然后選取合適的基學習器以交叉驗證的方式對訓練集進行訓練,將訓練完成后的各個基學習器對驗證集和測試集進行預測,第一階段應該選取預測性能優秀的機器學習模型,同時保證模型間的多元化;在第二階段,將基學習器的預測結果分別作為元學習器訓練和預測的特征數據,元學習器結合上個階段得到的特征和原始訓練集的標簽為樣本數據進行模型構建,并輸出最終的Stacking 模型預測結果,該階段的元學習器一般選取穩定性較好的簡單模型,起到整體提升模型性能的作用.

圖2 基于Stacking 的集成學習方式

可以從兩方面來看待Stacking 方法,第一,它是許多集成方法的推廣,第二,它是通過學習得到的集成方法.在Stacking 的訓練階段,從第一層學習器中得到新的數據集,如果用同一份完全相同的數據訓練第一層學習器,并用該份數據在第一層學習器上的輸出作為第二層學習器的訓練數據,這會有過擬合風險.因此,訓練第一層學習器的數據,不能作為構造第二層學習器的數據,所以在構造第二層學習器的訓練數據時本文采用了交叉驗證的方法來選取第二層學習器的訓練數據.

本文選取基于五折模型的Stacking 算法建立光伏發電功率預測模型,其流程框圖如圖3和圖4所示.具體步驟如下:

(1)將原始數據集按照一定比例切分為訓練集和測試集.

圖3 第一層單個基學習器5 折交叉驗證示意圖

圖4 第二層元學習器模型構建示意圖

(2)將訓練集平均分為5 份,即對于每一個基學習器進行5 折交叉驗證,在每次交叉驗證時以4 份作為模型的訓練集,剩余的一份作為驗證集,并且在每次交叉驗證完成時,用訓練的基學習器模型對驗證集和測試集進行預測.

(3)單個基學習器在完成5 折交叉驗證后,會得到各個驗證集的預測集,也即訓練集每條樣本的預測值,同時得到測試集的5 列預測值,然后將各個驗證集的預測集整合為1 列,記為A1,將測試集的5 列預測值按行取平均,得到B1.

(4)當第一層的m個基學習器完成訓練后,會得到第二層元學習器模型的輸入特征矩陣(A1,A2,···,Am),將原始訓練集的標簽值作為模型的輸出矩陣,進行模型的訓練.同時會得到最終的測試集輸入特征矩陣(B1,B2,···,Bm).

(5)當元學習器訓練完成后,將(B1,B2,···,Bm)作為特征矩陣,利用模型輸出模型融合后的最終預測結果.

2 基于Stacking 模型融合的光伏發電功率預測模型分析

Stacking 集成學習是一種建立在統計學習理論基礎之上的多算法融合的機器學習方法,一般情況下,對于單一的預測模型而言,其預測準確率是呈現邊際效用遞減的趨勢,Stacking 集成學習方式是組合來自多個預測模型的信息以生成新模型的模型集成技術.將不同的機器學習算法通過不同的方式結合在一起,以此獲得比單一算法更優越的性能.在Stacking 集成學習模型中,要充分分析每個基學習器的單獨預測能力,使得Stacking 集成學習模型獲得最佳的預測效果.

基于Stacking 的集成模型算法能夠提高建模的精度,但是,由于集成模型具有融合多個模型進行建模的特性,勢必在整體建模上會犧牲一定的建模速度.因此,為了兼顧Stacking 算法的預測性能和整體建模速度,本文選取了預測精度較高的隨機森林、XGBoost以及預測性能優異且算法時間復雜度較低的LightGBM作為Stacking 模型融合的第一層,其中,隨機森林和XGBoost、LightGBM 分別采用Bagging 和Boosting的集成學習方式,有著出色的學習能力和嚴謹數學理論支撐,在各個領域得到了廣泛的應用.第二層模型采用了穩健性和泛化能力較強的LinearRegression,模型架構如圖5所示.

圖5 Stacking 模型融合架構圖

Stacking 框架下基于多模型融合的光伏發電功率預測方法訓練流程大致如下:

(1)在數據預處理的基礎上使用隨機森林、XGBoost以及LightGBM 算法結合遞歸特征消除法對輸入特征進行特征選擇,刪除冗余特征.

(2)劃分原始數據集,使用交叉驗證方式,優選各個模型的最優超參數.

(3)使用劃分后的數據集對Stacking 中的第一層預測算法分別訓練,并輸出預測結果,生成新的數據集.

(4)使用新生成的數據集,對Stacking 中第二層算法進行訓練,基于多模型融合的Stacking 集成學習算法訓練完畢.

3 光伏電場數據算例分析

3.1 光伏電場數據預處理

本文采用的數據集為國能日新企業下某光伏電站提供的2016年4月1日至2018年4月30日之間的連續氣象歷史數據和光伏電站的輸出功率數據.監測的數據每天從0:00–23:45,每15 分鐘進行一次數據采集,將其中一些奇異數據剔除,減少奇異數據在訓練模型時對訓練結果的影響,共得到66 860 條樣本數據.數據前5 行信息如圖6所示,初始數據特征主要包含時間、輻照度、風速、風向、溫度、濕度、壓強、實際輻照度信息,實際功率為標簽值.在模型建立過程中,將66 860 條樣本數據隨機切分出70%,即46 802 條數據作為訓練集,進行模型構建,其余30%的20 058 條數據作為測試集,用于對模型的檢驗.

光伏發電主要是依靠太陽能,因此時間特征應該作為一個重要的特征進行挖掘.由于初始數據的時間格式無法直接作為模型的輸入,因此將時間屬性進行特征提取,切分出月份、天、小時、分鐘這些有用的特征屬性.數據采集是以15 分鐘為單位進行的,提取出的minute 屬性是4 個離散值,對其進行獨熱編碼,并剔除原來的時間以及minute 特征,得到的初步預處理數據集及統計信息如表1所示.

圖6 光伏電場初始數據部分圖示

表1 初步預處理后數據集的描述性統計

3.2 光伏電場數據特征分析

為了充分挖掘氣象數據對實際功率的影響,本文采用了特征交叉的方式來擴充特征,特征交叉是指通過將輸入數據集的兩個或多個特征進行相乘從而構造非線性特征的一種方式,非線性特征針對于非線性預測模型,其會有更好的增益貢獻.通過特征組合的方式增加特征的維度,以求得更好的訓練效果.因此本文對風速、風向、溫度、壓強、濕度這幾個特征進行了特征交叉,構建了溫度*溫度、濕度*濕度、壓強*壓強、溫度*濕度、濕度*壓強、溫度*壓強、溫度*濕度*壓強、風向*風速這些新的特征,同時對所有的特征進行了相關性分析,繪制了如圖7所示的特征相關性熱度圖,該圖以顏色的深淺表征特征與特征以及特征與標簽之間的相關性.可以看出,實際功率與輻照度、實際功率與實際輻照度之間存在較高的相關性,分別為0.83 和0.84.同時輻照度和實際輻照度之間也有0.89的相關性,由于實際輻照度對實際功率影響更大一些,故刪除輻照度特征,選用實際輻照度作為特征輸入.對于特征交叉構造的新特征,該圖也表明其對實際功率預測也有很重要的作用.

通過數據預處理以及特征分析后,利用基于模型的遞歸特征消除法進行特征選擇,本文分別利用隨機森林、XGBoost 以及LightGBM 3 種實現模型融合的基學習器通過交叉驗證結合枚舉的方式執行遞歸特征消除,以此來選擇最佳數量的特征,并且在Stacking 模型融合的過程中各自以最優特征數進行第一層預測模型訓練.該方式具體思想為:對于一個數量為d的特征屬性集合,其所有的子集的個數是2d–1.指定一個學習算法,首先通過該算法計算所有特征的重要性排名,然后依據特征重要性得分依次構造出特征數目為1 至d的所有特征子集,并計算數據在所有特征子集上的交叉驗證誤差,最后選擇平均誤差最小的那個子集作為所挑選的特征數量.圖8中(a)、(b)、(c)分別為基于隨機森林、XGBoost 以及LightGBM 在特征選擇過程中各個特征子集的交叉驗證均方誤差的曲線變化圖.

圖7 特征相關性熱度圖

通過圖8可以看出,不同的機器學習模型在建模過程中對最優特征的選擇是不同的.基于Bagging 集成思想的隨機森林選出的最佳特征個數是10 個,5 折交叉驗證的均方誤差MSE 的平均值為0.2785,而基于Boosting 集成思想的XGBoost 和LightGBM 選擇的最佳特征個數分別為19 和15 個,5 折交叉驗證的MSE均值分別為0.2071 和0.1783.對于本文的光伏電場數據,XGBoost 和LightGBM 模型相較于隨機森林模型有更好的預測效果,并且LightGBM 在高精度的預測前提下,模型構建時間也顯著縮短.

3.3 各單模型的超參數選擇與預測性能分析

為了使Stacking 模型融合的性能達到最優,本節在結合3.2 節特征選擇結果的基礎上,對隨機森林、XGBoost 和LightGBM 3 個基學習器模型的學習能力進行分析.針對各個基學習器采用網格搜索加交叉驗證的方式進行超參數擇優,首先將數據集劃分為訓練集和測試集,然后將劃分后的訓練數據進一步分為訓練集與驗證集,通過交叉驗證的方式,分別觀測使用不同超參數集訓練后模型在驗證集的預測效果,從而選擇各個模型的最優超參數集.將構建好的各個單模型在測試集上進行預測分析,并以決定系數R2和均方誤差MSE 作為模型性能的評價標準.各模型超參數集以及單模型預測性能如表2所示.

通過上表可以看出,超參數優化后的隨機森林模型R2為0.9465,均方誤差MSE 為0.2785,而XGBoost與LightGBM 在參數優化后的R2分別為0.9587 和0.9632,MSE 分別為0.2071 和0.1783.基于Bagging 集成思想的隨機森林和基于Boosting 集成思想下的XGBoost 與LightGBM 作為Stacking 模型融合的第一層基學習器,其性能較好,且Boosting 算法模型的優越性高于Bagging 算法模型.

3.4 Stacking 模型融合預測性能及改進機制分析

為了驗證Stacking 集成學習模型的預測性能,首先對46 802 條訓練集平均分為5 份,分別用第一層的3 種基學習器執行5 折交叉驗證過程,在每一次交叉驗證中,使用4 份訓練集對基學習模型進行構建,并對剩余的一份驗證集進行預測,同時對20 058 條測試集進行預測,那么在5 折交叉驗證完成后,每個基學習器模型會產生和訓練集樣本數量相同的一列數據,3 個基學習器則會最終產生3 列對訓練數據預測后的數據集A.然后將每個基學習器模型在5 次交叉驗證后對測試集預測出的5 列數據按行求均值,即3 個基學習模型最后會產生3 列對測試集預測后的數據集B.最后則利用第二層的Linear Regression 模型對數據集A和最初訓練集的標簽(原始實際功率)構成的數據集進行模型構建,利用構建好的融合模型對數據集B進行預測,得到最終的Stacking 模型融合后的結果.

圖8 特征子集尋優過程中交叉驗證的均方誤差曲線圖

圖9(a)比較了部分測試集在Stacking 融合模型上的預測曲線變化情況,圖9(b)給出了4 種模型在R2和MSE 上的性能評價值.可以看出,Stacking 模型融合后的實際功率預測值無論是在擬合優度還是均方誤差方面都有了較大的改善,R2達到了0.9874,MSE達到了0.1056,這表明本文提出的對隨機森林、XGBoost和LightGBM 以Stacking 集成學習方式進行模型融合,在對光伏電場輸出功率的預測方面,具有一定的實際意義,可為電網調度提供有益的參考.

表2 各模型超參數集以及單模型預測性能

圖9 Stacking 模型融合的性能曲線圖

從理論層面分析Stacking 集成模型優于單模型的原因,是因為Stacking 模型集成了多樣化的預測算法,能夠充分利用各個算法從不同的數據空間和結構來觀測數據,從而充分發揮各個算法自身優勢,摒棄了各個算法中預測效果較差的環節.此外,考慮到光伏發電功率預測模型訓練過程中的假設空間往往很大,可能有多個假設在訓練集上達到同等性能,Stacking 集成學習的方式可以有效減少單一模型泛化性能不佳的風險.另一方面,從模型優化角度來看,單一模型訓練的優化過程中,模型往往會有陷入局部最小點的風險,有的局部極小點所對應的模型泛化性能可能較差,而通過多個基學習器訓練之后進行結合,可有效減少陷入局部極小點的概率.因此,采用基于Stacking 集成學習方式的多模型融合后預測精度有所提升.

就Stacking 模型融合的改進機制而言,元學習器的訓練集是由基學習器的輸出產生的,直接使用基學習器的訓練集來產生次級訓練集的話,可能會產生嚴重的過擬合.為了防止數據被雙層學習器重復使用而造成過擬合效應的發生,本文在模型融合的過程中,每個基學習器都對訓練集執行5 折交叉驗證過程,使用一個數據塊作為驗證集,對應的其余4 個數據塊作為測試集,在每折交叉驗證完成后,利用基學習器對驗證集進行預測,即每個基學習器在5 折交叉驗證結束后,都會產生和原始訓練集數量相同的新的數據集.實現了所有數據從輸入特征到輸出特征的特征變換,且元學習器的訓練集完全來自各個基學習器的預測輸出數據,這使得元學習器能充分結合各個基學習器的模型優勢來完成模型構建,以提升模型融合的效果.同時,XGBoost 和LightGBM 這兩類基學習器能夠充分挖掘輸入信息的數據內部特征,對連續型和離散型特征都有較好應用,而隨機森林模型可以在最大程度上關注影響較大的幾種特征類型,能夠充分發揮重要特征的作用.因此,Stacking 模型融合的3 個基學習器可以實現優勢互補,確保元學習器的輸入是質量較高且無冗余特征的數據集,這些數據集通過Linear Regression 這一泛化能力較強的元學習器進行訓練后,可以從整體上提升Stacking 模型的預測能力.

4 結論

為了獲得更加理想的光伏發電功率預測結果,本文建立了以歷史光伏電場輸出功率數據和環境氣象為關鍵因素的基于Stacking 模型融合的光伏發電功率預測模型.該模型分為兩層構建,第一層基學習器分別選取預測性能較優的以Bagging 算法為代表的隨機森林和以Boosting 算法為代表的XGBoost、LightGBM 模型,并在第一層進行了各個基學習器模型的超參數調優,以充分發揮各個模型的優勢,第二層選取穩健性較好的Linear Regression 模型進行最終的Stacking 集成融合.通過光伏電場數據集的試驗表明,本文建立的融合模型可以精確地預測光伏電場輸出功率,提高了光伏發電的預測精度,對于工程上的光伏功率發電預測及建模有一定的實用意義.

在今后的工作中,將進一步針對以下問題開展深入探討,Stacking 的框架設計比較復雜,對于基模型要訓練多次,即使在訓練Stacking 模型的時候對每個基學習器減少若干數據量,計算時間仍然較長.因此,未來研究中有必要布置分布式計算的相關環境,對不同的基模型分別建模,采用分而治之的思想,有效減小算法的時間復雜度.