針對光伏發電功率預測的LSTformer模型

劉世鵬，寧德軍，馬 崛

1.中國科學院上海高等研究院，上海 200120

2.中國科學院大學，北京 100049

光伏發電產業在近些年迎來了高速的發展，根據國際能源機構（IEA）的數據，全球光伏裝機量的增長速度高達49%，預計在2050 年全球光伏發電在總發電量的占比將達到16%[1]。與傳統能源（如火電、水電、核電等）具有連續性和可調性的特點不同，光伏發電的出力受氣候、氣象、地理、電站設計等因素的影響，具有非常顯著的周期性、隨機性和波動性等特點。因此，光伏行業的發展雖然迅速，但仍然給電力系統帶來了很多挑戰，尤其是在如何能夠在維持電力系統安全平穩運行的同時，完成大規模光伏發電設備及站點的并入，順利消納大量光伏發電功率。為了解決該問題，需要制定足夠合理且精確的電網調度策略，然而電網調度策略包含眾多操作，如發電計劃指定、削峰填谷等。為了準確地完成這些操作，需要發電預測數據作為基礎，因此光伏發電功率預測算法研究成為了亟待優化的任務。

針對光伏發電功率預測問題，國內外諸多學者展開了大量研究，目前主流的預測手段主要集中在傳統隨機學習與深度學習方法。在傳統隨機學習領域，支持向量機（support vector machine，SVM）和支持向量回歸（support vector regression，SVR）普遍被用于可再生能源預測領域[2]。文獻[3]提出了一種基于SVM 的短期太陽能預測模型，該模型使用歷史大氣透射率和其他氣象數據作為輸入。文獻[4]提出基于支持向量回歸模型預測水平面總輻照度（global horizontal irradiation，GHI），預測范圍為1 h，具有最佳的預測性能。

在深度學習領域中，循環神經網絡結構（recurrent neural network，RNN），如長短期記憶網絡（long short term memory，LSTM）、門控循環單元（gated recurrent unit，GRU）、Transformer 系列模型等，被廣泛用來分析和預測時間序列數據，比如金價預測[5]、交通流量[6]、語音分類[7]等。而光伏發電功率預測也可以看作時序數據預測的一種，LSTM已被用于預測短期GHI或太陽綜合負荷[8-9]。為了在盡量保證精度的同時減少訓練時間，GRU網絡被應用于短期光伏發電功率預測[10-12]，文獻[13]表明利用歷史數據結合GRU模型在預測光伏發電功率的實驗中表現很好。

當前的研究主要集中在預測幾小時內的數據，而根據GB/T 33590.2-2017[14]，光伏發電功率預測需要預測24 h 甚至更長的時間范圍。目前光伏發電功率預測領域常見的深度學習模型大多為點到點模型或者序列到點模型。預測的結果為下一個時刻的光伏發電功率值。24 h 光伏發電功率預測的結果為次日光伏發電功率的序列，而非一個數值，因此預測難度更大。現有的模型大多采用多步迭代來實現序列的預測，然而由于多步迭代存在誤差累積現象，其預測精度往往會隨著步長的增加而下降。因此Transformer 系列模型[15-16]開始逐漸應用到時間序列預測問題上。Informer[17]甚至將光伏發電功率預測問題作為其模型的一個算例，但Informer模型并沒有充分利用相應的天氣數據。

基于上述分析，目前的光伏發電功率預測主要有兩個難點：一是傳統模型在進行多步預測時，會存在誤差累積現象，誤差較大，而Transformer系列模型的預測結果難以充分利用天氣數據。二是難以同時提取多尺度的時序特征。針對以上問題，提出了一種基于長短期時序數據融合的Transformer生成式預測模型：LSTformer。

本文的主要貢獻如下：

（1）針對光伏發電功率多步預測的誤差累積問題，提出LSTformer預測模型，該模型基于傳統Transformer結構，并針對光伏發電數據的特殊性進行了優化。

（2）針對當前模型提取時序特征困難問題，設計全新的特征融合器，利用其中的時序分析模塊、時序特征融合模塊和多周期嵌入模塊進行數據融合。通過多種方法提取多時間尺度的時序特征，并充分融入到預測模型輸入中。

（3）設計時間卷積前饋單元，在編、解碼的過程中進一步提取數據的時序特征。

1 光伏發電功率數據時序特征

在過往的研究中，光伏發電功率預測問題通常被定義為時間序列預測問題，時間序列往往具有一定程度的自相關性。但是隨著采樣粒度增大，光伏發電功率數據的自相關性會減少，受外界天氣因素的影響增大[18]。根據GB/T 33590.2-2017[14]，光伏發電功率數據的采樣粒度為15 min，受天氣因素影響的程度較大，但具有一定的自相關性，同時天氣因素的變化具有一定的規律性和偶然性，因而光伏發電功率數據體現出了一定的周期性、波動性和偶然性。

如圖1 所示，隨機選取某光伏電站5 天的發電功率歷史數據進行可視化處理，根據可視化結果（圖1），可以推斷出在連續5天的歷史數據中，體現了光伏發電周期性與波動性的特點。

圖1 連續5天的15分鐘數據Fig.1 15 min data for five continuous days

如圖2所示，為了探究光伏發電功率數據的長期時序特征，本文利用季節性預測模型的經典技巧，選取某光伏電站連續5 年8：30 時刻的發電功率歷史數據進行可視化處理。根據可視化結果（圖2），雖然光伏發電數據呈現出了更大的波動性，但是仍然可以看出其具有一定的周期性。

圖2 連續5年的8：30時刻數據Fig.2 8：30 data for five continuous years

結合圖1、圖2呈現的信息，光伏發電功率歷史數據不僅在短期內具有時序特征，在長時間維度下也具有一定的時序特征。考慮到這種長時間維度（如圖2中周期接近365 天）下的優化問題，如何提取這種時間依賴關系是本文需要解決的問題。針對類似問題，長短時間序列網絡（long-and short-term time-series network，LSTnet）模型[19]利用跳躍-循環神經網絡（skip-recurrent neural network，skip-RNN）結構可以捕捉更長期的時序特征。

2 相關技術

2.1 LSTM

LSTM 網絡的本質是一種改善了長期依賴問題的循環神經網絡（recurrent neural network，RNN）。LSTM的網絡結構與常規RNN 網絡相似，都是具有重復模塊的鏈式結構，在預測過程中，LSTM 同時更新內部狀態ct和外部狀態ht，更新的方式主要通過遺忘門、輸入門和輸出門三個門，其中遺忘門ft的作用主要是控制t-1 時刻的內部狀態ct-1需要遺忘的信息；輸入門it的作用主要是控制t時刻下候選狀態c?t需要留存下來的信息；輸出門ot的主要作用是控制t時刻下ct中需要選擇什么信息傳輸至外部：

式中，dt表示t時刻的輸入，it表示輸入門，ft表示遺忘門，ot表示輸出門，ht-1是上一時刻的外部狀態，c?t是候選狀態，ct-1是上一時刻的內部狀態，ct是這一時刻的內部狀態，ht是這一時刻的輸出。

2.2 GRU與skip-GRU

GRU網絡[20]是LSTM網絡的變種，將LSTM單元的三個門合并為兩個門，在不損失精度的情況下降低模型的復雜度：

式中，dt表示t時刻的輸入，rt表示重置門，zt表示更新門，ht-1是前一時刻的隱藏狀態，h?t是這一時刻的候選狀態，ht是這一時刻的輸出。

因為傳統GRU 模塊不善于提取長期時序特征，skip-GRU模塊跳過連接層，通過間隔采樣的方式，在采樣序列長度不變的情況下，可以回看更長的時間，以此來捕獲長期特征：

式中，dt表示t時刻的輸入，rt表示重置門，zt表示更新門，p是采樣的間隔，ht-p是p個時刻前的隱藏狀態，h?t是這一時刻的候選狀態，ht是這一時刻的輸出。

2.3 自注意力機制與稀疏自注意力機制

傳統自注意力機制的計算公式如下：

式中，WQ、WK、WV為三個權重矩陣，在進行隨機初始化后，根據式（15）～（17）生成三個向量Q、K、V，然后根據式（18）計算出經過注意力機制加權后的結果A(Q,K,V)，該結果包含了所有輸入數據的信息，但是時序數據普遍存在長尾效應，并非所有信息都是有意義的[17]，故而LSTformer 嘗試引入Informer 模型中的稀疏注意力機制。

稀疏注意力機制中提出利用KL散度計算每個query的稀疏性度量：

基于計算出的稀疏性度量，通過每個k只關注u個主要q來實現稀疏注意力機制：

其中，是大小與q相同的稀疏矩陣且其只包含稀疏度量M(q,K)下的top-u個q。

2.4 問題定義

LSTformer解決光伏發電功率預測問題的思想是將其抽象為一個多步時間序列預測結合的問題。即定義為輸入為光伏發電歷史數據及其歷史天氣數據，即一個I×n的時間序列，輸出為預測的光伏發電功率數據，即一個O×1 的時間序列，其中I為輸入序列長度，O為輸出序列長度。

3 LSTformer模型

針對光伏發電功率數據時序特征，本文提出了LSTformer預測模型，模型的結構如圖3所示，LSTfomer主要結構包含三個模塊：特征融合器、編碼器和解碼器。LSTfomer在特征融合器中提出了創新性的時序分析模塊和時序特征融合模塊，充分融合光伏發電數據多時間尺度下的時序特征。LSTfomer的編碼器和解碼器采用基于傳統Transformer 架構的編碼器-解碼器結構，提出了TCNForward模塊并引入了一步解碼的生成式預測結構以避免誤差累積現象。

圖3 LSTformer模型結構Fig.3 Structure of LSTformer model

在LSTformer 預測模型中編碼器模塊與解碼器模塊都采用多層結構設計。以一個共有N層Encoder 模塊和M層Decoder模塊的LSTformer模型為例，其算法描述如算法1所示。

算法1LSTfomer預測算法

3.1 特征融合器

LSTformer 中的特征融合器的結構如圖4 所示，主要包含兩個創新模塊：時序分析模塊和時序特征融合模塊。

圖4 特征融合器結構Fig.4 Structure of feature fuser

3.1.1 時序分析（TSA）模塊

時序分析模塊將根據相關性與周期性的分析結果，對變量進行篩選：

由圖1 和圖2 可知，光伏發電功率數據雖然波動性很強，但仍然存在周期性，而且在一定時間范圍內很可能存在不同周期性，本文選擇傅里葉變換對伏發電功率數據及其影響因素數據的曲線進行周期性分析[21]，旨在得到不同周期曲線的波動周期，為分析光伏發電功率預測提供一定程度的參考，首先利用以下公式求解傅里葉變換結果，將數據映射到頻域：

式中，X(k)表示傅里葉級數，x(n)表示傅里葉系數，k表示指頻域上的x坐標，N表示周期，WnKN表示為復變函數，復變函數的計算方式如下：

繼而通過計算變換幅值的峰值即光伏發電功率數據的周期，每組數據可能存在多個周期，本文中僅取前兩個周期，即首要周期及次要周期。

光伏發電功率與大量的天氣因素具有相關性，本文選擇利用皮爾遜相關系數進行相關性分析，皮爾遜相關系數可以計算兩組任意數據x、y彼此的相關程度計算公式如下：

3.1.2 時序特征融合（TSFF）模塊

傳統Transformer 系列模型雖然能夠通過不斷加長編碼器輸入數據的長度來提取長期時序特征，但是采取這種手段將會帶來大量冗余信息，導致計算量與計算時間的爆炸性增長。因此，本文提出時序特征融合模塊，使得LSTformer 模型中編碼器和解碼器能夠在不輸入超長數據情況下充分提取到數據的時序特征。在時序特征融合模塊中分別使用LSTM 模塊、skip-GRU 模塊、多周期嵌入模塊從多個時間尺度出發，充分提取數據的時序特征。

式中TSFF(·)的計算方法如下：

將短周期時序相關數據ds、長周期時序相關數據dl分別傳入時序特征融合模塊中的LSTM 網絡和skip-GRU網絡進行預測，其中LSTM網絡的預測結果充分利用了短期時序特征，skip-GRU 網絡充分利用了長期時序特征：

將兩個特征提取結果fl、fs、非周期輸入數據dt傳入多周期嵌入模塊：

LSTM 和skip-GRU 單元分別提取了數據的短期時序特征和長期時序特征，但是其涵蓋的時間范圍不足以提取到足夠長期的時序特征，故而本文提出了多周期嵌入模塊，配合LSTM、skip-GRU，使得時序特征融合模塊能夠充分融合多個時間尺度下的時序特征。

多周期嵌入模塊的組成如圖5所示，主要包括數據投影、位置編碼、周期編碼、時間編碼。

圖5 多周期嵌入模塊結構Fig.5 Structure of CycleEmbed

其中，數據投影是根據相關性與周期性分析的結果，將輸出的數據映射到dmodel維的向量，進行維度對齊，對齊工具為一維卷積濾波器。

位置編碼是傳統Transformer的位置編碼。

周期編碼是依據周期性分析計算的結果劃分，τ為周期數據步數，由周期性分析的結果T1、T2與數據采樣時間粒度g決定，即τi=Ti/g，然后將根據τi的結果對輸入數據的周期信息進行編碼操作，即周期編碼中共有τi種結果，。C和c表示兩個不同周期編碼的結果。

時間編碼則是在編碼中添加月度、季度與年度信息，以此來提取更長期的時序特征。這樣數據的月度、季度與年度信息將會伴隨著嵌入操作傳入編、解碼器中。LSTformer 選用一步解碼的生成式預測方式，所以多周期嵌入模塊也可以提前將一些時間信息傳入待預測序列中。

綜合四個部分的結果，最終多周期嵌入模塊的輸出結果即編碼器的輸入：

3.2 編碼器模塊

編碼器的結構采取傳統Transfomer多層網絡結構，每層編碼器主要由兩個部分組成，分別是稀疏注意力單元和時間卷積前饋單元。

與傳統Transformer 系列模型的線性層不同，本文設計了時間卷積前饋單元，在編碼器中進一步提取數據的時序特征，其結構如圖6所示。

圖6 時間卷積前饋單元模塊結構Fig.6 Structure of TCNForward

TCNForward單元主要通過堆疊多個膨脹卷積令該單元網絡捕捉不同周期之間的時序關系，并通過殘差鏈接，使得網絡能夠跨層傳輸原始數據依賴信息表達，最大限度地關聯融合長周期時序特征與短周期時序特征（即通過多層卷積得到的高階特征與低階特征）。

3.3 解碼器模塊

傳統的Transformer 結構通過編碼的并行計算提高了運算效率，但是在預測過程中，掩碼機制下的解碼器仍舊需要通過迭代的方式進行預測，直到輸出指定長度的序列。在這一解碼過程中，誤差累積的現象難以避免，本文考慮引入Transformer 生成式預測模型普遍使用的一步解碼操作：

解碼器預測的過程與編碼器類似，但是比編碼器多了一個自注意力層。在該層中，Q是來自于解碼器稀疏注意力單元的計算結果，而K和V則來自于編碼器。

最終待預測序列通過一個多層感知機（multilayer perceptron，MLP）完成一步解碼：

4 實驗與分析

4.1 數據準備及預處理

4.1.1 數據準備

該數據集包括在澳大利亞[21]的一個太陽能農場中進行的2015 年至2016 年的光伏發電開源數據集，時間間隔為15 min，每日有96 個數據點，共有70 176 個樣本，每個樣本包含13 個數據，分別為時間戳、接收到的有功能量、當前階段平均值、有功功率、性能比率、風速、天氣溫度攝氏度、天氣相對濕度、全球水平輻射、漫反射水平輻射風向、天氣日降雨量、輻射全局傾斜、輻射漫反射傾斜，測試集使用2016年11月、12月的數據。

兩年的所有數據如圖7 所示，x軸為天數，y軸為每天96 個時間點（采樣粒度為15 min，24 h 的數據共包含96個事件點），z軸為光伏發電功率數據。

圖7 光伏發電功率歷史數據集Fig.7 Historical dataset of photovoltaic power

4.1.2 數據預處理

由于各變量之間的量綱并不完全相同，因此在進行預測時需要先進行線性歸一化處理，其轉換函數為：

式中，xnorm是數據進行線性歸一化之后的預處理結果；xi是需進行歸一化的變量輸入值；max(xi)是原始數據集中xi所屬變量的最大值；min(xi)是原始數據集中xi所屬變量的最小值。

4.2 評價指標

為驗證模型的預測精度，采用均方根誤差（mean square error，MSE）、平均絕對誤差（mean absolute error，MAE）作為模型性能的評價指標，其具體計算公式為：

Xi為測試集的第i個數據點出力實際值；X?i為第i個數據點的出力預測值；N為測試集樣本總數。

4.3 實驗環境及參數設置

實驗環境采用Intel i7-9700K 處理器，NVIDIA GeForce RTX 3080 Ti 顯卡，算法模型采用Python 3.8作為編程語言，基于開源機器學習框架pytorch 搭建模型相關網絡。本文采用隨機搜索方法確定最終的超參數設置，最終的超參數設置如表1所示。

表1 模型參數設置Table 1 Model parameters setting

4.4 結果與討論

4.4.1 時序分析結果及討論

特征融合器中的時序分析模塊包含相關性分析分析與周期性分析兩部分，對光伏發電功率相關性分析的結果表2所示。

表2 相關性分析結果Table 2 Results of correlation analysis

根據表2 可以看出，光伏發電功率與直接輻射強度、散射輻射強度、溫度、風速成正相關，與濕度、風向、降雨量成負相關，根據其數值大小，可以看出直接輻射強度、散射輻射強度、溫度、濕度、風速等變量與光伏發電功率具有一定的相關性，這些影響因子都會對光伏發電功率產生一定程度的影響，影響能力依次遞減。風向與降雨量這兩個因素的相關性計算結果過低，雖然呈一定的負相關，但本文將其視為不具有相關性的因素。

對光伏發電功率周期性分析的結果表3所示。

表3 周期性分析結果Table 3 Results of periodicity analysis 單位：h

根據表3可以看出，在各個數據主要呈現出的兩個周期之中，發電功率、風速、濕度、溫度直接輻射、散射輻射都包含半天至一天左右的周期，根據時序分析模塊的劃分，將其處理為短期時序相關數據；濕度、降雨量都包含一年左右的周期，將其處理為長期時序相關數據；溫度、風速、風向、降雨量都包含0.16 h 的周期，將其處理為非時序相關數據。

由相關性分析可以篩選出直接輻射強度、散射輻射強度、溫度、濕度、風速五個影響因子，結合周期性分析的結果，輸入數據的劃分結果為：包含發電功率、濕度、降雨量的2 880 個連續數據點作為長期時序相關數據；包含發電功率、風速、濕度、溫度直接輻射、散射輻射的288個連續數據點作為短期時序相關數據；包含發電功率、溫度、風速的96個連續數據點作為非時序相關數據。

4.4.2 不同預測步數的預測結果討論

LSTM網絡在進行光伏功率短期預測時，隨著預測步數的增加，會逐漸體現出誤差累計的現象，為了探究各模型在不同預測步數下的預測表現，本文選取了LSTM、skip-GRU、Transformer、Informer 與本文進行對比，結果如表4所示，由結果可見，在預測步數為1時，五種模型的MSE 誤差相差不大，隨著預測步數的增加，LSTM模型前期誤差增加速度極快，但是后面的誤差浮動不大，前期誤差累積現象明顯，后期誤差過大不能準確預測結果。采用生成式預測方法的Informer 模型誤差累計現象相對不明顯，但是誤差相對于LSTformer較大。本文提出的LSTformer模型不僅誤差累積程度小，而且全程都具有最低的MSE誤差。為了更直觀地觀察各模型之間的誤差累積現象，將預測結果進行可視化展示，可視化結果如圖8所示。

表4 各模型不同預測步數的預測性能Table 4 Results of different steps for each model

圖8 各模型不同預測步數的預測性能Fig.8 Prediction performance of different prediction steps for each model

4.4.3 不同模型的預測性能討論

根據表4 可知，LSTformer 在多步預測場景下表現優異，為了探究不同模型在24 h 的預測場景下的性能穩定性。本次實驗中，依然選擇LSTM、skip-GRU、Transformer、Informer 四個模型進行對比實驗，除此之外，本文還對比了單獨使用時序特征融合模塊（即本文提出長、短時序特征選擇模塊用作預測模型的效果）的情況。在本次實驗中，僅測試24 h（96個預測步數）場景下各模型的性能表現，進行10次實驗結果取平均值，最終測試集預測結果如表5所示。

表5 24小時預測結果Table 5 24-hour prediction results

由表5可知：針對光伏發電功率預測場景，LSTformer模型與傳統模型的性能指標對比，在24 h 預測場景（96預測步數）下，LSTformer 的MSE 分別降低了74.13%、68.21%、70.5%、63.49、50.43%，MAE分別降低了74.13%、54.70%、41.83%、61.93%、48.42%。

如圖9 所示，本文將LSTformer 在測試數據集的預測結果進行反歸一化，并將反歸一化后的結果通過可視化操作展示出來，圖中所展現的預測結果為7個24 h預測結果的集合，與真實數據對比偏差不大，可以看出LSTformer的精度較高，誤差較小。

圖9 LSTformer模型的預測結果Fig.9 Results of LSTformer model

4.4.4 消融實驗

為了驗證LSTformer模型各優化模塊的有效性，進行了消融實驗，將LSTformer模型中幾個創新模塊分別移除進行對比實驗，即分別設置：

實驗1去除時序分析模塊。

實驗2去除時序特征融合模塊。

實驗3去除Transformer結構，采用時序分析模塊+時序特征融合模塊+全連接網絡。

實驗4將時間卷積前饋單元替換為傳統Transformer系列模型中的線性層FeedForward。

實驗5完整LSTformer模型。

如表6所示，針對本文提出的幾個創新模塊：時序分析模塊、時序特征融合模塊、引入一步解碼的Transformer模型結構、時間卷積前饋單元，不論去除哪個模塊，都會導致模型的誤差加大。當不采用一步解碼的Transformer模型結構后，造成的誤差最大，移除時序分析模塊對LSTformer模型的MSE指標影響最小，但仍會造成精度的下降。移除時間卷積前饋單元對LSTformer 模型的MAE 指標影響最小，對MSE 指標的影響也僅比時序分析模塊大一點，綜合而言，移除時間卷積前饋單元對LSTformer 的影響最小，但是通過這些數據可以得出結論：本文提出的LSTformer 模型是有效的，每一個創新模塊都是有意義的。

表6 消融實驗結果Table 6 Results of ablation experiments

5 結束語

文中利用LSTformer 模型進行光伏發電功率短期預測。以澳洲某光伏電站實測數據為例，將該模型與單一模型實驗效果對比，得出三點主要結論：（1）文中提出的LSTformer 光伏功率預測模型采用了Transformer 結構，結合了LSTnet、Informer等多個優秀模型的優點，且實驗結果表明，該模型能有效提高短期光伏出力預測精度。（2）創新性地提出了設計時序分析模塊、時序特征融合模塊、時間卷積前饋單元，更充分地提取了多時間尺度的時序特征以及其他天氣因素對光伏發電功率的影響。（3）LSTformer 模型與LSTM 模型和Transformer 系列模型相比，在多步預測上擁有更高的精度，但仍然還有優化的空間。在后續研究中，將針對LSTformer模型進行優化，使其具有更強的泛化性。