基于時空長短時記憶神經網絡的地基云圖預測算法

吳現，吐松江·卡日*，王海龍，馬小晶，李振恩，邵羅

（1.新疆大學電氣工程學院，新疆 烏魯木齊 830049；2.北京智盟信通科技有限公司，北京 100053）

0 引言

隨著人們對能源需求的不斷增長，傳統化石能源弊端日益顯現，世界各國愈發重視能源清潔性問題。太陽能作為目前最有發展潛力的可再生能源之一，裝機占比正在逐年提高，展現出了其廣闊的應用前景。然而，光伏電站的發電功率因受諸多氣象因子與環境因素的影響而表現出強波動性與隨機性［1］，在這種情況下大規模光伏電站接入電網會對電網穩定性帶來沖擊，危害電網安全甚至造成嚴重經濟損失［2］。因此，實現準確的光伏功率預測不僅可以提高電網調度效率，而且對保證電網的安全穩定運行具有重要意義。

太陽輻照度是引起光伏電站發電功率變化的最主要因素，運動型不規則云團對太陽遮擋產生的“分鐘級”波動使光伏電站輸出功率也隨之無規律地快速劇烈波動，然而這種“分鐘級”波動難以在生產生活中被忽視。針對這一問題，國內外學者采用多種模型算法開展了太陽總水平輻射（GHI）的預測研究。傳統的太陽輻照度預測通常使用數值天氣預報（NWP）模型進行天氣狀況模擬，并以此來推斷部分區域的云量變化［3］，該模型目前能夠實現對部分區域未來48 h 的太陽輻射預測，但是因其不易發掘太陽輻照度與氣象信息之間的聯系，并對短期GHI 變化不敏感，使得該模型較為適合中長期預測而非短期預測。此外，部分研究人員使用衛星圖像進行太陽輻照度預測［4］，衛星圖像能夠獲取更多潛在氣象信息［5］從而提高GHI 預測精確性，但是因其預測分辨率較大而不能實現對GHI 的短期預測。因此，使用地基云圖進行GHI 預測的方式逐漸興起，其能夠有效反映特定區域上空云層分布狀況變化，通過對云團運動軌跡進行分析從而達到精確預測的目的，彌補傳統衛星圖像在短期預測領域的劣勢。文獻［6］利用尺度不變特征轉換（SIFT）對地基云圖特征點進行匹配，實現對云運動軌跡的追蹤識別，并在一段時間內進行太陽遮擋情況預測。文獻［7］提出基于互相關云運動估計來預測短期太陽輻照度的方法，但該方法并不能直觀反映預測到的云層狀態，只能通過其他變量來描述，如云運動矢量等。

隨著機器學習技術的發展，更多學者嘗試使用深度學習算法來解決傳統模型計算量大但精度不高的問題。相對來說，國內開展基于地基云圖的研究主要在云團識別與云圖像分類方面，在預測云運動趨勢和形狀變換方面的研究較少，但目前在其他領域已經開展了視頻預測方面的研究。長短期記憶（LSTM）網絡［8］在預測任務中應用廣泛，文獻［9］采用雙階段注意力機制與LSTM 相結合的方法來提升短期風電功率預測的準確性與穩定性，文獻［10］針對位置預測任務中多數模型忽略時間與空間關聯性的問題，利用時空LSTM 來增強模型的時空特征關聯能力，提升位置預測精度。文獻［11-12］僅使用簡潔的卷積神經網絡作為特征提取模塊來實現預測任務，文獻［13］使用具有UNet 體系結構的Inception 模塊多維度捕獲時空演變潛在規律，但僅使用卷積不能完全捕獲數據長期依賴關系，且云運動更加復雜多變，其輪廓和運動規律更難預測，這將導致模型預測效果較差。文獻［14］引入一種名為TaylorNet 的雙分支結構，將時序圖像輸入模型中并行提取時序特征，雖然該模型考慮到了提取多維特征的重要性，但是其特征提取模塊對時空信息捕獲能力較弱，提取到的特征時空關聯性不足。

針對上述問題，本文提出一種基于時空長短時記憶（ST-LSTM）神經網絡的地基云圖預測模型。首先，去除地基云圖中數據異常天數并重新設置圖像尺寸；其次，建立雙分支特征提取模型，使用時空長短時記憶神經網絡與麥克勞林（Maclaurin）特征展開單元并行提取特征；然后，對支路提取得到的特征進行整合并經過解碼器輸出預測結果；最后，以瑙魯島某地區云圖和公開的視頻預測數據集Moving MNIST、Human 3.6M 為例，將本文所提模型與現有的TaylorNet、E3D-LSTM 等方法進行對比，以驗證本文提出的雙分支預測模型對視頻預測的有效性與準確性。

1 模型框架

本文提出一種基于時空長短時記憶神經網絡的視頻預測模型，模型整體框架如圖1 所示。

圖1 麥克勞林雙分支預測模型結構Fig.1 Structure of the Maclaurin two-branch prediction model

在本文麥克勞林雙分支預測模型中：首先是原始數據處理模塊，通過魚眼圖像校正算法對云圖進行校正，還原成像儀上空云圖的真實狀態，提高數據實用性；然后將標準化后的數據輸入編碼網絡，利用雙分支特征提取模塊獲取更多細節特征，提升預測模型的信息獲取能力；最后將不同特征進行融合后經過解碼器輸出預測圖像，實現視頻流的預測。

2 雙分支預測模型MaclaurinNet

由于天氣的混沌特性，導致地基云圖特征信息易于混淆，多分支特征提取結構相比于單分支模型能夠獲取更多不同維度的特征。基于長短時記憶神經網絡改進的時空長短時記憶神經網絡在學習序列時空關聯性上具有良好的性能。序列信息展開方法能夠對序列內復雜特征進行解糾纏，便于提升模型的特征信息提取能力。因此，本文采用雙分支結構作為網絡模型框架，提出一個端到端的視頻預測模型，利用麥克勞林單元與時空長短時記憶神經網絡來并行提取特征，以提升模型的預測精度。

2.1 麥克勞林單元

本文在文獻［14］所提Taylor單元的基礎上提出麥克勞林單元，其中初始的Taylor單元結構如圖2所示。

圖2 Taylor 單元的內部細節結構Fig.2 Internal detailed structure of Taylor unit

Taylor 單元中記憶修正模塊是基于卡爾曼濾波算法所設計的，實現對預測特征的誤差修正。卡爾曼濾波具有適用范圍廣、濾波效果好等特點，但是卡爾曼濾波僅能夠對線性過程進行較為精準的估計，在非線性任務中往往不能達到最優的估計效果［15］，而視頻預測任務往往都是非線性的。為了解決此問題，本文提出麥克勞林單元。麥克勞林單元是一種基于門控機制的特征提取模塊，由麥克勞林信息展開模塊與記憶融合模塊2 個部分組成，具體結構如圖3 所示。

圖3 麥克勞林單元結構Fig.3 Structure of Maclaurin unit

2.1.1 麥克勞林信息展開模塊

麥克勞林信息展開模塊將編碼后的特征圖像進行解糾纏，以便于獲取更多深層時空特征。信息展開模塊由多層偏微分（PDE）模塊［16］堆疊構成，將不同維度的特征信息進行融合以獲取盡可能多的細節信息。麥克勞林信息展開模塊具體結構如圖4 所示。

圖4 麥克勞林信息展開模塊Fig.4 Maclaurin information expansion module

本文將麥克勞林展開式的信息定義為：

其中：I(t)表示經過預測后輸出的特征圖像；I(k)(0)表示輸入圖像的k階時間導數是通過k層PDE 模塊而得到的。

通用線性PDE 模型中包含了各種經典的物理方程，如運動方程、波動方程、熱方程等，從而能夠實現圖像的深度挖掘。PDE 模塊表達式如下：

在設計模型時，為防止誤差在迭代過程中不斷累積，模型僅針對圖像序列原始幀信息進行麥克勞林展開，令式（1）中變量t值為1，以防止計算量過大使得模型難以訓練。

2.1.2 記憶融合模塊

麥克勞林信息展開模塊會存在如下2 個問題：首先，本文使用的麥克勞林展開式只使用第1 幀信息為后續幀提供特征信息，模型會丟失部分中長期預測能力；其次，視頻預測任務中結構信息變化趨勢較為復雜且多為非線性變化，使用基礎模型中的卡爾曼濾波算法對此無法實現精確估計與校正。針對上述問題，本文提出一種基于門控機制的記憶融合模塊。記憶融合模塊首先將當前幀圖像信息輸入改進的門控循環單元（GRU）中，以增強幀間時空關聯性。改進的GRU 內部狀態轉移公式為：

其中：xt為當前時刻的輸入向量；ht-1為t-1時刻的隱藏 狀態、ht分別表示t時的GRU 候選隱藏狀態和隱藏狀態；σ為激活函數；*為卷積運算符。

為實現特征信息的相互補充，后續的門控單元將當前隱藏狀態ht與信息展開項I(t)進行融合與更新，最后輸出預測的特征圖像。上述過程計算公式如下：

其中：kt、為向量經過更新門后的特征信息；lt、為t時刻的支路候選隱藏狀態；yt為麥克勞林單元最終預測出的特征圖像。

2.2 時空長短時記憶神經網絡

ST-LSTM 由多層神經網絡單元堆疊形成。STLSTM 與LSTM 都采用門控機制，但由于雙記憶狀態轉移機制的引入使得ST-LSTM 的結構相對更加復雜，也擁有更強的時空捕獲能力。ST-LSTM 包含時間記憶單元和空間記憶單元2 個記憶模塊。第n層的時間記憶單元負責橫向時間流的傳遞，空間記憶單元負責層與層之間空間記憶的縱向傳遞。輸出時將2 個記憶單元的特征進行融合，并通過1×1卷積層進行降維，保證融合后記憶狀態維度與、一致。ST-LSTM 內部結構如圖5 所示。

圖5 ST-LSTM 內部結構Fig.5 Internal structure of ST-LSTM

模型通過輸入到狀態和狀態到狀態轉換的卷積運算，利用相鄰輸入和歷史狀態來預測未來狀態。ST-LSTM 單元內部狀態轉移公式為：

其中：it、gt、ft分別為第1 組的輸入門、輸入調制門、遺忘門分別為第2 組的輸入門、輸入調制門、遺忘門；Xt為輸入狀態分別為時間記憶狀態、空間記憶狀態；ω、ω′為權重矩陣；b、b′為偏差矩陣；⊙表示Hadamard 積。

2.3 網絡模型訓練及損失函數

在本文實驗中，通過滑動窗口的方法設置圖像序列Hinput=[h0,h1,…,ht-2,ht-1]作為輸入，接下來N幀真實序列為Houtput=[ht,ht+1,…,ht+N-2,ht+N-1]，在預測任務中，通過不斷減小預測出的動作序列與真實序列之間的損失，使模型逐漸收斂。

L2損失在視頻預測任務中使用廣泛且能夠取得較好的效果，本文模型在訓練時采用L2損失作為訓練的損失函數，為了使模型預測得到的圖像更加接近原始數據，本文將目標函數設置為：

其中：w代表模型中所有的參數；wP表示PDE 模型中的參數。

3 實驗與結果分析

為了客觀評估本文模型的有效性，在Moving MNIST、Human 3.6M、地基云圖3 個不同的公開數據集上進行實驗，并為每個數據集單獨訓練一個預測模型與流行基準預測算法進行定量對比分析。在此基礎上，實驗探究不同預測幀數對模型預測性能的影響，然后通過可視化結果定性評估本文MaclaurinNet 模型的性能，最后通過消融實驗探究模型中不同模塊對模型預測性能的影響。

本實驗使用的圖形工作站配置如下：內存大小為43 GB，CPU 型號為Intel Xeon Platinum 8255C，GPU 型號為RTX 3080，10 GB 顯存，通過PyTorch 框架與Adam 優化算法實現本文預測方法。實驗參數設置如表1 所示。

表1 3 個數據集的圖像大小及訓練參數設置Table 1 Image size and training parameters setting of three datasets

3.1 數據集

地基云圖數據集來源于Nauru Island 的全天空成像儀（TSI），可以從Atmospheric Radiation Measurement facility 下載。數據集時間跨度為2002 年11 月—2013 年9 月，每個連 續圖像 的時間間隔為30 s，原始圖像大小為352×288 像素，本文使用2002 年的9 271 張晴天云圖，經過文獻［17］提出的圖像校正算法對數據進行校正處理并重新定義圖像尺寸。

Moving MNIST 是目前視頻預測任務中使用最廣泛的公共數據集之一，其通過傳統的手寫體數據集合成得到，圖像序列由2 個在64×64 網格內獨立移動并能夠實現從邊界回彈的數字組成，每張圖片的通道數為1。

Human 3.6M［18］是一個 在室內 環境中利用MoCap 系統獲取的大規模數據集，包含11 名專業演員的360 萬張3D 人體姿態圖像，每張圖像的通道數為3，大小為128×128 像素。本文將S1、S5、S6、S7 和S8 劃分為訓練集，將S9 和S11 劃分為測試集。

3 個數據集部分示例圖像如圖6 所示。

圖6 數據集圖像示例Fig.6 Datasets image examples

3.2 評價指標

本文采用均方誤差（MSE）、平均絕對誤差（MAE）、結構相似性（SSIM）［19］與峰值 信噪比（PSNR）［20］4 種評價指標對模型的性能進行定量評估。PSNR 通常用來衡量2 張圖像間的相似度，SSIM分別從亮度、對比度和結構3 個方面衡量2 張圖像的結構相似性，較低的MSE、MAE 和較高的SSIM、PSNR 表示模型具有較好的性能。4 種評價指標具體計算公式如下：

其中：xi,j和分別表示第i組圖像序列的第j幀與其所對應的預測結果；M和N分別表示真實序列與預測序列的樣本數量；μx和μy分別表示x和y的平均值分別是x和y的方差；δxy是x和y的協方差；c1和c2是用來維持穩定的常數；n為每個采樣值的比特數。

3.3 短期預測對比實驗

3.3.1 Moving MNIST 數據集

本文將所提模型與ConvLSTM、E3D-LSTM、CrevNet+ConvLSTM、CrevNet+ST-LSTM、PredRNN［21］、Causal LSTM［22］、MIM［23］、PhyDNet［24］、PhyDNet-dual［25］和TaylorNet 在Moving MNIST 數據集上進行對比，定量結果如表2 所示，加粗表示最優數據。

表2 Moving MNIST 數據集上的定量對比結果Table 2 Quantitative comparison results on the Moving MNIST dataset

通過表2 的實驗數據可以得出，針對Moving MNIST 這一數據集，本文提出的MaclaurinNet 在3 個不同指標下都實現了最佳的性能表現。相較于同樣使 用 ST-LSTM 模塊的 PredRNN 模 型，MaclaurinNet 預測能力有了顯著提升，MSE 值從56.8 降低至18.7，MAE 值 從126.1 降低至57.5，同 時SSIM 值從0.867 提升至0.960。與同樣擁有雙分支結構的TaylorNet 預測模型相比，改進后模型的MSE值降低了約15.8%，MAE 值降低了約11.8%，SSIM 值則提升了0.8%。圖7 顯示模型預測的可視化結果，從中能夠看出，MaclaurinNet 的預測圖像在整體結構上與真實值更為相似，圖中數字的邊界更為清晰，能展示出更多的細節特征，驗證了本文所建模型的有效性與準確性。

圖7 Moving MNIST 數據集上的可視化結果Fig.7 Visualization results on the Moving MNIST dataset

3.3.2 Human 3.6M 數據集

為進一步評估模型的性能表現，使用同樣方法在復雜的真實人體姿態數據集Human 3.6M 上進行實驗。將數據集輸入模型并進行訓練和評估，預測的可視化結果如圖8 所示，定量實驗結果如表3 所示。與Moving MNIST 相 比，Human 3.6M 的圖像 具有更多的細節特征，對圖像預測模型而言，在該預測場景下保持同樣的預測性能將是一項較大的挑戰，從表3 可以看出，本文模型仍然表現出了較強的優勢。MaclaurinNet 的MAE 值為1 650，性能表現僅次于TaylorNet，且兩者的差值較小，僅為40；PredRNN、E3D-LSTM 和TaylorNet 預測模型的MSE值依次 為484、464、374，而本文 模型的MSE 值 為361，較其他3 種預測模型誤差更低。從圖8 可知，本文模型預測出的圖像呈現出了與真實值較為接近的人物姿態與人體細節，表明本文模型在復雜人體姿態數據集上也具有明顯優勢。

表3 Human 3.6M 數據集上的定量對比結果Table 3 Quantitative comparison results on the Human 3.6M dataset

圖8 Human 3.6M 數據集上的可視化結果Fig.8 Visualization results on the Human 3.6M dataset

3.4 中長期預測學習對比

由于TaylorNet 擁有與MaclaurinNet 相類似的雙分支結構，且在2 種數據集下所表現出的性能遠優于其他模型，為多方面評估本文模型的預測能力，實驗針對上述2 種模型進行中長期預測能力的對比評估，分析預測幀數從10 幀逐步提升至90 幀后對模型預測性能的影響，定量實驗結果如表4 所示，評價指標變化趨勢如圖9 所示。

表4 在Moving MNIST 數據集上不同預測幀數對模型預測效果的影響Table 4 Effect of different prediction frames on model prediction effect on the Moving MNIST dataset

圖9 在Moving MNIST 數據集上MaclaurinNet 與TaylorNet 的短期與中長期預測性能對比Fig.9 Comparison of short -and medium -to long term predictive performance between MaclaurinNet and TaylorNet on the Moving MNIST dataset

實驗結果顯示，隨著預測幀數的增加，圖像中的像素值與真實值誤差將會變大，導致各項性能指標下降。當幀數在60 幀以內時，本文模型的各項性能表現均優于基準模型TaylorNet，在幀數超過60 幀后本文模型MSE 與MAE 值首先出現性能下降的情況，但結構相似性評價指標SSIM 在90 幀時的性能表現依然優于基準模型，其主要原因是在模型設計時為了滿足模型實際使用需求并防止誤差在計算迭代時不斷增大，本文模型僅針對序列的第1 幀圖像進行信息展開，增強了模型短期的圖像預測性能，使預測結果保留了更多的結構相似性，同時更高的空間結構相似性意味著預測結果與真實值有更緊密的時空對應關系，如圖7 所示，其可視化結果也能夠呈現出更加清楚的圖像輪廓與更精確的圖像定位。但是，由于缺乏對后續幀信息的利用，本文模型丟失了部分對長期時空信息的捕獲能力，從而弱化了模型的中長期預測性能。因此，相較于基準模型，本文模型在超短期與短期預測時表現出了更好的圖像預測能力。由于模型結構的改進設計，在較長期預測場景下盡管部分性能指標出現了下降趨勢，但是在關鍵的結構相似性指標下模型依然保持著良好性能。

3.5 云圖消融實驗

將MaclaurinNet 與擁有良好預測性能的TaylorNet在地基云圖數據集上進行定性與定量評估，以驗證MaclaurinNet 對地基云圖的預測精確性，并在此基礎上進行一系列的消融實驗，以驗證麥克勞林記憶融合模塊和ST-LSTM 模塊的有效性。相關實驗結果如表5所示。實驗可視化結果如圖10 所示。

表5 在地基云圖數據集中的消融實驗結果Table 5 Results of ablation experiments in the groundbased cloud map dataset

圖10 地基云圖數據集上的可視化結果Fig.10 Visualization results on the ground-based cloud map dataset

變體模型1 是在基準模型3 的基礎上使用STLSTM 替換其中的ConvLSTM 模塊，以此來探究STLSTM 對模型預測性能的影響。由表5 可知，STLSTM 的加入使模型在4 個評價指標上都獲得了提升，MSE 值從379.4 降低至378.7，降低了0.2%，MAE值從1 774.0 降低為1 689.4，降低了4.8%，且SSIM 值從0.849 提升至0.858，提升約1.1%，同時PSNR 值從20.968 提升到21.546，提升了2.8%。實驗結果證明ST-LSTM 的加入提升了模型對時間、空間信息的捕獲能力，增強了模型預測性能。

變體模型2 是在基準模型3 的基礎上將原本的Taylor 替換為記憶融合模塊，目的是分析改進的麥克勞林記憶融合模塊對云圖預測任務所作的貢獻。由表5 可以得出，添加記憶融合模塊后模型性能在3 個評價指標上都獲得了提升，MSE 值從379.4 降低至355.1，降低了6.4%，MAE 值 從1 774.0 降低至1 760.2，降低了0.8%，同時PSNR 值從20.968 提升至21.299，提升了1.6%。實驗結果證明，改進后的記憶融合模塊能夠有效提升模型預測能力，保持輸出特征的時空一致性。

4 結束語

針對當前云圖預測模型中存在的細節缺失和預測精度差的問題，本文提出一種基于時空長短時記憶神經網絡的地基云圖預測模型MaclaurinNet。針對單一預測模型在應對復雜云圖數據時難以完全獲取數據間時空關聯性的問題，提出基于雙分支結構的預測模型，其結合ST-LSTM 在時空信息獲取中的優勢以及麥克勞林單元對特征分離和記憶融合的優勢，解決傳統云圖預測模型時空特征提取不足的問題，提高了預測模型對歷史數據的敏感度。針對基準模型中卡爾曼濾波算法在非線性任務中性能降低的問題，引入門控機制網絡替代卡爾曼濾波模塊，提高模型的預測精確性。實驗結果表明，基于門控機制的記憶融合模塊能夠提升模型的預測性能，預測出的圖像序列保留了更多的細節信息，MaclaurinNet在不同任務場景中都具有較好的性能表現和適用性。

本文基于時空長短時記憶神經網絡和信息預測校正模塊的地基云圖預測算法為地基云圖預測場景提供了一種解決方案，提升了云圖預測任務的精度。但是本文只考慮改進模型的短期預測能力，未考慮中長期預測任務應用場景，下一步將基于現有工作開展針對中長期預測任務的研究，以提升模型的總體預測能力。