基于自注意力機制改進的TCN-GRU超短期光伏功率預測

摘要：為提高光伏功率預測精度，提出一種基于自注意力機制改進的TCN和GRU超短期光伏發電功率預測模型.首先，對影響光伏功率的氣象因素進行分析;其次，在改變TCN的連接方式的基礎上，結合自注意力機制特點優化TCN殘差結構及GRU的輸出，構建組合預測模型.結果表明該模型具有較好的預測精度.

關鍵詞：光伏功率預測；自注意力機制；門控循環單元；時間卷積網絡

中圖分類號：TD713"" 文獻標志碼：A

Improved TCN-GRU UItra Short-term PV PowerPrediction Based on Self-attention Mechanism

ZHANG He， ZHENG Xiao-liang

（School of Electrical and Information Engineering， Anhui University of Science and Technology， Huainan 232001， Anhui， China）

Abstract：In order to improve the accuracy of photovoltaic power prediction， an ultra-short-term photovoltaic power generation power prediction model based on TCN and GRU improved by self-attention mechanism was proposed. Firstly， the meteorological factors affecting photovoltaic power were analyzed. Then， on the basis of changing the connection mode of TCN， the residual structure of TCN and the output of GRU were optimized by combining the characteristics of the self-attention mechanism to construct a combinatorial prediction model. Finally， combined with experiments， it is shown that the model has good prediction accuracy.

Key words：PV power forecasting; self-attention mechanism; gated recurrent unit; temporal convolutional network

0 引言

近年來，隨著化石能源短缺和環境污染問題的日趨嚴重，加快能源結構轉型已成為全球能源產業競爭的焦點，太陽能發電行業成為國際潮流^[1].截至2022年底，全球光伏電站累計裝機容量達到約1 101 GW，其中，中國累計裝機容量位居榜首^[2].這一數據表明光伏發電正經歷快速推廣與發展.然而，光伏功率受到多種環境因素制約，具有較大的波動性與隨機性，使得大規模光伏發電并網對電網穩定性產生不良影響^[3].因此，準確預測光伏功率具有重要意義.

光伏功率預測根據時間范圍不同可劃分為3種類型：超短期光伏功率預測、短期光伏功率預測及中長期光伏功率預測.其中，超短期光伏功率預測的時間范圍為未來0～4 h，可提高光伏發電系統的可靠性^[4].目前，學界針對光伏發電功率預測算法開展了大量研究.徐柔等^[5]為構建具有多樣性的有效樣本數據集，使用一維卷積作為深度卷積對抗網絡（DCGAN）生成器的核心結構，并將長短時記憶網絡（LSTM）和注意力機制進行光伏功率組合預測.史加榮等^[6]通過將門控循環單元（GRU）與寬度學習系統（BLS）相融合提出了GRU-BLS組合預測模型，用于緩解深度學習訓練時間長及易陷入局部極值的缺陷.劉國海等^[7]為提升預測精度、降低計算成本并增強模型泛化能力，將注意力機制與GRU模型結合，使其能夠更專注于時序輸入中的關鍵信息，從而優化預測效果.

基于上述研究，本文首先采用皮爾遜（Pearson）相關系數法進行特征選擇以降低數據復雜度，其次結合TCN的時序特征提取及GRU時序建模特點，最后利用自注意力機制能動態關注序列中不同時間點的能力進行改進，構建基于自注意力機制改進的TCN-GRU預測模型.

1 相關性分析

光伏發電功率受到輻照度、降雨量、環境溫度及風速等多種氣象因素影響.由于不同氣象因子對光伏發電的影響程度存在差異，考慮過多非關鍵影響因素會使模型訓練難度增強，為此，本文采用Pearson相關系數篩選出主要的影響因素，Pearson相關系數ρX，Y計算如式（1）所示.

ρX，Y=

∑Ni=1（xi－x）（yi－y）∑Ni=1（xi－x）2∑Ni=1（yi－y）2，（1）

其中：xi和yi為變量樣本;x和y為樣本平均值.

本文使用澳大利亞艾利斯普林斯（Alice Springs）公開數據集進行相關性分析^[8]，涵蓋溫度、濕度、降雨量及水平面總輻照度等氣象因素以及實際光伏功率，為直觀地顯示分析結果，繪制相關系數的熱力圖，如圖1所示.

由圖1可知，多影響因素下水平輻射對發電功率影響是最大，系數高達0.894，其次為水平散射、相對濕度及環境溫度等，其中相對濕度與發電功率呈負相關.降雨量相關系數最低，系數為-0.007，本文選擇相關性較高的水平輻射、水平散射及相對濕度作為影響功率的主要因素.

2 模型建立

2.1 自注意力機制

使用神經網絡進行預測時由于不同時刻的數據存在差異性，導致構造出的組合預測模型無法充分挖掘出數據中的動態關聯信息，進而對預測結果的準確性造成影響.

與神經網絡不同，自注意力機制通過模擬人腦依據數據之間的內在關聯進行權重的分配，通過確定每個數據的權重實現對輸入數據的動態加權.此外，自注意力機制具備并行處理能力，可規避長距離依賴引發的信息丟失問題，進而提升數據處理效率和準確性.本文借助自注意力機制提升長序列數據的處理精度.自注意力機制的計算過程如下.

（1）計算注意力分布

設X=［x1，x2，…，xn］為輸入向量，q為查詢向量，s（xk，q）為打分函數，用于計算輸入向量與查詢向量的相關程度.注意力分布αk計算如式（2）所示.

αk=softmax（s（xk，q））=e^{s（xk，q）}∑ni=1e^{s（xk，q）}，（2）

其中，αk表示k個向量的注意力分布.

打分函數有加性、點積及縮放點積等，分別如式（3）、式（4）及式（5）所示.

s（xk，q）=VTtanh（Wxk+Uq），（3）

s（xk，q）=xTkq，（4）

s（xk，q）=xTkqd，（5）

其中：W，V，U為可學習參數;d為特征向量維度.

（2）計算加權求和

輸入向量與對應的注意力分布加權求和即為注意力機制輸出，如式（6）所示：

A（X，q）=∑ni=1αixi.（6）

自注意力機制將輸入向量X經線性變換矩陣轉換為查詢矩陣Q、鍵矩陣K以及值矩陣V，具體過程如圖2所示，計算如式（7）、式（8）所示.

Q=WqX，K=WkX，V=WvX，（7）

FAtt=softmax（KTQDk）V，（8）

其中：Wq、Wk、Wv為線性變換矩陣;Dk為矩陣維度，自注意力機制采用式（5）即縮放點積模型，避免Q與K的點乘結果過大導致softmax函數進入無遞度區域.

2.2 門控循環單元

循環神經網絡（RNN）作為一種深度學習模型，基于其結構特性在預測任務中展現出顯著優勢，但其存在梯度消失等問題.LSTM在RNN的基礎上引入門限機制有效緩解了上述問題，顯著提升了模型在處理復雜序列數據時的性能，但是LSTM計算過程較為復雜，隨著數據量增長，訓練時間也會顯著增加.

GRU是LSTM的改進，相較于LSTM模型的3個門函數，GRU簡化為僅兩個門函數（更新門、重置門），參數量更小，訓練速度更快.GRU細胞結構如圖3所示.

GRU的計算過程如式（9）～式（12）所示.

Rt=σ（WfXt+UfHt－1+bf），（9）

Zt=σ（WiXt+UiHt－1+bi），（10）

H～t=tanh（WjXt+Uj（Rt*Ht－1）+bj），（11）

Ht=（1－Zt）*Ht－1+Zt*H～t，（12）

其中：Rt為重置門，用于控制過去對當前時刻的影響大小；Zt為更新門，控制現在與過去有多少信息可以被傳遞到下一時間；H～t為候選狀態；tanh用于將數據進行歸一化處理；σ為sigmoid激活函數；Ht為t時刻當前狀態；Wf、Wi、Wj、Uf、Ui、Uj為權值矩陣；bf、bi、bj為偏置.

2.3 基于時間卷積網絡的模型結構

2.3.1 時間卷積網絡

TCN是一種結合殘差連接與擴張因果卷積的網絡結構.

（1）擴張因果卷積

在時間序列預測中，t時刻的輸出yt僅與當前時刻的輸入xt及之前時刻的輸入xt－1、xt－2、xt－3、xt－4有關，而與未來時刻無關，為了確保輸出張量與輸入張量長度一致，采取在輸入張量左側進行零填充策略滿足因果卷積，其結構如圖4（a）所示.

一般情況下，若要獲得較長歷史信息甚至覆蓋完整的歷史記錄需要增加網絡深度，但深度會導致梯度消失、計算復雜等問題.擴張卷積通過間隔采樣方式，在不增加模型復雜度和參數的情況下，實現指數級增大感受野，捕獲長期依賴關系，其計算如式（13）所示.

F（s）=∑l－1h=0f（h）xs－d*h，（13）

其中，x為輸入數據序列，l為卷積核的大小，s－d*h為時序數據索引，f（h）為卷積核中第h個元素.d為擴張系數，其值越大，感受野越大，擴張系數d=［1，2，4，8］的擴張卷積如圖4（b）所示.

（2）殘差模塊

與遞歸神經網絡相比，TCN通過引入殘差連接模塊解決了深層傳統神經網絡中網絡退化及梯度爆炸的困擾，從而提升模型準確性，TCN模型的殘差模塊如圖5所示.

右分支由擴張卷積、權重歸一化、ReLu函數及Dropout組成，其中，權重歸一化通過重寫權值向量參數來加速模型收斂，以提高運行效率.Dropout通過隨機丟棄部分神經元減少對局部信息的過分依賴，提高其泛化能力.左分支為殘差連接，使用一維卷積運算保證兩個分支的輸出維度一致.

2.3.2 改進的TCN結構

傳統時間卷積網絡的殘差模塊采用串聯方式傳遞信息，但該連接方式導致模型學習到的有用信息較少，有一定的改進空間^[9].本文受到并聯結構啟發，提出兩點改進.

（1）將殘差模塊的連接方式修改為并聯連接，提高模型學習有用信息的能力.

（2）在并聯支路添加自注意力機制，用于捕獲個體序列間的關系信息，提升空間特征提取的準確性和全面性.

改進后的殘差模塊結構如圖6所示.

圖6 改進殘差模塊結構

2.4 組合模型

本文綜合各模型優點，提出一種基于自注意力機制改進的TCN-GRU神經網絡模型，其結構如圖7所示，包含輸入層、TCN網絡層、GRU層以及輸出層.各層具體任務如下.

（1）輸入層：將預處理后的光伏發電功率數據及相關影響因素輸入模型中.

（2）TCN層：通過改進的因果擴張卷積實現特征提取，借助殘差連接加速收斂，利用自注意力機制層自迭代突出序列中的關鍵空間特征，有效捕捉時間序列間的依賴關系，避免梯度彌散等問題.

（3）GRU層：GRU因其強大的非線性擬合能力，能夠高效地提取數據特征，將TCN層的輸出作為其輸入進一步提取特征.此外，為捕獲不同時間點輸出間的重要關系，在GRU層引入自注意力機制，增強模型捕獲數據特征信息和時間點間重要關系的能力，進一步提高模型預測效果.

（4）輸出層：通過全連接層得到光伏發電功率預測結果.

2.5 模型評估指標

預測模型的評估主要基于真實值與預測值之間的誤差，以衡量模型的準確性.實驗選取均方根誤差（RMSE）、平均絕對誤差（MAE）及相關系數（R2）作為評價指標，其中，RMSE和MAE越低，R2的值越近1，表明模型預測效果越好，各指標計算如式（14）～式（16）所示：

RMSE=1N∑Ni=1（yi－yi）2，（14）

MAE=1N∑Ni=1|yi－yi|，（15）

R2=1－∑Ni=1（yi－yi）2∑Ni=1yi－1N∑Ni=1yi2，（16）

其中：N代表樣本數;yi為光伏功率實際值;yi為模型預測值.

3 仿真分析

3.1 數據來源

實驗選取DKASC的Alice Spring電站作為研究對象.結合澳大利亞地理位置和氣候變化特點，選擇2020年1月1日至2020年2月29日期間光伏發電數據，時間范圍為每日06∶30∶00至19∶30∶00，每隔5 min采樣一次.該數據集用于模型訓練，并預測未來7天相同時間范圍內的發電功率數據.

3.2 模型參數選取

通過多次實驗驗證并結合相關文獻，確定模型最優的參數如表1所列.其中，TCN#1和TCN#2分別代表TCN并聯結構中的分支1和2；d為擴張系數，n為卷積核數量，p為神經元丟棄概率.

3.3 實驗結果及分析

為驗證本文提出改進TCN-GRU模型的有效性并避免實驗偶然性，對TCN-GRU模型進行了50、70、90、110及130次訓練，為公平進行對比，實驗采用相同的輸入變量，測試集結果各項指標值如表2所列.

由表2可知，與TCN-GRU 3個評價指標相比，本文模型R2平均增加0.44%，MMAE平均降低12.66%，RRMSE平均降低2.98%，證明本文所提基于自主注意力機制改進的TCN-GRU模型更有效，引入自注意力機制模塊預測精度更高.

為進一步驗證預測模型有效性與預測精確度，本文與單一模型LSTM、GRU和組合模型CNN-BiLSTM^[10]及TCN-Attention-LST-M^[11]進行比較，各模型在測試集上的預測結果如圖8、圖9所示.

由圖8、圖9可直觀看出，本文模型預測值與實際值的變化趨勢較為接近.各模型的預測評價指標值以及訓練時間如表3所列.

由表3可知，相比單一LSTM、GRU模型，本文模型的MAE值分別降低了33.93%、29.55%;RMSE值分別下降了12.28%、11.27%；R2值分別上升了1.8%、1.63%；相比組合預測模型CNN-BiLSTM、TCN-Attention-LSTM，本文模型的MAE值分別下降了21.66%、9.04%；RMSE值分別下降了8.69%、3.05%；R2值上升了1.19%、0.38%.以上結果表明本文模型的預測精度較高.此外，與單一預測模型LSTM、GRU相比，本文模型訓練時間較長，表明模型復雜度增加會導致訓練成本增長.

在光伏功率預測中，精確度往往受到天氣狀況的影響.探究了本文模型在不同天氣下的預測精度，各模型在平穩天氣（3月6—7日）和非平穩天氣（3月1-5日）下的預測評價指標值如表4所列.

由表4可知，在天氣變化平穩時，由于光伏發電功率變化平緩，單模型及組合模型預測效果較好.然而，本文模型預測結果更接近實際值，效果最佳；在非平穩天氣狀況下，由于波動時間段較長、波動性較大，單模型及組合模型預測效果均有不同程度的降低，但本文模型在預測精度和穩定

性方面仍具有一定優勢，表明該模型具有一定的抗干擾能力.

4 結語

為提高光伏輸出功率的預測精度，提出了基于自注意力機制改進的TCN-GRU的光伏發電超短期功率預測模型.將TCN殘差模塊的連接改為并聯結構，提高了模型學習有用信息的能力，同時利用注意力機制進行信息權重自適應選擇并構建組合預測模型.實驗結果表明，該組合模型具有更好的預測精度，證明了本文提出的組合預測模型的可行性.這一方法為光伏發電系統的日常運行及管理決策提供了一種可靠的預測手段.

參考文獻：

[1] 傅其昌，施紅如.太陽能光伏發電技術在農業智能化灌溉系統的應用研究[J].山東農機化，2023（3）：43-45.

[2] 朱吉慶，宋雨昂.太陽能光伏發電技術發展現狀與前景[J].對外經貿，2024（1）：31-34，131.

[3] 龔鶯飛，魯宗相，喬穎.光伏功率預測技術[J].電力系統自動化，2016，40（4）：140-151.

[4] 董存，王錚，白捷予，等.光伏發電功率超短期預測方法綜述[J].高電壓技術，2023，49（7）：2938-2951.

[5] 徐柔，章杰，賴松林，等.結合改進的DCGAN和Attention-LSTM的光伏功率預測[J].福州大學學報（自然科學版），2023，51（4）：498-504.

[6] 史加榮，殷詔.基于GRU-BLS的超短期光伏發電功率預測[J].智慧電力，2023，51（9）：38-45.

[7] 劉國海，孫文卿，吳振飛，等.基于Attention-GRU的短期光伏發電功率預測[J].太陽能學報，2022，43（2）：226-232.

[8] DKA Solar Centre. Data Download[EB/OL].[2024-03-01].https：//dkasolarcentre. com. au/download？location=alice-springs.

[9] 秦浩.基于改進時間卷積網絡的短期電力負荷預測研究[D].南昌：南昌大學，2024：40.

[10] 倪超，王聰，朱婷婷，等.基于CNN-Bi-LSTM的太陽輻照度超短期預測[J].太陽能學報，2022，43（3）：197-202.

[11] 高巖，吳漢斌，張紀欣，等.基于組合深度學習的光伏功率日前概率預測模型[J].中國電力，2024，57（4）：100-110.

［責任編輯：李嵐 杜佳］