基于TCN-MHA 的短期光伏功率預(yù)測(cè)

孫永叡，任曉穎，2*，張 飛，2，高 鷺，郝 斌

（1.內(nèi)蒙古科技大學(xué)信息工程學(xué)院，內(nèi)蒙古 包頭 014000；2.華北電力大學(xué)新能源學(xué)院，北京 100000）

據(jù)國(guó)家能源局統(tǒng)計(jì)，2022 年1—6 月光伏新增并網(wǎng)容量3 087.8 萬(wàn)kW，累計(jì)并網(wǎng)容量約3.4 億kW，同比增長(zhǎng)26%[1]。隨著光伏并網(wǎng)容量規(guī)模的增加，光伏發(fā)電的隨機(jī)性、周期性對(duì)電網(wǎng)會(huì)產(chǎn)生更大的沖擊。準(zhǔn)確的光伏功率預(yù)測(cè)有利于光伏電站及電網(wǎng)合理調(diào)度，增加電網(wǎng)消納光電能力，提高電網(wǎng)穩(wěn)定性[2]。

光伏功率預(yù)測(cè)實(shí)際上是對(duì)非平穩(wěn)數(shù)據(jù)流的預(yù)判，預(yù)測(cè)方法可以根據(jù)不同的尺度進(jìn)行分類(lèi)[3]。如按照預(yù)測(cè)過(guò)程、預(yù)測(cè)空間尺度、預(yù)測(cè)時(shí)間尺度，若按照不同的預(yù)測(cè)形式，可分為點(diǎn)預(yù)測(cè)、區(qū)間預(yù)測(cè)和概率預(yù)測(cè)。本研究屬于點(diǎn)預(yù)測(cè)，主要分為物理法、統(tǒng)計(jì)法、元啟發(fā)式學(xué)習(xí)法等。物理法雖不需詳細(xì)的歷史數(shù)據(jù)訓(xùn)練模型，但依賴(lài)詳細(xì)的電站地理信息和準(zhǔn)確氣象數(shù)據(jù)，且物理公式存在一定的誤差，模型抗干擾能力差，魯棒性不強(qiáng)。統(tǒng)計(jì)法相較于物理法，具有建模簡(jiǎn)單等優(yōu)勢(shì)，但該方法由于對(duì)早期和近期數(shù)據(jù)重要性不加區(qū)分，所以不能較好地反映特征當(dāng)前發(fā)展趨勢(shì)，且當(dāng)有新的數(shù)據(jù)點(diǎn)出現(xiàn)時(shí)，所建模型需要重新確定，不能自行延續(xù)。元啟發(fā)式學(xué)習(xí)法采用算法對(duì)樣本數(shù)據(jù)進(jìn)行訓(xùn)練得到輸入量與輸出量的關(guān)系，屬于人工智能的范疇。常見(jiàn)的元啟發(fā)式法有深度學(xué)習(xí)及機(jī)器學(xué)習(xí)法等。許多學(xué)者利用經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）[4-6]、長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）[7-9]和門(mén)控循環(huán)單元（Gated Recurrent Unit，GRU）[10-12]取得了大量成果，這些預(yù)測(cè)模型能夠有效提取深層次的數(shù)據(jù)特征，體現(xiàn)時(shí)間序列前后的關(guān)聯(lián)性，被認(rèn)為是功率預(yù)測(cè)的首要選擇。而B(niǎo)ai 等[13]提出了基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的時(shí)間卷積神經(jīng)網(wǎng)絡(luò)（Temporal Convolutional Networks，TCN），表明了卷積架構(gòu)在多種任務(wù)和數(shù)據(jù)集上的表現(xiàn)優(yōu)于典型的循環(huán)網(wǎng)絡(luò)，靈活的感受野展現(xiàn)更長(zhǎng)的有效記憶，得出了如今應(yīng)同時(shí)將卷積神經(jīng)網(wǎng)絡(luò)作為序列建模任務(wù)自然起點(diǎn)的結(jié)論，因此，近年來(lái)越來(lái)越多的學(xué)者在時(shí)間序列預(yù)測(cè)任務(wù)中使用卷積神經(jīng)網(wǎng)絡(luò)及其變體作為首要預(yù)測(cè)模型。

為克服TCN 在多步預(yù)測(cè)輸出與固定輸入之間的不同非線性映射關(guān)系難以建立[14]的不足，本研究基于TCN 建立了深度學(xué)習(xí)混合模型對(duì)日前短期光伏功率進(jìn)行預(yù)測(cè)。首先，對(duì)數(shù)據(jù)進(jìn)行處理，包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換及特征選擇；然后對(duì)TCN 和MHA 進(jìn)行相關(guān)介紹，并對(duì)所提深度學(xué)習(xí)混合模型TCN-MHA 及預(yù)測(cè)步驟進(jìn)行闡述；最后通過(guò)算例分析將所提模型與CNN、TCN 及CNN-LSTM 進(jìn)行對(duì)比，驗(yàn)證所提模型的有效性。

1 數(shù)據(jù)處理

1.1 數(shù)據(jù)預(yù)處理

本研究數(shù)據(jù)集為DKASC 澳大利亞中部愛(ài)麗絲溫泉光伏系統(tǒng)2 號(hào)站點(diǎn)2012—2015 年數(shù)據(jù)[15]，場(chǎng)站裝機(jī)容量為26.52 kW，采樣周期為1 h，共35 064 組數(shù)據(jù)。首先，對(duì)光伏數(shù)據(jù)中的異常值及缺失值進(jìn)行處理。通過(guò)箱型圖檢測(cè)異常值，采用前值填充法填充異常值及缺失值；數(shù)據(jù)集中90%為訓(xùn)練集，10%為測(cè)試集，訓(xùn)練集中的20%為驗(yàn)證集；由于不同特征的量綱不同，為了方便模型訓(xùn)練，使用Tensorflow 中MinMaxScaler 方法對(duì)數(shù)據(jù)進(jìn)行歸一化處理，其數(shù)學(xué)式見(jiàn)式（1）。

式中：Xnorm為歸一化結(jié)果；X為輸入值；Xmax為數(shù)據(jù)集中對(duì)應(yīng)特征的最大值；Xmin為數(shù)據(jù)集中對(duì)應(yīng)特征的最小值。

1.2 數(shù)據(jù)轉(zhuǎn)換

深度學(xué)習(xí)網(wǎng)絡(luò)輸入數(shù)據(jù)需要三維，對(duì)于光伏數(shù)據(jù)這類(lèi)時(shí)間序列數(shù)據(jù)，需要將數(shù)據(jù)經(jīng)過(guò)滑動(dòng)窗口。一來(lái)可以將數(shù)據(jù)劃分為輸入特征和目標(biāo)特征，轉(zhuǎn)換為有監(jiān)督學(xué)習(xí)；二來(lái)可以將輸入數(shù)據(jù)轉(zhuǎn)化為三維，實(shí)現(xiàn)動(dòng)態(tài)預(yù)測(cè)。本研究對(duì)經(jīng)滑動(dòng)窗口的數(shù)據(jù)進(jìn)一步遍歷篩選，對(duì)輸入輸出數(shù)據(jù)進(jìn)行每24 個(gè)樣本重新采樣，拉長(zhǎng)相鄰樣本數(shù)據(jù)的間隔，得到無(wú)重復(fù)的輸出數(shù)據(jù)，方便后續(xù)日前功率預(yù)測(cè)及評(píng)估。圖1 為經(jīng)過(guò)滑動(dòng)窗口前后的數(shù)據(jù)。

圖1 滑動(dòng)窗口處理前后數(shù)據(jù)變化

圖2 為遍歷篩選前后的數(shù)據(jù)，處理后輸出數(shù)據(jù)（Y）可以獲得1 311 d 獨(dú)立數(shù)據(jù)。

圖2 篩選前后數(shù)據(jù)變化

1.3 特征選擇

由于深度學(xué)習(xí)算法會(huì)挖掘數(shù)據(jù)潛在特征，本研究結(jié)合相關(guān)性分析及預(yù)測(cè)實(shí)驗(yàn)進(jìn)行特征選擇。表1 為各特征與光伏功率的Pearson 及Spearman 相關(guān)性分析結(jié)果。

表1 相關(guān)性分析結(jié)果（保留4 位小數(shù)）

根據(jù)相關(guān)性分析可以看出兩種相關(guān)性有相似的趨勢(shì)，結(jié)合以上結(jié)果創(chuàng)建3 組特征，分別為：①電流相位平均值、有功功率、全球水平輻射和擴(kuò)散水平輻射。②電流相位平均值、有功功率、全球水平輻射、擴(kuò)散水平輻射、風(fēng)速、溫度和相對(duì)濕度。③電流相位平均值、有功功率、全球水平輻射、擴(kuò)散水平輻射、風(fēng)速、溫度、相對(duì)濕度、風(fēng)向和日降雨量。

下面基于3 組特征使用TCN-MHA 模型進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2 各特征組合實(shí)驗(yàn)結(jié)果

結(jié)合表2 可以看出組合3 的預(yù)測(cè)效果最好，因此最終選擇電流相位平均值、有功功率、全球水平輻射、擴(kuò)散水平輻射、風(fēng)速、溫度、相對(duì)濕度、風(fēng)向和日降雨量作為輸入特征，將特征進(jìn)行篩選有利于提升模型預(yù)測(cè)精度和訓(xùn)練速度。

2 預(yù)測(cè)模型

2.1 時(shí)間卷積神經(jīng)網(wǎng)絡(luò)（TCN）

TCN 由因果卷積、膨脹卷積及殘差連接組成，不僅具有并行性、因果性等特點(diǎn)，還具有靈活的感受野，所以適合處理時(shí)間序列數(shù)據(jù)。圖3 為T(mén)CN 中因果膨脹卷積示意圖。

圖3 TCN 中因果膨脹卷積

對(duì)于輸入序列X=（x1，x2，…，xn），其中xi為列向量，i∈[1，n]；過(guò)濾器F=（f1，f2，…，fK）；下式給出x在t時(shí)刻的膨脹卷積計(jì)算公式

式中：d為膨脹系數(shù)；k為過(guò)濾器個(gè)數(shù)。卷積運(yùn)算過(guò)程多數(shù)據(jù)可同時(shí)與卷積核做內(nèi)積，加快模型處理數(shù)據(jù)的速度。TCN 感受野可以靈活調(diào)整，其大小可以根據(jù)卷積核尺寸Ksize、膨脹系數(shù)d及殘差塊數(shù)量Nstack進(jìn)行調(diào)整。下式給出感受野的計(jì)算過(guò)程

式中：Σdi為殘差塊中堆疊的卷積層數(shù)。由于TCN 可靈活調(diào)整感受野，因此深層TCN 訓(xùn)練穩(wěn)定性需要重視。深層網(wǎng)絡(luò)容易出現(xiàn)梯度消失和梯度爆炸的問(wèn)題而殘差連接被證明是訓(xùn)練深層網(wǎng)絡(luò)的有效方法。因此，研究者設(shè)計(jì)TCN 模型時(shí)，使用了一個(gè)殘差塊來(lái)代替一層卷積。一個(gè)殘差塊為經(jīng)過(guò)一系列變換F的輸出與塊的輸入相加，如式（4）

式中：O為殘差塊輸出；Activation 為激活函數(shù)；x為殘差塊的輸入；F為非線性變換。

綜上所述TCN 網(wǎng)絡(luò)適合處理時(shí)間序列數(shù)據(jù)，但TCN 在提取輸入序列的多尺度時(shí)空特征及挖掘多步預(yù)測(cè)輸出和固定輸入之間的不同非線性映射關(guān)系方面面臨困難[14]，因此，基于TCN 構(gòu)建深度學(xué)習(xí)混合模型可能會(huì)使預(yù)測(cè)精度進(jìn)一步提升。

2.2 多頭注意力機(jī)制（MHA）

給定相同的查詢(xún)、鍵和值的集合時(shí)，若想要模型能基于相同注意力機(jī)制學(xué)習(xí)到不同的行為，然后將不同的行為組合起來(lái)，例如捕獲序列內(nèi)各種范圍的依賴(lài)關(guān)系，那么允許注意力機(jī)制組合使用查詢(xún)、鍵和值的不同的子空間表示是一種有效的方法。MHA 與使用單獨(dú)的一個(gè)注意力池化不同，其可以獨(dú)立學(xué)習(xí)得到h組不同的線性投影來(lái)變換查詢(xún)、鍵和值；然后，h組變換后的查詢(xún)、鍵和值將并行地進(jìn)行注意力池化；最后，將這h個(gè)注意力池化的輸出拼接在一起，通過(guò)另一個(gè)可學(xué)習(xí)線性投影進(jìn)行變換，以產(chǎn)生最終輸出。h個(gè)注意力池化輸出中每一個(gè)輸出都被稱(chēng)作一個(gè)頭。圖4 為多頭注意力模型。

圖4 多頭注意力機(jī)制模型

用數(shù)學(xué)語(yǔ)言描述該模型：給定查詢(xún)q∈Rdq，鍵k∈Rdk和值v∈Rdv，每個(gè)注意力頭hi，i∈[1，…，h]的計(jì)算方法為

式中：wi(q)，wi(k)，wi(v)為可學(xué)習(xí)參數(shù)；f為注意力池化函數(shù)。多頭注意力的輸出需要經(jīng)過(guò)另一個(gè)線性轉(zhuǎn)換，對(duì)應(yīng)h個(gè)頭拼接結(jié)果，如式（6），其可學(xué)習(xí)參數(shù)是wo。基于這種設(shè)計(jì)，每個(gè)頭可能會(huì)關(guān)注輸入的不同部分，因此，MHA可表示比簡(jiǎn)單加權(quán)平均更復(fù)雜的函數(shù)。

2.3 所提模型TCN-MHA

所提模型由TCN、MHA 及全連接等部分組成。首先TCN 接收光伏數(shù)據(jù)后進(jìn)行第一次的特征提取，調(diào)整感受野，以提取當(dāng)前時(shí)刻光伏功率對(duì)多特征長(zhǎng)期歷史數(shù)據(jù)的依賴(lài)關(guān)系，同時(shí)TCN 中的殘差塊解決了梯度消失及梯度爆炸等問(wèn)題。經(jīng)過(guò)RepeatVector 層將TCN 提取到的特征信息進(jìn)行復(fù)制以進(jìn)行升維。之后輸入MHA中，找尋不同維度下的相互依賴(lài)關(guān)系，使用縮放點(diǎn)積公式計(jì)算注意力，對(duì)特征信息賦權(quán)。經(jīng)過(guò)Flatten 層融合特征信息進(jìn)行降維。最后經(jīng)過(guò)兩層全連接，第一層結(jié)合以上信息，進(jìn)行第二次特征提取，而后輸入到第二層，經(jīng)過(guò)第二層訓(xùn)練得到光伏功率預(yù)測(cè)序列。圖5 為所提模型結(jié)構(gòu)框圖。

圖5 TCN-MHA 模型結(jié)構(gòu)框圖

3 算例分析

3.1 算例介紹

本研究使用Tensorflow 深度學(xué)習(xí)框架。為驗(yàn)證所提模型的有效性，本研究將CNN、TCN 及CNN-LSTM作為對(duì)比模型。歷史窗口長(zhǎng)度為72，預(yù)測(cè)窗口長(zhǎng)度為24，即用過(guò)去3 d 數(shù)據(jù)預(yù)測(cè)未來(lái)1 d 光伏功率。經(jīng)調(diào)參確定各模型參數(shù)，具體見(jiàn)表3（未列出參數(shù)為默認(rèn)值）。

表3 各模型參數(shù)設(shè)置

3.2 評(píng)估指標(biāo)

為評(píng)估各模型預(yù)測(cè)性能，使用均方根誤差（RMSE）和平均絕對(duì)誤差（MAE）兩種評(píng)估指標(biāo)。其表達(dá)式見(jiàn)式（7）及式（8）

式中：yi為光伏功率實(shí)際值為光伏功率預(yù)測(cè)值，n為樣本數(shù)量。兩種評(píng)價(jià)指標(biāo)均為回歸任務(wù)中常用的評(píng)價(jià)指標(biāo)。RMSE 放大了誤差之間的差距，易受到極端值的影響，MAE 對(duì)異常值的敏感度較低，能較好地反映預(yù)測(cè)值與真實(shí)值之間誤差的實(shí)際情況。

3.3 預(yù)測(cè)結(jié)果分析

各模型預(yù)測(cè)評(píng)價(jià)結(jié)果見(jiàn)表4。

表4 各模型評(píng)價(jià)結(jié)果

從表4 可以看出所提模型具有最佳預(yù)測(cè)精度，TCN的預(yù)測(cè)精度優(yōu)于CNN。具體來(lái)講所提模型相較于CNN，MAE 和RMSE 指標(biāo)分別提升了8.79%及6.52%；相較于TCN，分別提升了3.95%及5.29%；相較于CNN-LSTM 分別提升了1.25%及2.05%。TCN 作為基于CNN 的模型，預(yù)測(cè)表現(xiàn)優(yōu)于CNN，而深度學(xué)習(xí)混合模型CNN-LSTM 優(yōu)于TCN，TCN-MHA 優(yōu)于其他模型，可以看出合理的模型組合有利于提升模型預(yù)測(cè)精度。

各模型連續(xù)3 天功率預(yù)測(cè)曲線見(jiàn)如圖6 所示。

圖6 預(yù)測(cè)曲線

從圖6 可以看出所提模型對(duì)光伏功率真實(shí)值曲線的擬合最優(yōu)，其次是CNN-LSTM，TCN 優(yōu)于CNN，該圖直觀地體現(xiàn)了各模型的預(yù)測(cè)效果。

4 結(jié)束語(yǔ)

本研究針對(duì)日前短期光伏功率預(yù)測(cè)建立了深度學(xué)習(xí)混合模型TCN-MHA。將數(shù)據(jù)通過(guò)滑動(dòng)窗口后進(jìn)行篩選；結(jié)合實(shí)驗(yàn)及相關(guān)性分析進(jìn)行特征選擇；使用TCN及MHA 提取數(shù)據(jù)特征并將輸入的特征信息進(jìn)行不同維度的空間映射，找尋不同維度下的相互依賴(lài)關(guān)系，進(jìn)而使用全連接層充分學(xué)習(xí)，建立多特征輸入與光伏功率的非線性映射，從而實(shí)現(xiàn)日前短期光伏功率的動(dòng)態(tài)預(yù)測(cè)。最終通過(guò)實(shí)驗(yàn)證明了所提模型在本數(shù)據(jù)集中預(yù)測(cè)精度相較于CNN、TCN 及CNN-LSTM 均有提升。