基于深度時間卷積神經網絡的風電功率預測

劉 晗，王碩禾, 2，張嘉姍，常宇健, 2，張國駒

(1.石家莊鐵道大學 電氣與電子工程學院，河北 石家莊 050043；2.河北省分布式能源應用技術創(chuàng)新中心，河北 石家莊 050043；3.中國科學院電工研究所，北京 100190)

風能作為一種可再生能源，是新能源系統(tǒng)的重要組成部分，具有豐富性與環(huán)境友好性[1]。雖然我國近海地區(qū)風能豐富易得；但由于風能在氣象條件上的隨機性、波動性以及空間和時間上的不確定性，因此濱海地區(qū)風力發(fā)電的預測與調度相對于傳統(tǒng)能源變得較為困難[2]。

近年來，國內外學者針對風力發(fā)電預測的研究很多，取得了豐碩的成果[3-6]。風力發(fā)電的預測是利用歷史功率數據或者氣象數據對未來功率的產生進行建模的過程，主要建模方法分為物理、統(tǒng)計和組合預測的方法[7]。物理、統(tǒng)計方法分別在長期、短期預測中具有突出的優(yōu)勢[8]，組合預測方法則將不同算法組合在一起，利用每種算法的優(yōu)勢來提高預測精度。

模態(tài)分解技術可提取原始的風電功率序列所包含的特征，近年來被廣泛利用。經驗模態(tài)分解(empirical mode decomposition，EMD)[9]算法將原始序列平穩(wěn)化處理，將其分解成有限個代表不同時間尺度上樣本特征的本征模態(tài)函數(intrinsic mode function，IMF)，但是存在模態(tài)混疊的缺點。自適應集成經驗模態(tài)分解(complete ensemble empirical mode decomposition with adaptive noise，CEEMDAN)[10]算法在前人的基礎上對相應的模型進行了改進，通過在原始信號中添加自適應的白噪聲，既能解決EMD算法的模式混淆問題，又能抵消白噪聲殘留。

卷積神經網絡是深度學習中常見的網絡結構，利用卷積核與輸入的卷積運算來提取特征信息，近年來已成功應用于模式識別[11]、圖像分類[12]、特征提取[13]、故障診斷[14]等領域。因果膨脹卷積依照輸入的時間順序對歷史數據進行建模，在不影響運算復雜度的情況下使卷積核的運算范圍擴大，使得卷積核的接受視野拓寬。深度時間卷積網絡(deep temporal convolutional networks, DTCN)[15]將因果膨脹卷積用于時間序列建模，經過實驗驗證，時間卷積結構在各種任務和數據集上的表現優(yōu)于常規(guī)循環(huán)神經網絡,如長短時記憶網絡(long short-term memory，LSTM)。而在DTCN的訓練過程中，學習率動態(tài)調整是值得關注的問題，合適的學習率有助于DTCN的快速收斂。余弦退火[16](cosine annealing，CA)是學習率優(yōu)化策略的一種，與熱重啟技術相結合，在訓練后期可改善模型陷入局部最優(yōu)的狀態(tài)。

本文中將CEEMDAN與DTCN引入風力發(fā)電功率預測中，CEEMDAN將風電功率分解成若干個模態(tài)函數用于特征分析，DTCN中的因果膨脹卷積對分解后的功率進行信息提取，避免了信息泄露。通過改進的余弦退火(improved cosine annealing，ICA)算法優(yōu)化DTCN學習率，使模型易于收斂，利用深度殘差結構降低梯度彌散和梯度爆炸。本文中依據環(huán)渤海某地風電場數據，建立8個對照預測模型，通過實驗驗證了本文中提出的模型的預測精度與準確性，為濱海地區(qū)風電功率預測提供參考。

1 基于CEEMDAN的風電功率特征提取方法

1.1 CEEMDAN原理

風力發(fā)電的預測可以看作是時間序列建模的過程。以歷史序列作為輸入，t+1時刻的風電功率作為輸出進行預測；但這種建模過程往往學習到的是輸入到輸出的相關性，忽視了風電功率內在特征對預測的作用，因此對歷史風電功率序列進行分解，有利于從信號特征上對風電功率進行分析。

為了克服EMD過程中有用信號消失和模態(tài)混疊的問題，CEEMDAN可用于信號分析，以平滑高頻本征模態(tài)函數中的噪聲。假設x(n)為原始風電功率序列，其中n為采樣點，fk(n)為EMD得到的第k個模態(tài)分量，w(n)為滿足N(0,1)分布的白噪聲序列，第k次分解時設置其偏差為αk。定義Ei(·)通過EMD得到第i個模態(tài)分量的算子。CEEMDAN算法的流程如下。

1)構造信號序列，在原始風電功率序列中加入白噪聲。

x′(n)=x(n)+αkw(n)，

(1)

式中x′(n)為構造的信號序列。

2)計算第1個模態(tài)分量f1(n)，并得到余項r1(n)。

(2)

r1(n)=x′(n)-f1(n)，

(3)

3)利用r1(n)計算f2(n)，則f2(n)和余項r2(n)分別為

(4)

r2(n)=r1(n)-f2(n)。

(5)

4)計算第k個模態(tài)函數分量fk(n)和第k個余項rk(n)，分別為

(6)

rk(n)=rk-1(n)-fk(n)。

(7)

5)重復步驟4)，得到K個IMF，最終的余項為

(8)

當殘差小于某個閾值后，迭代終止，最終得到若干個模態(tài)函數以及余項序列。不同的模態(tài)函數代表著原始風電功率信號在不同頻率下的特征。利用CEEMDAN進行信號分析，以提取原始風電功率序列內在特征。

1.2 基于排列熵的IMF重構

CEEMDAN產生的模態(tài)函數數量較多，如果全部輸入至預測網絡中，會帶來模型龐大、訓練時間過長的問題。文獻[17]中定義了一種衡量復雜度的定量計算方式——排列熵(permutation entropy，PE)。為了簡化問題，本文中將排列熵引入分析序列的復雜度，用于重構IMF分量。排列熵的具體計算方式如下。

1)設長度為T的序列為{y(t),t=1,2,…,T}，對序列y(t)進行相空間重構，得到矩陣Y，

(9)

式中：l為重構分量數；m為嵌入維數；τ為延遲因子。

3)計算向量Y′(r)出現的概率P1，P2，…，Pl，排列熵Hp(m)可用香農熵的形式定義為

(10)

4)為了方便表示，通常將排列熵Hp(m)歸一化表示為

(11)

由式(11)可得出，當Pr=1/m!時，Hp(m)有最大值ln(m!)。歸一化后的Hp在[0,1]范圍內，即

0≤H(m)/ln(m!)≤1。

(12)

Hp反映了時間序列的復雜程度，其值越小說明時間序列越規(guī)則，反之則隨機性越大。將CEEMDAN產生的IMF分量利用PE算法計算出各個分量的熵值，可定量判斷各個分量的復雜程度，并將此作為依據對各個分量進行分類，對復雜度較低的分量進行合并，從而達到減少輸入維度、提高計算效率的目的。

2 DTCN序列建模

風電功率是基于時間變化的一維序列，而DTCN解決的是序列建模的問題，因此利用DTCN本身對于一維數據強大的處理能力，可以有效地對風電功率進行精準預測。

2.1 風電功率序列建模

時間卷積網絡對時間序列的建模方式如下：假定有一輸入序列x=(x0,x1,x2, …,xT)，對應的期望輸出為y=(y0,y1,y2, …,yT)，其中序列x、y要滿足因果關系，即預測時刻t的輸出yt，必須使用先前觀察得到輸入x0,x1,x2, …,xt-1。DTCN的建模可以是產生映射的任何函數f，表示為

(13)

風電功率序列的預測問題可表示為

(14)

構建風電功率序列預測值與觀測值的損失函數，本文中采用log-cosh函數，定義為

(15)

2.2 DTCN的結構

2.2.1 因果膨脹卷積原理

一維卷積可對時間序列進行運算并提取各種特征，但隨著時間序列長度的增長，規(guī)則的卷積網絡則需要更多的卷積層以接收更長的序列。膨脹卷積在傳統(tǒng)卷積上進行了改進，通過在每2個相鄰的卷積核之間引入一個固定的跳躍以擴大卷積核的運算范圍，從而降低運算的復雜度，提升運算的效率。層數為L且卷積核大小為k的接收域r的表達式為

r=2L-1k。

(16)

因果卷積在時間維度上僅依賴于歷史數據，保持因果性，且達到提取歷史數據特征的作用，實現對未來數據預測的能力。時間序列s上的因果膨脹卷積運算F定義為

(17)

式中：p=(p1,p2,…,pt)為輸入向量；*為膨脹卷積運算符；f為卷積核；k為卷積核大小；ps-d·i為參與膨脹卷積運算的輸入向量元素，其中d為擴張因子，當d=1時，膨脹卷積轉換為規(guī)則卷積。

因果膨脹卷積的結構如圖1所示。由圖可以看出，具有3個擴張卷積層、膨脹率為4且卷積核大小為2的網絡接收域為8，即8個輸入值決定一個輸出。理論上，因果膨脹卷積可以接受任意時間步長的數據作為輸入。

圖1 因果膨脹卷積結構

2.2.2 DTCN殘差模塊

DTCN殘差模塊中采用殘差連接結構，即卷積運算后的網絡輸出與殘差通道進行元素相加運算，減少了反向傳播的過程中因網絡層數過多而導致的梯度彌散或者梯度爆炸。殘差結構可繼續(xù)加深神經網絡使模型具有更好的性能。殘差輸出o為

o=φ(F(X)+X)，

(18)

式中：F(X)為卷積運算模塊；X為殘差通道；φ為激活函數，本文中選取的為修正線性單元(rectified linear units，Relu)函數。

DTCN的殘差模塊結構如圖2所示。DTCN的殘差模塊由殘差函數F(X)和X組成。F(X)通道中輸入經過2次運算單元，每個單元首先經過膨脹卷積層，后進入權值正則化層。權值正則化層目的是控制過擬合現象。然后將Relu函數作為卷積層的激活函數，最后添加失活層。右側為殘差通道，由輸入經過一個卷積核大小為1的卷積層，目的是使F(X)和X兩路輸出張量的維度保持一致。最終2個通道經過一個逐元素相加網絡層運算，作為殘差單元的輸出。

F(X)—卷積運算模塊；X—殘差通道；?—逐元素相加。

DTCN的總體結構如圖3所示，該結構由DTCN殘差模塊堆疊和全連接層組成。DTCN的視野域取決于網絡深度n以及卷積核大小k和擴張因子d。DTCN殘差模塊解決了網絡深度發(fā)展的問題，因此DTCN通過堆疊殘差模塊，可以使模型具有更好的泛化能力。

圖3 深度時間卷積網絡模型結構

2.3 基于改進CA的學習率熱重啟

在DTCN的訓練中，學習率是一個非常重要的參數。學習率過大易使模型發(fā)散，過小則會增加模型訓練時間，合適的學習率調整策略有助于模型擺脫陷入局部最優(yōu)的狀態(tài)。CA優(yōu)化學習率采用循環(huán)變化的策略，在每一個訓練批次中動態(tài)調整學習率，并保存最優(yōu)模型，避免陷入局部最優(yōu)。CA基本公式為

(19)

式中：ηt為第t次迭代的學習率；ηmax、ηmin為學習率的最大值與最小值；Tcur為當前運行步；Ti為重啟周期。

熱重啟的方法為模型訓練經過Ti步之后，對模型進行重啟。重啟時改變學習率的值，并以之前的權重值為初始值重新訓練。通常Ti的值呈線性增加；但由于每次重啟時學習率的初值均相同，不利于收斂，因此需要對重啟后的初值進行改進，即

ηmax(Ti+1)=ρηmax(Ti)，

(20)

式中：ηmax(Ti)、ηmax(Ti+1)分別為第Ti、Ti+1階段熱重啟的最大(初始)學習率，數值范圍為ηmin<ηmax(Ti+1)<ηmax(Ti)；ρ為減小因子，0<ρ<1。

通過ρ每次重啟時減小學習率初值。這種方法消除了每個周期后具有相似模型權重的問題，在模型訓練后期易于收斂。

3 實驗設置與結果分析

實驗環(huán)境為Windows10操作系統(tǒng)，以深度學習框架Keras為前端，TensorFlow為后端進行系統(tǒng)模型的搭建。硬件環(huán)境為Intel Core i5 7500處理器，內存16 GB；圖形處理器(GPU)為NVIDIA?GeForce GTX 2070，顯存為8 GB。實驗程序在GPU上運行。

3.1 實驗總體模型與參數設置

本文中提出的風電功率預測方法的總體思路是：首先采集風電功率原始數據，利用CEEMDAN提取其內在特征，得到若干個IMF分量；計算各個IMF的排列熵值，根據熵值的計算結果對各個IMF進行重構，合并復雜度較低的IMF分量；由ICA優(yōu)化的DTCN(ICA-DTCN)對重構完成的向量分別進行預測，將反歸一化的預測值相疊加，通過0～t時間點的數據最終得到t+1時刻，即未來1 h風電功率的預測值。實驗的總體模型如圖4所示。

圖4 風電功率預測實驗總體模型

該實驗利用環(huán)渤海地區(qū)某15 MW風電場2012年5月1日—7月30日的1 h風電功率數據，個數為2 252，90%的數據為訓練集，其余10%為測試集，并在訓練集中隨機選擇10%的數據作為驗證集，作用是在訓練時調整參數，提高模型的泛化能力。

在輸入至DTCN預測之前，首先對重構后的分量進行標準化處理，將發(fā)電功率映射到[-1,1]，即

(21)

預測的結果反歸一化得

(22)

本實驗參數配置如下：圖2中5個殘差塊中膨脹卷積A的膨脹率均設置為1，膨脹卷積B膨脹率設置為1、2、4、8、16。構建的損失函數為log-cosh函數，優(yōu)化器的選擇為Adam。訓練時增加梯度裁剪方法，將梯度值限制在區(qū)間[-c,c]，以防止梯度彌散或者爆炸。經多次試驗，得到較優(yōu)超參數，見表1。

表1 實驗超參數設置

3.2 模型評價指標

(23)

(24)

(25)

(26)

3.3 實驗結果與分析

3.3.1 CEEMDAN結果

風電功率原始數據如圖5(a)所示，可以看出風電功率序列具有較大的隨機性和波動性。為了提取分析歷史功率特征，對原始風電功率數據進行CEEMDAN。分解過程中，添加白噪聲組個數為300，標準差為0.5，迭代終止閾值為0.001。

通過CEEMDAN算法，原始風電功率序列共提取出為8個特征互異的模態(tài)分量和1個余項信號，分解得到的IMF分量1—8以及余項如圖5(b)—(j)所示。由圖可以看出，分解后的功率頻率依次減小，復雜度也相應降低，但各個IMF頻率和幅值范圍各不相同，需要對分解后的向量進行約簡處理，重構輸入向量。

圖5 原始風電功率序列及模態(tài)分解后本征模態(tài)函數(IMF)分量

3.3.2 基于排列熵的風電功率序列重構

重構時，PE重構維數m一般為3～7，延遲因子τ通常為1。根據文獻[18]中的偽近鄰算法，本文中選擇重構維數m=3，延遲因子τ=1，計算各個模態(tài)函數的樣本熵，結果如圖6所示。由圖可以看出，前4個模態(tài)分量的PE值相對較大，可單獨作為重構后的向量，f5以及之后的模態(tài)函數PE值都較小，且數值接近，為避免計算復雜度，將PE值相似的f5、f6相加作為第5個分量，f7之后的模態(tài)分量相加作為重構后的第6個分量。重組后的分量如表2所示，將重組后的特征序列分別進行預測，反歸一化后的預測結果相加作為最終結果。

f1, f2, …, f8—IMF分量；R—IMF余項。

表2 重構序列組成成分

3.3.3 ICA優(yōu)化的學習率熱重啟結果分析

選取Ti=[4,8,16,32]，ρ=0.9，經過ICA優(yōu)化的學習率變化曲線如圖7所示。由圖可以看出，學習率在經過步長Ti之后重啟，且重啟后學習率的初值減小，最終趨于平緩。

圖7 改進余弦退火算法優(yōu)化的學習率

在同等條件下比較CA優(yōu)化和ICA優(yōu)化的DTCN模型，兩者驗證集中的損失函數與迭代次數的關系如圖8所示。由圖可見，在訓練第1—8輪迭代，兩者的損失函數快速減小，且ICA-DTCN模型的損失函數值均較小，因此該模型收斂更快。

圖8 不同學習率優(yōu)化模型的驗證集損失函數對比

3.3.4 功率預測結果分析

為了驗證提出的CEEMDAN-ICA-DTCN結果的一般性，選取BP、DTCN、LSTM、ICA-DTCN、EMD-DTCN、CEEMDAN-BP、CEEMDAN-LSTM和CEEMDAN-DTCN等網絡作為對照模型，為了保證各個模型的相對公平，模型訓練參數的設置基本相同。各個模型訓練參數如表3所示

表3 不同模型的訓練參數個數

CEEMDAN-ICA-DTCN模型以及其他對照模型在測試集上的風電功率預測值與真實值對比如圖9所示。由圖可以直觀地看出，在測試集上，本文中所提出的CEEMDAN-ICA-DTCN模型的預測結果可以較為準確地跟蹤風電功率觀測值。

BP、DTCN、LSTM、ICA、EMD和CEEMDAN分別為反向傳播神經網絡、深度時間卷積網絡、長短時記憶網絡、改進余弦退火、經驗模態(tài)分解和自適應集成經驗模態(tài)分解。

根據模型評價指標，分別計算各個模型的相關誤差，結果如表4所示。由表可知：在單一模型中，DTCN模型的σMAPE、σRMSE、σMAE分別為24.8%、851 kW、556 kW，均為單一模型中最小，r2為0.948，為單一模型中最大。而ICA-DTCN模型的σMAPE、σRMSE、σMAE與r2的數值分別為23.7%、803 kW、518 kW、0.950，比未經優(yōu)化的DTCN在原始數據曲線擬合程度上有所提升。在組合模型中，CEEMDAN-ICA-DTCN模型的σMAPE、σRMSE、σMAE分別為12.8%、292 kW、200 kW，均為最小，相比較于ICA-DTCN、EMD-DTCN、CEEMDAN-BP、CEEMDAN-LSTM和CEEMDAN-DTCN等模型，r2分別提升4.5%、2.3%、4.4%、1.2%和0.1%，綜合表現是9種模型中最好的。

表4 實驗結果評價指標

由表4還可以看出，單一模型的預測精度低于分解與預測的組合模型的，原因是原始風電功率序列經過分解后，提取出其內部特征，降低復雜度，因此組合模型的預測精度要優(yōu)于單一模型的。同時，改進余弦退火優(yōu)化的學習率也提高了訓練模型的精度。由此可知，本文中所提出的CEEMDAN-ICA-DTCN模型相較于對照模型組的風電功率預測準確度最高。針對濱海地區(qū)風速波動大的特點，該方法對近海地區(qū)的超短期風電功率預測具有較好的適應性，預測結果較為準確。

4 結論

針對濱海地區(qū)風電功率受離岸風影響、波動大、隨機性強等問題，本文中建立了基于CEEMDAN-ICA-DTCN的超短期風電功率預測模型。根據算例結果得出以下結論：

1)利用CEEMDAN算法處理復雜功率序列，克服了EMD常規(guī)分解方法存在的問題，并利用排列熵相關理論，對分解后的序列進行約簡處理，重構后的序列可以直接輸入DTCN進行預測。

2)利用DTCN對風電功率序列進行建模，因果膨脹卷積對功率序列進行特征提取，堆疊的殘差單元可以有效地學習序列歷史特征，最終通過全連接網絡，對未來1 h的風電功率進行預測。

3)經過改進的余弦退火優(yōu)化學習率后的DTCN提高了收斂速度，在預測精度上也比未經優(yōu)化的一般模型有所提升。

由實驗結果對比可以看出，CEEMDAN-ICA-DTCN模型能對濱海地區(qū)的風電功率進行有效的預測，解決了短時間內風電功率波動大、預測難等問題，為濱海地區(qū)海上風力發(fā)電并網規(guī)劃以及能源調度提供參考，助力我國新能源產業(yè)的發(fā)展。