基于CNN-LSTM分位數回歸的母線負荷日前區間預測

唐戈， 余一平， 秦川， 鞠平

(河海大學能源與電氣學院，江蘇 南京 211100)

0 引言

準確的母線負荷預測對電網的安全穩定運行具有重要意義。相較于系統負荷，母線負荷量級低，各母線的負荷成分也不同，不確定性更明顯，因此預測難度更大[1]。

母線負荷的傳統日前預測大多采用點預測方法[2—3]，其預測結果為確定的預測點值，無法提供預測的不確定性信息。點預測方法對于趨勢相近且波動性較弱的母線負荷，例如商業居民類負荷的日前預測可達到較高的精度。但如母線負荷成分中包含一定比例波動性強的工業負荷，點預測結果可能難以滿足精度需求。區間預測方法可以提供某一置信區間下未來時刻負荷功率的波動范圍(上、下限)，對于波動性較強的母線負荷預測更具有實用性[4]。

國內外學者已提出多種區間預測的方法，常見的方法如基于誤差統計的區間預測[5]、基于人工智能等方法的直接區間預測[6—7]和概率密度預測[8—9]等。文獻[5]計及負荷的不確定性，將點預測值與預測誤差值進行疊加獲得預測區間的上、下限，該方法對預測模型的點預測精度要求較高。文獻[6—7]利用神經網絡建立區間預測模型，并將區間覆蓋率、區間寬度等多個評價指標的綜合函數作為目標，優化網絡參數。但在構造目標函數的過程中，各項指標之間權重及參數的設置尚無統一方法。文獻[8—9]采用將機器學習或深度學習與分位數回歸相結合的方法獲得不同分位點的概率密度預測結果，從而得到給定置信區間下預測負荷的變化區間。

文中針對具有較強波動性的母線負荷，提出了一種基于卷積神經網絡(convolutional neural net work,CNN)與長短期記憶網絡分位數回歸(quantile regression long short-term memory，QRLSTM)組合的日前負荷區間預測模型。采用基于時間分布層(time distributed layer,TDL)封裝的一維CNN對輸入的歷史負荷特征進行提取和壓縮，建立基于注意力(attention)機制的QRLSTM模型進行特征學習，從而獲得給定置信區間內的負荷變化區間，并從區間覆蓋率、區間寬度等方面對區間預測的效果進行評估以驗證文中方法的有效性。

1 母線負荷日前區間預測原理與步驟

1.1 母線負荷日前區間預測原理

文中采用分位數回歸方法進行區間預測，其誤差指標一般采用pinball損失函數，可表示為[10—11]：

(1)

1.2 母線負荷日前區間預測步驟

母線負荷日前區間預測步驟如圖1所示。

圖1 負荷區間預測流程Fig.1 Flow chart of day ahead load interval forecasting

由圖1可知，預測首先進行降噪處理，其次進行特征選擇，然后進行特征提取，最后進行分位點預測。由于第2步基于文獻[12]所述方法進行特征選擇，確定模型輸入的歷史特征為待預測時刻前2天的歷史負荷，不做詳細介紹。文中將重點介紹降噪處理、特征提取、分位點預測3個步驟的具體方法。

2 母線負荷日前區間預測方法

2.1 基于去噪自編碼器的負荷數據降噪方法

對于含工業類負荷的母線，其日負荷曲線中往往包含一些“毛刺”類高頻波動，會增加模型的學習負擔，影響負荷預測的精度。因此，文中采用去噪自編碼器(denoising auto-encoder，DAE)進行數據平滑處理。DAE是自編碼器(auto-encoder，AE)的一種變體，其在AE的基礎上引入了噪聲(通常使用高斯噪聲)，模型的魯棒性更強。AE由編碼器和解碼器兩部分組成。編碼器可將原始輸入數據編碼轉換成另一種表示，該表示蘊含了輸入數據的信息。而解碼器則是對該表示進行解碼。DAE使用添加了噪聲的數據進行編碼和解碼，并通過最小化網絡輸出與原始數據間的損失函數進行訓練[13]。文中采用的DAE的結構如下。

(1) 編碼器：由1個一維卷積層和1個最大池化層構成。

(2) 解碼器：通過在2個一維卷積層之間添加1個一維上采樣層來構成。

文中在DAE的輸入端疊加高斯噪聲，并使得其在訓練過程中設法去除引入的噪聲。訓練數據以一天96點負荷為單位，訓練目標為最小化重構誤差，誤差的損失函數取均方誤差(mean squared er ror,MSE)。

2.2 基于TDL封裝一維CNN網絡的特征提取方法

文中采用了基于TDL封裝的一維CNN網絡來進行特征提取。CNN簡化結構主要包括輸入層、卷積層和池化層等。

卷積層將輸入的一維歷史負荷數據先與一維卷積核進行卷積運算，再使用激活函數對經卷積運算后的數據進行非線性化處理，可表示為[14—15]：

C=fr(X?W+b1)

(2)

fr(z)=max(z,0)

(3)

式中：X=[x1x2…xn]T為長度為n的歷史負荷數據；W為權重矩陣；b1為偏置；C為卷積層的輸出；fr(z)為激活函數，文中采用的激活函數為Relu函數。

池化層的主要作用是能在保持特征不變性的前提下去除一些冗余信息，把重要的特征抽取出來，即特征的再提取，同時實現數據降維。目前常見的池化方法分為均值池化、最大池化等，由于均值池化性能不如最大池化而更少被使用[16—17]。文中選擇的是最大池化，可表示為：

S=maxC+b2

(4)

式中：S為池化層的輸出；b2為偏置。

由于網絡的輸入特征為前2天的歷史負荷，即192點(日負荷曲線96點)，如果直接使用一維CNN進行特征提取，會增加網絡規模增加訓練難度。因此，文中采用TDL對一維CNN的各層進行封裝，從而將過長的時間序列數據切分成幾個稍短的時間序列數據同時進行特征提取，提高模型訓練效率。此外，考慮后續LSTM網絡輸入維度限制，在池化層后增加1個TDL封裝的扁平層，用于數據維度的壓縮。

文中將待預測目標時刻前192個時刻點的歷史負荷數據均勻切分成8個較短的時間序列數據。經過特征壓縮后，輸出的數據維度則為(n,8,32)。其中，n為樣本數，8為時間步長，32為變量維數[18—19]，有利于后續LSTM網絡的學習。整個特征提取與壓縮的結構見圖2。

圖2 特征提取與壓縮結構Fig.2 The structure of feature extraction and compression

2.3 基于QRLSTM網絡的分位點預測方法

LSTM主要由輸入門(it)、遺忘門(ft)、輸出門(ot)和內部記憶單元(Ct)組成，通過對細胞狀態中的信息進行有選擇地“遺忘”和“記憶”，使得對后續時刻計算有用的信息得以傳遞，無用的信息被丟棄，并在每個時間步輸出隱層狀態(ht)。輸入門控制接受新信息的程度，遺忘門控制歷史信息被遺忘的程度，而輸出門決定著最終輸出的信息。通過這3種特殊的門結構LSTM可實現對較長的時間序列數據進行學習[20—21]。

為使LSTM模型在訓練過程中更容易獲取序列中長距離相互關聯的特征，提高模型訓練的效率與效果，文中引入了attention機制，其主要思路是通過對模型輸入特征分配不同的概率權重，從而突出某些重要的特征。attention機制層的權重系數計算公式可表示為[21]：

et=utanh(ωht+b)

(5)

(6)

(7)

式中：tanh為激活函數；et為第t時刻由LSTM網絡層輸出向量ht所決定的注意力概率分布值；u和ω為權重系數；b為偏置系數;st為attention機制層在t時刻的輸出。

綜上可知，文中采用的QRLSTM網絡總體結構如圖3所示。輸入為經過壓縮、提取的負荷特征，輸出為待預測日負荷的不同分位點，訓練的誤差指標參考pinball損失函數。

圖3 分位數回歸模型結構Fig.3 Structure of quantile regression model

3 負荷區間預測指標

由于區間預測的結果是一個區間值，因此需要指標對模型的性能進行評價。文中采用文獻[22]和文獻[23]中的評價指標。

(1) 預測區間覆蓋率(prediction interval cover age probability,PICP)。

(8)

式中：s為待預測的數據個數；di為第i個真實負荷值；Ui，Li分別為預測區間的上、下限。JPICP的值越大，說明越多的實際負荷落在預測出的區間內，即預測出的區間覆蓋性更好。

(2) 預測區間平均寬度(prediction intervals normalized average width,PINAW)。

(9)

式中：R為預測目標的最大、最小值之差。JPICP越大、JPINAW越小，則區間預測效果越好。

(3) 預測區間累計偏差(prediction intervals accumulative deviation,PIAD)。

(10)

式中：mi為第i個負荷實際值與對應預測區間的偏差。則預測區間累計偏差為：

(11)

JPIAD用于衡量實際負荷與預測區間的偏離情況。在JPICP和JPINAW滿足一定要求時，PIAD值越小，表明未落入預測區間的負荷值離預測區間的邊界越近，區間預測效果更好。

4 實例分析

4.1 實例數據

以2類典型負荷為例，一是工業與非工業混合的負荷，工業負荷占比大約2/3左右，后面簡稱為工業為主負荷；二是居民與商業混合的負荷，后面簡稱為居民商業負荷。數據是220 kV母線負荷，時間跨度為2017-01-01至2018-10-23，數據采樣間隔為15 min，也即96點日負荷數據。

采用DAE對日負荷曲線進行降噪處理，高斯噪聲系數根據經驗選擇為0.005。以工業為主負荷某日的曲線為例，其數據處理結果如圖4所示。由圖4可知，降噪后的負荷曲線既保留了原負荷曲線的變化趨勢，又濾除了隨機高頻波動。

圖4 日負荷曲線降噪前后對比Fig.4 Daily load curve before and after noise filtering

4.2 波動分析

負荷曲線的波動性可采用負荷曲線各點與負荷均值之間的偏差程度來衡量，指標類似于均方根誤差(root mean square error,RMSE)，即：

(12)

考慮到不同負荷曲線的平均值大小不一樣，所以采用百分比可能更加直觀：

(13)

2類典型負荷的曲線如圖5所示，波動指標列于表1。由此可見，工業為主負荷的偏差均方根大但均值也大，所以相對偏差均方根反而小。

圖5 不同類型負荷的波動性對比Fig.5 Fluctuation of different loads

表1 2類負荷的波動性對比Table 1 Fluctuation indexes of two types of loads

4.3 區間預測結果

為檢驗文中提出的模型的區間預測效果，分別將工業為主負荷和居民商業類負荷中的某一日作為待預測日，并選取95%，90%，80%，70% 4個置信水平建立負荷日前預測區間，如圖6和圖7所示。

圖6 工業為主負荷不同置信水平下的區間預測Fig.6 Interval prediction chart of the industrial load at different confidence levels

圖7 居民商業負荷不同置信水平下的區間預測Fig.7 Interval prediction chart of the residential and commercial load under different confidence levels

由圖6和圖7可知：(1) 文中方法所預測出區間的變化趨勢與負荷實際值的變化情況基本一致。(2) 隨著置信水平的增加，模型的預測區間也逐漸變寬，這是由于越寬的預測區間越容易覆蓋住實際負荷。(3) 對于2類不同負荷，文中方法在95%置信水平下均較好地覆蓋了實際負荷。

為了進一步驗證文中方法的優勢，分別采用文中方法、QRLSTM和門控循環單元分位數回歸[24](quantile regression gated recurrent unit,QRGRU)進行區間預測對比。其中，QRLSTM中LSTM的神經元個數及QRGRU中GRU的神經元個數保持一致。不同方法的區間預測指標如圖8—圖10所示。

圖8 2類負荷不同置信水平下的預測區間覆蓋率Fig.8 Prediction interval coverage probability of two types of loads at different confidence levels

圖9 2類負荷不同置信水平下的預測區間平均寬度Fig.9 Prediction intervals normalized average width of two types of loads at different confidence levels

圖10 2類負荷不同置信水平下的預測區間累計偏差Fig.10 Prediction intervals accumulative deviation of two types of loads at different confidence levels

由圖8—圖10可知：

(1) 在2類不同負荷中，文中方法的預測區間覆蓋率JPICP基本滿足或接近各個置信水平的期望。

(2) 對于2類不同負荷，文中方法相比其他2種方法而言，總體上區間覆蓋率JPICP更大，區間平均寬度JPINAW和區間累計偏差JPIAD更小，因此具有更好的區間預測性能。以工業負荷90%置信水平為例，文中方法得到的預測區間的JPICP指標較QRLSTM和QRGRU增加了8.64%和4.77%，而JPINAW指標卻減少了9.86%和8.27%，JPIAD指標則減少了66.48%和37.48%。

5 結語

針對具有較強波動性的母線負荷，文中提出了一種基于CNN與QRLSTM組合的負荷區間預測模型。采用TDL對CNN進行封裝，可將較長的時間序列數據切分成幾個稍短的時間序列數據，實現特征提取與壓縮，有利于后續LSTM網絡的特征學習，同時在QRLSTM中引入attention機制，使模型更易學習特征序列中長距離相互依賴的關系。實例結果表明，相比于QRLSTM和QRGRU等以往模型，文中方法得到的預測區間總體上具有更高的區間覆蓋率，同時區間寬度更窄，區間累計偏差更小，具有更好的區間預測性能。