基于小波變換和LSTM模型的城市天然氣負(fù)荷預(yù)測

那幸儀 賈俊鋮 趙曉筠 張 莉 李凡長

1(蘇州大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇 蘇州 215000)2(蘇州大學(xué)計算機(jī)信息處理技術(shù)省級重點(diǎn)實驗室 江蘇 蘇州 215000)3(蘇州燃?xì)饧瘓F(tuán)有限責(zé)任公司 江蘇 蘇州 215000)

0 引 言

近年來，我國從政策上加強(qiáng)了對清潔能源的支持，在一次能源消費(fèi)結(jié)構(gòu)中天然氣的比重也有所增加，天然氣供應(yīng)變得尤其重要[1-2]。由于天然氣需求迅速增多，問題也隨之而來，天然氣供應(yīng)的巨大缺乏已經(jīng)導(dǎo)致國家連續(xù)多年的區(qū)域性“氣荒”。為加強(qiáng)天然氣的供氣能力，2017年9月于上海市石油天然氣交易中心啟動了管道天然氣線上競價交易機(jī)制。這個機(jī)制的建立為燃?xì)夤窘鉀Q區(qū)域性“氣荒”帶來了一定的機(jī)會，同時也給基于原有天然氣采購合同的短期采購帶來了新的挑戰(zhàn)，如果中長期內(nèi)購買過量的天然氣會使存儲成本增加。因此，找到一種可行、準(zhǔn)確的城市中長期天然氣負(fù)荷預(yù)測模型和方法具有很好的應(yīng)用價值，對于城市燃?xì)夤径裕梢愿行У匾?guī)劃天然氣采購，降低存儲成本，并降低客戶成本，提高企業(yè)利潤。

燃?xì)庥脷庳?fù)荷預(yù)測按預(yù)測時間段可從大類上區(qū)分為中長期預(yù)測與短期預(yù)測。中長期預(yù)測時間段為1年、5～15年或15年以上；短期預(yù)測時間段可為24小時，7～30天。現(xiàn)有研究主要集中在短期負(fù)荷預(yù)測上，且通常為1天，至多7～30天。預(yù)測的天數(shù)越多，預(yù)測的難度越大，預(yù)測的準(zhǔn)確度則會越低，而本文工作的一個關(guān)鍵目標(biāo)是為城市燃?xì)夤旧商烊粴饽曦?fù)荷量預(yù)測模型，以進(jìn)行準(zhǔn)確和適用的中長期預(yù)測。本文選擇了中長期內(nèi)1年的預(yù)測范圍，并以每日天然氣需求總量為單位進(jìn)行預(yù)測，即對未來1年(即時間步長為364天)的數(shù)據(jù)進(jìn)行預(yù)測。

天然氣年負(fù)荷量預(yù)測屬于時間序列預(yù)測，這是一個一般統(tǒng)計預(yù)測很難解決好的問題，一般基于回歸分析模型的預(yù)測或分類，未考慮時間序列中存在的觀測項之間的時間依賴性。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)主要用于分析和預(yù)測時間序列數(shù)據(jù)，存儲先前數(shù)據(jù)并將其應(yīng)用于當(dāng)前的輸出，即隱藏層不但有與當(dāng)前時刻t輸入層的連接，同時有與上一時刻t-1隱層的連接。但是RNN保留的歷史數(shù)據(jù)會隨著時間有所衰減，即反傳過程當(dāng)中的歷史梯度有所消散。由于這個缺點(diǎn)，RNN不能應(yīng)用于較長時間序列而往往用于短時間序列的數(shù)據(jù)建模，例如語言模型等。而RNN的一種特殊情況為長短期記憶網(wǎng)絡(luò)(LSTM)[3-4]，其具有一種特殊的神經(jīng)元結(jié)構(gòu)，被稱作“記憶單元”，能夠更好地調(diào)節(jié)如何從不同的輸入源學(xué)習(xí)或遺忘，解決RNN長期記憶的問題，因此LSTM具有更好的時間序列學(xué)習(xí)的能力。

在序列數(shù)據(jù)經(jīng)過小波變換處理之后，分解序列將具有比原始序列更穩(wěn)定的方差，因此它可以使處理后的數(shù)據(jù)在智能計算方法或統(tǒng)計方法預(yù)測上得到更好的結(jié)果[5]，且現(xiàn)有研究并沒有將小波變換與LSTM網(wǎng)絡(luò)組合應(yīng)用于天然氣負(fù)荷量預(yù)測。綜合考慮以上因素，本文研究并提出了一種基于小波變換和LSTM的城市天然氣年負(fù)荷量預(yù)測模型。

1 相關(guān)工作

1.1 城市燃?xì)庳?fù)荷預(yù)測

現(xiàn)有的關(guān)于城市燃?xì)庳?fù)荷預(yù)測研究主要集中在兩個方面：① 通過研究影響因素從而提高預(yù)測模型的解釋能力，常見的影響因素有氣象、經(jīng)濟(jì)因素和社會因素等[6-7]；② 從方法入手，使用相關(guān)方法對城市燃?xì)庳?fù)荷進(jìn)行多元化預(yù)測以提升預(yù)測模型的性能，預(yù)測方法的改進(jìn)通常集中在數(shù)據(jù)的預(yù)處理、單一模型的優(yōu)化及建立組合模型三方面。對于后者的研究較多，例如：Wei等[8]首次提出的PCCA是一種改進(jìn)的主成分分析(PCA)，可以對輸入數(shù)據(jù)進(jìn)行降維預(yù)處理，并結(jié)合LSTM，與LSTM、PCA-LSTM、反向傳播神經(jīng)網(wǎng)絡(luò)(BPNN)和支持向量回歸(SVR)相比，組合模型PCCA-LSTM表現(xiàn)出更好的性能，預(yù)測的時間步長為1；孫相博等[9]提出三種改進(jìn)的灰色預(yù)測模型，相比于傳統(tǒng)的灰色模型，預(yù)測精度大幅提高，預(yù)測的時間步長為1；陳川等[10]使用某市兩年多的民用類燃?xì)馊肇?fù)荷數(shù)據(jù)集，設(shè)計基于BP神經(jīng)網(wǎng)絡(luò)、經(jīng)驗?zāi)B(tài)分解(EMD)和長短期記憶神經(jīng)網(wǎng)絡(luò)的組合預(yù)測模型，預(yù)測的時間步長為15；徐玚等[11]提出了基于回聲狀態(tài)網(wǎng)絡(luò)(ESN)和改進(jìn)徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)的組合預(yù)測模型，預(yù)測的時間步長為2。現(xiàn)有的研究主要集中在城市燃?xì)舛唐谪?fù)荷預(yù)測上，而對于中長期內(nèi)的城市燃?xì)庳?fù)荷預(yù)測的相關(guān)研究較少，因此本文提出一個年步長的中長期城市燃?xì)庳?fù)荷預(yù)測模型。

1.2 LSTM模型

近來，人們越來越關(guān)注將深度學(xué)習(xí)架構(gòu)應(yīng)用于時間序列預(yù)測，特別是能源生產(chǎn)[12]、需求[13-14]和價格[15]預(yù)測。神經(jīng)網(wǎng)絡(luò)已成功用于機(jī)器學(xué)習(xí)問題中，而循環(huán)神經(jīng)網(wǎng)絡(luò)已提出用來解決與時間有關(guān)的學(xué)習(xí)問題[15]。

LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，克服了RNN梯度消失的問題，從而具備了處理長期序列依賴的能力，這主要是由于LSTM精心設(shè)計的“門”結(jié)構(gòu)能夠刪除或向記憶單元添加信息，使得LSTM能夠記住長期的信息，它們分別是輸入門、遺忘門和輸出門。

LSTM可以存儲長期信息，總體預(yù)測效果較好，但預(yù)測結(jié)果的準(zhǔn)確性還有待提升，所以本文提出了基于小波變換和LSTM的組合模型。

2 模型設(shè)計

2.1 組合模型框架

基于小波變換和LSTM的組合模型(wavelet_LSTM)由穩(wěn)定小波變換和基準(zhǔn)LSTM模型組成，其模型框架見圖1。

圖1 wavelet_LSTM模型框架

首先對天然氣用氣量進(jìn)行穩(wěn)定小波變換，再分別對小波變換后得到的各成分進(jìn)行歸一化，即將數(shù)據(jù)按比例縮小至0～1之間。

(1)

式中：Xmin是數(shù)據(jù)集X的最小值；Xmax是數(shù)據(jù)集X的最大值；x是數(shù)據(jù)集的樣本；xscaled即為x歸一化后對應(yīng)的值。使用按比例縮小的數(shù)據(jù)進(jìn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型可獲取更好的性能。

然后將歸一化后的數(shù)據(jù)放到基準(zhǔn)LSTM模型中進(jìn)行訓(xùn)練。本文的基準(zhǔn)LSTM模型是由具有32個LSTM神經(jīng)元的單隱藏層及頂部的完全連接層組成的神經(jīng)網(wǎng)絡(luò)，以將LSTM輸出映射到期望的目標(biāo)特征。網(wǎng)絡(luò)提供364個時間步長的歷史數(shù)據(jù)點(diǎn)，并經(jīng)過訓(xùn)練以預(yù)測接下來364個時間步長中的天然氣用氣量。最后，對預(yù)測結(jié)果進(jìn)行重構(gòu)，即逆穩(wěn)定小波變換，并利用評價指標(biāo)進(jìn)行驗證。

2.2 穩(wěn)定小波變換

小波變換可以大致分為連續(xù)型小波變換(CWT)和離散型小波變換(DWT)兩類。由于實驗中所用的天然氣用氣量數(shù)據(jù)是按天記錄的，因此對于有限的用氣量數(shù)據(jù)，本文采用離散小波變換。離散型小波變換定義為：

(2)

式中：α為尺度參數(shù)；τ為平移參數(shù)；ψ*(x)為復(fù)共軛函數(shù)；m為縮放常數(shù)(表示分解的級別數(shù))；n為平移常數(shù)；m、n均為整數(shù)。

本文采用的是離散小波變換的變形：穩(wěn)定小波變換(SWT)。穩(wěn)定小波變換可以彌補(bǔ)離散小波變換因為縮減取樣而失去的平移不變性，因為本文的基準(zhǔn)LSTM模型期望輸入的各個特征維度要相同。穩(wěn)定小波變換不同于離散小波變換的部分，主要在于經(jīng)過每一階的高通濾波器和低通濾波器之后，是將濾波器提升取樣，取代離散小波變換在經(jīng)過濾波器之后的縮減取樣。

在時間序列數(shù)據(jù)分析應(yīng)用中，Daubechies小波取得廣泛應(yīng)用并表現(xiàn)出良好的性能[16-17]。在權(quán)衡了數(shù)據(jù)的維度和平滑度之后，本文采用了分解系數(shù)為2的Daubechies小波變換，變換后得到兩個低頻近似部分和兩個高頻細(xì)節(jié)部分，分別對應(yīng)圖1中的cA1、cA2和cD1、cD2。分解系數(shù)為2的穩(wěn)定小波變換的數(shù)位實現(xiàn)模型如圖2所示。

圖2 穩(wěn)定小波變換的數(shù)位實現(xiàn)模型

圖2中x[n]是原始信號，gi[n]為第i階的低通濾波器，hj[n]為第j階的高通濾波器。穩(wěn)定小波變換算法步驟如下：

(1) 原始信號與高通濾波器做旋積分之后會得到此信號中高頻的成分xi,H[n]。此高頻的成分為第i個高頻的輸出。(2) 原始信號與低通濾波器做旋積分后會得到信號中低頻的成分xj,L[n]，此低頻的成分再作為下一階j+1階濾波器的輸入。

重復(fù)上述兩個步驟，即可將信號作多階(此處為二階)的穩(wěn)定小波變換。

2.3 LSTM網(wǎng)絡(luò)

LSTM提供長期記憶的能力，因此可以對天然氣日負(fù)荷進(jìn)行長達(dá)364天的預(yù)測。LSTM神經(jīng)元通過輸入門、遺忘門和輸出門的狀態(tài)組合來實現(xiàn)這一點(diǎn)。

在信息傳遞過程中，LSTM通過當(dāng)前時刻輸入、上一時刻隱藏層狀態(tài)、上一時刻記憶單元狀態(tài)和門結(jié)構(gòu)來增加或刪除記憶單元狀態(tài)中的信息。門結(jié)構(gòu)用來控制增加或刪除信息的程度：利用輸入門，記憶單元可以決定是否更新單元狀態(tài)；利用遺忘門，記憶單元可以刪除其記憶；通過輸出門，記憶單元可以決定輸出信息是否可用。更新后的記憶單元狀態(tài)由以下兩部分構(gòu)成：① 來自上一時刻舊的記憶單元狀態(tài)信息；② 當(dāng)前輸入新生成的信息。最后，基于更新的記憶單元狀態(tài)輸出隱藏狀態(tài)[18]。因此，LSTM網(wǎng)絡(luò)的關(guān)鍵就是通過記憶單元的狀態(tài)長期存儲數(shù)據(jù)的信息[19]。

本文實現(xiàn)的為對未來364天的天然氣日負(fù)荷量預(yù)測，建立的預(yù)測模型為：

y=f(x1,x2,…,x364)

(3)

式中：y為未來364天的天然氣日負(fù)荷量；x1，x2，…，x364為當(dāng)前時刻之前的364天的天然氣日負(fù)荷量。

3 實 驗

3.1 數(shù)據(jù)來源及預(yù)處理

城市燃?xì)夤緸榇斯ぷ魈峁┝艘粋€多變量數(shù)據(jù)集，包含2008年—2017年共10年的每日數(shù)據(jù)。數(shù)據(jù)集記錄包括天然氣每日總用氣量(單位：立方米)、日平均氣溫、節(jié)假日、天然氣用戶數(shù)量、seasonal和日期等字段，如表1所示。其中，seasonal是通過STL(Seasonal and Trend decomposition using Loess)分解獲取的季節(jié)項。該數(shù)據(jù)集共3 653條記錄，包括2008年1月1日至2017年12月31日的每日數(shù)據(jù)，將2008年—2016年這9年的數(shù)據(jù)作為訓(xùn)練集，將2017年的數(shù)據(jù)作為測試集。

表1 數(shù)據(jù)集特征

城市天然氣負(fù)荷數(shù)據(jù)表明，節(jié)日假期(例如春節(jié))的天然氣負(fù)荷量顯著增加，因此數(shù)據(jù)集中包含“holiday”字段特征。

分解作為一種抽象化工具，主要用于時間序列分析，可以為模型的數(shù)據(jù)預(yù)測提供幫助。STL分解是一種把時間序列分解為趨勢項、季節(jié)項和余項的過濾過程。本文使用STL分解的乘法模型對所有天然氣實際使用量的對數(shù)值進(jìn)行自動分解，頻率為364。將分解獲取的三種成分加入到訓(xùn)練數(shù)據(jù)中，經(jīng)模型訓(xùn)練實驗表明，加入季節(jié)項后的模型預(yù)測效果會有所提升，而趨勢項和余項成分影響不大。

對天然氣用氣量“gas”特征進(jìn)行穩(wěn)定小波變換，使用的小波對象為Daubechies 2，變換后得到兩個低頻近似部分cA1、cA2和兩個高頻細(xì)節(jié)部分cD1、cD2。以一年的數(shù)據(jù)為例，注意此處為364天，因為穩(wěn)定小波變換方法要求原始信號的維度是偶數(shù)，如圖3所示。

(a)

(b)圖3 小波變換結(jié)果

對原始數(shù)據(jù)進(jìn)行對數(shù)轉(zhuǎn)換可以減輕指數(shù)效應(yīng)[20]，因此本項目模型的目標(biāo)變量是燃?xì)鈱嶋H使用量的對數(shù)值，經(jīng)模型訓(xùn)練實驗表明，將實際值取對數(shù)進(jìn)行訓(xùn)練確實可以改善模型的性能：

y′=log(y)

(4)

在對低頻成分cA1、cA2訓(xùn)練時，分別將其對數(shù)值加入數(shù)據(jù)集，以進(jìn)行更好的訓(xùn)練和預(yù)測。

3.2 組合模型實現(xiàn)

將數(shù)據(jù)集進(jìn)行劃分，其中2 923天作為訓(xùn)練集，364天作為測試集，并使用滑動窗口創(chuàng)建訓(xùn)練和測試數(shù)據(jù)。要創(chuàng)建364天的預(yù)測，輸入數(shù)據(jù)X是多變量數(shù)據(jù)的364個時間步長，目標(biāo)輸出Y是接下來364個時間步長的用氣量，即輸入歷史天然氣用氣量，來預(yù)測未來一年的天然氣用氣量，圖4展示了用于創(chuàng)建一個訓(xùn)練示例的方法。

圖4 窗口滑動

接下來對天然氣用氣量進(jìn)行穩(wěn)定小波變換，將獲取的四個成分分別加入訓(xùn)練集和測試集；對數(shù)據(jù)進(jìn)行歸一化處理后分別放到LSTM模型中進(jìn)行訓(xùn)練；本文的LSTM模型是由具有32個LSTM神經(jīng)元的單隱藏層及頂部的SELU全連接層組成的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的搭建基于深度學(xué)習(xí)框架Keras。得到訓(xùn)練好的模型后，分別在驗證集的小波分解后的四個成分上進(jìn)行預(yù)測，最后使用逆穩(wěn)定小波變換對預(yù)測出的驗證集的四個成分進(jìn)行信號重構(gòu)，與驗證集的原始信號進(jìn)行實驗比對。

編譯Keras模型時通常需要很多參數(shù)，其中有兩個重要參數(shù)分別是損失函數(shù)(或稱目標(biāo)函數(shù)、優(yōu)化評分函數(shù))和優(yōu)化器。在基準(zhǔn)LSTM中使用均方誤差函數(shù)作為損失函數(shù)，并使用RMSprop優(yōu)化器。優(yōu)化器的初始學(xué)習(xí)速率設(shè)定值為0.005，隨著梯度到達(dá)穩(wěn)定的水平，學(xué)習(xí)率會以0.1的衰減因子逐漸減小，將最小學(xué)習(xí)率設(shè)置為0.000 1，將patience設(shè)置為0。雖然Adam和RMSprop優(yōu)化器都確實收斂到低損失值，但是RMSprop能夠?qū)崿F(xiàn)更低的損失，并且通常會在較少的訓(xùn)練迭代次數(shù)內(nèi)收斂。將訓(xùn)練網(wǎng)絡(luò)預(yù)設(shè)為迭代20次，使用EarlyStopping以防止過擬合，patience值的迭代次數(shù)設(shè)置為5，即在出現(xiàn)5個epoch的驗證集損失沒有減小的情形時提前終止訓(xùn)練。此外，在基準(zhǔn)LSTM模型的全連接層使用預(yù)定義激活函數(shù)中的SELU激活函數(shù)。

3.3 模型比較

使用SVR、ARIMA等方法進(jìn)行的初步嘗試并未得到令人滿意的結(jié)果。在更長的時間間隔內(nèi)，這些模型似乎無法捕捉到有意義的長期趨勢。

本節(jié)給出了本文方法的實證結(jié)果，并與基準(zhǔn)LSTM、支持向量回歸機(jī)(SVR)和差分整合移動平均自回歸(ARIMA)進(jìn)行了對比。實驗采用平均絕對誤差(MAE)、平均絕對百分誤差(MAPE)和平均絕對范圍標(biāo)準(zhǔn)化誤差(MARNE)分別對ARIMA、SVR、基準(zhǔn)LSTM和wavelet_LSTM進(jìn)行了評比。MAE、MAPE和MARNE三個指標(biāo)的定義分別如下：

(5)

(6)

(7)

表2 各模型預(yù)測結(jié)果

可以看出傳統(tǒng)時間序列預(yù)測方法預(yù)測準(zhǔn)確性較差，無法捕捉長期復(fù)雜趨勢，機(jī)器學(xué)習(xí)方法的預(yù)測準(zhǔn)確性一般，深度學(xué)習(xí)方法在預(yù)測準(zhǔn)確性上有很大程度的提升，而本文提出的wavelet_LSTM平均絕對誤差和平均絕對百分誤差均下降，預(yù)測偏差浮動范圍也有所減小，在天然氣年負(fù)荷預(yù)測上有較高的準(zhǔn)確性。

LSTM模型為輸入數(shù)據(jù)的每一個時間步長生成單個時間步長的輸出，當(dāng)模型僅運(yùn)行幾個時間步時，它從輸入信號中學(xué)習(xí)到的歷史信息很少，還不能做出精確的預(yù)測，因此LSTM模型的預(yù)測對前幾個時間步長來講并不是非常精確。該模型需要通過處理大約20～30個時間步長來“預(yù)熱”，然后才能展現(xiàn)較好的預(yù)測結(jié)果。以364個時間步長為例進(jìn)行測試集的展示，基準(zhǔn)LSTM模型預(yù)測效果如圖5所示。

圖5 基準(zhǔn)LSTM預(yù)測效果

本文嘗試從數(shù)據(jù)和模型兩個方面入手：在數(shù)據(jù)方面，嘗試將天然氣數(shù)據(jù)去趨勢化，即將天然氣數(shù)據(jù)按年做差分，使用基準(zhǔn)LSTM模型對364個步長的差值進(jìn)行訓(xùn)練及預(yù)測，最終加上預(yù)測年前一年的數(shù)據(jù)即為預(yù)測年的數(shù)據(jù)；在模型方面，為基準(zhǔn)LSTM網(wǎng)絡(luò)另加一層隱藏層，使之變?yōu)閷盈BLSTM網(wǎng)絡(luò)(Stacked LSTM)，即有2個隱藏LSTM層的網(wǎng)絡(luò)模型。但這兩種實驗結(jié)果較之前相比并無明顯提升。

將小波變換與基準(zhǔn)LSTM模型相結(jié)合，即將驗證集穩(wěn)定小波變換后獲取的四個成分分別放入到訓(xùn)練好的LSTM模型進(jìn)行預(yù)測，最后進(jìn)行信號重構(gòu)并與原始信號進(jìn)行對比。以364個時間步長為例進(jìn)行測試集的展示，預(yù)測效果如圖6所示。預(yù)測的天數(shù)越多，預(yù)測的難度越大，預(yù)測的準(zhǔn)確度會越低。而本文的wavelet_LSTM相比于基準(zhǔn)LSTM模型，有較高的準(zhǔn)確性，在天然氣年負(fù)荷預(yù)測上有較好的表現(xiàn)，可以較好地滿足城市燃?xì)夤镜臉I(yè)務(wù)需求。

圖6 wavelet_LSTM預(yù)測效果

4 結(jié) 語

本文探索了傳統(tǒng)時間序列預(yù)測方法、機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)時間序列預(yù)測模型在天然氣需求預(yù)測方面的應(yīng)用，提出了基于小波變換和LSTM的組合模型，相比于基準(zhǔn)LSTM模型，其預(yù)測準(zhǔn)確性有所提高，是一種可行、準(zhǔn)確的城市中長期天然氣負(fù)荷預(yù)測模型。

從預(yù)測效果來看，一些過高或過低的峰值并沒有擬合到，由于該燃?xì)夤静]有對異常數(shù)據(jù)做相關(guān)判斷和記錄，且沒有異常值數(shù)據(jù)可以提供，本文并沒有相關(guān)依據(jù)判斷其是否為異常值，所以不能做進(jìn)一步處理。未來工作將對wavelet_LSTM進(jìn)行一般適用性的探索。