基于CNN和LSTM聯合預測并修正的電量缺失數據預測①

郭蘊穎,丁云峰

1(中國科學院大學,北京 100049)

2(中國科學院 沈陽計算技術研究所,沈陽 110168)

1 引言

隨著智能化系統以及各種先進智能技術在各領域的流行,電網領域的智能電網調度控制系統建設也應運而生,從而提高電量的使用率和調度工作效率.在智能電網調度控制系統中,電量數據是傳輸數據中的重要組成,而電量數據的獲取是通過不同地區的觀測點設備的讀數記錄的,為了提高系統跨區域電量數據傳輸效率,觀測點設備每隔5 分鐘、10 分鐘或15 分鐘讀取一次數據,每天記錄的數據組成一個傳輸數據單元并打包傳遞給下一個記錄讀取觀測點.在數據記錄傳輸過程中,可能會因為設備故障等原因導致讀取數據的缺失或錯誤,從而影響傳輸數據單元的數據完整性,進一步影響智能電網調度控制系統的智能性,因此,需要提出一種對于電量缺失數據精準預測的模型方法為智能電網調度控制系統提供支撐.

關于電量缺失數據預測問題是一個時序預測問題,隨著機器學習神經網絡等算法的發展和日趨成熟,研究用于解決時序預測問題的時序預測模型也越來越多,比如:傳統的平滑預測法、趨勢預測法、自回歸模型(AR)、移動平均模型(MA)、以及自回歸移動平均模型(ARMA)和差分整合移動平均自回歸模型(ARIMA)等.平滑法預測一般有移動平滑法和指數平滑法,移動平滑法是利用前t時刻的前p個時刻的平均值來預測t時刻的數值,而指數平滑法是在移動平滑法基礎上發展起來的一種時間序列分析預測法,這種模型預測方法只需較少的實驗數據,就可以預測出來所需要的結果,但是該模型算法在賦權重的時候,對遠期數據賦較小的權重,近期數據賦較大的權重,因此,只能進行短期預測,預測范圍較為局限;在現實工作預測中,為了提高工作效率選擇趨勢預測法,既將缺失數據兩端直接連接的方法進行數據缺失段預測,該方法在實際項目工作中最大的優點就是方便,直接根據趨勢線性預測就能得到預測值,但缺點顯而易見,預測數據誤差也是很高的,并不能完成精準預測;AR 模型以時間序列的前一個值和當前殘差來線性地表示時間序列的當前值,而MA 模型則用時間序列的當前值和先前的殘差序列來線性地表示時間序列的當前值,ARMA 模型是前面兩個模型的整合,這3 種模型都適用于平穩時間序列的預測,而對于非平穩時間序列,可以通過差分過程將非平穩數據轉換為平穩數據后用ARIMA 模型可以解決.文獻[1]通過實驗比較了ARIMA 模型與指數平滑法預測門診量效果比較,從而得出ARIMA 模型的預測效果更好的結論.但是,ARIMA 模型對于趨勢性較強的數據集預測效果更好,而且本質上只能捕捉線性關系,而對于電網數據來講并不能完全的線性擬合,因為用電量會有高峰期,亦或會在某些特殊地段的用電量會因為特殊事件發生突變,例如當附近的高鐵經過時引起的電量變化情況.對于電力方面的預測,文獻[2]提出了一種基于趨勢變化分段的電力負荷組合預測方法,該算法是利用了電力負荷“三峰三谷”變化特性做出的研究,但本文要解決的問題是一天內用電量數據的缺失值預測,顯然一天內的用電量數據值一定是遞增的,不會出現“谷”,因此并不適合.對于時序序列的非線性預測方法,LSTM 算法是較成熟切主流的時序預測方法.文獻[3]提出基于LSTM 算法的電力諧波監測數據預測分析的方法,通過對不同時間尺度諧波監測數據預測分析驗證了方法的有效性和實用性,文獻[4]提出基于LSTM 模型的日銷售額預測方法,但電量數據會因為某一時刻的突發事件發生電量數據的突增,如果僅僅通過LSTM 模型根據歷史數據進行預測誤差一定會大,因此采用電網中的對側數據這一特征數據進行校驗,以此縮小預測值的預測誤差.

基于對上述方法的總結并綜合電網數據易突變的特性,本文對現有的LSTM 預測方法聯合CNN 預測應用于電網領域,并在該聯合預測模型的基礎上添加對側數據修正模塊進行模型的進一步優化。通過CNN卷積神經網絡將特征進行融合后重新提取新特征,通過電網中的對側數據作為修正,從而降低僅通過LSTM預測的誤差.根據缺失數據在傳輸數據段中的位置,本文將預測模型分成3 組,分別是缺失數據段位于傳輸數據段的前段、中段和后段,將從某電網獲取的實驗數據分成3 組,分別用于訓練3 種不同情況下的預測模型.將每組數據先通過數據預處理模塊,將經過預處理的數據通過卷積神經網絡進行模型新特征的提取,提高預測的準確率,并將新特征作為LSTM 神經網絡的輸入進行LSTM 模型的學習與訓練,并反向計算每個神經元的誤差項值,根據相應的誤差項,計算每個權重的梯度,完成CNN和LSTM 聯合預測模型的訓練和學習.將模型學習后輸出的預測值輸入到數據修正模塊,該模塊采用電網數據中特有的對側數據屬性進行數據修正,加入電網數據中特有的對側數據這一特性均衡,減小預測值與實際值的誤差大小,使預測模型的準確率更高.實驗對比5 種不同預測模型:趨勢預測模型、ARIMA 預測模型、LSTM 預測模型、CNN和LSTM 聯合預測模型和CNN和LSTM 聯合預測并修正模型,通過對比5 種預測模型的預測準確率,驗證了CNN和LSTM 聯合預測的可行性的同時也可以看出加入修正模塊后模型預測誤差的明顯降低.

2 相關模型理論

(1)CNN 卷積神經網絡

卷積神經網絡(Convolutional Neural Networks,CNN)是一種包含卷積操作的前饋神經網絡,基本結構由輸入層、卷積層、池化層、全連接層和輸出層構成.卷積層和池化層一般會取若干個交替設置組合使用,卷積層中輸出特征圖的每個神經元與其輸入進行局部連接,并通過對應的連接權值與局部輸入進行加權求和再加上偏置完成特征提取.

考慮到要建立模型的目的是提高預測的準確率、減小預測值和實際值的誤差值,直接將經過預處理的數據作為輸入數據訓練LSTM 網絡,并不能將輸入數據的特征更好的融合,只能單純的預測出輸入數據原本特性下通過LSTM 神經網絡學習出的預測值,準確率和精準度不夠高.而CNN 卷積神經網絡的原理在于通過對輸入數據的卷積和池化操作,將數據的隱藏結構特征進行提取,并隨著網絡模型復雜度的提高,特征提取的維度越來越高,提取到的特征越來越抽象,最后將抽象特征融合在一起,得到提取的新特征.因此模型先將處理的數據通過CNN 卷積神經網絡進行新特征的提取,提取的新特征更全面的融合了輸入模塊中輸入數據的特征,并作為輸入對LSTM 模型進行學習和訓練.能使得預測模型學習、訓練的更精準,誤差更小.

(2)LSTM 長短期記憶網絡

長短期記憶網絡(Long Short-Term Memory,LSTM)是一種時間循環神經網絡,是循環神經網絡(Recurrent Neural Network,RNN)的優化,循環神經網絡主要應用之一是時間序列的分析和預測,而在電量缺失數據預測中,當前預測值是由與之相鄰的電量值根據變化趨勢走向預測得到,因此選擇用循環神經網絡建模預測.解決了RNN 循環神經網絡對遠距離、長周期數據遺忘問題的LSTM 神經網絡在保持其原有模型結構的基礎上,設計隱藏層結構提高了對長序列的分析能力.LSTM 神經網絡的關鍵在于細胞狀態(cell state),細胞狀態類似于輸送帶,細胞的狀態在整個鏈上運行,通過設置門結構完成線性操作,從而實現對信息的刪除和添加,也避免了RNN 神經網絡訓練過程中容易出現的梯度消失和梯度膨脹問題,實現更精準的預測學習.

LSTM的實現由3 個門:遺忘門,輸入門,輸出門組成,每個門負責是事情各不相同,遺忘門負責決定保留多少上一時刻的單元狀態到當前時刻的單元狀態;輸入門負責決定保留多少當前時刻的輸入到當前時刻的單元狀態;輸出門負責決定當前時刻的單元狀態有多少輸出[5].每個LSTM 包含了3 個輸入,即上時刻的單元狀態、上時刻LSTM的輸出和當前時刻輸入.

LSTM 模型第1 步是通過遺忘門從細胞狀態中丟棄無用的信息,將前一時刻隱藏層的輸出ht?1和當前狀態的輸入xt連接后通過遺忘門的權重矩陣Wf賦權重,通過Sigmoid 激活函數 σ的計算決定有多少信息可以通過.公式如下:

第2 步是通過輸入門添加當前時刻的輸入信息到信息流中,和遺忘門的操作類似,將前一時刻隱藏層的輸出ht?1和當前狀態的輸入xt連接后通過輸入門的權重矩陣Wi賦權重,通過Sigmoid 激活函數 σ計算出通過輸入門后的信息值.公式如下:

第3 步是對信息流中細胞狀態的更新,首先定義一個當前輸入的細胞狀態Ct,該狀態通過前一時刻隱藏層的輸出ht?1和當前時刻的輸入xt計算得到.公式如下:

將當前時刻遺忘門的計算值ft與前一時刻細胞狀態做叉乘,當前時刻輸入門的結果與當前時刻的細胞狀態做叉乘,并將兩部分叉乘值相加對信息流中的細胞狀態進行更新.公式如下:

第4 步是通過一個Sigmoid 激活函數,決定要輸出的細胞狀態的部分信息作為輸出門的數據結果.公式如下:

第5 步是將當前時刻的細胞狀態通過 t anh將數值規范化,并將該數值與輸出門的結果Ot做叉乘作為當前細胞狀態隱藏層的輸出值ht傳遞到下一時刻,為下一時刻的細胞狀態更新做準備.公式如下:

至此,LSTM 模型的單次流程就結束了.

(3)數據修正

數據通過預測模型的預測得到預測值,因為LSTM 模型的預測是通過歷史數據的趨勢走向為預測參照,而在電力領域,電量的變化并非是一直平穩,每天內都會有用電高峰期,在特殊地段的特殊時刻也會發生電量突變的情況,比如在居民區的晚間用電量較白天用電量來說就是用電高峰;再比如在某一時刻,高鐵火車的通過、天氣炎熱時空調的使用、工廠新設備的投運等,都會使得該時刻的電量突增.此時如果單純使用CNN和LSTM 模型根據歷史數據進行預測,也會產生較大的預測誤差,為解決這個電力領域存在的特殊情況,本文提出通過對側數據進行數據修正的方案.

在電力領域,電力的傳輸都是雙向的,每一個觀測站點既接收前一個觀測站點傳過來的電力數據信息,也會向下一個觀測站點傳遞當前站點接收到的電力數據信息.該實驗建模預測的數據是該工作站點接收到的電量數據,對于該數據而言,其對側數據是前一個觀測站點的發送出來的電量數據值.雖然前一個觀測站點的電量數據到該工作站點的傳輸過程中會因為線損等不可避免的原因導致數據的損失,但是數據變化的走向和趨勢是一致的,可以準確的體現出該時刻數據的變化程度,在電量因為某些特殊情況發生電量突變的時候,通過該觀測點對側數據的走向和趨勢可以對CNN和LSTM 預測模型預測出來的數據進行數據的修正,提高其預測的準確性.

該實驗研究中,對于預測數據的修正采取均值修正法,將通過CNN和LSTM 模型預測出來的當前時刻的缺失數據值Pt和該時刻該觀測點電量的對側數據值OPt加和取平均作為最終的預測數據.

3 模型結構和實驗

(1)模型結構

根據上述模型理論,建立CNN和LSTM 聯合預測和修正模型.總體架構圖如圖1所示.根據缺失數據在傳輸數據段中的位置,將預測模型分為3 種,如圖2～圖4所示:缺失數據段在傳輸數據段前段時選擇前向模型預測,既使用后一時刻的數據反向預測;缺失數據段在傳輸數據段中段時選擇雙向模型預測,既前后雙向預測兩個預測值并取均值作為最終的預測值;缺失數據段在傳輸數據段后段時選擇后向模型預測,既使用前一時刻的數據正向預測.

圖1 模型總體架構圖

圖2 前段數據缺失圖

圖3 中段數據缺失圖

圖4 后段缺失數據圖

①數據預處理

該實驗數據存儲使用的數據庫為國產的達夢數據庫,數據為某電網采集到的某段時間內的電量數據,數據預處理階段主要完成電量數據的提取,將電表信息表和電量表通過電表ID 進行表連接,通過電表信息表中的正向有功和反向有功對應的電表ID 獲取到電量表中的電量數據值并分別提取,將正向電量數據作為實驗數據進行模型的學習和訓練,反向電量數據作為修正模塊數據.

②CNN 卷積神經網絡

該實驗的卷積神經網絡設計有1 個輸入層、3 個卷積層和1 個全連接層構成,每一次訓練選取16 個電量數據為一組,組成一個16×1的向量矩陣作為單次模型訓練的輸入,并以一個步長為單位選取30 次.每一次訓練分別用10 個3×1的卷積核進行第1 次的卷積操作,并使用ReLU 激活函數激活避免訓練過程中的梯度爆炸和梯度消失的問題,得到10 個14×1的向量矩陣.用5 個1×1的卷積核進行第2 次的卷積操作,主要達到降維的目的,減小模型的復雜度,得到5 個14×1的向量矩陣.用20 個3×1的卷積核進行第3 次的卷積操作,得到20 個12×1的向量矩陣.將20 個12×1的向量矩陣輸入到全連接層進行全連接操作,得到最終30×1的特征向量值.

③LSTM 神經網絡

該實驗的LSTM 神經網絡的訓練首先是通過數據獲取模塊,將CNN 卷積神經網絡訓練學習得到的30×1的特征向量獲取作為一次模型訓練學習的數據樣本,通過得到的30 個新的特征數據值訓練學習,模型中的隱藏層設計為10 個神經元,用來記憶和存儲歷史狀態數據,輸出層為1 個神經元,得到預測值,根據預測值和實際值完成一次誤差反向傳播和參數更新.

④數據修正

該實驗的修正模塊采用的是均值修正法,將該缺失數據預測值與該觀測點對側數據值加和取均值作為最終預測值,通過對側數據值將突變的電量數據預測中和.

(2)實驗數據

實驗數據來自某電網某段時間電量數據,電量采集是半自動化采集,每隔15 分鐘采集一次觀測點儀器設備值作為該觀測點的電量數據,每一天為一個傳輸單元進行數據傳輸,因為實驗數據量過大,文章篇幅有限,因此選取某一個觀測點一天內部分電表數據來展示實驗數據。

表1中為部分電量實驗數據.

表1 部分電量實驗數據

實驗數據分成3 部分,用來學習和訓練缺失數據段位置在傳輸數據段位置不同情況下的3 種模型,并在每個模型訓練過程中選取該部分所有電量數據的80%的數據作為實驗數據,剩余20%作為驗證數據.

(3)實驗模型對比

實驗采取了現階段較為流行的時序預測方法進行缺失數據預測實驗,為了更直觀的體現不同預測模型的性能好壞以及數據預測的準確性,本文將模型預測的平均絕對誤差值作為評價指標,通過對比不同模型預測的平均絕對誤差值的大小得出模型性能對比結果.

平均絕對誤差值是所有單個觀測值與算術平均值的偏差的絕對值的平均.平均絕對誤差可以避免誤差相互抵消的問題,因而可以通過模型的平均絕對誤差來準確反映模型實際預測誤差的大小.

實驗結果如圖5、圖6及表2所示.

圖5 趨勢預測后段缺失數據圖

圖6 趨勢預測前段缺失數據圖

表2 模型平均絕對誤差值結果對比

方法一采用趨勢預測法,缺失數據段在傳輸數據段的前段和后段時,按已知數據的增長趨勢進行直接補齊,完成預測;缺失數據段在傳輸數據段的中段時,直接將缺失數據的兩端連接完成數據預測.該預測方式優點是預測方便,但準確率是很低的,有很大的偶然性,因此并不能達到精準預測的預期效果.

方法二單純采用LSTM 進行預測,只考慮歷史數據的變化趨勢,該方法的實驗結果可以證明LSTM 時序預測的可行性;方法三采用了ARIMA 模型預測,因為電量數據值并不滿足ARIMA 模型對數據穩定性的要求,因此首先將數據通過查分化達到數據穩定的要求再進行缺失數據預測,該方法的模型簡單,預測的誤差相比方法一有明顯的降低;方法四和方法五都主要采用CNN和LSTM 聯合預測的模型,區別在于方法五根據電網數據的特殊性添加了用電量數據的對側數據對預測數據的修正模塊,用均值修正法將對側數據和預測數據取平均作為最終預測結果從而降低預測值與真實值直接的誤差大小.通過對比方法二和方法三的實驗結果可以得出在解決電網缺失數據預測問題中,LSTM 模型的預測誤差要小于ARIMA 模型的預測誤差,從而得出LSTM 更適合解決電量缺失數據預測問題.方法二、方法四和方法五這3 種預測模型的實驗結果可以得出本文提出的CNN 卷積神經網絡進行數據特征提取、對側數據進行預測數據修正的必要性.

(4)實驗結果分析

通過實驗得到的平均絕對誤差值的結果值,可以看出3 種不同情況下的誤差均值最小的是CNN和LSTM聯合預測和修正模型,可以看出本文提出的電量缺失數據預測方法的可行性、合理性和準確性.

數據趨勢預測模型的高誤差可以看出該方法的預測準確率較低,相比于該方法,LSTM 模型預測和ARIMA 模型預測的誤差均值都有了較明顯的降低,實驗數據對比可以看出,雖然ARIMA 模型的中段數據預測誤差小于LSTM 模型預測誤差,但是從誤差均值整體看來LSTM 模型優于ARIMA 模型;在LSTM 預測模型基礎上添加利用CNN 卷積神經網絡進行特征提取的模塊后,雖然前段數據的預測并無優化,但是中段、后段和誤差均值都有了一定程度的優化;而本文根據電力數據特點加入對策數據修正模塊的模型在各個階段都有了優化,不同缺失數據段的誤差較其他預測模型都有了一定程度的降低,誤差均值也達到了實驗模型中的最優值.以此可以得出,本文提出的CNN和LSTM 聯合預測并修正的模型在預測誤差達到了最小值,對于預測問題準確性的要求完成度最高.

4 結語

本文以解決電網傳輸過程中電量數據缺失問題為背景,在CNN和LSTM 聯合預測的模型基礎上增加了根據電網數據特有的對側數據作為基礎參考數據的數據修正模塊,對模型預測的數據做一定的誤差校正,通過實驗結果也驗證了該方法的可行性以及修正模塊的必要性.該方法的研究可以提高現有預測模型的模型準確率,其對于電力調度系統的應用有著舉足輕重的作用,確保了傳輸數據段數據的完整性,也對電網企業里進行電力調度業務運營的智能性、準確性提供了數據支持.