基于時序分解與CNN的車間能耗預(yù)測方法

陸應(yīng)康 盛步云 張志瀚 張燕強

1(武漢理工大學機電工程學院 湖北 武漢 430070)2(東風設(shè)計研究院有限公司智慧技術(shù)研究院 湖北 武漢 430056)

0 引 言

隨著制造業(yè)發(fā)展突飛猛進，制造業(yè)對能源的消耗也越來越大，據(jù)統(tǒng)計2000年-2016年中國工業(yè)能源消耗總量年均增長率為6.69%, 同期制造業(yè)能源消耗量占中國工業(yè)部門能源消耗量的比例平均達到82.8%[1]。在裝備制造業(yè)中，涂裝車間是制造企業(yè)中工藝最復(fù)雜，也是高能耗和高排放的車間之一[2]。在涂裝車間內(nèi)，最主要的能耗集中在空調(diào)和照明等系統(tǒng)，其能耗比例達到涂裝車間總能耗的60%～70%[3]，具有很大的節(jié)能潛力，因此，對涂裝車間的能耗進行分析，從而挖掘節(jié)能潛力對整個汽車制造業(yè)的節(jié)能減排具有重要意義。Azadeh等[4]利用遺傳算法對人工神經(jīng)網(wǎng)絡(luò)模型的參數(shù)進行了優(yōu)化，從而得到對某企業(yè)電能耗的預(yù)測模型，并與時間序列法的預(yù)測結(jié)果進行了對比分析，表明優(yōu)化后的神經(jīng)網(wǎng)絡(luò)預(yù)測能力更優(yōu)。張宗華等[5]提出一種基于遺傳算法的反向傳播神經(jīng)網(wǎng)絡(luò)模型，在對電力負載的預(yù)測中有較高的預(yù)測精度。李曼潔等[6]基于XGBoost的用能預(yù)測模型對某汽車制造企業(yè)油漆車間的日能耗進行預(yù)測，達到了良好預(yù)測效果。文獻[7]利用優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的模擬退火粒子群混合算法對鋼鐵企業(yè)的生產(chǎn)能耗進行預(yù)測，實現(xiàn)較高的精度預(yù)測。趙超等[8]提出了自適應(yīng)加權(quán)最小二乘支持向量機(AWLS-SVM)回歸方法的短期電力負荷預(yù)測模型，計算結(jié)果表明,AWLS-SVM模型在預(yù)測精度和泛化能力方面均有所提高。廖文強等[9]基于長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)對暖通空調(diào)未來短期能耗進行預(yù)測，實驗表明，LSTM預(yù)測比傳統(tǒng)方法效果更好。以上預(yù)測模型都是利用人工智能算法建立模型，但是這些人工智能算法對于數(shù)據(jù)的依賴性太強，模型訓(xùn)練需要大量的數(shù)據(jù)，難以解決數(shù)量較少的車間能耗預(yù)測的問題。

綜上，針對神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)依賴性強以及能耗數(shù)據(jù)的動態(tài)性和不確定性的問題，本文提出基于時序分解與CNN的預(yù)測模型，最后利用某汽車制造企業(yè)涂裝車間能耗數(shù)據(jù)進行實驗，驗證模型的有效性。

1 概 述

本文的模型結(jié)構(gòu)如圖1所示，其中包括車間能耗數(shù)據(jù)的時序分解、貝葉斯參數(shù)估計[10]、卷積神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘部分。

圖1 車間能耗預(yù)測模型結(jié)構(gòu)

首先通過具有周期特征的傅里葉變換基函數(shù)和分段函數(shù)分別對動態(tài)的能耗數(shù)據(jù)的周期成分和趨勢成分進行擬合，建立時序分解模型。然后基于貝葉斯理論，將車間能耗的歷史數(shù)據(jù)作為先驗信息，并利用馬爾可夫鏈蒙特卡洛(MCMC)模擬方法[11]對周期成分模型和趨勢成分模型進行參數(shù)估計。最后將得到的周期和趨勢特征數(shù)據(jù)以及環(huán)境變量等隨機因素作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，進行卷積運算，最終得到車間能耗預(yù)測值。

2 車間能耗預(yù)測模型

2.1 周期成分模型

對于能耗數(shù)據(jù)的周期性，主要是季節(jié)以及節(jié)假日等因素造成的，本文考慮工作日與周末車間能耗的差異導(dǎo)致能耗數(shù)據(jù)呈現(xiàn)周期性的問題，選取擬合數(shù)據(jù)周期性應(yīng)用最廣泛的傅里葉變換分析方法[12]。傅里葉變換一般在信號處理上應(yīng)用比較廣泛，根據(jù)不同周期的數(shù)據(jù)的頻譜篩選出振幅最大的頻率，高效地擬合數(shù)據(jù)。如果將能耗數(shù)據(jù)也看作一種信號的話，經(jīng)過傅里葉變換可以得到能耗數(shù)據(jù)的頻譜，一般的傅里葉變換基函數(shù)為：

(1)

本文對于車間能耗數(shù)據(jù)，在傅里葉變換基函數(shù)中加入?yún)?shù)T，通過調(diào)整T的值來擬合能耗數(shù)據(jù)，最大限度地減小數(shù)據(jù)方差，最終獲得能耗數(shù)據(jù)的周期成分。其表達式如下：

(2)

設(shè)α=[a0,b0,a1,b1,…,an,bn]T為傅里葉系數(shù)，車間能耗數(shù)據(jù)的周期成分可以表示為:

S(t)=W(t)α

(3)

2.2 趨勢成分模型

考慮到車間能耗數(shù)據(jù)受到車間生產(chǎn)任務(wù)等因素影響，呈現(xiàn)出不同趨勢，能耗的增長率不斷變化。采用單一的趨勢擬合，將淹沒這些特征，本文采取分段函數(shù)[13]來擬合車間能耗數(shù)據(jù)的趨勢成分，以此顯現(xiàn)不同時段能耗的特征信息，提高趨勢擬合精度，將能耗數(shù)據(jù)分為N段的線性模型表示：

X={(X1L,X1R),…,(XiL,XiR),…,(XNL,XNR)}

(4)

式中：(XiL,XiR)表示為第i段的線性模型,XiL、XiR是第i段線段的起始值和終止值；N表示為整個能耗數(shù)據(jù)劃分的線段數(shù)目。

本文設(shè)置N-1個趨勢轉(zhuǎn)折點SN，當時間t大于趨勢分段點SK時，修正趨勢函數(shù)，其表達式為:

T(ti)=(XiL,XiR)=(k+a(t)kδi)t+(b-ka(t)θi)

(5)

式中：k為斜率；a(t)為本文設(shè)置的指示函數(shù),當時間ti大于趨勢分段點Si時，a(t)取1，否則取0；δi表示第i段線段斜率的變化率系數(shù)；θi為偏移量系數(shù)，θi=Siδi；b為偏移參數(shù)。

2.3 基于貝葉斯推理時序分解模型求解

車間能耗受人的行為、環(huán)境等諸多外部因素的影響，能耗數(shù)據(jù)呈現(xiàn)出動態(tài)性、隨機性、不確定性等特征。貝葉斯狀態(tài)估計方法能準確度量時序數(shù)列的不確定性，并能根據(jù)更新的觀測數(shù)據(jù)對參數(shù)進行更新，借助貝葉斯方法，根據(jù)先驗信息對時序模型進行求解，估計模型參數(shù)，提高擬合的準確性。

分別對周期和趨勢函數(shù)參數(shù)估計，如果將周期函數(shù)的未知參數(shù)ω={α,T}看作隨機變量，根據(jù)能耗的先驗信息，可以確定未知參數(shù)的先驗分布為π(ω)，概率密度函數(shù)也可以看作是隨機樣本序列，則能耗數(shù)據(jù)集序列D和參數(shù)ω的聯(lián)合分布為：

h(D,ω)=P(D|ω)π(ω)

(6)

式中：P(D|ω)為在參數(shù)ω的條件下，能耗數(shù)據(jù)集的概率，本文的能耗數(shù)據(jù)集已知，則P(D|ω)為參數(shù)ω的似然函數(shù)。因此，式(6)也可以寫為：

h(D,ω)=L(D|ω)π(ω)

(7)

我們的任務(wù)是得到周期模型的參數(shù)，確定準確模型，即確定參數(shù)ω在能耗數(shù)據(jù)集的條件下的分布：

cL(D|ω)π(ω)

(8)

式中：m(x)為能耗數(shù)據(jù)的邊緣密度，一般為常數(shù)c。則式(8)中未知參數(shù)ω的后驗分布，它其中包括了能耗數(shù)據(jù)和有關(guān)參數(shù)ω的先驗信息，本文取參數(shù)ω的估計由后驗均值給出，即：

(9)

在實際應(yīng)用中，式(9)的后驗分布很難通過求解得到，一般采用抽樣的方法來估計參數(shù)值，馬爾可夫鏈蒙特卡洛(MCMC)的方法是計算貝葉斯后驗分布的有效的方法。通過MCMC算法對模型參數(shù)進行后驗?zāi)M，取后驗均值作為模型參數(shù)的估計值。

Gibbs抽樣[14]是一種重要的MCMC抽樣算法, 計算方法可以表示如下：

2) Gibbs抽樣的i次迭代過程：

?

?

2.4 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種用于處理視覺圖像的深度神經(jīng)網(wǎng)絡(luò)[15]，CNN由輸入層、輸出層和多個隱藏層組成，其中隱藏層由多個卷積層、池化層和全連接層組成。本文將CNN用于能耗預(yù)測，因CNN具有極強的局部特征捕捉能力，可以處理能耗數(shù)據(jù)多維度的耦合關(guān)系，同一層神經(jīng)元之間共享權(quán)值，不僅可以降低網(wǎng)絡(luò)的復(fù)雜度、提高預(yù)測效率，而且具有較好的擬合度。因此通過對能耗數(shù)據(jù)時間序列分解得到多維度因素，再利用CNN對能耗數(shù)據(jù)進行預(yù)測，相比傳統(tǒng)的將時序分解的多維度因素疊加(TSD)的預(yù)測方法[16]，是一種更有效的預(yù)測方法。

本文所采用的卷積神經(jīng)網(wǎng)絡(luò)模型參考Alex Net模型[15]，由兩層卷積層和兩層池化層組成，本文在每個卷積層加入ReLU激活函數(shù)，為了防止梯度消失或梯度爆炸，并加入Dropout層消弱過擬合。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中p和q為池化層的尺寸。

圖2 卷積神經(jīng)網(wǎng)絡(luò)模型

在卷積層中，從能耗數(shù)據(jù)序列中提取出局部的節(jié)點組合信息。通過每一個卷積核在所有數(shù)據(jù)上的重復(fù)滑動得到多組輸出數(shù)據(jù),當輸入信號為xi=(x1,x2,…,xn)時,卷積層的計算公式為：

(10)

池化層主要用于保留主要特征，降低維度，減小過擬合。本文采用平均池化方式，對能耗數(shù)據(jù)的特征進行下采樣處理。則池化層計算公式為：

(11)

式中:h(·)表示求平均值函數(shù)；kp為池化層權(quán)值；bj為偏置矩陣。

經(jīng)過池化層后得到一系列特征，全連接層通過全連接方式將每一個神經(jīng)元與池化層的所有輸入出連接，將所有的特征集合起來，最終輸出能耗預(yù)測值。

3 實例分析

3.1 數(shù)據(jù)集和數(shù)據(jù)預(yù)處理

本文以某企業(yè)的車間能耗數(shù)據(jù)作為研究對象，用于驗證基于貝葉斯估計的時序分解與卷積神經(jīng)網(wǎng)絡(luò)組合預(yù)測方法的預(yù)測效果，數(shù)據(jù)的步長為1天，共有317個樣本。圖3顯示了車間在一年內(nèi)的能耗值變化，其中節(jié)假日等因素對于能耗值的影響很顯著。

圖3 車間日能耗數(shù)據(jù)

由于電表等讀取誤差以及停電等突發(fā)狀況，原始數(shù)據(jù)中有很多異常值和缺失值，為了降低異常值和缺失值對模型訓(xùn)練造成的誤差，本文采用臨近值求平均值來填補缺失值和替換異常值。

3.2 基于貝葉斯估計的時間序列分解

對車間能耗數(shù)據(jù)的317個樣本通過貝葉斯參數(shù)估計方法進行時序分解，在Gibbs抽樣中，設(shè)置迭代次數(shù)為5 000次，并將前1 000次不平穩(wěn)的數(shù)據(jù)刪除，模擬實驗的主要參數(shù)結(jié)果如表1所示，通過所得參數(shù)繪制數(shù)據(jù)的周期成分和趨勢成分。時序分解結(jié)果如圖4-圖5所示。

表1 模型參數(shù)的估計結(jié)果

圖4 周期成分

圖5 趨勢成分

分析可知：能耗數(shù)據(jù)的周期規(guī)律很強，有利于對神經(jīng)網(wǎng)絡(luò)的分析和預(yù)測，能耗的趨勢成分的波動較大，需要通過分析環(huán)境因素等數(shù)據(jù)與其關(guān)系，進行預(yù)測。

3.3 評價模型設(shè)置

1) 對比設(shè)置。為驗證本文方法的有效性, 本文選取了自回歸移動平均模型(ARIMA)、長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)、支持向量機(SVM)，以及時序分解算法作為對比。

2) 模型評估。本次研究采用R2與RMSE評估模型預(yù)測效果。

(12)

(13)

3.4 模型結(jié)構(gòu)參數(shù)設(shè)置

本文通過反復(fù)實驗得知，選取步長為50，卷積核大小為3×3，數(shù)量分別為2和4，池化層尺度為2×1時，預(yù)測效果較好，具體結(jié)構(gòu)如圖6所示。

圖6 能耗卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖

在訓(xùn)練CNN時, 本文選取Euclidean Loss作為CNN的損失函數(shù), 即：

(14)

圖7 CNN模型訓(xùn)練過程的損失函數(shù)

3.5 結(jié)果與討論

本文分別使用SVM、ARIMA、LSTM、時序分解，以及本文方法對2019年1月10日至2019年1月25日的15天車間能耗數(shù)據(jù)進行預(yù)測，對比實驗中各類的預(yù)測方法能耗預(yù)測結(jié)果如表2、表3和圖8所示。

表2 其他模型和TSDCNN模型的預(yù)測結(jié)果對比

表3 其他模型和TSDCNN模型的評價對比

圖8 能耗預(yù)測結(jié)果

可以看出，對于正常日期的車間能耗數(shù)據(jù)，五種方法的預(yù)測效果都很相近，但是對于節(jié)假日這樣的突發(fā)情況，SVM的預(yù)測效果最差，因為SVM無法擬合到節(jié)假日這種與正常數(shù)據(jù)懸殊的數(shù)據(jù)。相比SVM的預(yù)測效果，ARIMA和LSTM對突發(fā)事件能夠有一定程度的預(yù)測。TSD和本文方法對突發(fā)事件的預(yù)測效果最好。通過表3可以看出，本文的組合方法在預(yù)測值與實際能耗值的吻合度(R2)最高，比TSD的吻合度提高了0.09， RMSE降低了523.7。所以本文方法的預(yù)測效果明顯優(yōu)于SVM、ARIMA、LSTM、TSD算法。

綜上所述，本文方法在五種方法中表現(xiàn)最好，不管在正常日還是特殊日期都能完成較高精度的預(yù)測，可以很好地預(yù)測車間能耗情況。

4 結(jié) 語

涂裝車間能耗預(yù)測對于降低車間的能源消耗以及節(jié)能減排具有重要意義。本文通過基于貝葉斯的時序分解與卷積神經(jīng)網(wǎng)絡(luò)組合模型對能耗進行預(yù)測，通過時序分解將歷史能耗數(shù)據(jù)分解為周期因素和趨勢因素，為CNN模型提供基礎(chǔ)，采用貝葉斯估計方法，可以很好地描述實際問題的內(nèi)在規(guī)律。CNN模型可以對于局部的特征進行提取，提高模型的預(yù)測精度。本文研究為涂裝車間能耗節(jié)能決策以及能耗異常診斷提供一定的參考。