改進的深度回聲網絡在空調負荷預測中的應用

王永海,李云峰,董 軍,關愛章,王華秋,向 力

(1.湖北中煙工業有限責任公司襄陽卷煙廠,湖北 襄陽 441000;2.重慶理工大學 兩江人工智能學院,重慶 401135;3.重慶太和空調自控有限公司,重慶 400030)

0 引言

現代卷煙行業依賴暖通空調來調節溫濕度,因此能源消耗量相當巨大?？照{負荷主要是指末端冷熱需求,還要考慮到管路損耗和室外環境等因素。這些需求可以通過空壓機、制冷機、蒸發器和負壓機等暖通設備以被動方式提供,目的是盡可能少地消耗能量,同時滿足卷煙生產并符合工藝標準。空調系統的調節策略要符合負荷需求和能源供給的最佳匹配原則,這樣系統才是最節能的。其方法就是調節空調系統的冷凍水量,使得空調實際負荷與預測負荷匹配,因此,準確預測空調負荷非常重要。

國內外學者已在空調負荷預測方面做過大量研究,有基于統計的參數回歸法[1]、時間序列法[2]和小波分析法[3]等;也有基于數據挖掘的聚類法[4]和隨機森林法[5]等;還有基于網絡結構的極限學習機[6]、支持向量機[7-8]、深度信念網絡[9]和深度循環網絡[10-11]等的負荷預測方法。

空調負荷預測方法逐步智能化,但是仍然有需要改進之處,比如無法準確預測周期性變化數據、訓練耗時過大造成模型更新緩慢、沒有考慮輸入輸出數據之間的相關性,從而影響預測模型的精度。

Gallicchio 等學者在深度學習框架和基于泄漏積分型回聲狀態網絡的基礎上,于2017年提出了一種多層儲備池依次連接成的深度網絡DeepESN[12]。這種多層的結構體現出了深度時間序列特性,其狀態動力學特性高于傳統的淺層網絡,立即引起許多學者的高度關注[13-16],已經應用于許多領域[17-18],但是目前用于空調負荷預測方面的研究仍然比較少。

因此,本文采用改進的深度回聲網絡(improved deep echo state networks,iDESN)來預測某卷煙廠空調負荷,通過當前時刻的冷凍水和冷卻水供回水溫度、冷凍水和冷卻水流量、室外溫濕度和風速等參數,預測出下一時刻的空調負荷。并且運用灰色關聯度計算屬性間的相關性從而確定輸入權值,用坐標輪換法搜索最佳的深度網絡的層數和儲備池個數,解決由于負荷數據周期性波動幅度所帶來預測效率低下的問題。最后將該預測模型與相關的新型算法進行了對比,驗證了iDESN網絡的優越性,同時也討論了其局限性。

1 深度回聲狀態網絡研究

為了提高回聲狀態網絡的特征表達能力,深度回聲狀態網絡(deep echo state networks,DESN)于2017年被Gallicchio等提出。深度回聲狀態網絡的儲備池是串行排列的,因此每個儲備池狀態主要依賴于前一時刻的狀態以及前一儲備池的輸出信息,深度回聲狀態網絡結構如圖1所示。

從DESN的結構圖可知,DESN包括輸入層、中間狀態層和輸出層。設DESN有Nu個輸入神經元,Nl層儲備池,Ny個輸出神經元,每層儲備池有Nr個神經元。

在t時刻,輸入數據為：

UNu(t)=[u1(t),u2(t),…,uNu(t)]

輸出數據為：

YNy(t)=[y1(t),y2(t),…,yNy(t)]

DESN的多層儲備池狀態為：

這里,x(i)(t)=[x(i)(1)x(i)(2)…x(i)(Nr)],代表第i個儲備池的Nr個神經元狀態。

winput∈RNr×Nu表示輸入權值,winner(i)∈RNr×Nr表示第i個儲備池的內部權值,wextra(i)∈RNr×Nr表示第i-1個儲備池到第i個儲備池之間的連接權值,wout∈RNl×Ny表示輸出權值。

圖1 深度回聲狀態網絡結構

由于回聲狀態都依賴于輸入信號的歷史值,因此winput,winner,wextra都是在[-1,1]范圍內隨機選擇的。

每一層的回聲狀態按照下列公式進行更新：

x(1)(t+1)=(1-a)·x(1)(t)+

a·tanh(winput·u(t+1)+

winner(1)·x(1)(t))

(1)

x(2)(t+1)=(1-a)·x(2)(t)+

a·tanh(wextra(1)·x(1)(t+1)+

winner(2)·x(2)(t))

(2)

x(3)(t+1)=(1-a)·x(3)(t)+

a·tanh(wextra(2)·x(2)(t+1)+

winner(3)·x(3)(t))

(3)

……

x(L)(t+1)=(1-a)·x(L)(t)+

a·tanh(wextra(L-1)·x(L-1)(t+1)+

winner(L)·x(L)(t))

(4)

式中,a∈[0,1],是泄漏率,取0.5,tanh是正切激活函數。

以上公式可以歸納為：

當L=1時：

x(1)(t+1)=(1-a)·x(1)(t)+

a·tanh(winput·u(t+1)+

winner(1)·x(1)(t))

(5)

當L>1時：

x(L)(t+1)=(1-a)·x(L)(t)+

a·tanh(wextra(L-1)·x(L-1)(t+1)+

winner(L)·x(L)(t))

(6)

這樣,各層各個時刻的回聲狀態總和就是：

由n組中間狀態匯聚起來后,網絡就可以采用如下計算輸出：

YNy=WoutXNl

(7)

在深度回聲狀態網絡中,只有輸出權值需要通過回歸算法訓練。

1) 如果采用最小二乘法算法訓練,輸出權值的計算式為：

(8)

2) 如果采用嶺回歸算法訓練,可以克服過擬合現象,輸出權值的計算式為：

(9)

式中：γ為正則化系數,一般取0.5。

DESN的訓練過程如下：

輸入：具有n個時刻的訓練樣本

輸出：輸出層權值

1.參數設置：輸入神經元為Nu個,輸出神經元有Ny個,儲備池有Nl層,每層儲備池有Nr個神經元,泄漏率是a,正則化系數是γ。

2.初始化：winput,winner,wextra都是在[-1,1]范圍內隨機選擇的。

3.fort= 1 to 樣本時間序列

4.forL←1 toNl

5.ifi←1 then

6.式(5)計算

7.else

8.式(6)計算

9.end

10.end

13.end

首先,算法根據設置的參數隨機初始化權值,在每一時刻的訓練中,輸入數據進入第一個儲備池,因此各個中間層儲備池的狀態發生變化。接著,得到所有訓練樣本的全部儲備池的狀態,根據輸出數據來訓練輸出權值。

DESN的預測過程就比較簡單了,根據已有參數和權值,首先用測試輸入經過多層儲備池的狀態轉換,得到最終狀態,再乘以訓練得到的輸出權值,如下式所示：

YNy(t+k)←WoutXNl(t+k)

其中k是預測步長,這樣就可得到預測輸出了。

2 深度回聲狀態網絡的改進

為了建立更準確可靠的負荷預測模型,針對深度回聲網絡的輸入權值、網絡層次、儲備池大小以及中間狀態等方面進行了改進。

2.1 按灰色關聯度初始化輸入權值

根據輸入和輸出之間的關聯程度,從而決定輸入變量對于輸出的重要程度,因此采用灰色關聯度法計算輸入權值,而沒有采用原來的隨機初始化方式。

將輸入變量和輸出變量組成一個關聯度矩陣G,如是多個輸出,則取輸出的平均值作為G的第一列：

將自變量序列減去因變量序列取絕對值,得到減序列：

Δ(k)=|Uinput(k)-Youtput(k)|

(10)

找出減序列中的最大值Δmax和最小值Δmin：

Δmin=min(min(Δ(k)))

(11)

Δmax=max(max(Δ(k)))

(12)

計算每個樣本的每個指標與因變量序列的關聯度ζi：

(13)

其中,ρ為分辨率。

每一條樣本都會有一個輸入與輸出之間的關聯度,因此關聯度數值和樣本數量一樣多。這不利于從整體上分析輸入和輸出之間的關聯程度,所以有必要將各個樣本的關聯系數集中為一個值,即求其平均值。作為輸入與輸出數列間關聯程度的數量表示,每一個輸入和輸出值之間的關聯度ri如下：

(14)

然后組成一個關聯度向量R：

RNu=[r1,r2,…,rNu]

得到的關聯度范圍都在[0,1]之間,將這些關聯度作為深度回聲狀態網絡的輸入權值。將關聯度向量做一個簡單的[0,1]之間的等距分箱,每個分箱的間距為0.1,統計每個分箱的分布情況,就可以把不為零的分箱區間數作為下一步K-Means聚類的中心個數k。

2.2 中間狀態聚類

深度回聲狀態網絡中間層比較多,造成中間狀態矩陣XNl比較大,這對于后一步求逆容易出現誤差,而且運算速度也會受影響,不利于輸出權值的回歸求解。因此,采用K-Means聚類對中間狀態進行聚合,可以減少無效的中間狀態對輸出權值的影響,減少求逆時間和誤差,從而提高預測精度和速度。

計算XNl的聚類中心,k為聚類中心數。對中間狀態XNl進行K-Means聚類,根據矩陣XNl的每一行所屬的類,得到中間狀態的k個聚類中心。中間狀態矩陣可以轉換為：

其中聚類個數k<

2.3 網絡層數和儲備池大小的坐標輪換法搜索

層數和儲備池大小是深度回聲狀態網絡的2個重要參數,其值影響了預測的精度和性能,因此采用坐標輪換法搜索這2個參數。本文將儲備池層數Nl,每層儲備池神經元個數Nr的搜索方向作為坐標軸的梯度變化方向,從這2個方向上對儲備池層數和每層儲備池神經元個數進行搜索尋優,搜索目標是：

minE(x1,x2)=0.3×RMSEtrain+0.7×ARGEtrain

(15)

約束條件：5≤x1≤30,5≤x2≤30,其中x1表示Nl,x2表示Nr,RMSEtrain和ARGEtrain分別是訓練集的均方根誤差和平均相對泛化誤差。

計算步驟如下：

3) 如果沿坐標軸e1的正負方向都搜索不到使得E(x1,x2)減小的點,則將搜索步長減小,令δ0=δ0/μ,轉第4步;

4) 依次沿其他坐標軸進行同樣的搜索,最終求得這輪搜索的最優點y*;

以上就是本文的3個改進之處,由于整個預測算法計算比較復雜,圖2給出了改進的深度回聲狀態網絡預測模型的總體流程圖。

圖2 改進的網絡模型計算流程

3 工業負荷預測和分析

3.1 數據預處理和評價指標

由于本文的數據都是能耗負荷數據,所有的變量都是連續數值,而且沒有缺失值或者異常值,因此數據不需要太多的預處理。采用Z-Score歸一化方法去除數據的量綱。

(16)

由于是針對深度回聲狀態網絡的改進,為了對比算法性能,本文另外選擇了幾種新型的深度回聲狀態學習算法進行預測建模,其參數設置和參考文獻中的一致。

1) 文獻[13]的DeePr-ESN是一種基于多重投影編碼的分層網絡結構,其投影層和編碼層之間交替重復而成為儲備層,特點是利用每個儲備層的時間特性來表示時序數據的多尺度動態性。

2) 文獻[14]的ADRC是一種異步深度儲備層計算模型,它由多個子儲備層組成。這些子儲備層依次連接,并在每2個相鄰子儲備層之間插入延遲模塊,由于鏈路延遲,網絡中的每一層都異步處理信息。

3) 文獻[15]的UPSO-WDESN是一種寬深度回聲狀態網絡,該網絡具有多個并行和堆疊配置的儲備層,并且使用粒子群算法優化了網絡架構和關鍵參數。

4)文獻[16]的GD-ESN是一種增長型深度回聲狀態網絡,結合互信息和全秩準則,通過以輸出為目標的監督學習確定網絡的深度和寬度。

本文的iDESN算法的關鍵參數設置如表1所示。

表1 本文算法關鍵參數設置

采用平均相對泛化誤差(average relative generalization error,ARGE)和均方根誤差(root mean square error,RMSE)作為預測模型的性能評價指標。

平均相對泛化誤差計算公式如下：

(17)

均方根誤差計算公式如下：

(18)

3.2 建筑物冷熱負荷預測與分析

空調控制著建筑物的氣溫,消耗了建筑物的主要能源,因此預測建筑物的冷熱負荷有助于節能。為了驗證本文預測模型的有效性,采用了UCI標準數據集對模型進行測試。所使用的數據是模擬12種不同建筑負荷情況得到的能耗數據,通過模擬上述特征的不同取值,以獲得不同的建筑物負荷情況。

3.2.1建筑物數據分析

數據集包含768條樣本,每一條樣本包含8個輸入屬性,分別用x1(相對密實度)、x2(表面積)、x3(墻面面積)、x4(屋頂面積)、x5(總高度)、x6(方位)、x7(玻璃區域面積)和x8(玻璃面積分布)表示,還包含2個輸出響應,分別用y1(熱負荷)和y2(冷負荷)表示。預測模型的作用是用8個輸入屬性正確預測2個輸出響應。示例數據如表2所示。

表2 部分建筑物能耗數據

3.2.2建筑物負荷預測模型

建筑物在玻璃面積、玻璃面積分布和方向以及其他參數方面有所不同。這些物理特性對建筑物的能耗性能有很大影響。因此,本文將x1到x8都作為預測模型輸入,y1和y2作為輸出。訓練集和測試集分別包含668和100條。

對于訓練集和測試集數據,各種不同的模型預測性能ARGE、RMSE和耗時如表3和表4所示。

表3 建筑能耗訓練數據預測性能比較

表4 建筑能耗測試數據預測性能比較

如表3和表4所示,從擬合程度來看,無論是訓練集,還是測試集,iDESN的ARGE和RMSE都是最低的。這說明iDESN模型擬合程度最高,其次是DeePr-ESN,擬合度最低的是UPSO-WDESN。DeePr-ESN擬合度較iDESN低的原因是：其編碼層接收了前一個儲備層的回聲狀態作為輸入,并將高維回聲狀態通過PCA編碼到低維特征空間中。這一步可能丟失了一些數據特征,而iDESN并沒有破壞其內部各層的狀態,因此預測精度較其他幾種算法高。

從時間消耗性能來看,iDESN模型并不是最低的,這是因為iDESN進行了網絡結構的搜索尋優,增加了運算量。但是iDESN訓練耗時已經明顯低于DeePr-ESN、GD-ESN、UPSO-WDESN了,UPSO-WDESN耗時最多的原因是：使用了粒子群算法優化網絡架構和參數。這必然降低運算效率,而iDESN采用坐標輪換法就可以快速獲得最佳層數和儲備池個數。因此,iDESN在性能提高的同時并沒有降低運算速度。對于測試集,iDESN運算速度也較快,說明iDESN通過中間狀態聚類簡化了預測輸出的矩陣運算,從而提高了速度。

綜合可知,iDESN建筑能耗預測性能優于DeePr-ESN、ADRC、GD-ESN、UPSO-WDESN。能耗預測性能如圖3所示。

圖3 能耗預測性能

對于測試集數據,采用本文預測算法得到的預測值和期望值的對比曲線如圖4所示。

圖4 能耗負荷預測性能

由圖4可以看出,對于這100條測試數據,數據總體上表現出一定的周期性。iDESN算法很好地跟蹤這種周期性,具有出色的泛化能力。iDESN不僅能擬合平緩變化的數據,且在數據突變時也能迅速攀升,其快速擬合能力得到體現。

3.3 卷煙廠空調負荷預測與分析

空調系統節能的基本思想是根據調節冷凍水流量,使得負荷的需求和供應最佳匹配,當系統的負荷需求和負荷提供量相等時,系統是最節能的。

3.3.1空調負荷數據分析

本文收集了秋季工況數據,其中包括外部環境數據和冷水機組的運行數據,數據采樣從0點到24點,每小時采集一次,這樣每天獲得24條數據,50 d可以采集超過1 200條的數據,基本上涵蓋了工作時間空調系統的工況。

本文選擇了具有代表性的1 200條空調負荷樣本,每一條樣本包含9個輸入屬性,分別用x1(室外溫度)、x2(室外濕度)、x3(室外風速)、x4(冷卻水供水溫度)、x5(冷卻水回水溫度)、x6(冷凍水供水溫度)、x7(冷凍水回水溫度)、x8(冷凍水流量)和x9(冷卻水流量)表示,還包含1個輸出響應,用y1(空調負荷)表示。預測模型的作用是用9個輸入屬性準確預測1個輸出響應。示例數據如表5所示。

表5 部分空調負荷數據

3.3.2空調負荷預測模型

基于負荷預測的冷凍水流量動態控制,是一種基于末端服務質量的能量平衡和最佳輸出的能量控制。因此,將x1到x9都作為預測模型輸入,y1作為輸出。經過整理,得到訓練集和測試集分別有1 000和200條。

對于訓練集和測試集數據,各種不同的模型預測性能ARGE、RMSE和耗時如表6和表7所示。

表6 空調負荷訓練數據預測性能

表7 空調負荷測試數據預測性能

如表6和7所示,從擬合程度來看,通過灰色關聯度初始化輸入權值以及坐標輪換法尋優層數和儲備池大小,提高了深度回聲狀態網絡擬合程度,iDESN的ARGE和RMSE都是最低的,GD-ESN次之。GD-ESN將儲備層和前饋層逐一交替添加到網絡中來,每個前饋層都以輸出為目標進行監督學習預訓練,從而自動確定網絡的深度和寬度,但是有監督訓練就會增加耗時,而且這種方法容易造成過擬合而增加預測誤差。iDESN采用無監督聚類將中間狀態聚合,提取出的有效狀態更能反映數據特征,因此擬合效果優于GD-ESN。

從時間消耗性能來看,iDESN將中間狀態聚類,從而簡化了輸出權值的計算,提高了深度回聲狀態網絡的運行速度。在模型訓練階段,iDESN的耗時僅比ADRC稍高,低于DeePr-ESN、GD-ESN、UPSO-WDESN的耗時。但是在測試階段,由于不需要再進行求逆運算,因此速度提升效果不明顯。ADRC在每2個相鄰儲備層之間插入延遲模塊,在儲備層中生成中繼存儲模式,擴展了短期記憶容量,而且沒有動態調整網絡結構,因而耗時最短,iDESN需要動態搜索網絡的層數和儲備池大小,因此耗時較ADRC長。

綜合可知,iDESN空調負荷預測性能優于DeePr-ESN、ADRC、GD-ESN、UPSO-WDESN。負荷預測性能如圖5所示。

圖5 負荷預測性能的對比

為了驗證iDESN負荷預測模型的泛化性能,采用沒有參與訓練的200條測試數據預測負荷輸出。圖6反映了測試樣本數據擬合效果。

圖6 空調負荷預測性能

這200條負荷測試數據表現出一定的規律性,即工作時段的負荷需求比較大,而在休息時段,負荷需求則比較小。這時如果降低冷水機組的冷凍水流量,仍然能滿足系統負荷需求。因此可以通過降低冷凍水泵的轉速,甚至關閉某些運行的機組,減少多余的冷量輸送。采用深度回聲狀態網絡iDESN預測模型對空調負荷進行實時預測,其擬合曲線很好地符合了這種規律性,說明該模型具有很好的泛化能力。將該預測模型與控制技術結合起來,對冷水機組的運行參數甚至啟停狀態進行實時調節,就可以達到空調負荷與機組供冷的相對平衡,降低冷水機組的能耗。

4 結論

1) 采用關聯度初始化輸入權值。采用灰色關聯度法對影響負荷輸出的各輸入參數進行分析,解決了深度回聲狀態網絡的輸入權值隨機優化的問題。

2) 對中間狀態進行K-Means聚類,根據具有代表性的中間狀態計算輸出權值,減少回歸時間,提高了預測速度。

3) 采用坐標輪換法搜索最佳的網絡層數和儲備池大小。深度回聲狀態網絡的學習性能依賴于網絡層數和儲備池大小的尋優過程,如果采用遍歷法對所有可能的取值進行尋優,時間消耗將會非常巨大,不利于實時預測;如果采用比較復雜的優化算法尋優,訓練時長也比較長。因此,采用快速準確的坐標輪換法搜索這2個參數,提高了模型的預測性能。

通過UCI標準數據集和卷煙廠空調負荷預測實驗,證明iDESN模型具有更高的預測精度及更強的泛化能力,ARGE和RMSE均小于其他算法的對應值。同時,坐標輪換法搜索時間較短,而且中間層聚類減少了求逆時間,該算法可以縮短預測時間,便于實時調節冷水機組流量以匹配供需負荷。這樣冷凍水流量甚至機組啟停狀態可以隨著負荷變化而調整,提高冷水機組的節能效果。

當然在預測模型實際應用時,由于管路延遲效應,還需要提前預測空調負荷。這樣冷水機組的冷量才能按時達到空調末端,滿足負荷需求。至于提前時間量,需要根據實際工況確定,這將是下一步的工作。