基于LSTM神經網絡預測低溫熱源動態特性

陳 薇 袁中原 高 波

基于LSTM神經網絡預測低溫熱源動態特性

陳 薇1袁中原1高 波2

（1.西南交通大學機械工程學院 成都 610031；2.四川省建筑科學研究院有限公司 成都 610081）

低溫熱源的入口溫度和質量流量在有機朗肯循環（Organic Rankine Cycle, ORC）余熱回收系統中是非常重要的熱力參數，為了研究動態響應情況下ORC系統參數對系統性能的影響情況，利用機器學習中的LSTM神經網絡，將某工廠中實地采集的10059組逐時熱源溫度和流量作為樣本進行訓練和測試，得到訓練精度要求下的神經網絡，對低溫熱源的溫度和流量進行逐時預測，結果表明，利用神經網絡可以滿足精度要求預測低溫熱源的逐時溫度和流量，為后續搭建系統的動態響應控制系統奠定基礎。

LSTM神經網絡；低溫余熱回收；熱源動態特性預測；時間序列預測

0 引言

由于世界經濟的快速發展造成了能源緊張問題[1]，大量學者針對可再生能源進行研究，包括風能、太陽能、地熱能以及低溫余熱利用等等。有機朗肯循環在低溫余熱回收方面具有很大的潛力，當前主要研究方向為綜合考慮熱源、冷源、工質和設備等等各個方面因素優化ORC系統，力求最大化系統的余熱回收效率。Bahaa Saleh[2]等通過優化熱效率比較了31種烷烴和氟化烷烴的循環性能，得到了不同有機工質使用的溫度范圍；2013年，Li等[3]針對溫度低于150℃的低溫熱源，列舉了適用于超臨界ORC系統的有機循環工質的物性參數；韓中合等[4]選取了9種有機工質，研究了蒸發溫度、蒸發壓力和膨脹機功比對系統不可逆損失的影響。

目前以上的研究多是假定系統在穩態運行下進行研究，但是實際應用中熱源的特性以及外界條件都是動態波動的，考慮熱源波動條件下的系統動態響應及調節機制較為困難。近年來，由于神經網絡具有良好的自適應性和處理非線性問題的能力被廣泛用于實際中[5]，曾[6]等人基于神經網絡遺傳算法以翹曲變形和收縮為質量指標，對注塑模具工藝參數進行優化，并進行試驗驗證了神經網絡模型的預測精確度；Li[7]等人搭建了BP神經網絡、RBF神經網絡的徑向基神經網絡預測風能利用系統的中的風速，并對三種神經網絡的預測精度進行比較；Yang[8]等人通過搭建實驗臺并結合遺傳算法優化的BP神經網絡對ORC系統回收車用發動機余熱系統的運行參數進行預測和優化，訓練所得神經網絡模型的預測精度都在5%以內，表現出了良好的預測能力；Szoplik[9]等人利用神經網絡預測用戶對天然氣的需求量，研究結果表明，神經網絡可以精確預測未來一年內某一天某一個小時的天然氣消耗量。

本文應用長短期記憶神經網絡（Long short-term neural network），以工廠實測的10059組逐時低溫熱源的入口溫度和質量流量作為訓練樣本，訓練得到要求預測精度內的神經網絡模型，用于預測未來一個時間步長的低溫熱源特性，為之后的動態響應控制系統奠定基礎。

1 LSTM神經網絡

LSTM（Long-short time memory）神經網絡是循環神經網絡中特殊的一種，主要是為了解決循環神經網絡中梯度消失和梯度爆炸的問題，可以根據歷史數據的特性回歸預測未來的數據或對數據進行分類，與BP神經網絡不同的是，LSTM神經網絡每一層神經元之間的傳播不僅與前一層有關，還與之前的每一層的神經元都有關[10]。

如圖1所示是一個前向傳播神經網絡的拓撲圖，式（1～5）是具有一個隱層的三層前向傳播神經網絡的表達式。

圖1 前饋神經網絡拓撲圖

（3）

如圖2所示是LSTM神經網絡的拓撲圖，LSTM模型在每一個單元A上都包含一個前向傳播神經網絡。LSTM單元A主要包括三個模塊，遺忘、輸入、輸出過程，Ct其中代表單元的長期記憶，ht代表單元的短期記憶，Xt為每次外部輸入的數據。長期記憶在每次進入LSTM單元進行訓練時，遺忘一些不重要的信息，隨后輸入單元進行訓練最后輸出短期記憶ht，是Ct-1，ht-1，Xt的共同作用。

圖2 LSTM神經網絡拓撲圖

1.1 輸入參數和輸出參數確定

在本文中，為了研究熱源波動條件下系統的控制模型，實地采集了工廠中2019年1月1日20:00～2019年3月29日23:00的逐時熱源溫度和流量，通過10059組歷史熱源溫度和流量數據對未來一個時間步長的數據進行回歸預測。分別建立兩個LSTM時序神經網絡模型，模型的輸入參數都是以時序作為單一變量，輸出數據是熱源的入口溫度和流量。

由圖3、圖4可知，熱源的溫度和流量是逐時變化的，尤其熱源的質量流量變化率較大，所以采用動態預測響應進行系統優化和控制是必要的。

圖3 熱源逐時溫度

圖4 熱源逐時質量流量

1.2 神經網絡模型搭建

1.2.1 求解器

求解器是在每次迭代過程中更新神經元的權值的算法，深度學習中的求解器主要包括標準梯度下降法（SGD）、動量梯度下降法（MSGD）、RMSprop和ADAM求解器。ADAM結合了Momentum和RMSprop梯度下降法，并且是一種極其常用的學習算法，被證明能有效適用于不同神經網絡，適用于廣泛的結構。

1.2.2 代價函數

損失函數叫做誤差函數，用來驗證算法的運行情況，Loss function: L(,)用于衡量預測輸出值和實際值有多接近。

損失函數針對單個的樣本，在深度學習中，使用代價函數表示參數的總代價，訓練神經網絡模型的過程就是找到合適的，使得代價函數的總價值降到最低。代價函數的表達式如式（6）所示：

1.2.3 正則化

在深度學習中，為了避免數據出現過擬合的現象，通常采用的方式有增大數據集和正則化，在進行深度學習的時候往往很難增加模型的數據集，獲取數據集的成本也較大，所以一般采用正則化的方式來解決模型的過擬合現象。深度學習領域采用的正則化方式主要是L2正則化，其表達式如式（7）所示。

其中，是正則化參數，在本文中，正則化參數選擇為1，閾值不使用正則化。

1.2.4 學習方式

根據神經網絡模型中隱含層的數目，可以將機器學習方式分為淺層學習和深度學習，本文樣本數據集較小，選用淺層學習方式。

1.2.5 權值初始化方式

在網絡訓練時，神經網絡的初始權值和閾值決定了網絡訓練收斂速度的情況，本文初始權值生成方式均采用‘glorot’，初始閾值都設置成0。‘glorot’是正態分布初始化方法，也稱作Xavier正態分布初始化，參數由0均值，標準差為sqrt(2/(fan_in+ fan_out)的正態分布生成，fan_in和fan_out分別為輸入層和輸出層的神經元數目，在本文中，即為0均值，標準差為1的正態分布生成神經網絡的初始權值。

機器學習中常用的評價標準主要包括RMSE、MSE、MAE、MAPE[11]，本研究中采用的代價函數為方差MSE（Mean Squared Error）和均方根誤差RMSE（Root Mean Squared Error）其表達式如式（8～9）所示：

1.3 訓練過程

本文采用Matlab軟件對LSTM神經網絡進行訓練，得到滿足預測精度要求的神經網絡對低溫熱源的熱源溫度和熱源流量進行預測。編程訓練流程如圖5所示。

圖5 LSTM神經網絡訓練流程圖

由圖3可知，熱源溫度波動較小，取樣本數據的90%用訓練溫度預測神經網絡模型，圖4可知，流量波動較大，取樣本數據的95%用訓練溫度預測神經網絡模型，其余數據作為測試集驗證神經網絡模型的預測精度。

1.4 神經網絡超參數

1.4.1 學習速率

學習速率是更新每次訓練梯度下降的超參數，取值范圍為0-1，本文初步設定學習速率為0.005進行訓練，初始迭代最大次數為500次，在訓練250次后降低學習速率，衰減因子為0.2。

1.4.2 隱層神經元數目

對于淺層神經網絡來說，隱層神經元的數目要小于輸入層權值和閾值的數目，隱層神經元數目過多會導致過擬合的現象增加網絡訓練時間，隱層神經元數目過少可能達不到訓練精度，神經網絡模型的訓練誤差較大。本文初步選用LSTM網絡隱層神經元數目為100，根據訓練的損失函數收斂情況和訓練的時長調整神經元數目。

1.4.3 Mini-batch大小

選擇單用CPU進行訓練，考慮到電腦的儲存和運行方式，一般選擇2的n次方作為Minibatch的大小，本研究中LSTM采用Minibatch的初始大小為64，并在訓練過程中嘗試幾個不同的2的n次方值，找到最佳的Minibatch大小值。

1.4.4 激活函數

激活函數主要包括隱含層激活函數和輸出層激活函數，激活函數的主要作用是將各個神經元進行轉換，而不是簡單的線性加和，如果隱層的激活函數取線性函數，那么不論隱含層和隱含層的神經元數目有多大，從輸入到輸出都只是輸入因子的線性映射。

深度學習中常用的激活函數以及優缺點和適用場合主要包括如表1所示。

表1 深度學習中常用的激活函數

圖6 sigmoid函數

圖7 tanh函數

神經網絡LSTM層中，遺忘門和記憶門的激活函數是‘sigmoid’，0代表完全遺忘，1代表完全記憶，輸入層輸出層激活函數選擇‘tanh’。

2 訓練結果

經過多次反復訓練，調整神經網絡單元的隱層神經元數目、初始學習速率、學習速率衰減步數、Minibatch大小、最大迭代次數得到合適的神經網絡模型。

2.1 預測熱源溫度神經網絡模型參數

本文訓練后用于預測熱源逐時溫度的LSTM神經網絡模型參數如表2所示。

表2 預測熱源溫度神經網絡訓練超參結果

2.2 預測熱源溫度神經網絡結果分析

圖8 使用預測值更新網絡預測熱源溫度

訓練后的LSTM網絡一次預測一個時間步，并在每次預測時更新網絡狀態，對于每次預測，使用前一次預測作為網絡的輸入，本文采用了兩種方式更新每次預測的網絡狀態，第一種為利用神經網絡每小時預測溫度值更新網絡，預測評估結果如圖8所示，神經網絡預測未來一個小時的相對誤差都在2%之內；如果在更新網絡的過程中，可以訪問時間步長內的觀測值，第二種方式為用觀測值更新網絡，預測結果如圖9所示，預測相對誤差都在2.5%之內。實際應用中，前一個小時的數據都是可以訪問的，更符合第二種情況。

圖9 使用觀測值更新網絡預測熱源溫度

由圖8、圖9測試集的評估表現可知，利用LSTM神經網絡預測低溫熱源的動態溫度是可靠的。

2.3 預測熱源流量神經網絡模型參數

本文訓練后用于預測熱源逐時流量的LSTM神經網絡模型參數如表3所示。

表3 預測熱源流量神經網絡模型訓練參數

2.4 預測熱源流量神經網絡結果分析

圖10 使用預測值更新網絡預測熱源流量

圖11 使用觀測值更新網絡預測熱源流量

本文采用相同的更新網絡的方式預測評估網絡預測精度，熱源流量的逐時波動程度更大，第一種預測評估結果如圖10所示，神經網絡預測未來一個時間步長的相對誤差大多都在25%之內；第二種預測評估結果如圖11所示，預測相對誤差都在25%之內，與溫度同理，在實際應用中應使用觀測值更新網絡預測。

由圖10、圖11測試集的評估表現可知，利用LSTM神經網絡預測低溫熱源的動態流量是可靠的。

3 結論

本文將實地檢測的2019年1月1日20:00～2019年3月29日23:00的10059組熱源逐時溫度和流量作為LSTM神經網絡的樣本，配置初始神經網絡超參數進行訓練并根據預測精度、訓練收斂情況、訓練時長調整超參數最后得到合理的訓練模型，得到以下結論：

（1）采用兩種不同的網絡更新方式更新訓練所得的神經網絡模型預測溫度，結果顯示，神經網絡模型能準確預測低溫熱源的逐時溫度，預測誤差都在2.5%以內。

（2）采用兩種不同的網絡更新方式更新訓練所得的神經網絡模型預測溫度，結果顯示，神經網絡模型能準確預測低溫熱源的逐時流量，預測誤差大多都在25%以內，為后續ORC系統動態響應控制的研究奠定了基礎。

（3）預測波動較小的熱源入口溫度，神經網絡隱層神經元數目選擇200時就可以達到較好的預測精度，但對于波動較大的流量預測，增加神經元數目還是不能達到非常小的預測精度，后續考慮用其他網絡模型訓練預測熱源逐時流量。

[1] ZHAO G Y, LIU Z Y, HE Y. Energy consumption in machining: Classification, prediction, and reduction strategy[J]. Energy, 2017,133:142-157.

[2] SALEH B, KOGLBAUER G, WENDLAND M. Working fluids for low-temperature organic Rankine cycles[J]. Energy, 2007,32(7):1210-1221.

[3] LI C, BESARATI S, GOSWAMI Y. Reverse osmosis desalination driven by low temperature supercritical organic rankine cycle[J]. Applied Energy, 2013,102: 1071-1080.

[4] 韓中合,葉依林, 赟.不同工質對太陽能有機朗肯循環系統性能的影響[J].動力工程學報,2012,32(3):229-234.

[5] WANG H, LEI Z, ZHANG X. A review of deep learning for renewable energy forecasting[J]. Energy Conversion and Management, 2019,198:111799.

[6] 曾軍亮,王榮吉,馮曉欣.基于神經網絡和遺傳算法的工藝參數優化[J].塑料,2013,42(5):106-109.

[7] LI G, SHI J. On comparing three artificial neural networks for wind speed forecasting[J]. Applied Energy, 2010,87(7):2313-2320.

[8] YANG F, ZHANG H, HOU X. Experimental study and artificial neural network based prediction of a free piston expander-linear generator for small scale organic Rankine cycle[J]. Energy, 2019,175:630-644.

[9] SZOPLIK J. Forecasting of natural gas consumption with artificial neural networks[J]. Energy, 2015,85:208-220.

[10] WANG J Q, DU Y, WANG J. LSTM based long-term energy consumption prediction with periodicity[J]. Energy, 2020,197:117197.

[11] HUANG L, WANG J. Global crude oil price prediction and synchronization based accuracy evaluation using random wavelet neural network[J]. Energy, 2018,151:875-888.

Prediction of Optimal Temperature for Organic Rankine Cycle Based on Artificial Neural Network

Chen Wei1Yuan Zhongyuan1Gao Bo2

( 1.School of Mechanical Engineering, Southwest Jiaotong University, Chengdu, 610031;2.Sichuan Institute of Building Research, Chengdu, 610081 )

As two important factors, input temperature and mass flow of heat source have great influence on the performance of ORC system. In this paper, we proposed a Long short-term memory (LSTM) neural network that can forecast intermitted and chaotic hourly temperature and mass flow of heat source. The temperature and mass flow data used are the hourly mean temperature and mass flow collected in one industry factory. And the two well trained neural networks are tested with the test dataset and used to forecast the next hourly temperature and mass flow of heat source. The results show that the proposed neural networks offer reliable forecast of the dynamic parameters of heat source, which indicates LSTM neural network can be used to build the dynamic controlling system in the future.

LSTM neural network; waste heat recovery; dynamic forecast of heat source; time series prediction

1671-6612（2020）06-670-06

TM617

A

四川省科技計劃項目：基于分級冷卻的工業余熱高效能量回收系統（2019YFG0327）；四川省建筑科學研究院有限公司2018年度科研項目（四川省綠色公共建筑運行維護體系關鍵技術研究）

陳 薇（1996-），女，碩士研究生，E-mail：vchen@my.swjtu.edu.cn

袁中原（1983.8-），男，博士，E-mail：zhongyuan.yuan@home.swjtu.edu.cn

2020-10-25