基于ES-LSTM的馬蹄焰玻璃窯爐的熱效率預測*

丘紹雄，印四華

（1.廣東工業大學計算機學院，廣州 510006；2.廣東工業大學機電工程學院，廣州 510006）

0 引言

我國的窯爐數量眾多，且大多技術落后。在工業4.0 時代，想要提升制造業生產力、競爭力、創新能力，就要大力發展工業大數據技術和應用。因此，產業轉型升級逐漸成為提升行業效益的核心動力。在整個窯爐生產過程中，消耗能源最多的設備是池窯，通過調查研究，其能耗占據整個生產過程的80%以上[1]。玻璃窯爐的燃燒系統，是玻璃生產過程的核心部分，也是最主要的能源消耗部分，燃燒質量的高低，影響了整個工廠的經濟效益。因此對于馬蹄焰玻璃窯爐的能耗預測有很大的研究價值。

關于馬蹄窯玻璃窯爐能耗的研究大多是提高工藝水平，改進設備，并進行模擬仿真。比如戚淑芬[2]通過引入馬蹄焰玻璃窯爐蓄熱室溫度變化率η來校正窯頭換火時間的節能型控制方案，并給出了用可編程調節器予以實現的方法。這對穩定產品質量、節能降耗意義極大。李駿[3]通過提出一種創新性的結構劃分模型分析的新穎方法，把整個馬蹄焰玻璃窯爐的工藝流程劃分為三級結構，逐級展開分析建模。得出增強窯體保溫，減少散熱損失以及提高蓄熱室余熱回收作用，降低出口煙氣溫度是馬蹄焰玻璃窯中節能優化的有效途徑。張緒全[4]對馬蹄焰玻璃熔爐的蓄熱室面積加大1/3，加大熱交換力度，用余熱鍋爐對煙氣余熱回收等措施實現了能耗降低。雷世昌[5]通過分析窯爐特性，有針對性地在模糊廣義預測控制的基礎上進行深入研究，構建適用于窯爐建模與控制的算法，在理論上解決了馬蹄焰窗爐的控制問題。

通過對前面的文獻進行研究，發現目前國內雖然很多專家學者對馬蹄焰窯爐的節能優化有一定的研究成果。但是大多數是通過系統控制、仿真建模、工藝參數調整、物理、化學、熱力學等角度來對馬蹄焰窯爐進行節能優化的分析，并沒有從玻璃窯爐的熱效率預測的角度來進行節能研究。所以本文用進化神經網絡來預測窯爐的熱效率。進化神經網絡由進化算法（EA）和神經網絡組合而成。根據不同的使用情景，選擇不同的搭配進化算法和神經網絡。由于神經網絡參數多，在進化算法的選擇上，使用進化策略，可以避免編碼問題。窯爐設備的數據大多為時間序列，循環神經網絡其每一個時間步狀態的計算需要依賴于上一個時間步，所以其比較適合用來預測時間序列的數據[6]。長短期記憶網絡（Long Short-Term Memory，LSTM）是一種時間循環神經網絡，是一個效果很好的RNN變體算法。它既能繼承RNN探索序列數據內在依賴關系的能力，又能解決傳統RNN 因序列過長而導致的梯度消失、訓練時間長和過擬合等問題，并提升局部優化能力和網絡泛化能力[7]。最近幾年，很多研究使用進化算法和神經網絡結合的模型進行學習。比如謝崇波[8]在GA-GRU預測模型對環境空氣污染物PM2.5 濃度預測中，不僅保留了處理數據維度和輸入特征的能力，并且在一定程度上充分挖掘了環境空氣污染物因子自身之間與氣象因子之間潛在的特征關系。在2017年，Uber不僅提出遺傳算法可以解決深度強化學習問題[9]。還提出了深度學習訓練的新方法，通過進化算法來優化神經網絡[10]。同樣在2017年，OpenAI將進化策略運用到神經網絡，然后不斷進化神經網絡中的參數，最終的實驗結果都能夠媲美很多強化學習方法[11]。谷歌團隊在訓練神經網絡的時候發現，在相同的硬件下，與強化學習相比，進化算法能更快得到結果[12]。F Such等[13]用遺傳算法去優化DNN，證明了簡單的算法能在困難的深度學習問題上表現良好。

以上的研究均表明了進化神經網絡能夠發揮出不錯的效果，但是在窯爐的熱效率預測研究上沒有發現使用進化神經網絡的方法。因此本文提出了ES-LSTM模型，結合某企業玻璃窯爐生產過程中的實際數據建立預測模型，通過與LSTM和BP神經網絡對比，來驗證所設計的ES-LSTM預測模型的有效性、合理性。

1 進化神經網絡模型

傳統的人工神經網絡是通過正向傳播，輸出預測結果，預測結果與真實數據的比較，得出誤差，并將誤差進行反向傳播，然后更新網絡參數。進化神經網絡沒有使用梯度下降，避免了陷入局部最優的情況。采用進化的思想來更新神經網絡參數，實現跳出局部最優。雖然使用梯度下降的方法的更新速度快，但是進化算法可以通過并行計算來讓自己的訓練速度大大提升。也有研究證明利用梯度和神經深化相結合，可以使上百層的深度神經網絡進化[14]。Stanley KO 等[15]提出了一種NEAT算法，利用遺傳算法和神經網絡的結合，能夠最大程度地克服神經網絡陷入局部最小值的問題。本文采取的神經進化方式為：固定神經網絡的結構不變，不斷進化的方式來更新優化參數。每次變異的時候，都更新網絡鏈接中的參數，從而改變神經網絡的預測結果。在這個過程中，保留理想預測結果的網絡參數，淘汰結果較差的。

1.1 數據預處理

在實際的生產過程中，由于設備長期處于高溫狀態，導致異常數據占有相當一部分的比例。為了讓模型的預測精度更高，對實際的生產數據產生的異常進行預處理。除此之外，大型的馬蹄焰玻璃窯爐設備生產過程產生的數據的特征維度特別高，有超過200維的數據。其中包含大量無關和冗余的數據特征，造成“維數災難”和“過擬合”問題。這對構建算法模型來說，是一個很大的挑戰，不僅降低了預測精準，而且還會增加運算的時間復雜度和空間復雜度。因此在訓練模型前，先使用缺失值算法和特征工程對數據進行預處理。

1.1.1 缺失值算法

設有異常數據的序列A(a1,a2,a3,…,at)，則：

式中：at為具體數據值；t為該序列的時間；Mavg為移動極差均值；aavg為數據均值；a1為下限值；ah為上限值。

當序列中的某個數值高于上限值ah或者低于下限值a1，則認為該數據是異常值，并把該值視為缺失值。對于出現缺失值的情況，采用均值與隨機參數結合的方式填補。

式中：Xi為缺失值；隨機參數ω∈{i 0.01～0.05}。

1.1.2 特征工程

利用特征工程可以降低特征維度，從而降低最終模型的復雜性，達到快速計算的目的。在得到一個更為簡單的模型的同時預測準確性降低很小甚至不會降低。

PCA 通過降維技術把多個變量化為少數幾個主成分，在維度減小的同時盡量的保存大部分信息。首先數據進行歸一化處理，數據集里各個屬性的單位不同，PCA 降維需要將屬性的量綱去掉才能使用。而歸一化能解決這個問題。特征工程的步驟如下：

（1）對數據集進行歸一化。

Z-score歸一化公式：

式中：k為樣本原始數據；u為樣本均值；σ為樣本標準差；k′為歸一化后的樣本數據。

（2）假設有樣本K′的數量是n 個，且每個樣本里有p 個特征，則樣本K′用矩陣表示為：

（3）計算出K′的協方差矩陣C，以及C的特征值λ。根據特征值來確定主成分j的值：

其中當η取0.95 的時候，認為j 個主成分包含了原矩陣絕大部分信息。

（4）使用最大的j 個特征值λ對應的特征向量，組成特征向量矩陣。并將樣本數據投影到特征向量矩陣上，從而得到降維后的數據。

1.2 進化策略ES（Evolution Strategies）

進化算法里常用的有遺傳算法、進化策略、遺傳規劃和進化規劃4種方法。在本文中，應用進化策略可以不進行基因編碼，節省了編碼解碼的時間，適用于連續優化問題，因此更適合神經網絡參數的進化。進化策略的簡單描述如下：

（1）首先，定義群體里個體的基因的形式，每一個實數值對應神經網絡的參數。

（2）對父輩的基因X 進行變異，具體是通過加入一個隨機生成的噪點和變異強度來產生后代X′，并將后代和父輩放入同一種群內。

式中：N為隨機生成的噪點；σ為變異強度。

（3）通過適應度函數來計算種群里每一個個體的適應度f，并按照適應度大小來排序。該序列中適應度更優的個體可以在下一代進化中成為父輩。

式中：f 為適應度，y^ 為模型的預測值；y 為實際值；yˉ為均值。

（4）不斷的產生新的后代以及計算適應度，直到找到符合條件的后代或者進化到計劃的n代后停止訓練。

1.3 進化策略優化方案

在進化的過程中，很可能最優的個體丟失了，導致群體無法向好的方向進化[16]。在原有的ES 模型上，對進化的過程提出改進方案。用以加快尋找最優的后代。優化方案如下：

（1） 初始數量為n 的種群p1,p2,p3,…,pn，產生出n 個后代k1,k2,k3,…,kn。

（2） 計算后代k與父輩p的基因的變異差距d，距離大的認為是變異程度大的后代。

式中：p為父輩的基因型；k為后代的基因型。

（3）對種群中變異程度大的后代k，給予新穎性獎勵。

（4）新穎性獎勵為對該部分變異大的后代的適應度進行提高。

（5） 最后把父輩的個體與后代的個體放入同一群體里。進行物競天擇，保留適應度最高的n個個體作為下一代進化種群的父輩。

1.4 LSTM算法模型

LSTM如圖1所示，作為RNN的變體模型，具有獨特的設計結構。在某一時刻t，其隱藏層ht的輸入不僅包含了當前的輸入xt，還有t-1時刻的信息ht-1，所以t-1時刻對t時刻的輸出產生了影響。除此之外t 時刻的輸出對t+1 時刻的隱藏層也會產生影響，通過這種循環影響機制，LSTM可以有效地解決長期依賴問題。因此能夠解決長序列訓練過程中的梯度消失和梯度爆炸問題。

圖1 LSTM網絡結構圖

每一個遞歸神經網絡均是由重復的模塊鏈組合，其中每一個模塊稱為Cell。為了實現記憶功能，LSTM構造了是遺忘門、輸入門、輸出門。

假設輸入的序列為（x1,x2,x3,…,xt），隱藏層信息為(h1,h2,h3,…,ht)，則在t時刻下有以下表達：

式中：it為輸入門；為候選狀態；ft為遺忘門；ot為輸出門；Ct為Cell的狀態（長期記憶）；ht為隱藏層狀態；?為矩陣點乘；Xt為輸入值；b 為各層的偏差值；W 為連接權重；σ為Sigmoid函數。

2 構建ES-LSTM網絡預測模型

2.1 構建預測模型

實驗過程使用Python 3.6作為編程語言，實驗環境為Windows10 操作系統，LSTM 模型使用TensorFlow 1.140。 ES-LSTM模型構建流程如下。

（1）從能源管理系統里獲取窯爐設備的運行參數。對窯爐高溫的工作環境下出現的異常數據進行預處理，降低對訓練模型的干擾。然后通過主成分分析對數據降維，以提升模型訓練的速度。

（2）隨機生成2n個不同基因組成的群體，其中每個個體的基因為初代LSTM 網絡參數的權值。對每一個個體進行適應度評估，并按大小排序，得出最優的前n個個體。

（3）適應度最優的精英個體保留添加到精英庫里。把最優的n個個體進行變異操作，產生新的n個后代，最后總共得到2n個個體的新種群。

（4）不斷重復第二步和第三步，不斷更新參數的權值，一直尋找最優表現的LSTM網絡個體。不斷進化，從精英庫里挑出最優的個體作為預測模型。

（5）采用RMSE 和MAE 進行評估判斷，這兩個評估值越小，說明模型的泛化能力就越強。

圖2 基于ES-LSTM 的熱效率預測模型流程圖

式中：ARMSE為RMSE 的評估值；AMAE為MAE 的評估值；yi為窯爐的實際熱效率值；y^i為模型的預測值。

2.2 模型流程圖

進化神經網絡ES-LSTM模型的構建流程圖如圖2所示。

3 仿真實驗結果與分析

3.1 實驗數據

數據來自于某玻璃廠2018年10月至2019年5月總計8個月的實際能耗統計數據。該玻璃廠的opc 采集程序約150 s 采集一次數據，每小時匯總數據一次。每日匯總的熱效率值可以表明該設備的當日能源利用率。通過數據預處理后得到5 780條數據，其中4 046條數據作為訓練樣本，剩余的1 374條數據作為測試樣本，用于檢驗訓練好的模型的精度。

3.2 實驗結果

本文訓練ES-LSTM模型的時候，利用ES 算法對LSTM 進行優化。根據種群進化的過程中的適應度評估，不斷地動態調整LSTM 的鏈接參數。整個過程，種群的適應度隨著變異不斷的變化，有的變異利于預測，則適應度高，反之則低。如圖3所示，在進化的過程中，后代的表現不斷往優秀個體的方向靠攏。并且進化的代數越大，就越有可能找到更優的個體。在ES 算法對LSTM 模型進行的訓練過程中，ES 作為一種全局搜索優化算法，它能夠避開局部極值點，在進化過程中不需要計算梯度。如果存在局部最優，那么ES會比傳統的梯度下降表現更好，從而可以得到預測精度更高的LSTM模型。

通過對ES-LSTM，LSTM，BP三個模型對比實驗，得到3組預測值，并將模型預測值分別與實際數據進行誤差計算得出實驗結果。部分實驗結果如表1 所示。根據表中的數據顯示，ES-LSTM預測的值相對誤差均小于傳統的LSTM算法和BP算法的預測值。也就是說ES-LSTM的預測值更符合目標要求。

圖3 適應度隨著進化過程的變化曲線

表1 不同模型能耗預測結果比較

圖4 所示為分別采用ES-LSTM 算法、LSTM 算法以及BP算法模型對馬蹄窯玻璃窯爐熱效率預測的曲線圖。由圖中的曲線可以看出，ES-LSTM與實際熱效率值的擬合程度是最優的。因此可以提出一個初步結論，ES-LSTM 作為LSTM 的改進版本，在訓練過程中進行全局搜索，從而提高了模型對熱效率值預測的準確性。

圖4 不同模型預測結果對比曲線

為了進一步詳細比較3個模型的性能，表2所示為3種模型的RMSE和MAE對比。其中ES-LSTM的RMSE和MAE均為3 個模型中最小，這說明了ES-LSTM 模型的預測準確性是最高的。

表2 模型評估值對比

4 結束語

針對馬蹄焰玻璃窯爐的熱效率問題，本文提出了一種進化神經網絡ES-LSTM算法，進一步提升了玻璃生產廠家熱效率預測的精度。對缺失和錯誤的數據進行修復，并使用主成分分析降低維度，從而盡可能地提高算法模型的預測精度上限。結合廠家的實際熱效率數據，對模型進行驗證分析，實驗證明使用進化算法來訓練神經網絡是可行的，而且能提升模型的預測準確性。通過ES-LSTM 算法模型，玻璃廠家可以得到更準確的熱效率預測值，從而制定更合理的能源管理方案。