基于集成深度玻爾茲曼機和最小二乘支持向量回歸的燃燒過程NOx預測算法

李　楠，　盧　鋼，　李新利，　閆　勇,

(1．華北電力大學 控制與計算機工程學院,北京 102206；2．英國肯特大學 工程與數字藝術學院，坎特伯雷，肯特 CT2 7NT 英國)

?

基于集成深度玻爾茲曼機和最小二乘支持向量回歸的燃燒過程NOx預測算法

李楠1，盧鋼2，李新利1，閆勇1,2

(1．華北電力大學 控制與計算機工程學院,北京 102206；2．英國肯特大學 工程與數字藝術學院，坎特伯雷，肯特 CT2 7NT 英國)

火焰自由基圖像； 深度玻爾茲曼機； 最小二乘支持向量回歸； NOx預測

在未來較長一段時期內，以化石燃料和生物質為主要能源的火力發電依舊是造成大氣污染的主要因素，特別是氮氧化物(NOx)的排放對環境惡化和居民健康造成了直接影響[1].許多國家為此制訂了相應的節能環保政策來降低污染物對環境的影響，如我國制訂了《鍋爐大氣污染物排放標準》[2].因此，研究燃燒優化，預測并降低燃燒污染物排放就尤為重要.但NOx的生成機制非常復雜，與燃料類型、爐體型式、燃燒器結構、爐內溫度、過量空氣系數、固體燃料(煤粉或生物質)細度和配風方式等很多因素有直接關系.因此,許多研究人員都在探索有效的NOx預測技術和方法.

目前的研究很少涉及火焰自由基圖像的特征學習過程.為了從火焰自由基圖像數據中學習到更為穩健的圖像特征，筆者提出應用深度玻爾茲曼機(Deep Boltzmann Machine，DBM)進行特征提取.DBM在國家標準技術局(MNIST)數據庫的識別上具有優秀的分類能力，其對圖像集合進行無監督特征學習的能力得到了肯定[11-12].使用DBM從火焰自由基圖像集中學習到的特征是否能夠用于NOx預測尚無研究.筆者通過DBM從火焰自由基圖像集學習得到其特征后，集成最小二乘支持向量回歸，建立了NOx預測模型.

1　NOx預測算法的建立

1.1基于DBM模型的圖像特征學習

自從2006年深度學習取得突破進展后，深度學習的相關算法已經成為信號/圖像模式識別相關研究和應用的熱門方向[11].相較于現存的機器學習算法，深度學習在無監督特征提取這一方面更為恰當.深度玻爾茲曼機[12]是深度學習中較為重要的一類生成模型,該模型由多個受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)堆疊組成一個階層式的網絡結構，每一層的RBM由無監督貪婪算法進行訓練.圖1給出了DBM的訓練過程框圖，其訓練過程可歸納為以下2點.

(1) 根據可見層狀態v來得到隱含層狀態h，這個過程的建模[12]如下：

(1)

(2)

(2) 通過隱含層狀態h重構可見層狀態得到v*，這個過程的建模如下：

(3)

(4)

式中：P(·|·)為條件概率；Wij為連接DBM網絡的權重；j為權重；aj和bi為偏置項.

圖1　DBM訓練過程框圖

雖然RBM的可見層和隱含層在層內無連接，但是層間有連接.當給定了可見層狀態v時，隱含層單元的激活狀態h是相互獨立的；反之，給定隱含層狀態h，各可見層單元的狀態v也是相互獨立的，這使得特征學習中涉及的概率分布計算更為便捷.而DBM的無監督特征學習就是通過這種學習方式階層式的得以實現.

1.2集成最小二乘支持向量回歸的NOx預測

1.2.1最小二乘支持向量回歸

(5)

式中：φ(x)為非線性映射，其將輸入空間映射到一個高維的特征空間；e為權重向量；d為偏置項.

將上述問題轉換為求解線性方程組，并表達為如下優化問題：

(6)

式中：γ為懲罰系數；ξi為松弛變量.

LSSVM的最終解可表示為

(7)

式中：ci為拉格朗日乘子;K(*)為核函數.

當LSSVM用于求解回歸問題時，上述求解過程被稱為最小二乘支持向量回歸(LeastSquare-SupportVectorRegression，LSSVR).筆者在之前的研究中驗證了高斯徑向基函數作為核函數的LSSVR相較于其余的機器學習算法更適于擬合圖像特征與NOx排放量的關系[9],因此采用LSSVR建立預測模型.高斯徑向基函數的定義如下：

(8)

式中：σ為核參數.

1.2.2NOx預測算法

圖2為NOx預測算法的示意圖.當給定火焰自由基圖像的訓練集合(包含p個樣本)和測試集合(包含q個樣本)，NOx預測算法可歸納如下：

圖2　NOx預測算法示意圖

(9)

式中:ui為權值.

2　實驗結果與分析

2.1火焰自由基圖像集與NOx檢測

燃燒實驗在小型生物質-燃氣燃燒實驗裝置上進行.火焰自由基圖像由一個光增強成像系統[15]獲得.主要的燃料是生物質(柳木)和丙烷.柳木的工業分析見表1[16]，當柳木被研磨成細微顆粒后，由旋轉給料機送入燃燒器.通過改變給料機的轉速(10～40 Hz，以5 Hz為間隔)，總共產生7組燃料質量流量，即7種測試條件.丙烷的體積流量被固定為0.6 L/min.在每種測試條件下，每種火焰自由基拍攝100幅圖像，4種火焰自由基圖像同時被成像系統獲取.圖3給出了4種火焰自由基圖像的示例.

表1　柳木的工業分析

(a)OH*(308 nm)

(b)CN*(387 nm)

(c)CH*(432mm)

(d)(514mm)

圖3火焰自由基圖像

Fig.3Flame radical images

在拍攝火焰自由基圖像過程中，采用KANE 900 PLUS煙氣分析儀來采集煙氣中的NOx排放值.每種測試條件下采集3次NOx排放值，將其均值作為預測模型的參考值.火焰自由基圖像與NOx排放參考值組成了一個完備的標簽數據集合.該標簽數據集合包含了700個樣本，將其劃分為訓練集和測試集，其中訓練集(420個樣本)用來訓練NOx的預測模型，測試集(280個樣本)用來檢驗預測模型的預測效果.

在通常的固體燃料(特別是生物質)燃燒溫度下，燃料型NOx中的揮發分NOx占很大比例(也有少量焦炭NOx).研究表明,在氧化性氣氛中，隨著過量空氣系數的增大，揮發分NOx在燃料型NOx中占的比例遠超過焦炭NOx[17].且與煤焦相比，生物質焦具有更加良好的還原性，對焦炭NOx的生成有一定的抑制作用[18].考慮到本實驗是在小型試驗爐上使用揮發分較高的生物質燃料(表1)，因此煙氣分析儀檢測的NOx可視為揮發分NOx(即焦炭NOx可以忽略不計).但在實際鍋爐燃燒中，2種NOx都應考慮.

2.2NOx預測算法穩定性分析及其預測結果

DBM可以對給定的圖像集進行無監督的特征學習，學習過程的不唯一性使得學習到的圖像特征集合具有隨機性：(1)將訓練DBM的無監督貪婪方法設置相同的訓練次數，進行多次獨立的特征學習，獲取的圖像特征集合是不同的；(2)設置不同的訓練次數進行獨立的特征學習，可以發現得到的圖像特征集合也是不同的.為分析圖像特征集合的隨機性對NOx預測結果的影響，采用如下計算方法：將訓練次數設置為10，獨立訓練50次DBM，可以得到50個獨立的隨機圖像特征集合；采用LSSVR計算這50個圖像特征集合對應的NOx排放預測值，根據所得NOx排放預測值計算對應的50個均方根誤差，之后訓練次數以10為間隔遞增，到100截止，重復上面的計算.

(10)

圖4給出了依據上述計算方法得到的均方根誤差的變化曲線.由圖4可知，隨著訓練次數的增加，均方根誤差的數值變化并無規律性，但有上限.因此，可以認為在不同的訓練次數下，依據DBM學習的圖像特征集合得到的NOx排放預測值具有隨機性，這也是NOx預測算法中需要集成多個LSSVR進行計算的原因.此外，當DBM的訓練次數固定時，測試中均方根誤差的最大標準差為0.74 mg/m3，對應訓練次數為60，均方根誤差的最小標準差為0.02 mg/m3,對應訓練次數為20.圖4中均方根誤差的數值是在一個較小的范圍內變動的，因此可以認為雖然訓練次數相同時得到的圖像特征集合具有隨機性，但是相應的NOx排放預測值是穩定的.

圖4　不同圖像特征集合的預測結果的均方根誤差

Fig.4RMSE values of prediction results for different image feature sets

另外，在第1.2節提出的NOx預測算法中，設置DBM的總訓練次數為100，在區間[1,100]內進行50次獨立隨機抽樣.圖5給出了根據相應預測結果得到50個均方根誤差值.由圖5可知，最大的均方根誤差對應第35次抽樣，其值為1.81 mg/m3；最小的均方根誤差對應第1次抽樣，其值為0.82 mg/m3；均方根誤差均值為1.35 mg/m3，距離均方根誤差均值最近的為第40次抽樣，其值為1.33 mg/m3.表2給出了這3組抽樣在每種測試條件下的NOx排放預測值相對誤差的最大值.表2中，對于每一縱列，當燃料質量流量給定時，3組典型抽樣對應的相對誤差較小，這說明預測結果是穩定的.

圖5　50次隨機抽樣的預測結果的均方根誤差

由于第40次抽樣對應的均方根誤差在數值上最接近50次獨立預測得到的均方根誤差均值，因此圖6給出了第40次抽樣對應的NOx排放預測值的相對誤差.由圖6可知，根據測試樣本計算得到的280個NOx排放預測值中，共有274個NOx排放預測值的相對誤差分布在±2%，而不在±2%的6個NOx排放預測值為測試條件1中的4個值，相對誤差分別為7.7%、2.5%、5.7%和3.4%；測試條件3中的一個值，相對誤差為4.7%；測試條件4中的一個值，相對誤差為3.8%.這些NOx排放預測值均沒有顯著偏離每種測試條件下的NOx排放參考值，說明預測結果精度較高.這一方面是因為DBM提供了良好的特征學習，使得測試集與訓練集的特征相似度高；另一方面是因為算法集成了多個LSSVR，降低了預測結果的隨機性.因此可以認為算法的預測結果穩定.

表23組典型抽樣對應的NOx排放預測值相對誤差的最大值

Tab.2　Maximum relative errors of NOx emission prediction for three typical samplings %

圖6　NOx排放預測值的相對誤差

2.3不同NOx預測算法之間的比較分析

圖7給出了上述4種預測算法以及本文預測算法的比較結果.從圖7可以看出，本文預測算法得到的均方根誤差在數值上顯著低于其他4種預測算法，這源于DBM提供了良好的圖像特征，階層式地對火焰自由基圖像進行了算法統計建模.基于IR算法和IC算法計算得到的均方根誤差值較高，因為這2類圖像特征只提供了不完全的統計描述，且僅考慮了火焰自由基圖像灰度值這個因素，卻完全忽略了自由基圖像的面積；當燃燒情況比較劇烈時，火焰自由基圖像的灰度均值也會有較大的變化波動，從而導致較大的預測偏差.CTZM算法和NMF-TA算法都是利用預先設定的數學公式計算圖像的特征，它們不能像DBM一樣根據圖像集合的特點自動學習圖像特征，因此二者的預測結果劣于本文預測算法.

圖7　各預測算法均方根誤差值的比較

對于真實的鍋爐燃燒環境，雖然由于燃料類型、燃燒器結構和配風等因素會導致獲取的火焰自由基圖像形狀發生較大變化，但預測模型中的特征學習過程確保了所提取的火焰自由基圖像特征可以根據所獲取的圖像進行調整，而且預測模型是數據驅動的，相應圖像特征與對應的NOx的變化都將直接反映在所構建的NOx預測模型中，從而降低了預測誤差.但是在實際的燃燒過程中，自由基形狀變化對NOx生成的實際影響程度還需進一步量化研究，特別是燃料型NOx中焦炭NOx的生成對NOx預測模型的影響.

3　結　論

通過對火焰自由基圖像與NOx排放關聯性的研究，提出了一種基于自由基圖像的集成深度玻爾茲曼機和最小二乘支持向量回歸的NOx預測算法.在小型生物質-氣體燃燒試驗爐中的實驗結果表明，NOx排放預測值與煙氣分析儀測量的NOx排放參考值具有較好的一致性，且預測結果穩定.與已有的基于火焰自由基圖像特征的NOx預測算法相比，本文算法的預測結果更加準確，測試集對應的NOx排放預測值的相對誤差幾乎分布在±2%.這些結果表明了所提算法的實用性，對于基于火焰自由基圖像法在實際鍋爐燃燒中進行NOx準確預測具有一定指導意義.

[1]潘玲穎，麻林巍, 周喆，等.2030年中國煤電SO2和NOx排放總量的情況研究[J].動力工程學報，2010，30(5)：378-383.

PAN Lingying, MA Linwei, ZHOU Zhe,etal. Scenario analysis on total SO2and NOxemission of China's coal-fired power plants in 2030[J].Journal of Chinese Society of Power Engineering,2010, 30(5):378-383.

[2]中華人民共和國環境保護部.GB 13271—2014鍋爐大氣污染物排放標準[S].北京：中國環境科學出版社，2014：7-1.

[3]高芳，翟永杰，卓越，等.基于共享最小二乘支持向量機模型的電站鍋爐燃燒系統的優化[J].動力工程學報，2012，32(12)：928-933.

GAO Fang, ZHAI Yongjie, ZHUO Yue,etal. Combustion optimization for utility boilers based on sharing LSSVM model [J]. Journal of Chinese Society of Power Engineering,2012,32(12): 928-933.

[4]牛培峰，肖興軍，李國強，等.基于萬有引力搜索算法的電廠鍋爐NOx排放模型的參數優化[J].動力工程學報，2013,33(2)：100-106.

NIU Peifeng, XIAO Xingjun, LI Guoqiang,etal.Parameter optimization for NOxemission model of power plant boilers based on gravitational search algorithm[J].Journal of Chinese Society of Power Engineering,2013,33(2):100-106.

[5]ZHOU Hao, CEN Kefa, MAO Jianbo. Combining neural network and genetic algorithms to optimize low NOxpulverized coal combustion [J].Fuel, 2001, 80(15):2163-2169.

[6]SANDROWITZ A K, COOKE J M, GLUMAC N G. Flame emission spectroscopy for equivalence ratio monitoring[J].Applied Spectroscopy,1998, 52(5): 658-662.

[7]BOMBACH R, KAPPELI B. Simultaneous visualisation of transient species in flames by planar-laser-induced fluorescence using a single laser system[J]. Applied Physics B, 1999, 68(2):251-255.

[8]李新利，李玲，盧鋼，等. 基于火焰自由基成像和支持向量機的燃燒過程NOx排放預測[J]. 中國電機工程學報，2015，35(6)：1413-1419.

LI Xinli, LI Ling, LU Gang,etal. NOxemission prediction based on flame radical profiling and support vector machine[J]. Proceedings of the CSEE, 2015, 35(6):1413-1419.

[9]LI Nan, LU Gang, LI Xinli,etal. Prediction of pollutant emissions of biomass flames through digital imaging, contourlet transform, and support vector regression modeling[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(9):2409-2416.

[10]LI Nan, LU Gang, LI Xinli,etal. Prediction of NOxemissions from a biomass fired combustion process through digital imaging, nonnegative matrix factorization and fast sparse[C]//Proceedings of the IEEE International Instrumentation and Measurement Technology Conference.Pisa, Italy: IEEE, 2015:176-180.

[11]DONG Yu, LI Deng. Deep learning and its applications to signal and information[J]. IEEE Processing of Signal Processing Magazine, 2011, 28(1):145-154.

[12]BENGIO Y. Learning deep architectures for AI[J]. Foundations and Trends?in Machine Learning,2009, 2(1):1-127.

[13]CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995,20(3):273-297.

[14]SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3):293-300.

[15]KRABICKA J, LU Gang, YAN Yong. Profiling and characterization of flame radicals by combining spectroscopic imaging and neural network techniques[J]. IEEE Transactions on Instrumentation and Measurement, 2011, 60(5):1854-1860.

[16]WILLIAMS A, JONES J M, MA L,etal. Pollutants from the combustion of solid biomass fuels[J]. Progress in Energy and Combustion Science, 2012, 38(2):113-137.

[17]白衛東.電站鍋爐煤粉火焰安全監測及燃燒診斷方法研究[D].杭州：浙江大學，2004.

[18]柏繼松.生物質燃燒過程氮和硫的遷移、轉化特性研究[D].杭州：浙江大學，2012.

NOxEmission Prediction Based on Deep Boltzmann Machine Integrated with Least Square Support Vector Regression

LINan1,LUGang2,LIXinli1,YANYong1,2

(1. School of Control and Computer Engineering, North China Electric Power University,Beijing 102206, China; 2. School of Engineering and Digital Arts, University of Kent,Canterbury, Kent CT2 7NT, UK)

flame radical image; deep Boltzmann machine; least square support vector regression; NOxemission prediction

2015-09-11

國家重點基礎研究發展計劃資助項目(973 計劃)(2012CB215203)；111引智資助項目(B13009)

李楠(1984-)，男，河南平頂山人，博士，主要從事機器學習、圖像分析、污染物預測等方面的研究.電話(Tel.):15120028906；E-mail：smile_mokou@163.com.

1674-7607(2016)08-0615-06

X511

A學科分類號：610.30