基于高斯過程回歸的燃煤煙氣汞排放預測

鐘 美， 趙兵濤， 黃 朔

(上海理工大學 能源與動力工程學院，上海 200093)

?

基于高斯過程回歸的燃煤煙氣汞排放預測

鐘 美， 趙兵濤， 黃 朔

(上海理工大學 能源與動力工程學院，上海 200093)

選取對煙氣汞排放影響顯著的特征參數，采用一類新的隨機過程方法——高斯過程回歸模型來預測煙氣中單質汞、氧化汞和顆粒汞的排放濃度,分別討論了協方差函數和樣本比例對模擬預測精度的統計學影響.結果表明:平方指數協方差函數優于有理二次協方差函數和Matern協方差函數；預測精度隨樣本比例的增大而提高；高斯過程回歸模型優于常規非線性模化方法并顯示出更好的魯棒性，對煙氣中汞的形態預測有較好的適用性.

燃煤煙氣； 汞形態； 高斯過程回歸； 模化； 預測

化石燃料燃燒特別是煤燃燒過程中生成的污染物已經成為一類重要的能源與環境問題.除SO2、NOx和CO2以外，汞的排放以其劇毒性、累積性和持久性越來越受到重視[1-3].燃煤煙氣中汞通常有3種形態：單質汞(Hg0)、氧化汞(Hg2+)和顆粒汞(Hgp).不同形態的汞之間可以相互轉化，且煤的特性(如煤的熱值，煤中Hg、Cl、S的含量等)和操作條件(如爐膛的溫度和壓力)等眾多因素對汞的形態都會產生影響.

為了有效預測燃煤煙氣汞排放的形態與濃度，近十年來已發展出相關的理論和方法，如神經網絡(ANN)、基于組的數據處理誘導神經網絡法(GMDH-ANN)、支持向量機(SVM)和貝葉斯正則化人工神經網絡(BRANN).但是這些方法本身仍存在問題，如神經網絡法存在最優網絡結構(隱層神經元個數)難以確定和過擬合的問題；SVM的核函數的最優化參數需要經過優化算法耦合，以交叉驗證的復雜過程確定.同時，上述方法的結果大多是孤立、單次的預測結果，缺乏實際統計學指導意義.

高斯過程回歸(GPR)是近年來發展的一種新型貝葉斯非參數模型[4-5]，它是一種定義在無限維參數空間上的貝葉斯模型，可以很好地自適應接收到數據.筆者應用該方法對燃煤過程中不同形態的汞排放濃度進行模化和預測，以期對其評估和控制提供有效方法和手段.

1 高斯過程回歸模型的基本原理

在高斯過程回歸模型中，給定訓練集D={(xi,yi)|i=1,2,…,n}，其中xi、yi分別表示D中的第i個輸入和輸出向量.高斯過程回歸模型對輸入向量與目標輸出之間的關系f進行推斷，即給定輸入向量時確定目標輸出的條件分布[6].

假定f是一個以m為均值函數、k為協方差函數的高斯過程，即f～GP(m，k).高斯過程是一個隨機過程，可由其均值函數與協方差函數完全確定[7].

根據高斯過程的定義可知，f(x1)，f(x2)，…，f(xn)服從多元高斯分布，且該多元高斯分布的均值向量為m(xi)，協方差矩陣為K，因此

(1)

實際中的目標輸出通常會包含一些噪聲：y=f(x)+ε，其中ε～N(0,σn2).

于是問題轉換為已經觀測到訓練集D：yi=f(xi)+εi(i=1，2，…，n)，需要在測試集D*={(xi*,yi*)|i=n+1,n+2,…,n+n*}預測對應的輸出值f*.設置高斯過程的均值函數為零常函數，訓練集的輸出向量y和測試集的預測值f*的多元高斯分布為

(2)

其中，K*=[k(x*,x1),k(x*,x2),…,k(x*,xn)],K**=k(x*,x*).

式中：σn為噪聲的標準差.

根據多元高斯分布的條件分布形式，可得出高斯過程回歸模型預測方程的關鍵：

(3)

式中：矩陣X由訓練集的輸入xi的列向量組成；矩陣X*由測試集的輸入xi*的列向量組成.

(4)

(5)

協方差函數對于高斯過程至關重要，在高斯過程回歸模型中協方差函數(即核函數)必須滿足Mercer條件.采用了3種協方差函數：

平方指數協方差(SE)函數：

(6)

有理二次協方差(RQ)函數：

(7)

Matern協方差(Matern)函數

(8)

式中：σf2為核函數的信號方差;M=diag(l-2)；l為關聯性測定超參數；δij為克洛內克爾符號，i和j相同時為1，不同時為0，其值越大，說明輸入與輸出的相關性越小，表示控制局部相關性的程度；α為核函數的形狀參數；j=1,2，…，n.

令超參數θ=(l，σf，σn)，可通過極大似然法自適應獲得最優解.首先建立訓練樣本條件概率的負對數似然函數，并令其對超參數求偏導，然后采用共軛梯度法對該偏導數進行最小化，以得到超參數的最優解.

2 基于GPR的汞排放濃度預測的模化方法與過程

2.1 變量參數與數據樣本

影響煙氣中各種形態汞排放濃度的因素較多，選取6個較為顯著的影響因素來分析其對煙氣中汞排放濃度的影響.

研究表明，在溫度高于400 K的還原性氣氛及溫度高于600 K的氧化性氣氛的煙氣中，99%以上的汞以單質汞的形態存在[8].分析S對汞形態的影響，結果表明，在燃燒產生的氧化性氣氛煙氣中，隨著煙氣溫度的降低，單質汞將發生化學反應生成氧化汞，S的存在可以促進汞元素以固相硫酸汞的形式沉積下來[9].Cl對汞形態的影響在氧化性氣氛中表現為，煙氣中Cl的含量越大，生成穩定相氯化汞的溫度范圍越寬[8].煙氣中單質汞的濃度基本隨著煤中Cl含量的增加而降低[10].汞吸附量隨飛灰燒失量的增加而增加.飛灰中不同類型介質的氣相汞吸附特性差異顯著，其中未燃盡碳吸附性能最強，吸附劑的比表面積與其汞吸附量呈正相關關系.燃煤飛灰碳粒所具有的多孔隙結構和巨大比表面積有利于吸附、脫除煙氣中的汞，使得煙氣中氧化汞和單質汞含量降低[11].煙氣中的NOx與飛灰相互作用還可以催化氧化單質汞[12].煤中的汞可以在150 ℃左右的低溫下揮發，在爐膛內燃燒溫度下，汞將蒸發并以單質汞的形態存在于氣相中，隨著煙氣溫度降低，單質汞會與煙氣中的其他成分發生一系列化學反應，最終大部分汞將以單質態隨煙氣排放到環境中[13].汞元素和氯元素都是煤中最易揮發的元素，它們在煤熱解過程中迅速蒸發，然后在氣相中相互反應[10].煤的部分發熱量可間接地反映在鍋爐負荷上，隨著鍋爐負荷的降低，煙氣中汞的排放總量降低，煙氣中汞的濃度略有下降[14].

基于上述分析，選取煤的發熱量，煤中Hg含量、Cl含量和S含量，以及灰分和溫度作為GPR的輸入變量，3種形態的汞濃度作為輸出變量.數據庫共計82組數據，均來源于文獻[15].高斯過程回歸模型模擬預測分為2個步驟，首先確定訓練樣本和測試樣本，再以訓練樣本對高斯過程回歸模型進行訓練，以測試樣本進行驗證，最后評估其模擬和泛化性能.

2.2 歸一化處理

不同評價指標往往具有不同的量級和單位，會影響到數據分析的結果.為消除數據指標之間的量級影響和解決其不可比性的問題，對數據進行歸一化處理.將所有數據轉化成處于同一數量級的無量綱數，且全部落在0～1，以進行綜合對比評價.最后，對模擬結果進行反歸一化處理，得到具有量綱單位的汞形態濃度作為輸出.

2.3 評價指標

采用均方誤差(E2)和確定系數(R2)對預測結果和模型進行評價.

(9)

(10)

為了避免單次模擬結果的隨機性影響，采用上述指標的10次均值統計結果進行評估.

3 結果與討論

3.1 協方差函數的影響

為了比較不同協方差函數對高斯過程回歸模型模擬結果的影響，固定訓練樣本和測試樣本比例為85%∶15%，即訓練組為70組數據，測試組為12組數據，采用3種協方差函數進行了10次隨機模擬，測試組統計結果見表1.

表1 不同協方差函數隨機10次預測結果的統計值

Tab.1 Statistics of random 10 times of prediction results by different covariance functions

汞形態SERQMaternR2E2R2E2R2E2Hg00．85920．00830．84010．00930．80890．0093Hg2+0．85590．02020．83400．02080．83700．0214Hgp0．86230．00660．81150．00680．80420．0066

從預測結果可以看出采用不同核函數時測試樣本的預測精度不同.對測試樣本預測精度的比較表明，SE核函數具有更好的性能.盡管對于訓練樣本而言，3個核函數均可達到較高的預測精度，SE的R2為0.94～0.96，RQ的R2為0.94～0.97，Matern的R2為0.98～1，三者的R2≥0.94.基于Matern核函數的模型可以達到近似1的確定系數以及近似0的誤差精度，但這同時可能導致過擬合現象.由于測試樣本的預測精度更能反映模型本身的魯棒性和泛化性能，因此最優協方差函數為SE.

3.2 樣本比例的影響

為比較不同訓練樣本與測試樣本的比例對汞排放濃度預測結果的影響，現固定SE為優化選擇的協方差函數，分別比較訓練樣本與測試樣本比例為80%∶20% (66組和16組)、85%∶15%(70組和12組)及90%∶10%(74組和8組)時10次隨機預測結果的統計值，測試組結果見表2.

總體上，預測精度隨樣本比例的增大而提高，盡管樣本比例對訓練樣本的預測精度影響不大，R2為0.93～0.97，但是隨著樣本比例的增大，測試樣本的預測精度有所提高.這與模型獲得的學習信息的健全度有關，對于汞排放濃度數據挖掘的深度和廣度有助于模型泛化性能的提高.

3.3 與其他模型的比較

為了表征最優化的GPR預測性能，圖1～圖3給出了以85%∶15%作為訓練組和測試組的樣本比例，平方指數協方差(SE)函數作為核函數，在對單質汞(Hg0)、氧化汞(Hg2+)和顆粒汞(Hgp)的10次隨機預測結果中最優的模擬結果.對于單質汞和顆粒汞，測試組的均方誤差(MSE)均比訓練組小.就確定系數而言，訓練組的確定系數(0.926～0.954)遠小于測試組的確定系數(0.957～0.986)，說明對于未知的數據，高斯過程回歸模型具有良好的預測性能，并且可以得出比訓練組更準確的預測結果.

表2 不同樣本比例時10次隨機預測結果的統計值

Tab.2 Statistics of random 10 times of prediction results for different sample ratios

汞形態90%∶10%85%∶15%80%∶20%R2E2R2E2R2E2Hg00．88830．00740．85920．00830．78680．0111Hg2+0．90210．01410．85590．02020．81780．0137Hgp0．89240．00540．86230．00660．76260．0078

圖1 對單質汞的模擬結果

圖2 對氧化汞的模擬結果

圖3 對顆粒汞的模擬結果

表3給出了不同模型對煙氣中汞形態預測的模擬結果，所有模型模擬數據均來源于參考文獻[15].

表3 煙氣汞形態預測的其他方法

Tab.3 Other methods for prediction of mercury speciation in coal-fired flue gas

模型訓練樣本組數∶測試樣本組數預測結果E2 Hg0/Hg2+/Hgp R2 Hg0/Hg2+/Hgp MLP?ANN[15]81∶10．975/0．975/0．975GMDH[16]72∶100．490/0．250/0．5201)SVM[17]66∶160．0095/0．0095/0．00950．8397/0．8397/0．8397BRANN[18]70∶120．982/0．933/0．870GA?BP[19]64∶112)0．1543～0．45103)MNR70∶120．0147/0．0270/0．00590．863/0．765/0．853GPR70∶120．0019/0．0089/0．00090．9860/0．9571/0．9830

注：1)絕對平均誤差(MAE)；2)選取了82組中的75組；3)向量誤差.

Jensen等[15]使用多層感知器-人工神經網絡(MLP-ANN)對煙氣中汞的形態進行模擬.MLP-ANN具有3層網絡結構：輸入層、隱藏層和輸出層.優化結果表明，隱藏層的節點數為8時具有最好的性能.MLP-ANN的結構通過反向傳播進行訓練，以優化權重集使得預測值與實際值間的誤差最小為目的.其對預測值的確定系數為0.975，雖然結果較好，但只取一組數據并不能全面表征網絡的泛化性能，并且神經網絡自身存在隱藏層神經元個數難以確定和過擬合的問題.

基于組的數據處理算法(GMDH)的誘導網絡[16]與神經網絡相比，可以更快建立模型，且很少或不需要用戶的干預，模型收斂更快，不陷于局部最小值，可自動選擇有效的輸入變量、自動配置模型的結構.GMDH對訓練組的模擬結果確定系數為0.945/0.884/0.869(Hg0/Hg2+/Hgp).雖然2種方法采取的樣本容量稍有不同(GMDH訓練組為72組)，且GMDH在研究輸入對輸出的影響權重方面有很好的指示性，但其預測性能不如高斯過程回歸模型.

支持向量機(SVM)[17]是一種基于核函數的學習機器，其泛化能力在很大程度上依賴于所選擇的核函數.且SVM核函數的選定及其最優化參數需要通過優化算法與交叉驗證的方法確定.SVM在核函數參數尋優過程中花費的中央處理器(CPU)時間成本高于高斯過程回歸模型.從模擬結果來看，SVM對訓練組的擬合程度很高，確定系數為0.979 5，高于本文中的高斯過程回歸模型，但對于測試組而言，確定系數僅為0.839 7，遠低于高斯過程回歸模型的預測結果.比較訓練組與測試組的確定系數可以看出，SVM較容易出現過擬合，對未知數據的預測性能較高斯過程回歸模型差.

貝葉斯正則化人工神經網絡(BRANN)[18]使用的是3層前饋網絡，輸入層、隱藏層和輸出層節點數分別為6、12和3.通過各層之間的連接權重和偏差值對輸入進行轉化，最后得到輸出值.模擬結果表明，雖然訓練組的確定系數0.956/0.951/0.962(Hg0/Hg2+/Hgp)較高，但是對于測試組的確定系數，高斯過程回歸模型優于貝葉斯正則化人工神經網絡模型.可見貝葉斯正則化人工神經網絡模型測試組的預測結果準確性低于訓練組模擬結果的準確性，而高斯過程回歸模型模擬結果則表明測試組預測結果的準確性可以遠高于訓練組，這說明高斯過程回歸模型對未知數據的泛化性能遠優于貝葉斯正則化人工神經網絡模型.

為進一步比較高斯過程回歸模型與傳統的多元非線性回歸(MNR)模型的預測精度，表3給出了其比較結果.由表3可以看出，高斯過程回歸模型的模擬結果遠優于多元非線性回歸模型，表明變量對汞排放的影響不是簡單的指數關系.此外，多元非線性回歸模型需要預先定義經驗模型，而高斯過程回歸模型只需要提供訓練組數據就可以對模型進行訓練，且多元非線性回歸模型不適用于復雜、高度非線性數據的擬合.

4 結 論

(1)高斯過程回歸模型自適應性強，與神經網絡和支持向量機相比,具有容易實現、超參數自適應獲取等優點.將其應用于燃煤煙氣中不同形態汞排放濃度的預測是可行的.由于燃燒過程中汞形態和濃度的影響因素眾多，在自變量的選取上沒有考慮飛灰的理化特性和鍋爐負荷等因素的影響，后續將會對此進行研究.此外，由于數據樣本規模的限制，僅對82組數據進行了模擬，如有更多數據樣本，可進一步提高模型的準確性和可靠性.

(2)隨機模擬的統計學性能表明，核函數的選取對高斯過程回歸模型的結果產生影響.平方指數協方差函數作為核函數時，其泛化性能優于有理二次協方差函數和Matern協方差函數.

(3)訓練樣本與測試樣本的比例發生變化時，預測結果也隨之發生變化.預測結果的統計學精度隨訓練樣本與測試樣本比例的增大而提高.

(4)與已有的預測模型和傳統多元非線性回歸模型相比，GPR具有較高的預測精度和泛化性能.

[1] LI P, FENG X B, QIU G L,etal. Mercury pollution in Asia: a review of the contaminated sites[J]. Journal of Hazardous Materials, 2009, 168(2/3): 591-601.

[2] GRAYDON J W, ZHANG X, KIRK D W,etal. Sorption and stability of mercury on activated carbon for emission control[J]. Journal of Hazardous Materials, 2009, 168(2/3): 978-982.

[3] 楊建平, 趙永椿, 張軍營, 等. 燃煤電站飛灰對汞的氧化和捕獲的研究進展[J]. 動力工程學報, 2014, 34(5): 337-345.

YANG Jianping, ZHAO Yongchun, ZHANG Junying,etal. Research process on mercury oxidation and capture with fly ash of coal-fired power plant[J]. Journal of Chinese Society of Power Engineering, 2014, 34(5): 337-345.

[4] RASMUSSEN C E, WILLIAMS C K I. Gaussian processes for machine learning[M]. Cambridge, Massachusetts USA: MIT Press, 2006.

[5] KOTTAS A, BEHSETA S, MOORMAN D E,etal. Bayesian nonparametric analysis of neuronal intensity rates[J]. Journal of Neuroscience Methods, 2012, 203(1): 241-253.

[6] 何志昆, 劉光斌, 趙曦晶, 等. 高斯過程回歸方法綜述[J]. 控制與決策, 2013, 28(8): 1121-1129, 1137.

HE Zhikun, LIU Guangbin, ZHAO Xijing,etal. Overview of Gaussian process regression[J]. Control and Decision, 2013, 28(8): 1121-1129, 1137.

[7] PARK C, HUANG J Z, DING Y. Domain decomposition approach for fast Gaussian process regression of large spatial data sets[J]. The Journal of Machine Learning Research, 2011, 12(4): 1697-1728.

[8] 劉迎暉, 鄭楚光, 游小清, 等. 氯元素對煙氣中汞的形態和分布的影響[J]. 環境科學學報, 2001, 21(1): 69-73.

LIU Yinghui, ZHENG Chuguang, YOU Xiaoqing,etal. Effect of chlorine on the speciation of mercury in flue gases[J]. Acta Scientiae Circumstantiae, 2001, 21(1): 69-73.

[9] 王泉海, 邱建榮, 吳昊. 硫元素對煙氣中汞的形態和分布的影響[J]. 燃燒科學與技術, 2003, 9(2): 135-138.

WANG Quanhai, QIU Jianrong, WU Hao. Effect of sulfur on the speciation of mercury in flue gases[J]. Journal of Combustion Science and Technology, 2003, 9(2): 135-138.

[10] CAO Yan, DUAN Yufeng, KELLIE S,etal. Impact of coal chlorine on mercury speciation and emission from a 100 MW utility boiler with cold-side electrostatic precipitators and low-NOxburners[J]. Energy & Fuels, 2005, 19(3): 842-854.

[11] 彭蘇萍, 王立剛. 燃煤飛灰對鍋爐煙道氣汞的吸附研究[J]. 煤炭科學技術, 2002, 30(9): 33-35.

PENG Suping, WANG Ligang. Study on Hg adsorption of flying ash in flue gas[J]. Coal Science and Technology, 2002, 30(9): 33-35.

[12] LAUDAL D L, BROWN T D, NOTT B R. Effects of flue gas constituents on mercury speciation[J]. Fuel Processing Technology, 2000(65/66): 157-165.

[13] 楊祥花, 江貽滿, 楊立國, 等. 燃煤汞形態分布和排放特性研究[J]. 潔凈煤燃燒與發電技術, 2006(1): 13-16.

YANG Xianghua, JIANG Yiman, YANG Liguo,etal. Research summary on phase distribution and emission characteristics of Hg of burned-coal[J]. Energy Research & Utilization, 2006(1): 13-16.

[14] 朱珍錦, 薛來, 談儀, 等. 負荷改變對煤粉鍋爐燃燒產物中汞的分布特征影響研究[J]. 中國電機工程學報, 2001, 21(7): 87-90, 94.

ZHU Zhenjin, XUE Lai, TAN Yi,etal. Studies on characteristics of mercury distribution in combustion products at various loads of A P. C.-fired utility boiler[J]. Proceedings of the CSEE, 2001, 21(7): 87-90, 94.

[15] JENSEN R R, KARKI S, SALEHFAR H. Artificial neural network-based estimation of mercury speciation in combustion flue gases[J]. Fuel Processing Technology, 2004, 85(6/7): 451-462.

[16] ABDEL-AAL R E. Predictive modeling of mercury speciation in combustion flue gases using GMDH-based abductive networks[J]. Fuel Processing Technology, 2007, 88(5): 483-491.

[17] ZHAO Bingtao, ZHANG Zhongxiao, JIN Jing,etal. Modeling mercury speciation in combustion flue gases using support vector machine: prediction and evaluation[J]. Journal of Hazardous Materials, 2010, 174(1/3): 244-250.

[18] TICKNOR J L, HSU-KIM H, DESHUSSES M A. A robust framework to predict mercury speciation in combustion flue gases[J]. Journal of Hazardous Materials, 2014, 264C(2): 380-385.

[19] 吳成軍, 段鈺鋒. 燃煤煙氣中汞形態分布的神經網絡預測研究[J]. 電站系統工程, 2007, 23(6): 15-18.

WU Chengjun, DUAN Yufeng. Forecasting the distribution of mercury speciation in coal-fired flue gas based on neural networks[J]. Power System Engineering, 2007, 23(6): 15-18.

Prediction of Mercury Emission from Coal-fired Flue Gas Based on Gaussian Process Regression

ZHONG Mei, ZHAO Bingtao, HUANG Shuo

(School of Energy and Power Engineering, University of Shanghai for Science and Technology,Shanghai200093,China)

By selecting the parameters which significantly influence the mercury emission from coal-fired flue gas, the concentration of elemental, oxidized and particulate mercury in flue gas was predicted using Gaussian process regression, a new random process method, while the effects of covariance function and train-test sample ratio on the simulation accuracy were respectively studied. Results show that the squared exponential covariance function is better than rational quadratic and Matern covariance function; the predicted accuracy increases with the rise of train-test sample ratio; Gaussian process regression is superior to traditional modeling methods of nonlinear regression, and displays good generalization ability, which therefore has strong applicability in prediction of mercury speciation in coal-fired flue gas.

coal-fired flue gas; mercury speciation; Gaussian process regression; modeling; prediction

2016-01-12

2016-03-08

國家自然科學基金資助項目(50806049，51278095)；上海市自然科學基金資助項目(08ZR1415100)；滬江基地建設資助項目(D14001)

鐘 美(1990-)，女，江西贛州人，碩士研究生，研究方向為燃燒污染物排放控制. 趙兵濤(通信作者)，男，副教授，電話(Tel.)：021-55271751；E-mail: zhaobingtao@usst.edu.cn.

1674-7607(2016)12-0987-06

TK16

A 學科分類號：470.30