循環流化床鍋爐燃燒系統的神經網絡模型研究

李國強， 齊曉賓， 陳 彬， 張 露

(燕山大學 河北省工業計算機控制工程重點實驗室，河北秦皇島 066004)

熱電廠鍋爐燃燒系統產生的氮氧化物(主要是NO和NO2，統稱NOx)是大氣的主要污染源之一[1-2]。準確預測NOx的排放特性對于調整系統輸入量、減少NOx排放量和改善大氣質量有著至關重要的作用。然而，影響鍋爐NOx排放量的因素很多，且鍋爐的燃燒過程具有強耦合和非線性等特征，很難用機理模型去描述。近些年，神經網絡廣泛應用于解決工程領域中的建模與控制問題，但傳統神經網絡訓練模型需經多次迭代調整才能確定網絡權值[3]，存在計算時間長和易陷入“過擬合”的缺點[4]。

2003年，Caminhas等[5]提出了一種新的網絡，稱為并行層感知器(Parallel Layer Perceptron, PLP)，利用并行的感知器來映射輸入層與輸出層之間的非線性關系。PLP試圖結合多層感知器(multi-layer perceptrons, MLP)[6-7]和基于自適應神經網絡的模糊推理系統(adaptive-network-based fuzzy inference system, ANFIS)的優點[8]，該模型已被廣泛應用[9-12]，相關文獻已對PLP做出詳細介紹[5]。2006年，黃廣斌等[13]提出一種性能出色的單隱層前饋神經網絡，稱為極限學習機(Extreme Learning Machine，ELM)。ELM的模型和理論[14-15]被成功應用于函數逼近[16-17]、模式分類[18]和系統辨識等許多領域。ELM的核心內容是將單隱層模糊神經網絡轉化為求解線性最小二乘問題，然后通過Moore Penrose(MP)廣義逆計算輸出權值。2013年，Li等[19]提出了一種基于ELM的新型人工神經網絡——快速學習網(Fast Learning Network, FLN)。FLN在繼承了ELM優點(網絡結構簡單，回歸精度、泛化能力強，收斂速度快，無需迭代)的同時，輸出神經元不僅接收來自隱層單元的信息，而且還接收來自輸入層單元的信息，對于線性與非線性問題的處理能力更強。

筆者提出了一種新型的神經網絡結構——并聯型快速學習網(Fast Learning Network with Parallel Layer Perceptron, PLP-FLN)。這是1個單層前饋神經網絡和2個單隱層前饋神經網絡并行連接結構。因此，PLP-FLN也具有處理線性和非線性問題的優勢，可以被視為FLN與PLP網絡的結合模型。若不考慮線性連接，PLP-FLN還可以被看做以ELM為基本框架的并聯型感知神經網絡。因此，PLP-FLN也繼承了ELM泛化能力好、學習速度快、模型復雜度低等優點。筆者將PLP-FLN與ELM、FLN、IELM、KELM模型的預測結果進行了對比研究，實驗證明PLP-FLN具有更好的擬合能力，為預測電廠鍋爐NOx排放提供了一種新的有效參考。

1 快速學習網模型

j=1,2,…,N

(1)

式中：Woi=Woi,1,Woi,2,…,Woi,l，為連接輸入層與第j個輸出節點之間的權值矩陣；Woh,k=[Woh,1k,Woh,2k,…,Woh,lk]T，為連接第k個隱層節點與輸出層之間的權值矩陣；Win,k=[Win,k1,Win,k2,…,Win,km]T，為輸入層與第k個隱層節點之間的權值矩陣；bk為第k個隱層節點的閾值。

式(1)可表達成矩陣形式為：

(2)

(3)

(4)

式中：W為輸出權值矩陣；G為隱層輸出矩陣；Y為期望輸出矩陣；l為輸出層節點個數。

根據最小二乘范數解的相關知識，輸出權值矩陣W的最小二乘范數解為：

(5)

(6)

2 并聯型快速學習網

2.1 PLP-FLN網絡模型

PLP-FLN可以看成是并聯型感知器與快速學習網的結合模型，其中輸入層將接收到的數據信息傳送給2個并聯的單隱層前饋網絡和輸出層，這樣的結構具有以下特點：1)隱層神經元接收樣本信息并進行非線性處理后傳遞給輸出層，PLP-FLN并聯的單隱層前饋網絡結構增強了自身的非線性處理能力；2)輸入層直接將樣本信息傳遞給輸出層，增加了網絡對數據的線性處理能力。PLP-FLN結構如圖1所示，其學習過程呈現如下：

圖1 PLP-FLN結構圖

(7)

式中：f(·)、γ(·)和φ(·)均是激活函數。

ajt、bjt和ckt分別表示如下：

(8)

(9)

(10)

式中：pjt、qjt和wkt為不同層的權值矩陣元素。

與傳統的單隱層前饋神經網絡(single layer feedforward neural network，SLFN)一樣，PLP-FLN所有的權值可在訓練階段進行調整。

上層網絡的隱層輸出可表示為：

(11)

下層網絡的隱層輸出可表示為：

(12)

式(11)可以被寫成如下數學模型：

gt=γ(Pxt)，t=1,2,…,N

(13)

式中：P=[P1,P2,…,Pm]，為上層網絡連接第j個隱層節點與輸入層節點的權值向量。

同樣，式(12)可寫成：

(14)

式中：Q=[Q1,Q2,…,Qm]，為下層網絡連接第j個隱層節點與輸入層節點的權值向量。

式(13)和式(14)可用矩陣形式表達為：

G1=γ(PX)

(15)

G2=φ(QX)

(16)

式中：X為包含隱層閾值x0的輸入樣本矩陣。

通過位相乘運算后可以得到新矩陣：

(17)

式中：G為PLP-FLN的隱層輸出矩陣。

(18)

式中：H為輸出層的輸入矩陣；X1為不包含隱層閾值x0的輸入樣本矩陣。因此，神經網絡最后的輸出可以寫成矩陣形式：

T=f(Hβ)

(19)

式中：T為期望的輸出矩陣；β為PLP-FLN的輸出權值矩陣。

單隱層前饋神經網絡的輸入權值和隱層閾值不必完全調整，可以被初始化到一個隨機數。因此，PLP-FLN的輸入權值P、Q和隱層閾值x0被隨機初始化到(0,1)之間的數，從而將求取輸出權值β轉化成最優化問題，如式(20)所示：

(20)

對于可逆的激活函數f(·)，上式可轉化為線性最小化問題，輸出權值可由下式解析得到。

(21)

式中：f-1(T)為激活函數f(·)的逆函數。

根據Moore-Penrose(MP)廣義逆相關知識，上式中輸出權值的最小二乘范數解可寫成：

(22)

式中：H+為矩陣H的廣義逆。

2.2 PLP-FLN簡化模型

作為式(1)的特殊情況，假設激活函數γ(·)和f(·)是線性函數，則網絡的輸出可寫成：

(23)

(24)

簡化的網絡模型具有一些好的特性。在隨機初始化輸入權值和隱層閾值的情況下，可以用最小二乘法求得網絡的輸出權值。若能夠通過有效的方法求得合適的隱層節點個數，則PLP-FLN可以表現出快速的學習速度、優秀的泛化能力和學習能力等。

3 PLP-FLN性能測試

運用3折交叉驗證法(cross validation, CV)獲得不同模型在各數據集下的最優隱層節點個數，再用網格法(Grid Search, GS)獲取核極限學習機的參數組合C(懲罰系數)和γ(核參數)，其網格分別設置為C=[2-4,2-3,…,214,215]和γ=[2-4,2-3,…,214,215]，每次實驗從400個參數組合中找出最優的組合作為KELM的性能參數。為了驗證PLP-FLN模型的有效性，進行了基準回歸實驗。隱層激勵函數均采用‘sig’函數。針對每個回歸問題,均重復實驗30次，并將測試樣本的實驗結果與ELM、 FLN、KELM和IELM的測試結果進行了對比。

使用8個UCI數據集(http://archive.ics.uci.edu/ml/datasets.html)進行回歸實驗，數據集的輸入屬性和輸出屬性分別歸一化到[-1,1]和[0,1]。數據相關信息如表1所示。

表1 基準回歸數據

表2給出了不同網絡最優隱層節點個數和KELM參數的確定。由表2可知，在達到實驗最高精度的情況下ELM、FLN和IELM所需要的隱層節點個數遠多于PLP-FLN所需的隱層節點個數，有的甚至多十幾倍。總體看來，PLP-FLN的隱層節點個數保持在10以內。結合下文的實驗結果可知，PLP-FLN在設置較少隱層節點個數的情況下，能獲得與其他4種模型相同或較好的實驗結果，展現了較好的數據處理能力。

表2不同網絡最優隱層節點個數和KELM參數的確定

Tab.2Optimalnumberofhiddenlayernodesfordifferentalgorithmsandthehyper-parametersofKELM

數據集ELMFLNIELMPLP-FLNKELM(C,γ)Abalone2635244(4, 4)Delta Ailerons3744416(64, 2)Delta Elevators3336384(16, 4)Machine CPU2117334(256,32)CCPP3644474(256, 0.25)Concrete4145475(128, 4)Concrete Slump3321257(1 024, 16)Energy Efficiency4656344(16 384, 2)

由表3所示，引入均方根誤差(Root Mean Square Error，RMSE)的標準差(Standard Deviation, SD)作為性能評價指標。在8個回歸數據集中，ELM、 FLN、KELM和IELM分別只有2個、1個、3個和1個數據集的結果比PLP-FLN的結果好。對于數據集Delta Elevators和Concrete，PLP-FLN比其他4種模型都展現出更好的實驗結果。總體來看，PLP-FLN在大部分數據集下的回歸精度好于其他4種模型，PLP-FLN表現出較好的泛化能力、學習能力和穩定性。

如表4所示，引入相關系數(R-Square)和平均絕對百分誤差(Mean Absolute Percentage Error，MAPE)作為性能評價指標。通過對比5種方法對于測試樣本的測試結果，可以明顯發現PLP-FLN在大部分數據集下的結果都優于其他4種模型，尤其是對于數據集Abalone、Delta Elevators、Concrete和Concrete Slump，PLP-FLN比其他方法展現出更小的MAPE值，對于數據集Abalone、Delta Ailerons、Machine CPU和Concrete Slump，PLP-FLN比其他方法獲得更大的R-Square值，表明PLP-FLN較其他4種方法具有更好的預測能力和擬合度。

表3 5種方法測試樣本均方根誤差的標準差的比較

表4 測試樣本平均絕對百分誤差和相關系數的性能比較

4 循環流化床鍋爐燃燒系統建模

以PLP-FLN建立模型，實驗對象為某熱電廠300 MW亞臨界循環流化床鍋爐。以集散控制系統(DCS)從熱電廠數據庫中采集的576組數據作為樣本數據，將其隨機分為訓練樣本(384組)和測試樣本(192組)。數據負荷范圍為60%～100%，由于一天當中各時間段發電量不同，實際負荷順序并不是嚴格遞增或遞減的。選取NOx排放質量濃度作為模型的輸出參數，影響NOx排放質量濃度特性的27個參數(負荷、給煤量、一次風流量、一次風溫度、爐膛密相區溫度等)作為模型的輸入參數。

為了消除不同數據之間的量綱，加快網絡收斂性，方便數據處理，先將樣本進行歸一化處理。輸入參數歸一化到[-1,1]，輸出參數歸一化到[0，1]，最后再將實驗結果反歸一化，這樣處理更能反映出模型預測的真實效果。針對此數據，利用與上文同樣的方法獲得ELM、 FLN、IELM與PLP-FLN的最優隱層節點個數分別為46、32、54和10，KELM參數組合(C,γ)為(128,2)，其余實驗參數和實驗次數與上面設置相同。為了體現PLP-FLN模型的有效性，進行了與上面相同的4種模型的對比實驗，并將均方根誤差(RMSE)、標準差(SD)、平均絕對百分誤差(MAPE，%)、平均絕對誤差(Mean Absolute Error, MAE)和相關系數(R-square)作為實驗結果的評價標準。

表5給出了測試樣本準確度的對比。由表5可知，對于SD和MAE而言,8組實驗數據中只有3種模型的實驗數據比PLP-FLN的好，而對于RMSE、MAPE和R-square而言，PLP-FLN的實驗結果分別為13.152 5、7.697 0%和0.914 9，比其他4種模型的實驗結果都好。由此可知，PLP-FLN具有較好的泛化能力和預測能力。

表5 測試樣本準確度對比

為了更加清晰地展示PLP-FLN的實驗性能，將5種方法的測試結果與NOx排放質量濃度的實際輸出進行比較，結果如圖2～圖6所示。從擬合結果來看，PLP-FLN的預測值與目標值的擬合度最好，對于大多數差異較大的數值也能進行很好的擬合，表明其擁有較好的學習能力和預測能力。

各種模型對測試樣本的預測誤差如圖7所示。由圖7可以看出，與其他4種模型相比，PLP-FLN模型預測NOx排放質量濃度的誤差范圍最小，說明其預測結果更準確。

圖2 ELM的預測值與目標值的對比

圖3 FLN的預測值與目標值的對比

圖4 KELM的預測值與目標值的對比

圖5 IELM的預測值與目標值的對比

圖6 PLP-FLN的預測值與目標值的對比

綜上所述，通過實驗對比可知筆者提出的PLP-FLN模型的學習能力和泛化能力更強，預測精度更高，非常適合循環流化床鍋爐NOx排放質量濃度的預測。

5 結 論

以某熱電廠300 MW亞臨界循環流化床鍋爐為研究對象，以現場采集的NOx排放質量濃度為模型輸出樣本，利用并聯型快速學習網建立了循環流化床鍋爐NOx排放質量濃度的預測模型，并將該模型的預測結果與ELM、FLN、KELM和IELM模型的預測結果進行了比較。結果表明：PLP-FLN模型可以更準確、有效地預測NOx排放質量濃度，為熱電廠預測NOx排放質量濃度提供了一種新的方法。

參考文獻：

[1] 歐陽子區, 朱建國, 呂清剛. 無煙煤粉經循環流化床預熱后燃燒特性及NOx排放特性實驗研究[J].中國電機工程學報, 2014, 34(11): 1748-1754.

OUYANG Ziqu, ZHU Jianguo, Lü Qinggang. Experimental study on combustion and NOxemission of pulverized anthracite coal preheated by a circulating fluidized bed[J].ProceedingsoftheCSEE, 2014, 34(11): 1748-1754.

[2] 牛培峰, 趙振, 馬云鵬, 等. 基于風驅動算法的鍋爐NOx排放模型優化[J].動力工程學報, 2016, 36(9): 732-738.

NIU Peifeng, ZHAO Zhen, MA Yunpeng, et al. Model improvement for boiler NOxemission based on wind driven optimization algorithm[J].JournalofChineseSocietyofPowerEngineering, 2016, 36(9): 732-738.

[3] 張弦, 王宏力. 限定記憶極端學習機及其應用[J].控制與決策, 2012, 27(8): 1206-1210.

ZHANG Xian, WANG Hongli. Fixed-memory extreme learning machine and its applications[J].ControlandDecision, 2012, 27(8): 1206-1210.

[4] 魏輝, 陸方, 羅永浩, 等. 燃煤鍋爐高效、低NOx運行策略的研究[J].動力工程, 2008, 28(3): 361-366.

WEI Hui, LU Fang, LUO Yonghao, et al. Research on operation strategy on reducing NOxemissions and improving efficiency of coal-fired boiler[J].JournalofPowerEngineering, 2008, 28(3): 361-366.

[5] CAMINHAS W M, VIEIRA D A G, VASCONCELOS J A. Parallel layer perceptron[J].Neurocomputing, 2003, 55(3/4): 771-778.

[6] CULOTTA S, MESSINEO A, MESSINEO S. The application of different model of multi-layer perceptrons in the estimation of wind speed[J].AdvancedMaterialsResearch, 2012, 452-453: 690-694.

[7] ZHENG Lilei, DUFFNER S, IDRISSI K, et al. Siamese multi-layer perceptrons for dimensionality reduction and face identification[J].MultimediaTools&Applications, 2016, 75(9): 5055-5073.

[9] HUNTER D, WILAMOWSKI B. Parallel multi-layer neural network architecture with improved efficiency[C]//Proceedingsofthe4thInternationalConferenceonHumanSystemInteractions. Yokohama, Japan: IEEE, 2011: 299-304.

[10] GAO Zhenning. Parallel and distributed implementation of a multilayer perceptron neural network on a wireless sensor network[D]. Toledo, USA: The University of Toledo, 2013.

[11] LI Xiaojun, LI Li. IP core based hardware implementation of multi-layer perceptrons on FPGAs: a parallel approach[J].AdvancedMaterialsResearch, 2012, 433-440: 5647-5653.

[12] GARCIA-SALGADO B P, PONOMARYOV V I, ROBLES-GONZALEZ M A. Parallel multilayer perceptron neural network used for hyperspectral image classification[C]//Proceedingsof2016Real-TimeImageandVideoProcessing. Brussels, Belgium: SPIE, 2016: 98970K.

[13] HUANG Guangbin, ZHU Qinyu, SIEW C K. Extreme learning machine: theory and applications[J].Neurocomputing, 2006, 70(1/3): 489-501.

[14] DING Shifei, ZHAO Han, ZHANG Yanan, et al. Extreme learning machine: algorithm, theory and applications[J].ArtificialIntelligenceReview, 2015, 44(1): 103-115.

[15] JAVED K, GOURIVEAU R, ZERHOUNI N. SW-ELM: a summation wavelet extreme learning machine algorithm with a priori parameter initialization[J].Neurocomputing, 2014, 123: 299-307.

[16] DUDEK G. Extreme learning machine for function approximation-interval problem of input weights and biases[C]//Proceedingsofthe2ndInternationalConferenceonCybernetics. Gdynia, Poland: IEEE, 2015: 62-67.

[17] HUANG G B, SIEW C K. Extreme learning machine: RBF network case[C]//Proceedingsofthe8thControl,Automation,RoboticsandVisionConference. China: IEEE, 2012: 1029-1036.

[18] IOSIFIDIS A, TEFAS A, PITAS I. Dynamic action recognition based on dynemes and extreme learning machine[J].PatternRecognitionLetters, 2013, 34(15): 1890-1898.

[19] LI Guoqiang, NIU Peifeng, DUAN Xiaolong, et al. Fast learning network: a novel artificial neural network with a fast learning speed[J].NeuralComputingandApplications, 2014, 24(7/8): 1683-1695.