基于LM算法的BP神經(jīng)網(wǎng)絡(luò)對汽車排放污染物的預(yù)測

簡曉春，王利偉，閔 峰

(重慶交通大學(xué) a.交通運(yùn)輸學(xué)院;b.機(jī)電與汽車工程學(xué)院，重慶 400074)

在發(fā)動機(jī)排放污染物檢測和實(shí)時控制過程中，由于測量儀的測量點(diǎn)無法布置或?qū)崟r測量儀條件不具備等，造成難以測量的問題。同時，發(fā)動機(jī)實(shí)時運(yùn)行工況是非線性的，使得建立傳統(tǒng)的數(shù)學(xué)模型相對困難，需作一系列簡化，測量精度往往不高;而用經(jīng)驗公式計算，一般只考慮少數(shù)幾個主要因素，得出的結(jié)果帶有一定誤差［1］。人工神經(jīng)網(wǎng)絡(luò)模擬生物神經(jīng)結(jié)構(gòu)與思維的過程，通過不依賴于對象的數(shù)學(xué)模型來解決多維空間的非線性問題［2］。BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最為廣泛和成功的神經(jīng)網(wǎng)絡(luò)之一，它能夠處理任意復(fù)雜的非線性問題，具有自我學(xué)習(xí)和高容錯性等特點(diǎn)［3-5］。本文以BP神經(jīng)網(wǎng)絡(luò)基本原理為基礎(chǔ)，結(jié)合Levenberg-Marquardt優(yōu)化算法建立了基于汽車排放污染物CO的LMBP神經(jīng)網(wǎng)絡(luò)軟測量模型，為發(fā)動機(jī)的排放檢測與實(shí)時控制提供依據(jù)。

1 LMBP算法理論分析

1.1 BP神經(jīng)網(wǎng)絡(luò)基本原理

BP神經(jīng)網(wǎng)絡(luò)模型處理信息的基本原理:輸入信號xi通過中間節(jié)點(diǎn)(隱含層節(jié)點(diǎn))作用于輸出節(jié)點(diǎn)，經(jīng)過非線性變換，產(chǎn)生輸出信號zl，網(wǎng)絡(luò)訓(xùn)練的每個樣本包括輸入向量X和期望輸出量T、網(wǎng)絡(luò)輸出值Z與期望輸出值T之間的偏差。通過調(diào)整輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值wji、隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的網(wǎng)絡(luò)權(quán)值vlj以及閾值，使誤差沿梯度方向下降，經(jīng)過反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對應(yīng)的網(wǎng)絡(luò)參數(shù)(權(quán)值和閾值)，訓(xùn)練即告停止。此時，經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即能自行處理輸出誤差最小、且經(jīng)過非線性轉(zhuǎn)換的信息［6-8］。

具體步驟:

1)初始化，隨機(jī)給定網(wǎng)絡(luò)權(quán)值wji、vlj及閾值θj、θl;

2)由給定的輸入輸出模式對計算隱含層、輸出層各單元輸出:

式中:yj為隱含層第j個節(jié)點(diǎn)實(shí)際輸出;zl為輸出層第l個節(jié)點(diǎn)的實(shí)際輸出。

其中:δl為輸出層的校正誤差;δ'l為隱層的校正誤差。

3)計算新的網(wǎng)絡(luò)權(quán)值及閾值，計算公式為:

式中 η、η'為學(xué)習(xí)系數(shù)(0＜η ＜1，0＜η'＜1)。

4)選取下一個輸入模式對，返回第2步反復(fù)訓(xùn)練，直到網(wǎng)絡(luò)輸出誤差達(dá)到要求，結(jié)束訓(xùn)練。

理論上已經(jīng)證明，存在閾值和至少1個S型隱含層加上1個線性輸出層的BP網(wǎng)絡(luò)具有可逼近任意非線性連續(xù)映射的能力［9］，適合于非線性系統(tǒng)的建模，是目前使用較多的一種神經(jīng)網(wǎng)絡(luò)模型。一個3層的BP網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，圖中:I、H、O表示3層的節(jié)點(diǎn)數(shù);θj(k)表示隱層各節(jié)點(diǎn)的閾值;θl(k)表示輸出層各節(jié)點(diǎn)的閾值。

圖1 BP網(wǎng)絡(luò)的結(jié)構(gòu)

雖然BP算法有著廣泛的應(yīng)用，但在實(shí)際應(yīng)用中BP算法的神經(jīng)網(wǎng)絡(luò)存在收斂速度慢、學(xué)習(xí)速率不易確定等缺點(diǎn)，很難應(yīng)用于實(shí)際計算。目前常用的改進(jìn)算法有附加動量算法、變速率算法、共軛梯度算法、高斯-牛頓算法及Levenberg-Marquardt算法(簡稱LM算法)［10-11］等，其中LM 算法收斂速度最快、魯棒性最好。

1.2 LM算法原理

Levenberg-Marquardt(簡稱LM)算法為非線性最小二乘無約束優(yōu)化的主要算法，是一種利用標(biāo)準(zhǔn)數(shù)值優(yōu)化技術(shù)的快速算法，既有牛頓法的局部收斂特性，又有梯度下降算法的全局特性［12］。該算法本質(zhì)是牛頓法的變形，具有二階收斂速度，所需要的迭代次數(shù)很少，而且不需要計算Hessian矩陣。對參數(shù)數(shù)目不太大的網(wǎng)絡(luò)模型，該方法是一種快速有效的訓(xùn)練算法。而BP算法實(shí)際上就是要求導(dǎo)信號與網(wǎng)絡(luò)輸出信號的誤差平方和達(dá)到最小，因此把LM算法應(yīng)用到BP算法中是一種很有效的改進(jìn)途徑。

設(shè)Y表示迭代訓(xùn)練時各層權(quán)值與閾值組成的向量，Y的調(diào)節(jié)量是ΔY。調(diào)節(jié)Y，即調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值與閾值，從而達(dá)到訓(xùn)練學(xué)習(xí)的目的。

設(shè)表現(xiàn)函數(shù)

式中ei(Y)2，i=1～I(xiàn)表示誤差的平方，那么，

式中:E(Y)表示ei(Y)，i=1～I(xiàn)組成的向量;J(Y)是雅克比矩陣;S(Y)是誤差函數(shù)。

由于LM算法是高斯-牛頓法的改進(jìn)形式，則

式中:I是單位矩陣;μ＞0是常數(shù)。

當(dāng)μ=0時，LM算法轉(zhuǎn)化為具有近似Hessian陣的高斯-牛頓法。當(dāng)μ較大時，LM算法接近小步長的梯度法。在訓(xùn)練過程中，μ的修改系數(shù)設(shè)為α。如果訓(xùn)練成功，減小μ的值;如果訓(xùn)練失敗，增加μ的值。這樣表現(xiàn)函數(shù)最終會減小到一定值，達(dá)到學(xué)習(xí)的目的。

LM算法的迭代過程:

1)初始化。給出訓(xùn)練誤差允許值ξ以及常數(shù)α和μ，初始化權(quán)值和閾值，令迭代次數(shù)k=0。

2)計算網(wǎng)絡(luò)輸出及表現(xiàn)函數(shù)P(Y)。

3)計算雅克比矩陣J(Y)。

4)計算ΔY。

5)如果P(Y)＜ξ，則轉(zhuǎn)到步驟6);否則，用Y+ΔY為權(quán)值和閾值向量重新計算表現(xiàn)函數(shù)P(Y)。此時如果P(Y)小于步驟2)中計算出來的P(Y)值，則令 k=k+1，μ =μ/α，且 Y=Y+ΔY，轉(zhuǎn)到步驟2);否則，令μ=μ·α，轉(zhuǎn)到步驟4)。

6)結(jié)束。

1.3 神經(jīng)網(wǎng)絡(luò)函數(shù)逼近仿真分析

下面以函數(shù)逼近方面的應(yīng)用為例來比較標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)算法和LMBP神經(jīng)網(wǎng)絡(luò)算法。將要逼近的非線性函數(shù)設(shè)為正弦函數(shù)y=sin(k·pi·x)，其頻率參數(shù)k(k=1)可以調(diào)節(jié)。網(wǎng)絡(luò)訓(xùn)練分別采用標(biāo)準(zhǔn)BP算法和LM算法，仿真結(jié)果如圖2～3所示。仿真結(jié)果表明:標(biāo)準(zhǔn)BP算法訓(xùn)練100步時未能達(dá)到精度要求，誤差值要高于精度要求;而LM算法在訓(xùn)練2步之后就能達(dá)到精度要求。由仿真結(jié)果可以看出，在逼近效果和收斂速度方面，LM優(yōu)化算法較標(biāo)準(zhǔn)的BP算法具有明顯優(yōu)勢。這為BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于實(shí)時性要求高的場合(如在線檢測)提供了算法基礎(chǔ)［13］。

圖2 標(biāo)準(zhǔn)BP算法函數(shù)逼近仿真與訓(xùn)練誤差曲線

圖3 LM算法函數(shù)逼近仿真與訓(xùn)練誤差曲線

2 基于LMBP神經(jīng)網(wǎng)絡(luò)的CO排放模型

采用神經(jīng)網(wǎng)絡(luò)軟測量技術(shù)，可充分利用檢測過程中易于獲取的測量參數(shù)。按照這些參數(shù)與被測變量之間的關(guān)系(模型)，通過計算、估計及推斷來確定被測變量。該方法簡單易行，便于檢測操作，具有很好的實(shí)用價值［14］。將LMBP神經(jīng)網(wǎng)絡(luò)應(yīng)用于發(fā)動機(jī)CO排放檢測與實(shí)時控制中，所建立的排放模型如圖4所示。

圖4 CO排放的LMBP神經(jīng)網(wǎng)絡(luò)模型

2.1 神經(jīng)網(wǎng)絡(luò)輸入和輸出

基于人工神經(jīng)網(wǎng)絡(luò)的軟測量技術(shù)，只需事先了解輸入、輸出狀態(tài)。如果事先了解這些輸入、輸出狀態(tài)，就可以利用前述的LMBP學(xué)習(xí)算法進(jìn)行大量的學(xué)習(xí)訓(xùn)練，再將其應(yīng)用于檢測或?qū)崟r控制中，從而彌補(bǔ)測量儀器和傳統(tǒng)建模檢測的不足。根據(jù)汽車發(fā)動機(jī)排放形成機(jī)理，CO排放主要與發(fā)動機(jī)的節(jié)氣門開度、發(fā)動機(jī)轉(zhuǎn)速有關(guān)，從而確定采用LM算法的BP神經(jīng)網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)為2，分別為發(fā)動機(jī)的節(jié)氣門開度、發(fā)動機(jī)轉(zhuǎn)速;輸出層節(jié)點(diǎn)數(shù)為1，即汽車排放污染物中的CO含量值。

2.2 隱含層節(jié)點(diǎn)數(shù)的確定

已有理論證明，3層結(jié)構(gòu)的BP網(wǎng)絡(luò)可以逼近任意的非線性映射關(guān)系，因此實(shí)際的應(yīng)用以3層結(jié)構(gòu)的BP網(wǎng)絡(luò)為主［15］。網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)對神經(jīng)網(wǎng)絡(luò)預(yù)測的精度有較大影響，在實(shí)際問題中，通常根據(jù)參考公式來確定節(jié)點(diǎn)數(shù)范圍，式中:l為隱含層節(jié)點(diǎn)數(shù);m為輸入神經(jīng)層節(jié)點(diǎn)數(shù);n為輸出神經(jīng)層節(jié)點(diǎn)數(shù);a為1～10的常數(shù)。通過網(wǎng)絡(luò)訓(xùn)練，選取不同的隱含層節(jié)點(diǎn)數(shù)來確定最佳的節(jié)點(diǎn)數(shù)量。

表1列出了各種隱含層節(jié)點(diǎn)數(shù)選擇數(shù)量及相應(yīng)的訓(xùn)練步數(shù)和訓(xùn)練精度誤差率。

表1 隱含層節(jié)點(diǎn)數(shù)與網(wǎng)絡(luò)性能

從表1可以看出:當(dāng)隱含層節(jié)點(diǎn)數(shù)為4和12時，訓(xùn)練步數(shù)多，訓(xùn)練精度相對較小。通過比較發(fā)現(xiàn)，當(dāng)隱含層節(jié)點(diǎn)數(shù)為8時，訓(xùn)練步數(shù)相對較少，但訓(xùn)練精度最高，并且隱層節(jié)點(diǎn)數(shù)不多，網(wǎng)絡(luò)不復(fù)雜。實(shí)際應(yīng)用中，選擇隱含層節(jié)點(diǎn)數(shù)為8的神經(jīng)網(wǎng)絡(luò)。

3 排放模型在檢測與實(shí)時控制中的應(yīng)用

采用以上建立的排放模型，結(jié)合LM-BP算法對CA6102型汽油發(fā)動機(jī)CO排放進(jìn)行實(shí)際訓(xùn)練與檢測。網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)來自對汽油機(jī)的排放試驗，在點(diǎn)火初始提前角為3°CA前提下，采集以不同發(fā)動機(jī)轉(zhuǎn)速、節(jié)氣門開度為參數(shù)的CO排放數(shù)值300組。首先對采集的實(shí)際排放數(shù)據(jù)進(jìn)行預(yù)處理，從中選擇無明顯誤差的275組數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，精度要求為1E-3。將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)用Matlab進(jìn)行仿真，并作反歸一化處理。用實(shí)際排放數(shù)值進(jìn)行驗證，得到建立的CO排放模型輸出值與實(shí)際測量值的比較結(jié)果，如表2所示(受篇幅限制，本文只列出部分?jǐn)?shù)據(jù)組)，網(wǎng)絡(luò)訓(xùn)練誤差變化曲線如圖5所示。

表2 CO排放模型的仿真值與實(shí)測值比較

從表2可以得出，通過對LM算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練后，其仿真輸出值與實(shí)際測量值的誤差很小，最大相對誤差為2.83%，在允許誤差范圍之內(nèi)。證明用LM算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型可以很好地模擬發(fā)動機(jī)排放性能，對于排放物CO含量的測量是有效和準(zhǔn)確的。

圖5 網(wǎng)絡(luò)訓(xùn)練誤差變化曲線

此外，LMBP神經(jīng)網(wǎng)絡(luò)還可以實(shí)現(xiàn)對發(fā)動機(jī)CO排放實(shí)時檢測的模糊控制。模糊控制中所用的經(jīng)驗和規(guī)則是預(yù)先確定的，對較復(fù)雜的不確定性過程的控制精度較低。由于神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的泛化能力和學(xué)習(xí)能力，將模糊控制與神經(jīng)網(wǎng)絡(luò)相結(jié)合能提高控制的精度［16］。在汽車排放污染物的模糊控制中，可用由上述排放模型輸出的CO值與目標(biāo)CO值的計算誤差和誤差變化率作為模糊控制的輸入，并按模糊神經(jīng)網(wǎng)絡(luò)控制方案實(shí)施控制。在控制中，只需要利用發(fā)動機(jī)轉(zhuǎn)速和節(jié)氣門開度即可實(shí)時反映CO的排放量。因而，該控制方法可實(shí)現(xiàn)CO模糊控制的實(shí)時性和準(zhǔn)確性。

4 結(jié)束語

發(fā)動機(jī)排放指標(biāo)受許多因素影響，傳統(tǒng)的建模方法復(fù)雜，且不能真實(shí)地反映發(fā)動機(jī)的排放情況。應(yīng)用神經(jīng)網(wǎng)絡(luò)可使模型簡化，而且將神經(jīng)網(wǎng)絡(luò)用于發(fā)動機(jī)排放檢測，能很好地處理其非線性問題，解決測量儀器不足和測量點(diǎn)無法布置等問題。采用LM算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)，訓(xùn)練速度快且預(yù)測精度高，將其應(yīng)用于汽車尾氣排放研究中可為實(shí)現(xiàn)汽車尾氣排放實(shí)時檢測與控制提供一種新方法，具有一定實(shí)用價值。

［1］宮喚春.RBF神經(jīng)網(wǎng)絡(luò)軟測量技術(shù)在汽油機(jī)CO排放中的應(yīng)用［J］.拖拉機(jī)與農(nóng)用運(yùn)輸車，2007，34(5):48-49.

［2］李威，賈志新，孟惠榮.基于神經(jīng)網(wǎng)絡(luò)的車輛傳動系統(tǒng)故障數(shù)據(jù)可靠性建模［J］.機(jī)械，2002，29(1):4-5.

［3］張彤，肖南峰.基于BP網(wǎng)絡(luò)的指紋識別系統(tǒng)［J］.重慶理工大學(xué)學(xué)報:自然科學(xué)版，2010，24(1):47-50.

［4］郭慶春，何振芳，李力，等.基于BP神經(jīng)網(wǎng)絡(luò)的我國農(nóng)民收入預(yù)測模型［J］.安徽農(nóng)業(yè)科學(xué)，2011(20):12471-12473.

［5］張彤，肖南峰.基于BP網(wǎng)絡(luò)的數(shù)字識別方法［J］.重慶理工大學(xué)學(xué)報:自然科學(xué)版，2010，24(3):43-47.

［6］張虹冕，孫世群.基于BP神經(jīng)網(wǎng)絡(luò)的大氣環(huán)境質(zhì)量評價模型［J］.安徽農(nóng)業(yè)科學(xué)，2010(31):17656-17657.

［7］李紅連.BP神經(jīng)網(wǎng)絡(luò)在車輛組合導(dǎo)航中的應(yīng)用研究［J］.壓電與聲光，2011(1):45-48.

［8］武文紅，杜貞棟，劉現(xiàn)偉，等.基于BP神經(jīng)網(wǎng)絡(luò)的土壤貯水量預(yù)報模型研究［J］.安徽農(nóng)業(yè)科學(xué)，2010(15):8211-8212.

［9］周瑞芬，姜民政，董康興.基于LMBP算法的油田用抽油桿懸點(diǎn)載荷預(yù)測［J］.化工機(jī)械，2011，38(4):428-431.

［10］Hagan M T，Menbaj M.Training Feedforward Networks with the Marquardt Algorithm［J］.IEEE Transactions on Neural Networks，1994，5(6):295-301.

［11］Narendra K，Parthasarathy K.Nonlinear System Identification Using Neural Network［J］.Int J Control，1990，1(1):1191-1214.

［12］常炳國.基于RBF神經(jīng)網(wǎng)絡(luò)的混合氣體智能檢測系統(tǒng)研究［J］.湖南大學(xué)學(xué)報:自然科學(xué)版，2009，36(7):82-84.

［13］王赟松，許洪國.快速收斂的BP神經(jīng)網(wǎng)絡(luò)算法［J］.吉林大學(xué)學(xué)報:工學(xué)版，2003，33(4):79-83.

［14］杜艾永，李樹珉，夏均忠，等.軟測量技術(shù)在車輛排放數(shù)據(jù)處理中的應(yīng)用研究［J］.中國測試技術(shù)，2007，33(3):41-43.

［15］唐磊.BP網(wǎng)絡(luò)結(jié)構(gòu)確定算法的研究及仿真［D］.青島:中國石油大學(xué)，2008.

［16］李小穎，侯志祥.神經(jīng)網(wǎng)絡(luò)軟測量技術(shù)在汽車發(fā)動機(jī)排放中的應(yīng)用［J］.交通與計算機(jī)，2002，20(3):47-48.