基于在線學習的柴油機起動過程NO_x排放預測模型

摘要：為了構建準確的柴油機起動過程NO_x排放預測模型，分析起動過程瞬態運行特點，基于非線性自回歸神經網絡，結合起動試驗數據選取模型特征，對比自注意力機制模型與標準反向傳播神經網絡模型NO_x排放預測效果，發現自注意力機制模型預測效果良好，且均方根誤差較小；對比自注意力機制模型在在線梯度下降算法和FTRL算法2種在線學習的預測效果，發現采用FTRL算法可以使模型在未知工況下獲得更好的預測性能；對比自注意力機制模型學習前、后的預測效果，發現學習后的模型均方根誤差增大，但預測結果能力良好；對比在線學習模型與全數據訓練集離線學習模型預測效果，發現兩者的決定系數與均方根誤差相差不大，預測效果都較好，但在線學習所用數據量和訓練時間分別減少了68.7%和73.6%，大幅降低了存儲和訓練成本。采用FTRL算法的自注意力機制模型可減少數據存儲和訓練資源成本，并實時反饋預測需求。

關鍵詞：柴油機；起動過程；NO_x預測；自注意力機制；在線學習

中圖分類號：TK421文獻標志碼：A文章編號：1673-6397（2024）05-0008-09

引用格式：杜征宇，李華杰，郭志坤，等.基于在線學習的柴油機起動過程NO_x排放預測模型［J］.內燃機與動力裝置，2024，41（5）：8-16.

DU Zhengyu， LI Huajie， GUO Zhikun， et al.Prediction model for NO_x emission of starting process of the diesel engine based on online learning［J］.Internal Combustion Engine amp; Powerplant， 2024，41（5）：8-16.

0 引言

柴油機的NO_x排放因嚴重影響空氣質量和公共健康而受到人們的日益關注，目前通常采用便攜式排放檢測系統（portable emission measurement system，PEMS）進行柴油機NO_x排放測試，但PEMS設備具有成本高和測試時間長的缺點，難以滿足廣泛、長期及動態測試環境的監測需求^[1]，建立精確的柴油機NO_x排放預測模型是當下研究熱點之一。

目前關于柴油機NO_x排放預測模型的研究多集中于平緩路面、穩定行駛等常規運行條件^[2-4]，但在PEMS循環測試中，柴油機起動過程NO_x排放占比超過40%^[5]，由于柴油機起動過程燃燒不穩定且為瞬態過程，其NO_x排放特性與常規運行狀態有較大區別^[6-9]，因此有必要對瞬態起動過程的NO_x排放進行深入的建模研究。Seo等^[10]以柴油機冷起動過程的轉矩、轉速等參數作為多層感知機的輸入，預測了NO_x、CO₂等氣體的排放；Tang等^[11]針對混合動力汽車起動過程，采用遺傳算法對神經網絡初始權重進行優化，得到了較為準確的NO_x排放預測結果。但目前關于起動過程中NO_x排放的研究普遍未考慮瞬態過程的影響，由于柴油機瞬態過程中各個工況并不獨立，每一工況均受之前工況影響，具有高度的時序性，合理選取反映起動過程中瞬態工況的特征參數，并針對復雜的排放規律建立準確的預測模型，提高起動過程中NO_x排放預測的準確性^[12]。不同工作條件下，起動過程NO_x生成規律較為復雜，在構建排放預測模型時，初始訓練集難以覆蓋所有工作條件，模型對不同工作環境適應性差；未知工況NO_x排放規律與訓練集工況差別明顯時，會產生較大的預測誤差；為了保證模型在不同車型及環境下通用，需適時更新訓練模型。若采用歷史數據和累積新數據同時重新訓練模型，需要較大的存儲空間與計算資源，效率較低；若只采用累積新數據重新訓練模型也需較長時間，難以迅速反饋當前發動機的預測需求^[13]。因此，本文中以試驗數據為訓練樣本，選取特征參數，對比分析不同模型、不同在線學習方法及同一模型下在線學習前、后的預測結果，并對比不同訓練數據集對應的模型預測效果、訓練成本，為發動機排放預測模型開發提供參考。

1 試驗方法與數據處理

1.1 試驗方法

試驗用發動機為一臺自主設計開發的水冷、直噴、四沖程、單缸柴油機，發動機主要參數如表1所示。

采用LabVIEW編寫噴油控制程序，結合cRIO-9012嵌入式控制器控制噴油壓力、噴油正時、噴油脈寬；結合冷卻模塊、離心風機、進排氣控制閥、穩壓罐與真空泵等搭建變海拔環境模擬系統，模擬進、排氣壓力為56～101 kPa，海拔高度分別為0、1、2、3、4 km。在噴油正時、噴油壓力等參數相同時，不同海拔高度起動過程的NO_x排放如圖1所示。

由圖1可知：不同海拔高度下NO_x排放存在明顯差異；海拔高度為0～2 km時，隨著海拔升高，NO_x排放降低；海拔高度為3～4 km時，隨著海拔升高，NO_x排放升高。主要原因為：NO_x需要在富氧、高溫的條件下生成，海拔高度為0～2 km時，缸內氧氣質量分數減小，氧氣更加稀薄，不利于NO_x生成，NO_x排放降低；海拔高度為3～4 km時，滯燃期大幅增加，預混燃燒占比增大，混合氣形成更充分，缸內燃燒溫度升高，有利于NO_x生成，NO_x排放升高；不同海拔下，由于缸內氧氣質量分數和滯燃期的變化，NO_x排放差異明顯。

對該柴油機進行96組（66組平原環境、30組高海拔環境）起動試驗，試驗過程中記錄相應的邊界參數及發動機轉速、轉矩。以進氣壓力為70.1 kPa、噴油正時對應的曲軸轉角為上止點前8°、噴油壓力為120 MPa時為例，起動過程中轉速、轉矩與NO_x排放如圖2所示。

由圖2可知：柴油機起動過程中，轉速、轉矩的變化趨勢與NO_x排放有一定的一致性。

每組起動試驗邊界參數（包括噴油壓力、噴油正時、進氣壓力等）保持不變，試驗時，發動機的前2個循環由起動電機拖動旋轉，當轉速升高超過怠速轉速（800 r/min）時，對循環噴油量進行閉環控制，直至發動機轉速穩定在怠速轉速。將試驗采集數據作為初始離線數據集，在該數據集上進行模型初始訓練、驗證與評估，并投入模型實際應用中。

1.2 數據處理

為了模擬實時預測未知工況的在線學習環境，將數據集分成離線數據集L和在線數據集O，采樣頻率為0.1 ms，離線數據集包括66組平原環境試驗數據，共18 125個數據樣本；在線數據集包括海拔高度分別為1、2、3、4 km時的30組試驗數據，共8 262個數據樣本點。離線數據集數據樣本的70%為訓練集L₁，用于模型訓練；15%為驗證集L₂，用于模型超參數調整；15%為測試集L₃，用于評估模型預測性能。在線數據集同樣劃分成訓練集O₁、驗證集O₂、測試集O₃，劃分比例與離線數據集相同。

Pearson因數k表示參數間的相關性，k＞0.7，表明參數間相關性較好^[14]。對試驗邊界參數與NO_x排放進行相關性分析，由于每組試驗邊界參數保持不變，因此采用NO_x累積排放進行相關性分析，計算各邊界參數、試驗數據與NO_x累積排放的相關性分析，結果如表2所示，表2中k_p、k_x、k_s、k_n、k_m、k_j分別為噴油壓力、循環噴油量、噴油正時、轉速、轉矩、進氣壓力與NO_x累積排放相關的Pearson因數。

由表2可知，Pearson因數均大于0.7，表明各參數與NO_x累積排放存在明顯相關性，各邊界參數可以作為預測模型的輸入變量。由于各邊界參數的量綱差別較大，需對原數據進行歸一化或者標準化處理，本文中選用Min-Max歸一化方法，歸一化后樣本參數

x′=（x－x_min）/（x_max－x_min），（1）

式中：x為當前樣本參數，x_max為最大樣本參數，x_min為最小樣本參數。

2 排放預測模型

2.1 模型特征

時序性神經網絡考慮了各特征參數的時序性，可應用于模型構建^[15-16]。起動過程是一個連續且有時序性的過程，本文中采用時序性神經網絡并加入轉速等參數的歷史數據作為模型的特征參數。

非線性自回歸（nonlinear autoregressive with external input，NARX）神經網絡結合歷史時間和外在數據，可用于預測復雜非線性關系的時間序列，尤其適用于非平穩環境的預測^[17]。本文中采用NARX神經網絡的輸入層作為模型特征參數輸入，當前工況采用前n個時刻的輸入、輸出延遲及當前時刻的噴油壓力、循環噴油量、轉速、轉矩等參數作為輸入特征參數，NARX神經網絡架構如圖3所示，圖中t為當前時刻，n為NARX神經網絡時間序列步長，p_m、n_m、M_m、E_m分別為m時刻對應的噴油壓力、轉速、轉矩、NO_x排放，m=t，t-1，…，t-n。

2.2 自注意力機制

選取模型特征參數后，基于自注意力機制搭建NO_x排放預測模型。由于NO_x排放與噴油正時、循環噴油量等參數存在明顯相關性，且噴油參數變化直接影響轉速、轉矩，模型特征參數相關性較高，容易造成模型重復學習，降低神經網絡識別效率，且攜帶重復信息的特征參數造成模型預測失準，本文提出了結合NARX神經網絡特征輸入和自注意力機制的NO_x排放預測模型。

自注意力機制是近年來機器學習領域中的一種重要思想，它充分利用特征參數的相關性，使模型對不同輸入特征參數進行注意力分數加權^[18-19]。自注意力機制原理示意如圖4所示。

由圖4可知：特征序列中的每個參數通過3個不同的全連接層生成3個向量，分別為Query向量Q、Key向量K和Value向量V；將Q與K進行點積，得到初始注意力分數矩陣Q·K^T；結合softmax激活函數s對注意力分數矩陣進行標準化，并與V相乘后縮放，得到注意力概率分配矩陣；將注意力概率分配矩陣經過線性運算使其維度對應，輸出對應的預測矩陣。

激活函數

s（z_i）=e^z_i/（∑^l_i=1e^z_i），（2）

式中：z_i為第i個特征的注意力分數；l為特征的數量；i為對應的特征數，i=1，2，3，…，l。

注意力概率分配矩陣

D（Q，K，V）=s［（Q·K^T）/d］V，（3）

式中d為K的維度。

自注意力機制通過注意力分數在一定程度上實現了不同特征參數間的動態權重調整。特征參數變化時，特征參數與預測目標的權重也發生變化，特征參數之間相關性較高時，可以實現更優的擬合效果。結合NARX神經網絡特征輸入和自注意力機制的排放預測模型，主要基于NARX神經網絡輸入層，生成維度大小與輸入層特征數量一致的Q、K和V作為自注意力機制模型的輸入，計算NO_x排放預測結果。

基于搭建的自注意力機制模型，設定n為1～10，在完成各時間步長模型訓練后，結合數據集L₃中的10組數據，采用決定系數評估模型性能，決定系數

式中：j為樣本數，j=1，2，3，…，h；y_j為真實樣本NO_x排放；y^_j為預測樣本NO_x排放;

y-_j為樣本平均NO_x排放。R²越接近1，誤差越小，模型預測效果越好。

不同時間步長的決定系數如表3所示。由表3可知：為了獲得最佳的預測性能，模型時間步長設為5。

2.3 模型對比分析

對比分析自注意力機制模型與標準反向傳播（back propagation，BP）神經網絡模型，2種模型輸入層、輸出層的選取相同，為了更充分的反應模型準確度，采用R²和均方根誤差作為評價指標，均方根誤差越小，模型準確度越高。

均方根誤差

基于數據集L₃，試驗結果和2種模型的預測效果對比如圖5所示。

由圖5及式（4）（5）可知：BP神經網絡和自注意力機制模型的R²分別為0.969 15、0.976 88，δ_R分別為49.91與33.67，采用自注意力機制模型，預測樣本與真實樣本更接近。對比BP神經網絡模型，自注意力機制模型結構更為復雜，表達能力更強，可以更好的用于起動過程NO_x排放預測。

3 模型在線學習

3.1 在線梯度下降與FTRL算法

在線學習與傳統批處理式機器學習的區別在于在線學習是對在線采集的流式數據的單行樣本進行學習，即在線學習批量為1。本文中采用在線數據集模擬傳感器接收在線數據，進行樣本逐行的訓練與預測，若柴油機實際工況與初始離線數據集采集工況的NO_x排放規律不同，模型將連續接收發動機瞬態過程產生的數據流，用于模型更新和測試評估。常用的在線學習算法主要有在線梯度下降（online gradient descent，OGD）與FTRL算法。OGD是傳統梯度下降算法的在線版本，適用于不斷更新的數據流，OGD算法對學習率的選擇非常敏感，因此采用Adam優化器進行學習率的自適應調整，但OGD算法難以解決數據環境非平穩變化時的振蕩和收斂問題以及離群噪聲對模型準確性影響的問題^[20-21]。

由于正則化限制了權重更新程度，使模型不會過度學習新樣本，減少了產生災難性遺忘問題的風險，因此FTRL算法結合了在線梯度下降和正則化，在每一步梯度計算中都嘗試找一個參數，使歷史梯度的加權和與正則化項的和最小，減少對單個數據點的敏感性和模型的過擬合風險^[22-23]。

OGD算法第t+1時刻的模型參數

w_t+1=w_t－η_tg_t，（6）

式中：w_t為t時刻的模型參數，η_t為t時刻的學習率，g_t為t時刻的梯度。

FTRL算法t時刻的學習率

式中：α、β為超參數，控制模型學習幅度，g_s為s時刻的梯度。

中間變量

式中：g_1：t為當前模型對各權重和偏置的計算梯度；σ_s為中間變量，σ_s=1/η_s-1/η_s-1；w_s為s時刻的模型參數。

FTRL算法t+1時刻的模型參數

式中：λ₁和λ₂為超參數，控制模型學習幅度。選取數據集O₂調試超參數后，再進行NO_x排放在線預測。

3.2 不同算法預測結果

采用自注意力機制模型，結合數據集L₃分析OGD算法和FTRL算法下NO_x排放預測結果如圖6所示。

由圖6及式（4）（5）可知：采用OGD、FTRL算法對應的R²分別為0.975 12、0.980 39，δ_R分別為33.88、24.32；FTRL算法的R²比OGD算法高0.005 27，δ_R小9.56；2種算法數據點均集中分布在y=x附近。由于起動過程NO_x排放隨時間的變化趨勢不平穩，采用OGD算法振蕩較大；FTRL算法由于累積歷史梯度、平滑參數和正則化，可以更快地收斂，NO_x排放預測結果更平穩。

結合數據集O₃，對比不同算法下，NO_x排放預測結果如圖7所示。由圖7可知：對比FTRL算法，采用OGD算法NO_x排放前期更接近試驗結果，跟蹤誤差小，但在排放峰值處出現了較大幅度的振蕩。FTRL與OGD算法的R²分別為0.990 97和0.988 15，δ_R分別為26.04和33.41，采用FTRL算法能夠更準確地預測模型在起動過程的NO_x排放。

3.3 在線學習前后模型對比

為了研究采用FTRL算法在線學習后，自注意力機制模型初始訓練工況的預測精度，定義自注意力機制模型采用FTRL算法在線學習前的模型為A模型，在線學習后的模型為B模型，即A模型采用數據集L₁進行訓練，B模型采用數據集O₁進行訓練，結合數據集L₃，分析不同模型下NO_x預測結果如圖8所示。

由圖8及式（4）（5）可知：A、B模型的R²分別為0.976 88和0.962 47，δ_R分別為33.67和69.26，在線學習前、后模型的預測能力都很好，但在線學習后模型計算精度明顯下降。主要原因為B模型采用數據集O₁訓練，學習了大量高原環境下的NO_x排放規律，在預測數據集L₃時的精度有所下降，但由于合理的正則化設置，模型沒有出現災難性遺忘問題，對平原工況有較好的預測能力。在訓練算力允許的條件下，可以適當對平原工況進行在線學習，使模型充分廣泛的適用于各種環境。同時，在線學習在實際應用時可以根據當前誤差隨時開啟與關閉：誤差大時開啟在線學習，誤差小時關閉在線學習，從而提高預測精度，降低計算成本。

3.4 在線學習與全數據集學習對比分析

在線學習的一個重要目標是在不使用初次訓練離線數據集的情況下，僅對新數據進行學習，即可使模型在不同工況下均有良好的預測效果。將在線數據集與離線數據集的訓練集、驗證集及測試集對應混合，構成全數據集，將全數據集離線訓練得到的模型稱為C模型。基于全數據集的測試集，B模型與C模型NO_x排放預測結果對比如圖9所示。

由圖9及式（4）（5）可知：B模型與C模型的R²分別為0.962 81、0.965 63，δ_R分別為65.04、57.91，2個模型預測精度大致相同。對比C模型，B模型在應用于未知工況時無需重新使用離線數據集所含的66組數據，數據量減少了68.7%。A、B、C 3個模型的訓練時間分別為54.26、28.83、109.11 s，相比采用全數據集離線訓練的模型C，在線學習后的自注意力機制模型B訓練時間減少了73.6%。說明在線學習后的自注意力機制模型比其余模型的訓練時間少，可以大幅減少重新訓練和存儲數據的成本，同時滿足了在線預測需求。

4 結論

1）基于自注意力機制構建的模型，預測結果的決定系數和均方根誤差分別為0.976 88與33.67，相較于BP神經網絡模型，自注意力機制構建模型精度更高，可以更準確地預測NO_x排放。

2）FTRL算法預測結果比OGD算法更準確，因此更適用于起動過程NO_x排放預測模型。

3）通過在線學習可以使用離線訓練集中未覆蓋的工況樣本進行NO_x排放預測模型更新，提高了模型的泛化性。

4）對比采用全數據集離線訓練的模型，在線學習后的自注意力機制模型決定系數減小0.002 82，均方根誤差增大了7.13，但訓練所用數據量和訓練時長分別減小了68.7%和73.6%;采用在線學習的自注意力機制模型大幅減少了訓練與存儲成本，更高效地完成排放預測需求。

參考文獻：

[1] WU C L， PEI Y Q， LIU C T， et al.Insights into the fusion correction algorithm for on-board NO_x sensor measurement results from heavy-duty diesel vehicles[J].Energies，2023，16（16）：6082.

[2] 錢楓，馬騁，祝能，等.基于動態改進遺傳粒子群-BP的重型車NO_x排放預測模型研究[J].車用發動機，2023（5）：63-71.

[3] 王志紅，董夢龍，張遠軍，等.基于PSO-SVR的重型柴油車NO_x排放預測[J].內燃機學報，2023，41（6）：524-531.

[4] FEBRIANA S B， QUACH N Y， KWANG C O， et al. NO_x emissions prediction in diesel engines：a deep neural network approach[J].Environmental Science and Pollution Research I， 2023（29）：713-722.

[5] TANG G Z，WANG S B，DU B C，et al. Study on pollutant emission characteristics of different types of diesel vehicles during actual road cold start[J].Science of the Total Environment， 2022，823：153598.

[6] 高松.汽車發動機冷起動排放控制及應用研究[D].沈陽：東北大學，2015.

[7] 蘇巖，劉忠長，韓永強，等.進氣溫度對直噴式柴油機冷起動初始期燃燒和排放的影響[J].內燃機工程，2007（6）：28-32.

[8] FANG L， LOU D M， HU Z Y， et al. The emission characteristics of a diesel engine during start-up process at different altitudes[J].Energies，2019，12（18）：3556.

[9] WEILENMANN M， SOLTIC P， SAXER C，et al.Regulated and nonregulated diesel and gasoline cold start emissions at different temperatures[J].Atmospheric Environment，2005，39（13）：2433-2441.

[10] SEO J G， YUN B， KIM J， et al. Development of a cold-start emission model for diesel vehicles using an artificial neural network trained with real-world driving data[J].Science of the Total Environment， 2022，806：151347.

[11] TANG D，ZHANG Z， HUA L，et al.Prediction of cold start emissions for hybrid electric vehicles based on genetic algorithms and neural networks[J].Journal of Cleaner Production，2023，420：138403.

[12] 楊蓉，楊林，譚盛蘭，等.基于遺傳算法-優化長短期記憶神經網絡的柴油機瞬態NO_x排放預測模型研究[J].內燃機工程，2022，43（1）：10-17.

[13] 李志杰.面向大數據分析的多任務加速在線學習算法研究[D].武漢：武漢大學，2015.

[14] 楊飛，盧保玲.基于主成分和貝葉斯正則化的NO_x排放量的預測[J].熱力發電，2010，39（2）：24-27.

[15] MOLKDARAGH R R， JAFARMADAR S， KHALILARIA S， et al. Prediction of the performance and exhaust emissions of a compression ignition engine using a wavelet neural network with a stochastic gradient algorithm[J].Energy，2018，142： 1128-1138.

[16] 戴金池，龐海龍，俞妍，等.基于LSTM神經網絡的柴油機NO_x排放預測[J].內燃機學報，2020，38（5）：457-463.

[17] FEDERICO R，LUCA P，FRANCESCO M， et al.NARX technique to predict torque in internal combustion engines[J].Information，2023，14（7）：417.

[18] ZHANG Q，LIU Q， YE Q.An attention-based temporal convolutional network method for predicting remaining useful life of aero-engine[J].Engineering Applications of Artificial Intelligence，2024，127：107241.

[19] JIANG J J，LI H，MAO Z W， et al.A digital twin auxiliary approach based on adaptive sparse attention network for diesel engine fault diagnosis[J].Scientific Reports，2022（12）： 675.

[20] YANG A N， LI D Q， LI G X.A fast adaptive online gradient descent algorithm in over-parameterized neural networks[J].Neural Processing Letters， 2023（55）： 4641-4659.

[21] 常禧龍，梁琨，李文濤.深度學習優化器進展綜述[J].計算機工程與應用，2024，60（7）：1-12.

[22] MCMAHAN H B.Follow-the-regularized-leader and mirror descent： equivalence theorems and L1 regularization[C]//Proceedings of 2011 International Conference on Artificial Intelligence and Statistics.Fort Lauderdale， USA：ICAIS，2011：525-533.

[23] 李歌.面向災難性遺忘的小樣本增量學習方法研究[D].北京：中國礦業大學，2023.

Prediction model for NO_x emission of starting process of the diesel engine based on online learning

DU Zhengyu¹， LI Huajie²， GUO Zhikun³， LIANG Yongsen³， SHI Lei^1*

1.Key Laboratory for Power Machinery and Engineering of Ministry of Education，Shanghai Jiao Tong University， Shanghai 200240， China; 2. 92118 Troops of PLA， Zhoushan 316000， China；3.China North Engine Research Institute， Tianjin 300400， China

Abstract：In order to build an accurate NO_x emission prediction model for diesel engine starting process，the transient operation characteristics of the starting process is analyzed， a nonlinear autoregressive neural network is used to select model features based on starting test data. The prediction performance of the self-attention mechanism model and the standard backpropagation neural network model for NO_x emissions is compared， it is found that the self-attention mechanism model has good prediction performance and small root mean square error. Comparing the predictive performance of self attention mechanism models in two online learning methods， namely online gradient descent algorithm and FTRL algorithm， it is found that adopting FTRL algorithm could improve the predictive performance of the model under unknown working conditions. Comparing the predictive performance of the self attention mechanism model before and after learning， it is found that the root mean square error of the learned model increases， but the predictive ability is good. Comparing the prediction performance of online learning models and full data training set offline learning models， it is found that the coefficient of determination and root mean square error of both models are not significantly different， and the prediction performance is good. However， the amount of data and training time used in online learning have been respectively reduced by 68.7% and 73.6%， significantly reducing storage and training costs. The results indicate that the self-attention mechanism model using FTRL algorithm could reduce data storage and training resource costs， and provide real-time feedback on prediction requirements.

Keywords：diesel engine; starting process; NO_x prediction; self attention mechanism; online learning

（責任編輯：胡曉燕）