李宇航 莊繼暉 陳振斌



摘要:針對農用車輛柴油機NOX排放與實際運行工況之間的復雜非線性關系,提出一種數據驅動下的NOX排放預測模型?;谲囕vOBD采集實際運行數據,通過小波閾值降噪降低原始數據的非平穩性,采用集成特征選擇算法完成模型輸入特征的選擇,同時融合BiGRU和注意力機制構成BiGRU-Attention模型,同時利用貝葉斯優化進行模型超參數選擇。基于實車道路測試數據集分析,提出的模型相對于LSTM、GRU和BiLSTM-Attention模型NOX瞬時排放預測校正系數分別提高7.65%、3.26%和4.09%,模型平均絕對誤差維持在0.001 4 g/s,在不同車輛數據集上預測校正系數均保持在85%以上,可以有效進行實際場景下NOX排放的高精度預測,為農用車輛柴油機NOX排放預測控制提供數據支撐。
關鍵詞:NOX排放;小波降噪;特征選擇;雙向GRU;注意力機制;貝葉斯優化
中圖分類號:S218.5: TP183
文獻標識碼:A
文章編號:2095-5553 (2023) 04-0128-09
Abstract: In view of the complex nonlinear relationship between NOX emissions and actual operating conditions of diesel engines in agricultural vehicles, a data-driven NOX emission prediction model is proposed. The actual operating data was collected based on vehicle OBD, and the non-smoothness of the original data was reduced by wavelet threshold denoising. The integrated feature selection algorithm was used to complete the selection of model input features. The BiGRU-Attention model was constructed by integrating BiGRU and the attention mechanism, and bayesian optimization was also used to select the model hyperparameters. Based on the experimental analysis of the actual vehicle road test dataset, compared with the LSTM, GRU, and BiLSTM-Attention models, the prediction R-square of the model in this paper was increased by 7.65%, 3.26%, and 4.09%, respectively. The mean absolute error of the model was maintained at 0.001 4 g/s. The prediction R-square was maintained at 85% on different vehicle datasets. This model can effectively predict NOX emissions with high accuracy in real scenarios and provides data support for NOX emission prediction control of diesel engines in agricultural vehicles.
Keywords: NOX emissions; wavelet denoise; feature selection; bidirectional GRU; attention mechanism; bayesian optimization
0 引言
柴油機因其油耗低、可靠性高等優點被廣泛用于各行各業中,農業行業中柴油機被用于非道路農用機械以及農用運輸車輛中,隨著其應用場景的普及,柴油機排放問題也愈發引人關注,其中氮氧化物(NOX)是柴油機排放的主要氣態污染物,也是大氣污染的主要污染源之一。柴油機造成的NOX排放占發動機NOX總排放的80%以上,為治理柴油車排放污染問題,排放相關法規愈發嚴格,目前重型柴油車已實施國六排放標準,非道路國四標準也即將于2022年底應用[1]。
選擇性催化技術(SCR)是降低柴油機NOX排放的一種有效方法,利用催化還原反應將氮氧化物變為氮氣和水,被廣泛用于農用運輸車輛中。SCR系統的高效使用需要獲得精準的柴油機NOX排放數據來控制尿素噴射速率[2],由于實際運行工況NOX排放信息存在數據延遲和漂移等問題,影響實際SCR系統的控制效率,獲取NOX排放預測信息可以通過反饋補償滿足系統實時性要求。
NOX排放預測模型的構建與柴油機復雜運行機理有關,可以通過計算流體力學(CFD)利用NOX的物理化學過程獲取NOX排放數據,但是CFD模型存在計算量大、標定困難等問題;也可以通過試驗獲取靜態MAP映射圖進行NOX排放預測,但MAP圖法需要大量標定實驗擬合柴油機各運行狀態排放數據[3],同時對于瞬態NOX排放數據難以準確獲?。淮髷祿夹g發展降低了柴油機實際運行工況數據獲取難度,針對柴油機多參數非線性特性,數據驅動下的神經網絡預測模型得以快速應用。
左付山等[4]構建了基于BP神經網絡的NOX排放預測模型,可以實現車輛全工況下排放預測,在異常狀態下仍可以保持較高的預測精度;Fang等[5]探討了人工神經網絡方法在預測高速直噴柴油機瞬態負載階段NOX排放方面的適用性,利用瞬態輸入特征構建ANN模型預測瞬態NOX排放,ANN模型預測的NOX排放量與快速NOX分析儀測量值吻合良好。
由于柴油機NOX排放數據具有明顯的時間相關性,傳統神經網絡難以學習其時序關系,長短時記憶神經網絡(LSTM)通過門控制將長短時記憶結合更適應于時序數據預測,邢紅濤等[6]設計了一種基于混合CNN和LSTM的NOX排放預測模型,加入K-means聚類完成訓練樣本的分類,相較于原始LSTM預測模型表現更佳;溫鑫等[7]建立了基于雙向LSTM(BiLSTM)的NOX排放預測模型,通過學習數據前后兩個方向信息實現NOX排放的高精度預測。門控循環單元(GRU)相比于LSTM網絡更加高效快速,更加滿足實際工程應用的實時性要求,謝銳彪等[8]提出一種基于雙向門控循環單元(BiGRU)的NOX排放預測模型,通過主成分分析進行數據降維,采用粒子群優化進行網絡超參數尋優,實現了NOX排放的高精度預測。
因此,提出一種數據驅動下農用車輛柴油機NOX排放預測模型,基于柴油車OBD獲取車輛實際運行工況數據,通過小波閾值降噪完成數據預處理,利用組合特征選擇算法進行特征選擇,將篩選后特征作為模型輸入,構建雙向GRU網絡,經過注意力機制進行關鍵時間點信息選取,通過貝葉斯優化算法實現網絡超參數優化,可以有效提高NOX排放預測精度。
1 研究方法
1.1 小波閾值降噪
原始數據來源于實際工程場景,數據會疊加外界噪聲,影響特征選取以及模型訓練,容易導致模型過擬合[9],因此需要對數據進行降噪,降低數據非平穩性,小波閾值降噪通過小波變換可以有效完成時序數據的數據降噪。時間序列x(t)的連續小波變換(CWT)可以表示為式(1)。
XGBoost將損失函數進行泰勒展開,可以獲取更高的收斂速度和準確性,增加模型的泛化能力,通過樹分裂次數綜合分析特征對模型預測準確性貢獻,選取當前信息增益最大的特征用于分裂,將相應葉子中分數疊加為計算結果。
1.3 Bi-GRU網絡
柴油機NOX排放數據與車輛運行工況相關,具有明顯的時間相關性,對于排放數據的學習需要關注時間維度信息。LSTM作為一種特殊的具有記憶單元和門機制的遞歸神經網絡,克服了傳統RNN中存在的梯度消失和梯度爆炸的問題。通過門控制結合長短期記憶,能夠有效獲取數據時間維度深層依賴關系。
GRU網絡是LSTM網絡的一種改進體,在LSTM輸入門、遺忘門和輸出門三個門結構的基礎上,將遺忘門與輸入門結合為更新門,保留預測精度的同時通過簡化結構提高計算效率,更適應于工程應用[15]。GRU網絡結構如圖2所示。
更新門選擇歷史信息保存在當前時間,重置門決定當前時刻輸入與歷史累積信息的融合,通過激活函數表征累積信息的遺忘程度。
GRU網絡只能單向對數據進行學習,容易丟失反向重要信息,為充分分析和學習時序數據,采用雙向GRU網絡(BiGRU),通過前向和后向獨立計算隱藏層狀態,疊加獲得最后輸出結果[16],BiGRU對特征學習能力更強,更適合于時間相關性強的NOX排放數據。
1.4 注意力機制
注意力機制(Attention Mechanism)借鑒生物視覺存在選擇性傾向,從復雜信息流中選取重要信息,可以更好地利用計算資源對關鍵信息進行學習,準確提取數據特征[17]。由于不同歷史時刻與當前信息的相關度不同,通過注意力機制計算BiGRU輸出權重,突出關鍵信息,可以有效提高模型的預測精度[18],注意力機制計算過程如下。
1.5 基于貝葉斯的模型超參數優化
為了加快神經網絡模型訓練速度,需要調整模型超參數,合理的超參數可以有效提高模型性能以及預測精度。人工調參經驗性依賴高、不確定因素過多,常用自動調參進行超參數尋優,自動調參有網格搜索法和隨機搜索法,網格搜索需要的計算量會隨著參數的增加呈指數上升,隨機搜索雖然能夠加快運行速度,但是容易陷入局部最優解。因此選取貝葉斯優化算法進行模型超參數尋優。
貝葉斯優化是一種針對計算成本高昂函數的全局優化方法,其主要思想是假設目標函數符合高斯分布并且建立目標函數的統計模型,利用統計模型尋找預期目標函數最小值的位置[19],采樣函數決定采樣點選擇,常采用期望改進函數(Excepted Improvement,EI)。貝葉斯優化模型超參數需要先設置超參數搜索域空間,選取隨機樣本點初始化預測模型,利用高斯分布獲得超參數概率分布,取平均絕對誤差評估并修正高斯模型,然后利用采樣函數選取下一采樣點,直至收斂為最優解或達到最大迭代次數[20]。
2 柴油機NOX排放預測模型建立
柴油機NOX排放預測模型由數據處理層、特征選擇層、預測層、輸出層組成,為加快模型收斂在輸入訓練前需對數據進行歸一化處理[21],采用最大—最小(min-max)歸一化方法,其計算方法如式(15)所示。
3 試驗及結果分析
3.1 試驗平臺及數據
試驗平臺為不同車型的農用運輸貨車,試驗車輛具體參數如表1所示,數據采集自車載排放診斷系統(On Board Diagnostics system,OBD系統),采集設備連接OBD口通電,通過CAN總線與車輛進行通訊并實時采集數據,利用4G完成數據云平臺發送,主要采集參數包括:車速、大氣壓力、轉速、燃料流量、排氣溫度、凈輸出扭矩、發動機負載、SCR后端NOX濃度、摩擦轉矩、冷卻液溫度,SCR進氣溫度、NOX瞬時排放、經緯度等數據。
其中,預測模型訓練與測試數據來源于1號車和2號車混合數據集,3號車數據用于模型泛化能力驗證??紤]實際農用運輸車工作環境的復雜性,為貼合真實工作場景,選取農村、城市和高速三種路段進行測試,數據采集頻率為1 Hz,同時包括加速、減速、勻速、怠速等多種工況。針對采集數據受實際環境影響導致的數據異常點,依據3σ定理對數據進行清洗,去除偏差較大的異常值。預處理后三車速度變化圖如圖4所示,其中1號車有效測試數據5 000組,包含農村道路2 174 s、城市道路1 895 s以及高速道路931 s;2號車有效測試數據5 000組,包含農村道路1 759 s、城市道路1 905 s以及高速道路1 336 s;3號車有效測試數據5 000組,包含農村道路2 347 s、城市道路1 966 s以及高速道路687 s。各路段平均車速如表2所示。
模型構建數據選擇1號車和2號車拼接混合數據集,共有10 000組時間間隔為1 s的數據,其NOX瞬時排放變化趨勢如圖5所示。在農村、城市以及高速路段按照8∶2的比例劃分訓練集和測試集,保證訓練集和測試集數據均包含各路段數據。
對原始數據進行小波閾值降噪,降噪前后部分數據對比圖如圖6所示,降噪后數據相對于原始數據變化更加平滑穩定,小波降噪可以有效優化數據質量。
將降噪后數據進行特征選擇,不同特征選擇算法輸出結果如表3所示。
根據皮爾森系數法,與NOX瞬時排放量線性相關性強的是SCR下游NOX濃度、車速、凈輸出扭矩、發動機負載以及SCR出口溫度,皮爾遜系數均在0.35以上;根據互信息系數,NOX瞬時排放量相關性排序為:轉速、SCR下游NOX濃度、車速、SCR出口溫度以及發動機負載,互信息系數均在0.65以上;根據隨機森林算法輸出特征重要性,SCR下游NOX濃度、轉速、車速、SCR出口溫度以及燃料流量得分較高;根據XGBoost輸出重要性得分,SCR下游NOX濃度、車速、發動機凈輸出扭矩、燃料流量以及發動機負載與預測準確度相關性更大。
綜合各特征選擇算法結果,選擇車速、轉速、SCR下游NOX濃度、燃料流量及SCR出口溫度、凈輸出扭矩和發動機負載作為模型輸入參數,舍去摩擦扭矩、冷卻液溫度等其余參數。
3.2 模型參數設置
預測模型超參數的確定采用貝葉斯優化法,設置批處理大小尋優范圍為[32,64,128,256],訓練次數尋優范圍為[2 000,3 000,4 000,5 000],Dropout比率尋優范圍為[0.2,0.3,0.4],隱藏層節點數尋優范圍為[64,128,256],學習率尋優范圍為[0.001,0.002,0.003],損失函數尋優范圍為[MSE,MAE],優化器尋優范圍為[Adam,SGD],設置最大迭代次數為200,貝葉斯優化結果如表4所示,優化結果即為NOX排放預測模型最優超參數。
MAE和RMSE反映模型預測結果與真實值的誤差大小,數值越接近0,精度越高;R2數值在0~1之間,數值與模型精度呈正比。
3.4 模型結構對比
為驗證小波閾值降噪和注意力機制對預測模型精確度的提升,對不同結構模型進行對比分析,將本文模型分別與未進行降噪處理的預測模型和進行降噪處理但未加入注意力機制的預測模型進行對比分析,試驗數據和BiGRU網絡超參數設置均相同,不同結構模型預測精度如表5所示。
由表5可知,本文模型相對于未降噪處理預測模型,MAE降低了0.001 g/s,約為預測數據集均值0.011 g/s的9%,R2提高了8.93%,RMSE降低了0.001 2,表明基于小波閾值降噪的數據處理可以有效提高模型預測精度;模型加入注意力機制后,模型MAE降低了0.000 7 g/s,約為均值的6.36%,R2提高了4.31個百分點,RMSE降低了0.000 6,說明注意力層通過突出關鍵信息可以有效提高NOX瞬時排放預測效果。圖7為不同結構模型部分測試數據預測結果,結合圖像可知,模型未進行數據降噪時對NOX排放數據跟蹤存在偏差,數據降噪有效提高了模型對于NOX排放數據波動的跟蹤能力;模型在未加入注意力層時對關鍵信息未進行有效篩選,在NOX瞬態排放突變處存在較大波動。
3.5 不同模型對比試驗
為進一步分析本文模型預測效果,選擇3種基準模型進行對比分析,分別是LSTM預測模型,包含三個節點數為64的隱藏層;GRU預測模型,包含一個節點數為64的隱藏層;BiLSTM-Attention預測模型,采用激活函數為tanh且節點數為64的網絡結構。設置試驗參數與本文模型相同,不同模型預測精度見表6所示。
由表6可知,本文模型相對于LSTM模型、GRU模型以及BiLSTM-Attention預測模型,MAE分別降低了0.001 1 g/s、0.000 6 g/s、0.000 3 g/s,分別約為測試數據集均值的10%、5.45%、2.73%;R2分別提高了7.65、3.26、4.09個百分點;RMSE分別降低了0.001 1、0.000 5、0.000 6。
圖8為不同模型部分預測結果圖,結合圖像可知,GRU預測模型有效學習了NOX瞬態排放變化趨勢,但與實際輸出偏差較大;BiLSTM-Attention預測模型跟蹤良好但在預測初期偏差較大。綜合分析,本文模型預測性能優于基準模型LSTM模型、GRU模型以及BiLSTM-Attention預測模型。
3.6 模型泛化能力試驗
為進一步分析模型在實際工程環境下的泛化能力,驗證NOX排放預測模型在其余車輛上的預測表現,取獨立于模型訓練和測試之外的3號車數據進行驗證分析,隨機生成測試數據集1和數據集2,在新測試數據集1和2上的預測精度如表7所示,部分數據預測結果圖9和圖10所示。
NOX排放預測模型在數據集1和數據集2上均值分別為0.028 1 g/s和0.018 7 g/s,R2指標均在85%以上,RMSE均在0.007以下,同時數據集1和數據集2的平均絕對誤差分別為0.003 8 g/s和0.005 3 g/s,在未進行針對性訓練情況下模型具備一定的泛化能力。結合圖9和圖10可知在數據突變處模型預測效果變差,在數據存在波動下降的數據集2上預測精度有所下降,但是對于不同數據集,模型均能有效跟蹤NOX瞬態排放變化趨勢,表明預測模型能夠有效學習NOX瞬態排放和相關參數之間的時序關系。
4 結論
針對農用柴油機NOX瞬時排放難以準確預測的問題,提出一種基于數據驅動的農用柴油機NOX排放預測模型。
1)? 數據方面,采用農用運輸車輛多車混合數據集,增加模型的泛化能力;使用小波閾值降噪對數據進行預處理;針對OBD采集數據特征的復雜冗余性,進行基于集成特征選擇算法的特征提取,優化輸入參數選擇以提高模型預測的速度與精度。
2)? 構建雙向GRU網絡充分挖掘數據間時序聯系,通過注意力機制集中關鍵信息進行學習,并通過貝葉斯優化算法解決模型超參數尋優困難問題。仿真結果表明,本文模型在測試集數據上預測平均絕對誤差在0.001 4 g/s,校正絕對系數約為93%,同時均方根誤差維持在0.002 2,在不同車輛數據集上預測校正系數均能維持在85%以上,表明本文模型能夠有效進行農用柴油機真實工作場景下NOX瞬時排放數據的高精度預測。
在未來研究中,將針對NOX排放預測模型進行車輛運行控制策略的設計與改進,為降低NOX排放量提供理論支撐。
參 考 文 獻
[1] 徐萌, 王俊, 文奕鈞, 等. 小型農用柴油機油耗和排放的多目標優化[J]. 中國農機化學報, 2022, 43(2): 112-120.
Xu Meng, Wang Jun, Wen Yijun, et al. Multi objective optimization of fuel consumption and emissions of a small agricultural diesel engine [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(2): 112-120.
[2] 楊蓉, 楊林, 譚盛蘭, 等. 基于遺傳算法——優化長短期記憶神經網絡的柴油機瞬態NOX排放預測模型研究[J]. 內燃機工程, 2022, 43(1): 10-17.
Yang Rong, Yang Lin, Tan Shenglan, et al. Prediction model for transient NOX emission of diesel engine based on GA-long short term memory (LSTM) neural network [J]. Chinese Internal Combustion Engine Engineering, 2022, 43(1): 10-17.
[3] 戴金池, 龐海龍, 俞妍, 等. 基于LSTM神經網絡的柴油機NOX排放預測[J]. 內燃機學報, 2020, 38(5): 457-463.
Dai Jinchi, Pang Hailong, Yu Yan, et al. Prediction of diesel engine NOX emissions based on long-short term memory neural network [J]. Transaction of CSICE, 2020, 38(5): 457-463.
[4] 左付山, 李政原, 呂曉, 等. 基于BP神經網絡的汽油機尾氣排放預測[J].江蘇大學學報(自然科學版), 2020, 41(3): 307-313.
Zuo Fushan, Li Zhengyuan, Lü Xiao, et al. Prediction of gasoline engine exhaust emission based on BP neural network [J]. Journal of Jiangsu University (Natural Science Edition), 2020, 41(3): 307-313.
[5] Fang X H, Zhong F, Papaioannou N, et al. Artificial neural network (ANN) assisted prediction of transient NOX emissions from a high-speed direct injection (HSDI) diesel engine [J]. International Journal of Engine Research, 2021.
[6] 邢紅濤, 郭江龍, 劉書安, 等. 基于CNN-LSTM混合神經網絡模型的NOX排放預測[J]. 電子測量技術, 2022, 45(2): 98-103.
Xing Hangtao, Guo Jianglong, Liu Shuan, et al. NOX emission forecasting based on CNN-LSTM hybird neural network [J]. Electronic Measurement Technology, 2022, 45(2): 98-103.
[7] 溫鑫, 錢玉良, 彭道剛, 等. 基于深度雙向LSTM的SCR系統NOX排放預測模型研究[J]. 熱能動力工程, 2020, 35(10): 57-64.
Wen Xin, Qian Yuliang, Peng Daogang, et al. NOX emission prediction model of SCR system based on deep bidirec-tional LSTM [J]. Journal of Engineering for Thermal Energy and Power, 2020, 35(10): 57-64.
[8] 謝銳彪, 李新利, 王英男, 等. 基于粒子群優化的雙向門控循環神經網絡燃煤電廠NOX排放預測[J]. 熱力發電, 2021, 50(10): 87-94.
Xie Ruibiao, Li Xinli, Wang Yingnan, et al. NOX emission prediction of coal-fired power plants based on PSO and Bi-GRU [J]. Thermal Power Generation, 2021, 50(10): 87-94.
[9] 應銘, 馮國勝, 賈素梅, 等. 基于DSP的柴油機振動信號小波降噪實時性研究[J]. 內燃機學報, 2022, 40(4): 345-350.
Yi Ming, Feng Guosheng, Jia Sumei, et al. Real-time research of diesel engine vibration signal denoising by wavelet based on DSP [J]. Transaction of CSICE, 2022, 40(4): 345-350.
[10] 鄧婕, 李舜酩, 丁瑞, 等. 基于小波閾值降噪的軸承振動信號虛假模態剔除研究[J]. 重慶理工大學學報(自然科學), 2021, 35(9): 103-108.
Deng Jie, Li Shunming, Ding Rui, et al. Research on eliminating false mode of bearing vibration signal based on wavelet threshold denoising [J]. Journal of Chongqing University of Technology (Natural Science), 2021, 35(9): 103-108.
[11] Mei Kai, Tan Meifang, Yang Zhihui, et al. Modeling of feature selection based on random forest algorithm and pearson correlation coefficient [J]. Journal of Physics: Conference Series, 2022, 2219(1).
[12] 楊云凱. 基于互信息的過濾式特征選擇算法研究[D]. 長春: 吉林大學, 2022.
Yang Yunkai. Research on filtering feature selection algorithm based on mutual information [D]. Changchun: Jilin University, 2022.
[13] Guehairia O, Ouamane A, Dornaika F, et al. Feature fusion via deep random forest for facial age estimation [J]. Neural Networks, 2020, 130.
[14] 艾成豪, 高建華, 黃子杰. 混合特征選擇和集成學習驅動的代碼異味檢測[J]. 計算機工程, 2022, 48(7): 168-176, 198.
Ai Chenghao, Gao Jianhua, Huang Zijie. Code smell detection driven by hybrid feature selection and ensemble learning [J]. Computer Engineering, 2022, 48(7): 168-176, 198.
[15] Liu Y, Pei A, Wang F, et al. An attention-based category-aware GRU model for the next POI recommendation [J]. International Journal of Intelligent Systems, 2021, 36(7): 3174-3189.
[16] Lin X, Quan Z, Wang Z J, et al. A novel molecular representation with BiGRU neural networks for learning atom [J]. Briefings in bioinformatics, 2020, 21(6): 2099-2111.
[17] 殷昌山, 楊林楠, 胡海洋. 基于注意力機制的農資標簽文本檢測[J]. 中國農機化學報, 2022, 43(10): 135-140.
Yin Changshan, Yang Linnan, Hu Haiyang. Text detection of agricultural materials labels based on attention mechanism [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(10): 135-140.
[18] Zhou L, Bian X. Improved text sentiment classification method base on BiGRU-Attention [C]. Journal of Physics: Conference Series, 2019, 1345(3): 032097.
[19] 金祖進. 大型光學鏡面加工系統多重擾動誤差分析及補償控制策略研究[D]. 徐州: 中國礦業大學, 2022.
Jin Zujin. Research on multiple disturbance error and compensation control strategy of large optical mirror processing system [D]. Xuzhou: China University of Mining and Technology, 2022.
[20] Sun D, Xu J, Wen H, et al. Assessment of landslide susceptibility mapping based on Bayesian hyperparameter optimization: A comparison between logistic regression and random forest [J]. Engineering Geology, 2021, 281: 105972.
[21] 羅兵, 張建敏. 基于BP神經網絡的農機安全評價敏感性分析[J]. 中國農機化學報, 2022, 43(3): 120-126.
Luo Bing, Zhang Jianmin. Sensitivity analysis of agricultural machinery safety evaluation based on BP neural network [J]. Journal of Chinese Agricultural Mechanization, 2022, 43(3): 120-126.