基于DAM-QLSTM混合模型的輔助動力裝置性能參數預測方法

摘 要：對飛機輔助動力裝置（APU）排氣溫度（EGT）進行準確預測，能有效監測APU未來工作狀態，預防安全事故發生。本文提出一種融合雙階段注意力機制（DAM），以及分位數損失（quantile-loss）引導的長短期記憶（LSTM）網絡的APU排氣溫度預測模型。采用雙階段注意力機制，能有效量化輸入變量與EGT的關聯度，并加強歷史關鍵信息對輸出的作用效果。使用分位數損失來優化LSTM網絡的損失函數，進一步提高模型的預測能力。試驗結果表明，對于EGT的單步與多步預測，與其他預測模型相比，所提模型的預測精度有較大程度提高，為短期APU性能變化趨勢預測提供一定參考。

關鍵詞：輔助動力裝置； 排氣溫度； 長短期記憶網絡； 注意力機制； 分位數損失

中圖分類號：V240.2 文獻標識碼：A DOI：10.19452/j.issn1007-5453.2024.07.004

基金項目： 國家自然科學基金（62173331）

輔助動力裝置（APU）是一個位于飛機尾端的小型渦輪發動機[1]。當飛機在地面停放時，APU為飛機提供電源和壓縮空氣用于保證客艙及駕駛艙的照明和空調[2]。起飛前，由APU起動主發動機，從而減少地面電源或氣源的供應。起飛時，全部功率用于地面加速和爬升，改善起飛性能。APU不僅是飛機在空中停車后重起發動機的重要裝備，也是飛機在地面時確保客艙環境舒適的必要保障[3]。

排氣溫度（EGT）可以綜合反映其他相關性能指標的健康程度，有效地表征了APU的性能衰退狀況。因此將其作為判斷APU健康狀態的主要性能指標[4]。EGT在APU的全生命周期內通常呈現逐漸上升的趨勢，可以通過預測EGT未來走向，對其進行健康監測[5]。從而判斷其是否超過所規定的安全值，由此來判斷APU是否符合民航安全運行標準，為后續設備維護提供決策支持[6]。APU是一個高度耦合的復雜系統，對于EGT的預測需要考慮到APU內各性能參數的影響作用[7]。分析發現APU性能參數數據的歷史信息和未來信息存在一定的關聯，而長短期記憶（LSTM）網絡通過在隱藏層中增加單元存儲結構，使其善于處理長時間序列問題[8]。

國內外學者針對基于LSTM網絡的排氣溫度預測展開研究。楊洪富等[9]提出采用LSTM網絡用于挖掘排氣溫度隨飛機運行時間的變化規律從而實現預測。韓國棟等[10]針對燃氣輪機氣路性能退化的周期性與非線性特點，提出采用LSTM網絡建立預測模型，對燃氣輪機排氣溫度的未來趨勢進行預測。孫毅剛等[11]提出了一種基于粒子群算法優化的LSTM網絡預測方法。通過對關鍵參數進行迭代優化，有效解決了傳統模型參數低擬合度、低預測精度等問題。Ullah等[12]針對發動機排氣溫度的預測問題，提出采用LSTM網絡來建立預測模型。結果表明與傳統神經網絡預測模型相比，預測精度顯著提高。郭毅博等[13]提出使用Transformer與LSTM網絡相結合，將傳感器所獲取的數據作為時序數據處理，其次采用貝葉斯優對模型進行優化，有效減少了整體誤差，增強了測量穩定性與可靠性。張帥等[14]通過分析航空器發動機氣路參數的特點，提出一種輸出層增強的長短期記憶網絡（OLE-LSTM）排氣溫度預測模型，顯著提高了模型對排氣溫度的預測精度。白春垣等[15]采用多尺度卷積神經網絡完成信號深度特征的提取，使用LSTM網絡學習訓練數據間的潛在規律，以某型APU實時報文數據為例，提高了APU排氣溫度預測的準確度。

傳統神經網絡難以捕捉APU性能參數中復雜的關聯性，無法建立輸入與輸出變量之間的完整關系。本文提出一種融合雙階段注意力機制（DAM）和分位數損失引導的長短期記憶（QLSTM）網絡模型，將與EGT具有強關聯的其他性能參數作為多變量輸入，選取EGT為輸出。針對輸入參數的多維性和時序性，采用雙階段注意力機制來量化輸入變量與EGT的關聯度以及加強歷史關鍵信息對輸出的表達。采用分位數損失[16]來優化LSTM網絡的損失函數，構建QLSTM網絡模型，進一步提高模型的泛化能力。

1 深度學習原理

1.1 LSTM網絡

LSTM[17]是循環神經網絡（RNN）的一個變種，能有效解決RNN在預測過程中梯度消失的問題。LSTM隱藏層神經元的基本結構[18]如圖1所示。

1.2 注意力機制

注意力機制是一種仿效人腦注意力的資源分配模型，通過學習人腦在面對多重信息來源時，對不同信息的關注度。使得在關鍵節點上，突出重要信息的影響力[19]，其結構如圖2所示。

圖2中，輸入樣本數為n，（t？[1n]）；模型的輸入和隱藏層輸出分別為xt，ht；注意力機制對模型隱藏層輸出的權重分配為αt；模型的輸出值為y。

2 基于DAM-QLSTM預測模型的參數預測

針對傳統的機器學習方法在處理APU性能參數的歷史數據時，難以捕捉數據間的關聯性和時序性，因而忽視歷史數據包含的潛在規律，從而導致預測結果存在較大的誤差。采用雙階段注意力機制，可以使模型有效量化多維輸入參數與EGT的關聯程度，同時加強模型各隱藏層所輸出的歷史信息對當前時刻輸出影響的表達。LSTM能有效處理具有長期依賴的時序數據，常用于時間序列預測。采用分位數損失對LSTM網絡的損失函數進行改進，使模型在不同分位點預測數據，選取置信度較高的數據作為最終的預測值，有效提高模型的泛化能力和預測效果。因此，本文提出一種基于雙階段注意力機制和分位數損失引導的LSTM模型，通過結合不同網絡的特性，達到提高EGT預測精度的目的。

2.1 模型描述

本文中的樣本數據是在現有研究基礎上，結合維修手冊、廠家資料內容以及參考一線機務維修人員的相關經驗，最終確定從飛機快速存取記錄器（QAR）選取表征APU關鍵性能狀態的參數數據。相關數據是飛機處于正常工作狀態下，同一航段的多次飛行數據，包括EGT、滑油溫度OT、APU轉速NA、引氣流量WB、發電機負載GL。由于影響APU排氣溫度的參數較多，且參數之間存在相互影響，因此根據式（7）對上述參數與EGT進行相關性分析，結果見表1。

輸入參數與排氣溫度的相關程度較高，有助于加強神經網絡模型的學習訓練過程，使預測結果更加準確。由此，為盡可能保存大量特征信息的前提下降低模型的計算量，因此選取NA、WB和GL三項與排氣溫度相關程度較高的參數作為模型的多變量輸入，并建立預測模型。

2.2 特征注意力機制

為得到多變量輸入預測模型中各特征參數與EGT的關聯程度，在模型的輸入端引入特征注意力機制模塊，對輸入的各項參數特征進行量化，如圖3所示。

2.4 時序注意力機制

由于APU在飛機飛行期間并不是時刻處于工作狀態，因此不同階段的歷史參數信息對排氣溫度的影響程度不同。同時，較長的時間序列會導致模型的輸出產生偏差。為了模型能有效量化APU在飛行過程中不同時刻的重要性，加強模型在不同歷史時刻關鍵信息的表達。在LSTM網絡的輸出端引入時序注意力機制（TAM），其模型結構如圖4所示。

2.5 基于DAM-QLSTM的預測模型

DAM-QLSTM預測模型結構如圖5所示，首先通過FAM1d4852b3fadd2f5c6b83f05f57c45e73模塊為各特征參數分配不同的權值，其次將分配權重后的數據輸入由分位數損失引導的LSTM網絡中進行學習訓練，其隱藏層狀態作為TAM的輸入，最后通過TAM模塊對重要的歷史信息分配權重，得到最終預測值。

模型描述如下：（1）Input層完成輸入性能參數數據的預處理，消除不同參數間的量綱影響。（2）FAM層對經過預處理后的各項特征參數進行特征權重分配，突出重要特征信息的表達。（3）QLSTM層對參數特征進行充分學習，以找尋數據內部的變化規律。通過構建分位數損失引導的LSTM網絡，使模型在不同分位點去預測數據，然后取置信度較高的數據作為最終的預測值。QLSTM網絡學習率為0.003；隱藏層神經元節點數為128，時間步長（Time steps）決定了使用歷史前幾個時刻的參數值來預測將來時刻的EGT，設置為3；Batch size表示每個批次輸入模型的數據大小，設置為32；采用Adam優化器對模型參數進行優化。（4）TAM層捕捉歷史關鍵信息，根據其重要程度分配不同的權重。（5）Output層的輸入是時序注意力機制層的加權輸出，選擇sigmoid作為激活函數。

3 試驗結果與分析

3.1 數據預處理

由圖6可知，APU性能參數隨時間變化而采集，具有時序性。同時模型的輸入為多變量輸入，不同的輸入性能參數對排氣溫度的影響程度不同，因此在模型訓練過程中要考慮輸入數據的多維性。

3.2 模型評價指標

3.3 預測結果分析

（1）單步預測結果分析

為了驗證DAM-QLSTM模型的有效性與可行性，將DAM-QLSTM模型與DAM-LSTM模型、傳統LSTM模式、BP神經網絡模型、支持向量機SVM模型以及GRU模型進行對比并驗證。在驗證過程中，所有的模型都采用相同的訓練集和測試集來進行學習訓練，預測結果如圖7所示其中真實值為藍線，預測值為紅線。

從圖7中可以看出，對于多參數輸入的單步預測任務，上述6種模型的預測趨勢的走向大致相同，但其他5種模型的預測輸出值與真實值的擬合程度不高，預測精度較低。從圖7（a）可知，DAM-QLSTM模型在預測區間內，能充分學習數據內部關系，有效捕捉EGT的變化規律，模型的輸出值與真實值擬合程度高。當數據位于高低峰值處或數據波動較大時，其余5個模型則難以準確預測EGT在該區間的未來趨勢。試驗結果表明，DAM-QLSTM混合模型的預測精度均高于其余5種對比模型，充分展示了所提模型在建立長期依賴關系。

各模型評價指標見表2。由表2可知，DAM-QLSTM模型的每一項評價指標都優于其余對比算法。相比于DAM-LSTM、LSTM、BP、SVM和GRU的5種預測模型，DAM-QLSTM模型的R2指標分別提升2.25%、2.11%、2.10%、1.85%、2.23%；MAE指標分別降低15.87%、22.17%、15.78%、24.27%、20.15%；RMSE指標分別降低5.68%、9.98%、5.11%、2.59%、5.36%；MAPE指標分別降低3.45%、4.37%、13.57%、16.88%、16.03%。

綜上分析，DAM-QLSTM預測模型在不同評價指標下都具有較好的表現，能有效完成APU排氣溫度的短期單步預測任務，確定將來某個時刻APU是否會處于異常狀態進行故障排除，為后續的維修排查提供參考。

（2）多步預測結果分析

時間步長是模型的關鍵參數之一，過大的時間步長取值會導致模型訓練時長增大以及模型產生多余的噪聲。如當時間步長為3時，則選取當前t時刻的前三個歷史樣本參數值作為輸入來預測t+1時刻的排氣溫度，其次在歷史樣本參數值的基礎上增加t時刻的預測值xt+1作為輸入，來預測t+2時刻的排氣溫度xt+2，重復上述過程直至完成預測。為進一步驗證本研究所提模型在多變量、多步長EGT預測任務上的穩定性和泛化能力，利用不同步長下的NA、WB和GL來對EGT進行預測分析，并采用MAE、RMSE、MAPE及R2指標對模型進行評估分析，結果如圖8所示。

圖8（a）～圖8（d）分別為單步預測、三步預測、五步預測以及七步預測任務下6個模型評價指標結果示意圖。隨著時間步長的逐漸增大，6個模型的預測精度均有不同程度的下降。但與其余5個模型相比，DAM-QLSTM模型在不同步長的預測任務中，其預測性能最優。由圖8（a）可知，各模型R2指標都接近1，因此上述6種模型都適用于EGT的單步預測，其中MAE、RMSE和MAPE三項誤差指標平均增長率見表3。

由表3可以看出，隨著步長的增加，各模型的平均誤差增長率存在明顯差異，DAM-QLSTM混合模型三項誤差指標的平均增長率分別是25.75%、4.24%、3.13%，均低于其余5個預測模型。試驗結果表明，本節所提DAM-QLSTM組合預測模型在短期EGT的單步預測和多步預測任務中表現優異，很大程度上提高了預測精度，進一步提高了該預測模型的普適性。

4 結論

本文通過對表征APU性能變化趨勢的關鍵參數EGT進行預測研究，提出基于DAM-QLSTM預測模型的EGT預測方法。

針對APU性能參數的多維性和時序性特征問題，采用雙階段注意力機制分配權值。為量化不同性能參數對排氣溫度的影響程度，在模型的輸入端采用特征注意力機制為輸入參數分配不同的權值；同時，根據APU不同時刻的工作性能，采用時序注意力機制對不同歷史時刻的信息特征進行權值分配，突出關鍵歷史信息對輸出的表達。通過研究，得出以下結論：

（1）將LSTM網絡的損失函數MSE替換為分位數損失，指導LSTM網絡的訓練，分位數損失的引入可以使模型在不同分位點預測數據，選取置信度較高的數據作為最終的預測值，可有效提高模型的泛化能力和預測效果。

（2）通過試驗表明，針對多變量輸入的EGT預測，本文提出的DAM-QLSTM預測模型在單步與多步預測任務中，預測精度均高于其他的預測模型。當改變時間步長時，模型的預測精度隨時間步長的增加而下降，后續工作中，可以針對模型的網絡結構進行優化改善，提高APU性能參數多步預測的穩定性。

參考文獻

[1]Gorinevsky D， Dittmar K， Mylaraswamy D， et al. Model-based diagnostics for an aircraft auxiliary power unit[C]// Proceedings of the 2002 International Conference on. IEEE， 2002.

[2]董平. APU系統的狀態監測與維修決策研究[D]. 南京：南京航空航天大學，2018. Dong Ping. Research on condition monitoring and maintenance decision of APU system [D]. Nanjing： Nanjing University of Aeronautics and Astronautics， 2018. （in Chinese）

[3]趙運生，胡駿，吳鐵鷹，等. 大型民用飛機輔助動力裝置性能仿真[J]. 航空動力學報，2011，26（7）：1590-1598. Zhao Yunsheng， Hu Jun， Wu Tieying， et al. Performance simulation of auxiliary power units for large civil aircraft[J]. Journal of Aerodynamics， 2011， 26（7）： 1590-1598. （in Chinese）

[4]劉連勝，張晗星，劉曉磊，等. 面向飛機輔助動力裝置在翼剩余壽命預測的性能參數擴增方法[J]. 儀器儀表學報，2020，41（7）：107-116. Liu Liansheng， Zhang Hanxing， Liu Xiaolei， et al. A performance parameter augmentation method for predicting the remaining life of an aircraft auxiliary power unit in the wing[J]. Journal of Instrumentation， 2020， 41（7）： 107-116. （in Chinese）

[5]王輝，唐啟東. 組合預測方法在APU狀態監控中的應用[J].航空維修與工程，2013，58（6）：47-49. Wang Hui， Tang Qidong. Application of combined prediction method in APU condition monitoring[J]. Aviation Maintenance& Engineering， 2013， 58（6）： 47-49. （in Chinese）

[6]Christos S， Fakhre A， Ian J. Experimental investigation and simulation of a boeing 747 auxiliary power unit[J]. Journal of Engineering for Gas Turbines and Power， 2020， 142（8）： 081005.

[7]Allan J V， Liang T. Improved engine health monitoring using full flight data and companion engine information[J]. SAE International Journal of Aerospace， 2016， 9（1）：91-102.

[8]高禎. 基于TCN和Bi-LSTM網絡特征融合的文本情感分析研究[D]. 蘭州： 蘭州理工大學， 2021. Gao Zhen. Research on text sentiment analysis based on TCN and Bi-LSTM network feature fusion [D]. Lanzhou： Lanzhou University of Technology， 2021. （in Chinese）

[9]楊洪富，賈曉亮. 基于LSTM的航空發動機排氣溫度預測[J].航空計算技術，2018，48（4）：61-65. Yang Hongfu， Jia Xiaoliang. LSTM-based aero-engine exhaust temperature prediction[J]. Aviation Computing Technology， 2018， 48（4）： 61-65. （in Chinese）

[10]韓國棟，曹云鵬，王偉影，等. 基于LSTM神經網絡的燃氣輪機排溫預測方法[J]. 熱能動力工程，2022，37（3）：28-34. Han Guodong， Cao Yunpeng， Wang Weiying， et al. LSTM neu‐ral network-based method for gas turbine discharge tempera‐ture prediction[J]. Thermal Power Engineering， 2022， 37（3）： 28-34. （in Chinese）

[11]孫毅剛，劉凱捷. 基于PSO-LSTM網絡的航電系統故障率預測研究[J]. 航空科學技術，2021，32（5）：17-22. Sun Yigang， Liu Kaijie. Failure rate of avionics system forecast‐ing based on PSO-LSTM network[J]. Aeronautical Science & Technology， 2021， 32（5）： 17-22.（in Chinese）

[12]Ullah S， Li S G， Khan K， et al. An investigation of exhaust gas temperature of aircraft engine using LSTM[J]. IEEE Access， 2023（11）： 5168-5177.

[13]郭毅博，李舜堯，陳艷華，等. 基于時間序列的飛機燃油測量方法[J]. 航空科學技術，2022，33（5）：63-68. Guo Yibo， Li Shunyao， Chen Yanhua， et al. A fuel measure‐ment method based on time series data[J]. Aeronautical Sci‐ence & Technology， 2022， 33（5）： 63-68.（in Chinese）

[14]張帥，杜軍，嚴智. 基于輸出層增強的LSTM發動機排氣溫度模型[J]. 電子測量與儀器學報，2019，33（8）：124-132. Zhang Shuai， Du Jun， Yan Zhi. LSTM engine exhaust temperature model based on output layer enhancement[J]. Journal of Electronic Measurement and Instrumentation， 2019， 33（8）： 124-132. （in Chinese）

[15]白春垣，孫有朝. 基于MSCNN-LSTM編解碼器的飛機輔助動力裝置EGT預測模型[J]. 組合機床與自動化加工技術，2022，64（2）：45-49. Bai Chunyuan， Sun Youzhao. An EGT prediction model for aircraft auxiliary power units based on MSCNN-LSTM codec[J]. Combined Machine Tools and Automated Machining Technology， 2022， 64（2）： 45-49. （in Chinese）

[16]Koneker R， Bassett G. Regression quantiles[J]. Econometrical， 1978， 46 （1）： 33-50.

[17]Chemali E， Kollmeyer P， Preindl M， et al. Long Short-Term Memory-networks for accurate state of charge estimation of liion batteries[J]. IEEE Transactions on Industrial Electronics， 2018， 65（8）： 6730-6739.

[18]劉秀麗，徐小力. 基于特征金字塔卷積循環神經網絡的故障診斷方法[J]. 上海交通大學學報，2022，56（2）：182-190. Liu Xiuli， Xu Xiaoli. A fault diagnosis method based on feature pyramidal convolutional recurrent neural network[J]. Journal of Shanghai Jiaotong University， 2022， 56（2）： 182-190. （in Chinese）

[19]趙洪利，張奔，張青. 基于工況聚類和殘差自注意力額發動機剩余使用壽命預測[J]. 航空科學技術，2023，34（4）：31-40. Zhao Hongli， Zhang Ben， Zhang Qing. Engine remaining use‐ful life prediction based on operating condition clustering and residual self-attention[J]. Aeronautical Science & Technology， 2023， 34（4）： 31-40.（in Chinese）

Prediction Method of Auxiliary Power Unit Performance Parameter Based on DAM-QLSTM Mixed Model

Wang Kun， Zhu Yiyang

Civil Aviation University of China， Tianjin 300300， China

Abstract： Accurate prediction of the Exhaust Gas Temperature （EGT） of the aircraft Auxiliary Power Unit （APU） can effectively monitor the future operating status of the APU and prevent from safety accidents. An APU exhaust gas temperature prediction model incorporating Dual-stage Attention Mechanism （DAM） and quantile-loss guided Long Short-Term Memory （LSTM） network is proposed. The DAM is introduced to effectively quantify the correlation of input variables with EGT and to enhance the effects of historical key information on the output. Secondly， quantile-loss is used to optimize the loss function of the LSTM network to improve the prediction ability of the model further. The experimental results show that for single-step and multi-step prediction of EGT， the prediction accuracy of the proposed model is improved to a large extent compared with other prediction models， which provides a certain reference for short-term APU performance trend prediction.

Key Words： APU； EGT； LSTM； attention mechanism； quantile-loss