基于改進LSTM的航空發動機氣路參數預測方法

馬 帥, 吳亞鋒, 鄭 華, 緱林峰

(西北工業大學 動力與能源學院, 陜西 西安 710072)

航空燃氣渦輪發動機故障診斷系統是先進發動機控制系統和健康管理系統的重要組成部分。有效的故障診斷系統可以確保發動機安全,降低維護成本,減少重大災難發生的風險[1]。

基于性能的氣路故障診斷通常是根據發動機轉速、溫度、壓力、流量等氣路測量參數的變化判斷發動機的健康狀態。基于測量參數預測模型的故障診斷方法是一種最常用的發動機故障診斷方法,這種方法首先通過參數預測模型的預測值和真實測量參數生成殘差信號,將測量參數特征空間轉換到殘差特征空間,然后通過殘差特征進行故障診斷,因此也被稱作基于殘差的診斷方法[2-4]。參數預測模型主要分為基于物理的預測模型[5-6]和數據驅動的預測模型[7-8],隨著健康監測數據的積累和深度學習技術的發展,數據驅動的建模方法越來越廣泛地應用到了發動機故障診斷中。

近年來,基于動態神經網絡建模的方法在發動機氣路故障診斷上得到了廣泛的應用[9-12]。Choayb等[10]提出一種基于非線性自回歸外生(Nonlinear Auto-Regression with eXogenous inputs,NARX)模糊網絡的發動機魯棒診斷系統,實現了對發動機健康狀態的實時監測。Amirkhani等[11]針對單軸重型燃氣輪機氣路故障,提出了一種基于NARX網絡建模的故障檢測與隔離系統,該系統對輸入噪聲具有很好的魯棒性。從以上研究結果可知,基于動態神經網絡建立發動機參數預測模型是建立發動機魯棒故障診斷系統的一種有效方法。然而,以上研究都針對的是發動機地面工況數據或簡單的飛行工況數據,使用的建模方法也大多是靜態網絡模型。航空發動機飛行過程數據包含了發動機的非線性動態特性以及復雜飛行條件產生的噪聲干擾,為了設計可靠的故障診斷系統,需要更精準的參數預測模型。

在機器學習領域,長短時記憶(Long Short-Term Memory,LSTM)網絡是目前解決時間序列問題方法中應用最廣泛、最有效的方法之一[13]。在語音識別[14]、手寫字體識別[15]、動作識別[16]、溫度預測[17]、壽命預測[18-19]等領域均有很好的表現。非線性動態系統的輸入輸出序列也可以看作一種特殊的時間序列,因此LSTM網絡在非線性動態系統辨識中也受到了廣泛的關注[20-21]。Wang[22]將LSTM應用到了動態系統辨識和控制器設計中,對網絡模型的響應速度和準確度做了詳細的研究,并取得了很好的辨識和控制結果。Zarzycki等[23]使用LSTM辨識化學反應器動態系統,并成功應用到模型預測控制中。Jiang等[24]應用LSTM網絡建立了船舶操控運動模型,并驗證了模型的泛化性能和魯棒性。由以上研究結果可知,LSTM是一種有效的非線性動態系統建模方法。

近年來,基于注意力機制的LSTM網絡模型在多變量時間序列預測中得到了成功的應用,這種模型將注意力機制嵌入LSTM中,以增強LSTM的預測性能。Qin等[25]使用兩級注意力機制循環網絡(Dual-stage Attention-based Recurrent Neural Network DA-RNN)預測時間序列,較傳統RNN有較大的提升。Liu等[26]提出雙相兩級注意力循環網絡(Dual-Stage Two-Phase,Attention-based Recurrent Neural Network,DSTP-RNN)實現了多變量時間序列的長期預測。由此可知,融合注意力機制的RNN網絡更能有效地實現時間序列預測。

受上述工作的啟發,本文針對航空發動機飛行過程動態數據,以數據驅動的發動機氣路故障診斷為導向,提出一種用于發動機參數長期預測的特征注意力增強型LSTM(Feature Attention Enhanced LSTM,FAE-LSTM)網絡。FAE-LSTM以發動機飛行工況參數為輸入,預測發動機的氣路性能參數。本文詳細闡述了FAE-LSTM網絡的結構以及發動機預測模型建模過程,并使用某型先進渦扇發動機動態模型模擬真實發動機對網絡進行了驗證。為了模擬真實的飛行過程,發動機動態模型使用商用飛機真實記錄的快速存取記錄器(Quick Access Recorder,QAR)中的飛行工況作為輸入[27]。本文采用兩個不同的數據集對模型的預測性能和應用方法進行了驗證和對比分析。首先,使用健康狀態飛行數據集驗證了模型在實際飛行工況下的長期預測性能。然后,使用發動機性能退化數據集,研究了FAE-LSTM在并聯模式和串-并聯模式兩種不同應用模式下的故障檢測性能。

1 問題描述和方法

1.1 問題描述

圖1 發動機參數預測模型在故障診斷中的應用

由圖1可知,發動機參數預測模型的作用是預測健康狀態下發動機的性能參數,從而生成殘差信號。數據驅動的建模方法旨在使用歷史記錄的飛行過程數據{U,Y}建立發動機健康狀態下的參數預測模型,建模過程可以描述為

Y=f(U,θ)

(1)

式中：θ為模型參數。

飛機在飛行過程中,由于飛行環境多變、工作條件惡劣等原因,記錄的飛行過程數據往往包含很多不確定性干擾,增加了建模的難度。發動機工作過程是強非線性動態過程,飛行工況覆蓋范圍廣,建立準確的、覆蓋完整飛行包線的預測模型需要大量的飛行數據,這進一步增加了建模難度。針對上述難點,本文研究結合注意力機制與LSTM網絡的預測模型,使用注意力機制增強LSTM網絡的輸入特征,從而提高模型的預測性能。

此外,本文預測模型帶有自回歸結構,自回歸預測模型的應用方式也會影響最終的故障診斷結果。在故障診斷中,常用的自回歸模型應用方式有兩種,分別為并聯結構[9,28](Parallel Mode)和串-并聯結構[10-11](Series-Parallel Mode)。針對本文提出的FAE-LSTM網絡,選擇合適的應用方式也是設計故障診斷系統時需要考慮的問題。FAE-LSTM網絡的兩種應用方式如圖2所示。本文使用單分類支持向量機(One-Class Support Vector Machine,OCSVM)建立故障決策系統,針對FAE-LSTM的兩種應用方式對故障檢測結果的影響進行研究,作為后續應用過程的參考。

圖2 自回歸LSTM網絡在故障診斷中的應用方式

1.2 基于改進增強型LSTM的發動機參數預測模型

(2)

在編碼器中,FA單元是一種特殊的注意力機制模塊,與傳統的注意力機制不同,FA結合了LSTM單元的循環結構,能夠對整個輸入序列在時間維度上進行動態加權,如圖3(b)所示。為了更清晰地描述FA單元的計算過程,首先對LSTM單元的更新過程進行簡單的介紹。對于LSTM單元,當前時刻的隱藏狀態ht可以通過前一時刻的隱藏狀態ht-1、單元狀態ct-1以及當前時刻的輸入xt計算獲得。圖4為LSTM單元示意圖,其中包含了遺忘門、輸入門、預輸出門以及輸出門。式(3)～式(8)描述了LSTM單元的隱藏狀態從t-1時刻到t時刻的更新過程：

圖4 LSTM單元結構示意圖

it=σ(Wiixt+Whiht-1+bhi)

(3)

ft=σ(Wifxt+Whfht-1+bhf)

(4)

gt=σ(Wigxt+Whght-1+bhg)

(5)

ot=σ(Wioxt+Whoht-1+bho)

(6)

ct=ft*ct-1+it*gt

(7)

ht=ot*tanct

(8)

圖3 FAE-LSTM網絡結構示意圖

式中：Whi和bhi分別為LSTM單元中的權重和偏置;*為Hadamard乘積,即對應元素相乘。為了簡潔,將式(3)～式(8)的更新過程表示為

[ht,ct]=lstm(ht-1,xt)

(9)

(10)

(11)

使用注意力權重在特征維度上對輸入變量加權,可得t時刻的加權輸入變量：

(12)

(13)

在時間維度上循環式(10)～式(13)可得FA單元的最終輸出HFA=[h1,h2,…,hn]∈Rn×Na。

2 實驗設置

2.1 發動機數據集

本文使用某型帶有齒輪箱的雙轉子渦扇發動機非線性模型仿真數據驗證FAE-LSTM網絡的參數預測性能。為了模擬真實的飛行過程,發動機非線性模型的輸入采用的是商用飛機QAR數據中的飛行條件(Flight Data for Tail 687)[27]。飛行條件包含了表1所示的飛行高度(ALT)、馬赫數(MN)、油門開度(PLA)和大氣溫度(T0)。圖5為一個飛行航次的飛行條件展示。在數據生成過程中,本文對真實的飛行時間進行了壓縮,壓縮為實際飛行時間的0.1倍。表2為本文用到的測量參數Y。表3所示為模型的健康參數H,通過改變對應部件的健康參數模擬發動機部件的性能退化或故障。

表2 傳感器測量參數Y

表3 健康參數H

圖5 某個飛行航次真實飛行條件展示

為了從不同的角度驗證FAE-LSTM網絡的性能,本文設計了兩個不同的數據集,分別為健康狀態飛行工況數據集和發動機退化數據集。首先,選取T7作為預測參數,通過健康狀態飛行工況數據集驗證FAE-LSTM網絡在真實飛行工況下的預測性能。然后,使用退化數據集驗證FAE-LSTM網絡的并聯和串-并聯應用方式對故障檢測結果的影響。下面分別對每個數據集進行詳細介紹。

2.1.1 健康狀態飛行工況數據集

數據記錄了發動機每次飛行任務的工況參數和傳感器測量參數,采樣時間為0.15 s,涵蓋了飛機的爬升、巡航和降落過程。為了模擬真實環境,本文對數據添加了3種不確定性干擾,分別是傳感器噪聲、環境溫度變化和由于發動機退化和維護等造成的每個飛行航次之間的發動機差異。其中測量參數的傳感器噪聲為高斯白噪聲,噪聲的標準差為信號幅值的[0.16%,0.16%,0.15%,0.13%,0.25%][30];每個飛行航次的地面溫度服從[10℃,35℃]的均勻分布;通過調整低壓壓氣機、高壓渦輪效率和流量修正因子模擬航次之間的發動機差異。數據集共包含42個不同飛行航次的數據,選取其中30個飛行航次的數據作為訓練數據,6個航次的數據為驗證數據集,6個航次的數據作為測試集數據。數據集覆蓋的飛行包線如圖6所示。

圖6 飛行包線

2.1.2 發動機性能退化數據集

性能退化數據集模擬了發動機的加速退化過程,記錄了24個飛行航次的數據,發動機在這24個飛行航次內從健康狀態逐漸退化到故障狀態。圖7為發動機各個部件隨飛行航次的退化軌跡。Δθ*和Δη*分別為部件的流量退化系數和效率退化系數,其中發動機在前7個航次處于正常退化過程的健康狀態,從第8個航次開始發動機處于故障狀態。退化軌跡的生成參考了文獻[27]和文獻[31],其中正常退化過程的健康參數退化量隨飛行航次線性增加：

圖7 發動機每個部件的性能退化軌跡

δn(t)=ant+δ0

(14)

式中：t為飛行航次數;an=-0.001為健康參數的線性退化系數;δ0=U(0,0.001)為初始退化量,其中U(0,0.000 1)表示在0～0.001之間均勻分布。故障階段的健康參數退化量隨飛行航次呈指數變化趨勢：

δf(t)=1-exp[a(ct)b]+δn(ts)+ξ

(15)

式中：ts為發動機從健康狀態過渡到故障狀態的飛行航次數,a=U(0.001,0.002),b=U(1.25,1.35)。ξ=N(0,d)表示服從均值為0、標準差為d的正態分布,對于部件效率系數d=0.001,對于部件流量系數d=0.002。為了減少數據量,使發動機退化速度更快,本文為式(15)中的航次數t添加了系數c,使發動機退化速度變為原來的c倍,本文選擇c=5。

該數據集用于研究FAE-LSTM網絡的并聯結構和串-并聯結構對故障檢測結果的影響。

2.2 網絡設置

為了驗證FAE-LSTM的性能,本文選取以下5種主流動態網絡作為基線模型。

SS-LSTM：狀態空間形式的LSTM網絡,即不使用自回歸結構,只使用飛行工況參數預測發動機性能參數。網絡包含2個LSTM層,每層100個神經元節點。

NARX-NN[10-12]：NARX神經網絡,網絡包含2個隱藏層,每個隱藏層包含100個神經元節點,每層激活函數為ReLU函數。

AR-LSTM[17]：帶有自回歸結構的LSTM網絡,網絡包含2個LSTM層,每層包含100個神經元節點。

DA-RNN[25]：基于兩階段注意力機制的RNN網絡,RNN使用LSTM,編解碼器LSTM層的單元節點數都為100。

DSTP-RNN[26]：基于兩階雙相注意力機制的RNN網絡,RNN使用LSTM,編解碼器LSTM層的單元節點數都為100。

所有網絡模型在訓練過程中都使用adam優化器更新網絡參數,訓練mini-batch值設為1 024,訓練500個周期。網絡訓練過程的初始學習率為0.005,每隔100個訓練周期學習率減半。訓練前,使用min-max歸一化方法將數據歸一化到[-1,1]區間內。

2.3 性能評價指標

本文采用均方根誤差(Root Mean Square Error,RMSE)、平均絕對誤差(Mean Absolute Error,MAE)、平均絕對百分比誤差(Mean Absolute Percentage Error,MAPE)、擬合度指標(Fitness,FIT)來評價模型的預測精度。公式如下：

(16)

(17)

(18)

FIT公式如下：

(19)

3 結果分析

3.1 健康狀態飛行工況數據集的預測結果分析

3.1.1 網絡參數對FAE-LSTM預測性能的影響

該數據集的模型輸入為飛行工況參數[ALT,MN,PLA,T0],輸出為低壓渦輪后溫度T7。首先對FAE-LSTM模型參數敏感性進行研究,分別研究FA模塊節點數和輸入序列長度對性能的影響。分別在不同網絡參數下訓練FAE-LSTM網絡,每個網絡模型分別在不同初始化條件下訓練5次,并求取平均值,結果如圖8所示。由圖8可知,序列長度對網絡性能影響較大,而神經元數量對網絡性能影響較小。序列長度至少為8時,網絡有較好且平穩的預測性能。

圖8 網絡參數對FAE-LSTM預測性能的影響

3.1.2 對比分析

本小節對比不同動態模型在測試集上的長期預測性能,對所有網絡模型進行訓練,每個網絡模型分別在不同初始化條件下訓練5次。對帶有自回歸結構的網絡模型選取序列長度n=8,表4為所有動態模型在測試集上的長期預測性能指標。由表4可知,本文提出的FAE-LSTM模型預測性能最好,較AR-LSTM預測誤差降低了24.5%,表明了使用FA提取輸入特征的有效性,結合LSTM能夠更充分地捕獲多變量時間序列的時空信息。

表4 動態模型在測試集上的長期預測性能(均值±標準差)

此外,通過表4可知,不使用自回歸結構的SS-LSTM性能最差,表明LSTM只使用自身動態神經元而不使用自回歸結構很難學習到發動機的復雜非線性動態特征。采用兩階注意力機制的DA-RNN和DSTP-RNN的預測結果沒有傳統AR-LSTM的性能好,原因可能是兩階注意力機制使網絡復雜度大幅度增加,不利于網絡的訓練。

動態模型在測試集6個飛行航次對測量參數T7的預測結果以及預測誤差如圖9所示。在基于殘差的故障診斷方法中,預測模型對參數的預測精確度直接影響故障診斷效果。

圖9 動態模型在測試集6個飛行航次上的預測值和預測誤差

由圖9可以看出,在每個飛行航次的預測結果中,預測誤差較大的階段通常出現在工況變化劇烈的地方。首先,這是因為網絡模型缺少足夠的突變訓練數據,使得動態模型在預測過程中出現較大誤差;其次,由于自回歸模型在長期預測過程中會產生誤差的累計,進一步增加了預測的誤差。觀察圖9中標記的飛行階段,工況變化劇烈的過程往往發生在飛機的降落階段,因此降落階段的預測誤差最大。相比其他動態網絡模型,本文所用的FAE-LSTM模型在工況突變較劇烈的降落階段的長期預測結果更準確和平穩。

3.2 性能退化數據集的預測結果分析

本小節研究FAE-LSTM網絡的串-并聯結構和并聯結構(見圖2)對生成的殘差信號的影響。按照3.1.2節中的網絡參數,即序列長度n=8、神經元個數為40,使用復雜飛行工況數據集對Y=[T30,T7,Ps30,N3,Wf]這5個測量參數建立FAE-LSTM預測模型。訓練好FAE-LSTM網絡之后,首先分別使用串-并聯結構和并聯結構對性能退化數據集中24個飛行航次的測量參數進行預測,記為Ysp和Yp。然后,根據Ysp和Yp計算出殘差信號：

圖10 FAE-LSTM預測模型在兩種自回歸結構下生成的T7測量信號的殘差值

需要注意的是,真實殘差是使用非線性模型仿真獲得。使用退化數據集中每個航次的飛行工況作為非線性模型的輸入,不添加故障和噪聲,生成健康狀態下的飛行數據。通過相同飛行工況下的健康狀態數據和退化數據即可獲得真實殘差。

串-并聯FAE-LSTM模型的反饋輸入使用的是發動機真實的測量參數,由于沒有自反饋迭代過程,即使在工況變化的飛行階段,這種結構在發動機健康狀態下的預測誤差也非常小。但是,當發動機發生退化時,FAE-LSTM模型的反饋輸入不再是健康狀態下的輸入,模型的預測過程是外插的預測。由于FAE-LSTM內部結構復雜,這種外插的預測過程對殘差的影響不容易通過網絡結構來解釋。從圖10中的殘差值可知,外插的預測結果大幅度降低了發動機退化的故障特征。

為進一步分析兩種結構對故障檢測的影響,本文使用OCSVM建立故障檢測系統。OCSVM是應用廣泛的無監督故障檢測方法[32],只使用健康狀態下的發動機數據進行訓練,因此首先需要從數據集中抽取健康狀態的飛行數據樣本作為訓練數據。本文選取圖7所示退化數據集中第[1,2,3,5,6]航次的數據作為OCSVM的訓練數據,第[4,10,12,14,15,16]航次的數據為測試數據。OCSVM的故障檢測結果混淆矩陣如圖11所示,從圖11中可以看出,基于并聯FAE-LSTM網絡的故障檢測結果更精確。

圖11 OC-SVM的故障檢測結果

4 結束語

為獲得更好的參數預測性能,提出了一種基于特征注意力機制增強型長短時記憶網絡(FAE-LSTM)的發動機性能參數預測方法,經研究可得以下結論。

① 所提出的FAE-LSTM網絡針對帶有外源輸入的系統進行建模,結合了特征注意力機制、特征融合以及LSTM的特點,結構簡潔且能夠充分學習到數據中的時空信息。

② 通過仿真結果可知,對比SS-LSTM、NARX-NN、AR-LSTM、DA-RNN以及DSTP-RNN等先進的動態網絡模型,所提出的FAE-LSTM網絡有更好的長期預測性能,長期預測誤差最低減少24.5%,且在工況突變的情況下更準確和平穩,表明結合了特征注意力機制的LSTM能夠更充分地捕獲數據中的非線性動態信息。

③ 對于FAE-LSTM的并聯和串-并聯兩種應用方式,故障檢測系統使用并聯結構生成的殘差能獲得更好的檢測性能。