基于LSTM的輔助動(dòng)力裝置系統(tǒng)辨識(shí)與仿真

(深圳航空有限責(zé)任公司 沈陽(yáng)分公司維修工程部，沈陽(yáng) 110000)

0 引言

輔助動(dòng)力裝置(APU)是飛機(jī)上的一個(gè)小型的燃?xì)鉁u輪發(fā)動(dòng)機(jī)。其功能是在地面或者飛行中為飛機(jī)的空調(diào)系統(tǒng)及用電設(shè)備提供引氣和電力供應(yīng)，是飛機(jī)不可缺少的子系統(tǒng)。對(duì)APU進(jìn)行參數(shù)辨識(shí)對(duì)飛機(jī)仿真建模具有重要研究意義[1]。

系統(tǒng)辨識(shí)是根據(jù)系統(tǒng)的輸入輸出函數(shù)來(lái)確定描述系統(tǒng)行為的數(shù)學(xué)模型，系統(tǒng)辨識(shí)的目的是通過(guò)表征系統(tǒng)行為的重要參數(shù)，建立一個(gè)能模仿真實(shí)系統(tǒng)行為的數(shù)學(xué)模型[2]。近年來(lái)，已經(jīng)有大量科研人員對(duì)發(fā)動(dòng)機(jī)系統(tǒng)進(jìn)行系統(tǒng)辨識(shí)，常用的辨識(shí)方法有基于最小二乘法、支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)等靜態(tài)辨識(shí)方法，以及ARIMA、NARX等基于時(shí)間序列模型的動(dòng)態(tài)辨識(shí)方法[3-6]。APU是一個(gè)復(fù)雜的非線性時(shí)序系統(tǒng)，靜態(tài)辨識(shí)模型忽略了系統(tǒng)的時(shí)序信息，而傳統(tǒng)的時(shí)序模型對(duì)非線性系統(tǒng)表征能力不足[7-8]。隨著深度學(xué)習(xí)的興起，深度學(xué)習(xí)模型逐漸被引入到系統(tǒng)辨識(shí)的研究中，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)將時(shí)序信息嵌入到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，使得神經(jīng)網(wǎng)絡(luò)具備了動(dòng)態(tài)辨識(shí)能力。長(zhǎng)短期記憶(LSTM)模型作為RNN的變體，解決了RNN梯度消失或爆炸、長(zhǎng)時(shí)記憶能力較差等問(wèn)題，使其兼具靜態(tài)模型的非線性表征能力與時(shí)序模型的長(zhǎng)時(shí)間存儲(chǔ)能力。在系統(tǒng)辨識(shí)中表現(xiàn)出更強(qiáng)的適應(yīng)性與泛化性[9-10]。

APU工作過(guò)程較為復(fù)雜，大致可分為啟動(dòng)、電提取功率、主發(fā)動(dòng)機(jī)啟動(dòng)、環(huán)控引氣及停車5個(gè)階段。本文選取APU的啟動(dòng)階段，結(jié)合發(fā)動(dòng)機(jī)試車數(shù)據(jù)，針對(duì)表征APU工作狀態(tài)的排氣溫度EGT、轉(zhuǎn)速N，提出了一種基于LSTM的輔助動(dòng)力裝置參數(shù)辨識(shí)模型。在建模過(guò)程中，充分考慮影響辨識(shí)參數(shù)的其他靜態(tài)特征，進(jìn)一步提出了基于LSTM的多變量時(shí)間序列辨識(shí)模型。將所建模型與最小二乘法、神經(jīng)網(wǎng)絡(luò)等傳統(tǒng)辨識(shí)方法進(jìn)行對(duì)比，驗(yàn)證了該模型的優(yōu)越性。

1 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)構(gòu)型

長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory，LSTM)是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型分為輸入層、隱藏層、輸出層，層與層之間是全連接的，但是每層之間的節(jié)點(diǎn)是無(wú)連接的，此網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于序列問(wèn)題建模效果較差[11-12]。RNN的隱藏層節(jié)點(diǎn)具有連接性與記憶性，會(huì)處理信息并將信息傳遞給當(dāng)前節(jié)點(diǎn)，對(duì)序列問(wèn)題建模有較好的效果，如圖1所示。

圖1 RNN網(wǎng)絡(luò)結(jié)構(gòu)

RNN輸出兩層單元，其中隱藏層單元的輸出ht以及狀態(tài)的單元輸出yt表達(dá)式：

ht=fa(Wxhxt+Whhht-1+bh)

(1)

yt=Whyht+by

(2)

其中:Wxh為輸入層到隱藏層的權(quán)重系數(shù)矩陣；Whh為隱藏層到隱藏輸出的權(quán)重系數(shù)矩陣；bh為隱藏層的偏置向量；fa為激活函數(shù)；Why為隱藏層到狀態(tài)輸出層的權(quán)重系數(shù)矩陣;by為狀態(tài)輸出層的偏置向量；t表示時(shí)刻。

RNN雖然解決了序列建模的問(wèn)題，但是序列長(zhǎng)度比較長(zhǎng)時(shí)，回傳時(shí)殘差指數(shù)會(huì)下降，進(jìn)而降低網(wǎng)絡(luò)權(quán)重更新速率，導(dǎo)致長(zhǎng)期記憶效果較差，但LSTM可以存儲(chǔ)記憶因此被提出解決問(wèn)題。

LSTM同樣是循環(huán)結(jié)構(gòu)，但是重復(fù)的單元有不同的網(wǎng)絡(luò)結(jié)構(gòu)。LSTM采用門(mén)結(jié)構(gòu)方式來(lái)改變信息至目前細(xì)胞狀態(tài)。門(mén)采用選擇式的通過(guò)方式，其中包含sigmoid神經(jīng)網(wǎng)絡(luò)以及pointwise乘法操作。LSTM通過(guò)遺忘門(mén)、輸入門(mén)、輸出門(mén)三種門(mén)方式來(lái)控制細(xì)胞狀態(tài)[13-15]，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

遺忘門(mén)ft負(fù)責(zé)控制上一個(gè)時(shí)刻的輸入，選擇性地忘記過(guò)去某些無(wú)用信息，減小記憶負(fù)擔(dān)。

ft=σ(Wf·[ht-1,xt]+bf)

(3)

輸入門(mén)it控制當(dāng)前時(shí)刻的輸入，同樣是過(guò)濾無(wú)用信息，選擇性記憶當(dāng)前重要信息。

it=σ(Wf·[ht-1,xt]+bi)

(4)

Ct為當(dāng)前細(xì)胞狀態(tài)，此時(shí)合并需要記憶的信息，更新細(xì)胞狀態(tài)。

(5)

(6)

輸出門(mén)ot將過(guò)去信息與當(dāng)前信息合并，輸出新的狀態(tài)信息。

ot=σ(Wo·[ht-1,xt]+bo)

(7)

ht=σt*tanh(Ct)

(8)

1.2 網(wǎng)絡(luò)訓(xùn)練

LSTM采用前向傳播和反向傳播兩種訓(xùn)練過(guò)程，前向傳播通過(guò)式(3)～(8)計(jì)算出神經(jīng)元輸出值，反向傳播則是BPTT算法，從時(shí)間和網(wǎng)絡(luò)兩個(gè)方面反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)，根據(jù)計(jì)算的誤差結(jié)果，采用不同的優(yōu)化算法，優(yōu)化神經(jīng)元權(quán)重。

梯度下降法是優(yōu)化神經(jīng)網(wǎng)絡(luò)中常用算法，例如SGD、Adagrad、RMSprop、Adam等梯度下降法。本文采用自適應(yīng)矩估計(jì)(adaptive moment estimation，Adam)優(yōu)化算法，Adam可優(yōu)化每一個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率。擁有Adadelta和RMSprop算法存儲(chǔ)一個(gè)指數(shù)衰減的歷史平方梯度平均值功能的同時(shí)還可保存一個(gè)歷史梯度的指數(shù)衰減均值。實(shí)際應(yīng)用表明，Adam具有算法優(yōu)勢(shì)。

2 基于LSTM的多變量時(shí)間序列辨識(shí)模型

根據(jù)APU的工作原理，表征其工作狀態(tài)的參數(shù)主要有以下兩個(gè)：排氣溫度EGT、發(fā)動(dòng)機(jī)轉(zhuǎn)速N,即本文的辨識(shí)目標(biāo)。傳統(tǒng)的時(shí)間序列建模只考慮當(dāng)前時(shí)刻與之前時(shí)刻的數(shù)據(jù)關(guān)系。這類只考慮時(shí)序信息的建模方法有很明顯不足，時(shí)序信息以外的干擾因素同樣有著非常重要的作用，比如預(yù)測(cè)APU的發(fā)動(dòng)機(jī)排氣溫度(EGT),影響當(dāng)前EGT的因素除了上一時(shí)刻的EGT，其他重要因素還包括發(fā)動(dòng)機(jī)點(diǎn)火狀態(tài)、起動(dòng)機(jī)狀態(tài)等因素。在APU系統(tǒng)辨識(shí)建模的過(guò)程中，需要將時(shí)間以外的其他因素同時(shí)考慮進(jìn)去。

APU起動(dòng)階段，采用時(shí)序開(kāi)環(huán)控制，既不引氣也不提取電功率；負(fù)載壓氣機(jī)出口管道喘振閥SCV全開(kāi)，引氣閥LCV關(guān)閉，負(fù)載壓氣機(jī)出口氣流通過(guò)SCV排到APU尾噴管，進(jìn)口導(dǎo)葉IGV處于角度最小狀態(tài)，以提高APU起動(dòng)速度。當(dāng)啟動(dòng)按鈕打開(kāi)時(shí)，APU起動(dòng)機(jī)通電打開(kāi)，當(dāng)APU轉(zhuǎn)速達(dá)到7%時(shí)，燃油活門(mén)打開(kāi)，APU點(diǎn)火啟動(dòng)，當(dāng)APU轉(zhuǎn)速達(dá)到50%時(shí)，APU起動(dòng)機(jī)斷電，當(dāng)APU轉(zhuǎn)速達(dá)到95%，點(diǎn)火斷開(kāi)，APU啟動(dòng)完成。在APU起動(dòng)階段，SCV、LCV、IGV三個(gè)閥門(mén)狀態(tài)固定，為非變量因素，不考慮其對(duì)辨識(shí)系統(tǒng)的影響，此階段系統(tǒng)辨識(shí)的影響因素見(jiàn)表1。

表1 影響因素

在APU工作其他階段，同樣也可以根據(jù)工作原理，總結(jié)出其與辨識(shí)參數(shù)相關(guān)的各個(gè)特征，與時(shí)間序列特征拼接，構(gòu)建基于多變量的時(shí)間序列辨識(shí)模型。

2.1 模型架構(gòu)

基于多變量時(shí)間序列特征輸入的考慮，本文提出了一種基于LSTM的多變量時(shí)間序列預(yù)測(cè)模型，充分考慮影響辨識(shí)參數(shù)的其他特征因素，模型架構(gòu)如圖3所示。

圖3 多變量時(shí)間序列辨識(shí)模型

在數(shù)據(jù)準(zhǔn)備階段，需要對(duì)收集的發(fā)動(dòng)機(jī)試車數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，統(tǒng)一數(shù)據(jù)類型和量綱，然后拼接時(shí)間序列數(shù)據(jù)和多變量特征數(shù)據(jù)，將拼接的數(shù)據(jù)送入模型。在網(wǎng)絡(luò)訓(xùn)練階段，前向傳播部分通過(guò)softmax進(jìn)行回歸預(yù)測(cè)，反向傳播部分通過(guò)Adam梯度下降算法更新網(wǎng)絡(luò)參數(shù)。最后通過(guò)參數(shù)尋優(yōu)、模型評(píng)估等方法，優(yōu)化網(wǎng)絡(luò)參數(shù)，提高模型性能。以下分別做了詳細(xì)介紹。

2.2 數(shù)據(jù)預(yù)處理

通過(guò)APU發(fā)動(dòng)機(jī)試車采集的原始數(shù)據(jù)，并不能直接送給模型訓(xùn)練。主要存在以下兩個(gè)方面問(wèn)題：一方面數(shù)據(jù)量綱不一致，EGT的溫度范圍是0～1038℃，N的轉(zhuǎn)速百分比范圍是0～110，直接送入模型訓(xùn)練，會(huì)導(dǎo)致模型對(duì)量綱小的數(shù)據(jù)不敏感；另一方面數(shù)據(jù)類型不同，影響系統(tǒng)辨識(shí)的主要參數(shù)數(shù)據(jù)類型多樣，包括布爾型、離散型、連續(xù)型，不同類型數(shù)據(jù)含義不一，直接送入模型會(huì)導(dǎo)致模型學(xué)習(xí)誤差，因此需要對(duì)數(shù)據(jù)進(jìn)行以下預(yù)處理。

1)布爾型特征和離散性特征向量化，主要用到的方法有One-hot編碼、哈夫曼編碼等。

2)連續(xù)型特征歸一化，主要解決量綱不一致的情況，采取數(shù)據(jù)歸一化的方法，一般會(huì)用maxminmap算法，公式為:

(9)

其中:x為待歸一數(shù)據(jù)，xmin為預(yù)處理數(shù)據(jù)最小值，xmax為預(yù)處理數(shù)據(jù)最大值，xscale即為歸一數(shù)據(jù)。

2.3 多變量時(shí)間序列數(shù)據(jù)輸入

傳統(tǒng)的時(shí)間序列預(yù)測(cè)的模型，其輸入信息只考慮前一個(gè)或者多個(gè)時(shí)刻對(duì)辨識(shí)結(jié)果的影響。在時(shí)刻k，傳統(tǒng)時(shí)序辨識(shí)模型表達(dá)式為：

EGTk=fEGT(EGTk-1,EGTk-2,…EGTk-n)

(10)

Nk=fN(Nk-1,Nk-2,…Nk-n)

(11)

其中:n為網(wǎng)絡(luò)步長(zhǎng)。fEGT和fN分別為排氣溫度EGT和發(fā)動(dòng)機(jī)轉(zhuǎn)速N的傳統(tǒng)辨識(shí)模型表達(dá)式。

在APU啟動(dòng)階段，作用于k時(shí)刻的辨識(shí)參數(shù)，不僅與前n個(gè)時(shí)刻的時(shí)間序列有關(guān)，同時(shí)作用于辨識(shí)參數(shù)的影響因素還包括點(diǎn)火器FIR、起動(dòng)機(jī)STR、供油量OIL。此階段多變量時(shí)間序列辨識(shí)模型表達(dá)式為：

(12)

(13)

(14)

(15)

2.4 基于Grid-Search的參數(shù)尋優(yōu)

網(wǎng)格搜索算法(Grid-Search)是一種通過(guò)遍歷給定的參數(shù)組合來(lái)優(yōu)化模型表現(xiàn)的方法。在模型訓(xùn)練的過(guò)程中，需要調(diào)試的參數(shù)主要包括網(wǎng)絡(luò)步長(zhǎng)、隱藏層個(gè)數(shù)、批尺寸、學(xué)習(xí)率等。在模型訓(xùn)練過(guò)程中，為了確定最優(yōu)的參數(shù)，Grid-Search采取了一種窮舉搜索的調(diào)參手段，在所有候選的參數(shù)中，通過(guò)循環(huán)遍歷，嘗試每一種組合可能，性能最好的就是最終的辨識(shí)模型網(wǎng)絡(luò)參數(shù)。

以隱藏層單元個(gè)數(shù)為例，在訓(xùn)練過(guò)程中，首先會(huì)根據(jù)經(jīng)驗(yàn)設(shè)置參數(shù)為200個(gè)，以經(jīng)驗(yàn)參數(shù)為中心，其他參數(shù)保持不動(dòng)的情況下，模型分別遍歷100、150、200、250、300。測(cè)試效果最好的參數(shù)，即作為最終的系統(tǒng)辨識(shí)模型隱藏層單元個(gè)數(shù)。

2.5 基于K折交叉驗(yàn)證的模型評(píng)估

通過(guò)發(fā)動(dòng)機(jī)試車得到的數(shù)據(jù)，相對(duì)來(lái)說(shuō)數(shù)量偏小，劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集之后，用于訓(xùn)練的數(shù)據(jù)更少，在這種情況下，分割后的數(shù)據(jù)分布很有可能和原始數(shù)據(jù)集的分布情況不一致，容易造成過(guò)擬合或者欠擬合的情況。

為了更加有效地評(píng)估模型的泛化性能，采取K折交叉驗(yàn)證的方式評(píng)估模型，此方法對(duì)K個(gè)不同分組數(shù)據(jù)進(jìn)行訓(xùn)練，并將結(jié)果進(jìn)行平均，進(jìn)而來(lái)減少方差，降低數(shù)據(jù)敏感性，提升模型性能，具體步驟為：

1)將原始數(shù)據(jù)不重復(fù)抽樣并隨機(jī)分k份。

2)每次挑選其中一份作為測(cè)試集，其余的k-1份作為訓(xùn)練集用于模型訓(xùn)練。

3)重復(fù)第二步k次，每個(gè)子集都有一次機(jī)會(huì)作為測(cè)試集，其余機(jī)會(huì)作為訓(xùn)練集。

4)在每個(gè)訓(xùn)練集上訓(xùn)練后得到一個(gè)模型。

5)計(jì)算模型在相應(yīng)的測(cè)試集上的結(jié)果，并保存模型的評(píng)估指標(biāo)。

6)保存訓(xùn)練模型的評(píng)估指標(biāo)。

7)計(jì)算k組測(cè)試結(jié)果的平均值，作為K折交叉驗(yàn)證下模型的性能指標(biāo)。

對(duì)于模型的評(píng)估指標(biāo)，本文選擇均方根誤差(Root Mean Square Error, RMSE)作為度量標(biāo)準(zhǔn)。其公式為：

(16)

3 模型仿真

3.1 仿真平臺(tái)

實(shí)驗(yàn)所采用的計(jì)算機(jī)配置如下：處理器采用英特爾i7-8550U；內(nèi)存為8.00 GB；操作系統(tǒng)為Win10(64位)；集成開(kāi)發(fā)環(huán)境為Anaconda 3；程序設(shè)計(jì)語(yǔ)言為Python 3.6.5(64 位)；采用機(jī)器學(xué)習(xí)包scikit-learn、谷歌開(kāi)源框架tensorflow 1.4.0進(jìn)行實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)結(jié)果

數(shù)據(jù)來(lái)源于采集的某型發(fā)動(dòng)機(jī)地面起動(dòng)階段試車樣本，采集樣本包括供油量、點(diǎn)火狀態(tài)、起動(dòng)機(jī)運(yùn)行狀態(tài)。APU發(fā)動(dòng)起啟動(dòng)時(shí)長(zhǎng)大約為12 s因此以該時(shí)長(zhǎng)作為試車樣本采樣周期。采集樣本的時(shí)間間隔為0.2 s，單個(gè)樣本點(diǎn)為60個(gè)。

3.2.1 參數(shù)尋優(yōu)

模型訓(xùn)練過(guò)程中，需要確定的參數(shù)包括，網(wǎng)絡(luò)步長(zhǎng)、隱藏層個(gè)數(shù)、學(xué)習(xí)率分別采用Grid-Search策略進(jìn)行參數(shù)尋優(yōu)。實(shí)驗(yàn)過(guò)程記錄了在不同參數(shù)條件下，取RMSE作為辨識(shí)參數(shù)EGT和N辨識(shí)結(jié)果的評(píng)判標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 網(wǎng)絡(luò)步長(zhǎng)參數(shù)尋優(yōu)

根據(jù)圖4的實(shí)驗(yàn)結(jié)果，網(wǎng)絡(luò)步長(zhǎng)越大，其RMSE越小，在步長(zhǎng)超過(guò)4時(shí)，其RMSE變化不大，綜合模型效率與準(zhǔn)確率考慮，取網(wǎng)絡(luò)步長(zhǎng)為4。同時(shí)根據(jù)圖5和圖6的結(jié)果可以判斷，轉(zhuǎn)速N的參數(shù)辨識(shí)模型其學(xué)習(xí)率參數(shù)選取為0.01，隱藏層個(gè)數(shù)選取為250，排氣溫度EGT的參數(shù)辨識(shí)模型其學(xué)習(xí)率參數(shù)選取為0.005，隱藏層個(gè)數(shù)選取為200，模型辨識(shí)效果最佳。

圖5 隱藏層參數(shù)尋優(yōu)

圖6 學(xué)習(xí)率參數(shù)尋優(yōu)

根據(jù)網(wǎng)格搜索算法得出的最優(yōu)參數(shù)，分別訓(xùn)練出APU的EGT和N的參數(shù)辨識(shí)模型，其中EGT的RMSE為3.64，N的RMSE為0.86。辨識(shí)結(jié)果如圖7、圖8所示。

圖7 EGT辨識(shí)模型擬合曲線

圖8 N辨識(shí)模型擬合曲線

3.2.2 模型對(duì)比

為了驗(yàn)證模型效果，分別和傳統(tǒng)的系統(tǒng)辨識(shí)模型進(jìn)行對(duì)比，對(duì)比模型包括最小二乘法(OLS)、支持向量回歸(SVR)、自回歸積分滑動(dòng)平均模型(ARIMA)、神經(jīng)網(wǎng)絡(luò)(MLP)。實(shí)驗(yàn)結(jié)果如下：

表2 模型對(duì)比

實(shí)驗(yàn)結(jié)果表明，在EGT和N的系統(tǒng)辨識(shí)任務(wù)中，LSTM因?yàn)槠溟L(zhǎng)時(shí)記憶的特性，其結(jié)果均優(yōu)于其他同類模型。

4 結(jié)束語(yǔ)

本文針對(duì)表征APU工作狀態(tài)的EGT和N兩個(gè)系統(tǒng)參數(shù)，提出一種基于LSTM輔助動(dòng)力裝置系統(tǒng)辨識(shí)模型。建模過(guò)程中，結(jié)合APU發(fā)動(dòng)機(jī)工作過(guò)程，分析影響辨識(shí)參數(shù)的影響因素，進(jìn)一步提出了基于LSTM的多變量時(shí)間序列系統(tǒng)參數(shù)辨識(shí)模型。最后利用APU發(fā)動(dòng)機(jī)試車數(shù)據(jù)，經(jīng)過(guò)模型對(duì)比，實(shí)驗(yàn)結(jié)果證實(shí)了基于LSTM的多變量時(shí)間序列參數(shù)辨識(shí)模型的辨識(shí)性能。

基于多變量LSTM的時(shí)間序列模型在系統(tǒng)參數(shù)辨識(shí)上具有較大優(yōu)勢(shì)，但是文中模型仍有不足之處，目前辨識(shí)模型還是單步滾動(dòng)預(yù)測(cè)，多步預(yù)測(cè)還有待探索，另外目前只進(jìn)行了APU啟動(dòng)階段的系統(tǒng)參數(shù)辨識(shí)，后續(xù)階段的辨識(shí)任務(wù)還沒(méi)有進(jìn)行，下一步工作將圍繞這些任務(wù)繼續(xù)展開(kāi)。