基于注意力機(jī)制的CNN-LSTM模型的航跡預(yù)測(cè)

王 堃,周志崇,曲 凱,曹明松,胡延達(dá)

(1.93886部隊(duì),烏魯木齊,830001;2.空軍工程大學(xué)空管領(lǐng)航學(xué)院,西安,710051;3.陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院,西安,710119)

空中交通管理(air traffic management,ATM)的一項(xiàng)重要職能是對(duì)航空器在空中飛行時(shí)的航路、高度、速度、起降等行為進(jìn)行指導(dǎo)和控制,確保航空器在空中飛行過(guò)程中的安全和有序。其目標(biāo)是對(duì)航空器進(jìn)行安全有效的管理并致力于在空域管理系統(tǒng)中提供最優(yōu)的空域容量[1]。完成上述目標(biāo)要求管制員對(duì)航空器進(jìn)行排序和分離,管制員通常使用決策支持系統(tǒng)(decision support systems,DST)監(jiān)視每架航空器的狀態(tài),并解決飛行沖突[2]。為了確保空域航空器密度在安全范圍內(nèi),管制員使用DST從其他監(jiān)視系統(tǒng)中獲得的未來(lái)空中交通流量信息執(zhí)行流量管理決策,這些監(jiān)視系統(tǒng)功能的核心是軌跡預(yù)測(cè)。軌跡預(yù)測(cè)是在給定航空器狀態(tài)和環(huán)境信息的前提下,預(yù)測(cè)航空器未來(lái)的位置。不準(zhǔn)確的軌跡預(yù)測(cè)會(huì)對(duì)ATM和DST的性能產(chǎn)生負(fù)面影響,例如,會(huì)降低管制員扇區(qū)內(nèi)最大航空器容量,增加沖突的數(shù)量和系統(tǒng)負(fù)擔(dān),增加因躲避其他航空器而導(dǎo)致的燃料消耗,更多燃料消耗會(huì)導(dǎo)致環(huán)境污染。因此,軌跡預(yù)測(cè)效果對(duì)DST的性能表現(xiàn)尤為重要。目前,ATM正朝著基于軌跡的運(yùn)行模式(trajectory-based operations,TBO)發(fā)展[3]。

由于空中交通量的不斷增大及航空資源的日益短缺,ATM系統(tǒng)在航空交通管理中面臨巨大壓力[4]。盡管之前的軌跡預(yù)測(cè)精度已經(jīng)能夠在一定程度上應(yīng)對(duì)空中交通環(huán)境,但是面臨日益擁堵的空域,還需要提高軌跡預(yù)測(cè)的精度以應(yīng)對(duì)復(fù)雜的空中交通狀況。利用詳細(xì)的數(shù)據(jù)并使用先進(jìn)的方法才能讓ATM系統(tǒng)自動(dòng)化、智能化地做出決策,進(jìn)而打造出安全、有序和高效的空中交通環(huán)境[5]。

伴隨深度學(xué)習(xí)的不斷發(fā)展,其在自動(dòng)駕駛[6]、機(jī)器人控制[7]、視頻監(jiān)控[8]等領(lǐng)域具有廣泛的應(yīng)用,并且表現(xiàn)優(yōu)異。深度學(xué)習(xí)同樣可以用于軌跡預(yù)測(cè),其中包括預(yù)測(cè)物體、人或車輛等在未來(lái)幾秒或幾分鐘內(nèi)的運(yùn)動(dòng)軌跡[9-11]。使用深度學(xué)習(xí)進(jìn)行軌跡預(yù)測(cè)的好處在于不僅可以從大量歷史數(shù)據(jù)中學(xué)習(xí)軌跡的運(yùn)動(dòng)規(guī)律和特征,提高預(yù)測(cè)的準(zhǔn)確度,而且可以更好地應(yīng)對(duì)復(fù)雜場(chǎng)景。

隨著人工智能和大數(shù)據(jù)研究的不斷發(fā)展,機(jī)器學(xué)習(xí)的方法逐漸成為航跡預(yù)測(cè)不可或缺的方法。該方法的優(yōu)點(diǎn)在于只需要對(duì)過(guò)去的航跡進(jìn)行處理,更多地依賴于航跡的相似性,可以將輸入與輸出的維度進(jìn)行重構(gòu)[12]。

機(jī)器學(xué)習(xí)方法初期使用回歸模型進(jìn)行航跡預(yù)測(cè)。文獻(xiàn)[13]針對(duì)航空器中短期的軌跡預(yù)測(cè)問(wèn)題,提出一種新方法。該方法基于局部線性泛函回歸,其中涉及局部化、數(shù)據(jù)預(yù)處理和利用小波分解求線性回歸。此方法不使用任何航空和物理參數(shù),只使用了過(guò)去航空器的軌跡。文獻(xiàn)[14]提出利用航空器航線數(shù)據(jù)和氣象數(shù)據(jù),對(duì)航空器進(jìn)行排序和合并的軌跡預(yù)測(cè)方法。該方法使用歷史航跡信息訓(xùn)練模型以達(dá)到預(yù)測(cè)飛行時(shí)間的目的。模型的輸入分別為航空器的地面速度、航空器的類型、航空器到達(dá)航信起點(diǎn)處的高度、高空風(fēng)、地面風(fēng)。該模型用于檢查沖突和跑道吞量,并且可以通過(guò)該模型對(duì)連續(xù)下降航空器之間的初始距離間隔進(jìn)行判斷。

上述回歸模型也存在問(wèn)題,即每次建立飛行模型都需要使用大量的航跡數(shù)據(jù)。隨著循環(huán)神經(jīng)網(wǎng)絡(luò)在序列預(yù)測(cè)上的優(yōu)勢(shì)逐漸顯現(xiàn),長(zhǎng)短期記憶網(wǎng)絡(luò)(long-short-term memory,LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)的變體,其在處理時(shí)序問(wèn)題上有著優(yōu)異的表現(xiàn),因此經(jīng)常被應(yīng)用于時(shí)序預(yù)測(cè)問(wèn)題中。航跡預(yù)測(cè)方面,也逐漸采用該網(wǎng)絡(luò)進(jìn)行軌跡預(yù)測(cè)[15]。文獻(xiàn)[16]通過(guò)LSTM網(wǎng)絡(luò)模型對(duì)航空器的軌跡進(jìn)行預(yù)測(cè)。LSTM通過(guò)門結(jié)構(gòu)使得當(dāng)前預(yù)測(cè)任務(wù)中包含過(guò)去序列的信息。LSTM中使用滑動(dòng)窗口保持了長(zhǎng)序列中相鄰狀態(tài)的連續(xù),有利于航跡預(yù)測(cè)精度的提高。該方法分別對(duì)三維航跡和四維航跡分別實(shí)驗(yàn),其性能表現(xiàn)優(yōu)于馬爾科夫模型和加權(quán)馬爾科夫模型。文獻(xiàn)[17]將蟻獅優(yōu)化算法與LSTM網(wǎng)絡(luò)相結(jié)合,利用蟻獅優(yōu)化算法的優(yōu)點(diǎn)對(duì)LSTM網(wǎng)絡(luò)的閾值和初始權(quán)值進(jìn)行優(yōu)化,提高了預(yù)測(cè)結(jié)果的精度和模型的收斂速度,有效避免了算法陷入局部最優(yōu)解,提高了LSTM的性能。通過(guò)與BP神經(jīng)網(wǎng)絡(luò)和LSTM神經(jīng)網(wǎng)絡(luò)的對(duì)照實(shí)驗(yàn)表明,算法的航跡預(yù)測(cè)能力更強(qiáng)。文獻(xiàn)[18]提出了基于“當(dāng)前”統(tǒng)計(jì)模型的機(jī)動(dòng)目標(biāo)模糊自適應(yīng)濾波算法(fuzzy adaptive CSAF,FACSAF),該算法既不存在突變問(wèn)題,也沒(méi)有加速度區(qū)間限制。仿真結(jié)果表明,在預(yù)測(cè)精度方面效果較好。文獻(xiàn)[19]利用不同的深度學(xué)習(xí)模型,對(duì)飛行器航跡從不同角度進(jìn)行預(yù)測(cè)。一方面,通過(guò)深度前饋神經(jīng)網(wǎng)絡(luò)(deep neural networks,DNN)對(duì)實(shí)際航跡與目標(biāo)航跡之間經(jīng)緯度之間的偏差進(jìn)行預(yù)測(cè)。另一方面,通過(guò)LSTM對(duì)未來(lái)幾個(gè)時(shí)刻的飛行軌跡做長(zhǎng)期預(yù)測(cè)。DNN模型對(duì)單步范圍的預(yù)測(cè)結(jié)果更加準(zhǔn)確,LSTM雖然預(yù)測(cè)的精度不如DNN,但是卻可以實(shí)現(xiàn)多步預(yù)測(cè),通過(guò)2個(gè)模型的結(jié)合,使得算法在航跡預(yù)測(cè)及飛行安全方面具有更好的效果。此外,模型的不確定性采用貝葉斯方法進(jìn)行表征。

由于機(jī)器學(xué)習(xí)方法在航跡預(yù)測(cè)方面表現(xiàn)優(yōu)異,本文也將在下面的章節(jié)中采用機(jī)器學(xué)習(xí)方法對(duì)航空器軌跡進(jìn)行實(shí)時(shí)預(yù)測(cè)。

1 基于注意力機(jī)制的CNN-LSTM模型

4D(航班的三維空間位置和時(shí)間)航跡預(yù)測(cè)是指在空中交通控制系統(tǒng)中,通過(guò)對(duì)航空器航跡進(jìn)行預(yù)測(cè)和規(guī)劃,使得不同航班的飛機(jī)能夠在同一時(shí)空上安全地交錯(cuò)飛行。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)與LSTM相結(jié)合的網(wǎng)絡(luò)模型在4D航跡預(yù)測(cè)任務(wù)中表現(xiàn)優(yōu)異,但是該模型的泛化能力較差,無(wú)法關(guān)注航跡數(shù)據(jù)中最重要的部分,容易受不相關(guān)信息的影響;該模型的魯棒性不強(qiáng),容易受到航跡數(shù)據(jù)中噪聲和變化的影響。

受文獻(xiàn)[20]的啟發(fā),本文提出了基于注意力(Attention)機(jī)制的CNN-LSTM模型,即CNN-LSTM-Attention,與文獻(xiàn)[20]提出的模型重名。本模型受到了其將Attention機(jī)制結(jié)合到LSTM想法的啟發(fā),因此采用相同的命名。該模型首先使用一維卷積對(duì)航跡數(shù)據(jù)的多維度特征進(jìn)行提取,從而減少輸入特征的數(shù)量。然后利用卷積層獲取的多維度時(shí)序數(shù)據(jù)作為L(zhǎng)STM的輸入,通過(guò)LSTM提取上下文的信息。最后借用注意力機(jī)制的基本思想,即幫助學(xué)習(xí)網(wǎng)絡(luò)權(quán)重分布[21],為不同時(shí)序節(jié)點(diǎn)的輸出賦予權(quán)重,以聚焦關(guān)鍵航跡信息,達(dá)到提高預(yù)測(cè)模型泛化能力和魯棒性的效果。下面將對(duì)模型的整體架構(gòu)和超參數(shù)設(shè)定進(jìn)行介紹。

1.1 模型整體框架

基于注意力機(jī)制的CNN-LSTM模型是由CNN網(wǎng)絡(luò)、LSTM網(wǎng)絡(luò)和注意力機(jī)制組合而成的,如圖1所示。輸入層是通過(guò)構(gòu)造數(shù)據(jù)樣本,將時(shí)序數(shù)據(jù)構(gòu)造成矩陣格式,輸入CNN網(wǎng)絡(luò)中;CNN層中使用卷積操作對(duì)輸入的數(shù)據(jù)進(jìn)行降維和特征提取。LSTM層將提取到的特征以時(shí)序數(shù)據(jù)的形式輸入LSTM網(wǎng)絡(luò);注意力層對(duì) LSTM網(wǎng)絡(luò)隱藏層輸出使用注意力機(jī)制進(jìn)行加權(quán)平均計(jì)算;輸出層是通過(guò)全連接層輸出最終的預(yù)測(cè)軌跡。

圖1 基于注意力機(jī)制的CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

1.2 模型的輸入與輸出

本模型使用航跡數(shù)據(jù)作為模型的輸入。某一時(shí)刻t的位置以時(shí)間(t)、橫軸坐標(biāo)(x)、縱軸坐標(biāo)(y)、豎軸坐標(biāo)(z)、正北風(fēng)速(windy)和正東風(fēng)速(windx)這6個(gè)特征進(jìn)行表示。t時(shí)刻航空器狀態(tài)表示Xt,如式(1)所示。模型的輸出是未來(lái)時(shí)刻的時(shí)間(t)、橫軸坐標(biāo)(x)、縱軸坐標(biāo)(y)和豎軸(z)作為模型的輸出。t+1時(shí)刻,模型的輸出Yt+1,表示為式(2)。將6個(gè)連續(xù)時(shí)刻的航跡特征數(shù)據(jù)X(t-5),…,X(t-1),X(t)作為模型的輸入,將t+1時(shí)刻的航空器位置及時(shí)間Y(t+1)作為模型的輸出,如式(3)所示。

X(t)={t,x,y,z,windx,windy}

(1)

Y(t+1)={t,x,y,z}

(2)

Y(t+1)=f({X(t-5),…,X(t-1),X(t)})

(3)

1.3 模型的訓(xùn)練流程

CNN層通過(guò)一維卷積對(duì)航跡進(jìn)行降維和特征提取。具體過(guò)程如下:首先是卷積操作,由于模型采用的一維卷積,卷積核將按照單一的方向進(jìn)行卷積。然后,使用ReLU函數(shù)進(jìn)行激活。最后經(jīng)過(guò)最大池化將所得向量輸入多層LSTM中。本文設(shè)計(jì)的模型共有3層LSTM,并在每層LSTM后都設(shè)置了dropout避免過(guò)擬合。dropout是一種常用的正則化技術(shù),可以用于減少過(guò)擬合現(xiàn)象,提高模型的泛化能力。上一層LSTM輸出的隱藏狀態(tài)作為下一層LSTM的輸入,以此類推,最后一層輸出的隱藏狀態(tài)將會(huì)傳遞給注意力層進(jìn)行加權(quán)計(jì)算。注意力機(jī)制可以提高重要時(shí)刻航跡點(diǎn)對(duì)最終結(jié)果的影響,提升模型預(yù)測(cè)的精度。將多層LSTM中最后一層的隱藏狀態(tài)Hi作為注意力層的輸入,對(duì)輸入向量做加權(quán)求和。使用一個(gè)全連接層進(jìn)行訓(xùn)練,設(shè)置激活函數(shù)為tanh,得到隱藏狀態(tài)的分?jǐn)?shù)為Si,如式(4)所示。全連接層的輸出Si使用softmax函數(shù)進(jìn)行歸一化,得到隱藏狀態(tài)的權(quán)重αi,αi代表每一個(gè)時(shí)間步對(duì)預(yù)測(cè)結(jié)果的重要性,計(jì)算公式如式(5)所示。注意力訓(xùn)練過(guò)程表示如下:利用得到的權(quán)重與隱藏狀態(tài)向量進(jìn)行加權(quán)求和得到最終的輸出Ci,如式(6)所示。

Si=tanh(WHi+bi)

(4)

αi=softmax(Si)

(5)

(6)

2 數(shù)據(jù)預(yù)處理

本節(jié)將介紹4D航跡預(yù)測(cè)的數(shù)據(jù)集構(gòu)造工作。首先,對(duì)航空軌跡數(shù)據(jù)進(jìn)行介紹和數(shù)據(jù)預(yù)處理,數(shù)據(jù)預(yù)處理包括去除重復(fù)點(diǎn)、去除離機(jī)場(chǎng)過(guò)遠(yuǎn)的點(diǎn)和建立三維坐標(biāo)系表示航空器的位置、補(bǔ)齊缺失數(shù)據(jù)點(diǎn)等操作。其次,對(duì)模型的訓(xùn)練樣本和標(biāo)簽進(jìn)行定義,最后,將數(shù)據(jù)進(jìn)行歸一化操作后,完成數(shù)據(jù)的預(yù)處理。

2.1 制作數(shù)據(jù)集

由于目前的航空軌跡數(shù)據(jù)集中航跡數(shù)據(jù)缺乏明確的分類,并且航跡多為高空航跡,缺乏進(jìn)離場(chǎng)航空器軌跡,故本文將對(duì)所需的數(shù)據(jù)集進(jìn)行制作。例如,使用來(lái)自某機(jī)場(chǎng)的真實(shí)航跡數(shù)據(jù),數(shù)據(jù)中包含機(jī)場(chǎng)中多架航空器的航跡及航行過(guò)程中的天氣狀況。數(shù)據(jù)集中包含了96 d的有效航跡數(shù)據(jù)。數(shù)據(jù)集中的航跡數(shù)據(jù)是通過(guò)ADS-B設(shè)備得到航空器精確位置和時(shí)間戳,氣象數(shù)據(jù)是通過(guò)機(jī)場(chǎng)自動(dòng)天氣觀測(cè)系統(tǒng)獲得的,通過(guò)時(shí)間戳的匹配,將氣象數(shù)據(jù)附加到航跡數(shù)據(jù)后面。得到原始數(shù)據(jù)后,還需要對(duì)原始數(shù)據(jù)預(yù)處理以達(dá)到訓(xùn)練模型的要求。預(yù)處理包括刪除沒(méi)有位置信息的壞點(diǎn);去除航空器標(biāo)識(shí)和位置信息相同的重復(fù)點(diǎn);去掉距離跑道頭或跑道尾超過(guò)5 km并且高度在1.8 km以上的點(diǎn);建立三維坐標(biāo)系,將數(shù)據(jù)轉(zhuǎn)換為坐標(biāo)點(diǎn),其中左邊原點(diǎn)位于跑道尾,x軸指向跑道;在上述坐標(biāo)系中,對(duì)飛速沿著跑道和垂直于跑道進(jìn)行分解;對(duì)于缺失的數(shù)據(jù)點(diǎn),采用三次線性插值法補(bǔ)充缺失點(diǎn);處理后的數(shù)據(jù)以7∶3的比例被劃分為訓(xùn)練集和測(cè)試集。航跡數(shù)據(jù)格式,如表1所示。

表1 航跡數(shù)據(jù)展示

其中x、y、z表示的是航空器在以跑道末端為原點(diǎn)的三維坐標(biāo)系中的位置,其中x軸與跑道平齊。Windx和Windy分別表示x軸方向和y軸方向的風(fēng)速。本文制作的數(shù)據(jù)集以3維坐標(biāo)的形式記錄航空器位置,可以更好地挖掘3個(gè)維度的特征;數(shù)據(jù)集中具有風(fēng)速信息,可以更好地探究環(huán)境對(duì)航跡預(yù)測(cè)影響;數(shù)據(jù)集均為進(jìn)離場(chǎng)航班,可以更好地研究進(jìn)離場(chǎng)航空器航跡的特點(diǎn)。

2.2 數(shù)據(jù)樣本構(gòu)造方法

本實(shí)驗(yàn)使用的數(shù)據(jù)包含時(shí)間、橫軸坐標(biāo)、縱軸坐標(biāo)、豎軸坐標(biāo)、橫軸方向風(fēng)速、縱軸方向風(fēng)速共6個(gè)特征。構(gòu)造數(shù)據(jù)樣本時(shí),將所有時(shí)間步的6個(gè)軌跡數(shù)據(jù)造成一個(gè)二維矩陣,矩陣的行數(shù)為樣本的總個(gè)數(shù),列數(shù)為特征數(shù)6。模型選用6個(gè)時(shí)間步的數(shù)據(jù)對(duì)下一時(shí)間步中的時(shí)間、橫軸坐標(biāo)、縱軸坐標(biāo)和豎軸坐標(biāo)進(jìn)行預(yù)測(cè)。參照CNN在處理圖像數(shù)據(jù)的方法,采用6×6的滑動(dòng)窗口在矩陣上由上至下滑動(dòng),如圖2所示,滑動(dòng)步長(zhǎng)為1,其中滑動(dòng)窗口中的數(shù)據(jù)作為訓(xùn)練樣本?；瑒?dòng)窗口的下一行中的時(shí)間、橫軸坐標(biāo)、縱軸坐標(biāo)、豎軸坐標(biāo)作為標(biāo)簽。依次類推,直到標(biāo)簽到達(dá)最后一行為止。

圖2 樣本構(gòu)造示意圖

2.3 樣本歸一化處理

歸一化是一種用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的技術(shù)。它的目的是將輸入數(shù)據(jù)進(jìn)行歸一化處理,使得網(wǎng)絡(luò)在訓(xùn)練過(guò)程中更加穩(wěn)定、收斂更快、避免梯度消失等問(wèn)題。本文采用離差標(biāo)準(zhǔn)化的方式將航跡樣本數(shù)據(jù)歸一化[22]。離差標(biāo)準(zhǔn)化(min-max scaling)是一種常見(jiàn)的數(shù)據(jù)標(biāo)準(zhǔn)化方法,用于將數(shù)值型的數(shù)據(jù)縮放到一個(gè)固定的區(qū)間范圍內(nèi),通常是[0,1]或[-1,1]。本文采用的離差標(biāo)準(zhǔn)化公式如式(7)所示:

(7)

反歸一化是一種將標(biāo)準(zhǔn)化后的數(shù)據(jù)轉(zhuǎn)換回原始數(shù)據(jù)的方法。在訓(xùn)練模型時(shí),通常需要將輸入航跡樣本數(shù)據(jù)進(jìn)行歸一化處理,以提高模型的訓(xùn)練效果。但是,在使用模型對(duì)新的航跡樣本進(jìn)行預(yù)測(cè)時(shí),需要將預(yù)測(cè)結(jié)果進(jìn)行反歸一化,以得到原始數(shù)據(jù)的結(jié)果。反歸一化的方法與歸一化的方法相對(duì)應(yīng)。如果歸一化是將原始數(shù)據(jù)縮放到[0,1]的范圍內(nèi),那么反歸一化就是將標(biāo)準(zhǔn)化后的數(shù)據(jù)恢復(fù)到原始的航跡數(shù)據(jù)范圍內(nèi)。本文反歸一化的公式如式(8)所示:

(8)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 模型訓(xùn)練

本文模型基于TensorFlow框架實(shí)現(xiàn),實(shí)驗(yàn)所采用的硬件環(huán)境為:Intel Xeon E5-2630 V4處理器,64 GB內(nèi)存,NVIDIA TITAN XP GPU顯卡。將模型的超參數(shù)設(shè)置如下:

3.1.1 輸入層參數(shù)設(shè)置

設(shè)置輸入數(shù)據(jù)的參數(shù),其中包含批處理大小、時(shí)間窗的設(shè)置和特征數(shù)。本模型將批處理大小設(shè)置為128,時(shí)間窗口設(shè)置為6,特征數(shù)設(shè)置為6,一條航跡樣本可以用6×6的實(shí)數(shù)矩陣R6×6進(jìn)行表示,R6×6中第i個(gè)時(shí)間步的航跡向量記為xi。

3.1.2 CNN參數(shù)設(shè)置

航跡樣本數(shù)據(jù)在CNN中會(huì)經(jīng)過(guò)卷積、池化操作。本模型對(duì)航空軌跡數(shù)據(jù)采取一層一維卷積進(jìn)行處理,其中卷積核的大小為3,數(shù)目為32,滑動(dòng)步長(zhǎng)設(shè)為1。進(jìn)行一維卷積時(shí),依次選取R6×6中第i個(gè)時(shí)間步到第i+2個(gè)時(shí)間步的二維矩陣進(jìn)行卷積操作。激活函數(shù)選用ReLU。經(jīng)過(guò)一維卷積的提取,得到6×1形狀的特征圖,共有32個(gè)卷積核,最終得到32個(gè)特征圖。對(duì)所得特征圖進(jìn)行最大池化,池化窗口大小為2,步長(zhǎng)為2,最終得到32個(gè)3×1形狀的特征圖。將所得特征圖表示為32×3的二維矩陣,該二維矩陣表示不同卷積核下航跡數(shù)據(jù)的聯(lián)系。將該數(shù)據(jù)輸入到LSTM網(wǎng)絡(luò)中。

3.1.3 LSTM參數(shù)設(shè)置

(1)理想整體發(fā)電效率隨負(fù)荷增加而單調(diào)增大。由于給水流量波動(dòng)導(dǎo)致的實(shí)時(shí)參數(shù)滯后，以及環(huán)境溫度對(duì)背壓和發(fā)電效率的影響，直接空冷機(jī)組的實(shí)際整體發(fā)電效率、汽輪發(fā)電機(jī)整體效率、汽輪機(jī)理想循環(huán)熱效率隨負(fù)荷增加并未表現(xiàn)出明顯單調(diào)遞增的規(guī)律。

在LSTM層,主要對(duì)LSTM層數(shù)、隱藏層節(jié)點(diǎn)個(gè)數(shù)、激活函數(shù)和丟棄率進(jìn)行設(shè)置。LSTM的層數(shù)設(shè)置為3。將LSTM層隱藏節(jié)點(diǎn)的個(gè)數(shù)均設(shè)置為50,其激活函數(shù)使用默認(rèn)的Sigmoid和Tanh?？紤]模型和數(shù)據(jù)情況,將本模型丟棄率dropout設(shè)置為0.25。

3.1.4 Attention參數(shù)設(shè)置

在注意力層,要對(duì)LSTM輸出的32×3狀態(tài)矩陣進(jìn)行處理(實(shí)際大小是32×LSTM隱藏層維度數(shù)),其結(jié)構(gòu)如圖3所示。32代表LSTM的seq_length,因此Attention層以32×3的矩陣為解碼器的隱層狀態(tài)(decoder hidden state),以其各行的1×3的矩陣為對(duì)應(yīng)特征點(diǎn)的隱層狀態(tài)(encoder hidden state),通過(guò)點(diǎn)乘計(jì)算得分。然后再利用Softmax對(duì)各得分進(jìn)行計(jì)算,得到各32個(gè)特征點(diǎn)隱層狀態(tài)的權(quán)重。將計(jì)算出的權(quán)重與對(duì)應(yīng)的隱層狀態(tài)相乘,得到加權(quán)后的隱藏狀態(tài)。其結(jié)果為32個(gè)1×3的矩陣,連接為32×3的矩陣后,輸入全連接層,最終輸出1×4的航跡預(yù)測(cè)作為輸出。

圖3 Attention網(wǎng)絡(luò)結(jié)構(gòu)

注意力層有Soft Attention和Hard Attention 2種方案。Hard Attention的權(quán)重向量通常是一個(gè)One-Hot向量,這在某些情況下會(huì)具有更好的時(shí)效性,但是會(huì)犧牲一部分精度。由于本文模型的隱層狀態(tài)只有32,對(duì)計(jì)算效率的影響并不大,因此只需在實(shí)驗(yàn)中比較2種方案的精確度。

3.1.5 其他超參數(shù)設(shè)置

其他超參數(shù)包括優(yōu)化器、學(xué)習(xí)速率和迭代次數(shù)。本模型選用Adam優(yōu)化器更新模型的參數(shù)以最小化損失函數(shù),學(xué)習(xí)速率設(shè)置為0.001,迭代次數(shù)設(shè)置為1 000。

3.2 預(yù)測(cè)誤差衡量指標(biāo)

常用的衡量預(yù)測(cè)值與實(shí)際值之間誤差大小的指標(biāo)有均方根誤差(root mean square error,RMSE)、平均絕對(duì)誤差(mean absolute error,MAE)和平均絕對(duì)百分比誤差(mean absolute percentage error,MAPE)。它們分別如公式(9)～(11)所示:

(9)

(10)

(11)

3.3 定性實(shí)驗(yàn)

為了驗(yàn)證本文提出的航跡預(yù)測(cè)模型的性能,本節(jié)對(duì)提出的基于注意力機(jī)制的CNN-LSTM模型與CNN-LSTM模型和LSTM模型進(jìn)行定性對(duì)比實(shí)驗(yàn),通過(guò)對(duì)比預(yù)測(cè)的航跡曲線分析模型的效果,本節(jié)以某航空器航跡為例給出3個(gè)模型的預(yù)測(cè)效果。3個(gè)模型的二維和三維航跡的對(duì)比如圖4和圖5所示。

圖4 二維航跡對(duì)比

圖5 三維航跡對(duì)比

圖4中x、y表示的是航空器在以跑道末端為原點(diǎn),沿跑道方向?yàn)閤軸的二維坐標(biāo)系中的位置。LSTM模型預(yù)測(cè)出的二維航跡可以擬合真實(shí)航跡的運(yùn)行狀態(tài),但是仍存在一定程度的偏差,二維航跡曲線能夠保持平滑地移動(dòng)。CNN-LSTM模型預(yù)測(cè)出的二維航跡可以較好地?cái)M合真實(shí)航跡的運(yùn)行狀態(tài),與LSTM模型相比,二維航跡偏差明顯減小,預(yù)測(cè)航跡曲線也更加平滑。CNN-LSTM-Attention模型可以很好地?cái)M合真實(shí)航跡的運(yùn)行狀態(tài)。預(yù)測(cè)出的航跡曲線幾乎與真實(shí)二維航跡曲線重合。

圖5中x、y、z表示的是航空器在以跑道末端為原點(diǎn),沿跑道方向?yàn)閤軸的三維坐標(biāo)系中的位置。LSTM模型的三維預(yù)測(cè)航跡已經(jīng)可以擬合出航跡路線,但是與實(shí)際航跡的誤差仍然較大,特別是在高度方面,可以明顯觀察到與實(shí)際航跡的差距,使用LSTM模型雖然可以進(jìn)行4D航跡預(yù)測(cè),但模型仍有提高的空間。CNN-LSTM模型的三維預(yù)測(cè)航跡與真實(shí)航跡的誤差較小,雖然高度差距比LSTM模型小,但是仍存在一定程度的偏差。CNN-LSTM-Attention模型擬合出的三維航跡與真實(shí)航跡誤差很小,可以很好地?cái)M合實(shí)際飛行的航跡。

注意力機(jī)制分為2種變體,Hard Attention和Soft Attention。為選擇出更適用于航跡預(yù)測(cè)的變體,進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 不同Attention機(jī)制的對(duì)比

Soft Attention的實(shí)驗(yàn)最終是使用SoftMax函數(shù)對(duì)LSTM層的狀態(tài)進(jìn)行權(quán)重分配,Hard Attention則只選擇一個(gè)分?jǐn)?shù)最大的位置進(jìn)行關(guān)注,其余狀態(tài)均被拋棄。為了表現(xiàn)出明顯差異,選用一條較長(zhǎng)的航跡進(jìn)行對(duì)比預(yù)測(cè)。在實(shí)驗(yàn)結(jié)果中可以觀察到,2種變體都對(duì)航跡進(jìn)行了良好的預(yù)測(cè),但是Soft Attention預(yù)測(cè)的航跡更為穩(wěn)定,Hard Attention的預(yù)測(cè)則出現(xiàn)了震蕩,且2種變體的計(jì)算時(shí)間沒(méi)有明顯差別,因此Soft Attention更適合用于航跡預(yù)測(cè)。

除去Attention機(jī)制的選擇外,還有一個(gè)參數(shù)尤為重要,即LSTM的層數(shù)。增加LSTM的層數(shù)可以增加模型的表示能力,使其能夠更好地捕捉輸入序列中的長(zhǎng)期依賴關(guān)系和復(fù)雜模式。這對(duì)于航跡預(yù)測(cè)任務(wù)中的時(shí)序數(shù)據(jù)是重要的,因?yàn)楹桔E通常具有長(zhǎng)期的時(shí)間依賴性。但是增加LSTM的層數(shù)會(huì)增加模型的復(fù)雜度,所以本文應(yīng)用了Attention機(jī)制。為選擇最合適的LSTM層數(shù),進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 不同LSTM層數(shù)的對(duì)比

可以看出,在層數(shù)為1或3時(shí),區(qū)別并不大,當(dāng)層數(shù)逐漸增加,模型預(yù)測(cè)的精度不增反降,這可能是由于過(guò)多的層數(shù)引入的噪聲或冗余導(dǎo)致的。為更好地捕獲航跡的時(shí)序性,本文選擇LSTM的層數(shù)為3。

總的來(lái)說(shuō),CNN-LSTM-Attention模型預(yù)測(cè)出的航跡擬合度最高,最接近真實(shí)航跡,CNN-LSTM模型效果次之,LSTM模型擬合度最低。由此看來(lái),模型的4D航跡預(yù)測(cè)精度由高到低排名依次是CNN-LSTM-Attention模型、CNN-LSTM模型和LSTM模型。且其注意力機(jī)制中的Soft Attention更適用于航跡預(yù)測(cè)。

3.4 定量實(shí)驗(yàn)

為了驗(yàn)證本文提出的航跡預(yù)測(cè)模型的性能,本節(jié)對(duì)提出的基于注意力機(jī)制的CNN-LSTM模型與目前常用的4D航跡預(yù)測(cè)算法進(jìn)行定量實(shí)驗(yàn),通過(guò)對(duì)比特征的誤差分析模型的效果,以某航空器航跡為例給出3個(gè)模型的預(yù)測(cè)效果。通過(guò)計(jì)算誤差衡量指標(biāo)RMSE、MAE和MAPE的值對(duì)預(yù)測(cè)航跡和真實(shí)航跡的誤差進(jìn)行定量分析,,衡量指標(biāo)的數(shù)值越小,表示模型的預(yù)測(cè)誤差越小。分別對(duì)LSTM模型、CNN-LSTM模型和基于注意力機(jī)制的CNN-LSTM模型的時(shí)間、橫坐標(biāo)、縱坐標(biāo)和豎坐標(biāo)進(jìn)行誤差定量分析,結(jié)果如表2所示。

表2 特征誤差對(duì)比

通過(guò)對(duì)比表2中的參數(shù)發(fā)現(xiàn),LSTM的特征誤差最大,CNN-LSTM的特征誤差次之,誤差最小的是CNN-LSTM-Attention模型。CNN-LSTM-Attention模型在時(shí)間、橫坐標(biāo)、縱坐標(biāo)和豎坐標(biāo)的誤差指標(biāo)均小于CNN-LSTM模型,其中降低最多的是時(shí)間特征,誤差平均降低36.70%;降低最少的是橫坐標(biāo)特征,誤差平均降低14.16%,以上數(shù)據(jù)說(shuō)明了Attention機(jī)制應(yīng)用CNN-LSTM后,提高了模型的預(yù)測(cè)能力,同時(shí)驗(yàn)證了CNN-LSTM-Attention模型在處理時(shí)序預(yù)測(cè)問(wèn)題的優(yōu)越性能。

4 結(jié)語(yǔ)

本文首先提出了基于注意力機(jī)制的CNN-LSTM混合模型,將注意力機(jī)制引入CNN-LSTM模型中,對(duì)LSTM隱藏層的輸出賦予注意力權(quán)重,提高模型預(yù)測(cè)精度,介紹了模型的整體框架、模型的輸入與輸出和模型的訓(xùn)練流程。然后介紹了數(shù)據(jù)預(yù)處理工作,包括制作數(shù)據(jù)集、數(shù)據(jù)樣本構(gòu)造和樣本歸一化處理。最后,進(jìn)行了實(shí)驗(yàn)與結(jié)果分析,其中包括模型訓(xùn)練、誤差衡量指標(biāo)介紹、定性實(shí)驗(yàn)與定量實(shí)驗(yàn)。實(shí)驗(yàn)通過(guò)將預(yù)測(cè)航跡和真實(shí)航跡以二維與三維的形式繪制航跡,直觀地展示出航跡之間的誤差;定量實(shí)驗(yàn)通過(guò)誤差評(píng)價(jià)指標(biāo)RMSE、MAE、MAPE定量展示航跡的誤差。通過(guò)定性實(shí)驗(yàn)與定量實(shí)驗(yàn)的比較,驗(yàn)證了本文所提出的模型在4D航跡預(yù)測(cè)上的性能優(yōu)于其它對(duì)比模型。