基于注意力機(jī)制與CNN-GRU模型的飛機(jī)航跡預(yù)測(cè)研究

徐富元，蔣明，王志印，秦晉，鄭子揚(yáng)

（1.中國(guó)航天科工集團(tuán)8511研究所，江蘇 南京 210007； 2.國(guó)網(wǎng)衡陽(yáng)市供電公司，湖南 衡陽(yáng) 421001）

0 引言

隨著航空技術(shù)的巨大進(jìn)步，航空業(yè)獲得空前迅速的發(fā)展，同時(shí)空中管理部門也面臨空域資源緊張的挑戰(zhàn)。為實(shí)現(xiàn)空中交通的安全高效管理，有必要發(fā)展飛機(jī)航跡預(yù)測(cè)技術(shù)。利用飛機(jī)運(yùn)行過(guò)程中由廣播式自動(dòng)相關(guān)監(jiān)視（ADS-B）記錄的歷史狀態(tài)信息構(gòu)成的時(shí)間序列，對(duì)未來(lái)狀態(tài)進(jìn)行回歸預(yù)測(cè)實(shí)現(xiàn)飛行航跡預(yù)測(cè)。

當(dāng)前的航跡預(yù)測(cè)技術(shù)大致分為3種類型，分別是基于空氣動(dòng)力學(xué)、基于狀態(tài)估計(jì)理論以及機(jī)器學(xué)習(xí)的方法，其中前兩種理論對(duì)在預(yù)測(cè)飛行航跡時(shí)，前提條件太過(guò)理想且計(jì)算復(fù)雜度高，相比于機(jī)器學(xué)習(xí)方法靈活性不足，而機(jī)器學(xué)習(xí)的方法使用歷史航跡數(shù)據(jù)挖掘航跡的規(guī)律，訓(xùn)練航跡預(yù)測(cè)模型，對(duì)復(fù)雜非線性問(wèn)題有較好的建模效果，近年來(lái)得到了越來(lái)越多的關(guān)注。主要方法包括聚類算法［1-3］、遺傳算法［4］、蟻群算法［5］、神經(jīng)網(wǎng)絡(luò)［6-11］等。

在機(jī)器學(xué)習(xí)方法的神經(jīng)網(wǎng)絡(luò)模型中，門控循環(huán)單元（GRU）是挖掘時(shí)間序列數(shù)據(jù)的經(jīng)典模型之一，可以將其應(yīng)用在航跡這類時(shí)間序列數(shù)據(jù)上。然而，GRU趨向于關(guān)注時(shí)序數(shù)據(jù)的時(shí)間信息，而忽略了時(shí)序數(shù)據(jù)的空間信息，同時(shí)輸入GRU的序列長(zhǎng)度不斷增長(zhǎng)，會(huì)導(dǎo)致早期輸入的信息變得模糊，無(wú)法適應(yīng)長(zhǎng)時(shí)間序列的預(yù)測(cè)場(chǎng)景。與GRU不同，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像與提取空間信息中有著廣泛應(yīng)用，該模型可以挖掘時(shí)間序列數(shù)據(jù)中在某個(gè)時(shí)刻之前的數(shù)據(jù)的空間關(guān)系，提取其中隱藏的空間特征。

同時(shí)，注意力機(jī)制在近些年受到了廣泛關(guān)注，其最早出現(xiàn)在計(jì)算機(jī)視覺(jué)領(lǐng)域，在航跡預(yù)測(cè)領(lǐng)域的應(yīng)用尚處在初始階段，它通過(guò)對(duì)輸入的數(shù)據(jù)或者提取的特征進(jìn)行自適應(yīng)的關(guān)注，提高模型提取特征的能力，可以進(jìn)一步提高預(yù)測(cè)的效果。通過(guò)強(qiáng)調(diào)與長(zhǎng)時(shí)間序列預(yù)測(cè)相關(guān)的關(guān)鍵特征，同時(shí)抑制與結(jié)果無(wú)關(guān)的信息，可以將計(jì)算注意力分配給更重要的特征，會(huì)提高模型對(duì)場(chǎng)景的適應(yīng)能力。

根據(jù)上述描述，本文提出一種基于注意力機(jī)制與CNN-GRU的飛機(jī)航跡預(yù)測(cè)模型。該模型使用CNN提取航跡具有時(shí)序的空間特征，再使用GRU挖掘飛機(jī)航跡的時(shí)序特征，最后利用注意力機(jī)制，學(xué)習(xí)各個(gè)空間與時(shí)間特征的重要程度，提升重要特征的影響力，降低非重要特征的影響力，有效提升模型的預(yù)測(cè)精度。

1 工作原理

由于神經(jīng)網(wǎng)絡(luò)在擬合復(fù)雜非線性關(guān)系的優(yōu)勢(shì)，神經(jīng)網(wǎng)絡(luò)在航跡預(yù)測(cè)領(lǐng)域應(yīng)用廣泛，常用模型包括反向傳播網(wǎng)絡(luò)（BP）、深層神經(jīng)網(wǎng)絡(luò)（DNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)（LSTM）以及GRU等。BP神經(jīng)網(wǎng)絡(luò)是應(yīng)用最多的神經(jīng)網(wǎng)絡(luò)之一，其核心是誤差反向傳播算法。DNN相比于BP增加了多個(gè)隱藏層，可以擬合更復(fù)雜的非線性函數(shù)。但DNN沒(méi)有充分利用時(shí)序數(shù)據(jù)的時(shí)序信息，而RNN通過(guò)在隱藏層的神經(jīng)元節(jié)點(diǎn)之間增加聯(lián)系，提高了處理時(shí)間序列數(shù)據(jù)的能力。LSTM是RNN的變種，通過(guò)增加輸入門、遺忘門、輸出門的結(jié)構(gòu)，解決了RNN在長(zhǎng)期記憶情況下的權(quán)重爆炸或梯度消失問(wèn)題，GRU則進(jìn)一步改進(jìn)了LSTM，在保留前者優(yōu)點(diǎn)的情況下簡(jiǎn)化了模型的結(jié)構(gòu)，使用更新門和重置門替代了原先的3個(gè)門結(jié)構(gòu)，在大訓(xùn)練數(shù)據(jù)的情況下提高了模型的訓(xùn)練速度。

以GRU為基礎(chǔ)，還出現(xiàn)了許多改進(jìn)的時(shí)序預(yù)測(cè)模型。文獻(xiàn)［12］利用CNN提取電壓時(shí)間序列的高層特征，然后將其輸入GRU中實(shí)現(xiàn)電壓軌跡預(yù)測(cè)，有效提取了數(shù)據(jù)的高層特征，并解決長(zhǎng)期記憶情況下的梯度消失問(wèn)題。文獻(xiàn)［13］使用以GRU為核心的seq2seq模型，利用編碼器將歷史軌跡序列編碼為上下文向量，然后利用解碼器實(shí)現(xiàn)船舶軌跡預(yù)測(cè)，對(duì)短期軌跡預(yù)測(cè)具有較好的效果。文獻(xiàn)［14］利用雙向GRU模型，同時(shí)考慮了時(shí)間序列的正向和逆向信息，實(shí)現(xiàn)了無(wú)人機(jī)的精確預(yù)測(cè)。由于航跡數(shù)據(jù)是具有位置、時(shí)間信息的連續(xù)采樣序列，GRU在該類數(shù)據(jù)上適用性較好，因此本文采用GRU為基礎(chǔ)組件。

CNN的本質(zhì)在于構(gòu)建多個(gè)能夠提取數(shù)據(jù)特征的濾波器，通過(guò)對(duì)輸入數(shù)據(jù)進(jìn)行逐層卷積和池化操作來(lái)提取數(shù)據(jù)之間隱藏的拓?fù)浣Y(jié)構(gòu)特征。文獻(xiàn)［15］考慮到CNN在挖掘非線性時(shí)序的精度優(yōu)勢(shì)，利用CNN進(jìn)行數(shù)據(jù)特征的提取實(shí)現(xiàn)電力負(fù)荷的預(yù)測(cè)。文獻(xiàn)［16］使用了一種結(jié)合CNN與LSTM的模型用于短期的風(fēng)電功率預(yù)測(cè)，其中CNN用于提取輸入的電力數(shù)據(jù)的高維特征，然后將結(jié)果輸入LSTM網(wǎng)絡(luò)中，相比于使用單一的LSTM模型，實(shí)現(xiàn)了更高的預(yù)測(cè)精度。CNN適合進(jìn)行空間擴(kuò)展，提取數(shù)據(jù)的局部特征，并組合抽象成高層特征，因此本文采用CNN作為空間特征提取組件。

注意力機(jī)制最早出現(xiàn)在計(jì)算機(jī)視覺(jué)領(lǐng)域，它的基本原理是通過(guò)對(duì)數(shù)據(jù)特征分配不同的權(quán)重，根據(jù)權(quán)重大小判斷哪些信息對(duì)目標(biāo)更加重要。Fernando等［17］就利用注意力機(jī)制結(jié)合LSTM構(gòu)成的預(yù)測(cè)模型，通過(guò)行人的歷史軌跡對(duì)未來(lái)進(jìn)行預(yù)測(cè)。

2 模型架構(gòu)

CNN擅長(zhǎng)在空間上做抽象與泛化，而GRU擅長(zhǎng)提取時(shí)間特征。在對(duì)航跡數(shù)據(jù)構(gòu)建預(yù)測(cè)模型時(shí)，既要考慮到其空間上的信息，又要考慮時(shí)間維度上的特征聯(lián)系。因此，本文結(jié)合2種算法，綜合利用各自的優(yōu)勢(shì)，提出了CNN-GRU算法。此外，考慮到注意力機(jī)制擅長(zhǎng)從特征中抓住關(guān)鍵特征，提升關(guān)鍵特征的權(quán)重，因而將注意力機(jī)制也引入模型，以提升CNN-GRU算法的預(yù)測(cè)精度。模型整體流程如圖1所示。

圖1 模型流程圖

本文構(gòu)建的模型包括CNN模塊、GRU模塊和注意力模塊3部分。當(dāng)數(shù)據(jù)輸入模型后，首先，利用CNN模塊的一維卷積核對(duì)飛機(jī)航跡數(shù)據(jù)進(jìn)行處理，提取飛機(jī)航跡數(shù)據(jù)在空間上的特征分量。然后，將提取結(jié)果輸入GRU模塊，由于經(jīng)過(guò)CNN模塊處理后的飛機(jī)航跡數(shù)據(jù)依然保有時(shí)序特性，GRU模塊會(huì)進(jìn)一步提取飛機(jī)航跡數(shù)據(jù)的時(shí)序特征。最后，注意力模塊將進(jìn)行權(quán)重的自動(dòng)化分配，以提升重要特征在最終特征表達(dá)中的影響力。模型整體結(jié)構(gòu)如圖2所示。

圖2 模型架構(gòu)圖

2.1 CNN模塊

CNN網(wǎng)絡(luò)主要由卷積層、池化層和全連接層組成，其中卷積層用于提取特征，其主要通過(guò)卷積核來(lái)從輸入數(shù)據(jù)中提取數(shù)據(jù)特征，由于卷積核中存在的權(quán)值共享、空間安排和局部連接等特性，在參數(shù)較少的情況下也可以提取較為豐富的特征，池化層通過(guò)降采樣等操作減少過(guò)擬合，通過(guò)多層卷積核可以提取更加抽象的特征。卷積的公式如式（1）所示：

式中，i用于代表第i個(gè)卷積核，g(i)用于代表第i個(gè)特征圖，a用來(lái)代表輸入數(shù)據(jù)，b代表偏置，x、y、z則表示輸入的3個(gè)維度。

在經(jīng)過(guò)卷積操作后，通常使用激活函數(shù)實(shí)現(xiàn)非線性變換，本文使用的是RELU作為激活函數(shù)。

考慮到航跡數(shù)據(jù)的一維特性，本文采用的為一維卷積神經(jīng)網(wǎng)絡(luò)，用來(lái)處理一維數(shù)據(jù)。卷積公式如式（3）所示：

利用以步長(zhǎng)為t的滑動(dòng)窗口形式對(duì)航跡序列進(jìn)行特征提取，所有窗口的特征將通過(guò)池化層進(jìn)行融合，保留時(shí)間序列上的主要特征，隨后將輸出放入下一個(gè)卷積層進(jìn)行進(jìn)一步高維特征的提取。最后，使用全連接層獲得CNN模塊的最終結(jié)果。CNN模塊使用反向傳播算法進(jìn)行權(quán)值更新，學(xué)習(xí)到使誤差最小的網(wǎng)絡(luò)參數(shù)。

2.2 GRU模塊

GRU是一種RNN的變體，通過(guò)改進(jìn)RNN模塊中的記憶單元，改變了在數(shù)據(jù)持續(xù)輸入情況下出現(xiàn)的權(quán)重爆炸與梯度消失問(wèn)題，增加了更新門與重置門的設(shè)計(jì)，使得GRU可以有效更新和傳遞時(shí)序數(shù)據(jù)中的關(guān)鍵信息。

GRU是由記憶模塊組成的，主要包含記憶單元以及用于操控記憶單元狀態(tài)的更新門與重置門結(jié)構(gòu)，其中更新門用于控制前一狀態(tài)信息對(duì)當(dāng)前狀態(tài)的影響，重置門用于選擇性地對(duì)前一狀態(tài)信息進(jìn)行忽略。GRU的記憶模塊結(jié)構(gòu)如圖3所示。其中zt代表t時(shí)刻的輸入，ht-1代表t-1時(shí)刻的輸出，rt和zt分別代表更新門和重置門。

圖3 GRU的記憶模塊結(jié)構(gòu)

1） 編碼器

GRU采用seq2seq結(jié)構(gòu)，其中編碼器部門由單層GRU單元組成，用來(lái)挖掘航跡數(shù)據(jù)的空間特征信息，并將獲得的特征抽象為隱藏向量c，如式（4）所示：

式中，h1，…，hn表示中間的隱藏狀態(tài)，c為最終隱藏向量。

2） 解碼器

解碼器部分也使用GRU單元作為基本組件，模型使用xn作為初始值輸入解碼器，利用初始值xn和隱藏向量c來(lái)生成后續(xù)隱藏狀態(tài)序列，第一步的隱藏狀態(tài)計(jì)算式如（5）所示：

單元的輸出作為下一個(gè)單元的輸入。本單元的隱藏層和輸出通過(guò)組合輸入到注意力機(jī)制部分。

2.3 注意力機(jī)制

注意力機(jī)制對(duì)GRU輸出的隱層向量進(jìn)行分配權(quán)重求和計(jì)算。假設(shè)輸入的隱層特征向量為hi，基于隱層特征向量可以得到環(huán)境向量ci，如式（6）所示：

式中，ai是注意力權(quán)重，為了獲得注意力權(quán)重，模型使用一個(gè)全連接網(wǎng)絡(luò)，將從GRU模塊獲得的隱層向量作為輸入，計(jì)算各個(gè)隱層向量的得分，作為其對(duì)輸出的影響力，如式（7）所示：

式 中，wT和bi表示模型參數(shù)，si表 示hi與ci的 相 關(guān) 程度，之后利用softmax對(duì)si進(jìn)行歸一化，獲得權(quán)重系數(shù)ai，如式（8）所示：

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)所用系統(tǒng)為Ubuntu18.04，所用GPU為GeForce RTX 3090，CPU為Intel Xeon CPU E5-2620 v4 @ 2.10 GHz，所用Python版本為3.7，采用深度學(xué)習(xí)框架為PyTorch 1.7.0，所用CUDA版本為11。

3.2 實(shí)驗(yàn)流程

本文使用的實(shí)驗(yàn)數(shù)據(jù)集來(lái)自O(shè)penSky網(wǎng)站的自動(dòng)廣播式相關(guān)監(jiān)視系統(tǒng)數(shù)據(jù)集，該數(shù)據(jù)包含執(zhí)行飛行任務(wù)的飛機(jī)被動(dòng)向外廣播的飛行狀態(tài)數(shù)據(jù)，主要包括時(shí)間、經(jīng)度、緯度、高度、身份等信息。實(shí)驗(yàn)數(shù)據(jù)按照8∶1∶1劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。首先對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行缺失值填充、重采樣等預(yù)處理操作，最終有效數(shù)據(jù)為20 000條。預(yù)處理之后的實(shí)驗(yàn)數(shù)據(jù)如表1所示，其中，Time用UNIX時(shí)間戳表示，Icao為飛機(jī)的唯一標(biāo)識(shí)。

表1 實(shí)驗(yàn)數(shù)據(jù)示例

航跡數(shù)據(jù)中的Lat、Lon、Alt分別表示飛機(jī)所在的緯度、經(jīng)度和高度，可以看出由于量綱的不同，3者存在巨大的數(shù)值差距，為減少量綱不同對(duì)預(yù)測(cè)結(jié)果的影響，在輸入模型之前先使用歸一化同一量綱。本文使用的歸一化方法為離差標(biāo)準(zhǔn)化［18］，如式（9）所示：

式中，X代表原始數(shù)據(jù)，X*代表歸一化之后的數(shù)據(jù)。

基于注意力機(jī)制的CNN-GRU模型由輸入層、CNN模塊、融合注意力機(jī)制的GRU模塊和輸出層組成。其中模型的輸入時(shí)間窗口大小被指定為10，CNN模塊的卷積層卷積核個(gè)數(shù)設(shè)定為12，GRU模塊中隱藏層單元個(gè)數(shù)設(shè)定為24個(gè)，并將隱藏層的輸出取出，使用注意力機(jī)制將多個(gè)輸出張量進(jìn)行融合，獲得融合的數(shù)據(jù)特征表達(dá)式，最后進(jìn)入全連接層進(jìn)行激活輸出。模型優(yōu)化器使用的是隨機(jī)目標(biāo)函數(shù)優(yōu)化算法Adam［19］，在訓(xùn)練過(guò)程中進(jìn)行模型參數(shù)的更新，初始學(xué)習(xí)率設(shè)置為0.002，考慮到訓(xùn)練集的數(shù)據(jù)量較大，實(shí)驗(yàn)將數(shù)據(jù)集劃分為批量進(jìn)行訓(xùn)練，設(shè)定32組數(shù)據(jù)為一批，將batch-size設(shè)定為100，迭代次數(shù)為10 000，每條輸入的航跡數(shù)據(jù)長(zhǎng)度為10，預(yù)測(cè)長(zhǎng)度為10。

網(wǎng)絡(luò)利用訓(xùn)練集進(jìn)行模型訓(xùn)練，利用優(yōu)化函數(shù)來(lái)調(diào)整網(wǎng)絡(luò)中的參數(shù)權(quán)重，直到達(dá)到設(shè)定的迭代次數(shù)，以使得損失函數(shù)降到最小。最后利用測(cè)試集對(duì)生成的模型進(jìn)行評(píng)估，所用評(píng)估指標(biāo)包括RMSE、MAE、MSE，分別表示預(yù)測(cè)值與真實(shí)值之間的均方根誤差、平均絕對(duì)誤差和均方誤差，如式（10）—（12）所示，其中yi表示真實(shí)值，yip表示預(yù)測(cè)值。

3.3 實(shí)驗(yàn)結(jié)果

為充分驗(yàn)證本文所提基于注意力機(jī)制的CNNGRU模型的有效性，選擇GRU、CNN、CNN-GRU模型進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 全階段數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

從中可以看出，基于注意力機(jī)制的CNN-GRU模型在各項(xiàng)評(píng)價(jià)指標(biāo)上均表現(xiàn)最好，相較于CNN、GRU、CNN-GRU，本文方法在RMSE上分別下降了24%、35%和14%，這表明本文所提模型進(jìn)行航跡預(yù)測(cè)是有效的。相比于本文模型，單一的CNN模型雖然可以從數(shù)據(jù)中提取特征，但要有多卷積層才能捕獲航跡數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系，隨著輸入序列長(zhǎng)度的增加，長(zhǎng)期依賴關(guān)系的捕獲能力會(huì)變差，不利于航跡的精確預(yù)測(cè)。類似的，使用單一GRU模型時(shí)，雖然模型擅長(zhǎng)捕獲航跡數(shù)據(jù)的時(shí)序關(guān)系，但對(duì)于航跡數(shù)據(jù)中的局部空間特征挖掘能力不足，相比于混合模型，航跡預(yù)測(cè)精度會(huì)有所下降。最后，可以看出本文模型表現(xiàn)效果要好于CNN-GRU組合網(wǎng)絡(luò)，表明注意力機(jī)制有助于提高模型性能，這可能是由于注意力機(jī)制能關(guān)注特征中的關(guān)鍵信息，降低不重要信息的權(quán)重，優(yōu)化了網(wǎng)絡(luò)對(duì)關(guān)鍵特征的利用能力，降低了無(wú)效信息對(duì)航跡預(yù)測(cè)的計(jì)算影響。

隨機(jī)抽取部分軌跡，將本文方法的預(yù)測(cè)效果進(jìn)行可視化，其真實(shí)軌跡和預(yù)測(cè)軌跡對(duì)比如圖4所示。其中input表示輸入的歷史軌跡，使用黑線顯示；prediction表示本文模型預(yù)測(cè)的飛機(jī)軌跡，使用綠線顯示；groundtruth表示預(yù)測(cè)軌跡對(duì)應(yīng)的真實(shí)的飛行軌跡，使用紅線顯示。

從圖4中可以看出，本文模型的預(yù)測(cè)效果整體較好，可以準(zhǔn)確預(yù)測(cè)出航跡的未來(lái)趨勢(shì)和位置。在（a）中的真實(shí)飛行軌跡比較曲折，對(duì)其進(jìn)行預(yù)測(cè)存在難度，然而本文模型實(shí)際預(yù)測(cè)效果較好，實(shí)際軌跡與預(yù)測(cè)出來(lái)的軌跡之間差距較小，較為精準(zhǔn)地刻畫了軌跡的變化細(xì)節(jié)。在（b）中可以發(fā)現(xiàn)飛機(jī)航向大角度變化的時(shí)刻，雖然模型預(yù)測(cè)精度略微下降，但飛行趨勢(shì)基本一致，并很快糾正了預(yù)測(cè)誤差。

圖4 軌跡預(yù)測(cè)效果圖

考慮到飛機(jī)在飛行的不同階段，飛行狀態(tài)特征會(huì)有不同的分布，本文選擇處于爬升階段與下降階段的飛機(jī)數(shù)據(jù)各4 000條，在其他條件與全階段數(shù)據(jù)集相同的情況下，與不同的模型進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如表3、表4所示。

表3 爬升數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

通過(guò)對(duì)比可以看出，本文模型在不同數(shù)據(jù)集上均表現(xiàn)最好，這是由于本文模型綜合考慮了航跡數(shù)據(jù)在空間和時(shí)間上的特征，充分模擬了航跡特征的分布規(guī)律，相較于其他單一模型，本文模型具有更好的數(shù)據(jù)表征能力。相比于全階段的數(shù)據(jù)集實(shí)驗(yàn)結(jié)果，在分階段的數(shù)據(jù)集上模型的預(yù)測(cè)效果普遍下降，這可能是由于飛機(jī)在爬升、下降階段所面對(duì)的飛行場(chǎng)景更加復(fù)雜，模型在模擬飛行航跡數(shù)據(jù)的分布更加困難，需要根據(jù)場(chǎng)景進(jìn)行進(jìn)一步優(yōu)化，以提高預(yù)測(cè)精度。

考慮到模型預(yù)測(cè)時(shí)間對(duì)實(shí)時(shí)航跡預(yù)測(cè)的重要影響，本文記錄了模型在全階段數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試的時(shí)間效率。其中預(yù)測(cè)時(shí)間為預(yù)測(cè)一組數(shù)據(jù)所使用的平均時(shí)間，不同模型的時(shí)間效率結(jié)果對(duì)比如表5所示。

表5 模型在全階段數(shù)據(jù)集所用時(shí)間

從中可以發(fā)現(xiàn)，本文模型在訓(xùn)練時(shí)間花費(fèi)稍大于單一模型，這是由于模型在特征提取階段需要耗費(fèi)時(shí)間提取更加細(xì)致的特征。在預(yù)測(cè)時(shí)間上，本文模型雖然擁有更長(zhǎng)的網(wǎng)絡(luò)深度，但與其他對(duì)比模型差別不大，均滿足實(shí)時(shí)航跡預(yù)測(cè)的要求。

綜上，本文模型相比于單獨(dú)的CNN或GRU模型表現(xiàn)更好，是因?yàn)榻Y(jié)合了兩者的模型優(yōu)勢(shì)，CNN抽取出了航跡在空間上的高維特征，而GRU充分挖掘了航跡數(shù)據(jù)在時(shí)間上的特征，從空間和時(shí)間兩個(gè)角度實(shí)現(xiàn)了對(duì)航跡數(shù)據(jù)的特征提取。與CNN-GRU模型相比，本文引入注意力機(jī)制的模型表現(xiàn)出了更高的精度，這表明了注意力機(jī)制可以利用權(quán)重分配強(qiáng)化時(shí)間與空間特征中的關(guān)鍵信息，自動(dòng)調(diào)節(jié)網(wǎng)絡(luò)權(quán)重，解決了CNN-GRU模型可能出現(xiàn)的關(guān)鍵特征丟失問(wèn)題。

4 結(jié)束語(yǔ)

本文提出了一種基于注意力機(jī)制的CNN-GRU模型用于飛機(jī)航跡的預(yù)測(cè)。其中CNN模塊用于從航跡數(shù)據(jù)中進(jìn)行空間特征提取，GRU模塊用于進(jìn)行時(shí)間特征的提取，既考慮了特征在空間中的聯(lián)系，又考慮了特征在時(shí)間維度上的變化，最后通過(guò)引入注意力機(jī)制，強(qiáng)化了關(guān)鍵特征對(duì)預(yù)測(cè)結(jié)果的影響，進(jìn)一步提高了模型的預(yù)測(cè)精度。通過(guò)與CNN、GRU、CNN-GRU模型的對(duì)比，可以看出基于注意力機(jī)制的CNN-GRU模型對(duì)于航跡的刻畫能力更強(qiáng)，能夠更精確地進(jìn)行航跡預(yù)測(cè)，驗(yàn)證了該模型的有效性。