基于注意力機制優化EDM機場客流量預測①

李 航,鄧穎紅

（中國民航大學 經濟與管理學院,天津 300300）

近年來,我國經濟的高速增長促使著人們追求更高的生活品質,人們的航空出行需求迅速增長,給機場帶來了不小的壓力.機場的旅客吞吐量是民用機場的主要生產指標,旅客流量是機場對資源進行高效配置的依據,是機場進行決策的基本前提.因此,客流量的預測對機場的管理和建設有很大的參考意義.

傳統的機場客流量預測多為基于線性假設的模型.如陳玉寶等[1]以首都機場為例采用組合預測方法對旅客吞吐量進行預測.俞佳立等[2]運用指數平滑法與灰色預測法兩者的組合預測模型對管道貨運量進行預測分析.劉夏等[3]基于三亞機場2008-2016年的月度客流量數據,運用ARMA模型、灰色預測模型、ARMA改進回歸模型對客流預測及數據仿真.由于線性模型對機場流量預測的局限性（交通流量因自由流、阻塞、故障和恢復情況等頻繁變化而具有非線性特征）,上述模型的性能和應用都受到限制.近年來學者們開發出各種機器學習與深度學習的模型應用于交通流預測.鐘穎等[4]把極端樣度上升（XGBoost）模型用于路段短時交通流的預測.周燎等[5]用期望最大化（EM）算法從交通流數據中學習出貝葉斯動態線性模型（DLM）的關鍵參數,對下一時刻的車流量進行預測.朱征宇等[6]建立了支持向量機與卡爾曼濾波組合模型,并將該模型應用于短時交通流量預測.衡紅軍等[7]用動態回歸ARIMAX模型,對航站樓內短時段的值機旅客人數進行預測.Ma等[8]將遞歸神經用于交通速度預測的網絡（RNN）.Polson和Sokolov[9]提出了一種深度學習架構來捕捉非線性時空效應.Huang等[10]提出了一個由深度信任網絡（DBN）和一個多任務回歸層組成的預測短期交通流的體系結構.

本文提出的是一種基于注意機制的編碼-解碼結構時序預測模型（Temporal Attention-based Encoder-Decoder model,TAED）,把基于注意機制的融合雙向長短時記憶網絡編碼-解碼模型應用到機場客流量預測.由于深度神經網絡在長時間尺度的預測中存在著淹沒前期輸入信號的缺點,因此,在設計深度學習預測方法時引入注意力機制,使模型能夠根據不同時期輸入信號對于輸出結果的貢獻強度分配不同的關注度,從而使模型具備處理大時間尺度序列的能力.同時對于標準的編碼解碼模型對時間序列數據的特征提取能力弱的問題,引入了Bi-LSTM,使模型能夠對數據特征進行充分學習,捕捉不同時間段的隱含特征.此外,時間序列數據的多步前向預測比單步預測困難,而序列-序列學習結構可以很好地解決這一問題.由于上述優勢,TAED模型相對于經典LSTM模型能夠更好的捕捉時間序列中的隱含特征,并且對于前期輸入信號有更好的記憶力,因而具有更好的預測效果.

1 基于時間注意機制的編碼解碼模型

1.1 本文框架

本文提出的基于注意機制的多變量時間序列多步預測框架（如圖1）.該框架由Bi-LSTM、LSTM和基于時間注意機制的上下文層3部分組成.Bi-LSTM用于學習任意長度的輸入數據的隱藏表示,從時間序列中提取出深層的時間依賴特征,然后利用時間注意層構造潛在的空間變量（時間注意上下文向量）.LSTM解碼器根據生成的潛在空間變量,對未來的時間序列值進行預測.圖1給出了該框架的圖解,該框架可以端到端對時間序列數據建模.

圖1 TAED模型

1.2 編碼解碼結構

LSTM是一種處理具有時間序列特征數據的長期學習模型[11].典型的LSTM包括5個部分:it、ft、st、ot、ht,分別作為輸入門、遺忘門、存儲單元、輸出門以及LSTM單元的隱藏狀態.一個典型的LSTM單元塊包括3個門和1個存儲單元,基于這些部分使得其具有忘記或記憶信息的能力（決定信息是否傳輸到下一個單元格）.

式中,對于輸入的時間序列值在t時間步時,LSTM單元計算一個隱藏狀態ht和一個內存狀態St,σ是激活函數,⊙是元素的乘法,這是輸入時間序列值的編碼.

但傳統的LSTM有一個缺點,它只能學習時間序列數據的前一個上下文,不能學習同一序列數據的前向上下文.所以我們用Bi-LSTM作為編碼器,可以同時處理兩個不同方向的數據互連的隱藏層:單向進程使用從t=1到T的前向隱藏層; 另一個方向進程使用從t=T到1的后向隱藏層.這個經典的Bi-LSTM計算過程如下:

1.3 時間注意力機制

其中,式（21）表示解碼器層的隱藏狀態與編碼器層的隱藏狀態之間的軟對齊計算.式（22）表示與輸入時間序列幀在時間步上的重要性相對應的注意權重,用于預測在時間步上的輸出值,該方法使用Softmax函數對長度向量進行歸一化,作為輸入時間序列上的注意掩碼.式（23）表示為編碼層每一個時間步分配相應的權重.式（24）表示模型解碼后的輸出值.模型通過式（25）進行訓練.

2 實驗仿真

2.1 數據集構造

數據源于中國民用航空華東地區管理局官網提供的真實生產運行數據,選取上海虹橋機場2013-2020年每月客流量數據應用本文算法進行分析,對其進行可視化,如圖2.

圖2 2013-2020年上海虹橋機場月客流量數據

一般來說,機場客流量的總體趨勢受到地區經濟發展和結構、人口因素及其構成、地面交通情況以及機場的布局和功能定位等多種因素的影響,此外更小時間維度上又受季節、天氣、大型活動（如節假日）等的影響.觀察圖2可以發現,虹橋機場客流量總體上隨著年份呈上升趨勢,且每月的客流量隨著季節的不同呈現出一定的周期性趨勢,在冬季客流量偏低.

圖3 樣本構造示意圖

將所構造的樣本劃分為訓練集與測試集,樣本詳細描述見表1.

表1 數據集

2.2 實驗與結果分析

為對模型進行評價,實驗采用平均絕對百分比誤差（MAPE）與均方根誤差作為指標（RMSE）,其具體計算公式如下:

式中,Pt為模型的預測值、Rt為真實值.易知,上述兩種指標值越小則說明模型性能越好,即預測值越接近真實值.

上述模型在3個數據集上進行實驗,測試結果如圖4（a）-圖4（c）,誤差指標見表2.

通過對圖4（a）-圖4（c）對比可知:由于數據集S1進行的是單步預測,因此模型均能夠對機場客流量進行準確預測,雖然RNN相對于LSTM與TAED誤差較大,但預測值與真實值基本保持在可容忍范圍內.在數據集S2中,對于時間步的預測增加到3步,可以看出相對于數據集S1,3種模型的性能均有所下降,其中,TAED模型性能下降程度最小; 在數據集S3中,將時間步的預測增加到5步,RNN和LSTM一定程度上偏離真實值,而TAED模型仍能夠保持較好的性能,這是由于該模型能夠通過調整不同時刻輸入值對輸出值的貢獻來進行預測.同時,根據表2對于殘差的計算結果可以看出,TAED模型在3個數據集上的表現明顯優于RNN和LSTM,且多步預測中效果更為明顯,如在數據集S1和數據集S3上,TAED模型的平均標準誤差分別比LSTM低了57.9%和78.4%.

表2 不同方法的殘差計算結果

圖4 數據集S1-S3在不同方法下的測試結果

3 結論

機場客流量預測對于機場調度安排,制定運行計劃具有重要意義.由于機場客流量數據具有強時序特征,而傳統方法如LSTM、RNN難以有效提取數據的時間依賴特征.本文提出一種基于注意力機制的編碼解碼模型,并對虹橋機場客流量數據進行仿真實驗,結果表明:通過對編碼解碼模型引入注意力機制,使得模型能夠對歷史數據特征進行充分提取,從而在單步預測與多步預測上均表現出較高的精度.虹橋機場客流量主要受到地區經濟發展等各類因素的綜合影響,不同類型的機場客流量影響因素略有差異,主要包括貿易、人口、資源、環境等,但不同類型機場的歷史數據特征是可以學習的,因此本文方法對于不同類型的機場客流量預測具有普適性.同時,本文未考慮影響機場客流量的相關因素,今后的工作中,可以通過引入準點率等相關因素,從更多維度對客流量進行預測.