基于PN和CNN-LSTM-ATT的航班延誤預測

吳 涔,葉 寧,2,王 甦,季翔宇

(1.南京郵電大學 計算機學院、軟件學院、網絡空間安全學院,江蘇 南京 210023;2.江蘇省無線傳感網高技術研究重點實驗室,江蘇 南京 210023)

0 引 言

隨著國民經濟和民航業的快速發展,航班延誤產生的壓力也是越來越大。航班延誤不僅會影響旅客的出行計劃,給旅客帶來時間和經濟損失,同時也增加了航空公司的運營成本,影響了機場和空管部門的正常運營。然而航班的延誤通常是由多方面因素造成的,因此延誤是難以完全避免的[1]。針對航班延誤問題,國內外學者已展開大量研究,大多采用支持向量機、決策樹、神經網絡等傳統的機器學習算法。為了提高機場地面業務的處理效率,Patrick等[2]提出一種多智能體計劃方法重組機場地面業務管理,減少因各業務部門間信息共享延遲而造成的延誤,但僅停留在理論層面,仍需要更多實際場景進行驗證。楊玨[3]通過不同啟發算法的遺傳算法對保障服務無延誤且調度成本最低的車輛路徑模型進行求解,找到最佳車輛調度路徑從而提高地面保障效率。Wu等[4]從機場、航空公司和航班三個方面更為全面地考慮影響航班延誤的因素,為降低模型復雜度,使用主成分分析法進行降維,將歷史數據作為先驗知識輸入到SVM模型,從而預測延誤時間。Jiang等[5]提出了一種基于長短期記憶網絡(Long Short-Term Memory,LSTM)的模型,分析了時間特征、航班屬性、機場和城市天氣情況等多維度因素,結合過去一段時間的延誤情況,同時預測了航班延誤率、平均延誤時間等多個延誤指標,該方法有助于提前發現航班延誤趨勢的變化,為機場調度提供決策。但上述研究均只采用了單一模型,很難挖掘不連續數據之間的潛在信息。因此,有研究[6-10]將CNN和LSTM模型融合進行預測和分類,但對于模型來說,每條數據的重要性是不一樣的,出現延誤情況的數據項含有更多的隱含信息,這種重要性差異是很難在CNN模型中體現的,使得模型難以正確評估樣本的重要性。通過模仿人的注意力,Vaswani[11]提出了注意力機制(Attention Mechanism)的概念,使得神經網絡模型能關注更加有效的信息。

大型機場地面保障環境復雜多變,對于外界因素的改變,人工和機器學習模型都難以及時響應。因此,為了提高預測準確率,對保障流程系統進行分析具有重要的現實意義。Petri Net對于具有異步、并發和沖突等關系的系統具有良好的建模能力,因此被廣泛應用于工作流管理、故障診斷和電力系統等領域。Zhu[12]使用Petri Net描述機場停機坪的交通動態,利用著色時序Petri網對各運行區域進行動態建模,反映停機坪交通系統的控制和資源占用規則,提出了停機坪沖突控制機制。Davidrajuh等[13]提出了一種通過擴展聚類算法來自動檢測關鍵元素的算法,將大規模離散事件構成的Petri Net模塊化,降低了模型的復雜度,便于系統的進一步分析。Luo等[14]將排隊論和Petri Net相結合來實現服務系統態勢感知,該模型對通用服務系統具有重要意義,能夠更加全面地描述一般服務系統,并從宏觀上展現系統之間的聯系。

因此,為了提升航班延誤預測模型的靈活性和準確性,及時分析和應對外部條件變化,該文提出了一種將時序Petri Net與融合模型CNN-LSTM-ATT結合構建航班延誤預測模型的研究方法,根據機場實際航班地面保障流程,構建航班保障流程Petri Net,通過矩陣推理對保障流程的關鍵路徑進行計算,分析其中關鍵流程作業成為動態特征。然后,將航班信息、機場延誤信息、機場天氣信息以及關鍵流程信息輸入到融合預測模型進行延誤分類預測,通過國內大型機場實際數據對模型的有效性進行分析驗證。

1 流程描述

1.1 航班過站保障流程

航班過站保障流程是指過站航空器從上輪擋開始到撤輪擋完成期間內做出的一系列的保障作業的集合,根據《航班安全運行保障標準》中的規定,不同機型具有不同的保障工作時長規定,該文主要研究當前大型機場中最常見的A320系列、B737系列等型號航空器。航班地面保障工作流程中包含了許多并聯工作關系和串聯工作關系,各項作業之間存在一定的約束關系。保障流程按照服務類型可以分為航空器服務、旅客服務以及貨艙服務。

考慮到旅客體驗以及安全問題,保障流程中的部分工作之間存在一定的先后關系和邏輯次序,例如,在客艙清潔、配餐食和加油工作完成后才能安排旅客登機工作,貨艙卸艙完成后才可以安排貨物裝艙等,所以在工作流中一項作業的超時有可能會造成后繼作業的延期開啟。該文研究的保障作業流程如圖1所示。

圖1 航班保障作業流程

1.2 航班延誤預測流程

機場地面環境復雜,航班在進行保障的過程中會受到很多外界因素的干擾,過站保障時長會隨之產生波動,現有的神經網絡預測具有較高的準確率,但缺乏對保障工作運作的實時分析,因此目前在很多大型機場中,為保障航班準時出發的保障作業時長調整往往在異常發生后才能進行。對于機場外部條件的變化,現有的預測模型是很難及時應對的。

經分析,航班在出現延誤時,地面部分保障作業會出現超出規定時長的情況,為分析具體保障作業對整體航班過站時長的影響,因此研究設計首先參考機場實際航班保障作業流程圖,抽象化建立地面保障流程Petri Net模型,計算歷史平均保障時間來獲取動態關鍵保障作業,將其作為動態特征與航班基本特征、場面延誤信息以及外部天氣信息進行數據預處理后輸入到融合預測模型。模型使用航班宏觀特征以及微觀特征進行延誤分類來解決預測模型缺乏靈活性的問題。

2 時序Petri Net建模與分析

2.1 Petri Net

Petri Net (PN)是一種適用于描述離散事件系統并發、沖突和死鎖等動態行為的圖形化的數學工具[15]。航班保障過程包含了一系列具有先后次序和邏輯次序的作業。PN由庫所(Place)、變遷(Transition)和有向弧(Directed arcs)連接而成,庫所表示作業狀態,變遷表示作業變化過程,有向弧用來表示庫所和變遷之間的依賴關系。

PN模型可表示為:PN=(P,T,F),其中,P={p1,p2,…,pm}是庫所集合,每一個pi表示保障作業任務狀態,T={t1,t2,…,tn}是變遷集合,每一個ti表示保障作業過程,且P∩T≠?,P∪T≠?,F?(P×T)∪(T×P)表示的是T和P之間的有向弧集合。

PN=(P,T,F)為最基本的網絡結構,PN會通過托肯(Token)來反映流程進行到何種狀態,托肯常常用來表示資源的數量。PN系統行為的本質是資源的流動,保障過程中流動的可以理解為不斷改變工作狀態標簽的保障人員。保障過程中局部作業的延期會波及后續作業,從而導致航班延誤。PN模型聚焦保障作業節點,以便于預測模型對保障流程內部作業的關注。例如,t1是關艙門廊橋撤離,t2是撤輪擋作業,兩項作業具有嚴格的先后次序,只有前序變遷完成時托肯流入后續庫所,托肯的流動是矩陣推理的基礎。PN=(T,P,F,M)表示的是一個帶有標識的Petri Net,M(P)可以用來表示庫所中的托肯,因此,PN的標識可以通過m維正整數向量來表示,從而對流程進行分析計算。

2.2 航班保障流程關鍵特征提取

以國內某大型機場航空器地面運行保障全流程為例,其離港航班地面保障作業如表1所示。總共包含15項保障作業和1項虛擬作業,相關作業具有一定的串行或者并行的邏輯關系。

表1 保障作業與變遷

根據上述作業對應變遷以及作業之間的緊前后繼關系,對1.1節的航班保障作業流程抽象構建離港航班地面保障作業Petri Net模型,如圖2所示。

圖2 地面保障作業Petri Net模型

為了獲得該模型的關鍵路徑,獲取其中關鍵流程作業用于后續分析,需要計算獲得PN中S不變量來對其進行分析,PN的關聯矩陣可以用來表示其中的狀態并用于描述狀態轉換。

定義1:設PN=(P,T,F,M0)為一個時序Petri Net模型,庫所集合P={p1,p2,…,pm},變遷集合T={t1,t2,…,tn},該系統中(P,T,F)可以用n×m的矩陣表示,C=[cij]n×m,稱C為該網絡系統的關聯矩陣。

根據定義1可知,關聯矩陣C中一行元素個數對應的是系統中的變遷個數,每個元素用來表示托肯數的改變。

定義2:設PN=(P,T,F,M0)為一個時序Petri Net模型,當且僅當m維列向量Y滿足以下條件:

(1)Cn×m·Ym×1=0;

(2)向量Y中的任一元素均為整數。則稱Y是PN的S不變量。

C·Y=0

(1)

式中,C為模型的關聯矩陣,Y為需要求解的S不變量,可以獲得模型的所有S不變量,該文建立的PN模型通過矩陣推理可獲得7個一維矩陣,如式(2)所示。

(2)

在求解獲得的不變量中,數字‘1’代表該庫所暢通,根據計算獲得的7個S不變量,可以獲得7條保障作業路徑,因此求得的不變量如表2所示。

表2 S不變量及對應路徑

根據航空公司給出的歷史航班地面保障作業時間數據輸入到PN模型,計算上述各路徑的總作業時長,對比獲得關鍵路徑,計算獲取關鍵路徑中時間占比最大的作業和在出現延誤情況下時間波動最大的作業,具體數據計算方法見4.1節。保障流程中的關鍵作業項會受到天氣信息、航班流量和機位調整等因素出現改變,定期將歷史數據輸入模型中獲取到的關鍵作業項會出現變化,動態變化的節點項成為動態微觀特征,再融合其他常規特征項輸入到融合預測模型。

3 基于CNN-LSTM-ATT的延誤預測模型

由于航班過站期間場面復雜多變,受多種因素影響,單一預測模型不夠穩定,容易忽略重要特征信息,該文融合多種模型,利用注意力機制賦予重要特征更多的權重,以此提高模型預測精度。

3.1 CNN特征提取

卷積神經網絡(Convolutional Neural Networks,CNN)的主要功能是從數據中提取特征。CNN由卷積層、池化層和全連接層組成[16]。卷積層是提取特征的關鍵,通過卷積核對輸入數據進行特征提取,卷積核數量增加會使得提取出的特征更為抽象,通過RELU激活函數加入非線性因素解決問題,該文采用最大池化層忽略一些不重要的信息加快計算速度以及防止過擬合。全連接層可以將池化層獲得的數據擴展成一維向量,方便后續輸出操作。但CNN再進行預測時很難學習到序列數據之間的關系,航班數據之間具有依賴關系,所以需要將CNN與RNN進行結合。

3.2 LSTM基本原理

LSTM是一種改進的循環神經網絡,它解決了模型訓練中梯度消失的問題并且能夠學習序列信息的依賴關系[17],現如今LSTM由于其良好的學習性能,已經被應用于很多場景中。

LSTM的基本神經單元包含了遺忘門、輸入門和輸出門,門可以理解為對數據的一次處理。遺忘門主要是過濾對模型訓練無用的干擾信息,根據上一時刻的輸出ht-1和當前輸入xt共同產生一個值來決定是否讓上一時刻學到的信息通過該單元;輸入門則會產生需要的新信息,使用sigmoid選出的信息和tanh來生成新的候選信息結合進行信息更新;最后輸出門控制模型的輸出,LSTM當前狀態單元的輸出是由前一時刻的數據和當前輸入的數據共同生成的,具體計算公式如式(3)所示。

ft=σ(Wf[ht-1,xt]+bf)

it=σ(Wi[ht-1,xt]+bi)

Ot=σ(WO[ht-1,xt]+bO)

(3)

gt=tanh(Wg[ht-1,xt]+bg)

Ct=gt·it+ft·Ct-1

ht=Ot·tanh(Ct)

式中,ft、it、Ot分別代表遺忘門、輸入門和輸出門,Ct表示當前單元狀態,ht表示隱層狀態,W和b分別表示權重和偏移量,σ表示sigmoid激活函數。

在改進的LSTM中,模型訓練過程中會根據設置的概率臨時隨機刪除隱藏層中的神經元,來防止過擬合,未刪除的神經元進行連接,輸入信息前向傳播,獲得的損失值進行反向傳播,在模型結束訓練后更新未被刪除的神經元的權值,臨時刪除的神經元也要重新恢復,重復這個過程直到數值收斂。

加入dropout的LSTM內部計算式如式(4)所示。

(4)

3.3 Attention機制

LSTM具有提取長序列時序特征的能力,但序列長度過長時,LSTM的性能會下降。對于航班延誤預測,只有選取足夠長的序列長度,才能包含更多對過站時長存在影響的因素。注意力機制用于計算每一個前序隱層輸出{h1,h2,…,ht-1}與當前輸出ht的相關性,從而構建當前時刻的輸出ot。

注意力機制是一種模擬人腦注意力的資源配置機制。在某一時刻人的大腦會將注意力集中在需要關注的區域,減少甚至忽略對其他區域的關注,從而獲取更多值得關注的細節,減少無用信息的影響并且放大了有用的信息。注意機制通過權重分配讓模型對關鍵信息給予足夠的關注,突出重要信息的影響,從而提高模型的準確性,注意機制的引入可以有效改善LSTM由于序列過長而造成的信息丟失問題。LSTM層的輸出是注意力層的輸入,可以采用概率分配權重的方式對權重矩陣進行計算,概率分布計算如式(5)所示。

vt=utanh(wht+b)

(5)

按照概率分布計算注意力權重αt以及輸出結果οt,計算方法如式(6)和式(7)所示。

(6)

(7)

3.4 CNN-LSTM-ATT模型

關鍵路徑提取的特征、航班信息、天氣信息和延誤信息實際上都是獨立特征,該文使用詞向量表示形式,將一個時刻的特征信息與標簽值用向量形式表示,從而形成新的序列數據。根據數據量確認了滑動窗口的大小為20,步長為1來形成特征矩陣圖,輸入特征圖按照時間進行排列。

將設計好的輸入數據特征輸入到融合預測模型,設計的融合預測模型流程如圖3所示。

圖3 CNN-LSTM-ATT網絡結構

在模型的參數設置方面,CNN層卷積核個數為64,卷積核的長度為2。理論上,LSTM隱藏層越多,預測效果越好。但是,隨著層數的增加,訓練時間也會大大增加,所以文中LSTM設置為兩層,第一層128個隱層通道,第二層64個隱層通道。注意力層對輸出有更大的影響,注意力層參數通過學習特征權值和分配特征輸入向量實現。

4 實驗與分析

4.1 實驗環境以及數據概述

為保證深度學習實驗能夠正常進行,實驗設備配備AMD Ryzen 5 5600H with Radeon Graphics,操作系統為Windows 10,內存16 GB,實驗使用的Keras的版本為2.0.8。

實驗室用的數據集來源于國內某大型機場提供的2021年1月至5月航班過站數據,經初步篩選,該數據集總共有38 000條數據,其中包括了計劃出發、上輪擋時間、清潔時長、加油時長和裝艙時長等多項航班過站信息。實驗中使用到的氣象數據來源于國家氣象科學數據中心提供的地面逐小時氣象數據。

此次實驗模型輸入特征包括四大類,具體說明如下:

第一類是動態關鍵路徑關鍵作業時長,根據3.2節關鍵路徑的獲取方法,以1～5月航班歷史平均作業時間為例,各項地面平均作業時間如表3所示。

表3 各項作業地面歷史平均用時

根據表3所給出的各項作業平均用時,計算各路徑的總時長。根據計算可知,2021年上半年對航班過站時間影響最大的路徑為Y3,平均路徑總時長為49.36分鐘,根據對該路徑的分析將配餐時長以及旅客登機時長這兩項作為該數據集的動態微觀特征。

第二類是航班信息,主要包括航班號、航線、航班停機位、航班計劃起飛日期、計劃起飛時間、星期數、上輪擋時間、目的城市ID、值機人數和出港行李件數等20項特征。

第三類是機場延誤信息,包括前一天延誤架次、前一小時延誤架次、前一小時平均延誤時間共3項延誤信息特征。

第四類是天氣信息特征,主要包括機場的航班計劃起飛時間的天氣現象、可見度、風力、風向、溫度、大氣壓和目的機場天氣狀況共7項特征。

根據不同特征的屬性,需要對數據進行預處理,使其更適合作為模型的輸入。首先,需要對缺失數據以及具有明顯邏輯錯誤的數據進行清洗;其次,如果直接將無序離散數據輸入到模型中會讓模型訓練結果出現較大的偏差,所以采用了將離散數據按出現的頻次對其進行編碼,連續數據按照min-max歸一化將數據映射到[0,1];最后,按照3.4節中對數據輸入格式的介紹,將數據轉化成多個20×32的特征矩陣圖。

4.2 分類標準

模型通過全連接層和softmax分類器來實現最后的分類輸出,根據民航局新規中機場對延誤的定義,航班實際離港時間與計劃起飛時間之間的差值在15分鐘以內,航班屬于未延誤,參考專家意見對于超出15分鐘的再劃分為不同的延誤等級,因此,將延誤時長(T)劃分為五個等級,分別是T≤15、15240,分類器根據劃分方式進行延誤等級預測。

4.3 實驗結果分析

實驗首先比較的是CNN、LSTM、CNN-LSTM以及文中使用的融合模型CNN-LSTM-ATT在數據集上的分類效果。CNN-LSTM-ATT先使用CNN對特征之間的聯系進行挖掘,再將尋找到關聯的特征擴展成以為向量輸入到LSTM中進行分類預測的操作,注意力機制對重要的信息給予更多的關注供模型學習。

CNN模型設置3次卷積操作,卷積核長度設置為2,兩層最大池化層,參數設置為2,LSTM模型中LSTM層數為2,第一層包含128個隱層通道,第二層包含64個隱層通道,CNN-LSTM模型中層數以及參數設置按照文中提出的融合模型設置相同,實驗中模型訓練輪數設置為85次,每一次迭代批處理的樣本量為100。實驗中觀察到,融合模型相較獨立模型耗時稍長,一次訓練差值在7 s左右,訓練耗時相差不大。

圖4展示了四個模型的損失值對比和準確率對比,融合模型損失值收斂性能較好,損失值經過訓練降到0.1左右。融合模型準確率比單一模型準確率高,單一模型準確率為92%左右,各種融合模型的準確率均能達到96%以上,其中提出的融合模型CNN-LSTM-ATT準確率高達98.1%,相比單一模型提升了6百分點。CNN模型可以有效獲取一條數據的關鍵特征,但難以發現時間序列之間的時序特征,場面上航班延誤具有聚集性,機場運營數據按起飛時間排序后輸入模型,CNN模型難以捕捉每條數據的前后信息。LSTM模型難以挖掘一條數據的內部相關性,數據內部的多項特征之間存在一定的聯系,例如,天氣現象和前一小時延誤架次存在相關性。CNN-LSTM模型經過訓練準確率可以達到96.2%,相比獨立模型,分類效果得到了提升,但對于部分延誤數據模型未能察覺其特殊性,模型沒有給予延誤數據特定的權重值進行標記,使得模型對這些數據難以做出準確的判斷。

圖4 模型損失值和準確率對比

為驗證提出的PN模型獲取的動態特征對模型分類預測準確率的提升,設置對比實驗,評估該特征在模型訓練中的作用,分別將加入動態特征的和未加入動態特征的特征數據輸入到CNN-LSTM-ATT預測模型。圖5所示為兩種輸入特征下的模型準確率,兩組實驗都進行了85次訓練,未添加動態特征的數據集在該融合模中最終獲得了93.9%的準確率,實驗中該數據集在進行了50次訓練時,準確率趨于平穩,隨后準確率便沒有明顯提升,表明模型難以對存在延誤的特殊信息進行進一步的學習。圖6顯示了兩種輸入數據在模型訓練后輸出的混淆矩陣,后三種是存在明顯延誤情況的航班,模型對兩種輸入特征中不存在明顯延誤現象的航班能夠準確分類,動態特征的輸入給延誤航班提供了更大的學習特性,讓模型能夠更加準確地識別信息。

圖5 不同輸入特征的模型準確率

圖6 不同輸入特征的模型混淆矩陣

目前,對于保障作業時長優化,國內大型機場多采用人工統計和二八法對歷史數據進行分析,從而調整作業時長來降低延誤風險,但上述方法都存在滯后性和準確率低的問題。該文提出的方法通過國內某大型機場的真實數據集驗證了其可行性,可將Petri Net模型納入機場協同決策(Airport Collaborative Decision Making,ACDM)系統中,通過分析地面保障流程,依據歷史數據自我學習,動態更新預測模型的輸入特征,為航空公司了解航班保障情況、采取流程優化措施提供有效參考。

5 結束語

該文提出了一種基于融合神經網絡的航班延誤情況分類預測模型,根據機場真實航班保障流程建立時序Petri Net模型,獲取保障流程關鍵作業,成為預測模型的微觀動態特征。結合CNN、LSTM和注意力機制的優勢,構建融合模型CNN-LSTM-ATT,該模型在實驗數據集上獲得了98.1%的準確率,比其他獨立預測模型的準確率高,模型性能更好。航班保障流程作為一個動態流程,特征數據中加入關鍵作業時長特征項,對模型的分類準確率的提升是有很大作用的,讓模型對重要延誤信息有了更加準確的判斷。在未來的工作中,可以繼續考慮場面多航班資源競爭問題對保障時長的影響,模型方面可以進一步優化模型結構,縮短訓練時長,提高模型分類準確率,對分類邊緣數據做出更好的分類判斷,并將模型應用到更多領域的流程分析工作中。