基于改進LSTM模型的航空安全預測方法研究

曾 航, 張紅梅, 任 博,2,*, 崔利杰, 武江南

(1. 空軍工程大學裝備管理與無人機工程學院, 陜西 西安, 710051; 2. 光電控制技術重點實驗室, 河南 洛陽, 471000)

0 引 言

近年來，我國航空運輸業發展迅猛，已成為我國交通運輸的支柱產業，其在創造巨大經濟效益的同時，也給守牢安全底線、預警重大險情加劇了壓力。而精確的航空安全預測對開展事故預警意義重大,其能合理刻畫航空安全狀況的變化規律,為管理者作出事故預警決策提供科學依據。目前航空安全預測常用方法有時間序列預測、計量模型預測和機器學習預測等。

時間序列預測根據時間點劃分樣本集,通過分析各樣本點間的相關性規律,預測其在未來時刻的變化趨勢。常用的時間序列預測模型包括自回歸滑動平均(auto-regressive moving average, ARMA)、差分自回歸滑動平均(auto-regressive integrated moving average, ARIMA)模型等。該類方法基于歷史樣本信息價值,挖掘數字特征規律,對時序平穩的短期樣本具有較好的解釋性,但航空事故致因機理復雜,局部非平穩性顯著,故預測精度偏低。計量模型預測基于統計學原理,將預測目標與影響因子的作用機理用數學方程組描述,觀測主要因素的變化趨勢,估計解析模型參數。常用方法有灰色預測、馬爾可夫鏈預測和均生函數預測等。該類預測方法對先驗知識積累量的依賴較強,即通過大量歷史數據統計來估計樣本分布特性,其在飛機發動機剩余壽命預測、裝備平均故障間隔時間估計等領域應用成熟。但在航空安全預測領域,達到置信水平的解析模型尚未構建,預測結果的置信度較低。機器學習預測通過構建基于知識與規則的映射模型,設立目標約束函數優化模型參數,改進學習策略。文獻[12]構建了基于貝葉斯推理機制的航空安全風險評估模型,能根據特征級精確預測對應的風險等級,但缺乏對風險水平的量化呈現,安全信息解釋不充分。文獻[13]將支持向量機(support vector machine, SVM)算法運用到飛行事故回歸分析,結合徑向基函數(radial basis function, RBF)核函數將樣本非線性映射至高維空間,再作線性回歸預測,結果證明SVM模型泛化能力較好。文獻[14]提出了基于加權最小二乘SVM飛行事故率預測方法,采用最小二乘線性系統作為損失函數,加快學習速率的同時增強了魯棒性。而隨著樣本特征維度的擴大,SVM訓練量呈指數級增長,計算效率較低。文獻[15]構建了多層感知機(multi-layer perceptron, MLP)預測模型,對Airclaims公司記載的230起非全損失事故進行回歸分析和驗證,仿真結果表明MLP算法在處理事故樣本的高維特征、非線性映射關系上表現效果較好,但隨著學習輪數的增加,易出現擬合和梯度更新異常問題。

隨著人工智能、大數據等前沿技術的興起,近年來深度學習成為機器學習的一個重要分支。其中,長短期記憶(long short-term memory, LSTM)神經網絡正廣泛應用于文本識別、用電負荷預測和風電功率預測等領域。文獻[19]針對時間變量彼此獨立,時序關系一般不被考慮的問題,采用LSTM神經網絡模型預測鳥擊事故征候數,結果證明LSTM模型對樣本時序依賴特性的捕獲能力較強,其精度優于傳統模型。LSTM模型充分考慮了樣本的時序相關性,對其非線性關系解釋性較好。然而航空事故在特征維也呈現復雜的致因機理,單維的時序分析不能全面獲取樣本的數字特征。

綜上,現有航空安全預測研究通過分析因果映射關系實現,但事故風險源與航空安全水平并非單一的因果映射關系,由于遲滯、回歸等時序效應,安全水平還受到歷史狀態的影響。所以同一風險水平下的安全狀況在不同時刻可能不相同。對此,本文提出基于堆疊式LSTM(multi layers LSTM, ML-LSTM)航空安全多步預測新方法:首先依據事故致因理論建立航空安全致因指標體系,通過pearson、sprearman和kendall關聯指數分析剔除弱相關致因事件變量。其次,對輸入輸出樣本集重新劃分,以多時間窗口的致因事件狀態和航空安全水平為輸入集,未來若干時刻安全水平為輸出集。最后構建ML-LSTM航空安全多步預測模型,對安全樣本集進行訓練及驗證。

1 基于ML-LSTM多步預測建模

1.1 LSTM

LSTM網絡結構如圖1所示。

圖1 LSTM網絡結構Fig.1 LSTM network structure

門控單元：

(1)

(2)

(3)

存儲單元:

(4)

(5)

輸出狀態:

=·tanh()

(6)

式中:、表示輸入量和-1的權值;為偏置向量,用以調和門控激活函數的輸入水平。(·)一般取sigmoid函數如下：

(7)

softmax激活函數取tanh(·)如下：

(8)

1.2 ML-LSTM網絡多步預測模型

經典LSTM模型基于當前時刻樣本點特征狀態預測相應的輸出指標,是點對點預測。但在實際的航空安全預測中,當前安全水平可能長期依賴于若干歷史樣本點狀態,單樣本迭代的訓練模式難以高效捕獲時序特性;從輸出維考慮,點預測不能直觀刻畫未來一段時間內安全狀態變化趨勢。對此,本文嘗試增大學習步長,提高模型并行處理樣本效率。

同時,考慮到航空事故致因機理復雜。據最新研究公布,僅人的不安全行為因素就有28種,因此單層預測網絡易出現欠擬合問題,對樣本中隱含較深的時序信息挖掘能力不足。據此疊加LSTM網絡的隱含層數,增強模型的非線性擬合能力同時加快學習速率,節約計算成本,對原網絡結構進行改進,如圖2所示。

圖2 ML-LSTM時序多步航空安全預測模型Fig.2 Time series multi-step aviation safety prediction model based on ML-LSTM

圖2中為單次訓練輸入的樣本數,為預測步長，為隱含節點數,為隱含層數。前一隱含層的輸出作為當前層的輸入,第隱含層與預測端之間為全連接層(fully connected layer, FC),最后經softmax函數激活輸出維預測向量。重構樣本集的表達式如下。

隱含層輸入端:

(9)

FC輸入端:

={-+1,…,}

(10)

FC輸出端:

={,…,+-1}

(11)

隱含層到FC層映射關系式:

(12)

其中，

(13)

表示時刻下由個維時序樣本重構的輸入矩陣。

由式(1)、式(2)、式(4)和式(5)聯合求解得出:

(14)

FC層到輸出層映射關系式:

(15)

改進后的LSTM模型增大了輸入樣本維度,使其在單次訓練中輸入多組歷史樣本點,提高了現有樣本的利用率;輸出端增大預測步長,實現點預測向趨勢預測的轉化。與傳統LSTM模型相比,實現對多組樣本的并行處理,提升了記憶單元捕獲時序規律的能力,更直觀描述安全狀況的動態走勢,提升測算工作的實時性、前瞻性。此外,堆疊式隱含層結構擴展了模型的訓練深度,增強模型的容錯率和魯棒性。

1.3 基于Adam算法超參數優化

在基于梯度下降的網絡權值更新過程如下:

(16)

學習率的取值尤為關鍵,其直接決定了更新方向與模型收斂性能。傳統網絡一般采用固定學習率的方式,在后期易出現調幅過大而難以收斂的情況,影響模型的訓練效果。

針對固定學習率的模型難收斂,而且手動調參工作繁瑣的問題,本文采用基于自適應學習原理的Adam算法優化參數,該算法根據實時訓練損失情況動態調整學習率,在誤差容許的范圍內加速模型收斂。優化流程如下。

首先計算梯度的一階矩估計和二階矩估計:

←-1+(1-)·

(17)

←-1+(1-)·

(18)

式中:、為一階和二階矩估計的衰減速率。

再計算修正矩估計的偏差項:

(19)

(20)

最后基于修正計算學習率更新值:

(21)

式中:為初始學習率。Adam通過矩估計的偏差修正,將學習率的更新值控制在可測范圍,加快收斂速度的同時保證了模型魯棒性。

1.4 基于ML-LSTM航空安全多步預測流程

預測流程如圖3所示。

圖3 基于ML-LSTM航空安全多步預測流程Fig.3 Multi-step prediction process of aviation safety based on ML-LSTM

(1) 數據預處理

為減少量綱差異對數據分析的干擾,采用min-max法對樣本歸一化:

(22)

式中:、表示樣本的最大值和最小值;、表示歸一化前后的事故樣本值。

經處理后的指標數值按固定比例縮放至區間[0,1]中。

(2) 相關性分析

各致因變量對航空安全的影響水平不盡相同,有必要定量計算各變量對航空安全水平的相關性,從而剔除弱相關變量,降低運算成本同時減少白噪聲干擾。常用的相關系數有Pearson、Spearman和Kendall:

(23)

(24)

(25)

式中:表示觀測點分別在兩屬性度量下排序一致的對數;表示排序不一致的對數。Pearson、Spearman和Kendall分別以定距、定序和定秩的尺度衡量因子相關性,能實現線性相關與單調相關的兼容分析。

(3) 航空安全預測模型構建

根據第12節構建ML-LSTM航空安全多步預測模型(見圖3)。

(4) 超參數優化

用Adam算法優化學習率,以步進搜索形式遍歷隱含層和節點數取值,比較不同參數組合下的均方根誤差(root mean square error, RMSE):

(26)

(5) 模型精度評價

為直觀評價預測模型精度,以傳統LSTM、循環神經網絡(rerrent neural network, RNN)、門控循環單元(gated recurrent unit, GRU)、反向傳播(back propagation, BP)、RBF神經網絡和ARIMA預測方法作為對照模型,在相同實驗環境計算預測結果。

2 算例驗證

2.1 數據準備

2.1.1 數據收集

本文航空安全數據選自2019年度某型運輸機事故統計,包括強制報告事件和不安全事件數據記錄。其中強制報告事件數作為輸出指標,強制報告事件是指造成了人員或財產等實際損失的事故,依規必須如實上報;不安全事件是誘發各類事故的風險源,雖未直接造成既定的損失,但與事故間存在著因果關聯作用。經典SHEL事故致因理論認為,不安全事件的實質是以人為中心,與外界(軟件、硬件和環境)及其內部間能量交互不當的結果。例如:由塔臺指揮下達錯誤指令引發的不安全事件,實質為人員之間的信息交互不匹配。同時受限于人的認知水平,部分事件致因機理的可解釋性較差(如機身卷入異物、不明碰撞物等),將此類事件歸因為外來影響。據此不安全事件可劃分為外來影響因素、設備設施因素、環境因素、管理因素和人為因素5類,作為候選輸入指標,如圖4所示。

圖4 致因事件數據指標體系Fig.4 Index system of cause data

2.1.2 樣本集劃分

為確保模型得到充分訓練,同時具備可靠的泛化能力。將訓練樣本與測試樣本的容量比設為5∶1,即前40周數據用于模型訓練、參數優化,后8周數據用于驗證模型預測精度。

2.2 數據預處理

由式(16)對各指標的周統計數據歸一化處理,歸一化結果如表1所示。

表1 某型運輸機不安全事件周統計

經歸一化的樣本指標消除了單位和數量級的差異,并通過按比例縮放保留了原樣本的數字特征規律。

2.3 相關性分析

利用可視化數據分析模塊pandas_profile,定量計算各輸入指標與強制報告事件數的相關指數(見式(23)～式(25)),并通過二維矩陣成像圖顯示運算結果如圖5所示。事故為輸出指標、外來影響、設備設施、環境、管理、人為分別表示5類不安全事件。矩陣單元的顏色表示指標之間的相關特性,其中藍色表示正相關,紅色表示負相關,顏色越深表示相關程度越強。

圖5 相關性分析結果Fig.5 Correlation analysis results

各致因指標與事故關聯度如表2所示。

表2 致因指標與事故關聯度

由相關性計算結果可知,在Pearson和Spearman指數上,外來影響因素、人為因素對事故的關聯程度最大,均在0.85左右,設施設備因素次之,約為0.7;在Kendall指數上,外來影響因素、人為因素對事故的關聯程度較大,超過了0.75。據此初步確立外來影響因素和人為因素作為強相關輸入指標。

同時,環境因素與管理因素在3類評價指標呈現較弱的關聯程度,均小于0.25。據此可剔除該兩個變量作為輸入指標。此外,考慮到設施設備因素在前兩個評價尺度下的關聯程度較強,說明其與事故的線性獨立性、非線性單調相關性較顯著,盡管Kendall指數略低,小于0.5,根據式(25)可逆推其呈現正相關的樣本數比例高達85%,所以經綜合分析可判定該指標與事故存在較強的正相關作用。最終選取外來影響因素、人為因素和設備設施因素作為輸入指標。

2.4 模型參數優化

除學習率外,影響LSTM模型訓練效果的關鍵參數還有隱含節點數(hidden_size)、隱含層數(layer_size)、訓練輪數(epoch)、批尺寸(batch_size))和訓練步長(time_step)。

隱含節點數和層數直接決定了模型的非線性擬合能力,在其數目足夠多的環境下,理論上可逼近任意非線性分布特性的數據集,但同時可能引發過擬合問題;隱含節點數沒有固定的計算方法,一般參照經驗公式確定優選區間，如下：

(27)

式中:為輸入變量數;為輸出變量數;為可調正常整數,取[1,10]。

訓練輪數主要影響權值更新的效率,輪數過少會導致更新不充分,過多則增加了非必要運算成本;批尺寸是在一次學習中輸入的樣本集數,樣本越多則迭代速度越快,但權值的調整幅度也將加大,給模型的收斂造成干擾。本文采取控制變量、步進搜索對比的方式優化上述參數。

訓練步長是每個樣本集所容納的時序數據條數。對于輸入集,步長過短難以捕獲樣本的長期依賴特性,過長會造成信息冗余、學習效率降低;對于輸出集,步長過短無法直觀描述安全狀況變化趨勢,過長會因輸入信息不充分而加大預測誤差。結合事故樣本的實際容量,將輸入、輸出步長均設為4,即用近4周的歷史信息預測未來4周的安全狀況。

考慮到訓練輪數未改變網絡本身結構,屬于外部環境變量,結合人為經驗與樣本容量,觀測模型訓練500輪下的損失變化情況。從圖6可知,模型在前100輪訓練過程中損失值降低幅度較大,在100～200輪過程中下降幅度逐漸放緩,模型趨于收斂。而在200輪之后訓練損失穩定在01,增大訓練輪數反而降低了測算效率,所以訓練輪數閾值取200。

圖6 訓練損失隨輪數變化趨勢Fig.6 Changing trend of training loss with number of rounds

2.5 模型訓練與精度評價

251 樣本集重構

252 實驗結果

依次調整參數隱含節點數和隱含層數,觀測模型在不同批尺寸值下的預測效果。為緩解模型過擬合問題,每輪訓練按5%的比例隨機丟棄神經元(dropout_rate=005)。并考慮到網絡的學習策略存在隨機性,同一條件下的實驗結果不盡相同。為提升模型穩健性,將同一模型重復實驗10次,并求均值作為訓練值。

首先調整參數隱含節點數,代入訓練樣本依次訓練模型,將訓練結果反歸一化并計算RMSE，如表3所示,其中“*”標記為模型精度與魯棒性最優對應的隱含節點數。

表3 不同隱含節點數下的預測精度對比

從表3中可看出,隱含節點數取11時模型精度有顯著提升,并且隨批尺寸的調整表現出較強的魯棒性,據此確定單層網絡隱含節點數最優解取11。

然后調整隱含層數,構建多層LSTM(multi-layer LSTM, ML-LSTM)航空安全多步預測模型,遍歷各層隱含節點數組合下的訓練誤差,記錄誤差最小對應的參數組合,如表4所示,其中“**”標記為RMSE最小值。

表4 不同隱含層數下的預測精度對比

從表4中可看出:預測模型RMSE最小值為1.229 2,對應的輸入參數layer_size=3,hidden_ size=(11,10,11),batch_size=2。為更直觀評價本文模型預測效果,采取常規LSTM時序預測(見圖1)、RNN、GRU、BP、RBF神經網絡預測和ARIMA時序預測方法,在同一實驗條件下用測試樣本進行測算,預測效果對比如圖7所示。從圖7可以看出:① 本文所提出的模型(ML-LSTM)擬合效果最好,絕對數值與峰值走勢均與測試樣本(YTest)最為貼合,與經典LSTM模型相比,盡管后者數值逼近程度較高,但是對趨勢的擬合欠佳,這說明ML-LSTM網絡比經典LSTM更能捕獲樣本的趨勢特性;② 循環類深度學習預測效果(RNN、LSTM、GRU)優于ARIMA,說明帶有記憶元胞的深度學習模型與傳統時序分析方法相比,對樣本時序信息的提取、描述更加充分;③ BP和RBF兩類神經網絡預測模型均存在偏差過大的樣本點,證明ML-LSTM網絡魯棒性優于傳統機器學習模型。

圖7 預測模型結果對比Fig.7 Comparison of prediction effects

為便于定量評價模型泛化性能,記錄各樣本點絕對誤差(absolute error, AE):

(28)

從表5可知,ML-LSTM精度上較傳統LSTM有顯著改進,前3個測試點誤差分別降低了0.030 9、0.068 5、0.023 0,測試點4略有升高,但ML-LSTM模型總體魯棒性明顯增強。類似地,與GRU、RNN、RBF、BP模型相比,ML-LSTM預測模型均有3個測試點精度顯著提升。與ARIMA模型相比,所有測試點在ML-LSTM預測模型均優于前者。證明ML-LSTM泛化能力有大幅提升。

表5 各預測樣本點AE值

循環上述過程,記錄各模型10次實驗結果RMSE分布情況從圖8可知:① ML-LSTM預測誤差最小,RMSE控制在6.5左右,較LSTM(9.5)誤差降低了31.58%,證明本文所提方法準確性與魯棒性較原模型有明顯提升;② 循環類深度學習算法中,LSTM模型性能最好,RNN在前4次實驗效果較佳,而后6次誤差偏大,GRU模型誤差分布平穩但數值偏大,證明對LSTM模型進行特定改進具備可行性與有效性;③ BP模型誤差波動最大,大部分預測點RMSE在20以上;④ 由于RBF模型與ARIMA模型采用固定搜索的學習方式,RMSE值為常數(分別為16.44和13.28,遠高于ML-LSTM)。

圖8 10次實驗RMSE分布圖Fig.8 RMSE distribution diagram of ten experiments

3 結 論

本文針對LSTM訓練模式為單步長迭代,難以高效處理致因機理復雜、遲滯效應顯著的航空安全樣本,提出了ML-LSTM多步預測模型。該模型從學習步長和隱含層深度兩方面對經典LSTM結構做出改進,提升時序依賴捕獲能力的同時,實現了點預測向趨勢預測的轉化。以2019年某型運輸機事故樣本為算例,實驗結果表明ML-LSTM多步預測精度上顯著優于傳統預測方法,并具備良好的泛化能力和魯棒性。