基于CapsNet的飛控參數預測算法

張 鵬 劉穎欣 段照斌 王 力

1(中國民航大學適航學院 天津 300300)2(中國民航大學電子信息與自動化學院 天津 300300)3(中國民航大學工程技術訓練中心 天津 300300)4(中國民航大學職業技術學院 天津 300300)

0 引 言

FCS是現代飛機中最重要的安全關鍵系統之一，由于其系統的高度集成性和復雜性[1],因此在飛機飛行過程中對FCS的狀態進行監測并保障其飛行安全具有重要意義和挑戰性。

FCS中的舵面作動筒、舵面位置傳感器、駕駛員控制器、作動筒控制電子設備(Actuator Control Electro-nics,ACE)、主飛行計算機(Primary Flight Computer,PFC)、電源系統、PFC接口、地面維護接口等都有可能在飛行過程中發生故障，如姿態控制系統中的俯仰控制過程是敏感和脆弱的，它的失敗可能導致飛機墜毀等災難性的事故[1]；執行器故障會對飛行控制系統的穩定性和性能產生不利影響[2]；操縱面偏轉失控可能會導致不希望的俯仰機動，也可能會要求飛機增加局部結構載荷[3]；飛機電傳操縱系統出現自檢故障影響及時的飛行[4]等。在實際排故中，維修人員很大一部分根據經驗和手冊上對應的故障隔離程序進行故障排除，這種排除方法不僅需要維修人員對各個系統及其之間的交聯關系原理非常了解，還需要花費大量的時間。

近年來，在學術界和工業界上深度學習顯示了其高超的識別復雜任務的能力，大批專家學者對其理論及其應用表現出極大的興趣，并且許多領域的專家開始嘗試利用深度學習理論知識來解決本領域的一些復雜問題[5]。

Hinton等[6]提出的深度學習理論起源于對人工神經網絡的研究，它是一種更深層次的神經網絡，可以通過它免除繁復冗雜的人工選取特征的過程和高維數據的維度災難問題，從而得到數據更深層次的特征表示[7]，并且將其應用在工業領域中取得了不小的進步[8-10]。文獻[8]提出了一種深度量子啟發神經網絡(Deep Quantum Inspired Neural Network,DQINN)方法，它是經典深度信任網絡(Deep Belief Nets,DBN)和量子啟發神經網絡(Quantum Inspired Neural Network,QINN)的結合,將其應用于飛機燃油系統的故障診斷，結果表明DQINN對復雜系統進行故障診斷有很好的效果；文獻[9]提出了一種基于CNN的旋轉機械狀態監測模型，在幾種類型的軸承故障上做了實驗，診斷精度可達93.61%；文獻[10]提出了基于時空LSTM的軌跡預測模型(ST-LSTM)用于預測密集交通中的車輛軌跡，并在NGSIM I-80 and US-101數據集上驗證了其比現有的最新模型M-LSTM具有更高的軌跡預測精度。這些傳統的神經網絡都保持著卷積層、池化層和全連接層的基本結構，而其中的最大池化層只處理了平移變化，如果一個特征稍微移動一下，只要它仍然在池化窗口中，就可以被檢測到，并且這種方法只保留最大的特征(最主要的)而丟棄其他的特征，會給結果帶來一定的偏差。

Sabour等[11]提出的膠囊神經網絡輸入輸出均為向量，向量不僅能夠表達信息的有無，還能表示信息的精確位置，并且使用動態路由協議動態地決定耦合系數體現父節點與子膠囊節點之間的耦合關系，不同于以往的全連接層,膠囊網絡已經在一些領域展現出其獨特的優勢[12-14]。文獻[12]提出了另一種矩陣膠囊網絡，該矩陣膠囊網絡可以用變換矩陣對實體和觀察者之間的關系進行編碼，從而使模型具有視點等方差的特性；文獻[13]使用模糊聚類的膠囊網絡在MNIST和CIFAR-10上測試得出具有比傳統卷積神經網絡更高的識別率，并且在隨機拼接的兩幅MNIST測試集的圖片上也進行了驗證，結果表明其具有更高的泛化能力；文獻[14]提出了復值密集頂點網(cv-頂點網)和復值多樣頂點網(cv-頂點網++)，將膠囊網絡推廣到復數域，使其可以在復雜數據集上具有更好的泛化能力，實驗證明這兩種結構在MNIST和CIFAR10數據集上與原始CapsNet相比，可訓練的參數更少，性能更好且迭代次數更少。

上述研究表明，雖然目前膠囊網絡提出不久，但是基于膠囊網絡的方法要比傳統的卷積神經網絡在圖像識別上具有更高的識別準確率，這表明膠囊網絡有廣闊的應用前景。本文將膠囊網絡應用在飛控系統參數預測上，免除了繁復冗雜的人工選取特征的過程，在未使用預測參數(飛行航跡角)歷史值的情況下，預測飛行航跡角在未來500 s內的變化，實驗結果表明，膠囊網絡在長時間的預測當中要比CNN、LSTM的準確率都要高。

1 膠囊網絡的核心特性

膠囊網絡由Sabour等[11]在2017年首次提出，膠囊網絡在飛控參數預測上的具體架構如圖1所示。

圖1 膠囊網絡架構

可以看到，輸入的是與飛行航跡角相關的21個參數在連續的21個時間點的數據。首先對其做與傳統神經網絡一樣的卷積操作，得到ReLU Conv1；然后再對ReLU Conv1做一次卷積操作，并將其輸出調整成適用于CapsNet的向量神經元層PrimaryCaps的輸入，而不是以往的標量神經元；最后，使用動態路由算法進行從PrimaryCaps到DigitCaps層的傳播，這也是CapsNet相比傳統神經網絡最明顯的特征。DigitCaps層中輸出21個向量，最后再經過一層Dense層輸出預測參數飛行航跡角的值。

CapsNet最大的特征就在于使用動態路由算法完成從PrimaryCap到DigitCaps的轉變。以圖2(假設PrimaryCaps層有4個膠囊要傳遞到DigitCaps層的2個膠囊中)來詳細解釋一下動態路由算法。

(1)

(2)

(3)

(4)

耦合系數cij由bij的Softmax計算得到：

(5)

bij初始值為0，故在前向傳播求sj的過程中，把Wij設計成隨機值，bij初始化為0可以得到cij，ui是上一層膠囊網絡的輸出，有了這三個值，就可以得到下一層的sj。

動態路由并不能完全替代反向傳播。權重矩陣Wij仍然使用成本函數通過反向傳播訓練，我們只是使用動態路由來計算膠囊的輸出。通過計算cij來量化子膠囊與其父膠囊之間的連接，這個值很重要，但生命周期很短暫。對于每一個數據點，在進行動態路由計算之前，都將它重新初始化為0。在計算膠囊輸出時，無論是訓練或測試，都需要重新做動態路由計算。

2 基于多參數融合膠囊網絡模型

高品質的FCS可以穩定操縱飛機，改善飛行性能，增加飛行安全性，同時也可以減輕駕駛員飛行負擔，是民機安全飛行必不可少的重要系統。而為了實現以上功能，FCS通常采用容錯冗余控制系統，這就使得FCS交聯設備眾多，結構復雜，很難實時定位故障，導致排故時間長、延誤率高。本文將融合與預測參數(飛行航跡角)相關的21個參數數據作為CapsNet的輸入來實時預測飛行航跡角的變化，為的是可以在其航跡發生偏移時提前進行干預，從而保證飛機的正常飛行。

基于CapsNet的思想，建立的多參數融合的模型結構如圖3所示。將融合的與航跡角變化相關的21個參數輸入后經過卷積層提取出最初的特征，然后將其輸入到初級膠囊層進行再一次的卷積操作，將卷積之后的結果調整成適合高級膠囊層輸入的向量形式，在初級膠囊向高級膠囊的過渡過程中采用動態路由對特征進行整合，整合的過程中修正下層膠囊與上層膠囊之間的權重矩陣和耦合系數等參數，以形成最優整合結果。最后，在高級膠囊層后連一個全連接層，預測出航跡角在t+d時刻之后的值。

圖3 多參數融合的膠囊網絡模型結構

3 實驗及分析

為了證明CapsNet在預測飛控參數變化上的有效性，本文使用Windows 10的軟件環境系統,TensorFlow 1.13.1深度學習框架下的keras 2.2.4,開發語言為Python 3.7，來驗證該模型的有效性。

3.1 構造數據集

本文以B777客機FCS中的姿態控制系統為例，選取與飛行航跡角相關的一些參數來進行對其在飛行過程中變化的預測。根據姿態控制系統的工作原理[15]，從飛行數據記錄設備快速存取記錄器(Quick Access Recorder，QAR)中選取了22個參數，采樣間隔為1 s，各參數含義如表1所示。

表1 相關參數表

其中，飛行航跡角(FLIGHT PATH ANGLE)是需要模型預測出的參數，其余數據為模型輸入的訓練參數。

圖4為樣本構造方式。給定與飛行航跡角相關的n-1個飛控參數在一個時間段內的運行數據，預測飛行航跡角在一定時間間隔d之后的參數值。具體構造方法如下：(1) 首先將數據進行歸一化處理并將其按照時間序列展開。(2) 以大小為w的窗口向下以一個固定步長s滑動截取數據，構造訓練集。(3) 截取數據時，把窗口最后一個時刻t在時間間隔d之后的值作為預測參數在間隔d之后的標簽。本文構造的模型中選取w的大小為訓練參數的個數，即w=21，考慮到是一個時間序列的預測任務，故選取s=1。即構造的樣本輸入為相關的21個飛行參數在連續21個時間點內的飛行數據。同時，為了驗證本文模型在單步以及多步預測上都具有良好的效果，分別選取d=1、5、10、15并將樣本按照上述方式構造獲得相應的數據集S1、S2、S3、S4。

圖4 樣本構造方式

在各個數據集中，訓練集與驗證集按4∶1的比例劃分，最后500個數據作為測試集，最終各個數據集劃分好的樣本情況如表2所示。

表2 數據集劃分

3.2 實驗過程

為驗證所提CapsNet在預測飛行航跡角的效果，實驗在基于TensorFlow的Keras深度學習平臺上實現，首先對CapsNet中的迭代次數進行了探索，以數據集S1為例，分別比較了迭代次數為1、3、5的模型誤差，然后用誤差最小的模型分別與CNN、LSTM在數據集S1、S2、S3、S4上進行對比實驗。各模型結構參數如圖5所示。

以其中的單步預測數據集S1為例，詳細說明模型結構。首先數據輸入形式是(?,21,21,1)，其中?表示batch_size，取batch_size為50，epochs為100，在CapsNet模型中，數據矩陣首先通過Sklearn的MinMaxScaler簡單歸一化到[0,1]范圍之后經過一層卷積層(Conv2)，含有32個3×3的卷積核，激活函數為ReLU，張量形狀變為(?,19,19,32)；再經過一個2×2的卷積層(PrimaryCaps)，步長為2，張量形狀變為(?,9,9,32),把其中的4個輸出神經元組合在一起構成一個膠囊，激活函數為Squash，此時張量形狀變為(?,324,8)；經過路由算法傳到DigitCaps，激活函數為Squash，此時輸出的張量為(?,21,1)，經過Flatten層之后將張量“壓平”，由全連接層輸出維度為1的張量，此時維度為(?,1)。在模型訓練的過程中，優化器選用Adam，在整個訓練過程中使用動態變化的學習率，每次以0.9的速率衰減，并且使用keras.callbacks.EarlyStopping(patience=4)提前停止訓練，防止產生過擬合現象。

3.3 結果分析

為衡量模型性能，采用回歸模型常用的評價指標[16](平均絕對誤差(MAE)、平均絕對百分比誤差(MAPE)、均方根誤差(RMSE)、均方根對數誤差(RMSLE))對模型性能進行評估，計算公式如式(6)-式(9)所示。

(6)

(7)

(8)

(9)

式中：yi為預測值；xi為真實值。式(6)-式(9)計算出來的值越小說明預測值與真實值相差越小，也可以表明模型搭建得很好，預測準確度高。

表3為數據集S1上不同迭代次數的誤差比較。

表3 不同迭代次數實驗結果

可以看出，當迭代次數為3時，誤差最小，即預測越準確。然后用迭代次數為3的CapsNet模型分別與CNN、LSTM在數據集S1、S2、S3、S4上做了對比實驗,其測試結果如圖6所示，評價指標計算如表4所示。

(a) S1單步預測結果

(b) S2預測結果

(c) S3預測結果

(d) S4預測結果圖6 各個模型預測結果對比

表4 誤差對比結果

比較圖6的結果可知：在單步預測中LSTM誤差最小，在更長時間間隔的預測中，CapsNet的誤差最小。在單步預測數據集S1上，CapsNet模型稍遜于LSTM，誤差平均比LSTM高29.1%，比CNN低42.2%；在五步預測集S2上，CapsNet比LSTM誤差降低16.0%，比CNN誤差降低51.2%；在十步預測集S3上，CapsNet比LSTM誤差降低23.9%，比CNN誤差降低30.4%；在十五步預測集S4上，CapsNet比LSTM誤差降低21.6%，比CNN誤差降低24.5%。綜合而言，CapsNet在單步及多步預測上誤差比LSTM平均降低8.1%，相比CNN平均降低37.1%。

根據上述結果可知，LSTM在短時間內預測效果很好，而CapsNet在長時間間隔的預測效果更佳。

4 結 語

FCS的實時性故障診斷及其故障預測對飛機航班運行效率有重要作用。由于FCS是一個高動態的、子系統強耦合的復雜系統，傳統的基于模型的方法難以適用。膠囊網絡是一種新型網絡結構，它將特征的表示由標量提升為向量，這種表示方式極大地提升了特征的表達能力，使得膠囊網絡具有很好的泛化能力。本文將膠囊網絡用于飛控參數預測上，在故障發生之前可以提前預知，為故障排除提供良好的預見性。實驗結果表明，CapsNet模型比傳統的CNN和LSTM模型誤差都要低，具有很高的應用價值。