基于深度學習的伺服系統狀態預測算法

張 鵬 楊 濤 劉亞楠

1(中國民航大學適航學院 天津 300300)2(中國民航大學電子信息與自動化學院 天津 300300)

0 引 言

伺服系統在航空航天、軍事、高精度數控機床等精密機械傳動與控制領域得到了廣泛的應用。而對這些設備開展狀態預測和故障診斷，以便在故障發生前及時提供預警或采取保護措施，對保障設備安全運行具有重要現實意義[1]。

伺服系統一般包括機械系統、控制系統和驅動系統三個主要部分。在大型系統(如飛控系統)中，往往包含多個伺服系統，且系統之間存在復雜的耦合關系，難以建立其準確的物理模型[2]，導致基于模型的方法難以適用。國內外學者普遍采用數據驅動的方法用于狀態預測和故障診斷。

目前數據驅動的狀態預測方法主要分為傳統統計方法和人工智能方法[3]。傳統統計方法在平穩序列上能夠取得較好預測結果，但其缺陷在于過度依賴序列特征[4]，因此不適用于以非平穩序列為主的伺服系統狀態預測。人工智能的方法分為統計機器學習方法[5]與深度學習方法[6]，能夠在給定輸入輸出數據的基礎上，自動擬合輸入輸出數據之間的非線性關系，在實際中取得了較好的效果，且同樣適用于非平穩的序列。文獻[7]通過收集高壓斷路器歷史動作數據，利用支持向量機(SVM)預測其下一次的動作數據，用于發現其潛在故障，達到故障診斷的目的。文獻[8]提出一種最小二乘支持向量機(LS-SVM)算法，用于風力發電機的狀態預測當中。文獻[9]利用小波神經網絡實現了交通狀態的短時預測，將小波基作為特征函數來優化BP神經網絡。上述方法在各自領域都取得了一定的效果，但是需要大量工程實踐與信號處理技術來提取信號特征，特征參數的選取依賴人工經驗且只適用于小數據量的系統。

對于伺服系統狀態預測而言，統計機器學習方法難以適用，原因如下：(1) 過度依賴人工經驗選取特征參數，特征參數選取直接影響模型性能。(2) 伺服系統運行時是一個連續的控制過程，其原始參數具有時間長、狀態參數多的“大數據”特點，利用信號處理技術來提取原始參數特征效率低、效果差[10]。因此，該領域的研究方向逐漸轉移到深度學習上。

深度學習算法能夠從原始數據中自動地提取數據的多層特征表示，在不同的狀態預測任務中均取得了最佳效果[10-12]。文獻[10]將LSTM用于多種序列預測任務當中，預測精度高于傳統模型，且適用性更廣。文獻[11]在風電短期預測中應用了LSTM模型，且預測精度高于傳統BP神經網絡與支持向量機。文獻[12]首次將LSTM 網絡用于鋰電池剩余壽命預測當中，準確預測了鋰電池一個周期內的剩余壽命曲線。

上述研究表明，基于深度學習的狀態預測方法比傳統方法性能更加優越，能夠擺脫傳統算法對數據特征提取的依賴。但上述研究都是基于單任務學習的預測，在實際應用中，往往需要對具有共同特征參數的多個狀態參數進行預測。為解決上述問題，本文將多任務學習[13]的思想引入伺服系統狀態預測當中。多任務學習是一種歸納遷移機制，主要思想是充分利用隱含在多個相關任務訓練信號中的特定領域信息，在并行訓練的過程中促使模型學習到適用于不同任務的共有特征，從而提升模型的泛化性能[13]。多任務學習在不同領域得到了廣泛的研究[14-15]。文獻[14]提出一種用于人臉重建與識別的MTLSAE算法，將人臉姿態恢復與臉部局部細節信息保留兩個任務共同建模，識別率高于對比算法。文獻[15]在視覺語音識別中引入多任務學習框架，將姿態分類作為輔助任務，同單任務的方法相比，其效果有顯著提升。

本文在研究深度學習理論的基礎上，提出一種多任務學習框架下的狀態預測方法，并將其用于伺服系統的狀態預測中，以脫離對人工提取數據特征的依賴。實驗結果表明，所提方法能夠自動從數據中提取特征，且預測精度優于對比算法。

1 深度學習理論

深度學習的概念起源于人工神經網絡的研究，有多個隱含層的多層感知器是深度學習模型的顯著特征[16]。相對于淺層學習算法，前者具有更好逼近復雜函數的能力，由于具有多隱層結構，能夠實現數據特征的逐層轉換，保證最有效地信息提取與特征表達。深度學習是一種數據驅動的算法，無需建立系統的準確物理模型，只需要收集系統運行的歷史數據，即可獲得系統的最優特征表示，從而完成故障診斷、故障分類和故障預測等任務。本文主要研究深度學習中的長短時記憶網絡。

本文采用LSTM[17]模型來構建映射關系，LSTM是一種時間遞歸的神經網絡，非常適合處理時間序列數據。相較于傳統的遞歸神經網絡(RNN)，LSTM通過引入了記憶單元，解決了RNN在實際應用中不能長期依賴的問題。

LSTM由輸入層、隱含層和輸出層構成，其結構如圖1所示。其中，g(t)表示輸入單元，h(t)表示狀態輸出單元，M表示記憶單元，i(t)、o(t)、f(t)分別表示輸入門限、輸出門限以及遺忘門限。

圖1 LSTM結構

由圖1可以看出，M的讀、寫和遺忘操作由三個門限單元來控制。設輸入時間序列為x，t為當前時刻，則各單元的狀態可用如下公式表示：

輸入單元：

g(t)=tanh(Wxgg(t-1)+Whgh(t-1)+bg)

(1)

門控單元：

i(t)=σ(Wxii(t-1)+Whih(t-1)+bi)

(2)

f(t)=σ(Wxfi(t-1)+Whfh(t-1)+bf)

(3)

o(t)=σ(Wxoi(t-1)+Whoh(t-1)+bo)

(4)

記憶單元：

M(t)=f(t)M(t-1)+i(t)g(t)

(5)

狀態輸出單元：

h(t)=o(t)tanh(M(t))

(6)

式中：σ表示sigmoid激活函數。

2 MTL-LSTM模型

伺服系統狀態預測任務可定義如下：給定系統相關的n個狀態參數集合X={x1,x2,…,xn}(X中包含了需要預測的狀態參數y)在t時間段內的數據，預測狀態參數y在d時間后，即t+d時刻的值。

基于多任務的思想，MTL-LSTM模型對所有狀態參數分別建立一個預測任務，構成一個具有n個任務的模型，并將n個任務以并行的方式連接，共享LSTM的網絡權重，n個任務協同監督網絡訓練。同時，基于如下兩點考慮：(1) 時間間隔越近的數據對狀態預測的影響越大；(2) 不同任務下不同特征參數與所預測參數的相關性不同。因此，分別從時間維度和特征參數維度提取數據特征，MTL-LSTM模型結構如圖2所示。

圖2 MTL-LSTM模型結構

圖2左LSTM中P=[p1,p2,…,pT]∈n×t，其中pi為X在i時刻的狀態向量，P與X存在如下關系：

P=XT

(7)

(8)

(9)

MTL-LSTM模型所有任務均共享HL與HR，考慮到不同時刻、不同特征參數與每一個任務的相關性不同，因此為每一個任務引入注意力機制[18]，其過程可按如下公式描述：

(10)

(11)

(12)

式中：k表示第k個任務；Wα∈1×m與Wβ∈1×f為的權值矩陣，bα與bβ為偏置項，均由訓練時學習得到；αk∈1×t表示對第k個任務而言不同時刻點數據所占的權重的集合，βk∈1×n表示第k個任務中不同狀態參數的權重集合，αk與βk均在學習過程中不斷調整。式(12)將時間、特征兩個維度的LSTM隱含層輸出向量分別在各自維度下與對應的“權重”相乘求和。然后拼接得到γk∈(t+n)×1，即輸入數據的特征表達。最后，預測值由式(13)給出：

(13)

式中：W∈1×(t+n)與b一起由學習得到。同時，實際應用中關鍵參數的重要程度應大于非關鍵參數，故為整個網絡定義加權損失函數如下：

(14)

3 算例分析

3.1 數據構造

本文以B777客機飛控系統的俯仰控制通道為研究對象，根據飛控系統工作原理[19]，從快速存取記錄器QAR(Quick Access Recorder)數據中選取22個典型相關參數，采樣間隔為1秒，選取參數如表1所示，各參數具體含義參見文獻[19]。與傳統機器學習方法不同，深度學習不需要精心地選擇特征參數，只需要盡可能多地選取能夠反映系統運行過程的相關參數，深度學習算法能夠自動從數據中獲取系統的最優特征表示[16]。

表1 相關參數表

多任務數據構造方式如圖3所示。給定n個參數在T時間段內的數據，數據構造過程如下：(1) 將歸一化后的相關參數按照時間順序鋪開；(2) 選取滑動窗口大小為w，按照一定的步長s向下截取數據；(3) 在每一次截取時，選取滑動窗口最后一個時刻t在d時間間隔之后的結果作為d步預測標簽。單任務數據集構造與多任務類似，只是在第三個步驟時只選取對應預測參數的第t+d時刻的數據作為d步預測標簽。本文選取w=22、s=1構造數據集，即每一樣本輸入由22個飛行參數在過去22個時刻點內的數據構成。

圖3 數據構造方式

3.2 實驗驗證

為驗證MTL-LSTM模型的有效性，在深度學習平臺KERAS上實現該模型。并與傳統LSTM模型[20]、單任務LSTM模型(STL-LSTM，即MTL-LSTM的單任務結構)在不同步數的數據上做對比實驗。MTL-LSTM結構參數如圖4所示。

圖4 MTL-LSTM結構參數

按照3.1節的數據構造方式，為22個飛行參數構建22個任務。在該算例中，所有任務都具有相同的輸入數據X，且共享兩個LSTM網絡的權重，圖4中虛線框表示不同任務通過各自的注意力機制得到各自的預測輸出Y。對每一任務而言，在訓練過程中，輸入數據為一個三維的張量(?,22,22)，其中?表示批大小。輸入數據分別通過左右兩個隱含層數為50的LSTM單元提取特征，其中左LSTM從時序維度提取數據特征，輸入數據轉置之后通過右LSTM提取狀態維度的特征，并分別通過注意力機制加權求和，最終得到兩個特征張量，張量維度為(?,1,50)。將兩個特征張量拼接，得到(?,1,100)維的融合特征向量，再通過128維的全連接層，并連接丟棄率為0.3的Dropout層，以防止過擬合。最后通過一個1維的全連接層激活輸出預測值，激活函數為Sigmoid。每一步訓練時，將所有任務的損失加權求和，作為模型的整體損失，從而保證模型的并行，優化目標是最小化模型的整體損失。所有超參數均調至最優，其中批大小為32；學習率為0.001；優化器為Adam。訓練時若驗證集誤差在10步以內不再減少，則提前終止訓練，并保存驗證集誤差最低模型。

對比實驗過程如下：

(1) 按3.1節所述方式分別構造d=1,3,5時的數據集，其中STL-LSTM的狀態預測參數分別是：俯仰角、滾轉角。

(2) 分別訓練MTL-LSTM、STL-LSTM與LSTM模型。由于是多任務模型，在d步時MTL-LSTM模型只需要訓練一次就能對兩個參數預測，而STL-LSTM與LSTM模型則需要針對兩個參數分別訓練。

(3) 預測未來200點內的俯仰角、滾轉角狀態，并與真實QAR數據相比較。

3.2.1 固定步數預測

對于固定步數預測，三種模型都是預測固定步數之后的狀態。狀態預測結果如圖5所示，其中圖5(a)-(c)為俯仰角狀態預測結果，圖5(d)-(f)為滾轉角狀態預測結果。為衡量模型性能，采用均方根對數誤差(RMSLE)[21]作為評價指標，計算公式如下：

(15)

式中：At為預測值，Ft為真實值。計算值越小表明預測值越接近真實值，證明模型性能越好、預測精度更高。

圖5 俯仰角與滾轉角狀態預測

上述三種模型的誤差指標計算如表2和表3所示。其中表2為俯仰角誤差對比，表3為滾轉角誤差對比，表中加粗項代表誤差最低的結果。

表3 滾轉角誤差對比結果

比較圖5結果，MTL-LSTM在不同固定步數下，其預測曲線與真實曲線最為接近，STL-LSTM次之，傳統LSTM預測結果與真實曲線偏離最遠。同時，由表2、表3的誤差計算結果可知，MTL-LSTM模型在對俯仰角和滾轉角的固定步數預測上的預測誤差均最低。在俯仰角狀態預測中，MTL-LSTM固定步數預測精度較STL-LSTM平均提升約18.5%，較LSTM平均提升約21.2%。在滾轉角狀態預測中，MTL-LSTM固定步數預測精度較STL-LSTM平均提升約39.4%，較LSTM平均提升約42.4%。隨著預測步數的增大，由于狀態序列之間的關聯性降低，各模型預測誤差均會存在不同程度的下降，相較而言，MTL-LSTM模型的魯棒性更優。

上述實驗結果表明，STL-LSTM模型與傳統LSTM相比，能夠更有效地提取數據特征；而多任務學習框架下的MTL-LSTM模型通過相關任務共同學習，而比STL-LSTM模型預測精度更高，驗證了所提方法的有效性。

3.2.2 迭代預測

MTL-LSTM模型與單任務模型相比，一大優勢在于MTL-LSTM能夠進行迭代預測。所謂迭代預測，即在訓練過程中用單步預測方法訓練，預測階段則將當前時刻的預測值作為下一時刻預測時的輸入參數，以遞歸的方式迭代預測輸出[22]。相較于固定步數預測而言，迭代預測具有更大的靈活性，不需要針對每一步去訓練模型。俯仰角迭代預測結果如圖6所示，誤差計算結果如表4所示。

表4 俯仰角迭代預測誤差

圖6 俯仰角迭代預測結果

表4中誤差計算結果與表3中MTL-LSTM固定步預測結果相比，迭代預測誤差較大，原因在于隨著時間的推移，迭代預測上一步的預測誤差會累積到下一步，因此時間步數越長，迭代預測誤差會越大。相對而言，迭代預測靈活性更高，在滿足一定的精度條件下，迭代預測更適合實際應用。

3.2.3 λk對預測結果的影響

對于多任務學習而言，不同任務之間的重要程度存在差異。在飛控系統多元狀態預測中，系統關鍵參數的重要性必然大于非關鍵參數，因此在式(14)中為不同任務分配不同的懲罰因子λk顯得尤為重要。為驗證懲罰因子對預測誤差的影響，該節實驗中將俯仰角視為關鍵參數，其余參數均視為非關鍵參數。設關鍵參數與非關鍵參數的懲罰因子之比為W(W=1,3,5,7,9),d=3時，俯仰角誤差變化趨勢如圖7所示。

圖7 俯仰角誤差變化趨勢

3.2.4 注意力機制的效果

為探究MTL-LSTM注意力機制在數據特征中的學習效果，將俯仰角單步預測過程中如式(10)、式(11)所示的注意力權重α、β可視化輸出，其可視化結果如圖8所示，其中圖8(a)為時間維度的注意力權重α，圖8(b)為特征維度的注意力權重β，右側刻度為權重對應的顏色區域。

圖8 注意力權重可視化

由圖8(a)可以看出，從時間維度考慮，離預測值最近的第21、22個時刻點對狀態預測的影響最大，其中第22個時刻所占的權重為0.72，對狀態預測起主要作用，與實際分析一致。從圖8(b)可知，針對特征維度，除俯仰角(第22個參數)本身外，高度變化率(第5個參數)、飛行航跡角(第13個參數)、迎角(第15個參數)、垂直速度(第21個參數)與俯仰角狀態預測相關性較大。通過觀察對比高度變化率、飛行航跡角、迎角、垂直速度的變化趨勢發現，上述參數與俯仰角的變化趨勢相似。

4 結 語

本文提出了一種基于多任務學習與LSTM網絡的改進模型MTL-LSTM，并將其用于伺服系統的狀態預測當中。通過引入多任務學習的思想，利用關聯任務共同監督模型訓練，從而提升模型泛化性能。同時，本文對傳統LSTM網絡予以改進，使用兩個LSTM網絡分別從時間與特征參數兩個維度提取數據特征，并在多任務學習中共享此部分權重；在最后預測階段，針對每一任務獨立構建注意力機制，使得每一任務能夠針對性地調整不同時刻、不同狀態參數的權重，從而提升學習效果。實驗表明，本文所提模型比傳統LSTM、STL-LSTM模型具有更高的預測精度，具備較高的應用價值。