基于多尺度自適應注意力網絡的剩余壽命預測

劉斌，許靖，霍美玲，崔學英，謝秀峰，楊棟輝，王嘉

太原科技大學 應用科學學院，太原 030024

隨著裝備智能化程度的提高，剩余壽命預測（Remaining Useful Life，RUL）在維修管理決策中的作用越來越重要，是系統健康管理的關鍵環節。掌握系統運行狀態并對機械系統做出準確的剩余壽命預測，既能很好地保護系統、延長使用時間，又能大幅降低維護成本［1］。近年來針對不同復雜系統的剩余壽命研究取得了許多成果，主要涉及3 種類型的預測方法：基于模型的方法、數據驅動方法和二者的混合方法。基于模型的方法［2-3］具有容易驗證的優點，但因其具有計算量大且有達不到預期結果的風險，基于模型的方法遠不如數據驅動方法有吸引力。作為一種最具發展前景的數據驅動方法，深度學習逐漸成為剩余壽命預測的主流方法。常用的深度學習模型結構包括卷積神經網絡（Convolutional Neural Networks，CNN）、循 環 神 經 網 絡（Recurrent Neural Network，RNN）和編-解碼器模型［4］。

卷積神經網絡在序列預測中得到了良好的應用，其人工神經元可響應一部分覆蓋范圍內的周圍單元，有效地提取數據局部特征。Sateesh Babu 等［5］首先將其應用到時間序列上，建立了基于回歸模型的預測系統。Li 等［6］充分利用網絡深度優勢提出了一種深度模型，提高了其提取數據特征的能力。該網絡結構的有效性在渦扇發動機（Company-Modular Aero-Propulsion System Simulation，C-MAPSS）數據集［7］上得到了驗證。增加網絡深度雖可更好地擬合特征，但會帶來梯度不穩定、網絡退化等問題。為減少網絡深度、避免單一尺度提取信息不充分的缺點，在GoogleNet 中 提 出 了 多 尺 度 卷 積 的 概 念［8］。Li［9］將多尺度塊加入預測模型中，通過疊加3 個多尺度卷積層對飛機發動機傳感器數據進行剩余壽命預測，算法結果優于文獻［6］中的模型。

雖卷積神經網絡在壽命預測中取得了一些成果，但它只能識別局部特征，缺乏聯系上下文的能力，存在一定缺陷。為彌補這一缺陷，循環神經網絡得到了應用［10-11］。Guo 等［12］構建了健康指標并將其應用于軸承數據集。由于梯度消失等問題，循環神經網絡預測能力具有一定局限性。Hochreiter 和Schmidhuber［13］引 入 了 細 胞 狀態這一概念，提出了解決這些問題的長短期記憶網絡（Long Short-Term Memory，LSTM）。Cho等［14］簡化了長短期記憶網絡的模型，提出了節約計算成本的門控循環單元（Gate Recurrent Unit，GRU）。Chen 等［15］采用核主成分分析對非線性數據進行降維，利用循環神經網絡的這兩種變體進行預測，門控循環單元的預測結果優于長短期記憶網絡［13-14］。Ma 和Mao［16］在長短期記憶網絡中融入卷積運算，保留了其時間相關性的優點；相較于傳統的長短期記憶網絡預測性能得到了提高。劉暢和陳雯柏［17］結合多尺度卷積和長短期記憶網絡同時解決了信息提取和數據長時依賴的問題。

以上兩個類型的網絡雖可自動學習數據的潛在表示，但是在去除噪聲及降低數據復雜度方面具有一定挑戰［18］。編解碼網絡通過壓縮輸入數據后再解壓提取原數據中最具有代表性的信息，縮 減 輸 入 的 信 息 量。Pillai 和Vadakkepat［19］提出了一種兩階段的多損失編碼器用于提取低噪聲、低互相關、強退化趨勢的特征，在飛機發動機傳感器數據和葉片磨損數據上的預測效果強于卷積神經網絡和循環神經網絡的變體。

以上模型雖能學習到數據的有用特征并減少噪聲影響，但都默認不同傳感器的指標特征和系統時間特征對預測的貢獻是相同的，會忽略不同特征間的差異性。此外參數選擇通常依賴于大量實驗確定，增加了模型訓練的時間。針對特征差異和訓練效率問題，本文采用一種參數自適應選擇的多尺度注意力網絡模型。主要工作如下：

1）采用一種參數自適應卷積注意力模塊，通過自動選擇參數避免交叉驗證手動調整卷積核大小，減少網絡訓練的時間成本。

2）融合橫縱兩個維度數據間的信息，即通道特征和時間特征的多尺度融合，從而關注有用信息，抑制無用信息，增強數據特征的提取能力。

3）用分段非線性目標函數模擬傳感器退化特征，縮小異常值對預測的影響，減少線性模型預測引起的系統偏差。

首先介紹多尺度自適應注意力模型的結構及其預測流程，然后在C-MAPSS 數據集上進行剩余壽命預測并討論一些參數的影響，最后將多尺度自適應注意力模型與一些現有方法進行比對。

1 多尺度自適應卷積注意力網絡

將一種新的注意力模塊用于剩余壽命預測，將其稱為多尺度自適應注意力網絡（MAAN）。該網絡將預處理后的不同傳感器數據作為輸入，利用多尺度卷積模塊提取有用特征。通過加入自適應注意力模塊自動選擇卷積核大小，從而有效提取數據的時間和空間特征。多個自適應注意力模塊能學習特征的高層表示。將3 條路徑輸出的特征連接起來輸入兩個大小不同的全連接層，從而估計最終剩余壽命。網絡模型結構如圖1 所示。

圖1 MANN 預測流程Fig.1 MAAN prediction framework

1.1 數據預處理

采用信號x={x1，x2，…，xK}作為MAAN 的輸入，其中K是傳感器的數量。此時信號x直接輸入到網絡中，網絡可能會因其不同量級的數據而無法收斂。為學習到更有效的特征，采用最小最大歸一化將原始數據縮放到［0， 1］：

式中：x'k為歸一化后的數據；xk為第k個傳感器的數據；min（xk）和max（xk）分別為xk的最小值和最大值。

此后采用步長為l=1、大小為S的窗口在總周期為T的歸一化數據上滑動生成輸入數據，則第i個傳感器的第j+1 個樣本（窗口）實際剩余壽命為T-S-jl（如圖2 所示，圖中RUL 為實際剩余壽命），此時輸入樣本大小為SK。

圖2 滑動時間窗口示意圖Fig.2 Schematic diagram of sliding time window

現有關于計算復雜系統剩余壽命預測目標函數模型的構建大都沿用Heimes［20］提出的分段線性模型。然而系統退化過程是復雜的，線性函數不僅容易擴大異常值對預測結果的影響，還容易擴大系統性偏差。為此設計了一種非線性目標函數：

式中：RULit為第i個渦輪發動機在循環時間t時的壽命；T0為初始剩余壽命值；A為退化系數；t1和t2為發動機發生退化改變的循環時間臨界值，由其總循環時間確定；Tl為再次發生退化改變的剩余壽命值。

1.2 多尺度自適應注意力網絡

如圖1 所示，多尺度自適應注意力網絡由3 條并行的支路組成。每條支路都由兩部分組成，分別是卷積塊和堆疊的自適應注意力模塊。為更好地提取特征，這3 條支路上卷積層分別選取不同大小的卷積核。

1.2.1 卷積塊

在MAAN 中使用一維卷積提取經過滑動窗口的數據。一維卷積的運行過程如圖3 所示。在所提方法中3 條路徑上卷積分別使用3 個不同大小的卷積核，可提取出不同特征（如圖1 所示）。在卷積后添加非線性激活函數可增強網絡的表示能力。每條路徑上的卷積結果為

圖3 一維卷積神經網絡示意圖Fig.3 One-dimensional convolution neural networks diagram

式中：W'為權重；x'為滑動窗口生成的數據；b'為偏置項；X為卷積輸出特征圖，作為自適應注意力網絡的輸入；f（·）為Logish激活函數［21］，其表達式為

1.2.2 自適應注意力模塊

如圖1 所示，自適應注意力網絡由通道注意力和時間注意力組成，中間由一個一維擴張卷積連接。如圖4 所示，經由卷積層學習到的特征X作為自適應注意力網絡的輸入，其中k為一維卷積的卷積核大小，與通道維數n相關，σ為Hard sigmoid 函數。首先經過全局平均池化（Global Average Pooling， GPA）得到每個輸入通道特征圖的平均值，接著通過使用大小為kca的一維卷積考慮通道間跨信道交互。一般認為信道維度n與kca存在某種非線性映射關系，使n越大長期交互作用越強，反之短期交互作用越強。在經典核技巧中，處理未知映射問題時往往使用指數族函數（如高斯函數）作為核函數，因此kca的大小由信道維度n的指數映射自適應確定［22］：

圖4 通道注意力Fig.4 Channel attention

式中：φ為確定卷積核大小的函數；|·|odd為取最近的奇數。

使用Hard sigmoid 函數計算得到每個通道的注意力權重，并對特征X進行加權：

式中：Xca為通道注意力生成的注意力向量；W和B分別為一維卷積層的權重和偏置；xca為自適應通道注意力的輸出；?為元素乘法。

一個一維擴張卷積用于學習通道注意力特征表示，從而可捕捉到每個通道的上下文，增強學習特征的時序性。卷積表達式為

式中：xd為學習到的信息，作為時間注意力的輸入；w和b分別為擴張卷積的權重和偏置；*d表示擴張率為d。

時間維度注意力機制作為通道注意力機制的補充，充分考慮每個時間維度上的特征。與通道注意力類似，使用一維卷積考慮時間維度上的相互關系自適應產生一維卷積核大小，其關系可表示為

式中：kta為自適應生成的一維卷積核大小；s為時間信道維度。

通過式（10）、式（11）得出時間方向的注意力權重并進行加權：

式中：x'ta為時間方向上的注意力向量；Wta和Bta分別為學習到的權重和偏置；xta為自適應注意力網絡的輸出。

1.3 剩余使用壽命預測

利用多尺度選擇機制可自適應提取和學習多傳感器數據中潛在的相關性信息，其3 個路徑上的輸出特征可表示為

式中：xM為MAAN 的輸出；xM1、xM2和xM3分別 為從3 個路徑中學習到的特征；concatenate(·)函數表示將數據串聯合并。

通過全連接層學習MAAN 的輸出可獲得最終剩余壽命預測結果：

式中：RUL'i為最終預測的剩余壽命；w1、w2和b1、b2為全連接層中可學習的參數。在每個全連接層后使用Dropout 技術。

1.4 模型訓練

在每條支路上分別使用1 個卷積神經網絡和3 個堆疊的自適應注意力網絡學習特征。各個卷積層的權重和偏置是在訓練過程中學習得到的。在Tensorflow 的Kreas 模塊上實現訓練和測試過程，使用Adam［23］優化器，最小化損失函數為

式中：L為平方誤差損失；N1為總訓練樣本數量；RULi為剩余壽命真實值。

1.5 模型預測流程

MAAN 模型預測過程分為3 部分：數據預處理、訓練模型、測試模型和RUL 估計。該算法可通過以下步驟實現：

1）從原始訓練集和測試集中選擇對預測結果有影響的數據，并將其標準化。

2）通過滑動時間窗處理標準化數據，以生成模型的訓練集和測試集。建立如式（2）所示的目標函數生成與訓練集對應的訓練標簽，由RUL數據集生成與測試集對應的測試標簽。訓練集和訓練標簽用于訓練模型，測試數據集和測試標簽用于測試模型和估計剩余壽命。

3）選擇適當超參數建立MAAN 模型并初始化網絡參數。

4）訓練模型并更新參數，將訓練好的模型應用于測試集并生成預測值。

5）評估網絡性能。預測值和真實值（測試數據標簽）之間的誤差通過評分函數（Score）和均方根誤差（RMSE）計算。

2 實驗結果及分析

用飛機發動機數據評估多尺度自適應注意力模型的預測性能［7］。先介紹相關數據集，再介紹評估指標，接著展示模型的預測結果并與一些先進模型進行比較，最后分析一些影響模型預測結果的因素，如時間窗口大小、自適應注意力模塊數量、卷積層的使用及自適應注意力模型中激活函數的使用等。為減少隨機性的影響，所有實驗都進行10 次并取平均值作為最終結果。

2.1 數據集介紹

C-MAPSS 數據集是由美國國家航空航天局發布的飛機發動機從運行到失效的時間序列數據。該數據集包括4 個子數據集，每個子數據集又包含訓練集、測試集及剩余壽命數據集。訓練集和測試集中的每個發動機都包含21 個傳感器序列和3 個操作設定序列。每個子數據集中發動機個數不同，故障模式和運行條件不同，造成4 個子數據集的復雜度不同。FD001 和FD003 數據集的復雜程度較低，均只有1 種運行條件，故障模式分別為1 和2。FD002 和FD004 的數據較為復雜，均包含6 種運行條件，故障模式分別與FD001 和FD003 相同。數據集的具體樣本數如表1 所示。考慮數據冗余造成的時間成本及對預測結果的消極影響，在訓練和測試過程中拋棄每個子集中的恒定值傳感器數據和3 個操作設定數據。4 個子數據集選擇的傳感器個數及拋棄指標如表2所示。

表1 C-MAPSS 數據集細節Table 1 Details of C-MAPSS dataset

表2 輸入的傳感器序列信息Table 2 Input sensor sequence information

在訓練過程中選擇70%的數據用于訓練，30%的數據用于驗證。則4 個子數據集中用于訓練和驗證的樣本數及輸入樣本大小如表3 所示。

表3 輸入樣本信息Table 3 Input sample information

2.2 評價指標

RMSE 和評分函數［7］被廣泛用于剩余壽命預測結果的評價，這兩個指標值越小則代表模型預測能力越高。

均方根誤差具體表示為

式中：N2為測試集總樣本大小；di為真實值與預測值之間的誤差，di=RUL'i-RULi。

評分函數定義為

2.3 模型參數及預測結果

MAAN 共訓練150 次，數據批次大小設置為256。前10 次學習率為0.001 0，余下140 次學習率為0.000 3。其他各層參數如表4 所示。

表4 MAAN 預測模型的超參數Table 4 Hyperparameters of MAAN prediction model

設 置T0=125［20］、Tl=100、A=1/900 并 以FD001 和FD004 為例觀察其損失函數曲線。圖5展示了其收斂過程，可看出MAAN 具有較快的收斂速度，約在30 次訓練后趨于平穩，直至收斂。

圖5 FD001 和FD004 的訓練損失曲線Fig.5 Training loss curves for FD001 and FD004

以FD001為例，選取其49號發動機，圖6 為MAAN 學習到的發動機退化過程。可見MAAN模型在預測前期波動較大，后期趨于穩定；同時MAAN 預測的退化趨勢與建立的目標函數趨勢相同，能準確模擬飛機發動退化趨勢。MAAN 對FD001 剩余壽命預測結果如圖7 所示。

圖6 模型在FD001 第49 號發動機的預測結果Fig.6 Model prediction results for FD001 No.49 engine

圖7 MAAN 模型在FD001 的預測結果Fig.7 Prediction results of MAAN model on FD001

將MANN 與文獻［5-6，9，11，19，24］中的幾種先進模型進行比較，結果表明MAAN 網絡模型在每個數據集上都展現出良好效果（如表5 和表6 所示）。MAAN 除在FD003 上的均方根誤差不如DSCN［24］低，在4 個子數據集中均顯示了較低的均方根誤差和評分函數值。

表5 MAAN與一些先進預測方法的RMSE比較Table 5 Comparison of RMSE between MAAN and some advanced prediction methods

表6 MAAN 與一些先進預測方法的評分函數值比較Table 6 Comparison of score values between MAAN and some advanced prediction methods

2.4 參數的影響

2.4.1 時間窗口大小

圖8 為4 個子數據集上時間窗口大小S分別選擇20、30、40、50 和60 時多尺度自適應注意力網絡的預測結果，僅改變了時間窗口大小，其他參數不變。可看出隨S增大，模型在4 個子數據集上的預測精度都得到了提高，但窗口過大也會表現出較差的性能。對于FD001，當窗口S＞50后均方根誤差有增大趨勢；對于FD002，當S＞50后，雖均方根誤差變化趨于穩定，但評分函數值增幅明顯；對于FD003，在S=50 時有最小的均方根誤差；對于FD004，兩個指標值在S=50 時最小。因此4 個子數據集的時間窗口大小S分別選擇40、40、50、50。

圖8 4 個子數據集在不同時間窗口下的MAAN 預測結果Fig.8 MAAN prediction results of four subdatasets in different time windows

2.4.2 自適應注意力模塊數量

適當增加網絡深度可使網絡表現出更優秀的性能，分別研究了不同深度MANN 模型的性能。如圖9 所示，分別使用1～5 個注意力模塊進行預測。可知雖對于FD001 和FD003 1 個和3 個自適應注意力結構的預測結果相差不大，但是對于FD002 和FD004 僅使用1 個注意力模塊進行特征學習會產生更大的均值和標準差。使用3 個自適應注意力模塊時模型的魯棒性最強，所以在訓練過程中選擇使用3 個自適應注意力模塊。

圖9 自適應注意力模塊數量對預測結果的影響Fig.9 Influences of adaptive attention module number on prediction results

2.4.3 卷積層

多尺度自適應模型使用多尺度卷積層初步提取數據信息。為確保其有效性，以FD001 為例比較使用卷積層的MAAN 和不使用卷積層的DAAN，及使用單一尺度卷積的DaAAN、DbAAN 及DcAAN 的結果，其中DAAN、DaAAN、DbAAN 及DcAAN 均 只 包 含1 個 支 路，DAAN表示僅由3 個堆疊自適應注意力模塊組成的網絡，DaAAN、DbAAN 和DcAAN 分別表示使用卷積核大小為10、15、20 和3 個堆疊自適應注意力模塊組成的網絡。結果如圖10 所示，與MAAN 模 型 相 比，除DbAAN 在FD001 上 預 測結果的均值具有較小優勢外，其他模型都表現出較差的性能，證明了使用具有多尺度卷積及多個自適應注意力模塊的MAAN 模型預測優勢。

圖10 卷積層對MAAN 預測的影響Fig.10 Influences of convolution layer on MAAN prediction

2.4.4 自適應注意力模型中激活函數

使用自適應注意力模塊的一維擴張卷積中未使用任何激活函數，圖11 為分別加入ReLU、Tanh、Sigmoid 及Logish 函數的預測結果，不使用激活函數的模型即為MAAN 模型，雖在FD001 上的性能比其他加入非線性激活的模型有一定劣勢，但在其他3 個子數據集上取得了最低的評分函數值和均方根誤差。這是因為加入激活函數會強化模型非線性變換程度，對模型后期預測產生消極影響。因此在自適應注意力模型中不使用激活函數。

圖11 激活函數對MAAN 預測的影響Fig.11 Influences of activation function on MAAN prediction

2.4.5 非線性目標函數

使用分段非線性目標函數模擬傳感器退化過程。表7 和表8 給出了該目標函數與經典分段線性目標函數的預測對比結果，表明使用非線性目標函數建立發動機退化模型可更好地模擬傳感器退化效果。在4 個子數據集上均方根誤差分別下降了18.18%、14.90%、19.81%和14.52%，評分函數值分別下降了39.38%、47.22%、43.65%和35.87%。一般來說建立非線性目標函數可提高測試模型的預測精度。更具體地，相對于FD002 和FD004 數據集，非線性目標函數對FD001 和FD003 數據集的均方根誤差具有更大影響，表明采用非線性目標函數能更準確地表示簡單系統的退化趨勢。

表7 不同目標函數的RMSETable 7 RMSE of different objective functions

表8 不同目標函數的評分函數值Table 8 Score values of different objective functions

3 結 論

1）采用一種多尺度自適應注意力網絡研究復雜系統的剩余壽命預測問題。該網絡采用一種一維選擇機制——自適應注意力網絡，該結構不僅能自適應選擇卷積核大小，還能突出數據通道與時間維度上的重要特征，提高模型預測能力。

2）多尺度卷積的使用可增強網絡學習能力，避免因單一尺度造成特征提取不充分的問題。

3）對C-MAPSS 數據集進行測試實驗，結果表明多尺度自適應注意力模型能在該數據集上取得較好的精度，與一些現有方法相比具有明顯的優勢。